后来，杨广见杨坚渐渐疏远了杨勇，便在独孤皇后面前谮言，说杨勇要加害自己，还在父亲生病的时候诅咒，希望父亲早点死。独孤皇后不断对杨坚诉说杨广的好处，这让杨坚最终在600年下诏，废太子杨勇为庶人，改立杨广为太子。
602年，独孤皇后病逝，两年后，文帝也病重卧床。杨广认为登上皇位的时机已到，便迫不及待地写信给杨素，请教他怎样处理将要到来的文帝后事。不料送信人误将杨素的回信送给了文帝，文帝读后大怒，马上宣召杨广入宫，要当面责问他。此时，文帝最宠爱的宣华夫人衣衫不整地跑进来，哭诉杨广乘她换衣时无耻地调戏她，文帝这才明白自己受了杨广的蒙骗，于是拍着床大骂：“这个畜生如此无礼，怎能担当治国的大任？皇后误了我的大事。”
文帝急忙命身旁的大臣柳述、元岩草拟诏书，废黜杨广，重立杨勇为太子。杨广早在文帝身边安插了爪牙，听说文帝要废了自己，忙与大臣杨素商量，带兵包围了皇宫，赶散宫人，逮捕了柳述、元岩。杨广的部下张衡猛击文帝的胸口，文帝口吐鲜血，立时死亡。
杨广即位后，马上假传文帝遗诏，要杨勇自杀。杨勇还来不及做出回答，就被来人杀死了。
杨广的弟弟汉王杨谅不服，在并州起兵，杨广即令杨素率兵镇压，杨谅降后被幽禁死去。
不久，杨广又派人毒死了杨勇所有的孩子，清除了家族中对自己构成威胁的对手。