太子杨广为了储君的位置，想方设法陷害兄弟，全亏杨素一力帮助，他才如愿成为太子。而杨素的威权也日益隆盛，他的叔父、兄弟都成为尚书、公卿，他的儿子、侄子也大多成为柱国、刺史。再加上他家资万贯，宅第奢华，所以满朝文武没有几个不依附他。唯独尚书右丞相李纲及大理卿梁毗，两位正直不阿的大臣敢于直言上谏。梁毗甚至上奏弹劾杨素：“杨素仗着皇上和太子的宠信在朝中为所欲为，放眼望去，朝野上下几乎都是他家的亲戚或党朋。臣担心他将来会有谋反之心，还请陛下早日酌情处置，使得鸿基永固！”隋主大怒，竟将梁毗打入监狱，亲自审问。梁毗毫不畏缩，仍旧坚持自己的说法：“杨素仗着陛下的恩宠恣意弄权。太子杨勇及蜀王杨秀获罪遭废，满朝大臣无不震惊恐惧，唯独杨素扬眉奋肘，一副幸灾乐祸的模样。”隋主听到这话，突然挂念起自己的两个儿子，不由得吞声饮泪，不愿再审问下去。第二天，隋主就下诏赦免梁毗，并对杨素说：“你只是国家的宰相，对于朝政不应过问得那么细致，隔三五天到省中来评论大事，便已十分尽职。”接着隋主就调任杨约为伊州刺史。杨素见隋主开始猜忌自己，已经很不安，又见吏部尚书柳述参与机密，紧握政权，他更觉得心如芒刺，愤懑不平。
以前，隋主的五女儿兰陵公主曾下嫁仪同王奉孝。公主十八岁那年，王奉孝过世，隋主便想让女儿改嫁。晋王杨广因妻子的弟弟萧銶正在择偶，于是恳请隋主把公主嫁给萧銶。怎奈隋主决意把宝贝女儿嫁给内史柳述，柳述因而被提拔为吏部尚书。太子杨广向来与柳述不合，见柳述受宠预政，更加憎恶他。再加上杨素的抱怨，眼看着隋主身边虎狼无数，怎么会相安无事呢？当时，有位博识广闻的龙门人王通，目睹朝政混乱，料知祸乱不远，便向隋主提出太平十二策。后来发现隋主没有采用，王通打算回乡。这时，向来仰慕王通的杨素忙把他接到自己的府第，劝他出仕。王通婉言拒绝，见杨素始终不肯改过，他便告辞归乡，教授学生。后来，唐朝开国时的房玄龄、魏征等贤臣都出自于王通的门下。隋大业末年，王通病故家中，他的弟子们称他为文中子。
隋主杨坚自独孤皇后过世后，十分宠爱陈叔宝的妹妹，并封她为贵人。陈叔宝也因此经常被召见。隋主让人修葺陈氏宗祀，以便能让陈叔宝祭祀，但陈宝叔受宠后早把亡国的痛苦丢在脑后了。仁寿四年，陈叔宝病死隋都，享年五十二岁，隋廷追封他为长城县公，赐谥号为炀。史家称为陈后主，或者沿用隋朝的封号，称他为长城公。陈叔宝死于仁寿四年仲冬，隋主杨坚却比他早死好几个月，并且死得不明不白。一个统领中原的君主最后反不如一个亡国奴，说来真是可怜可痛！
原来，继陈宝叔的妹妹陈贵人之后，隋主杨坚又在后宫选出一位绝色美人蔡氏，并封她为蔡贵人。两位贵人轮流服侍，隋主虽然快意，但女色毕竟消耗精神﹔况且隋主白天还要处理繁杂的政务，一位六十多岁的老人哪禁得起这样的折腾？起初，隋主还能勉强支撑，敷衍了一年多，终于累得骨瘦如柴，百病层出。仁寿四年春天，隋主带着两位贵人去仁寿宫调养身体，走之前将大小国事交给太子杨广打理。三个月后，隋主因感染风寒而卧床不起。两位贵人和随驾的人员惶急得不得了，连忙通报东宫太子以及王公大臣。太子杨广立即去探望父亲，左仆射杨素、吏部尚书兼摄兵部尚书柳述、黄门侍郎元岩等人也都随太子一同前行。到了大宝殿，众人依次走进隋主的寝室，来到榻前。隋主正含糊念叨：“要是皇后还在，朕就不会生这么重的病了。”太子杨广已站在一旁听着，思忖了好久，才开口叫了声“父皇”。隋主慢慢睁开眼睛，往四周看看，说：“你来了吗？我等你已经很久了。”杨广一副哀愁的模样，哽咽着详细询问病情。隋主大略说了些，杨素忙上前请安。隋主握着他的手叹息好久，并说自己凶多吉少。杨素等人忙出言劝慰，隋主这才点点头，安排太子杨广住在大宝殿，以便侍奉自己。众人退出去后，杨广悄悄交代了杨素几句，杨素唯唯而去。不用想，太子杨广见隋主病重，当下十分欢喜隋主就要晏驾，于是嘱咐杨素赶紧留意，准备登基。杨素离开后，太子杨广仍觉得不放心，因而经常写信询问杨素。杨素也逐条解答，回复太子。
不料，宫人误将杨素的回信送到了隋主的手里。隋主展开一看，顿时肝气上冲，咳喘得异常利害。两位贵人慌忙上前为他捶背抚胸。过了好一会儿，隋主才慢慢平复下来，悲叹数声，蒙眬睡去。一觉醒来，已是半夜，见两位贵人还守在自己身边，隋主不禁万分怜惜。第二天便下诏，加封陈氏为宣华夫人，蔡氏为容华夫人。册封礼结束后，两位夫人一起来到床榻前向隋主杨坚叩谢。谢恩后，二位夫人依次出去更衣。
隋主见两位夫人都出去更衣，便闭目养神，似睡非睡。忽然听到门帷的响动不同以往，隋主忙睁开眼睛向外一望，只见宣华夫人抢步进来，来到床榻前，一副慌张的神态。隋主仔细一打量，见环佩还是原来样子，只是钗钿已偏，不由得惊问道：“你为何这般慌张？”宣华夫人欲言又止，经隋主一再诘问，她才呜呜咽咽地说出“太子无礼”四个字。隋主猛然坐起来，捶打着床榻说：“我怎么能把国家交给这个畜生？独孤，你误了我呀！”说着，便让人去宣召柳述、元岩，宣华夫人劝也劝不住。待柳述与元岩赶来，隋主喘着气说：“快…快宣召我儿！”柳述回答说：“太子就在殿外，臣马上去召他进来。”隋主又喘了口气，急急说了声“勇、勇”。柳述、元岩当即遵旨而出，商量说：“废太子杨勇现在被禁锢在东宫，必须要皇上下诏，才能把他召来。”两人当即找来笔墨，代为起草赦免的诏书，研究了好半天，诏书才写好。二人正要去东宫宣诏，突然从外面跑进来许多卫士，竟要抓捕他们，柳述、元岩忙问缘由。卫士也不说话，只是乱推乱扯，把他们拥到大理寺狱中。这时，太子左卫率宇文述拿着诏书走到他们面前，宣读诏书，说他们趁皇上生病，阴谋叛乱，想谋害东宫，现在奉命将两人拘捕入狱。二人就像做梦一样，隋主明明亲口嘱咐他们宣召废太子柳勇，怎么突然中途变卦，另颁出一道诏书？这诏书究竟从哪儿来的，而且来得这么快？