隋炀帝杨广抚摸着侯女的脸庞，一边落泪，一边说：“朕本爱才好色，没想到宫闱里面，竟有你这样才貌双全的女子，偏偏我们不曾相逢！朕虽辜负了你，但你也未免薄命。到了九泉，就不要再怨朕了。”说完又哭，哭完又说，絮絮叨叨，好似潘岳悼亡，感念不休。忽然侍卫进来报告说：“许廷辅已经带到了。”隋炀帝立即出宫御殿，见了许廷辅，恨不得一脚踹死他，当下厉声诘责，问他选召宫女时，为什么遗漏了侯女。许廷辅极口抵赖，隋炀帝把他呵斥出去，交给刑官严讯。经刑官严刑拷问，许廷辅才招供说：“奴才向侯女索要贿赂，她不肯，奴才便决意把她埋没。”隋炀帝得知后，怒不可遏，当下杀了许廷辅。然后亲自写祭文，令内侍备好香果，准备祭奠侯女。
一番“呜呼哀哉”，两句“痛不可言”的祭文读完后，隋炀帝又泪下如雨，呜咽不止。在内侍的劝解下，他才收住眼泪，让人照夫人的礼节厚葬侯氏，又让郡县官厚恤侯夫人的父母。等隋炀帝一回来，众美人想方设法为他解闷，萧皇后也赶来劝慰，然而他始终有几分不快。此后，隋炀帝总觉得自己身边的佳丽，没一个比得上侯夫人，因而闲居索兴，游玩无心。芳草尽成无意绿，夕阳都作可怜红，正是隋炀帝当日的情景。
萧皇后本善逢场作戏，顺风敲锣，她看隋炀帝如此凄切，便劝慰他说：“侯女都已经死了，想她又有什么用呢？况且天下这么大，怎么会没有第二个侯夫人？只要留意采选，臣妾认为一定会有绝色到来。”隋炀帝听了，不觉又触起往事，想到江都风景，便对萧皇后说：“现在要选美女的话，除非是六朝金粉，说不定还有侯夫人这样的奇女子。如果一直待在关中或者洛阳，恐怕今生就再也不能遇见这种女子了。”萧皇后这才觉得自己说错话，忙说：“陛下何必长途跋涉，派一些官吏去江东物色好了。”隋炀帝说：“俗语说得好，眼见是真。朕看朝内外官吏，多半是靠不住的，如果都是许廷辅一类的人物，那岂不是一误再误？”说着，便让人整备龙舟，准备南巡。萧皇后自知无法劝阻，只好由着他南巡。妃嫔等人打点好行装后，隋炀帝满心期望立即上路，不料内使回来报告说：“龙舟被杨玄感的乱党焚毁了，现在只好另造龙舟。”隋炀帝一听，立即令江都再造龙舟。
那时，四面八方的反贼竞相迭起，可怜生灵涂炭，隋炀帝却还沉迷于酒色，不问世事。大业十二年元旦，隋炀帝上朝受贺时，发现有二十多个州郡的官吏没有派使者入京朝贺，这才知道寇盗又猖狂起来。当下，隋炀帝一面发兵讨伐盗贼，一面在东都东南筑造宫苑，打算巡幸。
大业十二年的一天，西苑忽然失火。当时，隋炀帝正在苑中，他还以为是反贼闯入西苑，急忙躲匿草间。幸亏西苑里人多，大家七手八脚把火扑灭。经过这件事，隋炀帝竟有了心病，每次一睡熟，他便在梦中惊呼有贼，被身边的妃嫔摇醒，他才得以安睡片刻。不久，又是夏天，萤火虫飞得漫天都是。隋炀帝突发奇想，让宫苑内侍齐捉萤火虫，收贮纱囊。等到夜游海山时，隋炀帝让人释放纱囊中的萤火虫，霎时光遍岩谷。都中的人远远望见，还以为西苑又失火了，哪晓得竟是一片萤光。
隋炀帝欢喜地回去酣睡一宵，第二天接到一封急报，竟是盗贼魏刀儿的部下甄翟儿率领十万部众入侵太原，将军潘长文战死的消息。太原要地出现逆贼，隋炀帝大为心惊，急忙调遣山西、河东慰抚大使李渊前往征讨甄翟儿。以后，警报频繁地传达东都，左翊卫大将军宇文述怕隋炀帝不高兴，常常私自扣留警报。
一天上朝时，隋炀帝问群臣说：“最近反贼局势怎么样？”宇文述站出来说：“已经少了很多。”然而光禄大夫苏威却悄悄地退隐柱后。隋炀帝随即召问苏威，苏威回答说：“臣不曾参与军机，也不知道现在反贼是多了还是少了，臣只是疑虑反贼越逼越近。”隋炀帝忙问他为什么觉得反贼已经逼近。苏威继续说道：“前天臣还听说反贼占据长白山，今天却听说他们已经近在汜水，并且往日的租赋丁役，现在都没了着落，难道他们就不可能化为反贼吗？”隋炀帝听完，却说：“这小小的贼人不足为虑。只是那高丽王高元，至今不见他来朝贡，这才叫可恨！”苏威朗声应答道：“高丽在外，贼人在内，臣觉得外贼不可恨，内贼着实让人担忧。况且陛下在雁门时，曾许诺不再东征，现在却出尔反尔，弄得民不聊生，百姓怎能不相继为盗？”隋炀帝勃然变色，拂袖退朝。
到了端午节，百僚争献珍玩，唯独苏威献上一部《尚书》。有人从旁诋毁苏威说：“《尚书》里面有五子之歌，苏威一定想借此谤讥陛下。”隋炀帝那时还没明白苏威用意，听到这话，当然越发愤怒。
不久，隋炀帝又提起讨伐高丽，满朝文武没有谁再敢谏阻，唯独苏威入内奏请道：“陛下想要讨伐高丽，哪用得着募兵？只要赦免各地的贼众，就能马上得到一支百万大军。陛下带着他们东征的话，他们一定人人思奋，立功赎罪，那时高丽唾手可得。”隋炀帝一言不发，面有愠色，苏威当即退了出去。御史大夫裴蕴进来说：“苏威口出狂言，天下哪有那么多贼人？”隋炀帝恨恨地说：“老顽固真奸猾，虚张贼势，想威胁朕！朕真想将他治罪，但念在他多年效忠朝廷，朕也就忍让他一二。”裴蕴随即告退，又唆使别人上奏弹劾苏威。隋炀帝当即免去苏威的官职，将他贬黜为庶民。过了一个多月，又有人诬陷苏威和突厥暗中往来。隋炀帝仍旧不忍心杀他，只是将苏威以及他的儿孙三代除名。
时光易过，又是秋来。江都上奏说龙舟已经造好，并且规模比先前的还要宏丽。隋炀帝大喜，当即准备南幸，令儿子越王杨侗留守东都。右候卫大将军赵才进劝谏说：“眼下百姓疲弊，盗贼四起，陛下应该立即回西京安抚百姓才对，怎么能置百姓性命于不顾，反去南巡呢？”隋炀帝大怒，当即将他打入监狱，还有一两个直臣极力劝阻，结果都被处斩，于是再没有一人敢站出来说话。这次南巡，隋炀帝将后宫的所有佳丽、满朝的文武都带了去，仪仗比第一次南巡时还要繁盛。启程这一晚，秋高气爽，水面上凉风阵阵，拂除了白天的余暑，但隋炀帝却怎么也睡不着。他起床打开舰窗，眺望夜景，却听到一片歌声，顺风而来：
我兄征辽东，饿死青山下；