西域各国的归附让隋炀帝欢喜不已，他当即在观风行殿赐宴。高昌王等人在观风行殿里落座，其他的使臣都陪坐在庭阶上，一两千人一边欣赏九部乐，一边观看鱼龙杂戏，一边品尝美食，备极喧闹。散席时，隋炀帝又搬出许多绢帛赏赐所有夷人，为了博得几声“万岁”的欢呼，又耗去无数百姓用血泪换来的资财。隋炀帝回京时，经过大斗拔谷，因山路险窄，仅容一人一骑，大队人马鱼贯而行。不幸又碰上风雪交加的恶劣天气，前后无法相顾，累得大队断断续续，众人疲劳不堪。驴、马被冻死了十之八九，吏卒也多被冻死，后宫的妃嫔主子们和内侍狼狈相持，与军士杂宿山间，男女无别，一塌糊涂。
隋炀帝顺路进入长安。住了两三个月，觉得长安没什么好玩的，他便很不耐烦地转赴东都。此后，隋炀帝视东都为乐国，不愿再回到长安。从此朝朝暮暮，花天酒地，再加上四面八方都会按时进贡，隋炀帝于是玩有可玩，赏有可赏，乐有可乐。当时各地进贡，有献明珠异宝的，有献虎豹犀象的，有献名马的，有献美女的。唯独道州献上一个矮个子的平民，叫王义，生得浓眉秀目，舌巧心灵。隋炀帝第一次见到这般身材短小、举止玲珑的人，也觉得奇异得很，却故意诘问他说：“你有什么技能，竟敢献上自己？”王义从容回答说：“陛下使西域各国竞相归附，又不嫌弃割草打柴的人，所以我一个南方的小百姓也想趁机感受一些皇上的王气。我虽然没有什么奇能绝技，但却有一片愚忱，还请皇上收下！”隋炀帝笑着说：“朕有无数文臣猛将，没有一个不竭诚为朕效命，朕要你有什么用？”王义不慌不忙地说：“皇上宽宏大度，惠及百姓，小臣无处求生，只好前来投靠皇上，以期在皇上的庇护下生活。”隋炀帝最喜欢听拍马屁的话，听完王义这几句话，不熔自化，当即让王义留在自己身边。好在王义知情识意，留下来以后，他事事体察隋炀帝的心意，无微不至，于是隋炀帝越来越宠爱他，甚至一刻也离不开他。
一天，隋炀帝辍朝入宫，回头见王义跟在身后，不禁皱眉说：“你侍奉朕也有些时候了，可惜终究非宫中之人，不能随朕入宫！”说着，又叹了几声，径直入宫。王义不好跟进去，只好在宫门外痴痴地站着。凑巧老太监张成自宫中出来，瞧见王义踌躇的样子，便问他怎么了。王义忙把隋炀帝的话重述了一遍，并请张成想办法。张成微笑着说：“想要入宫，非得净身不可。”王义刚开始还不明白什么叫净身，等张成一解释，他竟不管死活，托张成替他买药，忍痛自宫，结果一连病了好几天。隋炀帝不免问及，张成便将王义自宫的事情说了出来，隋炀帝一听，感动得连叹“忠义”两字。等王义疮痕痊愈，隋炀帝便允准他出入宫寝，有时还让他睡在自己床榻下面，像待宫女一样待他。
大业六年正月，有十几个手中持花、口中自称弥勒佛的素衣盗贼潜入建国门作乱，结果被隋炀帝的二儿子齐王杨暕及时率兵歼灭。杨暕这次功绩显著，觉得太子早逝，此次应立自己为储君。但为保险起见，他还是请巫师作法，以防止隋主册立已故太子的长子为储君。不久，事情泄露，杨暕虽然保住爵位，但已失去隋主的宠爱，以及被册立为储君的机会。京都中出现盗贼，也算是一种骇闻，隋炀帝却不以为意，仍然照常行乐。
当时，各番的酋长带着随从来到东都，隋炀帝又要夸耀自己的富丽，暗暗下旨说：“不论城内城外，所有的酒馆、饭店，如果遇到番客，都要用上等酒肴款待，不能索要钱财！”同时，隋炀帝又让有司在端门街上搭设许多锦栅，排列许多绣帐，就连丛林杂树中，也都要缠着彩色的丝帛，又传集乐户和杂耍艺人，于是京城内外有的唱歌，有的跳舞；这边放烟火，那边打秋千；这里耍长竿，那里蹴圆球。百戏杂陈，哗闹得不可名状，光是吹箫品竹的艺人就多达一万八千人。欢腾自黄昏持续到破晓，连日不休。那些番众看了，都惊异道：“隋朝如此繁华，真不愧为天朝啊！”于是成群结队，纷纷游赏，有的去酒馆喝酒，有的到饭店吃饭，壶中都是佳酿，盘中都是珍馐。酒足饭饱后，番众正要付钱，店主都摆手说：“不要，不要，我们富饶得很，一顿便饭算什么钱呀！”番众越发称奇，便来来往往，喝过了酒，再去痛饮一番，吃过了饭，再去大吃一通，乐得大快朵颐。有几个狡黠的胡人奴隶穿街逐巷，偶然发现穷得衣不遮体的贫民，不禁笑问东都百姓说：“大隋也有贫民，为什么不把树上的丝帛给他们，免得他们一副窘迫的模样？”百姓羞惭得无法回答。隋炀帝哪里知道这些？任番众游宴一个多月，才把他们请走，并且还极力褒奖裴矩，群臣也只能随声附和罢了。
隋炀帝的宠臣，除了裴矩外，还有大将军宇文述、内史侍郎虞世基、御史大夫裴蕴、光禄大夫郭衍、工部尚书宇文恺等人。司隶大夫薛道衡呈上一章高祖颂，隋炀帝看完后，竟觉得薛道衡在讥讽自己，随即将他严谴一番。裴蕴向来与薛道衡不合，趁机弹劾他恃才放旷，目无君上。隋炀帝便令人抓捕薛道衡，将他处以绞刑，并流放他的妻儿。
曾参与谋杀隋文帝的御史大夫张衡，已出任榆林太守，后来，又被调到江都，督造行宫。张衡仗着自己曾为隋炀帝立功而颇为骄纵，但听说薛道衡无辜被杀，他也为之不平。刚巧杨素的儿子礼部尚书杨玄感奉命来江都办事，张衡见到他，不谈别的，只一个劲儿地说薛道衡枉死。杨玄感当即据实上报，江都丞王世充也上奏说张衡在督造行宫时捞取私利，二人一起弹劾张衡，由不得隋炀帝不信。隋炀帝当即就想派人杀死张衡，但一想张衡于自己有功，便革去他的官职，将他放归田里。隋朝的文武官吏，也只有吏部尚书牛弘终身富贵，他病逝后，隋炀帝不但赐了谥号，还加封侯爵。