隋主杨坚取得帝位，左卫大将军杨惠功不可没，起初隋主封他为邗国公，不久便晋封他为广平王，让他执掌禁军。改名为杨雄的杨惠那时极为受宠，长安人士称他为“四贵”中的第一人。“四贵”除杨雄外，还有苏威、高颎、虞庆则。杨雄又因宽待下士，深得众心。隋主杨坚因而有些忌惮他，改封他为司空。杨雄知道隋主想夺取他的兵权，便杜门谢客，不再参与朝政。没过多久，隋主改封他为清漳王，后来又改封他为安德王。
滕王杨慧曾娶周武帝宇文邕的妹妹顺阳公主为妻，因杨慧俊逸兼有文采，时人称他为杨三郎。隋主任命他为雍州牧，除了经常让他坐在自己身边，还亲切地称他为阿三，随后又给他改名为杨瓒。杨瓒虽是隋主杨坚的亲弟弟，但他也因隋主篡夺周室的皇权、屠灭宇文氏，而觉得杨坚过于残忍。顺阳公主悲悼自己的宗亲，更是暗地憎恨杨坚，并因与独孤皇后素不相容，而越发惆怅。独孤皇后家世尊贵，资质聪颖，隋主十分宠爱她。每当隋主上朝，皇后便并肩陪着隋主走到殿阁前；并密派宦官伺察朝政，等隋主退朝，两人同返燕寝时，皇后便婉言指出隋主的不当之举，随即恳切规劝。对于皇后的劝谏，隋主总是欣然接受，因此宫中称隋主与独孤皇后为二圣。皇后还曾与隋主密誓，隋主不能和别的妃嫔生有皇子。试想独孤皇后如此专宠，怎么能不忌恨顺阳公主，不在中间煽风点火呢？果然隋主听信皇后的话，劝杨瓒休妻。杨瓒夫妇伉俪情深，杨瓒当然不忍心离弃公主，便再三乞求隋主开恩。隋主只好应允，但自此开始疏远杨瓒。开皇十一年，杨瓒陪隋主饮酒，刚回到寝宫，便觉得肚子异常疼痛，才一会儿便倒地毙命了。隋主杨坚没有追封他封号，并将顺阳公主迁出宫廷，除去属籍。当晚，上柱国郑译病死，隋主却又是凭吊，又是赐谥号。朝臣因此愤懑不平，纷纷上谏，隋主才勉强赐杨瓒一个“穆”字。
太子通事舍人苏夔，是尚书右仆射苏威的儿子。苏夔不仅文章写得好，谱就的音律更是出色。越公杨素十分器重苏夔，还曾戏弄他的父亲苏威说：“杨素无子，苏夔无父。”当时，苏夔与国子博士何妥共同讨论正乐，意见不统一，于是二人召集百僚商议。没想到趋炎附势的群臣因忌惮苏威的权势，几乎都赞同苏夔的提议。何妥愤恨地说：“我做了四十多年的官，怎么能让一个后生小子任意屈辱呢？”随即上奏弹劾苏威父子以及礼部尚书卢恺、吏部侍郎薛道衡、尚书右丞王弘、考功侍郎李同和等人，说他们朋比为奸，滥用私权。隋主令四皇子蜀王杨秀及上柱国虞庆则下去核实，得到证实后，当即罢免苏威的官爵，将他调到开封。卢恺被罢职，薛道衡等人则遭到贬黜。
隋主任命杨素为右仆射，让他与高颎共掌朝政。杨素比高颎有风度，却远没有高颎有器量，朝廷权贵如苏威等人几乎都被他讥讽过，大臣们自然对他很有意见。大将军宋国公贺若弼尤其不服，他一直觉得自己的功劳足以让自己拥有宰相的职位，没想到权位却被功劳不如自己的杨素给夺走了，因此越想越不平。入朝拜谒时，贺若弼经常出言不逊，隋主杨坚对他说：“我用高颎、杨素为两人为宰相，你却说他们二人只会吃饭，你到底是什么意思？”贺若弼抗议说：“高颎与臣是故交，杨素是臣的亲戚，臣知道他们二人有什么能耐，所以才会那么说。”隋主不禁变色。王公大臣们察言观色，当即弹劾贺若弼对朝廷不满，应该被处死。隋主便令人把他逮捕入狱，后来想到贺若弼到底是个大功臣，便赦免了他的死罪，把他贬为平民。一年后，又赐还他的爵位。而后，隋主也赐还苏威邳公的爵位，封他为纳言。
相传开皇十六年十一月，韩擒虎在家时，邻居的母亲见韩擒虎家门前的仪卫十分壮观，不禁上前诧问。卫吏回答说：“我们特地来迎接王爷。”说完就不见了。不久，突然患病的邻居莫名其妙地走向韩擒虎家。门吏将他拦住，病人大声说：“我是来拜谒大王的。”门吏问他要谒见什么王。病人答称阎罗王。门吏当即喧噪起来，韩擒虎的家人得知后，便要殴打病人。韩擒虎急忙出来，阻止家人动手，并派人送病人回家，然后对家人说：“我生为上柱国，死做阎罗王，我也知足了。”当晚，韩擒虎便得病不起，不久便过世了，享年五十五岁。
第二年二月，隋主令杨素到岐州北督造仁寿宫。杨素推荐宇文恺、封德彝为土木监。宇文恺与封德彝只知道阿谀奉承，一经委任，格外效力，于是平山填谷，建造宫殿。可怜这群工匠白天拼命干活，晚上还要赶工，再加上工程艰巨浩大，没多久便大批大批地病倒在工地上，加上没有医生治病，最后都奄奄毕命了。监工把这些尸骸推入坑谷，尸上填尸，差不多像小山一样。当下充作地基，筑成平地，花了两年多时间，才把仁寿宫造成。造出来的宫殿的确是规模宏伟，金碧辉煌，其代价却是一万多条人命。