隋主杨坚令仆射高颎前去探视，高颎回来说过分奢华，劳民伤财。隋主向来十分节俭，一听这些话，自然十分憎恶杨素。杨素颇为忧惧，急忙派人向独孤皇后求救，独孤皇后当即答复他，让他别担心。不久，隋主杨坚亲自去巡视仁寿宫，果然太过奢侈，便召来杨素当面诘责道：“朕之所以叫你来督造这座宫殿，是因为朕看你老成谨慎，能识大体。原本以为你能体察我的心意，没想到你竟然建造得这么华丽，你让我怎么面对天下的百姓？”杨素无法辩驳，只得叩头谢罪。隋主杨坚全不理睬，径直去便殿休息。杨素正忐忑不安，怕遭到严谴，封德彝悄悄对他说：“大人别过分忧虑！等皇后一来，大人就准备领赏吧。”话刚说完，已有人报称皇后驾到。杨素忙上前迎见，独孤皇后将他慰劳一番，便入见隋主。杨素不敢跟着进去，过了半晌，才奉召进去。隋主坐在上座，还没发话，独孤皇后便从旁婉劝道：“他知道我们夫妇年老，又不会找什么乐子自娱，所以把这座宫殿弄得这么繁华，好让我们夫妇安享天年，他可真称得上是忠臣孝子了。”此时，隋主已经不像先前那么严厉。杨素当即拜谢。独孤皇后又代为请求，将杨素重赏一番。杨素忙对独孤皇后说：“老臣没什么功劳可言，封德彝监工最为辛苦，这些赏赐应该给他。”独孤皇后点头说：“皇上自会封赏封德彝，你也不要推让了。”杨素拜谢而退。不久，隋主晋升封德彝为内史舍人。此后，隋主经常带着独孤皇后巡幸仁寿宫。隋主杨坚也心为物役，渐渐地贪恋声色了。
嫁到突厥的大义公主经过两次改嫁已成为都蓝可汗的可贺敦。大义公主虽然改姓杨氏，但她的心里始终认为自己是北周的公主，因此只要一抓到机会，她便煽动都蓝可汗和隋朝作对。隋朝想方设法笼络都蓝可汗，并让他杀了大义公主，都蓝就是不愿意。当时，处罗侯的儿子染干自封为北方的突利可汗，他派人到隋朝乞请和亲。隋朝内史侍郎裴矩对使者说：“你们能杀了大义公主，就答应和亲。”突利可汗当即散播谣言，说大义公主将谋害都蓝可汗。接着又致信都蓝，挑拨他与大义公主的关系。都蓝果然中计，杀掉大义公主，又立即向隋廷上奏求婚。开府仪同三司长孙晟向隋主献策说：“都蓝可汗这么反复，看来他不是诚心归附我朝。我们还不如招抚染干，让他迁入我朝南疆，这样一来，就算都蓝有异心，他也干不出什么大事。”隋主依议，当即派长孙晟去慰谕染干，应允将公主嫁给他。染干自然喜出望外，只是隋朝还没有指定哪位公主，染干也没有立即来迎亲，因此又耽搁了三四年。
这三四年间发生了一些大事。一是史万岁征服南宁蛮酋爨震，收降三十多个部落﹔二是周法尚讨平桂州俚帅李光仕，隋朝另派令狐整为总管，令他镇抚华夷﹔三是汉王杨谅东伐高丽，无功而返，高丽王元亦派遣使者来谢罪。这三件是对外的军政。还有并州总管秦王杨俊因贪恋女色而遭到王妃崔氏下毒谋害，杨俊患病被革职，崔妃被赐死。杨素劝谏隋主，隋主说：“周公还能杀掉管蔡，我又比不上周公，怎么能因他是我儿子而枉法？”就在杨俊病重时，隋主才晋封他为上柱国，不久，杨俊便病死了。长史什柱与鲁公虞庆则的爱妾通奸，因而什柱诬告虞庆则谋反。隋主竟杀掉虞庆则，晋封什柱为柱国。宜阳公王世积出镇凉州时与皇甫孝谐发生冲突，皇甫孝谐便上奏说：“王世积曾让一个道人给他看相，道人说他以后定会大福大贵，并说他的妻子将来是皇后。王世积因而蠢蠢欲动，贿赂一些官吏，还请陛下早日惩处他。”隋主也不追究真假，便将王世积召回京城处斩。左卫大将军元旻、右卫大将军元冑、左仆射高颎因曾接受王世积的馈赠，也受到惩处。两元被罢官，只有高颎幸免，皇甫孝谐被封为上大将军。大都督崔长仁犯法当斩，隋主因他与独孤皇后是表亲，便想减刑，皇后却说：“既然他触犯国法，我怎么能徇私呢？”崔长仁随即被处死。皇后的异母弟弟独孤陀在延州当刺史时，纵容女婢饲养会杀人的猫鬼。不巧，独孤皇后与杨素的妻子同时患病，御医认为是猫鬼作祟，隋主怀疑是独孤陀所为，一得到证据，便赐独孤陀自尽。皇后三天不吃东西，哭着为独孤陀求情说：“如果陛下因独孤陀蛊政害民而赐他自尽，臣妾不敢多说什么。但如果是因为臣妾而赐他自尽，臣妾实在痛心，还请陛下赦免他的死罪！”隋主只好答应，随即下令严禁蛊毒魇魅等邪术。
开皇十九年，隋主决意西征，任命汉王杨谅为元帅，高颎、杨素、燕荣等为副将，令他们分道讨伐突厥。原来，突厥北部的突利可汗娶到隋朝的安义公主，并南徙到都斤山，成为隋朝的屏藩。都蓝可汗听说突利娶到公主，立即想到隋朝拒绝自己求亲，顿时气得无名火高起三丈，随即与达头可汗联合侵犯隋朝。突利可汗急忙通报隋主，隋主当即调兵遣将征讨突厥。
赶走两路番军后，隋主封突利为启民可汗，并令长孙晟到朔州督建大利城，为启民营造居地。突厥的散众大多都来投靠启民，启民随即带着一万多口人迁徙。没想到安义公主竟在途中病死，隋主又将义成公主嫁给启民，并开辟夏、胜二州间的旷地，让他的番民畜牧，同时令上柱国赵仲卿屯兵五原，为启民抵御达头可汗。代州总管韩洪等率一万军兵镇守恒安，作为后援。不久，达头可汗率领十万骑兵入侵，被赵仲卿杀得落荒而逃。隋主采纳长孙晟的计策，将启民迁徙到五原，以免他遭到不测，同时派杨素出击都蓝可汗。杨素军还没出塞，都蓝已被部下杀害，达头自立为步迦可汗，突厥大乱。启民奉隋主之命派人去招降并抚慰突厥部众，当即便有许多番众投靠启民。第二年夏天，达头抚定境内后，又来侵犯隋朝。晋王杨广奉命率同杨素、史万岁、长孙晟分道出击，杀得突厥落花流水。史万岁追出塞外，达头一听到史万岁的名号，逃得更快。不久，达头又派侄儿俟利伐攻打启民，隋朝立即发兵援助启民。启民与隋军一同击退俟利伐后，上奏感谢隋主，并表示愿意永远效忠隋朝。隋主令赵仲卿增筑金河、定襄二城，保护启民，启民感激涕零。