李密传檄四方，各地反贼纷纷响应，按说中原是唾手可得，偏偏天命所归，不属李密，却付诸太原留守李渊。李渊奉隋炀帝之命调兵讨伐甄翟儿，大破甄翟儿后，留守太原。当时，晋阳令刘文静因与李密是姻亲关系，被逮捕入狱。随父亲来到太原的李世民见好友刘文静坐罪入狱，便经常去看他，并代为叹惜。刘文静惆怅地说：“近来天下大乱，性命轻似鸿毛，除非汉高祖、光武帝复生，或许我还能重见天日。”李世民生气地说：“你怎么知道没有枭雄？我今天来看你，就是想与你共议大事，难道我是来效仿那些儿女为你哭泣的？”刘文静建议李世民劝父亲袭取关中，李世民颇为踌躇，刘文静又附耳授计，他才喜悦而去。
原来，晋阳宫监裴寂是李渊的老友，刘文静料知李世民劝不动父亲李渊，便叮嘱李世民结交裴寂，让裴寂从中周旋。裴寂嗜酒好赌，李世民便投其所好，请他喝酒赌博，并故意输钱。相处一段时日，李世民见时机已经成熟，便将密谋和盘托出。裴寂缓缓回答说：“只怕你父亲不肯，怎么办？”李世民一再恳请，裴寂想了一会儿，才说：“有了有了，你就等着我的好消息吧。”过了一两天，裴寂将李渊请入晋阳宫，盛宴相待，喝到半醉时，走出两个美人过来劝酒。已经醉酒的李渊糊里糊涂地把两美人当成歌伎，乐得借色陶情，畅饮遣怀。没过多久，李渊便在美人的陪伴下，入寝沉睡了。第二天天大亮，李渊才醒来。睁开眼睛一瞧，身边竟躺着两位美人，李渊不禁咄咄称奇，连忙问她们来历，没想到竟是晋阳宫中的尹、张二妃。李渊大惊而起，慌忙出宫，召问裴寂。裴寂却笑着回答说：“没事。”李渊失色道：“这是天子的行宫，尹氏、张两位美人又是天子的妃嫔，你怎么能让她们来陪我？如果让天子知道了，我还能保全性命吗？”裴寂大笑说：“唐公！你怎么这么胆小！不要说几个宫人，就是隋室江山，你也可唾手取来。”李渊只是不停地跺脚，连呼：“误我！”忽然有人进来禀报说，突厥兵入侵马邑。李渊只好匆匆出宫，派副留守高君雅率兵援救。
几天后，高君雅的败报传来，李渊很是不安。李世民趁机劝父亲兴兵，却遭到李渊的呵斥。第二天，李世民又跑去向父亲摆明事实，讲清利害关系，李渊不禁叹道：“家破身亡，因你而起；化家为国，也因你而成。”虽是如此，但因家眷还在河东，李渊一时不敢发难。忽然从江都传来消息，隋炀帝派使臣来太原督战。李渊越发惊惧，再加上李世民与裴寂的劝说，他当即整顿兵马，准备起事。不巧江都又传来消息，隋炀帝令李渊照旧供职。李渊稍稍放心，暂且按兵不动。但李世民却等不及了，他早已暗地差遣心腹去接家眷，等眷属一到太原，便准备兴师。李渊的妻子正是北周上柱国窦毅的女儿。窦毅的的妻子是周武帝的姐姐襄阳公主，隋主杨坚篡取北周主的皇位时，窦毅的女儿曾恨自己不是男子，不能救护舅舅家。那时，窦毅已将女儿视为奇女，后来为女儿挑选夫君时，他让应试者射击屏风上孔雀的眼睛，李渊一箭中的，被他招为女婿。窦氏生有四个儿子，一个女儿，大儿子叫李建成，老二就是李世民，三儿子叫李元霸，四儿子叫李元吉，女儿则嫁给临汾人柴绍。当时窦氏已过世，李元霸也早逝。李建成、李元吉一接到李世民的密信，便邀柴绍一同赶赴太原。李渊经不住裴寂的催促，于是放出刘文静，让他矫造圣旨，发往太原、西河、雁门、马邑等地，说是朝廷决定讨伐高丽，以激起民变。
马邑的乱党头目刘武周，将自己掠得的几名汾阳宫的妃嫔献给突厥，请求突厥的援助。突厥竟册立他为定杨可汗，国号为元。又有一些流民在西北一带闹事，刘武周也逼近太原，闹得李渊无法图存，只得冒险起事。碰巧高君雅回城求援，李渊干脆将他与副留守王威两人一起除掉。
李建成、李元吉与柴绍一同抵达太原，李渊自然可以安心发兵了。刘文静怕受到突厥的牵制，劝李渊拉拢突厥。突厥始毕可汗唯利是图，当然愿意出兵帮助李渊，并建议李渊自称天子。李渊不敢突然称王，只是表示尊隋炀帝为太上皇，拥立代王杨侑为帝，并派李建成、李世民攻打西河郡。李建成与李世民往返才九天，不但拿下西河郡，还赢得百姓的赞颂。李渊大喜过望，自称大将军，又是设置官吏，又是发仓赈民。裴寂随即被封为大将军府长史，当即将晋阳宫中的妃嫔、珍宝全部送到将军府。
新秋时节，李渊督兵西行，令小儿子李元吉留守晋阳，并传檄四方，说是发兵入关，拥立代王。留守西京的代王杨侑却派虎牙郎将宋老生屯驻霍邑，大将军屈突通屯驻河东，抗拒李渊。这时，李渊又接到李密的来信，李渊只好虚与周旋，推举李密为盟主，并请他塞住河洛，牵制隋兵。几天后，前驱李建成、李元吉阵斩宋老生，攻克霍邑，并乘胜拿下临汾、绛郡，随后又招降韩城。出使突厥的刘文静也带着五百名突厥兵、两千匹马赶来会合。李渊分出部分人马留守河东，然后率大军渡河，围攻屈突通。关中士民陆续归附。李渊又让李建成、刘文静屯驻永丰仓，守住潼关，控制河东；让李世民、刘弘基去攻打渭北；自己则居住长春宫，居中调度。一天，忽然来了一支娘子军，为首的女英雄正是李渊的女儿，柴绍的妻子。骨肉重逢，自是十分欢愉。李世民屯驻泾阳，招纳了关中近九万的贼众，柴绍夫妇也随李世民一同进军。代王杨侑急忙派人保护关中，登城防御。李世民自泾阳出发，一路秋毫无犯，经过延安、上郡、雕阴各境，当地的民兵无不叩马迎降。李渊随即启程西行，前去与李世民会合。不久，长安城下便汇集了二十多万人马，城中的兵民自然招架不住，没几天城池就被攻破了。李渊拥立十三岁的代王杨侑为皇帝，尊隋炀帝杨广为太上皇，改元义宁；封自己为大丞相，都督内外军事，晋封为唐王；册立儿子李建成为世子，封李世民为秦公，李元吉为齐公。
这时，刘文静也押屈突通到了长安。李渊见了屈突通，忙为他松绑，并好言劝慰。屈突通唯命是从，李渊当即任命他为兵部尚书，兼封蒋公，让他去河东城招降通守尧君素。尧君素却是一个硬汉子，死不低头，羞得屈突通满脸通红。李渊便暂时将河东搁置一边，一心打探东都的消息。