李世民抓住这个机会，就找李渊劝他起兵反隋。
李世民对李渊说：“皇上委派父亲到这里来讨伐反叛的人。可是眼下造反的人越来越多，您能讨伐得了吗？再说，皇上猜忌心很重，就算您立了功，您的处境也将更加危险。惟一的出路，只有起来造反。”
李渊犹豫了许久，才长叹一声，说：“我思考你说的话，也有些道理，我只是有些拿不定主意。好吧！从现在起，是家破人亡，还是夺取天下，就凭你啦！”
李渊把刘文静从晋阳监牢里放了出来。刘文静帮助李世民，分头招兵买马。李渊又派人召回正在河东打仗的另两个儿子李建成和李元吉。
李渊自称大将军，让李建成做左领军大都督，李世民做右领军大都督，刘文静做司马，带领3万人马离开晋阳，向长安进军。一路上他们继续扩充人马，还学着农民起义军的做法，打开官仓，给贫民发粮。这样一来，加入队伍的人就越来越多了。
不久，唐军攻下霍邑城，然后继续向西进军，在关中农民军的配合下，渡过了黄河。
李渊率领了20多万大军攻打长安。守在长安的隋军，已经无力回天，很快就被李渊的军队攻破了城池。为了争取民心，李渊一进长安就宣布约法十二条，把隋王朝的苛刻法令全部废除，随后立隋炀帝的孙子杨侑做了挂名的皇帝。
第二年（618年）夏天，隋炀帝在江都被人杀了。消息一传来，李渊就把杨侑废了，自己登基称帝，改国号为唐，这就是唐高祖。