为了征讨高丽，隋廷征兵索粮，以致百姓困苦不堪，百姓只好铤而走险，相聚为盗。于是平原、济阴、齐郡、北海、河间、渤海等地相继传来警讯。暴客饥民相随趋集，有的地方甚至聚集十多万人，他们四处剽掠，所过村邑尽为废墟。地方官吏与贼众接战，往往败退。唯独齐郡骁勇果决的张须陁击败贼寇，取得一点成就。但群盗如毛，山东糜烂，单靠张须陁一支军队，也只能保护一方，不可能四面兼顾。隋炀帝虽有所耳闻，但觉得都是些小贼，不足为虑，所以再次东征。哪知有个勋臣的后裔也乘势揭竿，在黎阳起兵，这下隋炀帝惶急起来，不得不放弃到手的战果，回头处理国事。
在黎阳起事的究竟是什么人呢？原来就是楚国公杨素的儿子杨玄感。杨玄感体貌雄伟，擅长骑射，并且喜好交游。蒲山郡公李密的祖辈是北周的将领，他的父亲李宽又是隋初的柱国，李密承袭父亲的爵位，并在隋廷中担任左亲侍一职，他与杨玄感是患难与共的朋友。李密睿智而机敏，他曾对杨玄感说：“临阵决胜，我不如你；居内运筹，你却不如我。”杨玄感十分叹服他的话，因而两人非常要好。
当时，礼部尚书杨玄感奉命在黎阳督办粮饷，他听说山东盗贼四起，料知天下从此多事，又想到父亲死时，隋炀帝曾说杨素如果不死，定会灭他九族，因而十分忧虑。虎贲郎将王仲伯、汲郡赞治赵怀义趁机劝他谋变，杨玄感于是故意让粮船逗留，迟迟不肯发往涿郡，以伺机起兵。同时秘密召回从征辽东的弟弟武贲郎将杨玄纵、鹰扬郎将杨万硕，还有留在京师的小弟杨玄挺以及李密。刚巧将军来护儿调集水兵自东莱入海，即将抵达平壤。杨玄感一面密遣家奴绕道进入平壤城，散播谣言说来护儿愆期谋反，以煽惑人心；一面进入黎阳城募兵，并以讨伐来护儿为名，召集邻近各郡的兵士。同时任命赵怀义为卫州刺史，东光县尉元务本为黎州刺史，河内主簿唐袆为怀州刺史。唐袆不肯受令，暗地逃回。与杨玄感一同督办粮饷的御史游元对他的举动也很不赞同，杨玄感见无法说服他，便把他杀死了。
组建了一支由五千名运粮壮丁以及三千名船夫构成的军队，杨玄感誓众说：“当今的天子如此暴虐，视民命如草芥，我们还要继续忍受他摧残吗？那些从征辽东的兄弟们战死无数，我们还能见死不救吗？今天，我与你们并肩奋战，伐无道，救百姓，你们愿意吗？”众人踊跃听命。杨玄感大喜，当即部署军队。正巧李密与杨玄挺一同赶来，杨玄感忙将李密迎入营帐，向他问计。李密回答说：“天子远在辽东，如果出其不意地长驱入蓟，扼住咽喉，高丽得知我国内变，必定从后偷袭。不出十天，东征的各军就会因粮资匮乏而不得不投降，就算不投降，也必定溃散。这是上策。”杨玄感忙问：“中策呢？”李密继续说：“关中为都城所在，如果率众西行，路上不攻打别的城池，直取长安，那时就算天子回朝，也为时已晚。占据长安后，据险临敌，进可战，退可守。这不失为中策。”杨玄感又问：“剩下的就是下策了吗？”李密点头说：“如果就近攻打东都，一举拿下它的话，也足以号令四方。但只怕东都那些人，早已从唐袆那儿得知大人起事的消息，并抢先固守，若是率兵攻打东都，只会贻误战机。说不定不等拿下东都，就遭遇天下兵马的四面包围，那时大势一去，我也无能为力了！”杨玄感笑着说：“眼下文武百官的家属都在东都，我如果拿下东都，先声夺人，东征的官吏绝对不寒而栗。所以你的下策，其实是上策。长驱入蓟，太过冒险；攻打关中，又有些迂远。并且一路上只顾行军，不去攻打城池，这怎么能示威呢？”杨玄感于是没有依李密的计策，竟带着众人径直杀向洛阳。果然东都这边早有防备，杨玄感极尽精锐攻城，但留守东都的樊子盖也不示弱，一守一攻，杀伤相当。
留守长安的代王杨侑听说东都被围，忙派刑部尚书卫文升前去援救。杨玄感用羸兵弱卒把卫文升引到埋伏中，一声号鼓，杀死卫文升兵无数。三天后，两军再次交战。刚刚拼杀到一块儿，杨玄感就让人大声呼喝：“官军已经抓获杨玄感了！”卫文升兵莫名其妙，东张西望，杨玄感却带领数千名精骑突然杀入卫文升阵内。一场厮杀，卫文升兵死了一大半，只剩下八千人，保护着卫文升，狼狈退去。自此，杨玄感兵威大震，越来越多的人愿意投到他麾下。没过多久，八千人的队伍摇身一变，竟成了十万大军。
随同隋炀帝东征的右武侯大将军李子雄，因受到猜疑而逃回洛阳，投靠杨玄感，并劝杨玄感称帝。杨玄感转问李密，李密回答说：“尽管极有可能遭到杨公的猜忌，但我还是要说，请不要称帝！试想自黎阳起兵以来，虽然取得数场胜利，但杨公究竟未定一郡，未服一县，这样称尊的话，未免让人不服。况且现在我们还没有攻克东都，而天下救兵即将到来，如果不挺身力战，早定关中，到时不要说尊位，就是我们的身家性命也说不定保不住。还请杨公三思！”杨玄感冷笑无言，虽然不再提称尊的事情，但心中不免存有芥蒂，于是渐渐疏远李密，把元福嗣当成心腹。元福嗣每次参与谋划都首鼠两端，李密忙劝谏杨玄感说：“元福嗣并没有从心底成为我们的同盟，他一直在作壁上观啊！杨公如果要成就一番大事业，就不能让这种奸人留在身边，还请明断，趁早杀了他！”杨玄感摇头说：“你说得也太过了，福嗣还不至于像你说的那样。”李密无奈地退去，对亲信说：“忠言逆耳！杨公不信我的话，反而将匪贼视为亲信，恐怕将来我们都逃不了成为俘虏的命运。”