主意已定，刘裕当即与何无忌召集一百多名义士。何无忌假称是朝廷派去的使臣，一骑当先，扬鞭驰入丹徒城。桓修丝毫没有察觉，他听说朝廷派来的使臣已到，忙出署相迎。见了面，还没开口，就被何无忌一刀结束了性命。紧接着何无忌一声令下，党徒大呼讨逆，桓修的部下惊骇不已，霎时溃散，没有一人敢反抗。刘裕驰入府署后，安抚百姓，并将桓修安葬在城外。然后任命东莞人刘穆之为府主簿，让刘毅前往广陵嘱咐孟昶、刘道规即日响应。
孟昶与刘道规立即杀掉桓弘，渡江前往丹徒，与刘裕会合。徐州司马刁弘听说丹徒有变，忙率部下赶到丹徒城，探问虚实。刘裕登城对刁弘说：“我们奉旨拨乱反正，除掉逆党。现在贼人桓玄的首级已经高挂城门。你们都是大晋的臣民，现在无故纠众来此，到底是何居心？”刁弘等人信以为真，当下退去。碰巧刘道规、孟昶已率一千人马赶来，刘裕当即让刘毅去追杀刁弘。刘毅回来报捷，刘裕又致信在京中任职的兄长刘迈，让他立即起事。没想到，刘迈做贼心虚，竟如实禀告桓玄。
桓玄听说刘裕已经发难，不禁十分惊惧，忙任命刘迈为重安侯。刘迈拜谢而出。然而有人对桓玄说：“刘迈说不定是刘裕的同谋。”桓玄随即将刘迈打入大牢，并捕获刘裕的党朋王元德、辛扈兴、童厚之三人，将他们三人与刘迈一同斩首。又召来弟弟桓谦及丹阳尹卞范之等人商议御敌之策。桓谦建议立即发兵，桓玄则想屯兵覆舟山，以守为攻。经桓谦等人再三力请，桓玄才令顿邱太守吴甫之与右卫将军皇甫敷北上遏制刘裕军。
刘裕得知桓玄已经发兵，也锐意进取。他先是封自己为徐州总督，任命孟昶为长史，让孟昶守住京口；然后召集两千名讨逆义士，南下进军；同时令何无忌写好檄文，声讨桓玄。
刘裕起兵后，桓玄天天惊慌万分。有人对桓玄说：“像刘裕这种乌合之众，一定干不出什么大事，你有什么好担心的？”桓玄摇头说：“刘裕是当世的英雄，而刘毅家底虽薄，赌博时却能一掷百万，何无忌也是一员有谋略的勇将。这三个人凑在一块儿，怎么能说他们干不出大事呢？”果然警报连连传来，先是吴甫之战死江乘，随后皇甫敷在罗洛桥战亡，而刘裕军中只损失了一个檀凭之，并且兵锋越发锐利。桓玄急忙让桓谦屯驻东陵，卞范之屯驻覆舟山的西面，两军共计两万人。刘裕率军来到覆舟山东面，令各军饱餐一顿，然后丢掉所有存粮，誓死作战。刘毅持长矛做先驱，刘裕也握刀随后接应，众将士踊跃冲入敌阵，以一当十，以十当百，呼声惊天动地。凑巧一阵顺风吹过，刘裕军趁风纵火。霎时烟焰蔽天，将桓谦、卞范之两军烧得焦头烂额，与鬼为邻。桓玄料知刘裕军不好对付，已先派殷仲文在石头城准备船只。一接到桓谦战败的消息，他就策马出都前往石头城，乘船逃往江南。刘裕乘胜长驱，直入建康。
刘裕入城安定民众后，让刘毅追捕桓玄，又让尚书王嘏率百官去迎进晋安帝，同时下令诛杀桓氏宗族。司徒王谧本是桓玄的爪牙，桓玄篡位时，王谧曾亲手把晋安帝的印玺夺去，捧给桓玄。众人都视他为罪魁，劝刘裕杀掉王谧，但是刘裕不答应。原来，刘裕少年孤贫时，王谧曾代他偿还债务，所以刘裕不忍心杀掉他，仍让他在朝中做事。王谧对刘裕大献殷勤，举荐刘裕统领扬州军事。刘裕一再推辞，任命王谧为侍中，兼任扬州刺史。感恩的王谧更是大力推举刘裕督领八州军事，兼任徐州刺史。这次，刘裕不再推辞。受任后，刘裕任命刘毅为青州刺史，何无忌为琅玡内史，孟昶为丹阳令，刘道规为义昌太守，并将所有军政，交由刘穆之审定。
与此同时，诸葛长民与趁机起事的历阳军民围攻刁逵。刁逵虽然逞刁，最终也是落得饮刀毙命的下场。
桓玄逃到寻阳，在刺史郭昶之的支持下，仍自称楚帝，威福依旧。随后听说刘毅率军追来，将到城下，桓玄惊慌失措，急忙派部将庾雅祖、何澹之堵住湓口，然后挟持晋安帝以及皇后王氏、穆帝后何氏西逃江陵。刘毅与何无忌、刘道规诸将在桑落洲大破何澹之的水军，夺下湓口、寻阳，然后派使者回去报捷。刘裕因为晋安帝被桓玄劫走，于是迎奉武陵王司马遵为大将军，请他入居东宫，同时令刘毅等人继续追击桓玄。
桓玄在江陵召集了两万多名荆州兵，挟持晋安帝东下。在峥嵘洲被刘毅军烧得一塌糊涂，狼狈的他慌忙改乘小船，带着晋安帝逃回江陵。桓玄的部将殷仲文向刘裕投降，带着两位皇后回京。跑回江陵的桓玄众叛亲离，只得乘夜逃往汉中。南郡太守王腾之、荆州别驾王康产将晋安帝迎入南郡府，不久又迁到江陵。