桓玄将刘牢之收归旗下，然后进军建康。司马元显丝毫不能抵抗，任由桓玄入城。桓玄一除掉司马元显及其党羽，就自称丞相，掌管国政；同时任命刘牢之为会稽内史，收了他的兵权。刘牢之惊叹道：“桓玄一入京城，便夺去我的兵权，这可怎么办？”
刘敬宣劝刘牢之袭击桓玄，刘牢之担心兵力不足，忙召来刘裕商议：“我真后悔当初没听你的话，以至于被桓玄逼到这个地步。如果现在去攻打广陵，匡扶社稷，你还愿意追随我吗？”刘裕回答说：“将军率领数万禁兵，却没能讨伐叛贼，反而为虎作伥。如今贼人得志，威震天下，全天下都对将军失望透了，将军还能得到广陵吗？我情愿回京口，也不忍心见到将军孤危的局面。”说完就走了。
刘牢之又召集幕僚商议，说是想占据江北，讨伐桓玄。幕僚因刘牢之反复多变，都萌生离意，尽管当时勉强赞成，但一到起程之际，他们都陆续散去。何无忌也不愿追随刘牢之，与刘裕密议以后的打算。刘裕说：“刘将军此去必定失败，你就跟我回京口吧。桓玄如果能谨守做臣子的本分，你我二人不妨去投靠他，不然的话，就设法除掉他。”何无忌点头称是，没和刘牢之打招呼，就跟着刘裕去了京口。
刘牢之到了新洲，见部众都已离散，感叹一番，拔刀自尽；他的儿子刘敬宣逃往山阳。唯独回到京口的刘裕被徐、兖刺史桓修召为中书参军。永嘉太守卢循表面上虽听命于桓玄，但贼性不改，暗地里派党羽徐道复偷袭东阳。得到情报后，刘裕及时领兵截击，杀退徐道复，然后回军。
不久，桓玄篡位，把晋安帝废为平固王，并将都城迁到寻阳，改国号为楚，建元永始。桓修是桓玄的堂兄，桓玄令桓修入朝。刘裕也只得随着桓修前往建康，跟随桓修谒见桓玄。桓玄和颜悦色地接见他们，慰劳备至，并对司徒王谧说：“刘裕风骨非凡，的确是当今的人杰啊！”王谧趁机献媚说：“上天特意把刘裕赐给陛下，就是让他来匡辅新朝的！”桓玄听后，更加欢喜，每逢宴会，必召刘裕前来，殷勤款待。桓玄的妻子刘氏聪慧敏锐，她曾躲在屏后窥探，见刘裕相貌奇伟，知道刘裕非等闲之辈，忙找机会对桓玄说：“刘裕龙行虎步，气度不凡，在朝的所有臣子竟没有一个比得上他，大王不可不防！”桓玄说：“我也觉得刘裕气度不凡，所以格外优待他，想让他知恩图报，效忠于我。”刘氏说：“臣妾见他器宇深沉，未必会甘为人下，陛下不如趁早灭掉他，免得养虎为患！”桓玄慢慢回答道：“我正想靠他来荡平中原，等到关陇平定，再除掉他也不迟。”刘氏着急地说：“恐怕到那时，已经来不及了！”桓玄始终不听，仍让桓修回去镇守丹徒。
桓修想邀刘裕一同回去。刘裕托词旧伤复发，无法骑马，没有随桓修一起回去，却与何无忌一同坐船返回京口。二人在船上密谋许久，制定了讨伐逆贼的计划。到了京口，何无忌立即去拜见沛人刘毅，与他商议规复事宜。刘毅说：“以顺讨逆，还怕不会成功吗？只是军中没有主帅。”何无忌没有立即说出刘裕的名字，只是试探道：“你也太轻视天下人了，难道草泽中就没有英雄？”刘毅奋然道：“据我看来，只有一个刘裕！”何无忌微笑不答，回来禀报刘裕。来京城办事的青州主簿孟昶，回青州时刚好经过京口，便与刘裕叙谈起来，二人说得很是投机。刘裕问孟昶：“草泽间有英雄崛起，您知道是谁吗？”孟昶回答道：“当今的英雄，除了阁下还有谁？”刘裕不禁大笑，随即与他一同谋划起兵事宜。
刘裕的弟弟刘道规是青州中兵参军，青州刺史桓弘是桓修的表弟。刘裕便让孟昶回去嘱咐刘道规谋杀桓弘。交代妥当之后，刘裕一面让刘毅前往历阳，约同豫州参军诸葛长民谋取豫州刺史刁逵的性命；一面致信建康，让朋友王元德、辛扈兴、童厚之等人做内应，以便自己与何无忌刺杀桓修。这就是刘裕奋身建功的第一步！