荡平四川，刘裕功不可没。晋安帝封他为太傅、扬州牧，刘裕推辞了一番。晋安帝于是另封他的二儿子刘义真为桂阳县公。当时，司马休之的儿子司马文思已入继谯王。司马文思性情暴虐，滥结党徒，刘裕十分厌恶他。不久，又传来司马文思打死京都小官吏的消息，有官员上奏弹劾他。晋廷下诏诛杀司马文思的党羽，却赦免了他的死罪。司马休之在江陵获悉后，立即上奏谢罪。刘裕将司马文思押送到江陵，令司马休之自行处治。司马休之于是上奏表示愿意废了司马文思，并满含讥讽地向刘裕道谢。刘裕很是不悦，便令江州刺史孟怀玉兼督豫州六郡，监督并制约司马休之。
第二年，刘裕赐死了司马休之的二儿子和侄子，让弟弟刘道怜掌管太尉府事，令刘穆之辅助，然后亲自率领荆州刺史讨伐司马休之。
司马休之联合雍州刺史鲁宗之、鲁宗之的儿子竟陵太守鲁轨，共同抵御刘裕。刘裕想招降司马休之的书记官韩延之，但遭到拒绝。刘裕当即令参军檀道济、朱超石率兵驻守襄阳，又檄令江夏太守刘虔之聚粮以待。檀道济等人还没筹集粮草，刘虔之却已被鲁轨击毙。刘裕又令女婿徐逵之率领参军蒯恩、王允之、沈渊子等人出江夏口，与鲁轨对垒。鲁轨计歼徐逵之、王允之、沈渊子三人。蒯恩持重不动，全军退还。
收到消息，刘裕勃然大怒，亲自率将士渡江。鲁轨与司马文思率领四万名士兵在岸边列阵以待。江岸高达数丈，各将士都不敢贸然登岸，面面相觑。刘裕怒不可遏，披上甲冑就往岸上跳，将军们一番苦谏，他就是不听。主簿谢晦一把扯住他的胳膊，气得刘裕头筋暴涨，怒目扬须，拔剑指着谢晦说：“你要再拦我，我就杀了你！”谢晦从容答道：“天下可以没有我谢晦，但不能没有将军呀！”刘裕要登岸，将军胡藩急忙用刀尖凿穿岸土，然后攀上陡峭的河岸。众士兵也奋勇登上岸，杀向敌军，鲁轨的部众稍稍后撤。刘裕麾军登陆，大刀阔斧地冲杀过去，鲁轨与司马文思军立即溃败。一逃一追，直抵江陵城下。司马休之与鲁宗之、韩延之弃城而逃，鲁轨退守石城。刘裕令阆中侯赵伦之、参军沈林子攻打鲁轨，另派内史王镇恶率水军追杀司马休之等人。司马休之听说石城被围攻，忙与鲁宗之赶去支援。哪知途中，却遇到狼狈奔来的鲁轨，说石城已被攻陷，三人于是相偕奔往襄阳。可是，襄阳参军紧闭城门，拒绝迎纳，司马休之无可奈何，只得向西投奔后秦。
当时司马休之的亲戚司马道赐也与将军王猛子，密谋刺杀青、冀二州刺史刘敬宣，以响应司马休之，结果却被刘敬宣府中的部将砍成肉泥。青、冀二州仍然安定如常。
刘裕凯旋班师，晋安帝再次加封他为太傅、扬州牧，并允准他带剑上殿，朝见时不用跪拜。但刘裕仍不肯接受。晋安帝便加封他为平北将军，令他督管南秦的二十二个州郡。不久，又晋封他为中外大都督，封他的长子刘义符为兖州刺史兼豫章公，三儿子刘义隆为北彭城县公，弟弟刘道怜为荆州刺史。
刘裕因为后秦屡次收纳逃犯，决意声讨后秦。后秦国君姚兴即位后，灭前秦、降后凉，在位二十二年，国势颇为强盛。姚兴死后，骨肉相争，关中大乱。刘裕决定趁机西征，晋安帝随即任命他为征西将军，兼任司、豫二州刺史；封他的长子刘义符为中军将军，令他监管太尉府；封刘穆之为左仆射，任命他为监军中军二府军司，令他入居东府，掌管内外朝政，司马徐羡之为副手；令左将军朱龄石守卫宫禁，徐州刺史刘怀慎守卫京师。
起程时，刘裕将大军分为数路：龙骧将军王镇恶、冠军将军檀道济自淮淝进军许洛；新野太守朱超石与宁朔将军胡藩趋往阳城；振武将军沈田子率同建威将军傅弘之趋往武关；建武将军沈林子、彭城内史刘遵考率水军出石门，自汴州趋往黄河。刘裕又任命冀州刺史王仲德为征虏将军，令他督领前锋，从巨野进入黄河。刘穆之对王镇恶说：“刘公将伐秦的重任交付你们，你们一定要奋力而行，不要让刘公失望！”王镇恶回答道：“不攻克关中，誓不回都！”当下兵马出都，陆续西进，大军浩浩荡荡抵达彭城。
王镇恶、檀道济进入秦境，所向披靡。秦将王苟生将漆邱城献给王镇恶，刺史姚掌将项城献给檀道济。各处守军都望风归附，唯独新蔡太守董遵固守城池，拒不投降。檀道济一举攻入城中，将董遵斩首。大军接着攻克许昌，擒获秦颍川太守姚垣及大将杨业。
沈林子自汴州驶入黄河。襄邑人董神虎赶来投降，引着沈林子攻占仓垣，降服刺史韦华。后来，董神虎因擅自回襄邑，被沈林子杀死。
王仲德率水军渡过黄河，经过滑台。北魏昏庸懦弱的守吏尉建，以为晋军是来攻城的，当即弃城北逃。王仲德随即入城抚慰百姓说：“我军已备好七万匹布帛，用来向北魏借道，不料北魏守将却弃城而逃。因此我特意入城向你们解释，请你们不要惊慌，我军待几天就走。”魏主接到军报后，立即令部将叔孙建、公孙表等人自河内前往枋头，率兵渡河。途中遇到奔逃的尉建，叔孙建将他捆回滑台，投尸河中，然后质问城上的晋兵：“你们为什么突然侵犯我朝领土？”王仲德派人回答说：“刘太尉令我家征虏将军前往洛阳，清扫山陵，我们只是借道而行，并不敢侵掠魏境。没想到北魏守将弃城而去，丢下一座空城，我家将军便借城息兵。我军入城后，秋毫无犯，打算休整几天，立即西去。我军始终坚守晋魏和好的约定，请你们不要误会。”叔孙建无词可驳，忙派人报告北魏主。北魏主又令叔孙建致信刘裕，刘裕婉辞回复说：“洛阳是我朝的旧都所在，如今却被西羌占据，陵寝都变成了废墟，并且羌人总是收留我朝的罪犯，所以我朝发兵西征。我朝只想向贵国借道，相信贵国定会坚守和好的约定，绝对不会违约。滑台的军队将立即西去，贵国不要多虑！”北魏主于是让叔孙建按兵不动，等晋军退去，再收复滑台。
晋将军檀道济率兵一连攻下秦阳、荥阳二城，直抵成皋。秦征南将军陈留公姚洸驻军洛阳，急忙向关中求救。秦主姚泓令武卫将军姚益男、越骑校尉阎生率领一万多名士兵去支援洛阳；又令并州牧姚懿屯驻陕津，遥作声援。然而，不等姚益男等人赶来救援，洛阳已经支撑不住，向晋军投降了。檀道济俘获了四千多名秦兵，有人劝他将秦兵全部活埋，檀道济却说：“讨伐暴君，招抚百姓，就在今天。我为什么还要多杀呢？”随即释放所有俘虏，秦人大悦，相继依附。