关羽、张飞两路得胜，各领兵前进。关羽这一路距离江州近，虽有潘璋领兵三千阻击，但关羽兵多，击败潘璋也是迟早的事。而张飞这一路虽远，但徐盛已经全军覆没，张飞一路进兵畅通无阻，若不分兵阻击，张飞也将很快攻到江州。
消息传到步鹜耳中时，步鹜顿时也有些着慌，当下急忙分派邓铜领本部族兵五千东进去抵挡张飞，随后又严令潘璋固守符节，绝不能让关羽通过。
此时步鹜已经预感到自己可能会战败，当下顾不得再展现仁德了，命令各军在境内强征青壮为兵，激起了百姓不满。刘备闻知，当下分派出身益州的王甫、李邈二人潜入巴郡，联络了当地大族杜义、杜睿兄弟，这二人到不觉得步鹜强征青壮为兵有什么不对，但却也敏锐地感觉到步鹜不是刘备的对手，迟早将会败亡。
捧高踩低、追随胜利者是绝大多数人的天性，杜义、杜睿二人既有实力，也有攀附强者，建功立业之心，当下在王甫、李邈的游说下立即就决定起兵响应刘备。
杜家在巴郡极有势力，有私兵僮仆三四千人，更与巴人世代通婚，当下杜义、杜睿立即联络巴郡部落，又派出信使欲要说服东进阻挡张飞的邓铜一起投效刘备。
步鹜也是文武双全的将相之才，治理巴郡数年，根基已经稳固。杜义、杜睿的异动很快被步鹜查知，当下步鹜大惊失色，急忙留凌统驻守垫江，自领郡兵连夜赶回巴郡，趁着杜义、杜睿尚未正式举兵，兵力未曾集结完毕的时机，以迅雷不及掩耳之势击破二人私兵。
杜义、杜睿见势不妙，往南逃入大山，进入南川地区依附巴人部族去了。
步鹜稳固了江州，正要领兵再次北上增援垫江，就听东进的邓铜在王甫、李邈二人以及杜家兄弟的信游说之下已经反叛，全军投效了张飞。
步鹜闻讯大惊失色，只觉大势已去，当下传令凌统、潘璋焚烧城池，全军退回江州会合。
不数日，潘璋、凌统领兵退回江州。步鹜统合各军，尚有一万二千人，但步鹜却深感墙倒众人推，这几年虽然治理巴郡卓有成效，但在如今强弱悬殊之际，巴郡豪族却仍旧大多归附刘备。因此步鹜深觉心寒，觉得死守也守不住巴郡。而从鲁肃东出失败之后，江东其实已经不可能越过荆州，出兵争夺益州了。于是步鹜思前想后，决定趁着实力尚存，迅速东出返回江东。
不过步鹜也非善茬，心底决定撤离，面上却不动声色，除了往船上装了许多粮草、金帛，又有意识地驱赶百姓出城逃避战祸之外，其他都并无动静。
然后，等刘备、关羽、张飞三面合围江州之时，步鹜佯装不敌，引刘备军进城，随后点燃预先准备好的柴草，一举焚烧城池，最后纵兵冲杀，一举杀伤刘备军三四千人。
得胜之后，步鹜焚烧府库，领兵退到船上，径自扬帆东进，顺江出川而去。
陈应、霍峻等人看见巫峡之上冲出大队船只，因此点燃烽火，向下游示警。
然而步鹜却并不进攻沿江城池关隘，只顾催船东进，一心逃回江东。
刘贤在夏口，听了斥候传来的消息，当下决定在此拦住步鹜大军，并将之吞掉。
当下刘贤分派快船东进，叫停了烽火，并传令驻兵浔阳的庞统立即率领吕介、胡济两营水军溯江而上，组成第二波拦截力量。
大军顺江而下，虽然快捷，但上万大军行动却不比一两艘快船，始终不可能真的一日千里，士兵需要时间埋锅造饭，更要需要时间休息睡觉。若有沿途郡县接应，那么倍道而行的话，能够做到日行五六百里，但若没有沿途郡县接应，那么日行三百里已经是极限了。
步鹜大军从巫峡赶到夏口，一共用了三天。刘贤早已将大军布置停当，专等步鹜到来。
主力大军在夏口排列整齐，堵住江心，鲍隆的三千水军则埋伏在汉水之上，待主力与步鹜交上手之后，再突然杀出，袭击步鹜水军后路。
步鹜之兵本就是数千里奔驰而下，全军困顿，全凭着一口气撑着，被刘贤挥兵前后夹击，顿时大败，只得弃了辎重粮船和不善水战的五千巴郡郡兵，统领其余兵马奋力杀出一条血路往东逃去。
刘贤将王平、程郁、张嶷三部兵马留下抓捕俘虏，打扫战场，自率郝昭、张翼、鲍隆等追击步鹜，一路咬住步鹜船队穷追猛打。
当夜天色渐晚，刘贤却无半点收兵的迹象，催促士兵用了干粮清水便即迅猛追杀。
而步鹜之兵经过数千里跋涉，又经白日一战，失了粮草辎重，全军饥饿困乏至极，眼见刘贤连夜追击，丝毫不给自己半点喘息的余地。步鹜顿时又惊又怒，对凌统、潘璋二人道：“刘贤连夜追击，这是不给我们留活路啊！如今大军困乏不堪，桨手已无力划船，自能顺水飘下，速度减慢，恐怕是摆脱不了刘贤的追兵了。”
潘璋道：“何不留下一支兵马阻敌，其余大军便可趁机逃走了。”
凌统道：“大江之上，无遮无拦，若留下少量兵马，瞬间就会被敌军吞没，如何能够阻敌？”
潘璋道：“你若害怕，便只管领兵逃走，我领一千兵，三十艘船在此断后，必不叫刘贤越雷池一步。”
凌统闻言大怒道：“我自十余岁从军，至今也算身经百战，哪一次不是身先士卒？什么时候逃走过！你若要逃，便自领兵逃走，我留下为你抵挡刘贤就是。”
潘璋也自大