经过了一月之久的对战，张燕与袁绍两军皆损失惨重。袁绍见此，便决定下令退兵，毕竟自己的主要敌人还是公孙瓒。
回军路上，吕布所率的军队劫掠之心又生了出来，便开始在各地开始劫掠，得到消息的袁绍十分生气，毕竟这里是自己的治下，若照吕布此种形式，那他冀州牧还当不当了。
袁绍便命人将吕布叫来，说道：“吕将军，我听部下说，将军的兵马有的在外劫掠，不知将军可知？”
吕布回道：“末将不知。”
袁绍强忍怒意，说道：“既如此，还请将军回去之后问问部下，若真有此事，将军还是要制止的。”
“布知晓。如将军无事的话，末将便先行告退，布还有诸多事情。”
袁绍说道：“去吧。”
待吕布走后，袁绍怒骂道：“匹夫！我誓要杀汝！”
回到军营的吕布老毛病又犯了，开始怀疑袁绍。他这几次向袁绍索要兵马，袁绍仅是口头答应，并无一兵一卒划归帐下。吕布便以为袁绍开始不信任他了，自己也要开始寻找后路了。