，吴佩孚便电请撤防北归，原因很简单，当时的督军是皖系的张敬尧，第三师驻防湘南实际上是为他看家护院，这如何使得？再说了，第三师的官兵大都是北方人，他们久居潮湿闷热的南方当然也不乐意。

    但是，由于当时的战局刚刚稳定下来，而接着又是一战结束、南北议和，巴黎和会之后又闹学潮，国际、国内的事情多得不得了。一直等到1920年，吴佩孚再也等不及了，他这次不管北京政府批准还是不批准，都要率兵北撤了。

    张敬尧在听说吴佩孚要北撤后，这下可把他急坏了，因为他深知自己在湖南的这两年太平日子，完全是倚仗吴佩孚的第三师替他守住了山门、挡住了南军，不然，靠他那孱弱无能的第七师是根本应付不了场面的。张敬尧在督湘期间，由于其高压政策和搜刮劣迹，一度还引发了湖南人的“驱张运动”，当时的毛泽东就曾作为“驱张”代表前往北京向大总统徐世昌请愿。

    段祺瑞在接到吴佩孚请求“撤防北归”的电报后十分生气，他拿出老校长的架子，亲自致电吴佩孚并斥责他“藐视中央、不守军人纪律”。谁知吴佩孚这口气也憋了很久，他反过来通电驳诘段祺瑞“穷兵黩武、祸害国家”，并表示北撤决心已下，不容更改，而后台老板曹锟则于4月8日在保定召开直系各省联盟会议，商议对付段祺瑞和皖系的办法。

    5月20日，在曹锟的授意下，吴佩孚不等中央下令，便率领部队撤出防地。在撤军之前，吴佩孚做了精心的准备，以每旅30里的间距，水陆兼行，从衡阳撤往长沙。一路上，第三师的官兵高唱着吴佩孚作的《回防途》一诗：

    行行复行行，日归复日归；江南草木长，众鸟亦飞飞。

    我今定归期，天下一绒衣；船舻连千里，旌旗蔽四周。

    江上送归舟，风急不停挥；得遂击楫志，青史有光辉。

    军容整齐，军歌嘹亮，吴佩孚练兵甚佳，秀才不是白中的，这诗写得着实不赖。

    在吴佩孚的第三师及同为曹锟属下的王承斌、萧耀南等部队北撤后，其他在湖南的北洋军队阵脚大乱。由于吴佩孚撤军前已经与南军达成协议，吴军一走，湘军赵恒惕部随即北上接防，不到一周，衡阳、莱阳、祁阳、宝庆等地便落入了湘军手中，而张敬尧属下的湖南暂编第一师吴新田部、暂编第二师田树勋部很快溃逃，兵败如山倒。

    至于其他的北洋部队，他们见吴佩孚的部队走了，他们也无力抗拒南军，随后也跟着北撤，比如原驻扎湘潭的范国璋第二十师、驻扎长沙的李奎元第十一师都随吴军北撤；原驻扎湖南常德的冯玉祥第十六混成旅，也北撤到津市，随后又撤到了武汉；而驻防湘东的张宗昌暂编陆军第一师就更惨了，他当时没有得到消息，等知道后北撤不及，只好进入陈光远的江西地盘，最后被陈光远略施小计，便全军缴械，张宗昌最后带着几个亲信逃到了北京。

    在直系的北洋军纷纷北撤之时，张敬尧只能急电段祺瑞请求援助。段祺瑞当时无兵可调，只能命令驻扎鄂北的长江上游总司令、妻弟吴光新部调往洞庭湖、岳州一带，准备与张敬尧的部队一起截击吴军，防止他继续北撤，威胁到京津的地位。

    但是，老段的这个小舅子吴光新也实在是不争气，他虽然被老段送到日本士官学校学习过，但所带的部队并没有什么战斗力。而且，吴光新这个人脾气极坏，他的部下们对他又怕又恨，如何搞得好？

    在接到段祺瑞的命令后，吴光新率部东行，但湖北督军王占元不知其来意，还以为他要袭取武汉，因此一度给予阻击，延缓了吴光新与张敬尧合兵的计划。至于张敬尧，他的部队并不敢去撩拨吴佩孚的军队，当吴军以战斗序列通过长沙的时候，他们只能眼睁睁的看着第三师从容北撤。吴佩孚所部在路过武汉的时候，王占元还赠银