冯玉祥再次以退为进，宣布下野。1926年1月4日，在把烂摊子丢给部下张之江、鹿钟麟等人后，冯玉祥途经库伦转往苏联参观学习。可惜的是，冯玉祥的退让非但没有改变张作霖、吴佩孚对国民军的切齿仇恨，反让国民军陷入群龙无首的被动局面之中。十日后，张作霖的奉军、直鲁联军、吴佩孚部相继在山海关、山东、河南等地爆发战争，这就是所谓的“国奉大战”。

    郭松龄兵败的时候，还有一支精锐部队原封未动，那就是他的死党、原炮兵旅旅长魏益三统率的第五军。郭松龄之所以未能将魏益三的第五军调往前线，主要是因为李景林已经背约投奉，为了防止李景林从背后偷袭，这才将魏益三部留在山海关一带监视李景林部。

    但魏益三不曾想到的是，郭松龄的失败来得如此之快，这下他的境遇就非常危险了。尽管张作霖表示不计前嫌，希望魏益三回归奉军，但魏益三最后还是南下保定投靠国民军，并接受了“国民四军”的旗号。

    由此，奉军的第一个讨伐对象便是魏益三的这个“国民四军”。在奉军发动进攻后，国民军鹿钟麟立即率韩复榘、佟麟阁、郑金声、孙连仲等部开赴滦州一带布防，防止奉军长驱直入关内，另外，宋哲元等部也在喜峰口等处出动，以牵制奉军的后路。

    在山东方面，直鲁联军兵分两路，一路由张宗昌所部进攻尚留在鲁西南的国民二军李纪才部，另一路由直鲁联军向天津方向发起反击，力图夺回天津和直隶地盘。在鲁西南战场，由于吴佩孚的靳云鹗部获得了张宗昌的军械粮饷帮助，因而形成了张宗昌部与靳云鹗部对李纪才的南北夹击之势。

    危急之下，岳维峻命在山东的部队全部撤回河南以自保，而张宗昌在肃清山东的国民二军后，随后又与李景林的部队联合北上，准备夺回天津。直鲁联军此次反攻，规模甚大，总共有个七个军的兵力，其中李景林三个军（共一师八混成旅）、张宗昌四个军（共九师二混成旅），分别由德州出发，一路进攻天津，一路进攻保定。2月中下旬，直鲁联军已经相继攻下沧州、马厂，与国民军形成对峙局面并等待最后的总攻。

    在河南战场，主要由吴佩孚部与岳维峻的国民二军对垒。最开始的时候，岳维峻未落下风，他先任命李云龙为豫南总指挥，调第十一师师长蒋世杰守卫信阳，李纪才部守归德（今商丘），田玉杰部回防郑州，以迎接吴佩孚的进攻。吴佩孚的军队实力虽然有限，但他之前便收买了被岳维峻击败的镇嵩军残部及河南本地的红枪会，以便到时内外夹击。吴佩孚自己的部队则兵分两路，一路由寇英杰率领，从鄂北攻入豫南，一路由靳云鹗率领，从山东攻入豫东。第三路则是刘镇华、张治公的镇嵩军残部，从陕西攻入豫西。这些军队从三个方向对国民二军展开了猛烈的进攻，必欲置其于死地而后快。

    尽管吴佩孚指挥的寇英杰部在进攻信阳时受阻，但靳云鄂所部吴军进展顺利，相继攻下归德、兰封等地，随后吴佩孚也改变策略，绕过信阳向北进发，并相继攻下驻马店、漯河、郾城等地，最终形成对岳维峻所部主力的包围。这时，原归附于国民二军的毅军米振标部也投靠了吴佩孚，岳维峻最终只能在3月2日放弃郑州，并分别向豫西豫北撤退。

    靳云鹗部与寇英杰部在郑州会师后，兵分二路继续追击岳维峻的国民二军。最后，邓宝珊部撤往豫北，最终归附冯玉祥的国民一军，而岳维峻从洛阳逃出后，在吴军与镇嵩军的夹击下，曾经煊赫一时的国民二军主力尽没，岳维峻本人也被南下的阎锡山部队俘获。

    在这场战争中，打得最惨的是信阳包围战。由于信阳城的城墙高厚坚固，吴军久攻不下，而蒋世杰师又突围不成，结果战事旷日持久，城中军民不分，任意抢劫奸淫，老百姓极其遭殃，饿死者不计其数。由于缺乏燃料，城中树木被砍