汤恩伯的第20军团不愧是国民党军的精锐部队。不管其前几天的表现如何，也不论后人对汤恩伯从1938年3月23日到3月30日这7天时间的行为做怎样的评说，汤恩伯在第五战区司令长官李宗仁的多次催促下，于3月31日终于出山了。

    第20军团主力到达台儿庄东北方向运河南头杨家庙一带，已经是3月31日下午了。汤恩伯同第52军军长关麟征、第85军军长王仲廉等研究后，决定从4月1日起，向台儿庄东北面至台枣铁路支线南、北的日军发动全面攻击。

    汤恩伯和关麟征在红瓦屋附近的一块高地上亲自指挥作战。两军主力同日军进行激战，日军败退。战斗到下午，第20军团控制了台枣铁路支线的南、北路，截断了台儿庄以北的铁路支线，对台儿庄的日军侧背进行猛烈攻击，形成包围态势。日军矶谷师团的濑谷支队曾几次从台儿庄西面独调一线部队向第20军团反攻，都被第52军击退。

    正在同濑谷支队激烈交战的时候，忽闻侦察部队报告，有大约5000多的步兵、骑兵、炮兵联合部队的日军从临沂方向开来，其先头部队已到向城附近。关麟征军长获此紧急情报后，作了如下处置：

    一、令在军部附近的步兵营长徐文亮指挥该营和军直属骑兵连，即刻跑步向兰陵镇方面前进，务须在敌正面攻击行动，诱使敌人过早展开，尽力迟滞敌人前进，争取时间，以便我由第一线抽调兵力迎击该敌。

    二、同时令第二十五师第七十五旅迅速撤离第一线，跑步开到军部附近，接受命令迅速向兰陵镇方向前进，迎击来犯之敌。

    徐文亮营长接受命令后，即率领该营和骑兵连向兰陵镇方向跑步前进，到达兰陵镇附近，与敌前头部队遭遇，即向敌猛烈攻击。敌人果然展开，向该营炮击，约1小时后，第25师的75旅已赶到兰陵镇附近向敌攻击。同时军部又令第25师师长张耀明率该师第73旅开至兰陵镇参加战斗。

    此时，军部指挥所也推进到距兰陵镇不远的洪山镇附近的一个小高地指挥作战。当时敌炮已向洪山镇附近不断射击，战斗十分激烈。在黄昏时，第85军的第4师师长陈大庆也来到第52军指挥所。据称，汤军团长命令该师参加这方面作战，关麟征表示这方面不需再增加兵力，让他返回去支援孙连仲部作战。此时，第25师已逐步将这股敌人压迫至兰陵镇以北地区。入夜以后，敌人绕过兰陵镇西北向杨楼、底阁方面逃窜，企图与台儿庄方面之敌濑谷支队会合。

    在激烈的战斗中，第52军25师俘获一批军马和日本伤兵。据伤兵交代，他们是日军第5师团坂本支队，共有4个步兵大队，两个野炮大队和一支骑兵队，是来援助第10师团，同中国军队进行决战的。

    4月2日上午，第25师将日军坂本支队大部包围在杨楼、底阁附近。日军占领村落农家院子，进行顽强抵抗。第52军急令第2师从北大窑等方向转兵至杨楼、底阁，协同第25师一道消灭坂本支队。两师奋力杀敌，一举攻占了底阁，日军纷纷朝东南方向一个叫肖汪的地方逃去。中国军队乘胜追击，当天晚上又把日军包围在肖汪。

    在后来的两天里，第52军的两个师继续围攻坂本支队，双方伤亡很大。日军第10师团得知第5师团的坂本支队被围困在肖汪一带，便不断抽调濑谷支队在台儿庄的作战部队，转身解救坂本支队。这样日军进攻台儿庄的力量相对减弱。

    第五战区司令长官李宗仁抓住这个机会，给各参战部队下达新的任务：

    一、第二十军团，包括第七十五军的一部，消灭洪山镇北面的日军，并以主力向台儿庄附近的左侧背攻击，逐次向左迂回，务必在台儿庄左侧地区，将敌歼灭。

    二、第二集团军右翼与军团联系，于4月3日全线出击