为确保徐州地区的安全，李宗仁命孙桐萱部向运河以西推进，袭取济宁、汶上的日军据点，以牵制敌人主力。孙部第22师负责攻取济宁，于2月12日晚由大长沟渡运河，14日晚有一小部攀登入城，双方短兵相接，血战竟日，终因敌我双方力量悬殊，入城部队伤亡极大，17日晚撤至运河西岸。与此同时，第12军81师也直取汶上，于12日晚由开河镇渡运河，一部由城西北攻入城内，与日军进行激烈巷战，终因人少势弱，损失严重，13日奉李宗仁之命撤向运河西岸。19日，日军攻陷安居镇，22日突破曹福林第55军阵地。25日，日军突破杏花村阵地，守军被迫撤至相里集、羊山集、巨野一线。但李宗仁在这一线布置大量兵力，不断侧击北段南下之敌，使敌军在这一带徘徊不能南进，暂时稳定了战局，摆脱了危机。

    日军津浦线主力南攻不成，遂改变策略，由少壮派军人板垣征四郎、矾谷廉介率两师团企图会师台儿庄。台儿庄位于津浦路台枣（庄）支线及台潍（坊）公路的交叉点上，扼运河的咽喉，是徐州的门户，在军事上具有重要地位。日军一旦得手台儿庄，便可策应津浦路南端日军攻势，一举拿下徐州。板垣、矾谷两师团，是日军精锐之师，大部官兵都是参加过“二·二六”日本政变的，此次进攻，来势相当凶猛，大有豕突狼奔、一举围歼中国军队之势。3月下旬，日军以七八万兵力，在华北方面第二军司令官西尾寿造指挥下，分两路向台儿庄进发。一路为坂垣第五师团，自1月12日在青岛岭山湾、福岛两处强行登陆后，沿胶济路西进，至潍县转南，经高密，循诸城、荣县一线，进逼临沂；一路为矾谷的第十师团，该师团沿津浦路南下，直取台儿庄。

    2月，中国军队为堵截日军前进，在临沂、滕县同日军发生了激烈的战斗，揭开了台儿庄会战的序幕。

    在李宗仁的指挥下，临沂之战取得了惊天动地的胜利，它砍断了津浦路北段日军的左臂，粉碎了日军会攻台儿庄的计划，促成了以后台儿庄会战中，李宗仁围歼孤军深入台儿庄的矾谷师团的契机。

    坂垣败绩累累，矾谷仍然武士道精神十足，不顾一切，日益向南推进。矾谷比坂垣更凶，李宗仁檄调自郑州来的邓锡侯第22集团军的第41军孙震部赶往滕县，拒敌南下；孙部刚在滕县部署就绪，3月15日，矾谷师团就发动攻击。日军以数十架飞机、30余门大炮狂轰滥炸，守军师长王铭章督战死守。李宗仁见滕县危险，又急令新拨归第五战区指挥的第20军团司令汤恩伯派部驰援。汤的主力81军王仲廉部因行程过远，未能及时赶到，3月17日晚，日军配合炮火攻陷滕县，20日攻占郅县，并沿台枣支线向台儿庄阵地突进。对矾谷军事行动的后果，李宗仁有着充分的估计：此次台儿庄一失，不但前功尽弃，士气、民气受到巨大的挫伤，国内恐日病大涨，而且给日后的战略转移带来难以想象的损失。

    为了确保台儿庄，他制定了相应的作战计划。李考虑到孙连仲的第二集团军最善防守，即令孙派3个师，沿运河布防，扼守台儿庄正面阵地，李判断矾谷前次战役占了上风，骄狂不可一世，一定不待蚌埠方面援军北进，便会直扑台儿庄，以期一举拿下徐州，夺取打通津浦路的首功。因此，李便决定设圈套，请其入瓮。于是，他命令汤恩伯第20军团的2个师让开津浦路正面，诱敌深入，待矾谷直扑台儿庄后，再回头击敌之背，与孙连仲一起将敌围而歼灭之。事态的发展正如李宗仁所预料的那样，敌人从滕县南下，舍汤恩伯军不顾，直扑台儿庄。敌军总数约有4万，拥有七八十辆坦克，百余尊山野炮和重炮，重轻机关枪更是不计其数。3月23日，矾谷军冲到台儿庄北泥沟车站，徐州城内已炮声可闻，台儿庄会战的大幕正式拉开。

    3月24日，敌军采用上次攻打滕县的战术，先猛