3月17日、18日，日军第2军第10师团的濑谷支队先后攻占了临城及滕县，令步兵第63联队的第1大队(欠1个中队)继续沿津浦路南进，向韩庄追击；为了控制枣庄煤矿，又令第63联队的第2大队向峄县追击。3月19日，日军第63联队的第1、第2大队分别击退了刚刚赶至沙河及峄县布防的第20军团第85军第89师的第6旅及第4师的第23团，占领了韩庄、峄县。
由于临沂方面日军第5师团坂本支队进攻受挫、处境困难，第2军参谋清福大佐到兖州面告第10师团师团长，希望对坂本支队予以支援。师团长矶谷廉介于20日命令濑谷支队：“须确保韩庄至台儿庄运河一线，并警备临城、峄县，同时应以尽可能多的兵力向临沂方面前进，协助第5师团战斗。”濑谷启即率第63联队进至峄县；22日，根据师团长意图下达了作战命令，主要内容为：“(1)第63联队第1大队(欠1个中队)担任韩庄地区的守备。(2)第63联队第2大队，配属野炮1个大队，明日(23日)从峄县出发，进占并确保台儿庄附近运河一线地区。(3)步兵第10联队，明日从临城出发，向临沂方向前进，策应第5师团之坂本支队作战。(4)濑谷支队主力集结于峄县附近”，观察情况的发展，再作出下一步的处置。3月22日，濑谷启得到航空兵空中侦察的报告：微山湖上中国军队约千余艘小船正向湖东的夏镇前进。由于这一新的情况，濑谷启改变了决心，支队主力亦暂不向峄县集中，仍留临城地区，准备应付微山湖方面可能发生的进攻，但第63联队第2大队的任务不变，仍向台儿庄进攻(称该大队为“台儿庄派遣队”)。
当津浦路北段日军开始由邹县南进时，军事委员会除将汤恩伯第20军团转移于第五战区外，3月14日又将军事委员会直接掌握的孙连仲第2集团军转隶第五战区。李宗仁在临城失守时决心集中兵力将向津浦路南进的日军围歼于临城以南地区。3月19日拟定了作战命令，21日报请蒋介石审核。其关于津浦路正面作战的主要内容为：“(1)临城、峄县、韩庄间之敌约步兵三联队、骑兵1联队、炮兵1联队、坦克车五六十辆，自14日以来，在界河、滕县、南沙河及临、枣各地与我邓集团(指第22集团)及王军(指王仲廉第85军)激战，现分部南进，已达韩庄及峄县附近，其主力似尚在临城。(2)战区以收复鲁中广大地区为目的，以一部在运河之线取攻势防御态势，以主力由峄县东南及东北山地，侧击南下之敌，聚歼于临枣支线与韩庄运河间地区。(3)各部队之部署及任务如左：甲、汤军团新配属31师(欠110师)，应集中主力于峄县东侧及枣庄西北方焦山头附近一带山地，于3月20日(后改为24日)拂晓全线开始攻击，务先击破峄、枣之敌，向临城、沙沟两地附近侧击，压迫敌于微山湖东岸而歼灭之。其一部集结于台儿庄北方地区，准备对峄县及其西北地区协力于主力作战。乙、孙集团军新配属110师(欠31团)，应以一部在侯新闸以西运河南岸防御，待机渡河北进，主力控置于贾汪附近及荆山、茅村镇间”。蒋介石于当日21时复电，原则批准，但对其部署作了修正，指示：“(1)汤军团进出运河后，以约两师对峄县方面佯攻，以三师由峄县以东梯次迂回求滕县以南亘峄县间敌之侧背攻击之。(2)张轸师(指第110师)及独44旅归孙仿鲁(孙连仲)指挥，守备运河。(3)孙仿鲁部两师集结徐州待机。(4)张自忠军(略)。(5)孙、曹(指孙桐萱、曹福林之第3集团军)出击部队，除以主力向邹县、两下店间地区挺进外，另以两团由汶上方面向肥城、大汶口挺进游击，限宥日(26日)到达，准予悬赏。万一敌有增援队由济宁出击时，除守势部队竭力阻止外，其出击部队仍须在铁路线上游击，不得撤回运河西岸。”
至3月22日夜，第20军团的第52军已将运河南岸防务交第110师，该军北向兰陵镇地区转进；第85军已与韩庄、峄县之敌脱离接触，正向青山地区转移；配属第20军团的第31师进至台儿庄地区(第31师于24日仍归属第2集团军)；第110师及独立第44旅在运河南岸台儿庄至韩庄间防守，第2集团军的第27师在贾汪地区，总司令部及第30师在徐州附近的茅村地区。
第五战区这次攻势作战的主力是第20军团。第31师的任务是以佯攻或固守手段牵制住峄县日军，以便于第20军团从侧背攻击、歼灭敌人。早在第31师副师长屈伸于3月19日先行到达徐州受领任务时，李宗仁就已将这次战役的作战方针及指导要领告诉他。李宗仁说：“鲁南突出冒进之敌约一个师，有进窥徐州之模样，你师到车辐山后，先接替台儿庄沿运河的防线，尔后向峄县之敌攻击前进。敌如出而迎战，你师应全力堵击，迨汤恩伯军团进击敌侧背，全力压迫敌人于微山湖畔聚而歼之；敌如固守待援，你师应尽力牵制，监视敌人，掩护关麟徵军北上与王仲廉军协力包围攻击，歼灭枣庄之敌，再回师合击峄县之敌，将战线推进到兖州以北。为了协同方便，你师即暂归汤军团长指挥。”
22日，汤恩伯在台儿庄也曾向池峰城告知上述作战企图，并表示：“设峄县之敌凭借峄县山城固守，则军团之攻略不易得手。31师应诱敌脱离山城，则歼敌易举。”还说：你们与敌接触后一日之内军团即可回援，你师如能在台儿庄坚守三日即算完成任务。池峰城根据上级的意图，决心提前于23日“拂晓向峄县之敌施行佯攻，期诱敌于南、北洛附近而抑留之，待军团主力之南旋而歼灭之”。基于上述决心，22日15时下达作战命令，主要内容为：“(1)第93旅之185团位置于北洛，以一营进至前城、赵庄地区，该旅之便衣队即向獐山、北山、西黄山湖搜索而占领之。旅部率禹营(指第186团第3营禹功魁营)位置于南洛附近，应于明(23)日拂晓后向峄县之敌行佯攻，后逐次抵抗于北洛附近。第188团(欠1营)担任台儿庄之守备。(2)第91旅以181团控置于台儿庄，以182团担任台儿庄运河南岸警戒。(3)师部推进至台儿庄。”
至3月22日夜，第20军团的第52军将运河南岸防务移交第110师后进至向庄地区。第85军已与韩庄、峄县之敌脱离接触，后转移至抱犊崮山区。
3月23日拂晓，第31师师长令旅长乜子彬率1个团向峄县攻击前进。与此同时，日军“台儿庄派遣队”也由峄县出发向台儿庄攻击前进，双方在獐山遭遇。日军击退第31师的骑兵搜索队及击歼第183团的尖兵连后，在泥沟又击退了第183团的前卫营，于当晚占领了北洛。濑谷启于战俘口中得知：峄县周围的部队是中国军队第20军团的4个师；第五战区司令长官李宗仁已命令汤恩伯在峄县东北及北方的山区集结，24日开始攻击，企图将韩庄、临城一带日军压迫、歼灭于微山湖东岸地区；汤恩伯现在向城。于是决定将支队主力集结于临城、峄县，准备与汤军作战，原定支援临沂的部队减为1个大队，对进攻台儿庄的兵力与任务则不变动。连夜下达命令：“(1)支队以一部遣往沂州方向策应坂本支队，主力确保韩庄及台儿庄附近的大运河一线。(2)沂州支队(以步兵第10联队第2大队为基干)24日从临城出发，向沂州方向前进，策应坂本支队作战。(3)步兵第10联队(欠第2大队，配属炮兵等)以一部确保韩庄附近大运河线，主力于临城集结。(4)步兵第63联队(欠1个大队，配属炮兵等)以一部确保台儿庄附近大运河线，主力集结于峄县。(5)支队司令部及直属部队集结于枣庄附近。”
24日，中国空军为支援第20军团进攻作战，拂晓后以轰炸机14架轰炸了韩庄、临城及枣庄的日军，但第20军团并未按预定的时间开始进攻。当晚，军团部及第85军仍在抱犊崮山区中，仅第52军到达了预定的进攻出发地位——郭里集、鹁鸽窝之线。当日，蒋介石至徐州视察，将随行的副参谋总长白崇禧、军令部次长林蔚及厅长刘斐等留第五战区协助李宗仁策划作战。同时令第31师改为防守台儿庄，并增调炮第7团的野炮1个营(有沈阳造仿克鲁75毫米野炮10门)、机械化野战重炮兵1个连(有德国造卜福斯的150毫米榴弹炮2门)及铁甲车第3中队配属第31师，以加强台儿庄的防守火力；还令第31师解除第20军团的配属任务，归还第2集团军建制，由孙连仲统一指挥台儿庄方面的作战。孙连仲于当日进至台儿庄运河南岸的韩家寺，将其第27师由贾汪推进至台儿庄附近，接替第31师河防部队，以加强台儿庄的防守力量。
同日，日军沂州支队开始东进，当晚宿营于枣庄，以约1个中队的兵力为先遣队，进至郭里集，占据了村东北角的大碉楼。“台儿庄派遣队”继续由北洛向台儿庄进攻，中午前后攻占南洛，黄昏时推进至台儿庄附近。台儿庄南靠运河北岸，四周有长约4公里的砖砌城墙，并建有大小碉堡多座，共有6个城门，城西南角的文昌阁为全城制高点。日军以猛烈的炮兵火力摧毁了东北城墙，一度突入城内；在第31师不断反击下，败退城外，遂在北郊一带构筑工事，防御第31师反击及等待援军，作再次进攻的准备。
5日拂晓时，进入郭里集的第52军第25师第75旅之一部与日军沂州支队的先遣中队互相发现。第52军部队立即将碉楼包围，并调来炮兵进行攻击。经战斗后，该日军中队大部被歼，仅十余人突围逃至枣庄。枣庄日军沂州支队在第25师围攻其先遣中队时曾派出数百人进攻郭里集，企图救援，被第25师击退。第52军的第2师从鹁鸽窝向枣庄进攻，但被击退。汤恩伯率第85军主力仍在抱犊崮山区按兵不动，仅令派出1个旅与第52军协同作战，而该旅仅派出1个团、该团又仅派出几个排的兵力在枣庄外围进行了袭扰性攻击，然后又退回抱犊崮山区中。
位于枣庄附近的濑谷启于24日夜收到了“台儿庄派遣队”的请援电报。由于枣庄、郭里集方面受到第52军的攻击，濑谷支队只能抽调约2个步兵中队的兵力，配属2门重炮南下增援，支队主力准备“与郭里集附近之敌进行决战”，令第10联队(约1个半大队的兵力)从临城向枣庄以南运动。增援台儿庄派遣队的2个中队于黄昏前后到达台儿庄，立即遭到第31师的反击。“台儿庄派遣队”队长因两日来伤亡过多，而增援的仅2个中队，仍难完成攻占台儿庄的任务，26日凌晨又向濑谷启发出第二次请援电报：“(1)敌兵力为3个师(城内1、城东1、城西及包围我的1)，城内及火车站附近有列车炮。(2)派遣队等待增援，27日开始攻击。(3)战死20，战伤112，突入城内生死不明者15。”濑谷启在收到此电不久，又收到第10师团师团长矶谷廉介令其“采取果敢之攻势”的电令，当即决定由第63联队福荣真平大佐率仅有的第3大队赶赴台儿庄指挥攻坚。
3月27日，“台儿庄派遣队”得知第63联队已南下增援后，不俟援兵到达，即向台儿庄发起第二次猛烈的攻击，占领了城墙的东北角，一部突入城内。第31师的第186团立即组织反击，双方展开激烈的巷战，终将突入的日军压迫于城内的大庙附近。但第31师损失也大，4天的激战，伤亡约2800人。为利于以后的战斗，池峰城将全师缩编为3个团7个战斗营。这时，第2集团军的第27师已部署于台儿庄以东的黄林庄一带，第30师及独立44旅已部署于台儿庄以西的顿庄闸、万里闸一带，不断与第31师协同，向刘家湖、三里庄等地实施反击。当晚17时30分，福荣真平率第63联队直属队及第3大队到达刘家湖地区。台儿庄形势更趋严峻。
由于台儿庄战情紧急，而第20军团主力仍在枣庄东北山区，并未向枣、峄日军实施与其实力相适应的进攻。
因此第二战区一面向第2集团军总司令孙连仲下达限期歼敌的命令，一面向第20军团汤恩伯下达转用兵力于台儿庄的命令。给孙连仲的电令是：“查台儿庄为徐州前方要地，又为汤军团后方联络要道，关系重要。据报该处附近敌人约一混成联队，我军兵力数倍于敌，早当解决，乃经几日战斗，台儿庄围子反被敌冲入一部，殊深诧异。着贵司令负责严督所部，限于29日前将该敌肃清，勿得延缓致误戎机为要。”给汤恩伯的电令是：“该军团放弃攻击峄县、枣庄之计划，速以一部监视当面之敌，以主力向南转进，先歼灭台儿庄之敌。”此时，孙连仲因汤恩伯、关麟徵等曾有过台儿庄一旦受到攻击，“一日内定可回援”及“坚持三日即算完成任务”等的许诺，因而直接向汤恩伯发出了求援电。大意为：连日受敌猛攻，第31师伤亡惨重，盼以全力攻击敌之侧背，支援台儿庄战斗。汤恩伯当即令：
“第52军应于本晚星夜由傅山、青山一带向南下之敌夹击，并与孙集团军切取联系；第85军应以一部占领云谷山、黄山、马山、神山一带，牵制齐村、枣庄、郭里集一带之敌，主力本晚集结神山、向水泉、猪山一带待命。”
3月28日，福荣真平的第63联队集中兵力，在1个野炮大队、2个野战重炮大队、1个150毫米榴弹炮小队以及30余辆战车掩护下，与昨日突入台儿庄中的第2大队协同，对台儿庄发动了第三次猛攻。第2集团军除以第31师据守台儿庄阵地顽强抗击外，还令第27师、第30师及独立第44旅从东、西向敌人侧翼及后方进行反击。特别是中国空军，在台儿庄战场上首次以9架战斗机直接支援地面部队战斗，对广大官兵的抗战士气鼓舞很大。因而日军仅在炮火准备后刚开始进攻时占领了台儿庄的西北一角，尔后再无进展。但突入城中的日军乘机扩张战果。第31师将所有能够战斗的勤杂人员全部组织起来投入战斗。双方展开激烈的肉搏拉锯战，隔墙相击，逐屋争夺，阵地形成犬牙交错状态。
3月29日，日军第2军司令官西尾寿造见第63联队攻击受阻，而中国军队第20军团又正向南进，第63联队有被围歼的危险，遂令第5师团的坂本支队暂时中止进攻临沂，急向台儿庄方面增援；同时令第10师团濑谷支队主力增加到台儿庄前线。
第五战区见台儿庄形势危急，而第20军团尚迟迟未到，因此在28日夜电令汤军团“迅速南下夹击”。29日夜下达正式命令，赋予汤军团的任务为：
“甲、王军明30日应对峄县之敌佯攻，牵制该敌之南下，但应保持由东向西之原方向。乙、关军明30日应速向泥沟、北洛前进，到达该地后以一部向南洛，协助孙集团军解决台儿庄附近之敌，以主力极力破坏铁路、公路遮断峄县与台儿庄之连络，并与王军协同阻止峄县南下之敌。但王军应保持由东向西之原方向。丙、汤军团长应速向孙总司令密取连络。”
3月30日晨，日军濑谷启率其第10联队及战车部队从峄县南下，当晚21时左右，先头部队到达台儿庄以西6公里之范口村，主力集结于獐山东侧各村中。第五战区发现濑谷支队已经南下，而孙连仲报称与第20军团“尚未取得联络”，当晚20时再次电令汤恩伯：“敌主力似南下……着贵军团长以一部监视峄县，亲率主力前进，协同孙军肃清台儿庄方面之敌，限31日拂晓前到达，勿得延误为要。”
台儿庄内日军得知濑谷支队主力南援的情况后，在航空兵及庄外日军的大力支援下，全力向外扩张，当晚推进至庄南头运河北岸。孙连仲派第30师的第176团入庄增援，与第31师部队据守西半部阵地，拼死抗击，遏止了日军的扩张势头。
3月31日，日军濑谷支队仍与第2集团军部队激战于台儿庄内外，没有进展。第10师团师团长矶谷廉介又调该师驻济宁的第39联队第1大队，配属给第10联队，以加强濑谷支队的进攻能力。由于坂本支队主力转向台儿庄，临沂形势缓和，第五战区得到庞炳勋、张自忠“当面之敌已被击退”的报告后，下令将原准备调到临沂方面的第59军第139师“转移至台儿庄方面为预备队”，以稳定台儿庄方面的战局。
第20军团的先头部队于30日夜到达甘露附近，31日开始向獐山以东的日军进攻，占领了兰城店、三佛楼等地。中午前后，在向城以东担任军团侧背警戒的骑兵团与由临沂西进的日军坂本支队先头部队发生战斗。第85军的第89师前往应援，在邰家庄附近被该支队主力击退。汤恩伯急调第4师至向城、爱曲地区组织阻击。根据当时情况，汤恩伯认为有被日军东西夹击的危险，为摆脱腹背受敌的不利境地，以“避免与敌胶着，且戒冒险决战”的理由，决心“转用兵力”，把所有兵力“一律由内线转移为外线”，竟放弃对獐山东侧日军的进攻，“乘夜与敌脱离”，在第4师掩护下，撤至洪山镇以东的鲁坊、南桥地区。
4月1日，日军坂本支队与由鲁坊进至兰陵阻击的第20军团第52军在兰陵镇以北地区展开激战。当晚，坂本顺约留1个中队的步兵及1个骑兵队于向城、兰陵镇间地区，掩护其后方联络，主力向台儿庄以东的岔河镇方向前进。第五战区急令第139师至岔河镇占领阵地，归第20军团指挥，准备抗击该敌。汤恩伯率指挥所于当日进至四户。
孙连仲为歼灭台儿庄内之敌，决定由城外向日军占领的街区实施夜袭，以收出敌不意、攻其不备之效。当日16时下达了作战命令。主要内容为：令第27师挑选奋勇队250人，继以得力步兵1营跟随冲进台儿庄城内(该奋勇队如能爬进城垣、冲杀该敌，准赏洋5000元)；第30师(欠袁、吴两团)集结最优秀的兵力，在第27师开始攻城时向三里庄发动袭击；集团军炮兵队集中火力向刘家湖射击，以牵制敌人；台儿庄的第31师配合第27师部队向占领了城西北角之敌发动进攻。当日夜半前后，第27师奋勇队及第157团第2营从台儿庄东北角突入城中，攻占了东北隅及东南门，但终为敌所阻，遂占领部分街区，与敌巷战。31日，在第27师第157团第2营进攻的同时，第30师第175团亦以第3营向占领西北角的日军发起进攻，经激烈肉搏后，终将敌人击退，并歼灭其一部。
4月2日，由于第20军团昨日放弃对獐山以东日军的进攻，日军第10联队乘机南下，进至台儿庄以东地区，于10时30分开始向第27师彭村、上村、陶沟桥等处阵地进攻。激战至19时，第27师后撤至连庄、丁家窑、火石埠之线继续抗击。日军坂本支队当日亦进至陈瓦房、耿庄地区，与第10联队取得联系。其留置后方担任掩护的部队被第52军包围，刘庄第25师的第145团将其位于刘庄的一部歼灭。
由于日军第10联队及坂本支队均向台儿庄以东地区前进，第五战区急将刚刚调至碾庄、八义集一带的第75军及其第6师、第13师转至岔河镇地区，令由临沂方面调来的第57军第111师的第333旅进至鲁坊地区，均归第20军团军团长汤恩伯指挥，决心集中兵力将已进至台儿庄附近的日军围歼于邹、台地区。2日20时，第五战区向各单位下达了作战命令。
(1)敌第10师团及第5师团之一旅，自经临沂、台儿庄诸战斗后，伤亡极大，现参加决战之兵力，至多不过5个联队，附山野炮50至60门，重炮10门，战车数十辆，其一部约1000人，在洪山镇北方秋湖附近被我军第20军团包围，其主力向台儿庄东侧陈瓦房、凤凰桥一带运动，续向第2集团军右翼迂回攻击中。济南、大汶口、济宁、滕县间为第10师团之另一旅团分段守备中。
(2)本战区以迅速合围歼灭敌人之目的，决于明(3)日开始全线总攻击，保持重点于第20军团之右翼，将敌包围于台儿庄北侧地区而歼灭之。
(3)各兵团任务如下：
甲、第20军团以一部消灭洪山镇北方之敌，以主力于3日保持东南正面，向台儿庄附近之敌左侧背攻击，逐次向左迂回，务在台儿庄左侧地区将敌捕捉歼灭之。攻击开始时间，由该军团自定。因战况之进展，须随时遮断敌自峄县之退路，并对向城方面增援之敌严密警戒。
乙、第2集团军右翼与第20军团联系，于3日全线攻击，消灭台儿庄之敌；第110师准备以1旅由万里闸附近渡河，向北洛村附近敌之右侧佯攻。
丙、第3集团军前敌总司令曹福林指挥张测民支队5个团及游击总指挥李明扬所部，为堵击兵团，迅速南下向枣庄、临城合围。
(4)军团区分：
右翼兵团
第20军团长汤恩伯，第52军，第85军，第75军，第57军之333旅，第13师，骑兵第9师，炮兵第4团。
左翼兵团
第2集团军总司令孙连仲，第2集团军第119师，炮兵第10团2个连，战车防御3个连，重迫击炮2个连。
(5)第110师河防由第22集团军部队接替。
日军第10联队在4月2日的《战斗详报》中说：“对中国军队第27师第80旅昨日以来的战斗加以检讨，无愧于蒋介石对他们的极大信任。他们据守散兵壕，全部顽强抵抗直至最后。他们在狭窄的散兵壕内，重叠相枕，力战而死之状，虽为敌人，观其壮烈之态，亦为之感叹。战斗中曾使翻译劝其投降，但无一人应者。战至尸山血海的精神，并非独为我军所特有。无视他人，自我陶醉，为我军计，对此应有所慎戒。本日作战，我军伤亡将校以下66名，敌遗尸约250具。”
4月3日，台儿庄内日军得知其第10联队及坂本支队均已增援至台儿庄以东地区，为配合作战，加强了在庄内的攻势，由东部街区向南部及西部街区猛攻，但遭到第31师的坚强抗击，除又夺占了东南门外，没有进展。第10联队继续向第27师阵地攻击，但亦遭到顽强的抗击。经一日苦战，日军占领了黄林庄附近第26师的部分主阵地，第27师退至石拉一线继续抗击。战斗于第10联队以东的坂本支队4月3日正在火石埠一带与第75军激战中。
第2集团军的3个师全天均在日军猛攻之下，竭力防守，但无力按战区的命令转为进攻。第110师派豫东红枪会组成的武术队于当夜潜渡运河，以大刀、梭镖袭击了韩庄车站，一度攻入站内；该师第328旅潜入河北的突击队亦对邹县之敌进行袭扰。第20军团的第75军一部正与日军坂本支队激战；第52军已消灭了坂本支队的掩护分队，正向底阁、杨楼一线前进，做进攻濑谷支队左侧背的准备。
4月4日，濑谷启发现中国军队有向其翼侧及后方包围的迹象，急令第10联队主力向支队部所在地杨庙靠拢，连夜北返至距台儿庄约4公里的鱼鳞集结；留约1个中队的兵力置于黄林庄地区，与台儿庄内第63联队第2大队相呼应。日军坂本支队进攻受挫，已被第75军及第85军包围于鸾墩、大顾珊、火石埠等地。
中国统帅部得到临城、枣庄一带的日军均已调至峄县以南增援的情报，即令第3集团军前敌总司令曹福林“速向临、枣推进，限4月5日到达”，企图切断日军的前后联系、合围台儿庄附近日军于峄县以南地区；同时派飞机27架，分两批轰炸了濑谷支队和坂本支队。第20军团将第13师控置于鲁坊、南桥地区，以防止临沂方面的日军增援。
此日，第75军及第85军一部全天与坂本支队作战，第52军仍在准备进攻，第2集团军仍与当面之敌苦战。
4月5日，日军坂本支队与后方的联系已完全被第20军切断，弹药、粮秣均无法从临沂方面的第5师团获得，不得不从第10师团濑谷支队方面补给，已陷于困境。当晚19时37分，该支队下令准备退回临沂地区，并于20时30分致电濑谷启：“支队为攻占沂州，奉命返回，预定明(6日)日没后开始行动，7日拂晓前在三佛楼附近集结兵力。”此时，濑谷支队对台儿庄的攻击亦毫无进展，留置黄要庄的第10联队的1个中队在第27师的猛攻下已放弃纪庄等外围村庄，退缩至黄林庄。
因第20军团迄今尚未对进攻台儿庄日军的侧背进行有力的攻击，致台儿庄的形势日趋危急，因此蒋介石于12时致电汤恩伯：“台儿庄附近会战，我以10师之众对师半之敌，历时旬余，未获战果，刻军团居敌侧背，态势尤为有利，攻击竟不奏效，其将何以自解?应急严督所部于六、七两日奋勉图功，歼灭此敌，毋负厚望。”汤恩伯接到电令后积极部署进攻：令第75军“以一部巩固岔河镇东南、西南一带高地之据点，主力继续向萧汪、东庄、台儿庄攻击前进”；令第85军(附第665团，欠第4师)“向低石桥、燕子井、岔河山、刘家湖继续攻击前进”；令第52军(附骑兵第4团)“以有力之一部巩固洪山镇、兰陵镇、向城一带之据点，主力即刻开始经甘露寺、腰里徐，向泥沟、北洛之线攻击前进”。同时急令第31师师长池峰城：“明日(6日)决将台儿庄之敌击溃，与贵部会合。如不成功，甘当军令。”当晚，第52军到达底阁、杨楼、陶沟之线，第58军的第89师在朱庄、黄洲之线向大顾珊之敌进攻中，第75军的第139师在岔河镇、西黄石山之线向萧汪之敌进攻中，第75军的第6师在戴庄、李家圩之线向辛庄之敌进攻中。
同日，第2集团军总司令接到第一战区司令长官程潜的电报：“本长官奉令特来徐州督战。台儿庄之敌限自鲁起至齐日止(6日至8日)，3日内务捕捉歼灭。树立首功者奖洋10万元，否则师长以上定予重惩。”
孙连仲接电报后立即“严令各部务于限期内将当面之敌肃清，免受军令制裁”。第110师于当晚从得胜口潜渡运河北进，准备于次日进攻獐山附近之敌。
4月6日晨，日军濑谷支队长发现第110师的部队已进至泥沟、獐山以西附近，第20军团第52军的部队已逼近至支队部所在地杨庙东北约7公里的张楼地，而坂本支队主力已被第58军及第75军从北、东、南三面包围于邢家楼、大顾珊地区，且又准备于今晚撤走。这样，“濑谷支队长认为独立维持台儿庄战局困难”，决定退却，于15时30分电告矶谷廉介：“暂撤离台儿庄地区，部队向后方集结”；同时部署撤退，下令：“支队于本日日没后以全力向北转进”，令步兵第10联队第1大队及步兵第39联队第1大队提前于日没时即占领白山西村及獐山，令步兵第63联队主力(不包括台儿庄部队)于日没时向朱庄进攻，以掩护支队主力撤退，第10联队、台儿庄内第63联队第2大队及顿河闸、插花沟、黄林庄的各中队均于20时撤出第一线，向泥沟地区集结。在兖州的矶谷廉介接到濑谷启的电报后，立即命令参谋长电告濑谷启，令其终止后退。但濑谷启身陷险境，深知如果今夜不能迅速脱离台儿庄地区，等明日中国军队合围后就有被全歼的危险，因而抗命不从，继续指挥支队退却。由于仓促退逃，又是在中国军队的进攻下进行的，所以许多军需物资，如粮秣、弹药、被服以及日军尸体等均来不及带走，全部放火焚烧；有些重型机械化武器也因弹尽油竭、无法开动，不得不自行破坏，遗弃于战场。仅就台儿庄附近战场而言，该支队仅有的2门155毫米重炮及4辆履带牵引车以及8辆坦克均遗弃于战场(后被第200师运至湖南湘潭修理)，可见其溃逃时的狼狈之状。
台儿庄内的日军与第31师的部队隔墙相接、邻屋而战。日军想安全撤走，但守军以密集火力及手榴弹封锁，相当一部分日军在撤退的最后一刻被歼灭。至7日凌晨4时左右，台儿庄内的日军全被肃清。
4月7日，日军濑谷支队主力退至官庄地区，后方掩护部队在獐山一带。坂本支队得悉濑谷支队北逃后，当夜亦在火力追击下加速撤逃。本欲向东北、经向城返回临沂，由于第20军团主力均在东北方向，根本无力突出重围，于是改向西北方向败退，向第10师团部队靠拢。
第五战区司令长官李宗仁得知日军北逃的情况后，于13时下达了追击命令：“(1)台儿庄附近经我孙、汤两军击溃之敌，现向峄县方向逃窜中。(2)汤军以一部肃清战场，以主力由台、枣支路(不含)以东，沿夏庄、马山、九山、潭山以南地区向峄县追击前进。(3)孙军指挥张轸师(第110师)由台、枣支路(含)向峄县追击前进。(4)曹福林(堵击兵团)应于峄县以北地区截击敌人，勿使窜逸。(5)敌如退据峄县城，孙、汤两军各以一部占领峄县东、西方高地，主力协同击灭城外敌之野战军后，围攻峄县城。(6)敌如以峄县城为后卫阵地，孙、汤两军各以一部监视之，主力尾敌穷追。(7)孙震军(第22集团军)应由新闸子渡运河，追击韩庄方面之敌。(8)李仙洲师应继续经向城向东，扫荡临沂以西之残敌，向临沂前进。到达后归张军长自忠指挥。(9)予在铜山。”各部接令后，开始按命令追击。
4月8日，濑谷支队主力集结于峄县地区，一部兵力占领獐山、白山西；坂本支队退至枣庄以南郭里集一带。第2军司令官西尾寿造令第5师团以步兵第21旅团为基干的坂本支队归第10师团长指挥。矶谷廉介命令两支队“在现驻地附近大力整顿兵力，搜集敌情，作好下一步进攻准备”。
在整个台儿庄战斗期间，第3集团军遵照第五战区的命令，以有力部队渗入到兖州以北地区进行游击作战，以配合台儿庄的作战：3月23，第12军的第81师夜袭兖州，歼敌一部，并将兖州以北铁路破坏；3月26日，第55军的第29师炸毁大汶口铁路多处，使日军列车脱轨；3月29日，第81师又夜袭大汶口飞机场，炸毁敌机8架等。
4月9日至11日，追击的中国军队先后均已迫近峄县：左翼兵团进至峄县以南的白山西、泥沟一带，右翼兵团进至峄县以东的土山、马山一带，堵击兵团进至枣庄以北地区。此时日军濑谷、坂本两支队已集中兵力占领了白山西、獐山、九山、郭里集等各要点，一方面凭借工事进行防御，一方面以攻击行动破坏和迟滞中国军队的进攻。因而第2集团军及第20军团虽然“连日猛攻，不惟进展甚缓，且颇多损失”。
中国统帅部对追击行动缓慢甚感焦虑。4月12日，蒋介石致电李宗仁、白崇禧：“台庄之捷已逾5日，峄、枣、韩、临尚未攻下。踌躇审顾，焦虑至深。以乘胜之军更加主力部队追援绝溃惫之寇，不急限期歼灭，一旦敌援赶至，死灰复燃，是无异隳已成之功而自贻将来之患。万望激励将士努力进攻，一面分途堵击，务于一二日内将残寇全数歼除。庶敌兵再至，我更有以待之。”李宗仁、白崇禧身在前方指挥，对日军及所属各部情况知之较深：第2集团军经台儿庄苦战，人员伤亡惨重，且武器装备甚差，实无力对装备精良且又占领既设阵地的日军进行攻坚战斗；第20军团的武器装备虽然较好，军队实力亦强，但军团长汤恩伯一向“避免攻坚”，而事实上在当时具体情况下也确实不宜以攻坚战斗取胜。李宗仁、白崇禧遂于4月13日复电统帅部：“现敌改为守，凭借峄县附近山地为据点，以枣庄为犄角。我因阵线过广，处处薄弱，连日攻击，甚难成效，欲彻底消灭敌人，事实上恐难如愿。第二期抗战之方针，原在避免阵地战，以运动战消耗敌之兵力，而收‘集小胜为大胜’之功。拟在包围阵线上仅配置少数监视兵，将主力分别集结于便机动之位置，一面破坏敌后方交通，一面以小部队先游击，诱致敌人于阵地外求决战，无论敌何方增援，均可应付裕如。此为职等连日在前方实地观察，认为迅宜改用之战法原则。如蒙裁可，拟即相机实施。乞示。”4月15日，蒋介石致电李宗仁、白崇禧：“所拟机动攻势案甚妥，应速实施。”
李宗仁、白崇禧欲歼灭峄、枣之敌，但感到兵力不足。恰于此时又得到来自天津方面的失实情报，错误地判断了日军的作战方针，于是致电统帅部参谋总长何应钦及其他决策人员，希望他们协助作出增兵第五战区的决策。电报内容为：“武昌何总长、徐部长次宸(军令部部长徐永昌)兄、熊次长哲明(军令部次长熊斌)兄、林次长蔚文(军令部次长林蔚)兄：(1)津息：台儿庄胜利已激起日方反战运动，致预定由国内增加8师亟早解决华北战局之计划打消，现在向鲁南之增兵，均由各战场抽调而来。(2)我如能把握台儿庄胜利之果而早日解决峄县之敌，则可扩大敌之反战运动，怂动国际力量之观听。确立我胜利基础，在此一举。拟请委座集中所有力量争此一着，务盼兄等主持一切，以期早观厥成，是所盼祷。”统帅部同意他们的看法，开始向第五战区增兵。但事实上日本大本营于4月3日就已决定集中兵力发动徐州会战。此时，“华北方面军”第2军基本上已调整部署完毕。4月18日第10师团即开始转为进攻，徐州会战进入了后期——徐州突围阶段。
在台儿庄地区战斗中，中国军队伤亡及失踪人员总计约1万余人，日军第10团及第5师团伤亡约7000余人(不包括临沂地区战斗中的伤亡人数)。
以上，是台儿庄战役的所有过程及结果。。。