31日，台兒莊及其附近日軍已被第2集團軍和第20軍團第52軍完全包圍。阪本旅團由臨沂轉向台兒莊馳援，到達向城、愛曲地區，側擊第二十軍團。該軍團即命第五十二軍和剛到來增援的的第七十五軍圍攻阪本支隊。
這個時候，台兒莊及其附近地區的敵我態勢非常的微妙。在台兒莊內，日軍第十師團的瀨穀支隊，在瀨穀旅團長的親自率領下，已經占據了半個台兒莊，而且還在不斷向據守台兒莊西半部分的中國軍隊發動進攻。由於敵軍的火力占據著很大的優勢，莊內的守軍隻能努力的支撐，每時每刻，都在承受著巨大的傷亡。而在台兒莊外，第2集團軍的第27師黃樵鬆部，第30師張金照部和第20軍團第52軍關麟征部已經對瀨穀支隊構成了包圍態勢。在台兒莊北部外圍的戰線上，奉命支援瀨穀支隊的日軍第五師團阪本支隊又對第52軍側背形成威脅。第20軍團的第85軍、第75軍則又在日軍的側後，對日軍的安全構成潛在的威脅。任何一支部隊的舉動，都可能對整個戰局的走向構成極大的影響。
瀨穀啟旅團長最近的情緒很不好。本來，在他的心目裏，那些裝備低劣的支那軍隊怎麽可能是他指揮的裝備精良，訓練有素，作戰經驗豐富，而且自從天津塘沽登陸以來，作戰行動一直是順風順水，簡直可以用旌旗所到之處，無不望風披靡來形容的姬路師團瀨穀支隊忠勇將士的對手。他在從濟南出發之前，還向師團長磯穀廉介中將信誓旦旦的保證過，隻要有一個步炮協同的戰術單位，頂多也就是一個聯隊的兵力，就可以把所有膽敢在瀨穀支隊前進道路上進行抵抗的支那軍隊全部消滅。可是，這次軍事行動，顯然不像以前在河北和山東其它地方的進軍相提並論。以前的進軍，與其說是進軍，不如說是火力演習，隻要一排炮打過去，對麵的那些膽怯的支那人，就紛紛丟下了陣地亂成一團的潰敗，也就是在德州，才遭遇過當地一個團駐軍的抵抗，也沒有用什麽功夫，就把那一個整團的支那軍隊，全部消滅了，還把帶著一個旅過來支援的什麽山東省主席嚇得坐上一輛三輪摩托匆忙丟下部隊跑回了濟南。此後的進軍，就更是順利了，簡直就是武裝旅遊，一路所到之處，幾乎毫無抵抗。
可是，不知道為什麽，從2月開始，進軍就不再像以前一樣順利了。那些支那人，好像個個都吃了藥一樣，不管手裏的武器怎麽樣，拚命的抵抗大日本皇軍，還不時地發動反衝鋒。就像在滕縣遇到的那些支那人，手裏的武器簡直可以送到軍事博物館了，可是卻硬是要和大日本皇軍玩命，最後竟然連傷員都不肯投降。以前那些懦弱的山東部隊，也拚命的從四麵八方向自己的支隊發動各種方式的進攻。雖然，這些進攻對於自己這支精銳部隊來說，不算什麽，並沒有用很大的力氣，就解決了，但是，速度，最關鍵的速度，被拖慢了。到了台兒莊這個地方，本來發現在這裏防守的支那軍隊竟然背水結陣，自己也就認為他們並不打算和自己拚命的，隻要自己向他們展示一下皇軍強大的火力，他們支持幾個小時，就會後退，方便向他們的指揮官交待的。結果卻不是這樣，這些背後背著大刀片的支那軍人，幾乎個個都不要命，拚命的抵抗皇軍將士。即使自己使用了大量的火炮進行無差別的覆蓋性炮擊，還出動了坦克和航空兵掩護，但是，這些支那人還是借著一個一個院子的院牆，狹窄的街道，進行抵抗，甚至對坦克使用了肉彈攻擊。到了晚上，整個台兒莊更是成為了這些支那人的天下。支那軍人使用大刀，和皇軍將士進行近身的格鬥，還特別無恥的喜歡砍下終於天皇陛下的勇士們的頭顱。這種情景，不能不使人想起當年的喜峰口。雖然，為了天皇陛下，為了大東亞聖戰，皇軍的勇士們可以毫不憐惜自己的性命，但是，丟了腦袋，死後的靈魂可是無法進入靖國神社的。這不能不使得自己手下的官兵，在白刃戰時有一些縮手縮腳，唯恐是被砍了頭而死。到了前幾天，莊內更是出現了身穿黃綠色軍服的支那中央軍嫡係部隊。這些中央軍部隊，他們的武器可是不像那些拿大刀的支那地方部隊那麽差，而且，他們顯然在小組戰術上，更加的熟練。幾個人組成了戰術小組，各有負責，互相掩護，特別是喜歡使用炸藥包，不論是炸塌院牆，還是投擲到皇軍的工事裏，都對皇軍的防禦體係的完整性造成了很大的威脅。更加可怕的是，他們經常向皇軍占領的院子裏，投擲一種玻璃瓶，一旦碎裂，就會有汽油流淌出來，引起火勢和濃煙。
由於那些低賤的支那人的愚蠢舉動，自己的部隊在這個小小的莊子被拖住了，一個多星期了，一直沒有能夠完成占領這個莊子，打通進攻支那東部重鎮徐州通路的任務，而且，支隊的兵員損失和彈藥消耗都很大。這種情況，已經讓在後麵坐鎮的磯穀師團長閣下感到很不滿了。雖然，到目前為止，他一直都沒有明白地說出來，對支隊所提出的各種要求，甚至是請求師團給予戰術指導的請求都予以了充分滿足，但是，誰都不知道閣下的耐心，還能夠保持到多久？這種危險已經從閣下打來詢問戰況的電話的頻率，一天天增加就能看得出來了。
這幾天，自己的後方也顯得不是那麽安全了。本來，一直被皇軍的軍威所震懾呆在抱犢崮一帶山區不敢出來的支那中央軍湯恩伯部，也突然溜下了山，出現在自己的後側，對自己部隊的安全構成了巨大的威脅。幸好，第五師團的阪垣師團長閣下，及時地派出了板本旅團長帶領一個支隊，對湯恩伯的部隊，進行了進攻，才使他們不能對自己展開進攻。這下就緩解了自己的壓力了。當然，最好的解決問題的辦法，還是盡快的徹底占領台兒莊。隻有占領了台兒莊，才能使師團長閣下忘記此前的一切不順利，也才能使自己的前途保持順利，免得被來自軍部的審查人員帶回國內。如果自己要使落到那個地步，結局最好的也是被轉入預備役了，甚至還有可能被關進軍事監獄，剝奪一切的榮譽。自己和自己的家人，就將永遠難以再抬起頭來的。
所以，無論如何，在沒有接到放棄進攻台兒莊的命令之前，自己就必須不斷的進攻台兒莊，盡快地占領台兒莊。
瀨穀啟旅團長，命令所部官兵，不惜一切代價，發揮大和魂的巨大威力，徹底的擊潰當麵的支那軍隊。第十師團的官兵，不少都是參加過1936年的“二二六兵變”的激進派，對於日本必須依靠不斷的擴張，使用軍事手段擴大帝國疆域，才能保持帝國生存的理論，信奉不疑。在接到旅團長的命令以後，瀨穀支隊的官兵，就象剛剛注射過海洛因一樣，在密集炮火的掩護下，不顧守軍不斷發射的子彈的殺傷，對莊內的守軍發動逆襲。
台兒莊各處陣地都遭到日軍強烈的反攻，防守西北角的孫連仲部又陷入苦戰之中。當然，在西南角的新編十四師部隊，所受到的壓力一點也不比31師部隊受到的壓力小。
圍繞著西南角的幾個比較高大的院落，雙方部隊展開了逐房逐屋的爭奪，各自在院牆上開挖搶眼，向對方近距離射擊，甚至是隔著一堵牆，兩方麵的軍隊互相向對方投擲手榴彈。台兒莊內到處喊殺聲一片，經常是日軍剛占據一座院子，國軍馬上組織部隊，回頭殺了回去。國軍剛剛奪回院子，還沒有來得及喘上一口氣，日軍部隊又殺了進來。為了一個院子甚至是一間屋子的控製權，雙方能反複爭奪十幾次，直到有其中一方無法忍受巨大的傷亡，放棄爭奪為止。
4月1日公布，“日本國家總動員法”。日本天皇，授權內閣，對戰爭所需的勞動力、資源、資金和設施等進行統製的法律。以敕令形式把統製權授予內閣。同年5月5日實施，共50條。規定在戰時統製的物資是：兵器、艦艇、軍需品、被服、糧食、醫藥品、船舶、飛機、車輛、馬、通訊機械、土木建築物資、燃料、電力等。統製的範圍包括：物資的生產、流通、進出口、運輸、通行、金融、工生、教育、研究、情報、宣傳、警備等。還規定，在必要時可強製實施對國民的征用，規定勞動條件、禁止勞動爭議，限製集會、群眾運動、停止報刊發行等。1941年修訂後統製權限進一步擴大，政府有權獨自頒布敕令，強行進行戰時動員，完全否定了議會對立法的審議權，增強了日本的法西斯專製統治。
這一天的夜裏，由於多日的連續苦戰，雙方的部隊都已經顯得疲憊不堪，為了對部隊進行重新編組和休整，莊內的激戰暫時沉寂下來。劉建業不得不把在莊內連續戰鬥了幾天的新編五十二旅從莊內撤了下來進行休整和重編，以新編五十一旅的部隊進行替換，繼續堅守莊內陣地，並不斷向敵軍發動反攻。新編五十二旅原本奇裝滿員的六個營，經過幾天不分晝夜的連續作戰，在敵人密集的炮火覆蓋和坦克，毒氣等的進攻下，雖然有地道作依托，依然損失了相當於一個半營的部隊。新編五十二旅下屬的新編一八七團第二營，一直堅守在台兒莊的南門。那裏是敵人的主要進攻方向之一。敵人對那裏投入了相當於一個大隊的兵力，進行反複衝擊。第二營依靠著自製的地雷，炸藥包，燃燒瓶，和敵人進行了持久的拉鋸，直到被撤換下來，一直沒有丟掉對於莊內守軍意義重大的南門。可是，這個營也被高強度的連續作戰，徹底打殘了。全營原先近五百名官兵，在多日的戰鬥以後，直到撤到莊外的時候，連帶傷員在內，隻剩下一百四十多人了，勉強夠編成一個步兵連。僅僅是這個營的營長，在三天三夜的戰鬥裏，已經更換了四個，全部都是正麵中彈，傷重殉國。
見到這些自己的部下從前線撤下來，劉建業眼角閃著淚花，嘴唇顫抖著，實在無法說出話來，隻有舉起了自己的右手，向這些勇士們致以軍人的敬意。這個時候，一切的語言，已經都失去了意義。隻有軍旗手手裏高舉著的獵獵軍旗，依舊迎風招展，向整個世界表明他們的光榮和無畏。
4月2日，敵人奉命支援台兒莊的第五師團阪本支隊，被周?壞?5軍和關麟征第五十二軍在台兒莊東北死死的頂住，使盡渾身解數，也無法前進一步，眼睛可以看到台兒莊內高高飄起的硝煙，耳朵可以聽到莊內震天的喊殺聲，就是無法進攻到莊內，與正在莊內陷入苦戰的瀨穀支隊會合。鑒於我軍麵臨的態勢，第五戰區司令部給各參戰軍團下達任務：
一、第20軍團（含第75軍）以一部消滅洪山鎮北方之敵，以主力於3日保持東南正麵，向台兒莊附近之左側背攻擊，逐次向左迂回，務在台兒莊左側地區，將敵捕捉殲滅之。因戰況進展，須隨時折斷敵自嶧縣之退路，並對向城方向增援之敵嚴密警戒。
二、第2集團軍右翼與第20軍團聯係，於3日全線攻擊，消滅台兒莊之敵；第110師準備以1旅由萬裏閘附近渡河，向北洛附近敵之右側進攻。新編十四師臨時配屬第2集團軍，協同行動。
三、第3集團軍前敵總司令曹福林指揮張測民支隊5個團及遊擊總指揮李明揚所部為堵擊兵團，迅速南下向棗莊、臨城合圍。
4月3日，第五戰區司令長官李宗仁對台兒莊地區各部隊下達總攻擊令。第52軍、第85軍、第75軍在台兒莊附近向敵展開猛烈攻勢。日軍拚力爭奪，占領市街大部。總攻開始以後，日軍頑強抵抗。
台兒莊守軍第31師的4個團已經傷亡過半，由第30師調入城內的兩個團接替了部隊陣地，傷亡也很嚴重。同樣在城內堅守的新編十四師，盡管武器裝備優於第2集團軍，但是畢竟是新組建編成不久的部隊，雖然有一些老兵作為骨幹，但是大多數的兵員還是沒有作戰經驗，在敵人的密集火力下，不知道如何有效的保護自己和殺傷敵人，所以，所受的損失也不小。幸好，由於劉建業命令工兵挖了不少時間的地道和防空洞，才使部隊可以輪流到地道和防空洞裏休息，恢複精力以後再次投入戰鬥，使得城內的戰鬥部隊，幾乎任何時候都能保持相對旺盛的體力和戰鬥意誌。
敵人在反複衝擊無效的情況下，利用毒氣彈開路，在毒氣的掩護下，向我軍發動進攻。在一陣陣黃綠色的煙霧過後，我軍官兵許多人掙紮著倒在地上，身上暴露部位的皮膚開始潰爛，流出黃水，喪失了戰鬥能力。麵對這種情況，劉建業也是無能為力，誰叫自己的祖國沒有化學戰報複能力呢？結果隻能是被敵人肆無忌憚的使用這些國際法嚴格禁止使用的殺人利器。看到自己的部下，一個個無助得倒下，劉建業隻能忍痛下令，收縮兵力，放棄部分陣地，以避免無謂的傷亡，等到晚上再來收拾這些窮凶極惡的鬼子。
時至下午時分，台兒莊城西北門、北門、東門、東南門均已陷於敵手，日軍占領四分之三的台兒莊地盤。守軍31師仍據守城內一隅，拚死堅守，並組成大刀隊夜襲敵人，予敵以很大殺傷。敵軍連續發動了七八次總攻，並且使用燃燒彈，妄圖摧毀城內所有房屋和軍民，將台兒莊夷為平地。城內各守備隊利用地形和斷牆殘壁，築起第三道陣地工事，挨街逐巷與敵人周旋搏鬥，並組織起200餘人的奮勇隊，偷襲敵人據點，連連突破敵人陣地。守軍雖然英勇奮戰，但傷亡太大，實力愈來愈不支。此時的日軍，顯然覺得對於他們來說，攻占台兒莊的任務即將完成，當麵的中國守軍已經無法對他們的進攻進行有效的抵抗了。顯得迫不及待的他們，對著進行電話采訪的日本共同社記者宣布，台兒莊已經被百戰百勝的大日本皇軍占領，背後的皇軍士兵正在高呼“天皇萬歲”。日本電台立刻對這個消息進行了大肆吹噓。廣播裏，日本的播音員用足以震斷鋼絲的高亢語調，宣稱日本軍隊已經在台兒莊取得了決定性的勝利，占領了整個台兒莊，中國守軍的抵抗已經被徹底粉碎，麵向中國東部重鎮徐州的進軍道路，已經向皇軍敞開了，在皇軍的進攻下，徐州指日可下。