日軍在台兒莊戰役失敗後，盡管日軍統帥部硬著頭皮說：“這不是一個敗仗，隻是指揮官的一次小小的失誤，第5、10師團的餘部不是潰敗逃跑，而是做新的戰略轉移。”但惱羞成怒的日本政府，立刻召開緊急會議表示：日本政府不能蒙受如此羞辱。
其實，日本天皇原在2月16日的禦前會議上說：“在８月以前絕不向新地區發動進攻。”台兒莊慘敗後，日軍大本營已經無法再考慮戰略上深入與分散的問題了，日軍必須立刻設法擊敗中國軍隊，以挽回“皇軍無敵”的聲譽。日本天皇立即決定：迅速向中國大規模增加兵力，發動更大的進攻，誓報台兒莊慘敗之仇。
日軍統帥部深知徐州不可輕取，非調集重兵，四麵合圍，否則斷難打通津浦線。4月間，侵華日軍華北方麵軍和華中派遣軍自平、津、晉、綏、蘇、皖一帶，糾集了13個精銳師團，約30萬軍隊（其中包括磯穀和板垣兩師團從台兒莊撤退後，重新集結，補充休整兵力），並配有各種重武器，飛機數百架，兵分6路對徐州形成大包圍，采取南北對進，側翼迂回的戰術，企圖圍殲雲集在徐州一帶的第5戰區主力。
4月7日，台兒莊戰鬥剛結束，日軍前線指揮官電告大本營：徐州地區有一股中國軍的強大集團，據可靠情報，該集團約50個師，60餘萬人，幾乎全部為蔣介石的精銳部隊。
陸軍統帥部頓時驚喜若狂，認為這是報台兒莊之仇的一次難得的戰機。
杉山元陸相當即向天皇報告，強烈主張發動徐州會戰。他說：“對於集中在徐州方麵的中國軍予以痛擊，可以收到挫傷敵軍抗戰意誌的巨大效果。因而，陸軍準備實施對徐州的殲滅作戰，由於該敵差不多是中國軍隊的精銳主力，並且已經處於孤立狀態，我軍應不失時機，以大的兵力，以大的規模會戰，使之一舉徹底殲滅該敵。本職認為，隻要達到了殲滅這股敵軍的戰略企圖，就能使武力解決中國事變，促使蔣政權屈服投降，邁出決定性的一步，亦可挽回我軍在台兒莊的不良影響。”
天皇見報，頓時喜出望外，亦認為這是刹住蔣介石正在進行的台兒莊勝利大宣傳的囂張氣焰的大好良機，當即定案：圍殲徐州中國軍隊，並要求：陸軍此次進攻，定要取得巨大戰果，不使徐州地區50個師的中國軍隊一人漏網，務求全殲。
為求速戰速決，不失這千載難逢的良機，大本營陸軍部於當日向華北方麵軍總司令官寺內大將、華中派遣軍總司令官?俊六大將下達第84號命令：
一、華北方麵軍司令官應以有力之一部擊破徐州附近之敵，占據蘭封以東隴海線以北之地區。
二、華中派遣軍司令官應以一部占據徐州以南津浦線附近。
日大本營在動員華北方麵軍、華中派遣軍的主力投入這場戰鬥的同時，還下令關東軍派軍支持。由於華北方麵軍司令官寺內壽一大將與華中派遣軍?俊六大將的官銜相同，誰也不會接受對方的指揮，因此，隻有緊急派遣大本營陸軍參謀本部的作戰部長橋本群少將，率領參謀本部的參謀軍官，在濟南成立大本營派遣班，組織包括華北與華中日軍的參謀軍官，進行徐州會戰的作戰協調工作。
日軍以第16、第144師團增援北線的第5、第10師團，沿津浦路向南推進，以引誘中國軍隊主力；以第14師團從濮陽渡黃河入魯西南和豫東，斷隴海路，從而阻遏援徐州之中國軍隊，亦斷徐州守軍退路；以第13師團在南線的蚌埠、懷遠間集結；以第6、第9師團向鳳陽、合肥進逼；以第101師團向蘇北攻擊。
5月上旬，南路日軍開始北上，相繼攻占徐州南麵的龍元、蒙城、宿縣，並攻陷徐州西邊的黃口車站，包圍並切斷了徐州西南麵的退路。
5月中旬，北路又一股日軍，從淮陽強渡黃河，進入魯西地區，迅速攻占了鄲城、菏澤、金鄉、魚台等重要據點。該地區雖有孫桐萱、龐炳勳、商震等部隊，但在廣闊的魯西平原上，無險可守，日軍得以快速推進。北路日軍與南路日軍相呼應，自西北向徐州壓來。此時，日軍對徐州的大包圍業已完成，正從四方八麵向徐州突進。
而此前一段時間的中國軍隊，在做什麽呢？由於國軍自開戰以來一再的後退，國土不斷淪陷，國民政府內部開始出現了一些不同的聲音。少數人組織了一個非正式的所謂低調俱樂部，在各種非公開場合，宣揚所謂的抗戰亡國論，說什麽抗戰必敗，不抗日還能多活一段時間，越抗日，亡國越快，不如不抗日。最港當局當然對於這些聲音的來源是心知肚明，隻是手裏實在沒有什麽可以拿得出來的戰果。現在國軍總算在台兒莊打了一個勝仗，最高當局自然是希望能夠把這個勝利擴大化，在徐州再來一個大勝仗，消滅更多的日軍精銳部隊。這樣，也就可以更加鞏固自己的地位，爭取更多的國際同情和援助。所以，最高當局采取了與日軍針鋒相對的方針，從3月下旬起，從各戰區調集大批軍隊，使第5戰區的兵力由29個師增加到64個師又3個旅，共達60萬人。同時，他還將中央軍胡宗南、黃傑、桂永清、俞濟時、宋希濂等部布置於豫東，作為徐州的後援力量，試圖在徐州與日軍一決雌雄，以一次大的會戰，徹底改變戰場局勢。
蔣介石的上述想法，早在台兒莊會戰之前就已表露。他親臨徐州督戰時就對白崇禧等人說：“徐州是這次會戰的核心。徐州位於黃淮之間，地界魯、豫、皖、蘇四省之交，為南北之通津，中原之屏障。在中國曆史上，徐州之得失，有關國家之興替。”
何應欽附和說：“委員長的指示極為重要，十分英明。徐州，曆來是兵家必爭之地，南守可略豫、魯，北守可瞰淮河，不可輕易放棄。”何應欽自從西安事變之後，一度為蔣委員長所不滿，加上自己又向來在國內有著軍中第一親日派的名號，故而對蔣委員長采取了恭順的態度，萬事都以蔣委員長的意見為自己的意見，不敢有絲毫的不一致。
“我們一定要死守徐州!”林蔚也跟著隨聲附和。
劉斐認為徐州應該守，但最終必然守不住。考慮到自己僅是個作戰組長，不便公開與蔣介石“較勁”，隻好用眼睛盯著素有“小諸葛”之稱的白崇禧，盼望他拿個好主意。白崇禧懂得劉斐眼光的意思，但也不好正麵反對蔣介石的意見。他打了個迂回：“這次敵軍的第10師團和第5師團進襲魯南，氣焰十分凶狂呀!”
不等白崇禧說完，蔣介石就說：“凶狂怕什麽?我們可以增調兵力。徐州必須死守，因為在徐州決戰，可以爭取時間，保衛武漢。徐州守得越久，我們爭取的時間就越多，就可以把保衛武漢的準備工作做得好一點。”
“委員長的遠見，令人佩服之至!”何應欽又發出了讚美之聲。
白崇禧見蔣介石決心已下，不好再說什麽了。
台兒莊勝利後，蔣介石等人盲目樂觀情緒更為膨脹。
但身為第5戰區最高長官的李宗仁，對形勢的判斷並不樂觀，他深知，徐州四周為平原地帶，無險可守，日軍是機械化部隊，又多有空軍助戰，在此處打起來，中國軍隊要吃大虧。他認為：“我方在徐州一帶平原，聚集大軍數十萬人，正是敵方機械化部隊和空軍的最好對象”。李宗仁從持久消耗戰的戰略思想出發，認為在徐州同敵軍作陣地相持的消耗戰是愚蠢的。指出：“以中國軍隊的裝備，隻可相機利用地形條件，與敵人作運動戰”。他為避免重蹈京滬戰場的覆轍，提出撤離徐州的意見，而軍事委員會中的少數人卻陶醉於台兒莊的勝利中。李的意見被否定之後，即部署徐州會戰。
4月18日，中國最高軍事當局令第五戰區集中兵力於徐州附近，準備再次聚殲日軍。日軍改以部分兵力在正麵牽製對方，主力向西迂回，企圖從側後包圍徐州，殲滅第五戰區主力。日軍第10、第5師分別從山東嶧城(今屬棗莊)和臨沂西北的義堂地區南進，對守軍第2集團軍和第20、第3軍團及第27軍團第59軍實施牽製性進攻。守軍頑強抗擊，至月底，將日軍阻止在韓莊、邳縣(今邳州)和郯城一線。
4月29日，這一天是日本的‘；天長節‘；。日本國的象征—天皇的生日，因而也成了日本的大慶紀念日。侵華日軍頭目企圖在一天之內一舉消滅駐武漢的中國空軍主力，為天皇祝壽，邀功領賞，於是，急忙調來海軍‘；佐世保‘；第2航空隊這支日本海軍航空兵序列裏的精銳，來完成這一‘；神聖‘；使命。
然而，日軍的這一意圖已預先被中國空軍獲悉，4月20日，１架日本雙座偵察機在湖北孝感上空進行偵察時被擊落，在死去的日軍飛行員身上搜到1個筆記本，上麵披露了這一重要情報。中國空軍立即做好迎戰準備。但日軍並不知曉這個情況。
早有準備的中國空軍第3、第4、第5大隊的19架И－15驅逐機和蘇聯誌願航空隊的45架戰鬥機此刻已占據有利高度，等待日機進入布好的口袋。中蘇空軍的作戰方針是：以И－15驅逐機群在武漢東北巡邏，相機與日戰鬥機纏鬥，迫使其戰鬥機與轟炸機分離；И－15機群負責保衛武漢市區，重點打擊日轟炸機。
日機群剛一進入武漢上空，中國空軍第4大隊的9架И－15首先迎了上去。此時，敵我飛機數量之比為4∶1。第4大隊的空中勇士們不畏強敵，奮勇突入敵編隊之中，與敵展開空中‘；肉搏‘；戰。
少尉飛行員陳懷民擊落和重創3架日機之後，引起了敵人的注意。5架日機發瘋似地撲了上來，猛烈地向陳懷民射擊。陳懷民的戰機多處中彈，已難以操縱。在這千鈞一發之際，他本可再次跳傘求生，但他看到敵機逞凶一時，不禁怒火中燒，毅然放棄了求生的機會，開足馬力，向附近的一架敵機機背高速撞去。隻聽“轟‘；的一聲巨響，兩條火龍翻滾著落向地麵。陳懷民的英雄壯舉，使日軍飛行員為之喪膽，使地麵上觀戰的中國軍民為之動容，使仍在空中激戰的戰友為之驕傲！
在陳懷民英雄壯舉的鼓舞下，中蘇空軍勇士們越戰越勇，經30分鍾激戰，一舉擊落日機21架，其中戰鬥機11架，轟炸機10架，取得抗戰以來最輝煌的勝利。
5月5日，蔣介石致電斯大林，洽商軍火貨物交換方法。同日，日軍開始從南北兩個方麵向徐州西側迂回包圍。在南麵，第9、第13師團從蚌埠地區分別沿北淝河、渦河西岸北進，至13日，陷蒙城、永城(屬河南)後，向江蘇蕭縣、碭山(今均屬安徽)進攻；第3師團由蚌埠進入大營集地區，向宿縣(今宿州)進攻。在北麵，第16師團由山東濟寧渡運河，至14日，連陷鄆城、單縣、金鄉、魚台後，向江蘇豐縣、碭山推進；第14師團從河南濮陽南渡黃河，陷山東菏澤、曹縣後，直插河南蘭封(今蘭考)；同時，第10師團將韓莊、台兒莊地區的作戰交由第114師接替後，在夏鎮附近渡過微山湖，向沛縣(屬江蘇)進攻。日軍已形成對徐州的四麵合圍態勢。
這一段時間的新編十四師，正在師長劉建業的安排下，進行武裝越野和長途拉練的訓練。
授過勳，得過獎，也在記者麵前出過了風頭，劉建業回到了師裏，把副師長張建找了過來。
“老哥，我有一件事情要你幫忙去辦一下，這件事情關係到全師弟兄的穩定和生計，你一定要辦好。”
“師長，你就說吧，我盡力而為。”
“軍委會獎勵給我們師大洋20萬。我想呢，10萬大洋分給下麵的弟兄們，作為大家賣命打仗的一點賞錢。還有十萬大洋，你把這筆錢換成銀行匯票帶上，到貴州，四川或者雲南去，以部隊的名義買上連片的土地和山林，給我們部隊的作戰負傷不能回到部隊的弟兄們一個立身安命的落腳地方，讓他們能夠自食其力，不至於流落街頭，生活沒有著落。土地可以多買一些，最好有山有水，讓老兵們過得舒服一點。你看怎麽樣？”
“這件事情對我們師的弟兄們，的確很重要，我一定辦好。”
“你過回去找我的警衛黃峰，讓他告訴你我家在西南一代的產業分布和聯係方式，這樣，你可以找他們幫忙，事情也好辦一些。要是萬一錢不夠的話，就先找他們拿一些，報我的名字就行了。”
“好的，師長，我明天就出發。”
“這件事情，就托付給你了，你可一定要辦好，這可是弟兄們的保命錢。”
“師長，你就放心吧，我拚了命也要把這件事情辦好。”
劉建業這樣做，也是為了避免手下的弟兄們萬一受傷，不能再上戰場，無法繼續跟隨隊伍的時候，可以有一個地方自食其力，養活自己。要是全靠著軍政部發的那點可憐的傷殘費或者退伍費，不敢講多，至少一半以上的傷殘弟兄，遲早會變成街上的乞丐。劉建業是不忍心看到這樣的場麵的。弟兄們都是為了國家去拚命的，受了傷，不能再跟隨隊伍，照理來說，國家應該保證他們的基本生活。可是，抗戰時期，這樣的事情屢見不鮮。既然，國家管不過來，劉建業隻有自己想辦法了。
作為戰區的直屬部隊，台兒莊戰役一結束，新編十四師就被戰區調到了徐州郊區，補充了一些新兵，準備迎接下一次的大戰。
作為出了風頭的副作用，新編十四師的營區大門，最近總是被人堵著。倒不是新編十四師的弟兄們，軍紀敗壞，這一點在土木係的部隊裏，也是基本上沒有的，而是部隊出了名，不少人都想要到抗戰的英雄部隊裏來，為國效力。這裏麵尤以學生居多，不少上海的，蘇州的，濟南的，南京的大學生，還有一些徐州本地的，原本是想到延安投奔八路軍去的。路過的時候，聽說在徐州也有抗戰的部隊，就跑到了這裏來，反正隻要是抗日的隊伍，不管是國民黨還是共**。盡管，包括劉建業在內，向這些學生們多次說了，國家需要這些大學生們，去建設自己的國土，增強持久抗戰的能力，戰場以外的地方更需要他們。可是，這些熱血澎湃的學生，大多數還是堅決要求參軍，聲言不答應他們的要求，他們就和軍隊持續耗下去。老是讓人堵著門，這總不是個事。再說，怎麽著，劉建業也不可能下令強行驅散這些愛國的學生們。就連劉建業自己當年也是一個左翼的憤青，很理解這些學生們的想法。沒有辦法了，劉建業隻好表態，隻要是想到這裏來的，都留下了。男學生們單獨編組成一個教導大隊，跟抽調出來的一些作戰經驗豐富的老兵和下級軍官們一起編組。這樣，可以盡快讓他們熟悉軍隊的各項技能和條令，而且，以後可以比較快的補充上一些技術兵種的損失。至於女學生嘛，都編入衛生隊和通訊連，集中管理，免得一些人犯下生活作風錯誤，鬧出花邊新聞，破壞部隊的形象。
當然，劉建業也有心情好一點的時候。經過了台兒莊的血戰，新編十四師這支部隊，幾乎完整的經過了一次輪戰，各戰鬥部隊都上過了前線，使得原有的新兵們，迅速成熟了起來，至少看上去有了一些真正軍人的殺氣，不象原先隻能算是有一些模樣。下麵的事情就是經曆更多的戰鬥，使部隊有了軍魂，一種即使戰鬥到最後一個人都不會消失的魂。這種魂，更準確地說，是一種精神，支撐整個部隊的精神，形成起來要花很長時間，要經曆多次的血戰惡戰。一旦這種精神形成，整個部隊就會有脫胎換骨的變化。這個方麵，劉建業可是很欣賞小說《亮劍》裏麵的團長李雲龍的。他的部隊就有一種亮劍精神，使部隊無論遭遇什麽困難，總能堅持住，部隊不會垮。劉建業打算著經過不斷的戰鬥，也給自己的部隊找到屬於自己的魂。