回到了運河南麵的住地，中午過後，劉建業就命令全師官兵挖掘防空洞和防炮洞，同時工兵連利用鋼絲繩和絞盤，在運河上架設五座橋，致使這些橋和一般意義的橋以及浮橋都不同，是可以通過岸上的絞盤牽引鋼絲繩控製橋的升降。這樣，白天的時候，可以把橋放到水下，晚上的時候，可以從水麵以下把橋拉起來供部隊和車輛通行，白天緊急的時候，也可以把橋拉起來用。鬼子的飛機飛過來的時候，就可以把橋再放下去，鬼子的飛機就很難發現這些橋了。這是解放軍工兵部隊在援助那個忘恩負義的越南抵抗美國人空襲的時候，發明的潛水橋的變種。
日軍第十師團瀨穀支隊占領滕縣之後，糾集1.5萬人沿津浦路南下，攻占臨城。此時板本在臨沂遭到張自忠、龐炳勳包圍，危在旦夕。磯穀廉介從濟南急電瀨穀分兵援救。陣前分兵乃兵家大忌，但磯穀、瀨穀極其驕狂，不把中國軍隊放在眼裏。瀨穀狂言：“隻要一個步炮混合的戰術單位就可以把徐州防線摧垮。”於是，他兵分三路，一路編師守臨城，一路由赤柴八重藏大佐率所部5000人東援臨沂；一路由福榮真平大佐率所部5000人南下台兒莊，另外控製4000人的預備隊以應對可能發生的情況。
3月20日，通過偵察發現福榮真平大佐率隊進逼我台兒莊的企圖之後，戰區長官部急調孫連仲第二集團軍全部進駐台兒莊。孫連仲部第二集團軍轄兩個軍，都不是滿編的甲種軍。忻口戰役中，血戰娘子關，被敵人的空地一體化攻勢給打得夠嗆，損失慘重，太原戰役以後從第二戰區調到了第一戰區，還一直沒來得及整補，就接到了命令再次調到了第五戰區。急調徐州時，第二集團軍實際上隻有三個師，一個獨立旅，還不如18軍一個軍的兵力充足。
3月21日，孫連仲部全部到達台兒莊前線。一到達前線，孫連仲就帶著部下高級軍官，開了軍事會議，決定以30師張金照部守台兒莊左翼，27師黃樵鬆部守右翼，31師池烽城部守台兒莊城，另以獨立44旅吳鵬舉部為第二集團軍的預備隊。孫連仲把自己的指揮部設在台兒莊外南麵的車輻山，可以居高臨下俯瞰台兒莊戰場。池烽城的31師則以186團進駐城寨，團長王冠五為城防司令，其餘部隊在城外占領有利陣地，隨時準備支援城內作戰。同時，由於台兒莊戰局關係整個第五戰區部隊的前途命運，這裏又有著分屬西北軍和中央軍的兩支部隊，為了加強作戰的協同，戰區的李長官特意把自己的參謀長徐祖貽派到台兒莊，加強組織協調工作。
徐祖貽一到台兒莊，就馬不停蹄得召集了第二集團軍和新編十四師的高級軍官到自己的前進指揮所，召開會議。不管怎麽樣，劉建業打鬼子的心是鐵定的，隻是出頭擔風險的事情，他也是不願意做的。再說了，會議上麵，自己和其他人都不一樣，他們的資曆都比自己要老的多。而且，上至戰區參謀長，下至各部旅長，都是地方軍係的，坐在裏麵的人裏，隻有自己是中央軍嫡係的，這一點光從軍服上麵就能看得出來。別人都穿得灰布，藍布軍服，隻有自己穿的是黃綠色毛呢將官軍服，銅質扣子黃亮亮的。所以，在軍事會議上麵，他索性來了一個悶聲大發財，什麽意見都不提，什麽話都不講，唯一提出來的，就是要求派出一個團到運河北岸，警衛運河上麵的橋梁。不明所以的徐參謀長，也就在和孫總司令商量了一下以後，同意了。會議的最後，照例又是作為會議召集人的徐祖貽參謀長，對各位與會軍官來了一通激勵鼓動，勉勵各位盡忠竭力，報效國家，否則，韓複榘就是大家的榜樣。大家自然又是一聲的表示了自己的堅定決心。
從會場回到了運河南岸的駐地，劉建業馬上派人找來了部下新52旅新105團團長唐海和師屬工兵連連長，讓他們轉移到運河北岸去。新105團到了運河北岸以後，抓緊時間，挖掘陣地，特別是防空洞，挖得越多越好。師屬工兵連則不管別的，所有人員分成三班，從105團新駐地開始，挖掘地道，一直挖到台兒莊內的東南角，再一次為中轉，向東北角和西南角挖掘，地道的出口要挖的隱蔽，不易被發現。新105團挖完了防空洞，除留下守備橋梁的人員，其他人員也要幫忙挖掘。
台兒莊周圍的百姓，知道在這裏的部隊，都是準備和鬼子以命換命的，紛紛帶著自家的雞鴨牛羊，白麵雞蛋等物品，來到軍營外，要求部隊收下他們的一番心意。有不少的當地小夥，甚至纏著出來接待的值日軍官，要求加入隊伍去打鬼子。值日軍官實在難以謝絕百姓的熱情，又不敢違反新編十四師內部的嚴格軍紀，跑到劉建業麵前請師長指示如何解決。劉建業也覺得這件事情很難辦。按理說，自己不能接受這些百姓的東西，別的不說，土木係部隊這個方麵一直都有嚴格的紀律，不像一些軍閥的部隊，自己剛接受新十四師，就頒布了嚴厲的軍紀，對拿老百姓東西的行為，是要嚴懲不貸的。可是要是不接受的話，那些純樸善良的百姓也不會答應的，會傷了他們的心。至於那些要求參加隊伍的年輕人，更是不好辦。首先自己的部隊是滿編的，沒有多餘的名額，再說，馬上要麵臨的是一場極為凶險的血戰，要是把那些沒有受過正規軍事訓練的年輕人送上戰場，和謀殺他們沒有任何區別。但是，他們的參軍熱情也不能抹煞。怎麽辦呢？劉建業為此發起了愁。
直到十幾分鍾後，他終於有了辦法。他叫來副官楊舟，叫他帶著軍需官去接受百姓們送來的東西，但是，必須按照市價，給予老百姓補償，即使百姓不肯接受，也要好言相勸，讓他們收下錢。至於那些要求參軍的小夥子，也不予拒絕，隻是把他們單獨編組成為擔架隊和運輸隊，統一管理，負責運送傷員和搬運物資，為前線送飯等差事，不讓他們參與戰鬥。解放軍在徐蚌會戰裏，動用的民工比參戰的部隊還多，這就省出了多少兵員?不象國軍，什麽活都是自己來幹，結果許多兵員都浪費在了戰線後麵。
事情總算平息了下去，也不由得觸發了劉建業的感慨。真是得民心者得天下，現在全國民心所向，一致抗戰，國軍雖然連續作戰失利，丟失了不少的國土，但是老百姓還是這樣的擁護國軍，不是因為別的，隻是因為國軍是在打鬼子，是在為了國家民族而戰鬥。就在幾年前的江西，楊伯濤給自己寫來的信裏，可是說過在江西的前蘇區，老百姓看到國軍，雖然沒有反抗，但是從眼神就可以看得出來，是討厭甚至憎恨國軍，隻是敢怒不敢言罷了。同樣是打仗，隻是作戰的對象換了，情形就遠不一樣，差的遠了。
第五戰區兵站部的石總監也奉李長官的命令，給新編十四師送來了五車皮的子彈和三車皮的手榴彈，以及炮彈等彈藥，特別是六噸TNT炸藥，五千顆雷管，一卡車汽油，三卡車的玻璃瓶和兩噸白糖。兵站部負責押運物資的軍官，在請劉建業在物資清單上簽字驗收的時候，曾經滿臉疑惑的想知道他們十四師要這些東西幹什麽？結果，劉建業對著他神秘的一笑，一邊搖頭，一邊雙手合十地說：“佛曰，不可說，不可說。”
日軍第十師團，繼續驕狂地孤軍深入，向著台兒莊推進。湯恩伯第二十軍團按戰區長官部的命令，開赴津浦線，拉開了架勢向滕縣方向發起了聲勢浩大的猛攻，邊走邊打。磯穀命令留守部隊衝鋒，湯恩伯在望遠鏡中見磯穀猛撲過來，命令部隊虛晃一槍，佯作頂不住狀，突然向東麵抱犢崮山區轉移，讓開了津浦路正麵的通路。湯恩伯也有心眼，重炮營不便在山區運動，他便命令重炮營開進台兒莊，歸戰區長官指揮。磯穀果然中計，以為湯恩伯無力抵抗，向東逃竄，也不追擊，直接沿津浦路臨棗支線向台兒莊撲來。磯穀擁有數萬步兵，大小坦克近百輛，山炮、野炮近百尊，輕重機槍不計其數，天上還有30多架飛機助威，輪番在徐州城、臨沂、棗莊、台兒莊上空丟炸彈。徐海地區方圓三四百裏，陷入一片火海之中，硝煙在天空彌漫，久久不能散去。大部分村莊、樹木被燒成木炭，化為灰燼。
第5戰區台兒莊會戰的作戰方針是陣地戰與運動戰相結合，因此，實現預定作戰方案有兩支決定性力量：一是擔負機動殲敵任務的湯恩伯部（第20軍團）；二是擔負守備任務的孫連仲部（第2集團軍）。而這兩支部隊並非李宗仁原來的桂係部隊，都是在徐州會戰開始後，分別從程潛的第1戰區和閻錫山的第2戰區臨時轉隸而來的部隊。因此，對於戰區最高司令的李宗仁，當務之急是要理順關係、凝聚人心。
最令李宗仁頭痛的是湯恩伯及其第20軍團。在滕縣保守戰中，由於第22集團軍守備任務艱巨、兵力不足，早在日軍開始進攻時，李宗仁曾致電蔣介石，請派軍事委員會直接控製於豫東的湯恩伯第20軍團第85軍的第4師增援津浦路。蔣介石基於徐州會戰的特殊地位，也深知第5戰區實力太弱（當時全為雜牌軍），同意將第20軍團投入第5戰區管轄的魯南戰場。湯軍名義上雖屬第5戰區管轄，實際上對李宗仁的指令常打折扣，惟蔣命是從。
湯之所以如此狂傲，主要因為第20軍團是蔣介石的嫡係部隊。湯恩伯的第20軍團是6個月之前才組建的一個新軍團，直接受國民政府軍事委員會統轄，下轄第13、第52、第85三個軍和一個獨立騎兵團。第13軍軍長由湯恩伯本人兼任，下轄第110師（師長張軫）；第52軍（軍長關麟征），下轄第2師(師長鄭洞國)，第25師(師長張雷明)；第85軍（軍長王仲廉），下轄第4師(師長陳大慶)、第89師(師長張雪中)。其中，第52軍、第85軍的軍師級幹部，大部分是黃埔軍校學生，蔣介石視他們為“得意弟子”，因此，對這支部隊予以重點裝備，配以一定數量的野炮、重炮、坦克，槍械齊全，成為當時國軍的精華。
3月14日，正當日軍第10師團沿津浦路快速南下，滕縣處於危急之時，李宗仁曾電令湯軍團長：
敵於津浦北正麵增加兵力，大舉反攻，以牽製我魯南之作戰。鄧部(指川軍第22集團軍鄧錫侯部——引者注)兵少械劣，正麵薄弱，兩翼空虛，恐難拒敵。已電呈委座，調貴軍團85軍駐商丘之一整師，由火車輸送至滕縣附近，作22集團軍之總預備隊，望即出動為荷!
湯恩伯接到李宗仁的電令後，很不高興。稱李是瞎指揮。抱怨李宗仁：“今天這兒抽我一個師，明天那兒挖我一個師，這麽三抽兩挖，叫我這個軍團長怎麽當?再說，我的部隊正在河南商丘、安徽亳州一帶整訓，大兵團在隴海和津浦兩條交叉的單軌鐵道上輸送必須兩度換車，我又怎麽可能在短短的一夜之間把兵力集中到滕縣?”
於是遲遲沒有發兵，這也就是22集團軍滕縣血戰時遲遲盼不到援軍的重要原因。
但湯恩伯知道李宗仁在電令自己的同時也請示了老蔣，如果不予執行，擔心蔣介石怪罪。於是仍不理會李宗仁，先給蔣委員長發一份電報，電文寫道：
“蔣委員長。懇以本軍團全部調津浦北段出擊，避免分割使用，以益戰局，而杜分散或作無代價之消耗。
謹呈。湯恩伯。”
當晚湯恩伯收到了蔣介石的電話指令：
“為了策應津浦北段的正麵作戰，我同意20軍團全部調第5戰區指揮，準備在臨城與敵人決戰。所屬的第85軍，今晚立即從商丘乘車，經徐州向臨城輸送，務必於17日拂曉前到達臨城集結完畢。第52軍，即開商丘集結待命，該軍團長（湯恩伯——引者注）先到徐州指揮。”
就這樣湯恩伯部加入了第5戰區的徐州會戰。但是，由於之前湯部未能及時增援滕縣，戰況突變，磯穀的一個旅團，已突破中國軍隊第22集團軍王銘章師在滕縣外圍各陣地，以機械化部隊，沿南沙河一帶，猛向官橋、臨城一帶迂回。此時，湯恩伯所屬的52軍還遠在徐州、歸德一帶，無法立即趕到臨城參戰。這麽一來，蔣介石、李宗仁希望湯恩伯在臨城與敵人決戰的企圖，隨著情況的變化而無法實現了。加之，當時第5戰區司令李宗仁並無預備兵團在手，所以隻得命令湯恩伯將52軍輸送到韓莊就下車集結，其意在於加大逐次抵抗的縱深，而在運河北岸鞏固一個大橋頭堡，來保障徐州的安全。湯恩伯從自身利益出發，並考慮到所擔負的機動作戰任務，把主力移置於東集、西集、鳳凰莊一帶，形成對敵側擊的準備，以防戰局的惡化。
其實，李宗仁對湯恩伯的擔心不無道理。當時，第5戰區的作戰計劃，著眼於在臨城與韓莊運河間聚殲日軍，所依仗的主力是湯恩伯軍團。與後來所進行的台兒莊戰役有些出入。其中主要原因固然與當時對日軍實力估計不足有關，而湯恩伯沒有很好執行命令，采取一定的避戰態度則是重要原因，幸虧李宗仁下狠心曉以利害逼其令行禁止，同時關鍵時刻，蔣介石從全局出發督促湯恩伯，否則後果不堪設想。
在上述計劃中，另派一支重要力量即擔任台兒莊、運河一線的阻擊任務的部隊。事後證明，這一方向實際上成為整個台兒莊會戰的主角，對於會戰的勝利起到了決定性作用，立下了頭功。那麽，派哪一支部隊來擔負這一重任呢?李宗仁與參謀人員反複權衡決心啟用第2集團軍孫連仲部。
第2集團軍屬於原西北軍舊部，總司令孫連仲，字仿魯，河北雄縣人，1893年生，保定中學畢業後投筆從戎。成為馮玉祥的部下後，因為頭腦機靈，作戰勇敢，受到了馮玉祥的賞識，之後不斷升遷，為馮部中的虎將——“十三太保”之一。1930年蔣、馮、閻大戰後，馮玉祥集團瓦解，孫連仲部被蔣介石改編為第26路軍，孫任總指揮。抗日戰爭爆發後，26路軍又改建為第2集團軍，孫仍任總司令。孫連仲部以最善於防守而著稱。在北洋軍閥統治時期，有名的幾次防禦戰如南田之戰、西安守城之戰，都是他們打的。抗日戰爭期間，長城抗戰中的喜峰口、羅文峪防禦戰，孫連仲部均打得很出色。在太原會戰的娘子關保衛戰中，孫連仲負責扼守娘子關正麵陣地，日軍在飛機大炮的掩護下，向娘子關猛攻，不能越雷池一步。但他們是國民黨軍隊中的一支雜牌部隊，名義上叫集團軍，實際上隻管轄2個軍（30軍，軍長田鎮南；42軍，軍長馮安邦）。部隊的武器裝備極差，重兵器很少，槍械混雜，有的士兵甚至僅有一把鋼製的大刀作為武器。
滕縣之戰結束之時，孫連仲的第2集團軍奉命在徐州北部的台兒莊陣地進行布防。李宗仁要求孫連仲部在台兒莊附近布下袋形的防禦陣地，以吸引日軍的攻勢，然後下令裝備與火力較佳的湯恩伯第20軍團，在外圍進行運動戰，當日軍的攻勢在台兒莊受到阻擋之後，立即設法由外線進行包圍，攻擊日軍的背側，形成以內外夾攻的方式圍殲日軍。為了協同方便，31師暫歸第20軍團長湯恩伯指揮，待第2集團軍司令部到來後，部隊再歸建製。同時，為了以防萬一，防備由於第二集團軍兵力損失過大，無力堅守住台兒莊，李長官才下定決心，把剛成軍不久的新編十四師這支根本沒有戰鬥經驗的中央軍嫡係部隊，也拉來作為第二集團軍後麵的預備兵力。如果，李長官的手裏還有其它部隊可調，他也不會行此下策。
22日，第20軍團司令部及52軍路經台兒莊時，軍團長湯恩伯和52軍軍長關麟征會晤了池峰城，特別強調31師務須努力堵擊敵人的南進。他要求31師以一個旅的兵力進至台兒莊以北的泥溝附近，對嶧縣方麵的敵人實行警戒。還答應在31師與敵接火後，他將率領第20軍團主力馬上抄襲敵人側背，協力夾擊敵人。31師隻要能在台兒莊一線堅守三日，即算完成任務。劉建業本來也是需要去主動見一下這位湯軍團長的，可一想起來49年的時候，這位現在的湯軍團長可是在老蔣麵前出賣了自己的恩師陳儀（陳儀當年自自己掏錢資助湯恩伯留學日本陸軍士官學校，還把湯恩伯介紹給了蔣介石。），跟著他來的還有那位很喜歡和土木係中人對著幹的關軍長，劉建業就沒有了見他們的想法，就派副官楊舟帶著一些慰問品，送到湯恩伯那裏，說自己正得了傳染性很強的病毒性感冒，不方便出門，所以很遺憾不能有幸拜見湯軍團長，領受教導雲雲。
池峰城按照戰區司令官李宗仁、本集團軍總指揮孫連仲和臨時直接領導湯恩伯的指示精神，對部隊進行了部署：康法如旅守衛台兒莊及運河一線，乜子彬旅向嶧縣方麵擔負搜索警戒任務。
23日，日軍由棗莊南下，在台兒莊北側的康莊、泥溝地區與守軍31師乜子彬旅負責警戒的騎兵連接戰。台兒莊戰役開始。傍晚，日軍追擊向台兒莊方向收縮的中國軍隊第三十一師一八五團到南洛，被阻擊部隊所阻。