日軍正在由南北兩路，同時向以徐州為中心的淮河以北，運河和津浦鐵路沿線的第五戰區十餘萬部隊壓縮過來。原本，第五戰區計劃由韓複榘的第三集團軍對正麵的華北日軍節節抵抗，再以其他部隊在運動中尋找聚殲敵軍的機會，從而擊敗日軍打通南北兩個集團聯係的行動。可是，第5戰區司令長官李宗仁千算萬算也沒有算到，身為山東省政府主席，一向自詡為山東父母官的韓複榘公然違抗軍令，大搖大擺地率軍大撤退，讓日軍輕易穿過山東全境，直逼第5戰區司令部所在地徐州，使第5戰區原定作戰計劃傾刻間變為一片廢紙。這就給了這位桂係的第一號人物，蔣委員長長期以來最為頭疼的地方實力派代表的新職位帶來了危機。
蔣介石命令李宗仁在徐州至少要守上3個月。李宗仁深知，國軍新敗，士氣低落，且無天險可憑，蔣介石此時啟用他，除了危難之際無合適人選可用，他要依靠李宗仁指揮的第5戰區以地方部隊為主構成的部隊把日本人拖在中原，以便蔣的中央軍好抽出來整補部隊，擴充編製。更重要的是其實還包含其險惡用心。蔣介石真是太精明了，即使被日本人窮追猛打到這一步，也沒放過李宗仁這個與他爭鬥了十來年的地方實力人物。
利用一切機會不擇手段地削弱自己對手的實力是老蔣的一貫作法。自張學良和他的一度實力強大的東北軍被蔣介石借著整編瓦解掉後，李宗仁的桂係便成了蔣介石一統中國的最大障礙，打打和和十來年沒有解決。直到李宗仁赴京抗日前，廣西實際上還是遊離於南京之外的半獨立王國。在李宗仁和白崇禧的運作下，整個廣西大建民團，幾乎成了一座大兵營。憑借廣西的幾個軍的實力，蔣委員長的命令在廣西根本行不通，就連國民黨廣西省黨部，也要看人家的臉色過日子。更令蔣介石頭疼的是，李宗仁在廣西鬧自治，引得四川的劉湘、雲南的龍雲，西康的劉文輝也頗不安分，對南京中央總是陽奉陰違，這曾讓蔣介石傷透了腦筋。如今讓李宗仁統帥第5戰區，一旦創造了奇跡，蔣介石臉上有光，武漢擴編、整補部隊也有了著落，就是創造不了奇跡，川、桂軍受到削弱，李宗仁的聲譽受到打擊，這也是蔣介石求之不得的。
因此，他既要李宗仁在危難之際挑起重擔，但不給配備精銳之師，撥給第5戰區的都是一些裝備極差的雜牌軍，隻有很少一部分是中央軍部隊，而且這些部隊基本上，李宗仁也調動不了，最好的例子就是第20軍團湯恩伯部。蔣介石要與日本人在戰場上見，隻有繼續把川軍、東北軍舊部、西北軍和山東軍這些雜牌部隊投入中原戰場，是死馬當做活馬醫。李宗仁很清楚，蔣委員長此時“器重”他，是把他放在日本人的槍口上，可給他的究竟都是些什麽部隊呢？讓我們具體看一看：
第31軍，軍長韋雲淞，下轄3個師，駐防蘇北海州。這是李宗仁可以指揮自如的桂係部隊，班以上各級幹部多係北伐前後的舊班底，頗有作戰經驗，不過士兵多係新入伍的農民，受訓時間短，也無作戰經驗。韋雲淞雖為北伐老將，無奈行伍出身，沒有受過多少正規軍事教育，打仗幾乎就是靠著一股的革命精神，其實就是猛打猛衝，麵對鬼子那些正規軍事教育體係訓練出來的軍官，恐怕很難占到多少便宜。
第3集團軍，總司令韓複榘，下轄3個軍（12軍，軍長孫桐萱；55軍，軍長曹福林；56軍，軍長穀良民），駐山東境內。該部訓練、裝備均較好，隻是能否服從命令，拚死作戰，卻大成問題。韓複榘被處決以後，由東北軍老將於學忠出任總司令，可是，下麵的各軍對他的命令一直陽奉陰違。沒有多久，第3集團軍即由12軍軍長孫桐萱升任。
第57軍，軍長繆?j流，下轄2個師，駐蘇北。該軍原係東北軍，經過江陰要塞的一場保衛戰以後，部隊損失很大，軍政部的補充卻很遲緩，戰鬥力一般。
第89軍，軍長韓德勤，下轄2個師，駐蘇北。該部由江蘇省保安隊改編而成，戰鬥力較差。（注：作者雖然是江蘇人，可是也不得不承認，一向以來，江蘇部隊的戰鬥能力的確一般，遠不能和廣西，湖南相比。）
第51軍，軍長於學忠，下轄2個師，駐青島，後調津浦南段。該軍原係東北軍。於學忠是軍界老資格，張少帥的親信舊人，抗戰意誌比較堅決，在張少帥到南京以後，奉少帥的指令，統帥東北軍事務。無奈各部軍長相互不和，東北軍土崩瓦解。
第3軍團，軍團長龐炳勳，下轄1個軍（40軍，龐兼軍長），駐碭山。該部原係西北軍，裝備較差。全軍名為軍團，隻有一個40軍，40軍隻有一個39師，所以第3軍團實則隻有5個步兵團的實力。
蔣後來又將第22集團軍（川軍總司令鄧錫侯），像處理蹩腳貨一般塞到了第5戰區。
以上各部的共同特點是均係非嫡係部隊，裝備、編製都不足。其將領們激於民族義憤，欲同日軍一拚，卻又擔心作戰損失得不到補充，因之對於即將到來的大戰猶豫彷徨。畢竟，在淞滬會戰裏，為了掩護全軍撤退，曾經在上海南郊和日軍血戰，就連軍長吳克仁將軍也壯烈殉國的東北軍第67軍，由於損失慘重，就被撤銷了番號，部隊被縮編為一個師，即將被中央軍吞並。有了前麵的例子，這些依靠手上部隊吃飯的軍頭們，難免會有顧慮。
雜牌軍悲慘局麵以及導致的消極後果，李宗仁在其後來的回憶錄中有深入的分析:
第一件令人不服的事，便是硬把全國軍隊分成“中央係”和所謂“雜牌”。在武器、彈藥、被服、糧餉各方麵，中央軍得到無限製的補充，雜牌軍則被克扣。如川軍開到徐州，我竭力請求補充，中央破例補充了每軍步槍250支。這真是“杯水車薪”，何濟於事？因而在大敵當前之時，並肩作戰的友軍，有的食豐履厚，武器精良，氣焰淩人，有的卻麵有饑色，器械窳劣。要他們同樣出死力而無怨尤，又豈可得呢？
由這種歧視所產生的惡果，則更是曆數不荊。就以“中央軍”而言，上上下下都是具有“通天”本領的“天子門生”。大家惟領袖之命是從，將帥不和，上下傾軋，作戰能力自然無法提高。但是犯起法來，大家都是黃埔同學，又官官相衛，蒙蔽最高當局。茲舉一實例：民國30年，5戰區第10補充兵訓練處第2團團長何中明（黃埔四期畢業），其團部駐老河口南30裏的仙人渡，曾將病兵30餘人衣服剝光活埋致死。何的同事見此事太殘酷，乃據情報告長官部。我便派軍法官及有關人員前往查辦，並掘墳檢視，情形確實，慘不忍睹。因將何中明扣留，交軍法處審訊屬實，判處死刑。本擬就地槍決，以申國法。不意中央當局聞訊，電令押解重慶軍法總監部，旋即釋放。因軍法總監部內高級人員多係黃埔畢業生，狼狽為奸，盡管何中明罪無可赦，也可逍遙法外。
可是蔣先生卻最喜歡人家恭維黃埔畢業生是如何如何地好，雜牌部隊是如何如何地不好。而他的左右又都是善於阿諛的人，於是蔣先生朝夕所聽到的批評，和看到的特務密告，都正如他所想像的。因而成見愈深，欲消滅雜牌部隊之心也愈切。
至於雜牌軍部隊本身呢，在這種無法無天的局麵之下，也就竭力自救。他們都知道中央當局欲利用對日抗戰來消滅他們，平時克扣糧餉，戰時不予補充，等他們消耗得差不多了，便將他們遣散或改編歸並其他部隊，空出的番號，便可以“嫡係”補充了。
此外，李宗仁剛抵徐州之時，正是上海新敗之際。大家感到，中國軍隊在京滬線上陳兵百萬，尚難保淞滬，今敵軍挾新勝之威，南北兩路向徐州而來，李宗仁以十餘萬雜牌軍與之周旋，真如“螳臂擋車”。徐州城內人心惶惶，市麵蕭條，形同死城。為了安定人心，李宗仁每日清晨或午後，都要騎馬到城內主要街道巡視一番。“心情雖極沉重，而態度故作悠閑”。可見，當時李宗仁的日子的確不好過。世人都以不同心情猜測著由他領導的這支雜牌軍，在勢頭正盛的虎狼之師的圍攻下的可能結局。但是，也有一個方麵的事情必須要得到注意，那就是在經過蔣介石殺韓複榘，以鎮軍威以後，中國軍隊上自戰區司令長官下至普通士兵無不受到震動，士氣大振。即使是向來擁兵自重的地方軍頭，也不敢在這個時候效仿韓複榘，落得被老蔣殺人立威的借口。
1月26日，日軍第13師團向安徽鳳陽、蚌埠進攻。日軍以為拿下蚌埠已是易如反掌之事，不料進至明光以南，即為李宗仁部署的李品仙的第11集團軍和於學忠的第51軍，利用淮河、淝河、匯河等地形堵截，雙方血戰月餘，不分勝負。第5戰區以第59軍軍長張自忠率部馳援，進至固鎮地區，協同第51軍在淮河北岸地區頑強抗擊日軍。敵軍在此停留，竟不能越雷池一步，這大出日軍主將?俊六所料，十分惱怒。於是，?俊六遂自南京調集援兵及坦克、野戰炮等重武器，傾巢來犯。敵人洶洶而來，李宗仁感到硬拚、硬堵要吃虧，待敵援軍聚集明光一帶時，李宗仁命坐鎮蚌埠的李品仙將31軍於1月18日自明光全線西撤山區，伺機出擊，將津浦路南端正麵讓開；將於學忠的51軍南調，布防淮河北岸，憑借險要地形，拒敵越河北進，敵援軍以餓狼撲食之勢猛撲明光，結果撲了個空，沒有捕捉到李品仙的主力。接著日軍攻下定遠、懷遠等地，但一無所獲。此時西撤的31軍遵李宗仁指示，從敵軍左側向東出擊，將津浦路之敵截成數段，圍而殲之。淮海前線之敵，後路忽被斬斷，不知凶吉，費九牛二虎之力將31軍從津浦線向西壓。李宗仁遂命部隊采用敵進我退、敵退我進的戰術，牢牢地盯住津浦線；此時參加淞滬會戰的21集團軍北調合肥，以其第48軍固守爐橋地區，第7軍協同第31軍迂回攻擊定遠日軍側後，迫日軍第13師團主力由淮河北岸回援。第59、51軍乘勢反攻，至3月初恢複淮河以北全部陣地。第21集團軍和第31軍旋由淮河南岸向北岸集中，淮河兩岸日軍首尾難顧，與中國軍隊膠著於津浦沿線，從而使日軍對淮河流域的進攻宣告徹底破產。
徐州以南地區之戰，日軍損失達三四千人，中國軍隊取得了輝煌的戰績，這次勝利，除了中國軍隊的浴血奮戰之外，皖北人民對軍隊給予了極大的支持。皖北人素稱強悍，英勇善戰，當地有句俗話說：“紙糊的江南，鐵打的皖北”。當日軍侵入淮河流域之際，皖北人民就自動組織起來，協助中國軍隊阻擊日軍，在定遠、明光等地，日軍都遭到了當地民眾武裝的襲擊，把日軍搞得像熱鍋上的螞蟻，這些武裝的民眾潛伏在城鎮中、村莊裏、山林間，日軍每到一村一鎮都會遭到他們的打擊。當時的紅槍會等武裝組織約有3000多人在皖北到處襲擊日軍，攪得日軍日夜不得安寧。
這次淮河血戰，雖然沒有把北犯日軍全部殲滅，卻使日軍付出了巨大的代價，並將日軍遲滯於淮河一線，粉碎了日軍預定的“南北夾擊”的戰略，迫使日軍改取“南守北攻”戰略，從北麵取道山東，進攻滕縣、嶧縣，造成孤軍深入的局麵，從而為中國軍隊在台兒莊殲滅日軍造成了良好的戰機。
徐州麵臨的局勢，也讓暫時駐紮在商丘的新編十四師部隊感到了一些緊張。這一段時間，不斷有部隊從商丘路過，調往徐州。劉建業感到空氣裏麵已經有了一點火藥氣味，估計自己的這支部隊，很快也要上火線了。第五戰區不會讓自己手裏的這支人員充足，裝備精良的部隊長期呆在後方，而讓那些裝備很差的地方雜牌部隊和日本人拚的你死我活。如果這樣，李長官就和第三戰區的顧長官沒有任何的不同了。