11月7日，黃煥然第7兵團五個軍十一個師共約十二萬人開始向西撤退。主力第25、44、64、100軍經運河大橋撤退，第63軍則經窯灣渡運河西撤，擔任兵團側翼掩護。當日晚，兵團先頭部隊已到炮車地區。
11月8日，兵團司令部和第44、64軍渡過運河，但後續部隊在經過運河大橋時，由於數萬部隊和由海州撤退的數萬軍民都要從運河上唯一的大橋通過，人員、車輛、馬匹連綿百餘裏，加上有解放軍逼近的消息，在過橋時爭先恐後，互不相讓，秩序大亂，有的部隊甚至開槍奪路，導致打死、踐踏死、掉入運河溺死者不計其數。盡管在渡運河時總共損失約一萬人，但至次日，第7兵團大部渡過了運河。
此時，華東野戰軍擔任主攻任務的各縱隊，在一天之內掃清了隴海路北側三百餘裏地區的小股國軍，直向新安鎮及其東西地區撲來，但是黃煥然兵團已經撤離該地區，華東野戰軍遲了一步。
情況萬分緊急，如果抓不住黃煥然兵團，在此之前的一切部署和努力都將前功盡棄。
在這千鈞一發之拉際，粟Y一邊將黃煥然兵團西撤的情況上報中央軍委和陳、鄧首長，一邊立即調整部署追擊，嚴令各部不惜一切代價，務必抓住黃煥然兵團：——第7、10、13縱隊排除一切困難，迅速插向徐州以東大許家、曹八集地區，截斷黃煥然西逃退路，分割其與徐州的聯係；——位於隴海路以南皂河地區部隊經土山鎮向大許家前進，由南向北，配合第7、10、13縱隊斷敵後路；——第1、6、9縱隊和魯中南縱隊及中野第11縱隊從新安鎮及其以西地區沿隴海路南側向西追擊；——第4、8縱隊沿隴海路北側向西追擊。
一時間，隴海線兩側的華東野戰部隊如兩股狂潮，南北呼應，轟轟隆隆，晝夜兼程，逢山過山，遇水過水，不怕饑寒，不畏艱苦，有的部隊以一夜120至140裏的速度急行軍，向西方勇猛席卷而去。
由於黃煥然兵團的迅速撤退，解放軍未能在新安鎮捕捉到其兵團主力，僅第4、8縱隊攻占邳縣，第7、10、13縱隊攻占韓莊、萬年閘，包圍台兒莊。在此情況下，如無意外，黃煥然兵團很可能順利退回徐州附近。
但就在這關鍵時刻，第3綏靖區副司令何基灃、張克俠兩位國軍中將按預先計劃率第3綏靖區兩個軍三個半師共2.3萬人在台兒莊、賈汪起義，並將防區立即移交給解放軍，使解放軍第7、10、13縱隊迅速經台兒莊、賈汪南下，一舉切斷黃煥然兵團西撤徐州的退路。
第3綏靖區所屬第59、77軍，原是西北軍舊部，其前身是抗日戰爭中在盧溝橋打響第一槍的宋哲元第29軍和屢立戰功的張自忠第33集團軍，抗戰勝利後，被整編為兩個軍四個師，番號改為第3綏靖區，駐守徐州。所部官兵對南京政府打內戰，歧視排擠雜牌深感不滿。特別是在濟南戰役中原西北軍舊部的吳化文率部起義後，南京國防部對第3綏靖區部隊更不信任，不僅免去了張克俠徐州城防司令的兼職，將第3綏靖區部隊所擔任的徐州防務交給嫡係部隊第8軍，而且將第3綏靖區一些軍官的家屬遷往江南作為人質，引起了所部軍官的不滿和恐慌。GCD從大革命時期開始就對西北軍做了大量爭取工作，尤其在馮治安部隊更是通過各種關係有組織、有計劃地以不同形式、不同對象開展爭取、策反工作。這次的起義就是GCD長期爭取的結果。
在GCD地方黨組織和解放軍的協助下，何、張兩人利用官兵對南京政府的不滿，開展多層次的動員、策反工作，爭取了一批中、下層軍官。1948年10月起，淮海戰役醞釀過程中，解放軍代總參謀長周恩L就指示華東局派人與何、張聯係，組織起義，配合解放軍的作戰。華野先後派朱林、楊斯德、孫秉超等人進入第3綏靖區，與何，張取得了聯係，並根據解放軍的要求，進行了起義的準備，計劃讓出運河防線，控製渡口、橋梁，確保解放軍順利渡過運河。
11月5日，第三綏靖區司令馮治安按徐蚌會戰計劃的部署，命令各部退守韓莊、萬年閘、台兒莊一線。何基灃秘令第77軍37師111團將地下黨員王世江任營長的第3營留在運河以北，以便與解放軍聯係。11月6日，解放軍第10縱隊逼近韓莊，王世江即率部起義。而此時59軍的上層軍官對起義還沒有統一認識，軍長劉振三以看病為名放棄指揮去了上海，師團長有的猶豫不決，有的要求推遲起義。而77軍軍長王長海也稱病告假，把部隊交給何基灃。何基灃、楊斯德認為形勢緊迫，決定於11月8日起義，凡不同意起義者一律就地解決。就在這時，解放軍已占領萬年閘，並有三個團渡過運河。在解放軍步步逼近的壓力下，59軍終於一致同意起義。而張克俠由於策反時有所暴露，被馮治安軟禁在徐州，為了趕上起義，他幾經周折，才擺脫監控於8日上午到達賈汪。
11月8日，何基灃、張克俠率領第3綏靖區第59軍38師、180師，第77軍之132師和37師111團，共2.3萬人在賈汪、台兒莊起義。
11月28日，何基灃、張克俠、孟紹濂（77軍副軍長）、過家芳（77軍132師師長，地下黨員）、楊幹三（59軍38師師長）、崔振倫（59軍180師師長）發表聯名通電，宣布脫離南京政府，加入解放軍。
何、張的起義，使得徐州北麵的國軍運河防線出現了大缺口，為解放軍的三個縱隊迅速渡過運河，切斷黃煥然兵團與徐州的聯係，贏得了寶貴的時間，創造了極為有利的條件。根據後來的推算，隻要在這裏，解放軍停留時間超過四個小時，黃煥然兵團將順利地退入徐州。
11月7日，粟Y查明了黃煥然兵團的西撤行動，又獲悉何、張即將起義，立即下令各部分頭追擊，要求各部不怕建製混亂，誰先到達，誰就先切斷敵向徐州退路。華野擔任突擊任務的第1、4、6、8、9縱隊分路南下，向運河東岸挺進；第7、10、13縱隊穿過第3綏靖區起義部隊防區，直取曹八集、大許家；第2、12縱隊南越隴海路，向徐州東南攻擊前進，迂回堵截西撤之敵；第11縱隊及江淮軍區兩個旅，經皂河向大許家前進，與突擊集團協同堵截西撤之敵。
11月8日黃昏，第4縱隊在運河車站以北與黃煥然兵團後衛第100軍44師遭遇，激戰一夜後，4縱未與敵糾纏，向西強渡運河，繼續追擊黃煥然兵團主力。當天午夜，第9縱隊在沂河邊的墊頭集追上了黃煥然兵團擔任側翼掩護的第63軍後衛兩個團，在戰鬥中為了迅速渡過沂河迂回包圍敵人，9縱27師79團1營2連的十個戰士跳下冰冷的河中，用肩膀托起木板架起浮橋，保障部隊完成了任務。這個事跡被稱為“十人橋”，後來寫進了新中國的小學教科書。激戰至次日拂曉，全殲63軍後衛兩個團。
11月9日，華野《關於全殲黃煥然兵團的政治動員令》，號召全軍不怕疲勞，不怕困難，不怕饑寒，不怕傷亡，不怕打亂建製，不為小股之敵迷惑，不為河流所阻，堅決追擊，奮勇作戰。特別要求各級指揮員在總作戰意圖下，機斷專行，靈活指揮，不失戰機組織作戰。
華野主力的多路推進，以及何、張的起義，南京震驚，徐州惶恐。蔣總統、劉經扶都判斷解放軍勢在攻取徐州，為確保徐州，徐州剿總於11月9日緊急調整部署。李文卿兵團向徐州東北的大湖、荊山鋪、茅村車站地區集結；黃煥然兵團向徐州東南的
徐山村、潘塘地區集結；邱雨庵兵團位於徐州以西的黃口地區，對付從魯西南向徐州推進的解放軍六個縱隊（實際為兩個縱隊）；孫元良兵團主力務必於11月10日到達宿縣、符離集，另以一個軍守蚌埠；劉汝明第4綏靖區在懷遠、定遠、鳳陽布防；剿總直屬之第72軍守徐州，第96軍守臨淮關。
黃煥然兵團由於後衛部隊已與解放軍接火，沒渡過運河的部隊非常驚慌，後衛第100軍44師才過了一個團，橋邊一輛彈藥車突然起火爆炸，負責炸橋的工兵以為解放軍趕到，慌忙將運河大橋炸毀。44師兩個多團還未過河，就這樣被扔在了河東。黃昏後解放軍第8縱隊先頭部隊趕到，立即對留在河東的國民黨軍餘部進行攻擊，由於解放軍隻有一個營的兵力，無力消滅兩個多團的國軍，雙方混戰了一夜，解放軍8縱主力趕到，於10日天明後，全殲了滯留在河東的國軍共2700餘人，並占領運河大橋。盡管大橋已被破壞，但損壞並不嚴重，解放軍立即在橋麵鋪上木板，恢複了通行，僅半天就通過兩個師。
當晚，黃煥然兵團四個軍大部渡過運河，宿營於碾莊。黃煥然召集各軍軍長商討下一步行動，他本想繼續前進，退往徐州。但部隊在渡運河時，相當疲勞，建製混亂，特別是第25軍、100軍遭到不小的損失，而最先渡河的第64軍不僅沒有損失，還構築好了防禦陣地，所以軍長劉鎮湘主張先停留一下，整頓部隊，以免在行軍途中為解放軍所乘。而其他幾個軍長則主張不要停留兼程前進，雙方爭論沒有結果。而黃煥然認為已過了最危險的運河，碾莊距徐州僅九十裏，還比較安全，部隊也需要時間整頓，就決定停留一天。
就在同一時間裏，擔任兵團側翼掩護的第63軍原計劃從窯灣渡河，但軍長陳章驕傲輕敵，行動遲緩，到9日還未渡過運河，直到後衛被消滅才驚慌失措起來，率部急向窯灣撤退。到達窯灣已是夜晚，鎮中居民逃避一空，找不到糧食充饑。半夜解放軍第1縱隊趕到，1縱由於司令葉飛生病由副司令兼參謀長張翼翔指揮，他向粟代司令員保證由1縱一個縱隊單獨負責解決63軍。為盡快消滅63軍，張翼翔決定以三個師從東、北、東南三個方向同時攻擊，掃清外圍後不作調整直接發起總攻。9日入夜，1縱就開始外圍戰鬥，63軍是倉促轉入防禦，工事很不堅固，企圖逐村抵抗，消耗遲滯解放軍。而解放軍為縮短作戰時間，各部從敵防禦薄弱地區大膽突破，直插縱深，迫其全線動搖。經一夜戰鬥，基本肅清外圍。隨即發起總攻，至12日淩晨，全殲國軍第63軍。軍長陳章在部隊失去控製時跳河逃命，結果中彈身亡。1縱結束戰鬥後於13日渡過運河，向狼山前進，參加阻擊徐州方麵對黃百韜的增援。
11月10日，蔣總統獲悉黃煥然兵團在撤退途中遭解放軍的追擊，深感不安。他對劉經扶所采取的先鞏固徐州，再以有力部隊策應黃煥然兵團的消極作戰方案，極為不滿。他決定命令黃煥然兵團就地固守待援，集中邱雨庵、李文卿兩個兵團迅速東進與黃煥然兵團夾擊運河附近解放軍。同時催促黃培我兵團兼程急進，務必於13日前到達阜陽、太和地區，參加徐州作戰。這道命令結束了黃煥然兵團內部撤守之爭。黃煥然命令部隊轉入防禦，修築工事準備堅守。兵團部在碾莊，以此為中心，25軍在北，64軍在東，44軍在南，100軍在西，形成環形防禦體係。此時解放軍的包圍還不嚴密，黃煥然如果堅決西撤，還是能回到徐州的，但是，將總統的錯誤決策把他和十萬官兵葬送了。
就在這天之前，原在距碾莊以西二十裏的曹八集的李文卿之第13兵團，奉徐州剿總司令劉經扶的命令，不等黃煥然兵團來到就匆忙撤往徐州，導致黃煥然所部失去了側後的掩護。而黃煥然兵團的第100軍44師正向徐州撤退，原本黃煥然命令第100軍在碾莊以西防禦，但44師在掩護兵團渡運河時損失慘重，僅剩師部直屬隊和不足一個團的戰鬥部隊，師長劉鶴聲認為所部損失太大，無力擔負防禦，就直接撤往徐州。該師一路西行於10日下午剛到達曹八集，就與兼程趕來的解放軍第13縱隊接上火。解放軍先頭部隊114團於黃昏時發起攻擊，半夜時分打開突破口衝入村內，但未控製好突破口，接應後續部隊，隻顧向縱深發展，結果突破口被封閉，衝入村裏的部隊彈盡糧絕，損失殆盡。次日淩晨，114團再次發動猛攻，再次打開了突破口，但很快又被封閉。直到天亮後，13縱後續部隊陸續趕到，於11日中午發起總攻，至下午全殲44師殘部約3000人，師長劉鶴聲自殺。正是曹八集戰鬥後，華野才完全切斷了碾莊與徐州之間的聯係，將黃煥然兵團與徐州主力分割開。
這一天，北路的解放軍第7、10、13縱隊與南路的第11縱隊和江淮軍區兩個旅在東大廟、侯集會合，完全切斷黃煥然兵團的退路。第2、12縱隊和中野11縱在宿遷渡過運河，從東南逼近徐州。
至此，華野將黃煥然兵團餘部四個軍包圍壓縮在碾莊為中心，南北約三公裏、東西約六公裏的狹窄區域裏。
南京城外，大校場機場。
一架國軍空軍運輸機搭載著劉建業和副官，警衛，秘書等人搖搖晃晃的起飛，向徐州方向飛去。
“記住，你的任務是督促徐州方麵的部隊全力出擊，務必盡快解救出被包圍的黃煥然兵團所部。記清楚，是全力出擊。”劉建業的耳邊還在響著兩個小時之前，在國防部長辦公室裏，帶著眼睛的何部長對自己的大聲命令。
“與其現在全力去解救被包圍在徐東的黃煥然第七兵團四個軍，還不如先集中主力部隊從東西兩側向宿縣以西方向的中野主力，再回師向東，解黃煥然之圍。那個劉經扶真是膽小怕事，像豬一樣愚蠢無能，一心隻想著自己所在的徐州的安全。算了，大廈將傾，獨木難支，徐州那邊的部隊又都是指揮不動的，我還是老老實實的當我的戰地督查官，隻督戰不說話吧。”看著飛機窗外的雲彩，劉建業對自己說。