就在日軍第11軍緊張地進行長沙作戰的各項準備工作時，有關的情報源源不斷地被送到第9戰區司令長官薛伯陵的麵前。特別是進入8月以後，日軍進攻長沙的跡象日見明顯。先有日軍第6師團長到新牆河北岸視察的報告，後有日軍開始停售武昌至嶽陽間的火車客票，而且該區間的列車增多，運輸非常繁忙及嶽陽的日軍強征民夫，加大公路的路幅，增設電話線等各種報告。
關於日軍兵力調動情況是：自8月中旬以來，第3、第4師團及第13師團、獨立混成第18旅團各一部，由鄂中方麵；第33師團一部，由武漢方麵，均逐漸向嶽陽集中。獨立混成第14旅團一部，由贛北方麵；第40師團由鄂南方麵，逐漸向臨湘、嶽陽集中。第6師團逐漸向忠坊、桃林、西塘移動。又獨立炮兵、獨立工兵各一部也由武漢向臨湘、嶽陽集中；及海軍一部，由長沙向洞庭湖集中。到9月初，日軍在湘北已增加到上萬人的兵力。
毫無疑問，日軍要再次向湘北發動進攻了。這一點，作為第9戰區最高指揮官的薛伯陵自然很清楚。但他卻在判斷日軍兵力部署及進攻方向上犯了一個嚴重錯誤。
薛伯陵認為，日軍這次進犯長沙，還會在贛北、鄂南助攻，至少要在一個方向上助攻。根據這種判斷，第9戰區進行了模擬作戰演習。兵棋推演的結果是，第9戰區完全可以挫敗向湘北進犯的日軍。這不僅是因為在兵力對比上，第9戰區有著很大的優勢，而且還因為從第一次長沙會戰至今的兩年時間裏，第9戰區對日軍的進攻已做了較為充分的防禦準備。一方麵各部隊進行了整訓，補充了武器、兵員，戰鬥力有所提高；另一方麵，各部隊加強了陣地工事的構築，這些工事經過兩年時間的修築，已經比較堅固了。而且在本年的3月，薛嶽又製定了“保衛陪都作戰計劃”，令各部隊進行整備，同時進行了參謀視察、幹部演習、陣地攻防演習等一係列準備工作。因此，此時的薛伯陵對日軍即將發起的進攻非但不驚慌，反倒是胸有成竹，充滿必勝的信心。
基於對日軍兵力部署及進攻方向上的錯誤判斷，薛伯陵仍以3月製定的“第9戰區反擊作戰計劃第一案”來指導這次作戰。
薛伯陵當時並不知麵前日軍更多確切的情況，他的想法與實際情況相差太遠。
國軍在第二次長沙會戰中的悲劇實際上在開戰前就決定了。
第二次長沙會戰的序戰首先在鄂南方麵第27集團軍的防地大雲山打響。
大雲山位於湘鄂邊境，在新牆河的上遊，海拔960米。這裏森林茂密，地勢險要，屬於第9戰區的遊擊區。第9戰區的部隊常到這裏活動，並不時對日軍進行襲擊。
1941年9月7日晨，集結於忠坊、桃林、西塘之日軍第6師團首先向南山、雁嶺、雞婆嶺、草鞋嶺的國民黨守軍陣地發起了猛烈攻擊。
阿南惟畿令第6師團進攻大雲山中國軍隊陣地，主要是為了掩護其主力向湘北集結，當然擊退了該地守軍，對其以後的作戰也是十分有利的。他原定於5日開始大雲山作戰，但因為天氣惡劣而被迫推遲到7日。
攻擊開始後，日軍在炮火、飛機的掩護下，從東、西、北三麵對大雲山守軍展開圍攻。第58軍新編第11師、第4軍第59、第102師分別與日軍展開激戰。戰至下午，日軍進至南衝、孟城、長安橋、甘田一帶。
8日，日軍繼續攻擊前進，並以主力向大雲山南、新牆河北之草鞋嶺、甘田、港口方麵猛攻，企圖向新牆河南岸進犯。不料，在其突進至比家山附近後，遭到第4軍的痛擊，被迫暫緩南下。而第59、第102師及第58軍新編第10師仍在白羊田、甘田附近地區阻擊日軍。
9日，日軍一部越過新牆河。第27集團軍楊總司令立即以第4、第58軍及第20軍第133師發起反攻，側擊和截擊渡過新牆河的日軍。經過激戰，日軍被壓迫退回新牆河北岸五龍橋、白羊田一帶。
這時，日軍第40師團已經到達大雲山附近，接替第6師團繼續圍攻大雲山，而第6師團則開始陸續退走，準備與以後到達戰場的日軍主力共同對湘北發動總攻。
10日，楊總司令指揮新編10師自東向西、第59師由西向東、第37軍第60師由南向北包圍日軍。戰至中午，新編第10師奪回大雲山的製高點，並收複了石塘衝、石壁橋，將當麵之敵壓迫到石廟一線。第59、第102師則全力進攻茅衝、和尚莊、鄧家橋一線日軍。當天晚上，第20、第58軍的攻擊隊和第6挺進隊一部，分途向大沙坪、羊樓洞、趙李橋、石城灣各地之日軍進行夜襲。
11日拂曉，第59、第102、第60及新編第10師合力會攻殘敵，未及被換走的日軍第6師團第13聯隊被圍困在甘田附近，傷亡慘重。正當中國軍隊各部準備將其徹底消滅時，日軍第40師團重鬆支隊趕到，將奄奄一息的第13聯隊解救而去。
12日，中國軍隊各部對重鬆支隊展開圍攻，並將其截為兩部。當日晚，該支隊主力進入港口附近，遭到第58、第4軍各一部的襲擊；而其預備隊第235聯隊後藤大隊則被堵於馬嘶?F西側一帶，遭到重創。
13日上午，日軍第40師團龜川聯隊在港口北5公裏的白羊田南側一帶與第58軍發生遭遇戰。隨後，第40師團仁科聯隊及師團主力趕到，也投入作戰。這樣，日軍第40師團的兩個聯隊就在白羊田南側一帶東西3公裏的範圍內，與中國軍隊混戰在一起。激戰竟日，雙方形成僵局。晚上，第58軍又不斷對日軍進行夜襲。當日晚，青木成一師團長向上級做了這樣的戰況報告：
師團主力在白羊田南側擊退由13日晨來攻的敵新編第11師的2個團。重鬆支隊正在團山坡北側附近，與周圍敵軍交戰中。
然而此時堅守馬嘶?F北側高地的後藤大隊，仍處於敵新編第10師的包圍中，在與支隊主力失掉聯係的情況下孤軍奮戰。各種迫擊炮、山炮彈射擊在麵積狹窄的陣地上，並多次與逼近陣地前10米的重慶軍反複展開手榴彈戰，重機槍也有兩挺遭到破壞。
前進到湖野溪西側台地的師團戰鬥指揮所，14日下午恢複了與龜川部隊的聯係，當即命令仁科部隊堅守該地東側台地。此時始得知後藤大隊的苦戰狀況。
師團不期遭遇的敵第58軍，為在東方約20公裏的黃岸市整訓中的部隊。師團對其行動毫不知曉。加之，對大雲山周圍已掃蕩完畢的先入為主的思想，因而對我軍剛一展開即遭到強烈反擊的情況，完全出乎預料。
14日，接到第40師團報告的阿南惟畿於次日晚令荒木支隊投入到大雲山戰場，支援第40師團作戰。
荒木支隊接到命令後，立即出動。16日夜，當其趕到甘田東側時，受到新編第11師的頑強阻擊。戰至18日，該支隊終於到達馬嘶?F，與在這裏已苦撐了數日的後藤大隊會合。
阿南惟畿對第40師團的進展情況甚為不滿，他認為“第40師團未以全力盡快捕捉當前來攻之敵，似有墨守軍最初攻擊準備之感”，遂令作戰主任“對此加以督促”。
隨後，第40師團一麵與中國軍隊作戰，一麵按預定方案向沙港河右岸集結，並逐漸做好了向湘北進攻的準備。
至17日，日軍第11軍已經完成全麵攻擊準備。第3、第4、第6、第40師團在楊林街至沙港河下遊一線約20公裏之間並列展開。
一場更大規模的戰鬥即將爆發。
9月18日拂曉，日軍第11軍發起了全麵進攻。
此時夜幕尚未完全打開，若明若暗之中，一陣陣排山倒海般的大炮轟鳴，震撼了寂靜的山野。數十架飛機瞬間投下成噸的炸彈。空氣被撕裂，大地在顫抖，晨光初現之中，一片血肉橫飛。隨後，日軍步兵在炮火和飛機的掩護下發起衝鋒。
阿南惟畿在其日記中這樣描述當時的情景：8時，陰雲漸晴，在“隆隆”的重炮、山炮聲中夾雜激烈的機槍聲。8時30分，第4師團正麵在煙幕掩護下一齊開始前進。8時50分攻破左岸敵軍的第一線，繼續前進。通過電話向北野師團長祝賀勝利，並勉奮鬥。第3師團正麵於7時30分開始前進，未做攻擊準備射擊，即突破第一線，向大荊街突進。第6師團方麵炮聲隆隆，隻見各處村落起火。一場大規模野戰正在展開。統率大軍親視戰況，指揮會戰，正是其時。
守備在新牆河南岸的第4軍一部，在日軍猛烈的攻擊下，陣地很快被突破。中國軍隊急令第58軍和第4軍另一部迅速由大雲山戰場趕到新牆河南岸阻擊日軍，但為時已晚。中國軍隊第一道防線被突破後，新牆河以西和粵漢鐵路的兩側，除了少數警戒部隊外，已經沒有有力部隊可以阻擋日軍了。
日軍在突破新牆河守軍防線後，便如入無人之境，三路日軍齊頭並進：中路第3、第6師團向草鞋嶺、關王橋、長樂街、甕江等地進攻；左(東)路第40師團從楊林街東側向平江、三角塘方向攻擊，右(西)路第4師團從潼溪街經黃沙街向汨羅江進攻。
早淵支隊跟隨第4師團由新牆河東南地區突破新牆河南岸陣地後，迅速向鹿角挺進。19日占領鹿角。
平野支隊與海軍陸戰隊於17日16時從城陵磯起航，乘汽艇200餘艘，民船數百隻，在海軍20餘艘艦艇的護衛下，經洞庭湖向湘江進發。18日在營田以南的下青山強行登陸，擊退守軍，占領下青山全島。19日16時占領嚴廖山，21日占領蘆林潭、鬥米嘴，將守軍第197師封鎖在洞庭湖東岸。
此外，日軍海軍陸戰隊2個中隊於18日在鹿角、磊石山、蝦湖山強行登陸，配合早淵支隊攻戰鹿角後，擔負該地區警備。
麵對日軍強大的攻勢，第4軍和第58軍隻能放開正麵，邊打邊撤向東麵的山地地帶，躲避日軍凶猛的初期鋒芒，同時從東北向西南尾擊和側擊南犯日軍。湘鄂贛邊區挺進軍第4、第5、第8挺進縱隊等則對賀勝橋、蒲圻間地區之日軍進行牽製作戰；第6挺進縱隊以一部攻擊趙李橋、羊樓洞一帶之敵，主力攻擊忠防、桃林一帶之敵；第7挺進縱隊由楊林街、新牆方麵自北向南尾擊日軍。
至19日傍晚，日軍第3、第4、第6師團相繼到達汨羅江北岸，並有一部進至汨羅江南岸新市、顏家鋪、浯口各附近；第40師團則正在向平江方麵推進。第9戰區令第20軍配合第4、第58軍扼守關王橋以東、易水以北地區，從日軍後方相機攻擊。
雖然日軍進展迅速，但阿南惟畿為了慎重起見，並沒有急於令主力向汨羅江南岸挺進，而是將渡江時間初步定在9月22日夜。同時，他還決定“在弄清敵本日內的行動後，即行確定22日夜半開始的攻擊部署”。
阿南惟畿沒有想到，他的這一決定竟然為其帶來了一份意外的驚喜和收獲。