1938年春季，日寇的精銳部隊第十師團的一個旅團等，企圖沿津浦線南下攻占徐州。當時國民黨第五戰區司令長官李宗仁負責指揮徐州一帶戰事。蔣介石於徐州方麵告急時，也認為在戰略上有加強第五戰區之必要，乃倉促檄調第一戰區駐河南補充訓練尚未完成的湯恩伯軍團與孫連仲第二集團軍星夜增援。
第五戰區長官部判斷，恃戰勝餘威、驕狂分萬的磯穀師團長一定不待蚌埠方麵北上敵軍的增援呼應，便要直撲台兒莊，以期一舉攻下徐州，搶先奪取打通津浦路的大功，故調兵遣將，張網以待。除以孫連仲部正麵迎敵外，又派湯恩伯潛行南下拊敵之背，協同孫部包圍日軍而殲滅之。
3月19日，孫連仲接到命今後，立即指揮部隊東調，指定參謀人員先行赴徐州以北地區選定前進指揮所。同時命令池峰城第三十一師進駐台兒莊及其附近地區，構築工事，掩護他部陸續集中。
第二集團軍完成後的布防概況是：台兒莊城寨由第三十一師一八四團防守。該師其他部隊一部分防守台兒莊以西七裏之範口村及以東約三裏之官莊，準備協同台兒莊核心之作戰。另一部分沿大運河南岸布防。
池峰城在城寨外指揮。第二集團軍的第二十七師、第三十師和第四十四旅陸續集結於賈汪東北和台兒莊以南地區。總司令部設在距台兒莊城寨五公裏處。
3月22日，池峰城師進駐完畢。次日，由嶧城南下之敵進犯台兒莊，中國軍隊還擊，形成對峙狀態。劉蘭齋率騎兵從台兒莊北門出擊日軍，乜子彬旅長率第一八三團跟進，在康莊與日軍騎兵遭遇，出擊部隊邊戰邊退，誘敵深入。
第一八三團在獐山與日軍激戰至晚。同日下午，敵機多架在台兒莊一帶低空飛行，進行偵察掃射、一場喋血大戰即將展開。
24日晨，日軍三個聯隊約五六千人，在飛機、坦克、重炮配合下，向台兒莊猛撲。臨戰之際，孫連仲親赴前線調令下屬：“麵臨強大的敵人，我們隻能依靠地形擋住它，再利用夜裏的小突擊拖住它。沒有命令，決不撤退。”
戰鬥中，日軍摧毀了台兒莊北城牆，從突破口衝了進來。池峰城親率敢死隊與敵拚殺。李宗仁聞報，明令以十萬銀元獎賞。但敢死隊員一致表示：“隻要抗戰，不要銀元！”
當晚，池峰城身先士卒，率隊夜襲敵陣，在第一八六團配合下，殺出一條血路，將從突破口衝入日軍全部消滅。此後連續數日，敵軍仗其優勢武器裝備，利用白晝作戰。中國軍隊堅決抵禦，同時摸黑夜襲，消滅敵人，雙方展開了激烈的拉鋸戰。
29日淩晨，孫連仲召集軍、師、旅長及炮兵團長會議，重申固守台兒莊之誌。並指出：當麵之敵似在待援中，我以鉗形攻勢當可聚殲之；第三十一師仍須獨自為戰，以利外線組織戰鬥。
戰鬥延續到4月3日，日軍攻占了台兒莊的東南門，侵入城寨內百米，同時擲催淚瓦斯彈。台兒莊三分之二的地方為日軍占領，中國守軍死傷十之七八。孫連仲的部隊據守南關一隅，死拚不退。
這時，李宗仁來電話，嚴令第二集團軍守至次日拂曉，等待湯恩伯軍團前來增援。孫連仲大義凜然地說：“長官有此決心，我第二集團軍犧牲殆盡不足惜，連仲亦以一死報國家。”於是集合可用之兵，包括炊事兵、擔架兵都一並參加，組成一個敢死隊，於午夜襲擊敵人。
這時，池峰城來電話請示可否撤退至運河南岸，孫連仲命令說：“士兵打完了，你自己填上去。你填過了，我就來填進去。有誰敢過河者，殺無赦！”池部乃以必死之決心，逐屋抵抗至4日黃昏，將敵增援部隊擊退。
4月6日，中國軍隊完成了合圍任務後，全線出擊。日軍磯穀、板垣兩師團陣腳大亂，狼奔豕突，漸向北撤去。孫連仲部與友軍內外夾擊，橫掃殘敵。
台兒莊戰役以中國軍隊的全勝而結束，史稱台兒莊大捷。此役中，孫部武器雖劣，但官兵勇於作戰、不怕犧牲的精神彌補了這一點。近戰時大刀發揮了很大威力。孫部官兵還用十二枚一捆的束集手榴彈炸毀敵軍坦克。
台兒莊戰役結束後，孫連仲的部隊傷亡嚴重，但仍在運河東岸參加了掩護徐州國民黨軍大部隊撤退的軍事行動。後來日軍沿津浦線攻下了徐州，孫連仲部的後路被切斷，蔣介石特由漢口派了一架專機把他接回去，他的隊伍也由徐州以南越過津浦鐵路，開到信陽一帶集結整理。
日軍占領徐州和津浦線前段、隴海線東段地區後，又以武漢為目標大舉進犯。中國軍隊布置在鄂皖和鄂豫邊界的高山地帶，奉令進行保衛大武漢的作戰。1938夏，孫連仲部開到湖北麻城至河南潢川之間的小界嶺、兩路口一帶參加戰鬥，仍歸第五戰區司令長官李宗仁指揮。
孫部在這裏憑借有利地形，節節阻止日軍的進攻，支撐了一個相當長的時間。到了9～10月間，保衛大武漢的戰線逐漸瓦解，武漢終於淪陷，孫連仲部退到南陽一帶集結。
在撤退途中，第四十二軍軍長馮安邦被日軍飛機炸死。到南陽後，孫撤銷了第四十二軍的番號，調第三十軍軍長田鎮南為集團軍副總司令，以第三十一師師長池峰城為第三十軍軍長，轄第二十七、三十、三十一三個師。獨立第四十四旅改歸總司令部直轄。
當時第二十七師師長是黃樵鬆，第三十師師長是張華堂，第三十一師師長是乜子彬，獨立第四十四旅旅長是吳鵬舉。
孫連仲的部隊在南陽附近駐了一個時期後．又開到葉縣、舞陽一帶補充整訓，改歸第一戰區司令長官衛立煌指揮，作為這個戰區的預備兵團，蔣介石還給孫連仲加了一個第一戰區副司令長官的官銜。
1939年夏天，孫連仲乘部隊整訓的機會，到重慶住了兩個月。他覺得自己的部隊在抗日戰場上表現不俗，尤其是台兒莊一戰打得很出名，他想謀求到一個戰區司令長官或省主席的地位。
但由於他沒有加入派係，在國民黨軍政要員中，除了和張厲生私人關係較近外，別的沒有得力的外援，而蔣介石是不會輕易把較大的權位授予雜牌將領的。
孫連仲活動了兩個月後，蔣介石對於像孫連仲這樣一個有功之臣也不能不應付一下，便決定把孫調為第五戰區副司令長官，作為李宗仁的副手。因為李宗仁是個老將，讓孫做他的副手，比做“後起之秀”衛立煌的副手麵子上要好看些。
同時蔣還把第六十八軍劉汝明部編入孫的第二集團軍的序列。第六十八軍也是原西北軍的部隊，當時轄有一一九、一四三兩個師和獨立二十七旅。六十八軍副軍長是李金田和陳新起，一一九師師長是田溫其，一四三師師長是李曾誌，獨立第二十七旅旅長是劉汝珍。
這樣，孫的第二集團軍就有了五個師和兩個獨立旅。
孫連仲回到葉縣不久，調他任第五戰區副司令長官的命令就發表了，接著李宗仁就命令第二集團軍總部移駐唐河，並令第三十軍和第六十八軍接替泌陽以東確山以南地區的第―線防務，與信陽方麵的日軍對峙。
另外還有活動於平漢路東側的豫南遊擊總指揮田鎮南部，活動於桐柏山地區的豫鄂邊區遊擊總指揮閻廷俊部，也都歸孫連仲指揮。
這年年底，第五戰區發動了一次“冬季攻勢”。第二集團軍的任務是攻占信陽。當時信陽和湖北廣水一帶駐有日軍一個旅團，而孫連仲指揮的部隊有七八萬人，按說攻占信陽是不成問題的，但孫部的將領看到蔣介石把嫡係部隊大部分放在後方，把雜牌軍隊放在第一線，所以他們也都抱定“全軍為上”的方針，誰也不肯去和日軍死拚。
這個攻勢進行了一個多月，連日軍的外圍據點也沒有攻下一個。隻是第三十軍抽出一個團，乘夜襲入信陽城內，亂打了一陣槍，到天明前自動撤回。這個“冬季攻勢”延續到1940年春節才停止下來。
1940年春天，蔣介石曾打算叫孫連仲接替鹿鍾麟任冀察戰區總司令兼河北省政府主席，帶一部分隊伍去河北省打遊擊。孫連仲接到蔣介石征求意見的電報後，曾和高級幕僚們研究。
當時有人主張接受這個職務，因為蔣介石是不會把正式的戰區司令長官和後方的省政府主席職位讓給孫連仲的。河北省條件雖不好，總算獨當一麵。但也有人主張不接受，認為河北省不僅有日偽軍，而且有八路軍。
到那裏以後，如果和八路軍合作抗日，蔣必不答應；如果與八路軍鬧磨擦，恐怕很難站住腳，結果有可能連“老本”都保不住。孫連仲權衡利害，認為還是不去為好，就複電蔣介石表示推辭，大意是：
河北省情況複雜，自己才疏學淺，深恐完不成任務，有負委座重托、謹乞另選賢能。
