岳家军南撤后，北方忠义军孤掌难鸣，兀术在开封，见岳家军果然南撤，重振旗鼓，派军南下，颍昌、蔡州、郑州等河南收复之地，很快又落入金军之手。
岳飞得知后，不由仰天悲叹：“所得诸郡，一旦都休！社稷江山，难以中兴！乾坤世界，无由再复！”岳飞受此打击，回到朝廷后，已不再像以往那样慷慨陈词了，只是再三恳请朝廷解除其军职，归田而居。赵构以“还未到收兵之时”为由不允许，岳飞只得回鄂州。
公元1141年正月，兀术再度领军南下攻淮西。兀术、韩常、龙虎大王合兵先攻占寿春府（安徽寿县），再攻陷合肥，赵构一边命在临安的淮西宣抚使张俊回建康率军抵御，一边调太平州刘錡、镇江杨沂中、淮东韩世忠、鄂州岳飞援救淮西。
刘錡、杨沂中很快抵达淮西，一来因为距离较近，二来执行诏令彻底。但是我们的岳元帅，想到每次揍了金军一顿后，都被召回，不能尽兴，就和赵构赌气，先说军中缺粮，不能出兵。赵构手诏道：“社稷存亡，在此一举！”
岳飞又说金国倾巢而来，巢穴空虚，他应该长驱直入汴京、洛阳，围魏救赵；接着说自己身体犯苦寒病；后来又说将亲率大军，到蕲州、黄州汇合，赵构气得七窍生烟，连续下了十七道御札，最后还装出高兴的样子赞誉岳飞道：“爱卿犯病，还为朕出征，为国忘身，谁比得上爱卿啊！”赵构反话正说，我们得睁眼看清楚《宋史.岳飞传》。
正月底，岳飞磨磨蹭蹭先进兵江州（江西九江），二月中，岳飞大军才从大本营鄂州出发，二月底，杨沂中、刘錡在柘皋（合肥南、巢湖北）大败兀术，三月初三日，淮东韩世忠引兵到了寿春，初四日岳飞军才到达舒州（安徽安庆），初五日，张俊、杨沂中、刘錡因“柘皋之战”大胜，已经商议着班师了。
兀术在“柘皋之战”失利后，北上围濠洲，张俊、杨沂中、刘錡增援，此时濠洲被金军攻陷，并在路上设伏，张俊命王德、杨沂中进军，遇伏兵败。
韩世忠从寿春赶来濠洲增援，岳飞也到了定远县（滁州北），兀术见宋军大军汇集，只得撤兵，岳飞见金军撤走，又也回撤到舒州。因此，岳飞最后一次出兵，没有和金军实际交战。反而引起了赵构的极度不快。
金国在无力攻灭南宋的情况下，准备重新与宋议和。赵构乘机开始打压手握重兵的将领，秦桧向赵构出馊主意，召张俊、韩世忠、岳飞三大将到临安论功行赏，实际就是将他们调离自己的军队大本营。