再说兀术在朱仙镇，被岳云率五百“背嵬军”撵回开封，闻报岳家军陆续向汴京开拔，就有渡过黄河离开东京的想法，有位北宋时的太学生却要求进见兀术，他对兀术道：“太子莫走！京城可守！岳少保就要退兵了！”这位所谓的太学生可能受了很多窝囊气，才会如此数典忘祖。
兀术忙问道：“岳少保以五百骑破我精兵十万，京师中外日夜望他回来，如何可守？”
太学生回答道：“并非如此，自古以来，从未有过权臣在朝内，而大将能在外立奇功！以我分析，岳少保自己尚且不能免祸，怎么能成功？”兀术经此人提醒后，决定暂不过河。
七月二十一日，岳飞打算从郾城出发，将大本营北移，不料，却在这一天内接到朝廷十二道“金字牌”（类似如今的特快专递，宋朝时邮递员骑马悬挂木牌，木牌按速度等级分三种：金字牌、青字牌、红字牌。金字牌，日行四百里，邮递速度最快），命岳飞班师。
赵构还担心岳飞不执行命令，采取釜底抽薪的办法，将杀到河南太康的刘錡、攻占了安徽宿州的杨沂中召回，杨沂中撤回到长江南面的镇江，刘錡撤回到长江南面的太平州（安徽当涂）。友军奉命撤退，岳飞东面出现防御真空，不得已也回撤。
撤军前，岳飞愤惋泣下，东向再拜道：“十年之力，废于一旦！非臣不称职，实权臣秦桧误陛下也！”其实岳飞心如明镜，没有皇帝老子赵构点头，秦桧焉能命他班师？但他只能把这顶帽子戴在秦桧头上。
议和是赵构的基本国策，打胜仗只是赵构议和的资本。在赵构看来，灭亡金国，那是痴心妄想，维持现状是最佳选项，赵构是这样想的，也是一以贯之这样做的。所以，但凡前方战场取得了胜利，赵构都是见好就收。前文叙述过，赵构认为，金国的威胁，远不如手握重兵又不听诏令的将帅。赵构的这种想法对不对，我们以后详谈。
岳飞留赵秉渊守淮宁府，下令班师。百姓闻讯拦阻在岳飞的马前，哭诉说担心受金兵报复：“我等戴香盆、运粮草以迎官军，金人都知晓。相公（岳飞被授'开府仪同三司'，乃'使相'，故称为'相公'）离去，我们死无葬身之地。”
岳飞无奈，含泪取诏书出示众人，道：“我不得擅自留驻。”百姓哭声震野。
大军班师鄂州，岳飞率二千骑兵往临安朝见赵构。