胡昉、杨由义到宿州金营后，通报了南宋朝廷不同意割让“海、泗、唐、邓四州”的意思，金军元帅仆散忠义责怪南宋失信，将胡昉等人囚禁，胡昉等坚贞不屈。
仆散忠义将议和过程对金国皇帝完颜雍做了汇报，完颜雍倒也大气，道：“出使者有何罪过？”命仆散忠义将胡昉放回。
公元1164年二月底，胡昉从金军大营回国，赵眘听闻胡昉曾被扣押，对张浚道：“和议不成，这是天意，此后可一心一意抗敌！”
三月初一日，赵眘下诏，命张浚视师江淮，张浚奏请赵眘临幸建康坚定前线将士信心，汤思退听闻，唯恐赵眘真的再打下去，奏道：“好战之人，不知战乱厉害关系，只会大言误国，以此获得美名。宗社大事，岂能形同儿戏？”又奏请赵眘禀报赵构后再定夺。
可能是汤思退说要奏请赵构的意见触动了赵眘，赵眘在汤思退的奏章上愤怒批示道：“金国如此无礼，你还想议和。今日形势非秦桧时所比，你的提议，比秦桧都差远了！”汤思退大骇，假装上疏要退休，实际暗中和主和派联合诬陷、诋毁张浚。
张浚还没意识到危机，意气风发的到江淮视师。大肆招揽山东、淮北忠义之士充实建康、镇江两军，共计有一万二千余人；万弩营也扩招一万多淮南、江西壮士，让陈敏统领，巩固泗州；增置江淮战舰，修备各军弓矢器械；因投降的萧琦是契丹贵族，沉勇有谋，张浚让其传檄在金国的契丹将领，约为内应。
张浚紧锣密鼓备战，汤思退也处心积虑拆台。王之望是张浚都督府参赞军事，汤思退让他出面上奏赵眘：“兵少粮乏，楼橹器械没有备齐！”又说，派四万之众守泗州，恐怕不妥当！搞得赵眘迷糊了，心中犯嘀咕：张浚，你在前方咋搞的？这只是汤思退的阴招之一；
汤思退又让右正言尹穑，上疏弹劾张浚跋扈，这就击到了张浚的要害，张浚性格一贯如此，因为德高望重，无人提及而已，尹穑开言，赵眘自然警惕；尹穑还弹劾张浚铺张浪费，国用无度，这又点到张浚死穴，但凡打仗，岂有不大用钱的道理？
汤思退还让人攻击都督府参议官冯方，致使冯方被罢；又让人弹劾张深守泗州，只接受张浚将令，不接受朝廷指令，让赵廓接替，是为拒命；户部侍郎钱端礼，上疏阴阳怪气地道：“两淮名为备守，守未必备；名曰治兵，兵未必精！”又道：“兵者，凶器，请以'；符离之败'；为戒，早定国策！”
张浚埋头备战，却被大后方自己人搞得心灰意冷，便接连八次上疏请求退休，四月，张浚被罢免宰相职务，江淮都督府也撤了，因而，赵眘的态度又转向了议和。六月，朝廷命湖北、京西制置使虞允文放弃唐州、邓州，向金军示好，虞允文不奉诏。七月，汤思退采取壶底抽薪的办法，召虞允文回京，命户部尚书韩仲通代替虞允文为湖北、京西制置使。