吕颐浩向原中书舍人席益征求对付秦桧的策略，席益出了一个高招，席益道：“把秦桧及其党羽看作朋党便行，秦桧在朝廷中的朋党首脑是胡安国，首先要除掉胡安国。”
胡安国是宋朝学者，当时官位为给事中。胡安国曾经向游酢问朝廷中的人才，游酢是北宋着名理学家，死于公元1123年。胡安国问游酢，当然是在公元1123年之前。北宋时期，秦桧的狐狸尾巴尚未露出来，游酢当时很看好秦桧，把秦桧比做三国的荀彧。
胡安国一直牢牢记住心中，秦桧回朝，胡安国利用在皇帝身边顾问的便利，对赵构极力推荐秦桧，说秦桧比张浚等人都优秀。秦桧投桃报李，做了宰相后，也力推胡安国。
吕颐浩从镇江回来，推朱胜非为“同都督江、淮、荆、浙诸军事”。胡安国不知是不是受了秦桧指使还是其他原因，反正是出头了，上疏道：“朱胜非做宰相时，造成苗刘叛乱，贪生怕死，至君父受辱。如今强敌环绕，用人得失，关系国家安危，臣恐朱胜非耽误陛下大事！”
赵构听从了，改命朱胜非为醴泉观使兼侍读，让孟庾担任“代理都督江、淮、荆、浙诸军事”。可胡安国还不满意，利用在门下省给事中的权力，拿着任命录黄（中书省承旨起草的一种文件）不下发。吕颐浩一看卡带了，特意命黄龟年另外书写任职命令。胡安国还有争辩，吕颐浩在赵构面前告一状，胡安国遂请求辞职，秦桧再三挽留无效，被罢为提举仙都观。
随后，侍御史江跻、左司谏吴表臣上疏论朱胜非不可用，胡安国不应该受处罚，于是江跻、吴表臣、张焘、程瑀、胡世将、刘一止、林特聘、楼炤等二十多人，都以秦桧朋党的名义被罢职。秦桧看大势已去，请求去职。
这个时候，秦桧的老相识起居郎王居正也来插一竿子。王居正本和秦桧是“铁兄弟”，秦桧做了宰相，王居正想上上台阶，可是秦桧翻脸不认人，王居正十分痛恨，于是在赵构面前道：“秦桧自夸为相必能耸动天下，如今所作所为不过如此而已，愿陛下问问他还有何治理国家的良策？”
秦桧主动提出辞呈，吕颐浩担心赵构不批准，又让侍御史黄龟年加一把火，上疏弹劾秦桧专主和议，破坏恢复，结党专权，不会长久，并把秦桧比作王莽、董卓一类人物。
八月底，赵构召直学士院（相当于翰林学士）綦崇礼入宫奏对，拿出秦桧所陈二策（河北人还金国，中原人还刘豫）给他看。让他起草罢相制书，并道：“秦桧说‘南人归南，北人归北’。朕是北人，将归哪儿去？秦桧又说‘为相数月，可耸动天下’，朕至今也没看到。”