再说李纲，被赵桓从两河宣抚使贬为知扬州，没几天，赵桓想到李纲是顽固的主战派，越想越气，又将他贬为“提举亳州明道宫”，实际是道观主持，为虚职，实职为保静军节度副使，安置在建昌军（江西南城），再迁到宁江（广东兴宁）。总之越远越好，眼不见心不烦！
可惜的是，金军不讲信用，说好的不打了，没过几个月又杀过来，赵桓心惊肉跳，才反应过来，和议不是一条好路，才想起李纲的好处来，又提拔李纲为资政殿大学士，领开封府事，而李纲天高地远，远水难救近火！
李纲接到命令，走到长沙时打算率湖南的军队救援东京开封，前方传来战报，开封失陷了守了。此时赵构在相州设大元帅府，大元帅有便宜从事的人事、财政专权，便恢复了李纲的官职，并送信给李纲道：“当今天下苍生，有倒悬之急，若非不世之才，怎能成功？阁下学究天人，忠贯金石，应当奋起，以副苍生的仰望！”评价非常高！
赵构称帝后四天，即五月初五日，即任命李纲为宰相。催他赶快来应天府上任。
黄潜善和汪伯彦，一直自认有建国殊勋，宰相官位是他们的囊中之物，如今突然蹦出一个李纲来，心里酸楚难耐！自此，两人处处和李纲作对，直至将李纲赶下台取而代之。
李纲深孚众望，被赵构任命为宰相，御史中丞颜岐脑袋进水，也上奏道：“金人喜欢张邦昌，虽然已经封为郡王，应该再给他加授'同平章事'，履行宰相职责。李纲一贯被金人厌恶，虽然被任命为宰相，应该在他没到之前，罢免他！”赵构没有搭理。
谁知颜岐一根筋，见赵构不理，连续上了五次奏章，始终说这件事，惹得赵构烦透了，回了一句：“朕即位，恐怕金人也不高兴吧？”
颜岐满脸通红退下。可他还不死心，又将自己奏章的副本送给李纲，希望李纲自己识趣不进应天府。右谏议大夫范宗尹，也上奏赵构，说李纲名不符实，有震主之威。赵构也不听。李纲尚未到任，宰相之位就岌岌可危，自然难以长久。
六月初一日，李纲赶到应天府，觐见赵构。赵构听说李纲到了，派人迎接入内殿。李纲见了赵构，激动不已，涕泪交加，赵构也不由流露出感动的神情。
李纲上奏道：“金人无道，专用诡计，我们始终不醒悟，一切都中了他们的圈套。幸好天命所归，陛下在外领军，为天下臣民推戴。内修政治，外攘强敌，迎接二圣、安抚万邦，这是陛下和宰相的职责。臣自认才力不足，难以担当重任，请陛下收回任命！况且臣在路上，颜岐就将奏章送给臣看，说臣不被金人喜欢，不应当为宰相。像臣这样愚蠢的人，就知道有赵氏江山，不知道有什么金人，自然被他们憎恶！如果说臣的才能不足以担任宰相则行，如果说臣不被金人喜欢而不应该做宰相则不行！”李纲说完，向赵构力请辞职。