当时赵光义屡次对他示好招揽，但宋琪都不为所动，这让赵光义是不胜其烦。赵普一度失势后，宋琪也立马被贬黜出京，到了阆州（治今四川阆中）任知州，直到赵普回来任了赵光义的宰相之后，宋琪才又被召回朝廷。
对于宋琪这个老熟人，赵光义知道他能干、好用，但终归不是自己人，所以不能信任。
彼时的小老头宋琪堪称北宋最惨打工人。早上教皇子们《论语》，中午处理黄河水患，晚上还要写万字思想汇报自证清白。赵光义时不时搞突击检查："听说你昨天去了趟赵普旧宅？"吓得老宋当场背诵《忠君爱国十八诫》。
最绝的是某次廷议：
赵光义："爱卿觉得朕与太祖孰强？"
宋琪（冷汗直流）："陛下文韬武略，太祖...太祖比较会骑马。"
赵光义略略点头（面无表情）："可！"
再说李昉，八个字就可以概括他，“才能平庸，擅长投机”。李昉的出身那可是正儿八经的京都豪门，父亲李超、伯父李沼以及祖父都曾在朝廷中担任高官。早年李昉以恩荫入仕，北宋建立后，他担任过中书舍人和知衡州。
在宋太祖时期，这种纯靠投机的人是不讨巧的。他被皇帝处罚过两次，第一次是他偷偷违规任用自己亲戚当京畿县令，被太祖皇帝知道后把他赶出了朝堂，贬任官阶八品的彰武军（今陕西西安市）行军司马。
后来到了北宋开宝元年(968年)，经赵光义保举，李昉又回到京城负责主持当年的科举，结果就爆发了“徐士廉控告李昉案”。该案起因于落第举子徐士廉敲响登闻鼓，状告主考官李昉舞弊，宋太祖立即会见当年新中进士，发现有两人一问三不知，“材质最陋、对问失次”，宋太祖大怒，下令严查，但最终证据不足，李昉只是被贬作了太常少卿。
作为世代高官、在开封府盘踞多年的地头蛇家族，李家和做过开封府尹的赵光义关系匪浅，李昉也很早就投效了赵光义。赵光义即位后，不久就升李昉为户部侍郎，并且在太平兴国四年（979年）北伐的时候让他伴驾出征。
要说这李昉也是运气好，高梁河之战不仅没死，还一直陪在赵光义身边，这就算共同患过难，也培养出感情了。宋军班师，李昉因劳苦升任工部尚书兼翰林学士承旨。