再说司马光自罢官后，戴着一个端明殿学士的头衔，两耳不闻窗外事，闲居洛阳，潜心编撰《资治通鉴》。公元1084年十二月，《资治通鉴》修撰完毕，朝廷授司马光为资政殿学士。
司马光一边隐居一边修书，在洛阳长达十五年，反而为他在民间赢得了巨大的名声，世人认为司马光是真宰相，田夫、野老都称他为“司马相公”，连妇人、小孩也知道他的字为“君实”。
神宗驾崩，司马光入朝哭临，京都卫士远远望见，以手抚额道：“司马相公回来了！”
司马光所到之处，老百姓聚集拦住道路大呼道：“司马相公不要回洛阳了，留下来做天子的宰相啊！”道路拥塞，导致司马光的马都不能进发，司马光心里感到害怕，急忙返回洛阳。
太皇太后高氏听说这事之后，派内侍梁惟简到洛阳慰问司马光，并征询司马光当务之急的治国方略。
司马光上疏洋洋洒洒几千言，中心思想就是“放开言路，虚心纳谏！”高氏认为有道理。五月，朝廷下诏，让百官进言朝政得失。
朝中有大臣不高兴了，在诏书中设置了六个进言的门槛：“一，进言发泄不满；二，超越职权范围；三，擅自议论机密的军国大事；四，迎合已经施行的法令；五，对上观望朝廷意图想侥幸升官；六，对下迷惑世俗沽名钓誉，出现上述六种情况，一定要处罚不宽恕！”
太皇太后又将这份意见命人拿给司马光看，司马光道：“这哪里是征求谏言，这是分明是拒绝谏言啊！人臣要么不进言，一说话怎么会脱离这六件事范围？”
太府少卿宋彭年、工部员外郎王谔率先响应诏书，上书言事，有大臣要拿他们两个杀鸡儆猴，说他们上言不是本职工作，罚铜三十斤。司马光上疏详细驳斥这种观点，朝廷依司马光意见，重新颁布诏书，不久上书言事的近达千人。
五月初，朝廷下诏，起复司马光为知陈州（河南淮阳），司马光即从洛阳启程进开封拜见哲宗皇帝和太皇太后。