五代以来，政府的教育和藏书机构主要是“三馆”，即“昭文馆”、“集贤院”、“史馆”，位置在皇宫右长庆门东北角，当时只有几十间小屋，而且简陋不堪。三馆的名称很高端光鲜，可外表确实上不得台面。赵匡胤上位，方方面面事情太多，一时也来不及打理。
赵光义即位后第二年，亲自到“三馆”视察，看到这番寒酸景象，连连摇头，对近臣道：“这哪里是贮藏天下图书的场所，能够对得起国家贤良俊士吗？”
赵光义唏嘘一番后，当即下诏为“三馆”挑选新的馆址，命亲信宦官督促工匠，日夜监造，“三馆”的殿阁，都是赵光义亲自规划审视的，其雄伟壮观程度，可以和皇宫的主要殿堂媲美。
皇帝亲自出面，事情就好办多了，工程建造速度很快！一年后即公元978年，工程竣工，赵光义又御赐名为“崇文馆”，“崇文”两字，充分体现了赵光义对文化教育的重视程度。
崇文院落成后，赵光义将“三馆”的图书全部搬移至此，并分门别类地整理收藏。
此外，赵光义还十分注意搜求民间图书，多次下诏收购海内孤本、善本。并规定了对献书者的奖励办法。赵光义道：“教化的根本，治乱的源头，都在书籍之中，如果没有书籍传承，后世怎么取法学习？”