魏了翁在朝时，由于史弥远等奸臣当道，提出的利国利民主张得不到采用，多遭排挤。为了宏扬理学，他抄录大量皇家经书，两次回蒲江从事作育人才的书院教育，四方学生纷至沓来，学有成就者众，了翁的教育方法在全国出了名，引起皇帝重视。了翁去世后，理宗下诏追封他为太师，谥文靖，累赠秦国公。后人为了纪念他，在此地建一文靖楼，了翁的弟子以及后来的文人学士常来这里吟诗作赋，宏论天下大事。缅怀老先生。今天新建的文靖楼，富丽堂皇，它与象山书院毗连，占地650多平方米，山青水秀，空气清新，成了游人登高望远发思之幽情，陶冶情操的好地方。
魏了翁办学的故事，在这里流传甚广：有天他把鹤山书院的学生引到这里吟诗对句，魏了翁说：“今天，我以严将军骑象飞升为题，出个下联给你们对：‘象相祥自地升’”。学生们想了很久，对不上来。其中有个叫王万里的学生突然想起他曾梦见观音菩萨来到人间遍撒甘露，再连想到蝙蝠的蝠与佛、福同音，于是对道：“蝠佛福从天降”。魏了翁高兴地说：“对得好，孺子鹏程万里啊”！
那年秋天，成都进行府试，只录取十名举人。魏了翁的学生去了十几个参考，就中了八人，其中王万里得了第一名。
楼中所挂藏对联、诗词以及关于“二魏三高”的生平介绍等文史资料，是研究魏了翁理学思想和教育思想的宝贵材料。
文靖楼
