1104年），他将3种法帖摹刻上石，并于“宝晋斋”前掘池建亭，即墨池、投砚亭。他公余之暇在此读书挥毫，还在公署西侧立一形如老翁之石，每天抱笏揖拜，时人以为怪癖，故称此石为“拜石”。原斋毁于兵火，后多次重建，光绪丁丑知县王峻，建米公祠３楹，门居中，于池之左右盖耳房３间，环池循势垒假山，并搜集米公遗刻“墨池”、“画菜”２碑和其它石刻入祠内。
现在，米公祠所藏碑刻较前为多，主要是晋唐以下历代名家书刻，计一百四十多方，出自五十余位书家之手。有徐楷、钟绍京、苏轼、米芾、黄庭坚、蔡襄、赵佶、赵孟兆页、唐寅、祝允明、文征明、沈周、王守仁、王士祯、文天祥、梁同书、成亲王等人的法帖。行、草、篆、楷各种书体无不具备，各种流派争妍斗艳，各种风格，尽呈异彩，令人敬羡不已。
米公祠作为全省重点文保护单位，它以丰富的历史文化内涵享誉国内外，尤其在东南亚、日本等国较有影响，每年吸引众多的游客前来寻访。