原名宝晋斋，位于无为县城内，为北宋著名书画家米芾知无为军时所建。米芾（１０５１－１１０７年）字元章，祖籍由山西太原迁居湖北襄阳，人称“米襄阳”。北宋崇宁三年至大观元年（１１０４－１１０７年），米芾知军无为。他为官清廉，勤政爱民，时人感其德政，在他离任去世后，于米公军邸的旧址上建米公祠以示纪念。

米芾崇尚晋人书法，“宝晋斋”是他得到晋王羲之《王略帖》、谢安《八月五日帖》、王献之《十二日帖》墨迹后自题的书斋名。时值北宋崇宁三年（１１０４年），他将３种法帖摹刻上石，并于“宝晋斋”前掘池建亭，即墨池、投砚亭。他公余之暇在此读书挥毫，还在公署西侧立一形如老翁之石，每天抱笏揖拜，时人以为怪癖，故称此石为“拜石”。

原斋毁于兵火，后多次重建，光绪丁丑知县王峻，建米公祠３楹，门居中，于池之左右盖耳房３间，环池循势垒假山，并搜集米公遗刻“墨池”、“画菜”２碑和其它石刻入祠内。

米芾当年所藏碑刻早已毁失。现米公祠内收藏的晋唐以下历代名家碑刻１５０余方，主要是清朝末期任江苏按察使的刘秉璋携带至无为。建国前碑刻散置于其在无城的私宅中，１９５０年，全部移入米公祠，妥善保存。米公祠碑帖刻石十分珍贵，大多出自名家之手，且内容翔实，主要纪述了历代维修情况和经过，是考察米公祠兴衰的宝贵资料，近年来，无为县文物管理所对碑刻进行整理编撰，第一卷“宝晋斋碑帖选”，已由安徽美术出版社出版发行，其它各卷也在着手准备陆续出版。

米公祠是全省重点文保护单位，它以丰富的历史文化内涵享誉国内外，尤其在东南亚、日本等国较有影响，每年吸引众多的游客前来寻访，目前有关部门准备对其修复扩建，以充分利用米公祠独有的人文价值，丰富城市的文化内涵。