’在‘破四旧’的口号下，对岳飞庙各项设施进行了严重破坏。岳飞及其他塑像被拉倒；施全铜像被送到工厂熔化；秦桧等5具铁跪像也被送去熔炼；所有匾额、楹联被摘掉；古建筑上的琉璃构件被毁；碑碣大部分被推翻，有的被砸毁。某‘造反司令部’驻进岳飞庙。1969年，县文化馆、展览馆迁入岳飞庙。为减少岳飞庙的文物损失，工作人员把零散的碑刻埋藏在地下，将正殿前数通高大的碑刻和乾隆御碑用砖砌成墙，抹光墙面，写上毛**诗词和‘革命标语’。正殿、寝殿分别办成‘雷锋事迹展览’和‘农业展览’。孝峨祠改为‘图书馆’，三代祠、岳云祠、四子祠、岳珂祠、张宪祠改作办公室或者职工住室，正殿院两厢房办成‘阶级教育展览室’，仿照四川刘文彩收租院的形式泥塑人物104个。岳飞庙至此变得面目全非。”（《岳飞庙志》）
1979年开始翻新重建，又因为渗入了旅游参观门票受益诸因素，规模与建制包括承建的动机，没有超过明清两朝。历史是醒世的，但以实用的态度对待历史，醒世的功能就被打了折扣。