文庙坐落在老城的文盛街中段，占地约4027平方米。自大门开始，现存有主体建筑大成殿、藏经阁、崇圣祠、明伦堂、东西庑、戟门、各宦祠、乡贤祠等，内供孔子、曾子等神位，收藏各类出土文物。每逢春节、大考前后，霍山文庙都人头攒动，热闹非凡。
大成殿又名圣殿，面阔五间，进深三间，殿高8米左右，是文庙的核心建筑。大殿前后檐各有6根檐柱，殿内除中柱外还有多根金柱。梁长四步，为五架梁结构。梁架中的叉手、托脚被取消，纵向的联系构件较少，襻间、串等也被统一成檩、垫、枋三位一体的标准作法（即"一檩三件"）。大成殿屋顶为重檐歇山顶，没有斗拱。屋檐转角翘起，翼角皆有装饰物。与各殿一样，大成殿也为红墙、黑瓦，典雅庄重，又因其建筑宏大而更显庄严气派。
霍山文庙前称圣庙， 也称圣宫、孔庙、夫子庙，始建于明弘治五年（公元1492年），后明清两朝多次被毁。1988年，经安徽省人民政府批准为省级重点文物保护单位。2012年与南岳山景区打捆申报，成功创建国家AAAA级旅游景区。
戟门前有泮池，也名跃龙池；池上建有石拱桥，名状元桥；池前为宫墙。据说科举中魁者，应披红挂彩，过状元桥，打开宫墙中门，跨马游街，以示显耀乡里。泮池及状元桥于1967年1月被拆毁，后重建。
未免现存主体建筑大成殿，另有崇圣祠、明伦堂、东庑、西庑、藏经阁、戟门、名宦祠、乡贤祠等，均为小瓦、砖、石、木结构，是安徽省保存最完整的一座文庙。
文庙建筑以院落为单位，四周筑有2.5米高的围墙。院落内由主要建筑“正殿”和“侧殿”，以及“回廊”、“耳房”等附属建筑物组成。
春节文化演出、书法展览、拜谒孔子，多种多样的文化活动逐渐在霍山文庙举办，推动了传统文化的发展。
殿正中供奉孔子塑像，康熙二十三年(1684年)御题的“万世师表”匾额，高悬在灵龛上首。
孔子两侧分塑“复圣颜子”、“宗圣曾子”、“述圣子思子”、“亚圣孟子”等神位。
大成殿今辟为对外开放的文物陈列室，收藏有大量当地出入的历史文物。
