古代帝王与南岳始于祭祀。早在轩辕黄帝时代，南岳衡山就已被列为华夏四岳之一（当时尚无“五岳”之称）而受到人们的崇拜。随后，唐虞舜都到过南岳巡疆狩猎，祭祀山神。夏禹治洪水经过衡山，也曾杀白马祭告天地，求取治水之法。到了商、周时期，自然神被人格化了，祭祀也被列入国家严格的政治制度。约在此时，曾在榆罔手下任火官、黄帝手下任司徒而治理南方的祝融氏，也就被尊奉为南岳衡山之神。周朝时且已在山顶建祝融庙，山下建明堂，作为举行祭祀之所。战国时期，山属楚地，亦间有例行的祭祀活动举行。

唐开元十三年，玄宗封南岳神为南岳真君，故庙名又改为“南岳真君祠”。天宝五年，封南岳神为司天王，“司天霍王庙”其名始观。宋大中祥符四年，真宗诏封南岳神为南岳司天昭圣帝，同年底封神夫人为景明皇后，并敕建后殿，于是岳神庙乃直书之曰“南岳庙”，其形制亦“取则帝居”。元至元二十八年，世祖加封南岳神为南岳司天大化昭圣帝。据史载，自唐至清，朝廷遣官致祭南岳的次数分别是：唐8次，宋22次，元17次，明33次，清44次。为与已有帝王爵号的南岳之神相对称，历代王朝还不惜耗费巨资，鸠工耗材，对岳神之祠一而再地进行修建。据查考，自唐迄清，南岳庙曾5次毁于火，又经过去次重建和16次的修缮与扩建，几乎无一次不是由皇帝亲自下诏或批准督抚之奏而办理的。清康熙年间的那次重修竣工时，康熙帝还亲笔撰写了碑文以记其事，并御书“光辅紫宸”、“永峙南维”二匾额悬于大庙正殿门上。康熙之后的雍正、乾隆、嘉庆、同治、光绪有5位皇帝也都向南岳庙颁赐了匾额。到清光绪八年的一次重修后，已形成一座占地九万八千五百平方米，拥有四重院落、九进房屋，红墙外两翼还有八观八寺的规模宏大的古建筑群，被称为“江南第一大庙”。

整个建筑物既扬北方宫殿之雄，又有南方园林之秀，飞檐翘角，雕梁画栋，金碧辉煌，布局严谨，充分展示了古代工匠们的聪明才智与高超技艺。棂星门外御街南端有石制牌坊一座，正中坊额上刻的“天下南岳”四个大字，乃宋徽宗当年手书。字虽四个，却给了南岳以至高无上的地位。同时，徽宗还在南岳留下了“寿岳”石刻，充分肯定了南岳的寿文化地位。由于历代皇帝与官府的崇信和推崇，“南岳圣帝”的名望日高，更吸引了众多黎民百姓前来烧香朝拜，历千年百载而长盛不衰。