衡阳县历史悠久,山川秀丽,名胜古迹亦颇多. 岣嵝峰为南岳七十二峰之一, 相传大禹治水曾登此山. 山上建有禹王庙,禹王祠,禹王碑,尤以禹王碑名闻遐迩. 该碑立在螺祖峰后,高七尺,宽五尺, 上有77字,皆蝌蝌文.山上古木参天,修竹遍野,气温宜人, 是蔽暑胜地.
曲兰乡是明末清初唯物主义思想家王船山隐居的地方, 现存的湘西草堂, 是他晚年著书立说之处: "石船", "枫马"为其早年慷慨悲歌之所. 大罗山上建有船山墓庐,现已修葺一新, 为省重点保护文物.
座落在杉桥乡镇内的伊山, 是东晋政治家桓伊幼时读书习武和老来隐退之所.他与谢玄大破秦军于淝水.后人在此建寺, 规模宏大, 内有宋徽宗亲书的扁额,有读书台,弄笛楼,翠颍阁等古迹.
武水河畔的城坪冲口,有西汉钟武县故城址;渣江和西渡町有重安县故城址;县城内有革命先烈夏明翰的巨型塑像.