军山相传曾为秦王屯兵之地,因形似伏象,又名象山。俯瞰军山,山水相依自然构成一幅八卦图。明代山西高僧法空驻锡军山,创建普陀禅院,狼山总兵题榜出门,著名书法家董其昌撰写了《军山普陀别院碑记》,认为于浙江普陀山相比“不减珞珈真境”。寺庙、宴堂曾多达百余处,为昔日东南佛门胜地。山上古迹有:燕真人洞、白云泉、四贤祠、包公祠、董其昌碑刻及中国历史上较早的民办气象台等。
浙江普陀山是观音菩萨的道场。军山,正是观音菩萨在南通的道场。军山山顶上,在明代崇祯三年(公元1630年)建成了普陀别院,主要供奉观音菩萨、普贤菩萨和文殊菩萨,已有将近400年历史;2002年,毁坏多年的普陀别院得到重建,并请来了一尊世所罕见的翡翠观音座像作为镇山之宝。凡到军山的信众,大慈大悲的观音菩萨都会用杨柳枝蘸净瓶水洒向他们,表示热烈欢迎。