金阁寺距五台山中心台怀镇十五公里,位于五台山南台和中台交接处。除了建于五台之上的寺庙外,金阁寺是海拔最高的一座寺庙。该寺占地面积约二万一千平方米,有殿堂僧舍约一百六十间。全寺的建筑布局分为前、后两院,其间以石洞相通。前院的主要建筑是观音殿,后院的主要建筑是大雄宝殿。观音殿面阔五间,为二层。殿内供奉着一尊高十七点七米的千手观音像。这尊菩萨像内为铜铸,外敷一层薄泥,再贴金,神态慈祥。用这种手法制作的如此巨大的观音菩萨像,这不仅在五台山是独一无二的,就是在全国也是少有的。大雄宝殿正中供奉着释释迦牟佛,其左右分别供着药师佛和弥陀佛,两厢为十八罗汉的塑像。
在前院和后院中间有一排二层房屋。下层十九间为石券窑洞,位于中间的一洞是前后两院的通道,其余的窑洞是众僧们的住所;上层的十九间是木结构房屋,为毗卢殿、地藏王殿、药王殿、五百罗汉殿、送子观音殿等。
金阁寺始建于唐朝。关于它的初建和命名还有一段美丽的传说。相传,唐玄宗开元二十四年(公元 736年),有一位法号叫道义的高僧到五台山礼佛,当走到南台与平台交接处时,大风突起,道义和尚便就地而跪、叩头诵经、求佛保佑。过了一会儿,有一个小童来到道义和尚面前,说师父有请。于是道义和尚随童子一道去拜见长老。当跨入长老所在的寺院时,眼前一片辉煌,殿堂、墙壁全为金色。长老所赐茶水异香扑鼻。茶后,童子领道义和尚参观寺庙,道义和尚被寺内的各种景色迷住了,陶醉了;待他定神再寻时,童子、长老、寺院及刚才眼前的一切美丽景象都没有了,只是那金碧辉煌的殿宇形象还深深地印在脑海中。随后,道义和尚将脑海中寺庙的形象描绘下来,献给唐玄宗。唐代宗大历五年(公元770年),当时的皇帝李豫下诏,旨令从印度来的三藏法师不空,按照道义和尚所留下的图纸在五台山修建了一座寺庙。因寺庙的殿堂屋顶全铺鎏金铜瓦,因此寺庙就取名为金阁寺。