在徽州文化的浓郁氛围里,艰难创业的西递人最崇尚的还是读书。西递履福堂有一幅楹联说出了他们的心里话:“几百年人家无非积善,第一等好事只是读书。”徽商注重在家乡对于教育的投资,建义学,修私塾,对族内弟子进行培养,桃李园就是其中的一处。桃李园是清朝咸丰年间秀才胡允明所建,分为前、中、后三进,可以作为三个不同层次学生的学习场所。
桃李园建于清朝咸丰四年(1854年),前厅北向三间,木雕楼裙嵌着“福、禄、寿、喜”四个大字,别致风雅。中厅较为窄小,通向后厅又有一道堂墙,为了确保中厅明亮采光和通气,除了开有天井外,中厅楼上置一木拱相围的“楼上井”,这一独特的设计在徽派古民居建筑中都很少见。中厅通向后厅的堂墙门洞上,石刻有清初书法家黟县人汪士道题写的“桃花源里人家”。后厅两侧板壁上各装有六块木雕屏门,漆雕欧阳修撰写的《醉翁亭记》,书法苍劲有力,挥洒自如。