碧云寺始建于元至顺二年，相传为耶律楚材后裔耶律阿勒弥舍宅开山而建，始称碧云庵。

明正德年间御马监太监于经曾在寺后营建生圹，对寺进行扩建，并改碧云庵为碧云寺，后魏忠贤亦在此营建生圹，重修碧云寺，但二人均获罪未能葬于此地。

至清乾隆年间，又对寺进行大规模修建，除对原有殿宇重加修葺外，复于乾隆十三年，按西僧所贡奉的图样建金刚宝座塔，还新建行宫和罗汉堂。

此次修葺对寺原有建筑改动不大，寺之殿宇仍因明之遗构。

碧云寺位于北京海淀区香山公园北侧，西山余脉聚宝山东麓，是一组布局紧凑、保存完好的园林式寺庙。

寺院坐西朝东，依山势而建造。

整个寺院布置，以排列在六进院落为主体，南北各配一组院落，院落采用各自封闭建筑手法，层层殿堂依山叠起，三百多级阶梯式地势而形成的特殊布局。

因寺院依山势逐渐高起，为不使总体布局景露无遗，故而采用迥旋串连引人入胜的建造形式。