很久以前，祖始爷云游四海寻找道场，后在父城（今平顶山宝丰县）找到风水宝地，他站在山巅，暗自喜欢，决定在这边道场，修寺庙，安排后准备材料去了，但当地土著妙善公主（即千手观音）离开白雀寺（今在父城东）云游至此，拨出宝剑，埋下自己的鞋子，静等太上老君回来，二人争执此地好久后，太上老君不再予执，放弃而去。

后妙善公主父王资助，在此建起了寺院，即香山寺。这些均为传说，而全国各地此类庙寺较多，哪真哪假无从考证。