靈芝寺，錢武肅王之故苑也。地產靈芝，舍以為寺。至宋而規制浸宏，高、孝兩朝四臨幸焉。內有浮碧軒、依光堂，為新進士題名之所。元末毀，明永樂初僧竺源再造，萬曆二十二年重修。余幼時至其中看牡丹，乾高丈余，而花蕊爛熳，開至數千餘朵，湖中夸為盛事。寺畔有顯應觀，高宗以祀崔府君也。崔名子玉，唐貞觀間為磁州鑒陽令，有異政，民生祠之，既卒，為神。高宗為康王時，避金兵，走鉅鹿，馬斃，冒雨獨行，路值三岐，莫知所往。忽有白馬在道，?馭乘之，馳至崔祠，馬忽不見。但見祠馬赭汗如雨，遂避宿祠中。夢神以杖擊地，促其行。趨出門，馬復在戶，乘至斜橋，會耿仲南來迎，策馬過澗，見水即化。視之，乃崔府君祠中泥馬也。及即位，立祠報德，累朝崇奉異常。六月六日是其生辰，遊人闐塞。

張岱《靈芝寺》詩：

項羽曾悲騅不逝，活馬猶然如泥塑。

焉有泥馬去如飛，等閒直至黃河渡。

一堆龍骨蛻?前，迢遞芒碭迷雲路。

煢煢一介走亡人，身陷柏人脫然過。

建炎尚是小朝廷，百靈亦復加呵護。