飛來峰，稜層剔透，嵌空玲瓏，是米顛袖中一塊奇石。使有石癖者見之，必具袍笏下拜，不敢以稱謂簡褻，只以石丈呼之也。深恨楊髡，遍體俱鑿佛像，羅漢世尊，櫛比皆是，如西子以花艷之膚，瑩白之體，刺作台池鳥獸，乃以黔墨塗之也。奇格天成，妄遭錐鑿，思之骨痛。翻恨其不匿影西方，輕出靈鷲，受人戮辱；亦猶士君子生不逢時，不束身隱遁，以才華傑出，反受摧殘，郭璞、禰衡並受此慘矣。慧理一嘆，謂其何事飛來，蓋痛之也，亦惜之也。且楊髡沿溪所刻羅漢，皆貌己像，騎獅騎象，侍女皆裸體獻花，不一而足。田公汝成錐碎其一；余少年讀書岣嶁，亦碎其一。聞楊髡當日住德藏寺，專發古冢，喜與殭屍淫媾。知寺後有來提舉夫人與陸左丞化女，皆以色夭，用水銀灌殮。楊命發其冢。有僧真諦者，性呆戇，為寺中樵汲，聞之大怒，?梟呼詬誶。主僧懼禍，鎖禁之。及五鼓，楊髡起，趣眾發掘，真諦逾垣而出，抽韋馱木杵，奮擊楊髡，裂其腦蓋。從人救護，無不被傷。但見真諦於眾中跳躍，每逾尋丈，若隼撇虎騰，飛捷非人力可到。一時燈炬皆滅，?鋤畚插都被毀壞。楊髡大懼，謂是韋馱顯聖，不敢往發，率眾遽去，亦不敢問。此僧也，洵為山靈吐氣。

袁宏道《飛來峰小記》：

湖上諸峰，當以飛來為第一。峰石逾數十丈，而蒼翠玉立。渴虎奔猊，不足為其怒也；神呼鬼立，不足為其怪也；秋水暮煙，不足為其色也；顛書吳畫，不足為其變幻詰曲也。石上多異木，不假土壤，根生石外。前後大小洞四五，窈窕通明，溜乳作花，若刻若鏤。壁間佛像，皆楊禿所為，如美人面上瘢痕，奇醜可厭。余前後登飛來者五：初次與黃道元、方子公同登，單衫短後，直窮蓮花峰頂。每遇一石，無不發狂大叫。次與王聞溪同登；次為陶石簣、周海寧；次為王靜虛、陶石簣兄弟；次為魯休寧。每游一次，輒思作一詩，卒不可得。

又《戲題飛來峰》詩：

試問飛來峰，未飛在何處。人世多少塵，何事飛不去。

高古而鮮妍，楊、班不能賦。

白玉簇其顛，青蓮借其色。惟有虛空心，一片描不得。

平生梅道人，丹青如不識。

張岱《飛來峰》詩：

石原無此理，變幻自成形。天巧疑經鑿，神功不受型。

搜空或洚水，開闢必雷霆。應悔輕飛至，無端遭巨靈。

石意猶思動，夔尼勢若撐。鬼工穿曲折，兒戲斫瓏玲。

深入營三窟，蠻開倩五丁。飛來或飛去，防爾為身輕。