鎮海樓舊名朝天門，吳越王錢氏建。規石為門，上架危樓。樓基壘石高四丈四尺，東西五十六步，南北半之。左右石級登樓，樓連基高十有一丈。元至正中，改拱北樓。明洪武八年，更名來遠樓，後以字畫不祥，乃更名鎮海。火於成化十年，再造於嘉靖三十五年，是年九月又火，總制胡宗憲重建。樓成，進幕士徐渭曰：“是當記，子為我草。”草就以進，公賞之，曰：“聞子久僑矣。”趨召掌計，廩銀之兩百二十為秀才廬。渭謝侈不敢。公曰：“我愧晉公，子於是文，乃遂能愧?，倘用福先寺事數字以責我酬，我其薄矣，何侈為！”

渭感公語，乃拜賜持歸。盡橐中賣文物如公數，買城東南地十畝，有屋二十有二間，小池二，以魚以荷；木之類，果木材三種，凡數十株；長籬亘畝，護以枸杞，外有竹數十個，筍迸雲。客至，網魚燒筍，佐以落果，醉而詠歌。始屋陳而無次，稍序新之，遂領其堂曰“酬字”。

徐渭《鎮海樓記》：

鎮海樓相傳為吳越錢氏所建，用以朝望汴京，表臣服之意。其基址、樓台、門戶、欄?，極高廣壯麗，具載別志中。

樓在錢氏時，名朝天門。元至正中，更名拱北樓。皇明洪武八年，更名來遠。時有術者病其名之書畫不祥，後果驗，乃更今名。火於成化十年，再建於嘉靖三十五年，九月又火。予奉命總督直浙閩軍務，開府於杭，而方移師治寇，駐嘉興，比歸，始與某官某等謀復之。人有以不急病者。予曰：“鎮海樓建當府城之中，跨通衢，截吳山麓，其四面有名山大海、江湖潮汐之勝，一望蒼茫，可數百里。民廬舍百萬戶，其間村市官私之景，不可億計，而可以指顧得者，惟此樓為傑特之觀。至於島嶼浩渺，亦宛在吾掌股間。高翥長騫，有俯壓百蠻氣。而東夷之以貢獻過此者，亦往往瞻拜低回而始去。故四方來者，無不趨仰以為觀游的。如此者累數百年，而一旦廢之，使民若失所歸，非所以昭太平、悅遠邇。非特如此已也，其所貯鐘鼓刻漏之具，四時氣候之榜，令民知昏曉，時作息，寒暑啟閉，桑麻種植漁佃，諸如此類，是居者之指南也。而一旦廢之，使民懵然迷所往，非所以示節序，全利用。

且人傳錢氏以臣服宋而建，此事昭著已久。至方國珍時，求緩死於我高皇，猶知借Α事以請。誠使今海上群醜而亦得知錢氏事，其祈款如珍之初詞，則有補於臣道不細，顧可使其跡湮沒而不章耶？予職清海徼，視今日務，莫有急於此者。公等第營之，毋浚征於民，而務先以己。”於是予與某官某等，捐於公者計銀凡若干，募於民者若干。遂集工材，始事於某年月日。計所構，?石為門，上架樓，樓基壘石，高若干丈尺。東西若干步，南北半之。左右級曲而達於樓，樓之高又若干丈。凡七楹，礎百。巨鍾一，鼓大小九，時序榜各有差，貯其中，悉如成化時制。蓋歷幾年月而成。始樓未成時，劇寇滿海上，予移師往討，日不暇至。於今五年，寇劇者禽，來者遁，居者懾不敢來，海始晏然，而樓適成，故從其舊名“鎮海”。

張岱《鎮海樓》詩：

錢氏稱臣歷數傳，危樓突兀署朝天。

越山吳地方隅盡，大海長江指顧連。

使到百蠻皆禮拜，潮來九折自盤鏇。

成嘉到此經三火，皆值王師靖海年。

都護當年築廢樓，文長作記此中游。

適逢困鱷來投轄，正值飢鷹自下鞲。

嚴武題詩屬杜甫，曹瞞拆字忌楊修。

而今縱有青藤筆，更討何人數字酬！