牛牢，字君直。世祖為布衣時，與牢交遊，嘗夜共講說讖言，云：劉秀當為天子。世祖曰：“安知非我。萬一果然，各言爾志。”牢獨默然。世祖問之，牢曰：“丈夫立義，不與帝友。”眾大笑。及世祖即位，征牢，稱疾不至。詔曰：“朕幼交牛君，真清高士也。”恆有疾，州郡之官常先到家致意焉，刺史、郡守是以每輒奉詔就家存問。牢恆被稱疾，不答詔命。