牛渚，名缘西南有一洞，深不可测。民间传说，古时此洞出金牛。因名牛渚矶。矶，意为大石激水，亦指突出水岸之岩石并石滩。二意相合，可窥险绝。此处向为大江战略要地，为长江三大矶头之一。形势险要，兵家必争。东晋永和年间，镇西将军谢尚于此采石筑牛渚城，始称采石矶。

李太白后有名句《姑孰十咏·牛渚矶》：“绝壁临巨川，连峰势相向；乱石流洑间，回波自成浪；但惊群木秀，莫测精灵状；更听猿夜啼，忧心醉