他出身于东晋大士族，因他袭封康乐公的爵位，世人称他“谢康乐”。他身为公侯，却并无实权，被派往永嘉任太守。谢灵运自叹怀才不遇，常常丢下公务不管，却去游山玩水。后来，他辞官移居会稽，常常与友人酗酒作乐。当地太守派人劝他节制一些，却被他怒斥了一顿。可是，谢灵运写的山水诗，却深受人们的喜爱。他每写出一首新诗，立刻就会被人争相抄录，很快流传开去。
宋文帝接位后，将他召回京城做官，把他的诗作和书法赞为“两宝”。谢灵运更加骄傲了，他说：“天下才有一石，曹子建独占八斗，我得一斗，天下共分一斗。”
成语“才高八斗”由此而来，形容人的文才极高。