劉裕出身於，庶族地主家庭。曾祖劉混作過京口縣令，父親劉翹為郡功曹，大約相當於今天的省委秘書長、辦公室主任等等類似。劉裕自幼喪母，父親又早死，祖業敗落，家境貧寒，年輕時代依靠樵漁、躬耕養家糊口，艱難度日，倍嘗人間辛酸。劉裕曾因賭博欠債無力償還，被京口士族肆意鞭打。