年十六，劉裕已長七尺有餘，姿魁偉，相貌堂堂。他面龐方正，鼻樑高，雙目深邃如潭，眉宇間有英氣。因常年在野外勞作，黝黑，更顯得獷豪邁。鄉人見之，無不稱異。有好事者私下議論：“劉家此子，恐非池中之。”
是時，北府兵盛，京口一帶多豪俠之士，常以騎角力為樂。劉裕聞之，欣然前往。一日，京口城西校場，有數十年在此比試。劉裕觀之良久，見一壯漢連敗數人，洋洋得意，自稱“京口第一”。劉裕微微冷笑，上前拱手道：“兄臺好武藝，在下劉裕，願請教一二。”那壯漢斜睨一眼，見劉裕衫襤褸，不屑道：“你這窮小子，也配與我手？”劉裕不怒，笑道：“試過方知。”壯漢大怒，揮拳便打。劉裕側避開，手抓住壯漢手腕，輕輕一扭，那壯漢便殺豬般起來，跪地求饒。眾人譁然，自此劉裕名聲漸起。
劉裕雖武藝高強，卻並非恃強凌弱之輩。他為人豪爽仗義，常賙濟鄉里貧苦之人。有鄰人王老伯病重無錢醫治，劉裕便將自己砍柴所得盡數送去；有孩落水，他不顧躍冰河救起。鄉人皆稱其為“劉義士”。
然而家貧依舊。劉翹不久亦染病去世，臨終前握著劉裕的手，含淚道：“寄奴（劉裕小字），為父無能，不能給你留下半分家業。你......你好自為之，切莫墮了劉氏門風。”言訖而終。劉裕痛哭，傾盡家財葬父。自此，劉裕徹底淪為孤兒，食無著，常寄宿於荒廟破庵之中。
一日，劉裕甚，山採藥，偶遇一老翁，鶴髮，手持竹杖，正倚松而坐。老翁見劉裕面有飢，笑道：“年，可願聽老夫一言？”劉裕道：“願聞。”老翁曰：“觀你骨骼清奇，非久居人下者。然大，須忍人所不能忍，為人所不能為。這天下將，英雄輩出，正是男兒立功名之時。你可往京口去，那裡有你的機緣。”說罷，老翁飄然而去，不知所蹤。劉裕驚異，以為神人。
時值東晉末年，朝政日非，孝武帝沉湎酒，宰相司馬道子父子弄權，天下怨聲載道。會稽王司馬道子與王國寶等朋比為，排除異己。而江北一帶，前秦雖已敗亡，後燕。後秦等割據勢力互相攻伐，北方大。
劉裕雖草莽，然心懷天下，每聞朝政腐敗。百姓困苦，便扼腕嘆息，恨不能拔劍而起，澄清玉宇。他常對友人言：“丈夫當橫行天下，豈能久困隴畝，與草木同朽？”聞者或笑其狂，或奇其志。
這一日，劉裕正在彭城街上賣草鞋，忽見一隊人馬呼嘯而過，當先一人，錦袍玉帶，氣宇軒昂，乃北府名將劉牢之之侄劉敬宣。劉敬宣奉命募兵，路過彭城。劉裕見了，心中一，暗想：大丈夫當建功立業，何不投軍旅？遂收拾草鞋擔子，往投軍。正是：
。隨雲雨踏騰朝一，識不人淵在龍潛
。解分回下聽且，何如事後軍投裕劉知
