可想而知的是，以這個年的家境條件他是不可能上得起學的，更是不可能到書院裡去深造的，他只能是自學才，而他年時期經常去的地方就是城南的龍門山一帶的各寺廟或禪院。這不是說他在年之時就開始醉心於佛學，而是在這些地方他一方面可以在一個相對安靜的環境裡看書，另一方面說來就比較令人心酸了——因為這裡會為窮人提供免費的米粥和饅頭。還有更令人心酸的，此年長年累月地蹭飯也就讓他在一些和尚那裡混了個臉，後來連那些佛門弟子也開始不待見他。
關於此年在人生髮跡之前是如何的清苦有很多的民間傳說，其中有兩個最為後世之人所津津樂道。
其一就是他自己曾經寫過的一副春聯，上聯：二三四五，下聯：六七八九，橫批：南北。此對聯所寓意的就是——缺（一）食（十）以及沒有“東西”。
其二便是在他金榜題名之後，他有於各路遠親近鄰紛紛前來登門造訪便即興寫下了一對聯子，上聯：舊歲荒，柴米無依靠，走出十字街頭，賒不得，借不得，許多親外戚，袖手旁觀，無人雪中送炭，下聯：今科僥倖，吃穿有指，奪取五經魁首，姓亦揚，名亦揚，不論王五馬六，踵門慶賀，盡來錦上添花。
這兩幅聯子無一不是在述說其早年的苦寒，但很可惜的是這幾乎可以肯定是後世之人的杜撰。這兩副聯子明面上都是在訴苦，可骨子裡卻明顯有一怨氣甚至是戾氣，這與此人的心本就毫不相符。再者說，這雪中送炭和錦上添花更是經不起考究，前者是源於趙義在寒冬時節有於天寒地凍而命開封府的知府去給那些貧苦百姓送木炭取暖的典故，而後者則是出自於王安石的《即事》詩：嘉招覆杯中淥，麗唱仍添錦上花。
雖然是“偽作”，但這兩副聯子其實也從側面反映出了此人早年生活的清苦。一個正值青春年的人就是在如此窮困貧苦且飽世人冷眼的環境下一天天長大人，很難想象的是這個年在今後會為一個怎樣的人。換作某個別的正在極度在意自尊的年郎在領到寺廟的施捨後或許會躲在某個角落裡一邊啃著饅頭一邊淚流滿面地詛咒各路神靈大仙，而在晚上回到家後更是會頭懸樑錐刺地徹夜攻讀並暗自發誓一定要在未來的某天出人頭地，甚至有可能會因此而像東晉的權臣桓溫年輕時為報殺父之仇而整出一個“枕戈泣”的典故來。
不過，令人稱奇的是，這個年郎卻偏偏不是這樣，從他年時期開始一直到其晚年，他始終都是一個溫良寬厚且從不怨天尤人的道德君子。我不知道這其中的原因是他的天使然還是他的母親劉氏教子有方，抑或是他常年在寺院聽人誦經唸佛以至於此，但無論是這裡面哪一種都值得讓人稱貴，而這也讓我想起了曾經在一篇星象專題的末尾所看到的一句話：願你為盛開在沙漠裡的一朵豔的花。
接下來我們就來看一看此人的一首“真跡”，這是他早年苦讀時所作的一首詩，從這首詩裡我們才能夠對此人的真實心有所瞭解。這首詩名為《讀書龍門山土室作》：八灘風急浪花飛，手把漁竿傍釣磯。自是釣頭香餌別，此心終待得魚歸。
。如不愧自得覺會也公太姜的時輕年連許或這，為修生人和心等這有擁就歲年此如在卻遇境此如
。雲青步平上場在此從重和識賞的義趙得深而此因並魁奪舉一中考科的年一這在他而，了歲三十三經已時此郎年個那的初當，後之讀苦窗寒的年餘十了歷經在，年779元公
。正蒙呂——做字名的他，臣名代一的相宰任出度三位一又的後之普趙繼上史歷宋北是正郎元狀的考科次一第朝宗太位這，了候時的底謎開揭了到是在現，了好
？親父的門家出趕子母們你將初當位那的你待對何如會你麼那，正蒙呂的元狀中高時此是你果如：問請，題問個有裡這
。孝盡地倍加是親父對他是於，分本的子兒做個一到盡能未己自得覺而離分的年些這為因還而反，理心的復報是至甚恨記生產而舉的初當親父為因曾未毫正蒙呂且而，了整完得變又再是歸總卻家一這們他但，屋同不府同是仍芥的前從為因人二母父管儘，住同來中府到接親父的己自將是擇選的他？呢正蒙呂。聞耳所有是或到看眼親夠能就里會社實現的們我在事種這於至甚，奇為足不也點一實其這麼那，氣惡口出親母的己自給要想是或復報備準是果如
。安心以得親父讓夠能求以曲一瑟鼓親父為忙急他是於，來起責自始開而反參曾下一這，已不責自而衝的己自為壁隔在正親父見聽參曾後之來醒在但，去過了死昏打給子棒一點曾親父的他被而掉鋤給苗瓜株一將誤時草鋤在為因他？呢麼什過做子孝大曾位這。參曾子弟的稱著而孝以位那的子孔媲以足來看我在，為所此如正蒙呂
。刻時高的相宰任出次三中之生一了啟開式正而從事章平下門書中同為命任被正蒙呂的歲四十四，年889元公的後之年五在而，）相宰副（事政知參為命任被年一這歲九十三在正蒙呂，後之年六僅僅元狀中高在，年389元公
