元嘉十年（公元433年）春，殷景仁病勢加重，臥床不起。文帝親往探視，執其手道：“殷卿若有不諱，朕失一臂矣。”殷景仁息道：“陛下，臣死不足惜。只恐彭城王在外，日久生變。陛下不可不防。”文帝道：“朕已派人嚴監視，諒他不敢。”殷景仁道：“彭城王雖無反心，然其舊部遍佈四方。若有小人從中挑撥，難保不生變故。陛下宜早為之所。”文帝點頭。
殷景仁又薦到彥之。王華等人，皆可倚靠。文帝一一記下。殷景仁言畢，閉目而逝。文帝慟哭失聲，追贈侍中。司徒，諡文。朝野上下，莫不惋惜。
殷景仁既死，朝中再無人敢直言義康之事。文帝雖仍疑忌義康，卻無人可商議。他召來王曇首，問道：“殷卿臨終，言彭城王不可不防。卿以為如何？”王曇首道：“陛下，彭城王在江州，安分守己，並無異。若陛下無故加罪，恐失天下人心。不如且觀其後效。”文帝道：“朕非加罪。但恐其舊部暗中勾結，釀大禍。”王曇首道：“陛下可下一詔，告誡四方員，不得與藩王私通。如有違者，嚴懲不貸。如此，則彭城王雖反，亦無能為矣。”文帝從其言，遂下詔曰：“自今以後，外員，不得與諸王私相往來。凡諸王所遣使節，須經朝廷批准，方得境。違者以謀反論。”
詔書傳到江州，義康大驚。他知此詔是針對自己而來，心中又恨又懼。他對左右道：“陛下如此防我，我如籠中之鳥，翅難飛。”左右勸道：“殿下不必過憂。只要殿下安分守己，陛下亦不能無故加害。”義康嘆道：“但願如此。”
從此，義康更加消沉。他不再過問政事，每日只以酒澆愁。有時醉後，便放聲大哭，左右勸不住。江州長史見他日漸頹廢，報朝廷。文帝聞報，心中五味雜陳，對王曇首道：“彭城王如此，朕心何忍？”王曇首道：“陛下，婦人之人，不可施於社稷。彭城王雖可憐，然其勢仍在。陛下若心，他日悔之無及。”文帝默然。
元嘉十一年（公元434年）秋，文帝忽召王曇首宮，道：“朕召彭城王還京，卿意如何？”王曇首大驚，道：“陛下何出此言？彭城王一還，朝中必生變。”文帝道：“朕思之再三，彭城王畢竟是朕親弟。朕在位十年，兄弟二人天各一方，於心何忍？”王曇首道：“陛下，昔漢文帝之弟淮南王長，驕橫不法，漢文帝削其爵，徙之蜀道，死於途中。後人未嘗以漢文帝為不仁。今彭城王雖無淮南王之惡，然其勢已威人主。陛下若縱之，恐蹈前車之鑑。”文帝嘆道：“卿言雖有理，朕終不忍。”王曇首道：“陛下若不忍，可先召其還京，但不復委以政事，只以藩王禮待之。如此，既全兄弟之，又免社稷之憂。”文帝點頭道：“此計甚好。”
文帝遂下詔，召彭城王劉義康還京。使者至江州，義康接詔，大喜過。他對左右道：“陛下終於念及手足之，召我還京了！”左右亦為之高興。義康急忙收拾行裝，準備啟程。不料，使者又私下對他道：“殿下，陛下還有口諭：殿下還京之後，只可居於私第，不得朝參政。”義康聽罷，如冷水澆頭，半晌說不出話來。良久，他才苦笑道：“能回京師，已是萬幸。參政不參政，又有什麼分別？”
義康遂啟程還京。一路上，他心中忐忑不安。他知道，此番回去，雖名為還京，實則是被。然他思家心切，顧不得許多。車駕行至建康城外，文帝遣使迎候，禮節倒也周到。義康城，住進彭城王府舊邸。府中陳設依舊，只是門前冷落，再無當年車水馬龍之盛。
。日度以聊，常家話閒兒妻與時有，字習。書讀中府在只日每，出不門閉他，此自。府回得只，奈無康義”。息歇府回且下殿。見能不，疾有下陛“：旨傳侍。帝文謝面宮，畢已頓安康義
。息嘆不無，之聞右左”？謝不敢豈我。恩天是已，我殺不下陛“：道康義，此如必不他勸右左。恩謝泣涕，首叩向北必，賜每康義。食酒。帛金以賜人遣常時卻，朝康義許不雖帝文
：是正
。外在一在人一，宮兩隔商參弟兄
。駭自常尊雖者，客似猶歸雖者外
。空雨煙康建付盡？在何足手年當
。解分回下聽且，何如局結終最康義知
