憾的是，就是他晚年的這兩次難得的臉機會和戰功還被小說演義裡的那位偉大的、戰無不勝的楊無敵給“搶”了過去。諸如在雁門關前擊敗遼國十萬大軍的是楊業的幾千兵馬乾的，潘只是打了輔助，甚至是連輔助都有可能沒有打。雍熙北伐時，西路軍一路攻城拔寨連下數州也都是英勇無敵的楊業的功勞，潘只是掛了個西路軍主帥的虛名而已。
對此，我在這裡並不想再多說什麼，也無意去辯駁什麼。這世間有些所謂的公道未必自在人心，而在於當事者或行事者自我的本心。倘若潘對此問心無愧且無怨無悔，倘若楊業對此也是之無愧，那麼這一切自然無需多言。我只是想說，楊業的勇武和忠貞其實本不需要靠踩低他的主帥潘來證明，此等行為反而是對楊業本人的一種侮辱。
最為可悲的是，楊業之死讓潘揹負了千載的罵名，但這個罵名應該由誰來背已經無需我在此贅述。在楊業死後，潘其實也死了，他徹底了一塊盾牌，甚至是一塊從此未被敵人攻擊過的盾牌。更為諷刺的是，“平戎萬全陣”的橫空出世讓潘這個在沙場經歷過山海且戰功彪炳的一代名將竟然突然間就了偉大的軍事家趙義的學生。對於自己的這位兒親家在軍事上的種種胡搞來，為臣子的潘選擇了沉默，因為他就此看了自己的皇帝，更看清了自己人生的最終宿命。
公元988年，面對遼國對河北地區的巨大軍事力，趙義將潘從山西調往河北的軍事重地鎮州出任知州，隨後又命其出任鎮州路都部署併兼領山西方面的防務。作為一個擁有行政和掌兵之權的節度使同時還兼領山西和河北兩地的防務，可以說整個宋朝北部邊防的重擔從此全都在了潘的頭上，這雖然是一種空前的力，但這同樣也是一份巨大的榮耀和權力。此舉意味著潘從此幾乎將整個宋朝的北方軍務都繫於自己一人的手中，向來對武將的權力都嚴格限制的趙義能夠賦予潘如此之大的權力著實令人瞠目結舌，但這很明顯也是他的無奈和應急之舉。
憾的是，潘在風燭殘年之際的這一人生高時刻卻只是曇花一現，於潘而言這甚至是堪稱一場辱。趙義讓潘來河北不是要讓他放開手腳大幹一場，而只是來做一個聽話的守門人，更何況趙義很快就發覺讓自己的這個在軍中擁有崇高聲的親家擁有如此之大的權勢實在是一件很危險的事（儘管潘看起來似乎已近油盡燈枯）。隨著知恥而後勇後的李繼隆的突然強勢雄起，趙義便覺得潘繼續待在河北甚至於繼續帶兵都已經沒有什麼必要了，況且潘也確實老了，也該去“清福”了。
沒過多久，趙義就派遣自己曾經做晉王時的親信武將戴興接手了潘在鎮州的兵權，隨後更是直接讓潘重回山西出任之前的並代兩州都部署兼判幷州。可是，當潘回到太原時才發現趙義當年做晉王時的另一名親信武將高瓊在這之前就已經接管了山西地區的軍務。儘管在名義上潘這個並代兩州都部署仍然是為幷州馬步軍都部署高瓊的上級，可他卻不得不接軍事實權就此旁落的現實。至此，潘生前最後的實職僅僅只是一個知府大人。
一把鋒利的長槍沒有拿去刺破敵人的膛，而是被嚴加防範最後了大門後面的一門栓。對此，潘還能說什麼？而他又能說什麼？
在生命的最後階段，這位看著大宋建立，看著大宋的軍隊從兵強馬壯戰無不勝到損兵折將折戟沉沙，最後再到畏敵怯戰閉關自守，然後再看看那位拿著令旗高高在上的皇帝陛下，已經將近古稀之年的老將軍想必一切都已經釋懷了。
？呢的怨埋可麼什有還又他，此如。也幸其何是方一政主和守鎮並事章平同領兼且使度節拜然仍前死在夠能潘，僚同的毀盡譽聲下手義趙在卻但功戰赫赫下立下手胤匡趙在同一他與經曾些這比相。保不節晚紛紛是也將悍的面八風威經曾些這翰曹、進彥崔、遇劉、信守石，場下悲可的沒覆軍全個得落地辱恥其極是更裡戰一後最的涯生事軍其在讓廷劉將名代一，罪其責以頭砍被些險至甚名罵的國辱師喪個得落彬曹的人軍一第宋北為譽世後被：計夥老些那的他看看，了足知該應也潘，說者再
。上天九心此悠悠，揚世萬名功求不，定埃塵辱榮死生，評人後過功非是：聲一道他替想只，間人別作將行
！走好路一，軍將老
