依照古人的觀念，一個人若奇事多，就預示著他不同凡人，不是龍種便是懷揣異心。這還了得？于是多位官員接連上奏天子，稱天象惡變，必有世間奇人作怪，堅決要求將狄青逐出京城。用宋人王栢的話說就是童謠方息，角犬成妖。宰相文彥博曾為狄青說過幾句好話，便受到指責。

    其實，當時有關的傳聞固然對狄青不利，但最終導致其罷官的原因恐怕還不至于此。據(jù)記載，狄青入樞密院后，不僅廣大士兵將他視為自己的英雄，對外人夸耀，而且京城內(nèi)外的民眾也深為其事跡所折服，廣為傳頌其材武精神，民間還傳說他是天上的武曲星下凡。以至于狄青每次出門，都有許多百姓跑來圍觀，將大路擁堵得無法通行。在當政者看來，這無異于鼓動民眾好勇斗狠，鼓勵軍功，若就此下去不僅會影響到苦心營造出的崇文價值觀與風尚，進而還可能威脅到社稷的安全。

    到嘉祐元年（1056）八月間，天氣炎熱得令人心煩，久患疾病的仁宗皇帝病情加重，臥床不起。臣僚們憂心的不僅是天子的重病，更cao心天子一直無子，如何傳承皇位成了大問題。當群臣議論立皇嗣的大事時，談著談著又捎帶著扯到狄青的身上。翰林學士歐陽修指出：武臣掌握了朝廷機密與軍情，豈是國家之利？狄青本人固然沒有惡意，不幸為軍人們所擁戴，深恐因此陷狄青于不仁不義，就此為國家生出事端來。這話說得婉轉(zhuǎn)，可透的卻是殺氣，一句話就是狄青對朝廷已構成潛在威脅，因此必須罷免其職，防患于未然。大文學家歐陽修也是大歷史學家，用唐末五代兵變的慘痛教訓為說辭，馬上就打動了宰執(zhí)大臣。

    在如此強大的輿論攻勢下，疑心頗重的當政者終于拋棄了狄青。宰相文彥博提議以使相官銜來安撫狄青，再安排到地方賦閑。當仁宗對文彥博說出狄青忠臣的話時，文丞相當即告誡天子：我太祖皇帝豈非周世宗的忠臣？但因得到軍心所以有陳橋之變。仁宗一聽啞口無言了。隨后，文彥博又公開對前來喊冤的狄青絕情地說：沒有其他理由，就是朝廷懷疑你！狄青聞聽此話，大吃一驚，驚恐得連退數(shù)步。至此，再也無人愿為他辯護了。用清初思想家王船山的話說，狄青最終顛倒于廷臣之筆舌下。

    在流言蜚語纏身之下，狄青被打發(fā)到陳州任地方長官，其實不過是掛名而已，具體事務都由僚屬來做。從表面看，他的待遇倒是不低，節(jié)度使加上同平章事的頭銜，也就是所謂的使相，其俸祿甚至比宰相還要高些，但卻是在異常情況下遠離了廟堂。

    即使如此，當權者對狄青仍不放心，每月都兩次專門派遣宦官來探問，其實便是監(jiān)視其舉動。據(jù)說，每當聞知使者到來，他都驚疑終日。當年十一月里，王德用也因同樣的遭遇被逐出京師，最高軍事決策機關的樞密院內(nèi)成了一色的文士天下。狄青聽到這一消息后，作何感想已不得而知，但可以肯定的是對他又是一記打擊。真是英雄末路，四面楚歌，風聲鶴唳，悲涼之感怎能不油然涌起？縱使狄青強硬如鐵的身軀，也抵不住悲憤的無窮侵蝕。征蓬出漢塞，歸雁入胡天。大漠孤煙直，長河落日圓。其實狄青的遭遇，正是宋朝武將群體境遇的一個縮影。

    狄青到任不過半年左右，便郁悶而死，一代名將之星隕落于中原大地，時年僅50歲。仁宗皇帝聞知噩耗，悼傷不已，為之特輟朝兩日。朝廷追贈其中書令的官銜，定謚號為武襄。

    當日，朝臣王珪奉詔為亡臣撰寫神道碑，碑文內(nèi)容很長，最后的文字為：汾晉之氣，蒙于崆峒。有如其人，武襄之雄。始來京師，感慨從軍。以節(jié)自發(fā)，孰莫不聞。元昊雄jian，歸節(jié)塞下。西邊用兵，露甲在野。公出大里，至于杏林。奇謀縱橫，以詟戎心。上顧將帥，威名無如。來汝陪予，秉國之樞。盜起南荒，乘邊弛防。陷邕圍廣，妖霧以猖。公于上前，憤然請討。賊失昆侖，膏血原草。還服在廷，越茲累年。夙夜乃事，匪圖弗宣。將相出藩，年甫五十。公不復還，天子為泣。生莫與榮，沒莫與哀。彝常之載，其績有來。有勤其初，有大其后。書德于詩，以質(zhì)不朽！可謂總結了狄青的一生事跡，并給予高度評價。讀到這些文字，后世自然充滿同情，卻不知當年文彥博、歐陽修等人作何感想？

    十多年后，神宗皇帝了解到狄青的功業(yè)，對這位名將極為欽佩，特意找來他的畫像掛在宮內(nèi)，并親自御筆撰寫了祭文，遣使祭奠。這份御制祭文，在宋人筆記《能改齋漫錄》卷十四中還能看到，可謂字字動情，句句感懷。

    狄青身后，其家人境況也值得一提。狄青妻子魏氏生前封定國夫人，共育有六子、二女。六個兒子都因父親的功勛蔭補為官，其中兩位早逝，而以次子狄諮、三子狄詠以后名氣較大。狄諮官至東上閤門使、提舉河北義勇保甲，他的前一個頭銜屬于中高級武階官銜，后者則是負責河北大區(qū)后備役武裝的指揮官；狄詠也做到了東上閤門使，當過成都府利州路鈐轄等官職，也就是四川腹地駐軍的長官。

    狄青長得相貌堂堂，基因也傳給了后代。哲宗皇帝在位期間，為了給自己的公主meimei尋找駙馬頗費心思，大臣們推薦的許多世家子弟都看不上眼。近臣不得已便詢問有何標準，哲宗答曰：要像狄詠的樣子才行。狄詠儀表不凡，是一個美男子，但早已婚配，所以只能當樣子了。此事傳出宮廷，世間遂稱狄詠為人樣子。另外，太后與大臣為少年天子哲宗選皇后時，狄諮的女兒一度也入選，并得到太后的認可，后因其非正房所生等原因，而最終落選。