所以乾隆就同意，专门发布一道保证张廷玉以后会配享的诏书。但是张廷玉出宫之后，乾隆一个人坐在那越想这个事，心里越不是滋味，所以他写一首意味深长的诗，派人送给张廷玉。诗的内容是什么呢？
造膝陈情乞一辞，动予矜恻动予悲，先皇遗诏惟钦此，去国余思或过之。可例青田原侑（yòu）庙，漫愁郑国竟摧碑，吾非尧舜谁皋契？汗简评论且听伊。（《御制诗全集》）
这首诗啊，很有琢磨头。前四句很好理解，你到我面前，跪地陈情，请我给你一个保证。这一举动，令我不免起了恻隐之心。先皇的遗诏，我当然会遵守，你原本不必担心。那么“可例青田原侑庙”，什么意思呢？青田，是指刘基，刘基是浙江青田人。我们前面说过，刘基得到了配享资格，同时又曾经退休，所以乾隆说，有刘伯温的先例，我就同意你退休回家。“漫愁郑国竟摧碑”，这个典故可就有点不祥了，郑国是指唐代的名臣魏徵。魏徵被封为郑国公，生前很荣耀，但是死后，唐太宗翻旧账，认为魏徵犯了很多错误，下令把他坟前的碑给砸了。最后两句“吾非尧舜谁皋契？汗简评论且听伊”什么意思呢？我们知道尧舜是有名的圣君，皋契是当时有名的贤臣。这句话直译是，我算不上尧舜之君，我也不知道，谁可以配得上称为皋契那样的贤臣？将来历史怎么评价我们君臣呢，随它的便吧！那背后的意思，是你原本没有皋契那样大的功劳，父皇让你配享，现在看，你也许不够格。这两句诗里有很大的情绪，这谁都看得出来。
张廷玉兴奋之下，看到皇帝的这首诗，也没太影响心情。在他看来，乾隆既然保证了自己会配享，其他一切都无所谓了，你爱怎么说怎么说吧。所以他心中所有的石头都落了地，终于可以睡个安稳觉了。回到家爬到床上，就呼呼大睡。按道理说，乾隆皇帝这确实是破例施恩，一般皇帝都不可能同意给大臣写什么保证书，所以按朝廷惯例，第二天早上他应该亲自进宫去谢恩。可是他年近八旬之人，昨天进宫已经折腾了一天，太累了，第二天早上他就没爬起来，就命他的儿子张若澄，替他到宫中谢恩。
张廷玉没想到，这个小小的疏忽，可惹来了大祸。
我们说过，张廷玉一生，四十多年陪伴在皇帝身边，从来没有在礼数上犯过错误。所以乾隆原以为，如此“施与特恩”，第二天一大早张廷玉肯定早早前来谢恩，所以乾隆起床后呢，就在那等着。谁料跑到宫里来的，是张廷玉的儿子。本来已经对张廷玉不满很久的乾隆，心中的怒火一下子腾地被点燃了。
乾隆认为张廷玉没有亲自来，证明了他的猜测，那就是张廷玉对他乾隆这个皇帝，并没有什么真情实感。他侍候乾隆，只是为了得到好处。所有要求一一都得到满足之后，就视皇帝为陌路，居然连最后一面都不愿见了。乾隆给他写了那么一首寓意深长的诗，他居然也没有回应，那显然是以为反正我要回老家了，再也不用搭理皇帝了。
很长时间以来，乾隆一直在寻找张廷玉的错误，想收拾他一下。但是张廷玉这个人太精明了，一直没找到，这次，他终于可以理直气壮地发泄心中的怒火了。乾隆马上命军机大臣写了一道圣旨，令张廷玉“明白回奏”，解释一下，你不来亲自谢恩，到底是怎么想的！
当天写旨的军机大臣，是谁呢？恰好是张廷玉的门生，叫汪由敦。汪由敦知道，乾隆皇帝这次发火，可是非同小可，生怕张廷玉倒大霉，因此连忙派了一个小厮跑到张府，把这个消息传过去，让张廷玉好有所准备。
不料这事弄巧成拙，张廷玉不知是老糊涂了还是吓糊涂了，犯了一个更大的错误：第二天一大早，天还没亮，他就勉强支撑着，跑到了宫中，跑到乾隆面前，去叩头请罪。这真是一个再愚蠢不过的举动了。为什么呢？因为乾隆皇帝命他明白回奏的谕旨，按理要第二天上午才能发到张家。就是说，谕旨还没发到家，张廷玉就已经提前知道这件事了。这分明是告诉了皇帝，有人向张廷玉传递了消息。
军机大臣当中，居然有人敢于泄露朝廷机密，乾隆认为，这是再明显不过的朋党行为。自己打击朋党十多年，没想到在眼皮底下，居然有人敢这样干。乾隆打击张廷玉，出发点就是要打击朋党，不过以前他一直没抓住真凭实据。现在，就是这个关键时刻，真凭实据自己送上门来了，乾隆不会再放过机会了。如果说，在此之前，乾隆对于怎么处理张廷玉还没有做出最后决定的话，那么，这一事实，却让乾隆决心必须把张廷玉彻底搞垮、搞臭，把张廷玉一党彻底打散。因此乾隆当面把张廷玉痛骂了一顿，赶出宫中，又花了一整天时间，亲自写了一篇上谕，公布天下。上谕中说：
今日黎明，张廷玉即来内廷，此必军机处泄露消息之故。朕为天下主，而今在廷大臣因师生而成门户，在朝则倚恃眷注，事事要被恩典，及去位而又有得意门生留星替月，此可姑容乎？（《清高宗实录》）
就是说张廷玉头一天不能亲来谢恩，第二天却早早跑来，这肯定是军机处中有人泄露消息的原因。汪由敦当初是张廷玉举荐的，汪由敦因此和张廷玉相通消息，这明显是结党营私的行为。张廷玉临退休前，索要了所有好处，然后举荐汪由敦这样的人当大学士，这是要在皇帝身边安插亲信，“留星替月”，实在是太阴险了。因此乾隆宣布，“著削去伯爵”，削去张廷玉的伯爵爵位，以示惩罚。汪由敦呢，也被革去了大学士之职。
既然撕破了脸皮，乾隆索性就把十几年来对张廷玉忍住没说的话都说了出来，他直截了当地指出，张廷玉实在不应当配享太庙：
试思太庙配享，皆佐命元勋，张廷玉有何功绩与之比肩乎？（《清高宗实录》）配享太庙的，都是做出特别巨大贡献的人，你张廷玉，有这个资格吗？
说完这句话，乾隆又把历代配享之臣列了个名单，送给张廷玉，并让他明白回奏，你比得上这些人吗，配得上配享之荣吗？
乾隆这一问，七十八岁的老臣张廷玉还能怎么回答？他只好回奏说：
臣老耄神昏，不自度量，于太庙配享大典，妄行陈奏。敢恳明示廷臣，罢臣配享，并治臣罪。（《清高宗实录》）
就是说，我年老糊涂，犯了大错，现在我请求皇帝罢去我的配享资格，并且治我的罪。
乾隆说，好，这可是你自己说的。于是明令取消了张廷玉的配享资格，把他赶回了老家。张廷玉为了这个“配享”啊，奋斗了一辈子，没想到最后，还是栽在了这个上面。他费尽苦心要平安收场，没想到，最终却丢了伯爵和配享两项荣誉，一生的脸面，付之东流。
处理了张廷玉之后，乾隆终于出了一口气，他如此羞辱张廷玉，就是为了告诉大家，张廷玉已经彻底失宠了，以后谁也别再想攀附他了。果然，满朝大臣都吓得噤若寒蝉，张廷玉出京的时候，居然没有一个人敢给他送行。可见乾隆打击朋党，确实是起了作用了。
乾隆十五年（1750年）春天，张廷玉灰头土脸地回到老家。从想退休的那一天开始，张廷玉就无数次地设想自己“衣锦还乡”那一时刻的风光场面，在他想象中，他这样的重要人物回到老家，那一定是轰动性场面。没想到，实际情况却是非常尴尬。地方大员们为了避嫌，没有一个人出面迎接，只有一位侄子，带着几个家人，抬着一顶小轿，把他接进了祖上的老屋。
张廷玉感觉特别羞愧，回到老家后就闭门在家，很少见客。在家里整整休息了一个月，才有心情拄着拐杖，外出散散步。好在故乡的山水风光，是对老年人最好的安慰。几个月过去后，张廷玉把心理渐渐调整过来了，心情也慢慢开朗了点。
然而，噩运却并不甘心到此为止。就在张廷玉心情好转些之后，朝廷中又出了一件事：他的儿女亲家，四川学政朱筌，犯了贪污罪，被乾隆抓起来了。
这件事发生得真不是时候。一抓起朱荃，乾隆就想到了张廷玉。因为朱荃最初被提拔起来，就是因为张廷玉的举荐，何况后来张廷玉又和他做了亲家。朱荃成了贪污犯，张廷玉显然当然举荐有错误。乾隆一生气，决定，收回以往三代皇帝对张廷玉的一切赏赐物品，以示对张廷玉的惩罚。
根据《清高宗实录》记载，乾隆十五年（1750年）七月，乾隆派出了一个自己特别信任的人，内务府大臣德保，去执行这个任务。德保出门之前，乾隆特意把他召进宫内，在他耳朵边秘密嘱咐了几句话。
那么这一年八月，钦差大臣德保来到了张廷玉家。张廷玉率领全家，跪在门口迎接。他早早就遵旨，把康熙以来，三朝皇帝赏赐给他的一切东西，包括字画、珠宝，以及衣服器物什么的收拾到一起，打包准备交给德保。谁也没想到，德保身边不但带了十多名随从，还从知府那里，借来了二百名士兵。德保说，你这些东西全不全哪？他要检查一下，有没有遗漏的赏赐物品。这二百士兵显然都有充分准备，进了张家，不由分说，开箱砸锁，挖地三尺，居然抄了张廷玉的家。张廷玉一家人目瞪口呆，只能眼睁睁在旁边看着。
好在张廷玉的清廉并非虚言。抄了半天家，也没抄出什么财产。事实证明，张廷玉是个清官。不过，德保却带走了抄家过程中翻出来的所有带文字的东西：什么书籍、文章、信件，乃至张廷玉写的便条，都带回了北京。
原来，德保出京之前，乾隆在他耳朵边嘱咐的，是到了张家，一定要借查找皇帝赏赐字画之名，严格检査张廷玉的私人文件及藏书，看看其中有没有对乾隆的不满之词，看看这个老家伙是不是敢私底下骂我。
把这些文件带回北京，细细审查了半个月，德保一无所获，他对这位张阁老不禁佩服得五体投地。张廷玉是一个文臣，进士出身，文人嘛，谁也保不住心情不好的时候，会用文字发泄一下，也保不住会在书信日记中，品评品评当朝人物，说几句牢骚话。特别是那些当过大官的，回老家之后，都爱写写回忆录什么的，记录点高层政治的秘密。但是张廷玉却没有这样做。在他的数百封私人书信中，没有一字涉及政治。张廷玉回家后确实编了一本《年谱》，也就是我们现在可以看到的《张廷玉年谱》，不过，这本《年谱》中，他只是详细记载了三朝皇帝对他的“恩遇”“赏赐”，虽然细到哪一天皇帝赏了他几块萨其马，给他一个小荷包，却没有一字，涉及对朝政的品评。德保虽然素知张廷玉以谨慎闻名，不过他没有想到，会谨慎到这样的程度，简直都成了精了。正是这样的谨慎，让张廷玉逃过了一死。要知道，这次抄家，如果稍有把柄，张廷玉就必然要身首异处。
对三朝老臣，由收缴赏赐之物变成了抄家，这一举动引得朝廷上下一片惊疑之声。毫无收获的乾隆皇帝也觉得这事做得没有什么意思，后来不得不下了道谕旨，说是德保弄错了皇帝的旨意，他并没有命人抄家。不过，大家谁都心知肚明，抄家是何等的大事，德保不弄清楚情况，怎么敢贸然抄一个三朝元老的家？就算德保是真的糊涂弄错了，乾隆后来为什么没处分德保，反而还升他的官呢？事情明摆着，就是皇帝想置张廷玉于死地。
虽然逃过了一死，但经过一次抄家，张廷玉的名誉却彻底扫地了，在政治上已经死亡。经过这场问罪，张党完全被击垮了。门生故吏都最终确认，张廷玉在政治上，绝对没有翻身的机会了，因此如树倒猢狲散，各寻出路，从那之后，再也没有人敢登张廷玉的门，张党终于不复存在了。乾隆打击朋党，终于以全胜结局。这一事件，奠定了乾隆中期以后，再也没有朋党活动。我们观察中国历史，汉唐宋明，这些著名大王朝，朋党之争都非常激烈，但是清代乾隆中期之后，朋党却彻底销声匿迹了，直到嘉庆道光两朝，也没有显著的朋党活动。可以说，乾隆是中国历史上治理朋党问题最成功的皇帝。
修炼了一辈子臣术，最后还是一败涂地。经过这场打击，张廷玉彻底灰心丧魄。他每天傻呆呆地坐在家里，一整天一句话也不说。乾隆二十年（1755年），回到家中苟活了五年之后，张廷玉终于死了。
消息传来，乾隆也感到一丝悲痛。毕竟他们君臣相处了十四年，回想起张廷玉一生的所作所为，他感觉自己对张廷玉确实苛刻了点。毕竟，张廷玉为大清辛辛苦苦工作了近五十年。于是乾隆皇帝又做出眷念老臣的姿态，宣布宽恕张廷玉的一切过失，仍然命他可以配享太庙，让他和雍正做伴去了。只是不知道张廷玉死后还能否知道这一切。
那么到了乾隆四十四年（1779年），乾隆曾写了一篇文章，回忆自己驾下曾经工作过的五位大学士。其中关于张廷玉，乾隆写了这样一段话：
张廷玉虽有过，余仍不加重谴，仍准以大学士衔休致，及其既卒，仍令配享太庙。余于廷玉曲示保全，使彼泉下有知，当如何衔感乎？
翻译成白话文就是：张廷玉虽然犯了错误，我没有严惩他，仍然让他退休了。及至他去世之后，我仍然允许他配享了太庙。我对张廷玉是如此的优容，如此地好，如果他地下有知，是不是得感激得在地下还要再死一回啊？