1976年10月,「四人幫」被粉碎,消息傳出後舉國歡慶,之後對「四人幫」進行了調查和審判工作,1981年,對「四人幫」的幾個主犯根據罪行輕重作出了判決,其中姚文元判得最輕。
姚文元曾被譽為「四人幫」的筆杆子,他是幾個主犯之中最會狡辯的一個,在審判過程中他竟然把罪行說成是「工作責任」,然而在鐵證如山面前,是容不得他詭辯的,最終姚文元被判處有期徒刑20年。
在獄中姚文元的表現很配合,他會主動寫檢討承認錯誤和一些交代問題,休息時間他會看報紙,對獄中工作人員也比較配合,他刑期從1976年10月算起到1996年10月,正好是20年,姚文元如期出獄。
出獄時姚文元才65歲,正是普通工人退休的年紀,姚文元有足夠的時間去度過晚年生活,不過由於姚文元入獄的影響,他的家庭變化很大,在獄中20年,都是他的妻子金英在照顧三個孩子。
姚文元與妻子金英有3個女兒,在姚文元出事之前,一家人生活在大院里生活過得很不錯,姚文元入獄之後,妻子金英就帶着3個孩子搬出了大院,住到了上海盧灣區的一戶普通民宅。
在大女兒出嫁之後,金英就一直帶着兩個小女兒生活,其中二女兒患有先天性的殘疾,一直都是由金英照顧,三女兒畢業之後也有了自己的工作,不過受姚文元的影響,很多人不願與她有過多交往。
在姚文元出獄前夕,他的妻子金英病逝了,出獄後的姚文元第一件事就是為妻子尋找墓地,他為妻子在上海青浦區福壽園找了塊墓地,並為其立碑,還為妻子寫了一首詞,刻在石碑後面。
辦理好了妻子金英的後事之後,姚文元就到了浙江湖州生活,他被安置在湖州,在那裡他的女兒也去看望過他,姚文元的晚年生活過得平靜,在閑暇之中他向組織提出想寫回憶錄,得到了同意。
此後姚文元專心寫回憶錄,過着深居簡出的生活,他晚年的精力和時間都花在了寫回憶錄上面,最終寫出了42萬字的回憶錄,先後修改4次,當時得知姚文元回憶錄完成的消息,有20多家出版社找到他想要購買。
甚至還有香港的出版社聯繫到姚文元,據說有三家出版社願意出500萬元購買他的回憶錄版權,不過姚文元沒有答應,不禁讓人好奇,姚文元的回憶錄究竟寫了什麼,讓這麼多家出版社想要購買呢?
姚文元寫的回憶錄時間跨度比較大,從1956年到1976年,即他被隔離審查前,長達20年的跨度,記錄了許多鮮為人知的事迹,尤其是特殊的十年期間姚文元的親身經歷,具有一定的參考價值。
眾多出版社願意出高價購買,不過都被姚文元一一婉拒了,姚文元親自向有關部門提出,想要出版自己的回憶錄,不過送去審核之後就遲遲沒有下文,後來姚文元又提出要寫一些關於自己生活經歷的記錄,組織同意了。
組織上還為他配了一名資料助手,之後姚文元用了8個月的時間,寫出了5萬字的記錄,取名為《回顧與反思》,晚年組織上考慮到姚文元年紀大了,給他配了一名警衛員兼護理工作。
晚年的姚文元受到優待,每月有4000元的生活補貼,足夠他過上較好的生活,不過他的回憶錄一直沒有下文,姚文元於2005年12月23日病逝,終年74歲。