房玄齡在貞觀二十二年，648年七月二十四日去世，在貞觀時期幾乎是一人之下，萬人之上。當宰相將近二十年，幫助李世民建立貞觀之治。
李世民在房玄齡臨終之際，為了安其心，授房遺愛為右衛中郎將，這可是有實權的禁軍職位，這在李世民所有的駙馬中，也是最好的！房遺愛弟弟房遺則為中散大夫。房遺直是嫡長子，承襲其父梁國公爵位。
按正常情況來看，這樣的家庭只要不犯事，應該能維持一兩代顯貴是沒問題的，後來房遺愛和房遺直哥倆個，怎麼互相「殘殺」呢？這是鬧得什麼爭端，難道也和老百姓一樣分家問題嗎？
咱們看看在房玄齡死後，發生了什麼事？
第一件事：高陽公主被李世民指婚房遺愛，在房玄齡死前，基本什麼事都么沒有。可是就在她父皇死前和房玄齡死後一年間，就出問題了。
高陽公主非常討厭房遺直，要和房遺直分家，這樣的事在大家族裡，一般是不會發生的，因為房遺直是嫡長子，承襲國公爵位，在古代是毋庸置疑的，高陽公主這種做法，無疑是挑戰當時的禮制，這也就是仗着身份了，而房遺直大罵了一頓房遺愛，不肯分家產。
高陽公主非常不願意，大怒之下，跑到宮裡向李世民告狀，說房遺直經常對皇帝不滿，心懷不軌。李世民當然不可能聽她一面之詞，經過調查發現高陽純屬誣告，於是訓斥了一頓，此後，高陽公主還不消停，還想着把爵位奪過來，這樣一直誣告房遺直，他害怕了，一次兩次沒事，沒準皇帝一時不高興，那就壞事了，房遺直沒辦法，於是自己寫了封奏摺，要求把爵位讓給房遺愛，李世民雖然已經病重了，但是腦子還沒糊塗啊，當然不能壞了規矩，自然不會答應高陽公主的無理要求。
第二件事：高陽公主消停了幾年，到了李治，永徽四年，653年，高陽公主又擅自提出了，奪取房遺的爵位一事，又誣告房遺直對自己無禮，按現在的說法相當於騷擾。
當時的歷史背景，李治剛上台，長孫無忌是顧命大臣，長孫無忌被房玄齡壓制了將近二十年左右，要說不恨房玄齡，也是不可能的！為了掌握大權，正好找不到理由呢，這不是來了嗎！於是主動請求全力調查此事。
長孫無忌多聰明的人，根本不往無禮方面調查，而是看看高陽公主有沒有政治方面的問題，這不一查，就發現高陽公主曾經「主使掖庭令陳玄運伺宮省祥」，大概意思是高陽公主指使內侍省的宦官陳玄運，暗中觀察宮中的情況及動向，並且觀察星象變化，這樣的舉動在中國古代，不僅是打聽宮中的隱私，還觸犯了天子的權位，還有觀察星象的舉動，這是要幹什麼，不言而喻。
既然高陽公主有問題了，長孫無忌自然也要把事情往房遺愛身上扯，還沒來的及牽扯房遺愛呢，這時候房遺直主動站出來，舉報高陽公主夫婦一些不軌行為，要說房遺直這種行為無可厚非，一家之主總不能讓事情牽扯到家族，既然高陽公主夫婦屢次對自己攻擊，這次更是要敗壞自己名節威望，這可是死仇了，那還有什麼客氣的，才有了此次主動檢舉！
長孫無忌於是把大棒揮向了房遺愛，軟硬兼施，使勁各種辦法，房遺愛為了保命，一通亂咬，牽扯出了李治朝的大案要案，房遺愛他們要擁立李淵的兒子李元景為帝，這事到最後，好多宗室，大臣以及吳王李恪都牽扯出來了。
高陽公主夫婦被賜死，兒子被流放嶺南，房遺直因父親的功勞免除死罪，罷為庶人，至此房家在這哥們兩個自相殘殺下，遭受滅頂之災。
房家這兩個兒子的舉動，使得房家從高門顯貴，一下子跌落雲端，按推理來說，最終誰受益誰就是幕後推手的道理，那麼長孫無忌顯然是一個，按李治以後的做法，又把長孫無忌拿下的做法，讓李治徹底擺脫了皇權不振的現象，那麼是不是可以認為是李治幕後推手？史書特別記載了一件事，那就是李治上位之初，曾經親自去高陽公主府拜訪過，史書給的結論是為了安撫懷柔高陽公主。李治這樣的舉動，引人深思啊！這就是房家哥倆的愛恨情仇。
