房玄龄在贞观二十二年，648年七月二十四日去世，在贞观时期几乎是一人之下，万人之上。当宰相将近二十年，帮助李世民建立贞观之治。
李世民在房玄龄临终之际，为了安其心，授房遗爱为右卫中郎将，这可是有实权的禁军职位，这在李世民所有的驸马中，也是最好的！房遗爱弟弟房遗则为中散大夫。房遗直是嫡长子，承袭其父梁国公爵位。
按正常情况来看，这样的家庭只要不犯事，应该能维持一两代显贵是没问题的，后来房遗爱和房遗直哥俩个，怎么互相“残杀”呢？这是闹得什么争端，难道也和老百姓一样分家问题吗？
咱们看看在房玄龄死后，发生了什么事？
第一件事：高阳公主被李世民指婚房遗爱，在房玄龄死前，基本什么事都么没有。可是就在她父皇死前和房玄龄死后一年间，就出问题了。
高阳公主非常讨厌房遗直，要和房遗直分家，这样的事在大家族里，一般是不会发生的，因为房遗直是嫡长子，承袭国公爵位，在古代是毋庸置疑的，高阳公主这种做法，无疑是挑战当时的礼制，这也就是仗着身份了，而房遗直大骂了一顿房遗爱，不肯分家产。
高阳公主非常不愿意，大怒之下，跑到宫里向李世民告状，说房遗直经常对皇帝不满，心怀不轨。李世民当然不可能听她一面之词，经过调查发现高阳纯属诬告，于是训斥了一顿，此后，高阳公主还不消停，还想着把爵位夺过来，这样一直诬告房遗直，他害怕了，一次两次没事，没准皇帝一时不高兴，那就坏事了，房遗直没办法，于是自己写了封奏折，要求把爵位让给房遗爱，李世民虽然已经病重了，但是脑子还没糊涂啊，当然不能坏了规矩，自然不会答应高阳公主的无理要求。
第二件事：高阳公主消停了几年，到了李治，永徽四年，653年，高阳公主又擅自提出了，夺取房遗的爵位一事，又诬告房遗直对自己无礼，按现在的说法相当于骚扰。
当时的历史背景，李治刚上台，长孙无忌是顾命大臣，长孙无忌被房玄龄压制了将近二十年左右，要说不恨房玄龄，也是不可能的！为了掌握大权，正好找不到理由呢，这不是来了吗！于是主动请求全力调查此事。
长孙无忌多聪明的人，根本不往无礼方面调查，而是看看高阳公主有没有政治方面的问题，这不一查，就发现高阳公主曾经“主使掖庭令陈玄运伺宫省祥”，大概意思是高阳公主指使内侍省的宦官陈玄运，暗中观察宫中的情况及动向，并且观察星象变化，这样的举动在中国古代，不仅是打听宫中的隐私，还触犯了天子的权位，还有观察星象的举动，这是要干什么，不言而喻。
既然高阳公主有问题了，长孙无忌自然也要把事情往房遗爱身上扯，还没来的及牵扯房遗爱呢，这时候房遗直主动站出来，举报高阳公主夫妇一些不轨行为，要说房遗直这种行为无可厚非，一家之主总不能让事情牵扯到家族，既然高阳公主夫妇屡次对自己攻击，这次更是要败坏自己名节威望，这可是死仇了，那还有什么客气的，才有了此次主动检举！
长孙无忌于是把大棒挥向了房遗爱，软硬兼施，使劲各种办法，房遗爱为了保命，一通乱咬，牵扯出了李治朝的大案要案，房遗爱他们要拥立李渊的儿子李元景为帝，这事到最后，好多宗室，大臣以及吴王李恪都牵扯出来了。
高阳公主夫妇被赐死，儿子被流放岭南，房遗直因父亲的功劳免除死罪，罢为庶人，至此房家在这哥们两个自相残杀下，遭受灭顶之灾。
房家这两个儿子的举动，使得房家从高门显贵，一下子跌落云端，按推理来说，最终谁受益谁就是幕后推手的道理，那么长孙无忌显然是一个，按李治以后的做法，又把长孙无忌拿下的做法，让李治彻底摆脱了皇权不振的现象，那么是不是可以认为是李治幕后推手？史书特别记载了一件事，那就是李治上位之初，曾经亲自去高阳公主府拜访过，史书给的结论是为了安抚怀柔高阳公主。李治这样的举动，引人深思啊！这就是房家哥俩的爱恨情仇。
