在82年後,黑努曼諾爾人捲土重來,試圖依靠武力奪取烏姆巴爾,他們得到了哈拉德大軍的支持,但是這次戰爭失敗了,黑努曼諾爾人再也沒有機會奪回烏姆巴爾,烏姆巴爾是黑努曼諾爾人的港口和駐地,非常重要。失去這裡等於失去了他們的根據地。
第二,黑努曼諾爾人不僅要和剛鐸作戰,同時他們還互相攻伐爭鬥。法拉米爾及曾經告訴過佛羅多和山姆,他說黑努曼諾爾人領主最終會變得懶惰,而喜歡攻擊對方,導致他們自己的衰弱。這說得很有道理,因為黑努曼諾爾人一直為索倫服務,但是那時的索倫處於失蹤狀態,他們群龍無首,黑努曼諾爾人的領主們個個都雄心勃勃,他們不斷為了權力爭鬥,並在爭鬥中不斷削弱自己的力量。
第三個重要的因素是政策融合,剛鐸的杜內丹人與中土世界的人民相處融洽,並將他們成功融入了剛鐸的發展體系。而黑努曼諾爾人則不同,他們的統治非常殘暴,中土世界的人民不會忘記那些黑努曼諾爾人在第二紀元末期曾經做出的那些事情。隨着他們的削弱,黑努曼諾爾人變成了少數派,他們的土地被中土世界其他人民居住,他與其他民族居住在一起,因此他們的血統也就慢慢被稀釋了,直到他們失去了所有的努曼諾爾天賦,直到最後衰落了,這個過程也是杜內丹人經歷過的事情。
有證據顯示黑努曼諾爾人為黑暗服務,最終導致了他們會像他們先輩服侍索倫一樣衰敗地很快。最初的幾代黑努曼諾爾人也許保存了杜內丹人的天賦,但是隨着時間的推移,他們的後幾代會變得跟普通人沒有任何區別。
以上就是黑努曼諾爾人衰落的重要原因,這並不能說第三紀元末期沒有黑努曼諾爾人了,這些傢伙依舊統治着中土大陸南部或東部的某些地區。但是他們的力量太有限了,無法參與到魔戒聖戰之中。但是有一些黑努曼諾爾人出現在了魔戒之中。其中最著名的就是索倫之口,他成了東部地區黑努曼諾爾人小團體的一人,他的地位非常高。後來烏姆巴爾海盜中很多人都是黑努曼諾爾人的後裔。