在82年后,黑努曼诺尔人卷土重来,试图依靠武力夺取乌姆巴尔,他们得到了哈拉德大军的支持,但是这次战争失败了,黑努曼诺尔人再也没有机会夺回乌姆巴尔,乌姆巴尔是黑努曼诺尔人的港口和驻地,非常重要。失去这里等于失去了他们的根据地。
第二,黑努曼诺尔人不仅要和刚铎作战,同时他们还互相攻伐争斗。法拉米尔及曾经告诉过佛罗多和山姆,他说黑努曼诺尔人领主最终会变得懒惰,而喜欢攻击对方,导致他们自己的衰弱。这说得很有道理,因为黑努曼诺尔人一直为索伦服务,但是那时的索伦处于失踪状态,他们群龙无首,黑努曼诺尔人的领主们个个都雄心勃勃,他们不断为了权力争斗,并在争斗中不断削弱自己的力量。
第三个重要的因素是政策融合,刚铎的杜内丹人与中土世界的人民相处融洽,并将他们成功融入了刚铎的发展体系。而黑努曼诺尔人则不同,他们的统治非常残暴,中土世界的人民不会忘记那些黑努曼诺尔人在第二纪元末期曾经做出的那些事情。随着他们的削弱,黑努曼诺尔人变成了少数派,他们的土地被中土世界其他人民居住,他与其他民族居住在一起,因此他们的血统也就慢慢被稀释了,直到他们失去了所有的努曼诺尔天赋,直到最后衰落了,这个过程也是杜内丹人经历过的事情。
有证据显示黑努曼诺尔人为黑暗服务,最终导致了他们会像他们先辈服侍索伦一样衰败地很快。最初的几代黑努曼诺尔人也许保存了杜内丹人的天赋,但是随着时间的推移,他们的后几代会变得跟普通人没有任何区别。
以上就是黑努曼诺尔人衰落的重要原因,这并不能说第三纪元末期没有黑努曼诺尔人了,这些家伙依旧统治着中土大陆南部或东部的某些地区。但是他们的力量太有限了,无法参与到魔戒圣战之中。但是有一些黑努曼诺尔人出现在了魔戒之中。其中最著名的就是索伦之口,他成了东部地区黑努曼诺尔人小团体的一人,他的地位非常高。后来乌姆巴尔海盗中很多人都是黑努曼诺尔人的后裔。