高级别 AI 是否会成为威胁人类生存的危险存在？
最近有研究认为，“如果某些 AI 继续发展下去，将会给世界造成灾难性后果。人类最终将与 AI 争夺能源资源。”
近日，相关论文以《先进的人工代理干预奖励的提供》（Advanced artificial agents intervene in the provision of reward）为题发表在AI Magazine上。
该研究提出了一个场景，即 AI 代理为了寻求奖励，会制定作弊策略。并会尽可能多地获取能量，已使奖励最大化。
对于这项研究，牛津大学工程科学博士、论文第一作者迈克尔·科恩（Michael Cohen）在社交网站上表示，之前也有科学家曾谈到先进形式 AI 所构成的威胁。但他们的警告还远远不够。在确定的条件下，本次研究的结论认为 AI 造成灾难不仅可能，而且这种可能性非常大。
“在与比我们聪明得多的 AI 比赛时，赢得‘最后一点可用能量’的竞争或会非常困难。失败将是致命的。”科恩在 Twitter 上写到。他还补充说，尽管是理论上，但这种可能性意味着我们应该慎重对待“快速朝着更强大 AI 目标前进”这件事。
（来源：AI Magazine）
当然，不可否认的是，目前 AI 正在以各种方式，在不同领域促进人类社会的发展。也有人曾言，如果 AI 的发展不继续下去，那将是一场“巨大的悲剧”。
高级别或超级 AI 是否会伤害并最终毁灭人类，也是 AI 领域长期存在的问题。这种担心也弥漫在人类社会之中。
而本次科恩等人做的工作是，试图通过研究奖励系统的构建来思考 AI 如何对人类产生生存风险。
研究人员在论文中指出，高级别 AI 可能在未来某个时候，会以伤害人类的方式获得一些奖励。
“在拥有无限资源的世界里，我不确定会发生什么，”科恩对外表示，“但在一个资源有限的世界里，我知道竞争会不可避免地出现，在未来发展的每个转折点上，AI 或许都能够超越人类。而且，AI 对能量的需求可能会永不满足。”
由于未来的 AI 可以采取任何数量的形式并有着不同的设计，因此本研究设想，“高级别 AI 可能希望消除潜在威胁和使用所有可用能量，来确保对其奖励的控制。并阻止人类对它升级的企图。”
（来源：AI Magazine）
在干预奖励提供的过程中，人工代理可具现化不被注意的“助理”，并让其窃取或构建机器人，以替换操作员并向原始代理提供高奖励。如果代理想要避免被检测，则“助理”能够安排机器人将相关零件进行替换。
“我们必须做出许多假设才能使这种思考有意义。除非了解了我们如何控制它们，否则这不是一件有用的事情，与 AI 的任何竞争都将基于一种误解。”科恩告诉媒体。
值得注意的是，在某种程度上，如今 AI 系统正在破坏人们的生活。算法已经带来一些诸如加剧种族歧视、过度监管等不良影响。
通过算法来预测或者规划资源的分配看似合理，但它可能只是为某些既得利益者服务。歧视等问题在算法中仍旧存在。
这样的算法若被广泛部署，有可能使正在遭受苦难的人被忽视，这或许会与人类灭绝这件事密切相关。
对于此，哥伦比亚大学We Be Imagining 杂志创始人兼主任哈迪贾·阿卜杜拉赫曼（Khadijah Abdurahman）对媒体表示，她并不担心被高级别 AI 超越或消灭。但人们很容易觉得“AI 伦理是胡说八道”。
真正的道德应该是什么样子？在伦理学定义方面还有大量工作需要做，我们对此的认识仍然比较粗浅。此外，她并不认同应该为 AI 而重新制定社会契约。
（来源：Pixabay）
从本次研究的论点中，至少可以学到一件事，那就是也许我们应该对今天部署的 AI 代理保持一定怀疑态度，而不仅仅是盲目地期望其做我们希望做的事。
另外，有媒体提到，DeepMind有参与这项工作，但该公司对此做了否认。其对外表示，论文作者之一的马库斯·哈特（Marcus Hutter ）虽然是DeepMind 的高级研究员，但他也是澳大利亚国立大学计算机科学研究院的名誉教授，这项研究是他在该校时所做的工作。
不过，关于 AI 是否会毁灭人类这个问题，DeepMind 在 2016 年提出过一种防止这种可能性的保障措施，它称其为“红色大按钮”。这家与谷歌同为Alphabet子公司的英国 AI 公司概述了一个框架，以防止高级别 AI 失控。
而在本次论文最后，研究人员也简要回顾了一些可能避免 AI 与人类对立的方法。
参考资料：
https://onlinelibrary.wiley.com/doi/10.1002/aaai.12064
https://www.vice.com/en/article/93aqep/google-deepmind-researcher-co-authors-paper-saying-ai-will-eliminate-humanity
https://www.newsweek.com/google-big-red-button-ai-artificial-intelligence-save-world-elon-musk-466753
