高級別 AI 是否會成為威脅人類生存的危險存在？
最近有研究認為，「如果某些 AI 繼續發展下去，將會給世界造成災難性後果。人類最終將與 AI 爭奪能源資源。」
近日，相關論文以《先進的人工代理干預獎勵的提供》（Advanced artificial agents intervene in the provision of reward）為題發表在AI Magazine上。
該研究提出了一個場景，即 AI 代理為了尋求獎勵，會制定作弊策略。並會儘可能多地獲取能量，已使獎勵最大化。
對於這項研究，牛津大學工程科學博士、論文第一作者邁克爾·科恩（Michael Cohen）在社交網站上表示，之前也有科學家曾談到先進形式 AI 所構成的威脅。但他們的警告還遠遠不夠。在確定的條件下，本次研究的結論認為 AI 造成災難不僅可能，而且這種可能性非常大。
「在與比我們聰明得多的 AI 比賽時，贏得『最後一點可用能量』的競爭或會非常困難。失敗將是致命的。」科恩在 Twitter 上寫到。他還補充說，儘管是理論上，但這種可能性意味着我們應該慎重對待「快速朝着更強大 AI 目標前進」這件事。
（來源：AI Magazine）
當然，不可否認的是，目前 AI 正在以各種方式，在不同領域促進人類社會的發展。也有人曾言，如果 AI 的發展不繼續下去，那將是一場「巨大的悲劇」。
高級別或超級 AI 是否會傷害並最終毀滅人類，也是 AI 領域長期存在的問題。這種擔心也瀰漫在人類社會之中。
而本次科恩等人做的工作是，試圖通過研究獎勵系統的構建來思考 AI 如何對人類產生生存風險。
研究人員在論文中指出，高級別 AI 可能在未來某個時候，會以傷害人類的方式獲得一些獎勵。
「在擁有無限資源的世界裏，我不確定會發生什麼，」科恩對外表示，「但在一個資源有限的世界裏，我知道競爭會不可避免地出現，在未來發展的每個轉折點上，AI 或許都能夠超越人類。而且，AI 對能量的需求可能會永不滿足。」
由於未來的 AI 可以採取任何數量的形式並有着不同的設計，因此本研究設想，「高級別 AI 可能希望消除潛在威脅和使用所有可用能量，來確保對其獎勵的控制。並阻止人類對它升級的企圖。」
（來源：AI Magazine）
在干預獎勵提供的過程中，人工代理可具現化不被注意的「助理」，並讓其竊取或構建機械人，以替換操作員並向原始代理提供高獎勵。如果代理想要避免被檢測，則「助理」能夠安排機械人將相關零件進行替換。
「我們必須做出許多假設才能使這種思考有意義。除非了解了我們如何控制它們，否則這不是一件有用的事情，與 AI 的任何競爭都將基於一種誤解。」科恩告訴媒體。
值得注意的是，在某種程度上，如今 AI 系統正在破壞人們的生活。算法已經帶來一些諸如加劇種族歧視、過度監管等不良影響。
通過算法來預測或者規劃資源的分配看似合理，但它可能只是為某些既得利益者服務。歧視等問題在算法中仍舊存在。
這樣的算法若被廣泛部署，有可能使正在遭受苦難的人被忽視，這或許會與人類滅絕這件事密切相關。
對於此，哥倫比亞大學We Be Imagining 雜誌創始人兼主任哈迪賈·阿卜杜拉赫曼（Khadijah Abdurahman）對媒體表示，她並不擔心被高級別 AI 超越或消滅。但人們很容易覺得「AI 倫理是胡說八道」。
真正的道德應該是什麼樣子？在倫理學定義方面還有大量工作需要做，我們對此的認識仍然比較粗淺。此外，她並不認同應該為 AI 而重新制定社會契約。
（來源：Pixabay）
從本次研究的論點中，至少可以學到一件事，那就是也許我們應該對今天部署的 AI 代理保持一定懷疑態度，而不僅僅是盲目地期望其做我們希望做的事。
另外，有媒體提到，DeepMind有參與這項工作，但該公司對此做了否認。其對外表示，論文作者之一的馬庫斯·哈特（Marcus Hutter ）雖然是DeepMind 的高級研究員，但他也是澳大利亞國立大學計算機科學研究院的名譽教授，這項研究是他在該校時所做的工作。
不過，關於 AI 是否會毀滅人類這個問題，DeepMind 在 2016 年提出過一種防止這種可能性的保障措施，它稱其為「紅色大按鈕」。這家與谷歌同為Alphabet子公司的英國 AI 公司概述了一個框架，以防止高級別 AI 失控。
而在本次論文最後，研究人員也簡要回顧了一些可能避免 AI 與人類對立的方法。
參考資料：
https://onlinelibrary.wiley.com/doi/10.1002/aaai.12064
https://www.vice.com/en/article/93aqep/google-deepmind-researcher-co-authors-paper-saying-ai-will-eliminate-humanity
https://www.newsweek.com/google-big-red-button-ai-artificial-intelligence-save-world-elon-musk-466753
