“AI有一定概率导致大量人类死亡”

2023年05月06日21:18:15 科学 9682

“AI有一定概率导致大量人类死亡” - 天天要闻

chatgpt和其他人工智能模型是否会威胁人类?图片来源:cfoto/future publishing via getty images

近几个月,新人工智能模型的快速兴起,例如openai的chatgpt等,让一些技术专家和研究人员开始思考,人工智能的能力是否会很快超过人类。openai的前关键研究人员表示,这种未来极有可能发生,但他也警告说,达到人类水平或者超人类水平的人工智能控制甚至消灭人类的几率并非为零。

openai的前安全团队语言模型对齐主管保罗·克里斯蒂亚诺在4月下旬接受了科技播客bankless的采访。他表示,最担心的情况是“成熟的人工智能掌控人类”。他在采访中警告道,高级人工智能有相当大的机会,在不远的将来引发可能会导致世界毁灭的大灾难。

克里斯蒂亚诺说:“总体而言,在人工智能系统达到人类的水平之后,我们有超过50%的概率很快遭遇末日。我认为人工智能有10%至20%的概率,造成许多甚至大多数人类死亡,并接管人类。”

克里斯蒂亚诺于2021年从openai离职。他在由人工智能研究人员埃利泽·尤德考斯基创建的社区博客网站lesswrong的《ask me anything》栏目里解释了自己离职的原因。尤德考斯基多年来一直警告超人类人工智能可能毁灭人类。克里斯蒂亚诺当时写道,他希望“研究人工智能对齐方面的更多概念性/理论性问题”,人工智能对齐是一个人工智能安全研究子领域,旨在保证人工智能系统符合人类的利益和道德准则。他表示,在这方面的研究中,openai“并非是做得最好的”。

克里斯蒂亚诺目前经营一家非营利组织alignment research center,致力于研究理论上的人工智能对齐策略。最近几个月,随着各大公司竞相推出日益复杂的人工智能模型,这个领域的研究引起了极大关注。今年3月,openai发布gpt-4,对驱动chatgpt的人工智能模型进行了更新。chatgpt在2022年11月才公开发布。与此同时,谷歌(google)、微软(microsoft)等科技巨头展开了人工智能军备竞赛,纷纷发布了支持商业应用的人工智能模型,希望在这个新兴市场里占据一席之地。

但目前公开发布的人工智能系统依旧存在大量错误和虚假信息,因此克里斯蒂亚诺和许多专家都警告不要操之过急。openai的联合创始人埃隆·马斯克在2018年与该公司分道扬镳。今年3月,包括马斯克在内的1,100名技术专家发表公开信,呼吁比gpt-4更强大的高级人工智能模型的开发工作应该暂停六个月,并将研究重点重新转向提高现有系统的可靠性。(之后,马斯克宣布将推出truthgpt,与chatgpt竞争,他表示truthgpt将致力于“寻求真相”,而不是获取利润。)

公开信中担心的问题之一是,现有人工智能模型可能为超级智能模型铺平道路,而这种模型可能威胁人类文明。虽然chatgpt等现有生成式人工智能系统有能力完成特定任务,但它们距离达到人类的智力水平仍然有很大差距。这种未来可能出现的人工智能被称为通用人工智能(agi)。

专家们对通用人工智能发展的时间线存在分歧,有专家认为通用人工智能的发展可能需要数十年时间,但也有专家表示通用人工智能永远不会诞生,然而,人工智能的飞速发展开始改变人们的立场。斯坦福大学(stanford university)在今年4月发布的一份研究报告显示,约57%的人工智能和计算机科学研究人员称,人工智能正在快速朝着通用人工智能的方向发展,有36%的受访者表示将重要决策交给高级人工智能来完成,可能给人类带来“核爆炸级别的大灾难”。

有专家警告道,即便更强大的人工智能在开发时是中立的,一旦被心怀不轨的人利用,它可能立刻变得非常危险。谷歌的前研究人员、被称为“人工智能教父”的杰弗里·辛顿在本周对《纽约时报》(new york times)表示:“我们很难找到阻止不法分子利用人工智能作恶的办法。我认为,在确定能否控制人工智能之前,不应该继续扩大其规模。”

克里斯蒂亚诺在接受采访时表示,如果人工智能发展到人类社会缺少了它就无法正常运转的程度,那时人类文明就将面临威胁,如果有强大的人工智能决定不需要再为创作者的利益服务,人类就将变得极其脆弱。

他说:“人类灭亡最有可能的方式并非人工智能突然杀死所有人,而是我们大量部署人工智能,让它变得无处不在。如果出于某种原因,这些人工智能系统试图杀死人类,它们就一定能够做到,但愿这种情况不会发生。”

不过,也有人反驳了对人工智能的这种解读。有专家认为,虽然被设计用于完成特定任务的人工智能必然会出现,但由于计算机在解读生活经历方面的局限性,开发可以与人类匹敌的通用人工智能,在技术上不具有可行性。

对于最近对人工智能的可怕警告,创业者和计算机科学家佩里·梅茨格在今年4月发推文称,虽然“高度超越人类的”人工智能可能会出现,但通用人工智能发展到能够反抗创作者的程度可能需要数年甚至几十年时间,而它的创作者将有时间调整人工智能朝着正确的方向发展。对于梅茨格的推文,纽约大学(new york university)的计算机科学家杨立昆(yann lecun)写道,通用人工智能在一夜之间具备危险的、不受控制的能力,这种宿命论的情景“根本不可能发生”。杨立昆自2013年开始主持meta的人工智能研究。(财富中文网)

翻译:刘进龙

审校:汪皓

科学分类资讯推荐

天赐材料起诉永太科技 液体锂盐“商业秘密连环案”揭秘 - 天天要闻

天赐材料起诉永太科技 液体锂盐“商业秘密连环案”揭秘

财联社7月2日讯(记者 曾楚楚 王平安)【引子】今日盘后,天赐材料(002709.SZ)公告,就“商业秘密侵权案件”民事起诉永太科技(002326.SZ)等。这是自今年2月初,天赐材料首次公告披露,对浙江研一、永太科技“将另案处理”后,天赐方面就液体锂盐“商业秘密”系列案件的再次公开曝光。在两家百亿级上市公司,以及作为锂业“...
晶圆键合工艺及键合设备市场情况 - 天天要闻

晶圆键合工艺及键合设备市场情况

一、晶圆键合发展背景在摩尔定律的引导下,集成电路行业一直高速发展,晶体管特征尺寸己经从90nm向7nm迈进。然而,由于随着晶体管特征尺寸已日益接近物理极限,量子效应和短沟道效应越来越严重,内部电子自发地通过源极和漏极,导致漏电流增加,进而限
“地下动脉”托举繁华真如,副中心“最后一块拼图”亮相 - 天天要闻

“地下动脉”托举繁华真如,副中心“最后一块拼图”亮相

在近日举行的上海真如城市副中心重点板块宣介会上,“真如翠谷”与“真如之心”两大优质地块首次亮相。“真如之心”地块即铜川路水产市场原址,被誉为真如副中心“最后一块拼图”,目前已完成城市设计国际方案征集。随着这一核心地块即将入市,真如副中心H型地下公共车行通道(以下简称“H型地下通道”)的全面贯通也将提上...
多面性的双氧水 - 天天要闻

多面性的双氧水

‌‎‎‌‎‎‌‎双氧水,学名过氧化氢(H₂O₂),是一种常见且独特的化学物质。它在日常生活、工业生产以及科学研究等多个领域都有着广泛的应用。然而,正如许多化学物质一样,双氧水具有着复杂的性质和多面的特性,这些特性既可能带来巨大的益处,也可能
迈威生物跃过“J曲线”转折点 - 天天要闻

迈威生物跃过“J曲线”转折点

迈威生物为爆发中的创新药BD浪潮,又添了一把火。日前,其宣布两项BD合作,与齐鲁制药就长效G-CSF产品8MW0511达成的合作(3.8亿元首付款+1.2亿元里程碑款),是本土商业化的经典双赢;而与谷歌系抗衰老巨头Calico围绕IL-11单抗9MW3811的联手(2500万美元首付款+5.71亿美元里程碑款),则彰显全球视野下的价值挖掘能力。两项...
中国石油长庆油田采油十厂决战百日推动竞赛任务落地见效 - 天天要闻

中国石油长庆油田采油十厂决战百日推动竞赛任务落地见效

“功崇惟志,业广惟勤。”2025年上半年,中国石油长庆油田采油十厂紧扣全年任务目标,以“大干100天 决胜上半年”劳动竞赛为载体,全面掀起夺油上产热潮。广大干部员工迎难而上、奋勇拼搏,用汗水书写担当,用实绩回应挑战,生产效率大幅提升,安全环保平稳受控,经营业绩稳健向好,为完成全年任务目标奠定坚实基础。中国石...
武汉一救援队把无人机“开发到极致”,实现“套圈”式救人,台湾同胞:技术毋庸置疑 - 天天要闻

武汉一救援队把无人机“开发到极致”,实现“套圈”式救人,台湾同胞:技术毋庸置疑

2025年7月2日上午,在第十九届湖北·武汉台湾周期间,第四届“汉江湾”汉台水上救援交流活动在硚口区汉江湾上演。武汉云豹救援队联合台湾苗栗县水上救生救难协会、苗栗县救难协会、桃园市水上救难协会,首次以完整建制展开跨海峡救援协作综合演练。 联合救援协作综合演练现场。图/九派新闻 上午9时,随着信号弹升空,云豹救...
麻省理工学院新算法可仅凭单个摄像头控制复杂机器人系统 - 天天要闻

麻省理工学院新算法可仅凭单个摄像头控制复杂机器人系统

Nature期刊最新发表的一项突破性研究展示了机器人控制领域的重大变革。美国麻省理工学院等机构的研究团队开发出一种基于深度神经网络的"视觉运动雅可比场"技术,能够仅凭单个摄像头控制各种复杂机器人系统,彻底摆脱了传统建模方法的束缚。