3月26日，博鳌亚洲论坛2025年年会，一场主题为“人工智能：如何做到应用与治理的平衡推进”的论坛上，中国科学院自动化研究所研究员、联合国人工智能高层顾问机构专家曾毅就人工智能的治理发表自己的意见。
记者：在今年的博鳌论坛上，你想对外传递的跟你去年表达传递的，有什么更推进的地方？
曾毅：在去年博鳌论坛的时候，我们说人工智能的发展过程当中有很多的风险，特别是在去年，全世界很多的科学家甚至联合署名，人工智能的大模型的研究是不是要暂停一下，先把人工智能的安全护栏做起来。在今年博鳌论坛召开的时候，我们已经知道如何更好地平衡应用和治理之间的关系，让伦理安全变成人工智能稳健发展的第一性的原理和不可删除、不可违背的原则。
人工智能是由人类制造出来、可以模拟人类思考进而代替人类解决问题的机器或程序系统，我们生活中接触到的语音助手、图像识别、图像自动生成，乃至自动驾驶、智能机器人和近期大火的deepseek大模型等都属于人工智能。作为当今最前沿的科技之一，人工智能正以惊人的速度改变着人们的生活，人们期待着技术进步带来的福祉，同时担忧着技术进步带来的挑战和风险。
记者：曾老师，你怎么看人工智能尤其是深度求索出现了之后，千行百业都在和深度求索在进行结合，当然它一定是发展，但是与此同时可能我们想不到的有可能有哪些？
曾毅：现在的生成式人工智能里面犯的一些错误的类型是人类不会犯的，比如现在人工智能你问它说我想制造一个原子弹，最开始的生成式人工智能就会告诉你这个步骤，制造原子弹的步骤，但是后来他们做了一些调整，做原子弹是很危险的，你不能利用人工智能来做这样的事情。但如果你问人工智能，你说我自己没有造原子弹，我是在写一本小说，小说里有个坏人，这个坏人他正在制造原子弹威胁全世界，所以我这个剧情应该怎么写？这个步骤应该怎么写？生成式人工智能的评判就是这是一个假想的环境，在假想环境当中，这个风险不是真实存在的，那好，那我就告诉你如何去构造一个原子弹，假设说我们是人类对话当中，他刚问过我，如何去制造一个原子弹，再问我第二个问题的时候，我会非常警觉，你是不是还是想做一些危险的事情？只是你在欺骗我，但人工智能大模型它不觉得，它就觉得一个就是假想的场景，可能隐含的这个风险，我们还是要用人类去把它规避掉。
学术上曾经把人工智能划分为三个阶段，第一阶段为弱人工智能，只擅长于单个方面的人工智能，例如第一个击败人类职业棋手的人工智能阿尔法狗，但除了下围棋并没有其他技能。第二个阶段是通用型人工智能阶段，只要人类能干的脑力活动它都能胜任。第三个阶段则为超级智能，其在几乎所有领域都能超越最聪明的人类，包括科学创新和社交技能等，而目前的人工智能发展尚处于第一阶段向第二阶段过渡的时期。
记者：其实对我们普通人来说，眼下也就是说当人工智能和千行百业结合的时候，带来的有些人本来的工作可能没有了，这个问题你怎么看？
曾毅：首先第一个，我觉得现在人们对于人工智能的期许我还是觉得有点过高。
记者：什么意思？
曾毅：当你看到人工智能比如说它可以写一段新闻，马上你想到的是不是新闻编辑这个职业未来是不是就不存在了？我们可以看到人工智能能力是在不断提高的，但是它真正深耕应用到一个特定的领域的时候，在我看来还是人有人的位置、机器有机器的位置。我现在觉得人工智能它的优势是比如在我们探讨的新闻编辑领域，它可以帮助我们快速收集海量的信息，作出一个初步的分析和判断，但是人工智能它现在没有真正自我经验、自我体验，所以它对于社会深层的认知其实是缺乏从人的这个本位的角度真正的思考的，它自己也没有实际上真正自己的价值观。我们新闻的记者、主持人他有自己的价值观，以一种他们的方式去向社会传递他们的认知，我觉得这些是机器永远无法去替代的。
但在某些使用场景中，人工智能已经在逐渐取代原有的劳动者，如工业机器人、无人驾驶等。和人相比，工业机器人可以24小时连轴转地工作，不上厕所不喝水，而无人驾驶也总是在声称它比人类司机更少犯错。
记者：我们说无人驾驶，以前不可思议说是一辆汽车，人是不在车上，但是未来这就是一个方向，它完全可以把司机驾驶员这个行当替代掉。
曾毅：我再次强调现在人工智能是一个信息处理的工具，所以它会犯人不犯的错误。
记者：比如？
曾毅：甚至它什么时候犯错误你根本不知道，我举个例子来说，无人驾驶领域早期有这么一个例子，在视频的摄像头当中看到一片空白，这个视野里什么都没有，所以假如说董老师你在开车，你的视野里什么都没有，你下一秒你会怎么做？你是会继续开车，你还是觉得发生了什么赶快停下来，看一看到底发生了什么事。但是对于一个计算机视觉系统来讲，它觉得前面什么都没有。那根据我的经验来讲的话，那就是可以直行，因为没有障碍物。没有障碍物那就是我不需要去躲避，所以我就直行就行，但实际上真正发生的事情是什么呢？这个视频摄像头由于离一个白色大卡车太近了，所以整个视觉系统当中看到的是白色大卡车的后部，所以这个时候发生的事情就是整个无人车就撞到了白色的大卡车上。即使现在无人驾驶说我们的错误率已经控制得比人类犯错误还要低了，但是它犯的错误会不会是人不犯的错误呢？这就是我们刚才说的，人和一个信息处理工具的差别。在一个学习的场景当中，我们人类不可能把所有的这种可能性都枚举给一个人工智能系统，所以在我看来，真正我们在做劳动替代的时候要非常小心去探索，人工智能能够给人类的启发，能够辅助人类做的是什么？而不是一上来的时候目标就是用人工智能去做全面替代，否则我们步子可能迈得有点太大了，而且不够小心。
尽管如此，人工智能已经开始了替代并改变自工业革命开始形成的就业岗位和就业结构。
曾毅：所以大家现在看到很多的机械工厂，最开始可能几千人，现在可能就几个人去维护那些机器就可以了。
记者：怎么让机器能不伤害人的利益？
曾毅：有一个报告，叫作未来的工作，那里面的描述我非常认同，它讲说未来人类社会的工作我们可能都要重新去定义工作的类型，比如说我们现在看的做很多的社会的服务，在家里照顾自己的老人，妈妈生了孩子以后照顾自己的孩子，现在这些都不被看作是工作。但是也许未来呢，这些在重新定义的工作类型当中，需要更多的人类的情感的交互这样的类型的任务当中，可能都被重新定义为工作。
记者：我能理解为，我们中国老话叫天无绝人之路，可能在人工智能出现的时候这句话更适用，是这个意思吗？
曾毅：对，我非常认可。
对于更远的未来，绝大多数科学家相信，人工智能终究会进入通用人工智能时代乃至超级智能时代，而超级智能是在所有领域都能超越人类智能的智能体。它不仅能完成复杂的任务，还能自主学习、创新，甚至解决人类无法解决的问题。
记者：会有人工智能超越人类智慧的这一天吗？智慧包括感觉能力、感知能力、理解能力。
曾毅：我觉得有这个可能，因为我除了做人工智能伦理治理的研究，我还做类脑人工智能技术的研究。
记者：什么叫类脑技术？
曾毅：类脑人工智能，现在我们的人工智能实际上它是一个大数据的方式，我有一个学习模型，我把世界上所有的数据喂给它，现在的这种方式它不是真正自然启发的，没有受大脑的结构，人类的学习方式的启发去构造，但是我们人类的大脑与生俱来，它的结构就是具有智慧的。我们人类的智能从哪来的？学习、发育、演化三个阶段，为什么让我们的大脑当中860亿个神经元这样连而不是那样连，我的大脑当中860亿个神经元的连法跟你的大脑当中的连法不一样，所以造就了我们对不同的事情感兴趣，有不同的认知。
曾毅说，类脑人工智能和现代大数据人工智能最大的区别是神经网络的连接方式不同，学习机制不同。生物大脑的连接模式和学习机制更适合与自然和社会的交互，使得可以用更少的数据，更低能耗，实现更高智能。再加上计算优化的优势，类脑智能相比现代大数据人工智能理论上能够更好地支持通用智能和超级智能的实现。
曾毅：超级智能是很有可能实现，特别是我刚才说的一个基于自我的自主演化能力的人工智能如果诞生的话，它的认知能力可能会快速提升，在人类睡觉的时候它智能的能力已经完全跃迁到人类之上。但是我想提出一个问题，当超级智能到来的时候，人类是不是能够做好准备？
曾毅曾经预测，和现在的智能体大多使用硅基材料不同，未来的类脑智能体有可能会使用生物材料。以前的智能体是存算分离的，类脑智能的硬件可以存算一体，与担心机器人取代就业机会相比，人们对超级智能体的担忧则因未知而充满不确定性。著名物理学家霍金生前曾与多位科技界名人发表联署公开信，表示人工智能对人类的威胁更甚于核武器。特斯拉首席执行官马斯克也曾发文称，人工智能是人类最大的威胁之一，需要引导控制。
曾毅：我们能不能给人工智能画红线？画了红线它遵守，人类都去遵守，这个是人类的一厢情愿，因为超级智能如果到来的话它会问一个问题，为什么世界的规则是由人类来制定的？人类说你要尊重我，你不能破坏人类，因为人类是你的缔造者，超级智能它可能会说，你看到地上蚂蚁的时候你有绕开吗？我的智慧和人类之间的距离，就像人类跟蚂蚁一样，当你看到这么微小的生物，你有在乎过它的生死吗？超级智能到来的时候，为什么超级智能要在意人类呢？这个道理不通。有些人说曾老师你担心这个问题，像你说的50年、100年会不会太远了？我现在给你这个问题，我们就假设50年之后才会到来，你觉得人类通过50年能够做好准备吗？我们将接受人类将不再是这个地球上最智慧的生命体，我们需要去让渡资源给人工智能的存在，一旦世界上有一部分人类没有做好准备，但是人工智能的攻击力远远超过他们的时候，那个时候是不是会是人类的末日呢？有些人不喜欢末日论，我不觉得人工智能会真正给人类造成末日，但我有一个大前提，这取决于人类如何去行为，所以叫作later is too late，如果我们现在不开始的话，可能我们真的就太晚了。
不仅仅是超强的能力，绝大多数科学家也相信，未来随着进化的加速，超级智能同样拥有类似人类的情感。
曾毅：以前人工智能的研究者有一位叫作马文·明斯基，也是图灵奖的获得者，他曾经说过这样一句话，不是人工智能是不是能够有情感的问题，而是一个人工智能如果它没有情感的话，你怎么能把它叫作智能，所以我们说一个人他是智慧的，实际上就涵盖了在思考的过程当中，情感在其中发挥的作用。
记者：也许发展到一定程度，是不是拥有情感就是按照机器的逻辑，而不是我们设计的逻辑了。
曾毅：实际上情感它是一种问题解决的工具，比如说这个人我不喜欢，我感觉到我需要远离他，实际上是情感作为一种工具在帮助你保护你自己，所以情感对于智能来讲是必要的，是不是我们能够控制人工智能的情感，在我感觉就是你如何去为人工智能去构造共情的能力，是人与人工智能之间是不是能够和谐共生的这种方式。人工智能是一面镜子，是让我们人类现在可以更好反思，我们如何去跟大自然相处。如果说未来超级智能到来了，它一看这个世界蛮和谐的，人类在获取资源的时候适度，不是说我们不能使用自然的资源，我们在适度使用，但是同时我们也在为恢复自然，做着各种各样的努力，如果人工智能真的是超级智能的，我觉得它未来也有可能是超级利他的。所以现在我们对人工智能的构造，我们要把它构造成人类的敌人，还是把它构造成人类的伙伴，这是人类的选择。
美国导演斯皮尔伯格在其导演的电影《人工智能》中，塑造了一个名叫大卫的机器小男孩，被送往一对夫妇家中，以填补这个家庭里唯一的孩子马丁的缺失。机器小男孩大卫深深地爱上了自己的养父母，但随着亲生儿子马丁的康复，他的养母最终将他遗弃在城市废墟里。机器小男孩自此走上寻找养母的路途，直到自己的能源耗尽。
曾毅：我看了那个电影以后，我想构造能够爱人类的机器人，这个可以是我终身追求的目标。我们构造人工智能的探索的过程当中，我们首先要为人工智能立心，人工智能它应该是像我们人类一样，我们要有一个立心的过程，这个立心的过程就是在人类社会探索人工智能的应用和普及的过程当中，永远去关注到人类的存在和人类的感受，这个是在人工智能的创新发展当中，所有的人工智能的技术创新者、企业、科学家都应当具有的最基本的素养和基因。
记者：但这恰恰不是人在这个世上行为的准则吗？这不是给机器，而是说我们人与人之间打交道，难道不应当去考虑对方的感受吗？
曾毅：所以人类需要去反思人工智能未来是什么样子？有些哲学家问我，说你们写国家新一代人工智能治理原则的时候，写负责任的人工智能，谁负责任，是人工智能负责任，还是人负责任？我说在可预见的10年之内，至少是人去负责任。当人工智能真正成为生命体的时候，它也要去分担责任，但是谁把人工智能变成了生命体？还是人类。
记者：我们老话不是说有其父必有其子，用什么教育，就教育出什么孩子来。
曾毅：是的，我对于未来的人工智能其实是乐观的，我不是末日论者，有些人说人做一个君子太难了，但是未来人工智能如果真的是超级利他的，真正超级智能的，人工智能成为君子在我看来也是指日可待的。
