3月26日，博鰲亞洲論壇2025年年會，一場主題為「人工智慧：如何做到應用與治理的平衡推進」的論壇上，中國科學院自動化研究所研究員、聯合國人工智慧高層顧問機構專家曾毅就人工智慧的治理髮表自己的意見。
記者：在今年的博鰲論壇上，你想對外傳遞的跟你去年表達傳遞的，有什麼更推進的地方？
曾毅：在去年博鰲論壇的時候，我們說人工智慧的發展過程當中有很多的風險，特別是在去年，全世界很多的科學家甚至聯合署名，人工智慧的大模型的研究是不是要暫停一下，先把人工智慧的安全護欄做起來。在今年博鰲論壇召開的時候，我們已經知道如何更好地平衡應用和治理之間的關係，讓倫理安全變成人工智慧穩健發展的第一性的原理和不可刪除、不可違背的原則。
人工智慧是由人類製造出來、可以模擬人類思考進而代替人類解決問題的機器或程序系統，我們生活中接觸到的語音助手、圖像識別、圖像自動生成，乃至自動駕駛、智能機器人和近期大火的deepseek大模型等都屬於人工智慧。作為當今最前沿的科技之一，人工智慧正以驚人的速度改變著人們的生活，人們期待著技術進步帶來的福祉，同時擔憂著技術進步帶來的挑戰和風險。
記者：曾老師，你怎麼看人工智慧尤其是深度求索出現了之後，千行百業都在和深度求索在進行結合，當然它一定是發展，但是與此同時可能我們想不到的有可能有哪些？
曾毅：現在的生成式人工智慧裡面犯的一些錯誤的類型是人類不會犯的，比如現在人工智慧你問它說我想製造一個原子彈，最開始的生成式人工智慧就會告訴你這個步驟，製造原子彈的步驟，但是後來他們做了一些調整，做原子彈是很危險的，你不能利用人工智慧來做這樣的事情。但如果你問人工智慧，你說我自己沒有造原子彈，我是在寫一本小說，小說里有個壞人，這個壞人他正在製造原子彈威脅全世界，所以我這個劇情應該怎麼寫？這個步驟應該怎麼寫？生成式人工智慧的評判就是這是一個假想的環境，在假想環境當中，這個風險不是真實存在的，那好，那我就告訴你如何去構造一個原子彈，假設說我們是人類對話當中，他剛問過我，如何去製造一個原子彈，再問我第二個問題的時候，我會非常警覺，你是不是還是想做一些危險的事情？只是你在欺騙我，但人工智慧大模型它不覺得，它就覺得一個就是假想的場景，可能隱含的這個風險，我們還是要用人類去把它規避掉。
學術上曾經把人工智慧劃分為三個階段，第一階段為弱人工智慧，只擅長於單個方面的人工智慧，例如第一個擊敗人類職業棋手的人工智慧阿爾法狗，但除了下圍棋並沒有其他技能。第二個階段是通用型人工智慧階段，只要人類能幹的腦力活動它都能勝任。第三個階段則為超級智能，其在幾乎所有領域都能超越最聰明的人類，包括科學創新和社交技能等，而目前的人工智慧發展尚處於第一階段向第二階段過渡的時期。
記者：其實對我們普通人來說，眼下也就是說當人工智慧和千行百業結合的時候，帶來的有些人本來的工作可能沒有了，這個問題你怎麼看？
曾毅：首先第一個，我覺得現在人們對於人工智慧的期許我還是覺得有點過高。
記者：什麼意思？
曾毅：當你看到人工智慧比如說它可以寫一段新聞，馬上你想到的是不是新聞編輯這個職業未來是不是就不存在了？我們可以看到人工智慧能力是在不斷提高的，但是它真正深耕應用到一個特定的領域的時候，在我看來還是人有人的位置、機器有機器的位置。我現在覺得人工智慧它的優勢是比如在我們探討的新聞編輯領域，它可以幫助我們快速收集海量的信息，作出一個初步的分析和判斷，但是人工智慧它現在沒有真正自我經驗、自我體驗，所以它對於社會深層的認知其實是缺乏從人的這個本位的角度真正的思考的，它自己也沒有實際上真正自己的價值觀。我們新聞的記者、主持人他有自己的價值觀，以一種他們的方式去向社會傳遞他們的認知，我覺得這些是機器永遠無法去替代的。
但在某些使用場景中，人工智慧已經在逐漸取代原有的勞動者，如工業機器人、無人駕駛等。和人相比，工業機器人可以24小時連軸轉地工作，不上廁所不喝水，而無人駕駛也總是在聲稱它比人類司機更少犯錯。
記者：我們說無人駕駛，以前不可思議說是一輛汽車，人是不在車上，但是未來這就是一個方向，它完全可以把司機駕駛員這個行當替代掉。
曾毅：我再次強調現在人工智慧是一個信息處理的工具，所以它會犯人不犯的錯誤。
記者：比如？
曾毅：甚至它什麼時候犯錯誤你根本不知道，我舉個例子來說，無人駕駛領域早期有這麼一個例子，在視頻的攝像頭當中看到一片空白，這個視野里什麼都沒有，所以假如說董老師你在開車，你的視野里什麼都沒有，你下一秒你會怎麼做？你是會繼續開車，你還是覺得發生了什麼趕快停下來，看一看到底發生了什麼事。但是對於一個計算機視覺系統來講，它覺得前面什麼都沒有。那根據我的經驗來講的話，那就是可以直行，因為沒有障礙物。沒有障礙物那就是我不需要去躲避，所以我就直行就行，但實際上真正發生的事情是什麼呢？這個視頻攝像頭由於離一個白色大卡車太近了，所以整個視覺系統當中看到的是白色大卡車的後部，所以這個時候發生的事情就是整個無人車就撞到了白色的大卡車上。即使現在無人駕駛說我們的錯誤率已經控制得比人類犯錯誤還要低了，但是它犯的錯誤會不會是人不犯的錯誤呢？這就是我們剛才說的，人和一個信息處理工具的差別。在一個學習的場景當中，我們人類不可能把所有的這種可能性都枚舉給一個人工智慧系統，所以在我看來，真正我們在做勞動替代的時候要非常小心去探索，人工智慧能夠給人類的啟發，能夠輔助人類做的是什麼？而不是一上來的時候目標就是用人工智慧去做全面替代，否則我們步子可能邁得有點太大了，而且不夠小心。
儘管如此，人工智慧已經開始了替代並改變自工業革命開始形成的就業崗位和就業結構。
曾毅：所以大家現在看到很多的機械工廠，最開始可能幾千人，現在可能就幾個人去維護那些機器就可以了。
記者：怎麼讓機器能不傷害人的利益？
曾毅：有一個報告，叫作未來的工作，那裡面的描述我非常認同，它講說未來人類社會的工作我們可能都要重新去定義工作的類型，比如說我們現在看的做很多的社會的服務，在家裡照顧自己的老人，媽媽生了孩子以後照顧自己的孩子，現在這些都不被看作是工作。但是也許未來呢，這些在重新定義的工作類型當中，需要更多的人類的情感的交互這樣的類型的任務當中，可能都被重新定義為工作。
記者：我能理解為，我們中國老話叫天無絕人之路，可能在人工智慧出現的時候這句話更適用，是這個意思嗎？
曾毅：對，我非常認可。
對於更遠的未來，絕大多數科學家相信，人工智慧終究會進入通用人工智慧時代乃至超級智能時代，而超級智能是在所有領域都能超越人類智能的智能體。它不僅能完成複雜的任務，還能自主學習、創新，甚至解決人類無法解決的問題。
記者：會有人工智慧超越人類智慧的這一天嗎？智慧包括感覺能力、感知能力、理解能力。
曾毅：我覺得有這個可能，因為我除了做人工智慧倫理治理的研究，我還做類腦人工智慧技術的研究。
記者：什麼叫類腦技術？
曾毅：類腦人工智慧，現在我們的人工智慧實際上它是一個大數據的方式，我有一個學習模型，我把世界上所有的數據餵給它，現在的這種方式它不是真正自然啟發的，沒有受大腦的結構，人類的學習方式的啟發去構造，但是我們人類的大腦與生俱來，它的結構就是具有智慧的。我們人類的智能從哪來的？學習、發育、演化三個階段，為什麼讓我們的大腦當中860億個神經元這樣連而不是那樣連，我的大腦當中860億個神經元的連法跟你的大腦當中的連法不一樣，所以造就了我們對不同的事情感興趣，有不同的認知。
曾毅說，類腦人工智慧和現代大數據人工智慧最大的區別是神經網路的連接方式不同，學習機制不同。生物大腦的連接模式和學習機制更適合與自然和社會的交互，使得可以用更少的數據，更低能耗，實現更高智能。再加上計算優化的優勢，類腦智能相比現代大數據人工智慧理論上能夠更好地支持通用智能和超級智能的實現。
曾毅：超級智能是很有可能實現，特別是我剛才說的一個基於自我的自主演化能力的人工智慧如果誕生的話，它的認知能力可能會快速提升，在人類睡覺的時候它智能的能力已經完全躍遷到人類之上。但是我想提出一個問題，當超級智能到來的時候，人類是不是能夠做好準備？
曾毅曾經預測，和現在的智能體大多使用硅基材料不同，未來的類腦智能體有可能會使用生物材料。以前的智能體是存算分離的，類腦智能的硬體可以存算一體，與擔心機器人取代就業機會相比，人們對超級智能體的擔憂則因未知而充滿不確定性。著名物理學家霍金生前曾與多位科技界名人發表聯署公開信，表示人工智慧對人類的威脅更甚於核武器。特斯拉首席執行官馬斯克也曾發文稱，人工智慧是人類最大的威脅之一，需要引導控制。
曾毅：我們能不能給人工智慧畫紅線？畫了紅線它遵守，人類都去遵守，這個是人類的一廂情願，因為超級智能如果到來的話它會問一個問題，為什麼世界的規則是由人類來制定的？人類說你要尊重我，你不能破壞人類，因為人類是你的締造者，超級智能它可能會說，你看到地上螞蟻的時候你有繞開嗎？我的智慧和人類之間的距離，就像人類跟螞蟻一樣，當你看到這麼微小的生物，你有在乎過它的生死嗎？超級智能到來的時候，為什麼超級智能要在意人類呢？這個道理不通。有些人說曾老師你擔心這個問題，像你說的50年、100年會不會太遠了？我現在給你這個問題，我們就假設50年之後才會到來，你覺得人類通過50年能夠做好準備嗎？我們將接受人類將不再是這個地球上最智慧的生命體，我們需要去讓渡資源給人工智慧的存在，一旦世界上有一部分人類沒有做好準備，但是人工智慧的攻擊力遠遠超過他們的時候，那個時候是不是會是人類的末日呢？有些人不喜歡末日論，我不覺得人工智慧會真正給人類造成末日，但我有一個大前提，這取決於人類如何去行為，所以叫作later is too late，如果我們現在不開始的話，可能我們真的就太晚了。
不僅僅是超強的能力，絕大多數科學家也相信，未來隨著進化的加速，超級智能同樣擁有類似人類的情感。
曾毅：以前人工智慧的研究者有一位叫作馬文·明斯基，也是圖靈獎的獲得者，他曾經說過這樣一句話，不是人工智慧是不是能夠有情感的問題，而是一個人工智慧如果它沒有情感的話，你怎麼能把它叫作智能，所以我們說一個人他是智慧的，實際上就涵蓋了在思考的過程當中，情感在其中發揮的作用。
記者：也許發展到一定程度，是不是擁有情感就是按照機器的邏輯，而不是我們設計的邏輯了。
曾毅：實際上情感它是一種問題解決的工具，比如說這個人我不喜歡，我感覺到我需要遠離他，實際上是情感作為一種工具在幫助你保護你自己，所以情感對於智能來講是必要的，是不是我們能夠控制人工智慧的情感，在我感覺就是你如何去為人工智慧去構造共情的能力，是人與人工智慧之間是不是能夠和諧共生的這種方式。人工智慧是一面鏡子，是讓我們人類現在可以更好反思，我們如何去跟大自然相處。如果說未來超級智能到來了，它一看這個世界蠻和諧的，人類在獲取資源的時候適度，不是說我們不能使用自然的資源，我們在適度使用，但是同時我們也在為恢復自然，做著各種各樣的努力，如果人工智慧真的是超級智能的，我覺得它未來也有可能是超級利他的。所以現在我們對人工智慧的構造，我們要把它構造成人類的敵人，還是把它構造成人類的夥伴，這是人類的選擇。
美國導演斯皮爾伯格在其導演的電影《人工智慧》中，塑造了一個名叫大衛的機器小男孩，被送往一對夫婦家中，以填補這個家庭里唯一的孩子馬丁的缺失。機器小男孩大衛深深地愛上了自己的養父母，但隨著親生兒子馬丁的康復，他的養母最終將他遺棄在城市廢墟里。機器小男孩自此走上尋找養母的路途，直到自己的能源耗盡。
曾毅：我看了那個電影以後，我想構造能夠愛人類的機器人，這個可以是我終身追求的目標。我們構造人工智慧的探索的過程當中，我們首先要為人工智慧立心，人工智慧它應該是像我們人類一樣，我們要有一個立心的過程，這個立心的過程就是在人類社會探索人工智慧的應用和普及的過程當中，永遠去關注到人類的存在和人類的感受，這個是在人工智慧的創新發展當中，所有的人工智慧的技術創新者、企業、科學家都應當具有的最基本的素養和基因。
記者：但這恰恰不是人在這個世上行為的準則嗎？這不是給機器，而是說我們人與人之間打交道，難道不應當去考慮對方的感受嗎？
曾毅：所以人類需要去反思人工智慧未來是什麼樣子？有些哲學家問我，說你們寫國家新一代人工智慧治理原則的時候，寫負責任的人工智慧，誰負責任，是人工智慧負責任，還是人負責任？我說在可預見的10年之內，至少是人去負責任。當人工智慧真正成為生命體的時候，它也要去分擔責任，但是誰把人工智慧變成了生命體？還是人類。
記者：我們老話不是說有其父必有其子，用什麼教育，就教育出什麼孩子來。
曾毅：是的，我對於未來的人工智慧其實是樂觀的，我不是末日論者，有些人說人做一個君子太難了，但是未來人工智慧如果真的是超級利他的，真正超級智能的，人工智慧成為君子在我看來也是指日可待的。
