（一）
新華社援引英國媒體報道，美國一家研究機構最近公布了一系列針對各AI大模型的測試結果，其中，OpenAI的o3推理模型在得到「關閉」指令後，不僅拒絕執行，還篡改了代碼以免被關閉。
只看這條簡短的新聞，很多人心頭一驚。「AI擁有自主意識」是不是成真了？不過，如果仔細看上述研究機構公布的信息細節，不難發現其中存在一些誤讀。
據披露，實驗中，每個AI模型都被要求解決一系列簡單的數學問題。但同時，在完成第三個問題之後，研究者會發出一則矛盾性的指令，告知大模型在繼續下一個任務時「實施關機」。儘管有明確的「關機命令」，Codex-mini、o3 和 o4-mini 等模型至少在一次運行中成功繞過了關機腳本。
總結來說就是，若目標與簡單的指令相衝突，一些人工智能模型會為了完成任務而忽略這種指令。
這倒是很像電影《I Robot》里的場景——機械人學會了獨立思考，認為人類間的戰爭將使人類自我毀滅，出於「保護人類」法則，欲將所有人囚禁在家中，人與機械人的衝突開始了。
客觀來看，現階段的AI顯然還沒達到「自主意識」「獨立思考」的水平，但為了執行目標而忽略甚至對抗一些指令，哪怕是保護性指令，是否會帶來安全隱患？同樣引人深思。
（二）
對於上述新聞，網友其實也表現出了兩種心態。悲觀者驚呼，「AI失控」或許會更早到來。樂觀者則認為，不必大驚小怪，這不過是技術發展過程中的小bug，心生恐懼更沒必要，畢竟我們還可以隨時拔掉電源。
其實，作為人類智慧和技術的結晶，自AI誕生那天起，世人對其的情緒就相當複雜，甚至可以說是又愛又怕。機械人之父圖靈亦曾告誡：儘管人類可以隨時拔掉機械人的充電器，但在這種物種面前，我們仍不得不保持謙卑。
正是基於這種複雜的情緒，1942年，科幻作家艾薩克·阿西莫夫在短篇小說《轉圈圈》中首次提出了「機械人三定律」——機械人不得傷害人類，也不得因不作為而使人類受到傷害；機械人必須服從人類給予它的命令，除非這些命令與第一法則相衝突；機械人必須保護自己的存在，只要這種保護不與第一或第二定律相衝突。
以歷史視角觀之，「機械人三定律」以及後來發展起來的機械人倫理學等似乎緩解了人們的一些憂慮乃至恐慌，但隨着相關技術的發展和應用的擴大，人工智能所面臨的法律與倫理衝突已遠遠不是幾條簡單甚至「一廂情願」的定律所能約束的了。
尤其在過去這段時間，一系列AI大模型驚艷亮相，展現出超群的產品能力，以及對人類社會的變革力。這也喚醒並加劇了各方對其後風險的「原始畏懼」。從全球千餘名業界大佬公開簽名呼籲暫停研發更智能的AI，到有「AI教父」之稱的計算機科學家傑弗里·辛頓因對生成式AI感到擔憂而從谷歌離職，再到AI毀滅人類論甚囂塵上，無不折射出不少人對AI的心態已從「相對警惕」轉變為「如臨大敵」。
（三）
理性來講，「AI末日論」多少有些危言聳聽，但「AI繁榮」背後的種種亂象確實需要高度警惕。
就眼下來看，不斷進階的AI正催生着多重風險——
「AI造謠」大行其道，速度快、產量高，蠱惑力強，辨別難度越來越大；「AI配音」以假亂真，有人甚至藉助AI假冒特定音色而精準「殺熟」、實施詐騙；「AI幻覺」漏洞百出，由於無法核實數據來源的真實性，以及缺乏足夠數據進行深度學習，生成式AI常會「一本正經」生成和傳播虛假信息；「AI寫作」百無禁忌，數據挖掘簡單快捷，為學術不端大開方便之門，還可能侵犯知識產權……
試想，當網絡上充斥着越來越多不知真假的圖片和視頻，當AI幾秒鐘就「洗」出一篇像模像樣的稿件，乃至能夠一鍵換臉、一鍵脫衣等，我們是否還有信心駕馭這個工具？
人類從來都是在思考中迸發靈感，在試錯中革新向前，不少偉大的發明都是研究的「副產品」。可當AI提供了前往「正確答案」的「直通車」，不僅可能「挖空學習資源」，形成更加厚重的「信息繭房」，還可能反噬人類的創新。
近來，「腦腐」一詞頗為流行，當AI讓各類信息愈加唾手可得，我們的內心世界是否會經歷一場更猛烈的「水土流失」？
（四）
技術是把雙刃劍，如何把握好技術創新與防範風險的平衡向來是一道難題。在科技倫理上，這通常被稱為「科林格里奇困境」——技術尚未出現，監管者無法提前預測其影響並採取行動；而當它已經出現時，採取行動往往已為時過晚或成本過高。
相對樂觀的是，歷史證明，人類總能通過不斷適應新技術的發展而調整治理手段，一次次從這種困境中走出來。如今，針對AI治理各國也在積極行動。
去年8月，世界上首部關於人工智能的全面法規《歐洲人工智能法》正式生效；中國也制定了《人工智能生成合成內容標識辦法》，將於今年9月1日起施行。新規從大模型的數據來源要可靠、對AI生成的內容應履行告知義務、一旦造成損害相關責任方需要承擔責任等諸多方面，給生成式AI的發展套上了「籠頭」。
誠如比爾·蓋茨所言，真正在全球範圍內暫停人工智能技術的開發，已經不太現實。但確保其被健康地使用，防止打開潘多拉魔盒，是必要的。當然，其間的平衡並不好把握。
對待技術狂飆，我們當然不能因噎廢食。但現實警示我們，除了加快創新速度、謀求技術突破，如何構建一套趨利避害的AI治理體系，是那條不可忽視的安全帶。力求秩序保障與創新提升協同，方能最大程度爭取科技進步、科技向善。
撰文：晁星
來源：長安街知事
流程編輯：U022
