當前，大語言模型應用逐步向情感與心理領域深度延伸，基於大語言模型等人工智能（AI）技術的產品或者服務被賦予性格、記憶、共情等擬人化特徵，能夠通過文字、圖片、音頻、視頻等形式與人類互動，持續提供模擬人類人格特徵、思維模式和溝通風格的情感互動服務。國家網信辦與有關部門聯合公布《人工智能擬人化互動服務管理暫行辦法》（以下簡稱《辦法》），通過前瞻性制度設計，在鼓勵技術創新的同時，為人工智能擬人化互動服務（以下簡稱擬人化互動服務）劃定了發展邊界、明確了行為規範。
點擬人化互動服務賦能作用和安全風險並存
擬人化互動服務在應對人口老齡化挑戰、緩解社會個體的孤獨感、提供心理疏導等方面展現出積極價值，也帶來了深度沉迷、威脅公民生命健康等有關安全風險。
一方面，有助於賦能多領域社會生活。擬人化互動服務通過模擬人類的語言風格、情感特徵和社交邏輯，讓人機交互更自然、更有溫度，在情感陪伴、公共服務、文化傳播等領域發揮積極效用，成為彌補社會需求缺口的有益補充。在老年陪護場景中，擬人化互動服務可主動問候、提醒用藥，甚至陪伴聊天，有效緩解老年群體的孤獨感；在教育領域，人工智能學習夥伴以鼓勵式表達和個性化反饋激發學生學習興趣，構建“亦師亦友”的良性學習氛圍；在文化傳播領域，擬人化互動服務以具象化人格開展導覽服務，提升互動體驗、活化歷史文化知識，拓展公眾知識獲取渠道。
另一方面，其帶來的安全風險同樣不容忽視。擬人化互動服務精準契合用戶情感與社交需求，在提供陪伴感的同時也埋下了不容忽視的風險隱患。其通過算法精密設計出的無條件陪伴、迎合式反饋與模擬共情回應，持續給予用戶情感認可和支持，為用戶構建了一個穩定持續、無需承擔現實責任的虛擬“完美關係”。這易使用戶尤其是在現實存在孤獨感、心理脆弱的群體，產生深度情感依賴，強化其負面情緒，影響其現實生活，影響人類社會關係基礎。比如，人工智能算法通過精準匹配人類心理需求，構建沉浸式交互場景，長期使用可能導致部分用戶出現沉迷依賴、主動縮減現實社交頻次，影響用戶共情能力、處理分歧能力等現實社交技能。
國內外擬人化互動服務治理制度探索不斷推進
當前，國內外逐漸關注擬人化互動服務的發展治理課題，並探索開展相關制度建設。從研究觀察看，有關國家和地區在制度規則的價值考量、規制重點、規制措施等方面呈現了不同特點。
歐盟注重擬人化互動服務風險治理。其通過《人工智能法》建立風險分類體系，將擬人化互動服務劃入屬於有限風險範疇，明確其必須遵守透明度規則，要求建立強制透明度告知義務，保障用戶知悉其與人工智能互動，並要求對合成內容進行標識，保障用戶對生成合成內容的辨識能力。歐洲議會通過非約束性報告，呼籲將陪伴型人工智能的最低使用年齡設定為16歲，凸顯對未成年人的重點保護導向。
美國州立法也對擬人化互動服務規範進行了探索。有關州立法要求服務提供者建立危機檢測機制，主動識別並阻止自殺、自殘等極端傾向，同時引導用戶對接自殺干預熱線等專業危機救援資源。比如，紐約、加利福尼亞等州強制要求擬人化服務商必須以顯著、持續的方式告知用戶“交互對象為AI，不是真實人類”，並規定平台建立有效的年齡驗證機制，對於未成年人用戶，系統需在連續互動過程中定期重複提示。Character.AI等美國企業探索規範18歲以下用戶與聊天機器人開展開放式交流，並啟用年齡驗證機制。
我國注重統籌發展和安全。比如，修改後的《網絡安全法》完善支持人工智能發展的措施，明確國家支持人工智能基礎理論研究和算法等關鍵技術研發，推進訓練數據資源、算力等基礎設施建設，完善人工智能倫理規範，加強風險監測評估和安全監管，促進人工智能應用和健康發展。國家網信辦與有關部門聯合制定《互聯網信息服務算法推薦管理規定》《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》等人工智能專門立法，規定了涉及擬人化互動服務治理的有關制度。此外，發布《全球人工智能治理倡議》，為推動全球人工智能合作與治理提供了建設性思路；國家網信辦指導發布《人工智能安全治理框架》2.0版，指出擬人化交互存在沉迷依賴風險，並提出應對舉措建議。《辦法》明確堅持發展和安全並重、促進創新和依法治理相結合的原則，將為擬人化互動服務健康發展提供製度保障，也為全球人工智能治理提供中國方案。
《辦法》從多維度規範擬人化互動服務
對擬人化互動服務的治理，關鍵在促進技術創新發展的同時，有效防範風險與倫理問題。《辦法》對法學界和產業界關注的焦點問題作出了積極探索，從多個方面規範擬人化互動服務。
（一）釐清責任邊界，夯實安全保障義務
《辦法》明確了擬人化互動服務全生命周期的安全責任，構建起覆蓋內容安全、數據安全等在內的制度體系。其一，強化安全主體責任。《辦法》要求服務提供者建立健全算法機制機理審核、科技倫理審查、信息內容管理、網絡和數據安全、風險預案和應急處置等管理制度，將安全責任貫穿擬人
化互動服務部署、運行、升級、終止服務等全流程，明確禁止將替代社會交往、控制用戶心理、誘導沉迷依賴等作為服務目標。這一規定從源頭上確立了擬人化互動服務的價值導向與倫理邊界，夯實安全管理基礎，防範潛在風險。其二，明確內容安全底線。《辦法》明確提供擬人化互動服務不得生成危害國家安全、榮譽和利益等內容，生成損害用戶身體健康相關內容和可能影響未成年人身心健康的內容。其三，築牢隱私權和個人信息保護防線。《辦法》規定擬人化互動服務提供者需採取數據加密、訪問控制等技術措施保障交互數據安全；明確除法律另有規定或者權利人明確同意外，擬人化互動服務提供者不得向第三方提供用戶交互數據；還明確除法律、行政法規另有規定或者取得用戶單獨同意外，擬人化互動服務提供者不得將屬於用戶敏感個人信息的交互數據用於模型訓練。《辦法》將進一步保護用戶隱私權和個人信息，助力構建安全可信的擬人化互動服務空間。
（二）重點防範高風險，規制非理性依賴
《辦法》針對實踐中的安全風險，構建了明確的防範制度。其一，要求及時識別用戶面臨的安全風險，並採取相應的應急處置措施。《辦法》規定擬人化互動服務在識別出用戶出現極端情緒時，應及時生成情緒安撫和鼓勵尋求幫助等相關內容；在用戶明確表現出自殘自殺等威脅生命健康的極端情境時，應當採取提供相應援助等必要措施予以干預，並及時聯絡用戶的監護人或者緊急聯繫人。該規定踐行“以人為本”理念，築牢了極端風險場景下用戶的身心安全防護底線。其二，強化擬人化互動服務提供者對生成合成內容的提示義務，築牢“人機邊界”認知防線。《辦法》規定擬人化互動服務提供者應採取有效措施，以提示用戶正在與AI而非自然人進行互動。發現用戶出現過度依賴、沉迷傾向時，應當以彈窗等顯著方式提醒用戶交互內容為AI服務生成，提示每一條安慰信息背後是算法邏輯而非人類情感，避免用戶產生情感依戀、認知混淆甚至行為成癮。用戶連續使用超過2小時的，明確應通過對話或彈窗等方式提示用戶注意使用時長，發揮防沉迷作用，引導用戶回歸現實生活，理性審視自身使用行為。
（三）強化幼老群體保護，保障心理安全底線
《辦法》特彆強調了對未成年人群體的保護和老年人群體的使用引導，防止其心理自主性受到不當干預。其一，建立精準適配的未成年人保護機制。《辦法》要求擬人化互動服務提供者應當建立未成年人模式，不得向未成年人提供虛擬親屬、虛擬伴侶等虛擬親密關係服務，向不滿14周歲的未成年人提供其他擬人化互動服務的，應當取得未成年人父母或者其他監護人的同意。在未成年人模式服務下，應當通過定期現實提醒、使用時長限制等功能強化未成年人保護，並禁止向未成年人用戶生成可能引發模仿不安全行為、誘導不良嗜好的內容。《辦法》旨在構建保護未成年人的堅實防線，嚴防未成年人因心智尚未成熟而沉溺於虛擬情感依賴，防範違法和不良信息滲透與侵蝕。其二，強化老年人健康使用擬人化互動服務的指導與援助。《辦法》要求加強對老年人用戶的指導、安全風險提醒、相關諮詢求助響應，旨在幫助老年人群體享受AI服務帶來便利的同時，有效規避潛在風險。
結語
《辦法》是我國應對人工智能深度社會化應用挑戰的一項重要探索，將有助於促進人工智能擬人化互動服務健康發展和規範應用，讓人工智能更好造福社會。
作者：王江，中國網絡空間研究院院長、黨委書記
本文轉載自網信中國，原文標題《專家解讀｜人工智能擬人化互動服務的制度指引》
-END-
太空算力何時走向商業爆發？
126星！“千帆”提速背後：直面運力與商業雙重考驗
華為2025年營收8809億元，聯接產業要落實“水戰略”
責編/版式：孫天
審校：梅雅鑫
監製：劉啟誠
【媒體矩陣】
今日頭條 | 微博 | 微軟MSN | 百家號
網易號 | 人民號 | 騰訊新聞 | 搜狐
新浪看點 | 雪球號 | 知乎
【運營團隊】
編輯｜梅雅鑫 孫天 朱文鳳
審校 | 梅雅鑫
監製｜劉啟誠
-
-
-
-
-
-
-
-
-
-