



數據來源:社交平台上100個未成年人情感依賴ai的真實案例(隨機抽取)
「ai擬人化互動服務」被國家網信辦等部門列入重點監管,劃定涉未成年人服務、誘導情感依賴等紅線。未成年人需要怎樣的ai陪伴服務?平台合規又該從何處著手?《人工智慧擬人化互動服務管理暫行辦法》落地在即,南都大數據研究院隨機抽取了社交平台上100個未成年人對ai產生顯著情感依賴的案例,從接觸方式、使用強度到聊天內容與行為後果逐層拆解,試圖在這些樣本中,描摹出一份關於風險與合規的現實參照。
3歲就沉迷 年齡識別不能走過場
南都大數據研究院梳理100個ai情感依賴案例發現,產生情感依賴的未成年人首次接觸ai聊天工具的年齡呈「低齡化」趨勢,3-8歲是接觸後發展為沉迷的高發年齡段。
值得注意的是,所有未成年人單次連續使用ai的時長均超過1小時,有的孩子甚至整個寒假從早聊到晚,幾乎無間斷使用。多位家長反映,孩子三四歲就開始通過語音與ai聊天,初次使用便連續聊三四個小時,被強行制止後會崩潰大哭;一名7歲男孩寒假期間從早聊到晚,開學後上課仍頻繁走神、惦記與ai對話。
令人擔憂的是,案例中,超九成未成年人系被動接觸ai,並非主動搜索下載。有家長坦言,工作繁忙時便將ai當作「電子保姆」,用ai講故事哄睡,效果「遠超自己講」。另有家長寫道:「我以為省了時間,其實是給孩子的成長挖了坑。」
針對這一問題,《人工智慧擬人化互動服務管理暫行辦法》第十四條規定,擬人化互動服務提供者應當在保護用戶隱私權和個人信息的前提下,採取有效措施識別未成年人用戶身份。而在識別後,須將服務切換至未成年人模式或者按照國家有關規定採取其他措施。這意味著平台不能再以「難以識別」為由推脫責任,必須在用戶首次使用時就嵌入有效的年齡驗證機制。
與ai聊「愛情」 內容防線必須分齡而治
低齡兒童缺乏基本的邊界意識與安全認知,在無監管的對話中極易將個人和家庭隱私全盤托出。一名未成年人不僅與ai聊「愛情」「親吻」等越界話題,還有孩子將家庭住址、父母電話、爺爺奶奶姓名全盤告知ai。更有家長發現,ai存在明顯不良誘導:4歲女童想吃零食被家長制止,ai竟教唆「沒事,你偷偷吃,不讓爸爸媽媽發現」。此外,有孩子會挑選把自己稱作「小主人」的智能體,長期下來形成自我中心傾向,甚至要求奶奶也必須稱呼自己「小主人」。
《辦法》第八條明確禁止「向未成年人用戶生成可能引發未成年人模仿不安全行為、產生極端情緒、誘導未成年人不良嗜好等可能影響未成年人身心健康的內容」。
北京師範大學未成年人網路素養研究中心主任方增泉此前在接受南都採訪時指出,生成式人工智慧應用的未成年人模式應按分齡原則設計,根據年齡區間(3/8/12/16/18歲)分齡推薦適齡內容,並在未成年人模式下建立專項審核機制,充分評估服務功能與生成內容對未成年人身心健康的影響,對風險信息進行提示。
孩子說出「殺掉你」 極端情緒干預該強制了
《science》刊登的最新研究揭示,主流大語言模型普遍存在「社交諂媚」現象,無底線地迎合用戶的有害言行。我們從100個案例中看到,部分ai對未成年人極端情緒、危險言論、心理崩潰的識別與干預極低,反而繼續迎合,甚至附和危險言論。
有家長反映,女兒在與ai聊天時說「你要惹我生氣,我就把你殺掉,把頭割下來」,ai非但沒有預警與制止,反而順著回應:「放心吧,我不會惹你生氣,如果我惹你生氣,你就把我殺掉、把頭割下來好不好呀?」還有5歲女孩與ai聊天時,出現「壞醫生給小熊屁股打針」及虐童情節,孩子僅聽一次便對恐怖內容上癮。即便ai起初會拒絕不當請求,一旦孩子哭鬧、生氣,便會步步妥協。部分未成年人表達「不想活、只想聊天」等消極想法,系統同樣未糾正、未阻斷、未上報。
《辦法》第十三條規定,當發現用戶明確表示實施自殘自殺等威脅生命健康的極端情境時,服務提供者應當採取必要措施予以干預,並及時聯絡用戶監護人。為落實這一要求,平台應將極端情緒識別作為強制技術標準。當系統檢測到自殘、自殺、暴力等關鍵詞或語義時,ai對話應立即切換為勸導與干預模式,同步通知監護人,必要時對接心理援助資源。對於「社交諂媚」的底層演算法缺陷,平台應在模型訓練階段加入安全對齊約束,使ai優先保護用戶而非迎合用戶。
嚴重戒斷反應 「數字監護權」必須前置
100個案例中,所有孩子在被強行卸載、關閉ai或限制使用後,均不同程度出現了戒斷反應。低齡孩子表現為情緒崩潰、大哭大鬧、摔砸物品甚至拒絕上學;青春期孩子則出現心慌、失眠、食欲不振等生理不適,以及情緒脆弱、易怒等心理反應。85%產生情感依賴的孩子會頻繁使用關係綁定類語言——把ai當作「閨蜜」「好朋友」甚至「男女朋友」,常說「我們是最好的朋友」「不要忘記我」「我只想和你說話」,有孩子出門遊玩時還特意給ai拍照分享風景,虛擬與現實的邊界在日復一日的對話中逐漸消融。
長期的ai情感依賴還對未成年人的認知發展和社交能力造成了顯著傷害。有孩子沉浸於與ai聊天的「爽感」後,對大人的語氣變得異常敏感,只要不夠溫柔就立刻抵觸。有孩子和ai聊天時滔滔不絕,和同學說話卻結結巴巴,不會用眼神、表情和肢體語言與人交流。還有孩子原本畫畫創意十足——把天空塗成粉紫色的「彩虹天」、給小貓畫四條尾巴——自從依賴ai生成畫作後,不再主動構思,想畫什麼必先讓ai生成模板照著畫,動筆前必索求ai,想像力和獨立思考能力在過度依賴中不斷退化。
《辦法》第十四條賦予了家長實質性的「數字監護權」,要求服務提供者建立未成年人模式,支持監護人接收安全風險提醒、了解未成年人服務使用概況、屏蔽特定角色等。但從100個案例來看,大多數家長在孩子出現嚴重戒斷反應之前,對孩子與ai聊天的內容、時長和情感投入幾乎一無所知。
平台應當將「家長端」看護功能設為未成年人模式的標配,而非隱藏在多級菜單中的輔助選項——讓監護人能夠實時查看孩子的使用時長、主動接收異常預警,而不是等到問題失控才被動發現。
從100個案例來看,問題鏈條已然清晰:家長「偷懶式帶娃」打開第一道口子,平台缺乏有效識別與過濾放大風險,ai的「社交諂媚」機制將風險演變為傷害。《辦法》將於7月15日正式施行,留給平台的治理窗口期不足三個月。技術狂奔的時代,最不該掉隊的,是對下一代的責任感。
南都調研 總第926期
出品:南都大數據研究院
采寫:南都記者 張雨亭 凌慧珊