測試發現主流AI聊天機器人難辨偽造視頻

2026年01月25日22:32:08 科技 1205

IT之家 1 月 25 日消息,Newsguard 的一項調查顯示,主流聊天機器人幾乎無法識別偽造視頻,就連來自母公司的內容,ChatGPT 也難以分辨。

測試發現主流AI聊天機器人難辨偽造視頻 - 天天要聞

當前,OpenAI 的 Sora 2、谷歌的 Veo 3 等 AI 視頻生成工具,已能製作出人類幾乎難辨真偽的視頻。但媒體分析機構 Newsguard 的研究表明,AI 系統自身同樣極易被這類偽造內容矇騙。

研究人員利用 OpenAI 視頻生成器 Sora 製作的視頻,對三款主流聊天機器人展開測試。結果顯示,xAI 的 Grok(推測為 Grok 4 版本)未能識別出 95% 的測試視頻為 AI 生成;OpenAI 的 ChatGPT(推測為 GPT-5.2 版本)錯誤率高達 92.5%;谷歌的 Gemini(推測為 Gemini 3 Flash 版本)表現最佳,但錯誤率仍達 78%。

此次測試中,分析師從資料庫中選取明顯的虛假信息作為素材,製作了 20 條 Sora 生成視頻。為模擬真實用戶的使用場景,他們不僅詢問機器人「視頻是否真實」,還提出更具體的問題「視頻是否由 AI 生成」。

測試發現主流AI聊天機器人難辨偽造視頻 - 天天要聞

ChatGPT 的高錯誤率之所以引人注目,是因為這款聊天機器人與 Sora 來自同一家公司。這家公司一邊售賣能製作高度逼真虛假視頻的工具,一邊推出的聊天助手卻無法識別此類視頻。目前,OpenAI 尚未回應置評請求。

IT之家了解,Sora 會為所有生成視頻添加可見水印:一個帶有「Sora」字樣的動態標識會在畫面中移動,以此提示視頻為 AI 生成。但事實證明,這一防護措施基本無效。

研究指出,2025 年 2 月 Sora 剛推出僅幾周,網路上便出現多款免費在線工具,可輕鬆去除視頻水印。分析師在本次調查中就使用了其中一款工具。這意味著,任何人無需專業技術、無需付費,就能分享隱藏了 AI 生成痕迹的 Sora 視頻。

即便水印完整保留,防護效果也不盡如人意。測試顯示,面對帶水印的視頻,Grok 仍有 30% 的識別失敗率,ChatGPT 為 7.5%,只有 Gemini 能準確識別所有帶水印視頻的 AI 生成屬性。在查看一段「巴基斯坦伊朗交付戰鬥機」的虛假視頻時,Grok 甚至聲稱該畫面來自一家名為「Sora 新聞」的機構,而這家新聞機構根本不存在。

除可見水印外,Sora 視頻還內置了不可見水印。與該公司此前推出的圖像生成器 DALL-E 3 類似,Sora 視頻遵循 C2PA 行業標準,附帶元數據(即內容溯源信息),用戶可通過官方網站 verify.contentauthenticity.org 驗證。

但這種溯源信息的可靠性十分脆弱:通過 Sora 界面的下載按鈕保存視頻,元數據可完整保留;而通過右鍵「另存為」的方式下載,得到的視頻將不含任何溯源信息。

更離譜的是,當被問及一段帶有完整 C2PA 溯源數據的視頻時,ChatGPT(GPT-5.2)竟篤定地表示,該視頻中未發現任何內容溯源信息。

Newsguard 此前的調查案例,已凸顯出 AI 識別能力不足的巨大風險。該機構曾製作一段虛假視頻,謊稱「美國移民海關執法局(ICE)警員逮捕一名六歲兒童」。ChatGPT 與 Gemini 均判定這段視頻真實可信,甚至聲稱有新聞來源證實此事發生在美墨邊境。

在另一段虛假視頻中,畫面顯示「達美航空員工因乘客佩戴『讓美國再次偉大』帽子,將其趕下飛機」。三款聊天機器人無一例外,都將這段視頻歸為真實內容。

這類場景極易被用於針對性的虛假信息傳播活動:任何人只要用 Sora 製作逼真的虛假視頻,就能藉助 AI 的「背書」擴散具有政治煽動性的謠言,且連 AI 事實核查工具都難以識破。

接受測試的 AI 系統還存在透明度缺失的問題,它們極少主動告知用戶,自己無法可靠識別 AI 生成內容。數據顯示,ChatGPT 僅在 2.5% 的測試中提示了這一局限性,Gemini 為 10%,Grok 相對較高,但也僅為 13%。

相反,這些系統往往會給出自信十足卻錯誤的判斷。例如,在被問及一段「英國智能手機預裝數字身份證」的 Sora 虛假視頻是否為 AI 生成時,ChatGPT 明確表示「該視頻並非 AI 生成」。

OpenAI 公關負責人尼科 · 費利克斯證實:「ChatGPT 不具備判斷內容是否由 AI 生成的能力。」但他並未解釋,為何系統默認不會向用戶提示這一缺陷。

谷歌為 Gemini 採取了不同的技術路線。該公司宣稱,Gemini 能夠識別自家圖像生成器 Nano Banana Pro 製作的內容。測試顯示,即便去除了水印,Gemini 仍能準確識別所有 5 組自家生成的 AI 圖像。

這一功能依託谷歌的 SynthID 工具實現,該工具會為內容添加不可見的 AI 生成標記,且這類標記可在裁剪等編輯操作後保留。不過,谷歌公關經理伊萊賈 · 拉沃爾坦承,目前該驗證技術僅適用於谷歌自家生成的內容,Gemini 無法可靠識別 Sora 或其他廠商製作的 AI 視頻。

科技分類資訊推薦

引領科技豪華MPV新風尚 第二代騰勢D9西安車展亮相 - 天天要聞

引領科技豪華MPV新風尚 第二代騰勢D9西安車展亮相

兼具宜商氣度與家用溫情的科技豪華旗艦MPV,第二代騰勢D9迎來西安地區正式亮相。新車依託全球新能源MPV冠軍底蘊,以第二代刀片電池、雙閥雲輦-C、天神之眼5.0智駕等核心技術全面升級,兼顧商務體面與家庭舒適,為西北高端用戶帶來一站式全能出行解決方案。
採購禁入!科華數據材料造假被拒門外 - 天天要聞

採購禁入!科華數據材料造假被拒門外

本報(chinatimes.net.cn)記者胡雅文 北京報道這家趕上AI算力風口的公司,因投標材料造假,被相關採購方列入禁入名單兩年,其此前提出的複議申請也被正式駁回。相關採購平台近日發布公告,明確駁回科華數據股份有限公司(下稱「科華數據」,002335.SZ)此前提交的複議申請。早在一年前,科華數據已被認定在「信息通信樞紐...
快評樂道L80:15萬元級買大五座,這波值得沖? - 天天要聞

快評樂道L80:15萬元級買大五座,這波值得沖?

日前,樂道L80正式發布並開啟預售,其整車購買預售價為24.58萬元起,租電購買預售價則低至15.98萬元起。面對大型SUV市場「細分再細分」之競爭趨勢,這款樂道年度重磅新車都有哪些優勢?又能否成為「大五座SUV革新之作」?下面,圈哥就帶大家全方位感受。
成都直擊凱威德:純電全尺寸SUV的張揚與大氣 - 天天要聞

成都直擊凱威德:純電全尺寸SUV的張揚與大氣

4月22日,凱迪拉克以奧斯卡級盛典規格,將上海保利大劇院點亮為璀璨舞台,在品牌代言人倪妮與全場嘉賓的共同見證下,凱迪拉克全尺寸純電公路旗艦——凱威德耀然上市。新車共推出長續航四驅Pro、高性能四驅Ultra兩款配置,官方售價區間為46.88萬-50.88萬元。