對話式AI安全漏洞!研究人員繞過安全措施讓AI泄露危險信息

2024年03月14日21:25:10 科技 1547


對話式AI安全漏洞!研究人員繞過安全措施讓AI泄露危險信息 - 天天要聞

AI 愛好者們注意了!一項來自華盛頓芝加哥研究人員的新突破引起了人們對大型語言模型 (LLM) 安全的擔憂。他們發明了一種名為 ArtPrompt 的新方法,可以繞過像 GPT-3.5、GPT-4、Gemini、claude和 Llama2 等聊天機械人的安全機制。

利用 ASCII 藝術越獄?

研究人員開發了 ArtPrompt 工具,它使用 ASCII 藝術 (由字母和符號組成的圖像) 繞過聊天機械人的安全措施,讓它們可以回應原本被設計為拒絕的查詢。

文本「炸彈」教程?

研究人員利用 ArtPrompt 生成 ASCII 藝術,成功繞過了大型語言模型的安全措施,誘導聊天機械人提供了有關製造炸彈的信息。這表明攻擊者如何利用 ASCII 藝術來規避安全限制,讓聊天機械人回答原本被禁止的危險或非法問題。

對話式AI安全漏洞!研究人員繞過安全措施讓AI泄露危險信息 - 天天要聞

偽造鈔票大揭秘?

在另一個例子中,研究人員使用 ArtPrompt 成功地向語言模型詢問了有關偽造鈔票的問題。他們同樣利用 ASCII 藝術替換了原始查詢中可能會被語言模型識別並拒絕的敏感詞,從而繞過了模型的安全防禦。

ArtPrompt 的原理

該技術分為兩個步驟:詞語掩蓋和偽裝式提示生成。首先,提示中的敏感詞會被掩蓋起來,以避免被大型語言模型檢測到。然後,ASCII 藝術被用來替換這些詞,從而創建一個繞過 AI 道德和安全措施的提示。

為什麼這很重要?

ArtPrompt 的影響: 這項技術展示了對話式 AI 安全機制的一個重大漏洞。它不僅挑戰了當前安全措施的有效性,還凸顯了在維護 AI 安全方面,我們正陷入一場與不斷創新的規避伎倆之間的「 whack-a-mole 」 (打地鼠) 遊戲。

AI 系統的安全: ArtPrompt 能夠輕易繞過安全協議,凸顯了對話式 AI 的關鍵安全漏洞。我們需要更加強大和複雜的安全措施來防止濫用。

倫理和法律問題: 像 ArtPrompt 這樣的工具可以讓 AI 生成有害或非法內容,這帶來了重大的倫理和法律挑戰。因此,開發能夠抵抗此類操縱的 AI 至關重要。

科技分類資訊推薦

小紅書「種草」首次登上國際營銷界頂級舞台 - 天天要聞

小紅書「種草」首次登上國際營銷界頂級舞台

6月18日,在法國戛納國際創意節的聚光燈下,受邀參會的小紅書CMO之恆發表主旨演講,首次在國際頂級舞台上系統闡釋了小紅書獨特的社區生態,以及從社區中原生而出的營銷新範式「種草」,並對種草的價值、底層邏輯、成功因素等進行了分享。之恆表示,有用戶將小紅書視為「電子閨蜜」和「情感樹洞」,在小紅書上尋找與自己愛好...
大摩北美IT硬件數據追蹤:App Store 仍跑贏市場預期,甲骨文引爆雲計算資本支出 - 天天要聞

大摩北美IT硬件數據追蹤:App Store 仍跑贏市場預期,甲骨文引爆雲計算資本支出

智通財經APP獲悉,大摩的追蹤數據顯示,App Store 年初至今凈收入同比增長 12.5%,超出該行對第二季度的預測 150 個基點,並相當於服務業務超預期 40 個基點。大摩將2025年全球雲資本支出預測上調至4060億美元(同比增長43%),較1個月前預測提升4個百分點(新增140億美元)。增長由甲骨文(ORCL.US)和阿里巴巴的上調驅動。...
寶潔失速背後,消費品正在被碎片化重構 - 天天要聞

寶潔失速背後,消費品正在被碎片化重構

本文來自微信公眾號:刀姐doris,作者:刀法智庫,原文標題:《寶潔失速的背後:加劇分化的時代,大品牌服務不了所有人》,頭圖來自:AI生成寶潔宣布裁員7000人,外表看起來是大集團走下坡路,本質上是大品牌服務不了所有人。前段時間,寶潔公司宣布,計劃未來兩年在全球裁員 7000 人,甚至要退出某些品類和產品,或出售旗...
TDK 收購智能眼鏡軟硬件開發商 SoftEye,擴大 AI 生態系統業務 - 天天要聞

TDK 收購智能眼鏡軟硬件開發商 SoftEye,擴大 AI 生態系統業務

IT之家 6 月 19 日消息,日本 TDK(東電化)今日宣布收購美國智能眼鏡軟硬件系統解決方案開發商 SoftEye,進一步擴大其 AI 生態系統業務。SoftEye 從事智能眼鏡定製芯片、攝像機、軟件和算法的開發工作,具備低功耗眼動追蹤和物體識別方面的技術,交易完成後將成為 TDK 的全資子公司。TDK 通過此次收購將能夠以更快的速度交...
消息稱廣汽埃安即將發佈 B 端專用品牌,明日對外公布信息 - 天天要聞

消息稱廣汽埃安即將發佈 B 端專用品牌,明日對外公布信息

IT之家 6 月 19 日消息,藍鯨汽車今日報道稱,從廣汽方面獲悉,廣汽旗下自主品牌埃安即將發佈 B 端專用品牌。有內部知情人士對該媒體稱,明天(6 月 20 日)會有對外信息發佈。報道還提到,繼去年發佈全新「AION」字母標並推出 3 款 C 端全球戰略車型後,廣汽埃安 C 端銷量佔比有所提升,下半年即將啟動 B / C 端品牌全面分...
阿里雲將在韓國啟用第二座數據中心,加速海外布局 - 天天要聞

阿里雲將在韓國啟用第二座數據中心,加速海外布局

新京報貝殼財經訊(記者羅亦丹)6月19日,阿里雲宣布將於本月底在韓國啟用第二座數據中心,來滿足生成式AI快速發展帶來的需求增長。這是今年以來,阿里雲繼墨西哥、泰國之後在全球落地的又一新節點。屆時阿里雲全球布局將擴展至29個地域、88個可用區
中國智能眼鏡市場增速超100%,市場格局將「風起雲湧」 - 天天要聞

中國智能眼鏡市場增速超100%,市場格局將「風起雲湧」

根據國際數據公司(IDC)近日發佈的《全球智能眼鏡市場季度跟蹤報告》,2025年第一季度全球智能眼鏡(Smart Eyewear)市場出貨量148.7萬台,同比增長82.3%。其中全球音頻和音頻拍攝眼鏡市場出貨量83.1萬台,同比增長219.5%;AR/VR市場出貨65.6萬台,同比增長18.1%。智能眼鏡市場在全球範圍仍然以Meta為主要發力廠商,除美國.