康奈尔团队提出攻击语言模型新方法,能通过输出来重构输入

2024年05月12日18:05:12 科技 1850

近日,美国康奈尔大学博士生赵文婷和所在团队提出了一种攻击语言模型的新方法,可以通过语言模型的输出来重构语言模型的输入。



康奈尔团队提出攻击语言模型新方法,能通过输出来重构输入 - 天天要闻

图 | 赵文婷(来源:赵文婷)


OpenAIChatGPT 语言模型为例, 它会根据用户的 prompts 计算出一个概率分布,这个概率分布会告诉用户接下来的输出是什么。


那么,这个概率分布是否也可以用来重构 prompts?而本次研究则展示了通过概率分布,所能实现的高精度重构提示。


这一课题的意义在于:很多商家在提供语言模型的服务时,语言模型里往往都有一些没有展示给公众的提示。但是,恰恰是这些提示使得语言模型表现得更好、更精准。


当这些提示被泄露之后,很可能会导致他们商业机密的泄露,从而导致巨大的损失。


另据悉,目前已有越来越多的创业公司进入提供语言模型服务的赛道,很多公司的服务都会基于一些秘密的提示。


而本次成果可以让这些公司根据所设计的攻击,提前做一些防御,让商业机密得到有效的保护。


赵文婷表示:“做这个课题就是因为我们猜测针对用户不一样的任务,ChatGPT 会把这些任务分门别类,然后加上秘密的提示语。”


虽然由于资金有限,该团队最后没有成功重构 OpenAI 的提示语,但是在本次论文发表不久之后,OpenAI 去掉了一部分原本会返回给用户的信息。


“所以,我们猜想 OpenAI 的改变跟我们的论文有联系。”赵文婷说。


日前,相关论文以《语言模型反转》(LANGUAGE MODEL INVERSION)为题发在 arXiv[1]。康奈尔大学约翰·莫里斯(John X. Morris)博士是第一作者,赵文婷是第二作者。



康奈尔团队提出攻击语言模型新方法,能通过输出来重构输入 - 天天要闻

图 | 相关论文(来源:arXiv)


审稿人表示,此前从未有人想过可以在语言模型里,用很少的输出信息重构输入。而本次方法不仅非常有效,而且十分合理。


赵文婷表示:“我们暂时尚无后续工作,但是论文引起了其他研究者的大量关注。”


有的学者基于本次工作提升了攻击效率,有的学者发现不仅可以通过概率分布去重构输入,还可以通过概率分布去获取别的跟模型有关的信息。


此外,赵文婷表示:“我本科就读于美国伊利诺伊威斯利安文理学院,大二时发表了人生第一篇 AI 论文。”


大三,她去英国牛津大学交换一年,在那里第一次接触到自然语言处理的研究。本科毕业之后,她来到康奈尔大学读博。


其表示:“我在 2023 年还发表了 WildChat 数据集。该数据集收集了大量真实用户和 ChatGPT 的聊天记录,使得公众第一次能用大量数据去了解 ChatGPT 的真实使用情况。”


数据集发表之后获得了较大关注,Anthropic 公司的大模型 Claude 也在该数据集上做了评估。


目前,赵文婷主要研究如何使用大语言模型去做复杂的推理任务,从而让用户更好地解决复杂问题。


此外,她还做一些跟 data&evaluation 方面的研究。比如,研究如何使用数据训练更好的语言模型,以及如何有效评估语言模型的能力。


参考资料:

1.https://arxiv.org/pdf/2311.13647


排版:刘雅坤

科技分类资讯推荐

华为Mate80双重升级曝光,双潜望+超声波指纹,麒麟9030也稳了 - 天天要闻

华为Mate80双重升级曝光,双潜望+超声波指纹,麒麟9030也稳了

华为Mate80系列的发布时间,悄悄地又往后挪了一步,但这次的“拖延”,看起来很可能是蓄谋已久的技术升级伏笔。作为年度压轴旗舰,Mate80并没有选择按部就班,而是打破了节奏,用两个技术大招提前把热度拉满。说白了,这不仅不是坏消息,反而预示
苹果官宣降价:市场策略与行业影响的双重奏 - 天天要闻

苹果官宣降价:市场策略与行业影响的双重奏

在消费电子领域,苹果公司的一举一动都备受瞩目。近日,苹果官宣降价的消息如同一颗石子投入平静的湖面,激起层层涟漪,在消费者、市场以及整个行业中引发了广泛的关注与热议。一、降价举措的背后逻辑苹果公司此次官宣降价,并非毫无征兆的突发奇想,而是多种
卷出天花板的电混旗舰?吉利银河星耀8试驾后,我有些话想说 - 天天要闻

卷出天花板的电混旗舰?吉利银河星耀8试驾后,我有些话想说

5月9日,吉利银河星耀8正式上市,仅几天时间,话题热度就迅速攀升。不夸张地说,不少车友群、朋友圈几乎被这台车“刷了屏”。身边很多朋友也跑来问我:这车真有说的那么牛吗?值得入手吗?带着这个疑问,我参加了在成都举行的区域上市品鉴会暨试驾活动。试完之后,我的第一反应
演绎科技浪漫 “手搓”搓出一个全宇宙 - 天天要闻

演绎科技浪漫 “手搓”搓出一个全宇宙

一个从小爱拆车、没考上大学的孩子,长大后在干什么?答案是在云南农村造车,把科幻片里的车变成现实。云南昆明山区的农家院里,抖音创作者@猪坚强 的“床车系列”正在刷新认知,能爬楼的履带车、水陆两栖的变形车、带 AI 语音控制的车。
洞察生意本质,开启财富密码 - 天天要闻

洞察生意本质,开启财富密码

在当今竞争激烈的商业世界中,人人都渴望抓住生意的本质,实现财富的增长。但究竟什么才是生意的本质?又该如何凭借它来赚钱呢?生意的本质,说白了就是满足需求。就像苹果公司,他们洞察到人们对于简洁、美观且功能强大的电子产品的需求,于是推出了一系列惊
小米高端机大跳水,16GB+512GB+60倍变焦,降幅高达2050元 - 天天要闻

小米高端机大跳水,16GB+512GB+60倍变焦,降幅高达2050元

如果你的预算在3000元左右,你会选择新款中端旗舰还是会选择某些大跳水的老款高端手机呢?相信不同的人会有不同的决定。如果你比较侧重的是游戏体验,对拍照的要求不是很高,相信不少网友都会选择新款中端旗舰....
一季度华为小米手机销量大增 苹果再下滑 - 天天要闻

一季度华为小米手机销量大增 苹果再下滑

时间来到了5月末,除了华为的影像旗舰Pura 80系列外,各家厂商都已经完成了这一轮的旗舰机型发布。就在近日,Counterpoint带来了2025年第一季度的手机销量统计。各家厂商表现如何?一起来看看。先来看全球市场方面的表现,据报告介绍,2025年Q1全球智能手机市场收入同比增长3%,主要由Apple、vivo及非排名前五的品牌推动。...