微软演示 VASA-1 深度伪造因效果太好不适合向公众发布

2024年04月29日15:52:38 科技 1179

站长之家(chinaz.com) 4 月 21 日消息:本周,微软演示了 vasa–1,这是一个基于静态图像、音频样本和文本脚本来创建人物讲话视频的框架,微软声称——这是正确的——这个框架太危险了,不适合向公众发布。

微软演示 VASA-1 深度伪造因效果太好不适合向公众发布 - 天天要闻

这些由 ai 生成的视频,可以让人物以克隆的声音令人信服地配合脚本说话,正是美国联邦贸易委员会上个月警告的那种情形,之前已提出规则以防止利用 ai 技术进行冒充诈骗。

微软团队在宣布中就承认了这一点,他们解释说由于伦理考虑,此技术没有发布。他们坚称,他们展示的研究用于生成虚拟互动人物,而不是为了冒充任何人。因此,没有计划推出任何产品或 api。

微软的研究人员声明:“我们的研究重点是为虚拟 ai 化身生成视觉感知技能,以期望正向应用。”他们接着说,“本意并不是创造用来误导或欺骗的内容。

然而,像其他相关的内容生成技术一样,它仍可能被滥用来冒充人类。我们反对任何创建误导或有害真实人物内容的行为,并且对将我们的技术应用于促进伪造检测感到兴趣。”

生物特征认证公司 token 的主席,也是常谈生成 ai 的演讲者 kevin surace 通过电子邮件告诉 the register,虽然之前有技术演示显示了由静态画面和克隆的声音文件动画化的脸,但微软的示范反映了最新技术状态。

“个性化电子邮件和其他商业群众通信的潜力是巨大的,”他认为。“甚至还包括动画化旧照片。从某种程度上说,这只是好玩,另一方面它有我们在未来几个月和几年内都会使用的实际商业应用。”

网络安全公司 deeptrace 在 2019 年进行评估时发现,深度伪造的“乐趣”在于 96% 是非自愿色情内容。

尽管如此,微软的研究人员认为,能够创造出看起来逼真的人物并将文字放到他们嘴里,是有正面用途的。

他们在一篇研究论文中提出,“此类技术有望丰富数字通信,提高那些有沟通障碍者的可及性,通过互动 ai 辅导转变教育方法,以及在医疗保健中提供治疗支持和社交互动。”值得注意的是,该论文中没有提及“色情”或“假信息”。

尽管有争议,ai 生成的视频不完全等同于深度伪造,后者被定义为数字操纵而不是生成方法,但当一个令人信服的假象可以不用剪切粘贴技术而轻易地被使用时,这种区别就变得无关紧要了。

当被问及微软不向公众发布这项技术以防滥用的事实时,surace 对限制的可行性表示怀疑。

他说:“微软和其他公司目前已经暂停,直到他们解决隐私和使用问题。”他问道,“将如何规范那些出于正确理由使用此技术的人?”

surace 补充说,已经有相似精细的开源模型存在,例如 emo。他说:“人们可以从 github 提取源代码并围绕它构建服务,这可能会与微软的输出相匹敌。”他注意到,“因为这个领域的开源特性,不管怎样,规范它都是不可能的。”

尽管如此,世界各地的国家正在尝试规范 ai 伪造的人物。加拿大、英国等国家都有可以应用于深度伪造的规定,其中一些规定满足了更广泛的政治目标。正是这个星期,英国刚刚使未经同意制作色情深度伪造图像成为非法行为。在英国的 2023 年在线安全法下,分享此类图片已是不允许的。

今年 1 月,美国两党议员提出了 2024 年打击显著伪造图像和非自愿编辑行为法案(defiance act),该法案为非自愿深度伪造图像的受害者在法庭上提起民事诉讼创造了途径。

以及在周二,4 月 16 日,美国参议院司法委员会隐私、技术与法律小组委员会举行了题为“人工智能监管:选举深度伪造”的听证会。

在准备好的声明中,deepmedia 的 ceo rijul gupta 说道:

“深度伪造最令人担忧的方面是,它们能够为坏人提供合理的否认理由,使他们能够将真正的内容视为假的。公众信任的这种侵蚀打击了我们社会结构的核心和民主的基础。人类的大脑天生就相信所见所闻,因此特别容易受到深度伪造的欺骗。随着这些技术变得越来越复杂,它们有可能破坏我们社会所依赖的共同现实感,营造出一种不确定和怀疑的氛围,让公民质疑他们遇到的每一条信息的真实性。

科技分类资讯推荐

国美重心正“南迁”?黄光裕到底在忙什么 - 天天要闻

国美重心正“南迁”?黄光裕到底在忙什么

“有三分把握,我就敢去做”,“一有机会绝对要出击,我属于这一种”。国美创始人黄光裕曾有不少经典发言。他说过,三分就是一种感觉,“并不是没想清楚、没看明白就去做,大意就是想、调整和做基本上同步进行,不要多谋少决。”从前的黄光裕信奉的是“边做边修正”,现在亦如是。重返商界近4年,国美先后尝试了不同的赛道...
宇通新能源客车创纪录:无故障运营90万公里历程 - 天天要闻

宇通新能源客车创纪录:无故障运营90万公里历程

在新能源汽车的快速发展浪潮中,中国新能源客车行业再次站在了世界舞台的中央。近日,一则振奋人心的消息从广东传来:宇通新能源客车在惠州至深圳的208路公交线路上,成功创下了90万公里无故障运营的惊人纪录。
本篇旨在终结对机器人能否产生意识的讨论! - 天天要闻

本篇旨在终结对机器人能否产生意识的讨论!

在科技飞速发展的今天,关于人工智能(AI)与机器人是否会发展出自我意识并进而反抗人类的问题,一直是科幻作品热衷探讨的题材,也是现实世界中伦理、哲学和技术领域激烈争论的焦点。然而,这一讨论往往基于对生命本质的误解和对技术边界的模糊认识。
小米终于妥协,2K屏旗舰跌至2205元起,骁龙8Gen2+16GB+1TB - 天天要闻

小米终于妥协,2K屏旗舰跌至2205元起,骁龙8Gen2+16GB+1TB

降价速度快是智能手机的常态,因为行业发展速度快的同时,行业竞争又非常激烈,每个月都会有众多新机登场吸引消费者的目光,所以旧机型想要持续销售出去只能不断降价,即使是很多高性价比手机也不例外,虽然它们一开始的利润空间就不大,但既然走的是高性价比路线,所以后续也需要不断降价维持自身的高
5699 元,三星 Galaxy S23 Ultra 手机 12GB+256GB 售价创新低 - 天天要闻

5699 元,三星 Galaxy S23 Ultra 手机 12GB+256GB 售价创新低

IT之家 5 月 17 日消息,三星京东自营官方旗舰店日前开启 618 提前购活动, Galaxy S23 Ultra 手机 12GB+256GB 版售价降至 5699 元,较发布价直降 4000 元。三星 Galaxy S23 系列全系搭载高频版骁龙 8 Gen 2 处理器,Galaxy S23 Ultra 配备了全新的 200MP 广角摄像头,此外还有两
这个国家级智能语音创新中心,颠覆你的耳朵 - 天天要闻

这个国家级智能语音创新中心,颠覆你的耳朵

向东,是中国科学技术大学高新校区;向北,是合肥市政府与中国科学院合肥物质科学研究院共同设立的合肥创新院——位于安徽合肥的中国声谷,是全国首个人工智能领域的国家级产业基地,已入驻科大讯飞、华米科技等2000余个企业,年产值超2000亿元。
谁是中美科技巨头中的“AI 并购之王”? - 天天要闻

谁是中美科技巨头中的“AI 并购之王”?

来源丨IT桔子作者丨吴梅梅封面图来源|Pexels这几天,微软中国曝出了炸弹级别的消息——与 AI 业务相关的重要部门(涉及数百人团队)将被整体搬迁至美国或澳大利亚等地,员工也可以选择离职。这个消息被媒体理解为“微软裁员/撤出中国”,它略微有夸张的成分,我们不做过多解读,这次只想探讨 AI。在现代科技的浪潮中,人工...
超360家企业带来1500多种展品,第六届中国(上海)国际计量测试技术和设备博览会在沪开幕 - 天天要闻

超360家企业带来1500多种展品,第六届中国(上海)国际计量测试技术和设备博览会在沪开幕

图说:第六届中国(上海)国际计量测试技术和设备博览会在上海世博展览馆开幕 新民晚报记者 金旻矣 摄(下同)出租车计价器、血压计、加油机、电子秤、电表、眼镜度数……计量,与百姓的生活息息相关。在第25个“世界计量日”来临之际,第六届中国(上海)国际计量测试技术与设备博览会(以下简称“计量博览会”)今天在上...