微软演示 VASA-1 深度伪造因效果太好不适合向公众发布

2024年04月29日15:52:38 科技 1179

站长之家(chinaz.com) 4 月 21 日消息:本周,微软演示了 vasa–1,这是一个基于静态图像、音频样本和文本脚本来创建人物讲话视频的框架,微软声称——这是正确的——这个框架太危险了,不适合向公众发布。

微软演示 VASA-1 深度伪造因效果太好不适合向公众发布 - 天天要闻

这些由 ai 生成的视频,可以让人物以克隆的声音令人信服地配合脚本说话,正是美国联邦贸易委员会上个月警告的那种情形,之前已提出规则以防止利用 ai 技术进行冒充诈骗。

微软团队在宣布中就承认了这一点,他们解释说由于伦理考虑,此技术没有发布。他们坚称,他们展示的研究用于生成虚拟互动人物,而不是为了冒充任何人。因此,没有计划推出任何产品或 api。

微软的研究人员声明:「我们的研究重点是为虚拟 ai 化身生成视觉感知技能,以期望正向应用。」他们接着说,「本意并不是创造用来误导或欺骗的内容。

然而,像其他相关的内容生成技术一样,它仍可能被滥用来冒充人类。我们反对任何创建误导或有害真实人物内容的行为,并且对将我们的技术应用于促进伪造检测感到兴趣。」

生物特征认证公司 token 的主席,也是常谈生成 ai 的演讲者 kevin surace 通过电子邮件告诉 the register,虽然之前有技术演示显示了由静态画面和克隆的声音文件动画化的脸,但微软的示范反映了最新技术状态。

「个性化电子邮件和其他商业群众通信的潜力是巨大的,」他认为。「甚至还包括动画化旧照片。从某种程度上说,这只是好玩,另一方面它有我们在未来几个月和几年内都会使用的实际商业应用。」

网络安全公司 deeptrace 在 2019 年进行评估时发现,深度伪造的「乐趣」在于 96% 是非自愿色情内容。

尽管如此,微软的研究人员认为,能够创造出看起来逼真的人物并将文字放到他们嘴里,是有正面用途的。

他们在一篇研究论文中提出,「此类技术有望丰富数字通信,提高那些有沟通障碍者的可及性,通过互动 ai 辅导转变教育方法,以及在医疗保健中提供治疗支持和社交互动。」值得注意的是,该论文中没有提及「色情」或「假信息」。

尽管有争议,ai 生成的视频不完全等同于深度伪造,后者被定义为数字操纵而不是生成方法,但当一个令人信服的假象可以不用剪切粘贴技术而轻易地被使用时,这种区别就变得无关紧要了。

当被问及微软不向公众发布这项技术以防滥用的事实时,surace 对限制的可行性表示怀疑。

他说:「微软和其他公司目前已经暂停,直到他们解决隐私和使用问题。」他问道,「将如何规范那些出于正确理由使用此技术的人?」

surace 补充说,已经有相似精细的开源模型存在,例如 emo。他说:「人们可以从 github 提取源代码并围绕它构建服务,这可能会与微软的输出相匹敌。」他注意到,「因为这个领域的开源特性,不管怎样,规范它都是不可能的。」

尽管如此,世界各地的国家正在尝试规范 ai 伪造的人物。加拿大、英国等国家都有可以应用于深度伪造的规定,其中一些规定满足了更广泛的政治目标。正是这个星期,英国刚刚使未经同意制作色情深度伪造图像成为非法行为。在英国的 2023 年在线安全法下,分享此类图片已是不允许的。

今年 1 月,美国两党议员提出了 2024 年打击显著伪造图像和非自愿编辑行为法案(defiance act),该法案为非自愿深度伪造图像的受害者在法庭上提起民事诉讼创造了途径。

以及在周二,4 月 16 日,美国参议院司法委员会隐私、技术与法律小组委员会举行了题为「人工智能监管:选举深度伪造」的听证会。

在准备好的声明中,deepmedia 的 ceo rijul gupta 说道:

「深度伪造最令人担忧的方面是,它们能够为坏人提供合理的否认理由,使他们能够将真正的内容视为假的。公众信任的这种侵蚀打击了我们社会结构的核心和民主的基础。人类的大脑天生就相信所见所闻,因此特别容易受到深度伪造的欺骗。随着这些技术变得越来越复杂,它们有可能破坏我们社会所依赖的共同现实感,营造出一种不确定和怀疑的氛围,让公民质疑他们遇到的每一条信息的真实性。

科技分类资讯推荐

Dynabook玳能智慧方案即将亮相2024国际智能制造(上海)论坛 - 天天要闻

Dynabook玳能智慧方案即将亮相2024国际智能制造(上海)论坛

5月31日,由e-works数字化企业网主办的2024国际智能制造(上海)论坛将在上海盛大举行。本届论坛以“推进新型工业化,实现可持续发展”为主题,吸引了包括制造企业高层、智能制造、智能设备、大数据、AI等领域的资深专家学者、知名厂商代表、中介服务机构、咨询公司、研究单位代表等嘉宾共襄盛举,聚焦新型工业化下制造企业的...
重大变革!亚马逊6月1日调整退货处理费,影响所有卖家! - 天天要闻

重大变革!亚马逊6月1日调整退货处理费,影响所有卖家!

重要通知,亚马逊发布最新公告称:自2024年6月1日起将针对除服装和鞋靴之外所有高退货率商品收取退货处理费用,适用于退货率高于各类目特定阈值的商品,目前距离亚马逊开始征收“退货处理费”仅剩2周!那么,什么是高退货率商品?如何查看退货阈值?且听小编细细道来!01什么是高退货率商品?
“科技赋能,助残前行”衡阳市残联举行康复辅具体验交流会 - 天天要闻

“科技赋能,助残前行”衡阳市残联举行康复辅具体验交流会

5月16日,衡阳市残联举行“科技赋能,助残前行”康复辅具体验交流会红网时刻新闻5月16日讯(记者 阳正坤 通讯员 刘勇)当科技遇见助残,赋能开启生命更多可能性。5月16日,全国助残日前夕,衡阳市残联“科技赋能,助残前行”康复辅具体验交流会在湖南玖益医疗科技有限公司举行。衡阳市残联党组书记、理事长张含英出席活动并...
5·17特刊|青岛算力崛起:智慧城市的数据引擎 - 天天要闻

5·17特刊|青岛算力崛起:智慧城市的数据引擎

刊 首 语文/王媛算力,如同一把开启未来之门的钥匙,正以惊人的速度改变着我们的世界。在青岛,算力正成为智慧城市发展的新引擎。5月17日世界电信和信息社会日,在这个象征通信技术进步与信息时代发展的特殊日子,我们以“算力青岛”为主题,探寻这座城市在数字时代展现出的无限生机与活力。
4799 元起,华为 nova12 Ultra 星耀版手机开售 - 天天要闻

4799 元起,华为 nova12 Ultra 星耀版手机开售

IT之家 5 月 17 日消息,据“华为终端”官方微博,华为 nova 12 Ultra 星耀版手机将在今天 10:08 开售,其中 512GB 存储空间版本售 4799 元,1TB 存储空间版本售 5599 元。据介绍,该机采用蓝色后盖设计,印有 nova 系列标志性的字母图案,整体外观与原版 nova 12 Ultra 基本一致。IT之家参考博主 @看山
国行曾售 777777 元,LG 停产可卷曲电视“Signature OLED TV R” - 天天要闻

国行曾售 777777 元,LG 停产可卷曲电视“Signature OLED TV R”

IT之家 5 月 17 日消息,LG 在 2019 年推出了全球首款可卷曲 OLED 电视“Signature OLED TV R”,不过直到 2020 年才对外售卖,而国行更是在 2022 年才开卖,售 777777 元。不过根据韩媒 Chosun 报道,由于销量“微乎其微”,LG 目前已经停产“Signature OLED TV R”,相关生产线被重新用
美ONE首次推出数字人直播,全力“加码”让大促回归用户 - 天天要闻

美ONE首次推出数字人直播,全力“加码”让大促回归用户

图说:美ONE6·18活动正式启动  采访对象提供(下同)5月16日,美ONE“6·18便宜再便宜,淘宝搜索李佳琦”李佳琦超级6·18媒体发布会在上海举行。今年6·18大促,美ONE将以用户需求为核心,主打“便宜再便宜”的价格力优势,并围绕产品力、内容力、服务力全方位“加码”,让大促真正回归用户。美ONE将首次测试数字人直播,...
BECS第八届全球品牌电商峰会在沪举办 共议数字商业增长新动能 - 天天要闻

BECS第八届全球品牌电商峰会在沪举办 共议数字商业增长新动能

图说:峰会现场  采访对象提供(下同)5月16日,由宝尊与Bloomberg Businessweek《商业周刊》联合主办的BECS第八届全球品牌电商峰会在上海成功举办。本届峰会以“新质生产力——数字商业增长新功能”为主题,立足当前国内经济环境和消费市场背景,分析并解释了新质生产力等创新技术在推动电商行业变革的同时,如何为企业和...
iOS 版谷歌 Chrome 浏览器正测试引入“圈选即搜”功能 - 天天要闻

iOS 版谷歌 Chrome 浏览器正测试引入“圈选即搜”功能

IT之家 5 月 17 日消息,谷歌目前已经在 Galaxy S24、Pixel 8 系列手机推出“圈选即搜”功能,而最新消息显示谷歌计划将该功能推向 iOS 版 Chrome 浏览器。消息源 The Mac Observer 近日挖掘 Chromium 提案发现,谷歌计划为 iOS 版 Chrome 浏览器添加“Lens Circle to Search”