微软演示 VASA-1 深度伪造因效果太好不适合向公众发布

2024年04月29日15:52:38 科技 1179

站长之家(chinaz.com) 4 月 21 日消息:本周,微软演示了 vasa–1,这是一个基于静态图像、音频样本和文本脚本来创建人物讲话视频的框架,微软声称——这是正确的——这个框架太危险了,不适合向公众发布。

微软演示 VASA-1 深度伪造因效果太好不适合向公众发布 - 天天要闻

这些由 ai 生成的视频,可以让人物以克隆的声音令人信服地配合脚本说话,正是美国联邦贸易委员会上个月警告的那种情形,之前已提出规则以防止利用 ai 技术进行冒充诈骗。

微软团队在宣布中就承认了这一点,他们解释说由于伦理考虑,此技术没有发布。他们坚称,他们展示的研究用于生成虚拟互动人物,而不是为了冒充任何人。因此,没有计划推出任何产品或 api。

微软的研究人员声明:「我们的研究重点是为虚拟 ai 化身生成视觉感知技能,以期望正向应用。」他们接着说,「本意并不是创造用来误导或欺骗的内容。

然而,像其他相关的内容生成技术一样,它仍可能被滥用来冒充人类。我们反对任何创建误导或有害真实人物内容的行为,并且对将我们的技术应用于促进伪造检测感到兴趣。」

生物特征认证公司 token 的主席,也是常谈生成 ai 的演讲者 kevin surace 通过电子邮件告诉 the register,虽然之前有技术演示显示了由静态画面和克隆的声音文件动画化的脸,但微软的示范反映了最新技术状态。

「个性化电子邮件和其他商业群众通信的潜力是巨大的,」他认为。「甚至还包括动画化旧照片。从某种程度上说,这只是好玩,另一方面它有我们在未来几个月和几年内都会使用的实际商业应用。」

网络安全公司 deeptrace 在 2019 年进行评估时发现,深度伪造的「乐趣」在于 96% 是非自愿色情内容。

尽管如此,微软的研究人员认为,能够创造出看起来逼真的人物并将文字放到他们嘴里,是有正面用途的。

他们在一篇研究论文中提出,「此类技术有望丰富数字通信,提高那些有沟通障碍者的可及性,通过互动 ai 辅导转变教育方法,以及在医疗保健中提供治疗支持和社交互动。」值得注意的是,该论文中没有提及「色情」或「假信息」。

尽管有争议,ai 生成的视频不完全等同于深度伪造,后者被定义为数字操纵而不是生成方法,但当一个令人信服的假象可以不用剪切粘贴技术而轻易地被使用时,这种区别就变得无关紧要了。

当被问及微软不向公众发布这项技术以防滥用的事实时,surace 对限制的可行性表示怀疑。

他说:「微软和其他公司目前已经暂停,直到他们解决隐私和使用问题。」他问道,「将如何规范那些出于正确理由使用此技术的人?」

surace 补充说,已经有相似精细的开源模型存在,例如 emo。他说:「人们可以从 github 提取源代码并围绕它构建服务,这可能会与微软的输出相匹敌。」他注意到,「因为这个领域的开源特性,不管怎样,规范它都是不可能的。」

尽管如此,世界各地的国家正在尝试规范 ai 伪造的人物。加拿大、英国等国家都有可以应用于深度伪造的规定,其中一些规定满足了更广泛的政治目标。正是这个星期,英国刚刚使未经同意制作色情深度伪造图像成为非法行为。在英国的 2023 年在线安全法下,分享此类图片已是不允许的。

今年 1 月,美国两党议员提出了 2024 年打击显著伪造图像和非自愿编辑行为法案(defiance act),该法案为非自愿深度伪造图像的受害者在法庭上提起民事诉讼创造了途径。

以及在周二,4 月 16 日,美国参议院司法委员会隐私、技术与法律小组委员会举行了题为「人工智能监管:选举深度伪造」的听证会。

在准备好的声明中,deepmedia 的 ceo rijul gupta 说道:

「深度伪造最令人担忧的方面是,它们能够为坏人提供合理的否认理由,使他们能够将真正的内容视为假的。公众信任的这种侵蚀打击了我们社会结构的核心和民主的基础。人类的大脑天生就相信所见所闻,因此特别容易受到深度伪造的欺骗。随着这些技术变得越来越复杂,它们有可能破坏我们社会所依赖的共同现实感,营造出一种不确定和怀疑的氛围,让公民质疑他们遇到的每一条信息的真实性。

科技分类资讯推荐

从大国重器到手机电脑,它是诸多颠覆性技术的源头 第三届全国超材料大会举行 - 天天要闻

从大国重器到手机电脑,它是诸多颠覆性技术的源头 第三届全国超材料大会举行

图说:第三届全国超材料大会现场 采访对象供图(下同)新民晚报讯(记者 郜阳)近日,第三届全国超材料大会举行,2000余名来自高校、科研院所和产业界的专家学者济济一堂,深入研讨交流。本次大会由中国材料研究学会超材料分会、中国物理学会电介质物理专业委员会、中国电子学会元件分会主办,上海海事大学海洋科学与工程学...
浪潮计算机推出独家四路服务器新品,为关键核心应用提供可靠算力支撑 - 天天要闻

浪潮计算机推出独家四路服务器新品,为关键核心应用提供可靠算力支撑

伴随着智慧计算时代的到来和企业数字化转型的深入,人工智能、大数据、虚拟化等创新技术在应用普及的过程中,也在不断地细分和深化,使得企业的业务系统日趋复杂,数据量、数据类型更加庞大,对计算平台的性能要求“水涨船高”,更加全能的四路服务器逐渐成为行业用户的新选择。  长期以来,国内高端服务器市场主要由Int...
百度萝卜快跑第六代无人车在武汉正式亮相,明年有望盈利 - 天天要闻

百度萝卜快跑第六代无人车在武汉正式亮相,明年有望盈利

支点财经记者 陈勇 摄今日上午,百度“Apollo Day 2024”在武汉百度萝卜快跑汽车机器人智行谷举办,萝卜快跑第六代无人车首次亮相,同时发布了多项自动驾驶领域最新进展。第六代无人车搭载百度Apollo第六代智能化系统解决方案,与江铃新能源合作开发,整车成本相较于第五代车下降60%,新车售价20.46万元,将即刻在武汉投入...
华为MatePad Pro 13.2英寸新款发布 天生会画App公测!iPad迎来强敌 - 天天要闻

华为MatePad Pro 13.2英寸新款发布 天生会画App公测!iPad迎来强敌

2024年5月15日,平板市场迎来了一次“大地震”,在华为夏季全场景新品发布会上,不但有最新罗兰紫配色的华为MatePad Pro 13.2英寸,华为还宣布天生会画App公测。这意味着华为进入了最能彰显平板生产力的领域——绘画创作,华为平板用户也将获得使用体验的越级提升。华为MatePad Pro 13.2英寸是华为目前最新、最顶级的平板产...
谷歌 AI 视频搜索功能演示又翻车,Gemini 给出错误维修建议 - 天天要闻

谷歌 AI 视频搜索功能演示又翻车,Gemini 给出错误维修建议

IT之家 5 月 15 日消息,在今天的谷歌 I / O 大会上,谷歌大肆宣传其名为 Gemini 的人工智能将接管搜索引擎领域。然而,在其炫酷的演示环节中,Gemini 却再次暴露了所有大型语言模型至今为止都存在的致命缺陷:自信满满地给出错误答案。在 “Gemini 时代下的搜索” 演示片段中,谷歌展示了其视频搜索功能,用户可以通过拍摄...
电商平台一员工1年受贿9200万,涉案金额1.3亿,黑灰产业链曝光 - 天天要闻

电商平台一员工1年受贿9200万,涉案金额1.3亿,黑灰产业链曝光

王某是一电商平台基础岗位运营人员,负责家具类旗舰店的入驻审批。他明码标价,伙同多人共同受贿,违规审批400多个商家,涉案金额1.3亿元,其中他自己受贿9200多万元。为掩人耳目,他用亲友账户收款,用赃款买黄金结果被朋友换成假黄金。目前,王某因涉嫌非国家工作人员受贿罪,被依法提起公诉。王某是某电商平台基础岗位的...
华为发布会:鸿蒙生态设备数量超8亿台;新款MateBook 14售价6099元起 - 天天要闻

华为发布会:鸿蒙生态设备数量超8亿台;新款MateBook 14售价6099元起

5月15日下午,华为举行夏季全场景新品发布会。以下为部分要点汇总。余承东:鸿蒙生态设备数量已超8亿台华为常务董事、终端BG董事长、智能汽车解决方案BU董事长余承东表示,鸿蒙生态设备数量已超过8亿台。另据华为终端微博消息,180款设备可陆续升级HarmonyOS 4.2,覆盖手机、平板、手表、智慧屏等。华为新版MateBook 14发布...
AI服务器“一站式”能力独此一家! 大摩:市场还是低估富士康了 - 天天要闻

AI服务器“一站式”能力独此一家! 大摩:市场还是低估富士康了

代工龙头鸿海(富士康母公司),或将成为AI浪潮中下一个脱颖而出的明星。尽管鸿海台股股价今年以来大涨62%,但摩根士丹利指出,其AI服务器相关的潜力未被市场充分认识,表现逊于纬创资通、广达电脑、技嘉科技等AI服务器ODM同行。大摩指出,鸿海近期凭借独创的CMMS模式赢得AI服务器项目,预计2025年该项目将贡献12%的利润,...
打车软件哪个比较好?如祺出行高品质服务解决选择难题 - 天天要闻

打车软件哪个比较好?如祺出行高品质服务解决选择难题

在节奏飞快、人潮涌动的现代大都市中,出行方式的选择不仅关乎效率,更直接影响着生活的品质与便捷程度。随着科技的进步和移动互联网的蓬勃发展,网约车逐渐成为了人们日常出行的热门选择之一。在众多的打车软件中,哪个比较好?如祺出行以其安全、高效、优质的服务,赢得了广大用户的信赖和好评。如祺出行作为网约车平台的...