您的位置:首页 > 数据 >
研究人员详细介绍了可以用于创建深层伪造的纹理交换AI
来源: 2021-12-09 15:04:18

在预印纸张上Arxiv.org发表,研究人员在加州大学伯克利分校和Adobe研究大学描述交换来实现自动编码,机器学习模型专为图像处理设计。他们声称,它可以通过多种方式修改任何图像,包括纹理交换,同时与以前的生成模型相比,“实质上”保持更高的效率。

研究人员承认,他们的工作可以用于制作深造或合成媒体,用现有的图像或视频中的人替换为其他人的肖像。在一项人类感知研究中,使用交换自动编码器创建的图像使对象蒙骗了31%的时间。但是他们还说,建议的检测器至少可以在73.9%的时间内成功发现由该工具操纵的图像,这表明“交换自动编码器”没有比其他AI驱动的图像操纵工具更有害。

“我们证明,基于自动编码器模型的方法与以前的工作相比具有许多优势,因为它可以实时准确地将高分辨率图像嵌入到将纹理与结构分开并产生真实感的嵌入空间中输出图像……表示中的每个代码都可以独立修改,以使生成的图像看起来既逼真又反映未修改的代码,”研究的合著者写道。

研究人员的方法并不是新颖的,因为许多AI模型可以编辑部分图像以创建新图像。例如,麻省理工学院的IBM Watson AI实验室发布了一个工具,该工具使用户可以上传照片并自定义图景的建筑物,植物和固定装置的外观,而Nvidia的GauGAN可以创建栩栩如生的风景图像。但是,这些模型在设计上往往具有挑战性,并且运行起来计算量大。

相比之下,交换自动编码器是轻量级的,它使用图像交换作为“借口”任务来学习对图像处理有用的嵌入空间。它将给定的图像编码为两个单独的潜在代码(“结构”代码和“纹理”代码),用于表示结构和纹理,并且在训练过程中,结构代码学会了与场景的布局或结构相对应。纹理代码捕获有关场景整体外观的属性。

在一项实验中,研究人员在包含教堂,动物脸,卧室,人,山脉和瀑布的图像的数据集上训练了交换自动编码器,并构建了一个可对上传的照片进行细粒度控制的Web应用程序。该应用程序支持使用画笔工具替换图像另一部分中的结构代码的全局样式编辑,区域编辑以及克隆。

共同作者写道:“创造性表达工具是人类文化的重要组成部分……基于学习的内容创建工具(例如我们的方法)可用于使内容创建民主化,使新手用户可以合成引人入胜的图像。”

相关文章
富德生命人寿河南分公司三门峡中支开展第十五届客户节红色主题亲子实践活动

富德生命人寿河南分公司三门峡中支开展第十五届客户节红色主题亲子实践活动

为庆祝建党100周年,6月19日,富德生命人寿河南分公司三门峡中支在河南振宇红色教育基更多

2021-12-09 15:27:53