麻省理工学院，Adobe研究机构和清华大学的研究人员表示，他们已经开发出一种方法-可微增强(DiffAugment)-通过增强真实和虚假数据样本来提高生成对抗网络(GAN)的效率。他们在预印本论文中声称，它可以在训练过程中有效地稳定网络，使他们能够仅使用100张图像而无需进行预训练就可以生成高保真图像，并可以在流行的基准上达到最新的性能。

GAN是由两部分组成的AI模型，由创建样本的生成器和试图区分生成的样本与真实样本的鉴别器组成，它们已经展示了令人印象深刻的媒体合成技术。表现最佳的GAN可以创建不存在的人的真实肖像，例如虚构的公寓楼快照。但是到目前为止，它们的成功是以牺牲大量计算和数据为代价的。GAN严重依赖(成千上万)数量多样且高质量的培训样本，并且在某些情况下，收集这样的大规模数据集需要数月或数年的时间以及注释成本-甚至可能。

如前所述，研究人员的技术将训练数据的真实图像和生成器生成的虚假图像都应用了增强。(如果该方法仅用于放大真实图像，则目标GAN可能会学习不同的数据分布。)DiffAugment随机放大或缩小图像，并以图像大小的一半的随机正方形遮盖它们，同时调整图像的亮度，颜色和对比度值。

在开源ImageNet和CIFAR-100语料库上进行的实验中，研究人员将DiffAugment应用于两个领先的GAN：DeepMind的BigGAN和Nvidia的StyleGAN2。通过预培训，他们报告说，与CIFAR-100相比，他们的方法以“相当大的幅度”改善了所有基线，而与Fréchet起始距离(FID)度量标准的体系结构无关，后者从目标分布以及正在评估的模型中获取照片。使用AI对象识别系统捕获重要特征并保留相似之处。更令人印象深刻的是，在没有预先训练且仅使用100张图像的情况下，GAN在几种图像类别(即“熊猫”和“脾气暴躁的猫”)中取得了与现有转移学习算法相同的结果。

如果减少训练数据，StyleGAN2的性能将大大降低。借助DiffAugment，我们仅使用20%的训练数据就可以大致匹配其FID，并胜过其初始得分(IS)。”“广泛的实验一致地证明了其在不同的网络体系结构，监管设置和目标功能方面的优势。当可用数据有限时，我们的方法特别有效。”

这些代码和模型可在GitHub上免费获得。