无监督领域自适应的对抗特征增强方法引用：VolpiR,MorerioP,SavareseS,et

文章插图
引用：Volpi R, Morerio P, Savarese S, et al. Adversarial feature augmentation for unsupervised domain adaptation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 5495-5504.
cvpr2018/html/VolpiAdversarialFeatureAugmentationCVPR2018paper.html
摘要：最新研究表明，生成对抗网络（GANs）能够被应用于无监督领域自适应中。无监督领域自适应的目标是：在给定有标签的源数据集和无标签的目标数据集的情况下，训练出针对目标样本的强大分类器。值得一提的是，已经有研究表明 GAN 目标函数可以用于学习与源数据特征相似的目标数据特征。在此论文的研究中，研究者基于已有研究扩展了两点：（i）固定学习的特征提取器是不随着领域变化的，（ii）通过特征空间中的数据增强对其进行训练，即执行特征增强操作。虽然图像领域的数据增强是深度学习中一项成熟的技术，但特征增强还未被深入地研究过。研究者通过特征生成器来实现特征增强，该特征生成器基于源数据特征，用 GAN 的极小化极大算法训练出来。实验结果表明，固定执行域不变和执行特征增强两种方法都可以在一些无监督领域自适应基准测试中，得到比现有研究更好的性能。
背景介绍:生成对抗网络（GANs）是能够将噪声向量映射到实际样本中的算法模型。 GANs 由两个神经网络（一个生成器和一个鉴别器）组成，训练过程是极小化极大算法的计算过程。最新研究表明，该框架能够生成高精度图像，也能从静态帧生成视频，还可以将图像从一种格式转换为另一种格式。
在无监督领域自适应的研究方面，已经有人使用了 GANs 。已有研究考虑了源（标记）数据集和目标（未标记）数据集，它们通过所谓的域移位分开，即它们是从两个不同的数据分布中得出的。无监督领域自适应旨在训练出能够正确分类目标样本的模型。在这种框架下，已经有研究者使用对抗训练（i）训练特征提取器，这些特征提取器将目标样本映射到与源样本映射到的特征空间没有区别的特征空间中，也有用（ii）以类似于目标图像域的样式转换源图像。
在本研究中，研究者以 Tzeng 等人的工作为基础。提出使用 GAN 目标来学习与源数据特征没有区别的目标数据特征，这里有一对特征提取器，一个用于源数据，一个用于目标数据样本。然后将此方法扩展到两个方向：（a）在通过 GANs 训练的单个特征提取器中，保持领域不变性；（b）通过定义更复杂的极小化极大算法，在特征空间中进行数据增强操作（即特征增强）。更具体地说，用 Conditional GAN（CGAN）训练的特征生成器来执行特征增强。极小化极大算法计算的对象在这里不是图像，而是特征，进而生成符合所需类别的特征。因此， CGAN 生成器能够学习特征空间中的类分布，从而生成任意数量的特征向量。研究结果表明，在无监督领域自适应中，保持领域不变性和特征增强都是有效的方法，能够提高分类的精度。
该研究的主要贡献包括：1.首次使用 GANs 在特征空间中执行数据增强操作。
2.基于特征增强和（源/目标）特征领域不变性，提出了一种新的无监督领域自适应方法。
3.在无监督领域自适应基准测试中，评估所提出的方法，在大多数任务中获得的结果要优于或等同于当前的最高水平。
模型:研究团队的目标是训练出具备领域不变性的特征提取器，其训练过程通过源数据特征空间中的数据增强操作，从而达到更好的健壮性。设计的训练过程有三个不同的步骤，如图 1 所示。
文章插图
图 1 模型训练步骤
首先，需要在源数据上训练特征提取器。此步骤是必需的。其次，我们需要训练特征生成器，以在源数据特征空间中执行数据增强操作，我们可以通过极小化极大算法来训练它。最后，可以通过极小化极大算法来训练具备领域不变性的特征提取器。该模块可以与先前训练的 softmax 层结合使用，以对源数据样本和目标数据样本进行推断。所有模块都是通过反向传播算法训练出来的神经网络。接下来说明每个步骤。训练过程：
Step 0：模型 C?Es 经过训练，可以对源数据样本进行分类。 Es 代表一个 ConvNet 特征提取器， C 代表完全连接的 softmax 层。