无监督领域自适应的对抗特征增强方法( 二 )


Step 1:训练模型 S , 以生成类似于源数据特征的特征样本 。 利用 CGAN 框架 , 定义极小化极大算法 。 在此步骤和后续步骤中 , 使用最小二乘 GANs , 因为在训练过程中发现 , 最小二乘 GANs 有更好的稳定性 。
【无监督领域自适应的对抗特征增强方法】特征生成:为了生成任意数量的新特征样本 , 这里只需要 S , 它将输出所需类别的特征向量 。
Step 2:在 Step 0 的权重优化进行初始化后 , 通过极小化极大算法 , 训练出具备领域不变性的编码器(达到最佳收敛) 。
实 验:为了评估提出的方法 , 该研究使用了领域自适应研究中经常采用的几种公共源/目标数据集 。
该研究为了评估提出的方法 , 首先证明了模型 S 能够生成以所需类为条件的一致且可区分的特征向量 。 然后 , 研究者进行了控制变量实验 , 以验证每个步骤对实验结果都是正向影响的 。 最后 , 将提出的方法与竞争算法在无监督领域自适应任务上进行比较 。

  1. 生成特征
实验用 t-SNE 定性地表明:按照研究方法训练模型后 , 可以从所需的类生成想要的特征向量 。 图 2 展示了不同数据集的真实特征和生成特征之间的比较 。 从定性的角度看 , 真实特征和生成特征似乎无法区分 , 并且保留了类结构 。 为了定量测量生成的特征的质量 , 研究者将它们放到使用原始样本训练的分类器 C 中进行类估计 。 表 1(第四列)显示 , 这些特征在数量上也是可靠的 , 该结论对所有数据集都是有效的 。
无监督领域自适应的对抗特征增强方法文章插图
图 2 不同数据集的真实特征和生成特征
表 1 实验结果
无监督领域自适应的对抗特征增强方法文章插图
然后 , 该研究评估了通过 S 生成的特征的可变性 , 以确定(i)模型是否存储了训练集中的特征 , 以及(ii)是否可以在特征空间进行数据增强 。 为了验证这两个问题 , 研究者进行了测试实验 , 证明了提出的方法的可靠性 。
  1. 控制变量研究
研究者还进行了控制变量研究 , 以评估提出的方法对无监督领域自适应带来的影响 。 由于所提出的方法的第 1 步和第 2 步需要用到最小二乘 GAN 框架 , 因此研究者在此框架中重新设定 ADDA 算法作为基线 , 从这一点出发 , 研究者完成了实验 , 证明了所提出方法的每一步对实验结果都有正向影响 。
  1. 和其他方法的比较
对比结果表明 , 该研究基于领域不变性和特征增强的方法在几种无监督领域自适应基准测试中可得出与当前最新技术相同或更高的精度 。 在实验测试的分割中 , 唯一的例外是 USPS→MNIST , 其中 ADDA 及其实现(LS-ADDA)表现更好 。
总 结:在该研究中 , 研究者提出了两种技术来改进无监督领域自适应框架中 GAN 目标的指标表现 。 首先通过直接扩展原始算法来引入领域不变性 。 其次通过对 GANs 的创新应用 , 在特征空间中执行数据增强 。 结果证实这两种方法都可以提高在目标数据集上的准确性 。 在以后的工作中 , 可以考虑在更复杂的无监督领域自适应问题上测试论文提出的方法 , 并研究特征增强是否可以应用于不同的框架 。
本文由南京大学软件学院 2019 级硕士生许子桓翻译转述