通过对抗数据扩增泛化到未知域( 四 )


4.2. 语义场景分割结果我们报告了使用 ERM 训练的模型和使用我们的方法训练的模型之间的比较(算法 1 , K = 1) 。我们在每个实验中都将 γ= 1.0 , 但是要强调的是这是一个任意值; 在这种情况下 , 我们没有观察到 γ 的不同值与模型的一般行为之间的强相关性 。如第 2 节中所述 , 它在集成模型中的作用更有意义 , 因为每个模型都具有不同级别的鲁棒性 。 在这种情况下 , 我们不应用集成方法 , 而仅评估单个模型的性能 。 做出此选择的主要原因是这样的事实 , 即在测试时开发的启发式方法实际上是在选择正确的模型 , 因此无法直接将其应用于语义分割问题 。
图 2 报告了获得的数值结果 。 具体来说 , 最左边的划分报告的结果与模型相关联 , 这些模型是根据“高速公路”拆分中的序列训练的 , 并在类似纽约的城市和“欧洲老城”拆分中进行了测试(分别为左上和左下);最右边的划分报告与模型相关的结果 , 这些模型是在类似纽约市的城市划分的序列上训练的 , 并在高速公路和旧欧洲城镇的划分(分别为右上和右下)上进行了测试 。 训练序列(黎明 , 雾 , 夜 , 春和冬季)显示在 x 轴上 。 红色和蓝色条分别表示通过 ERM 训练的模型和通过我们的方法训练的模型获得的平均 mIoU 。 通过对每个模型在测试集的不同条件下获得的 mIoU 进行平均 , 可以计算出这些结果 。 可以看出 , 使用我们的方法训练的模型通常可以更好地推广到未知数据分布 。 特别是 , 当训练图像来自夜间场景时 , 我们的方法总是在统计上优于基线 , 这是因为在夜间图像上训练的基线模型强烈偏向黑暗的风景 , 而在最恶劣的情况下进行训练的结果案例分布 , 我们的模型可以克服这种强烈的偏见 , 并更好地在不同的看不见的领域进行概括 。
5. 结论与未来工作我们研究了一种新的对抗性数据扩增程序 , 该程序可以学习更好地概括看不见的数据分布 , 并定义一种集成方法来在分类中利用该技术框架 。 这与领域适应算法相反 , 领域适应算法需要来自已知的先验固定目标分布的足够数量的样本 。 我们的实验结果表明 , 我们的迭代过程为数字识别以及跨季节和跨天气语义分割任务提供了广泛的概括行为 。 对于将来的工作 , 我们希望通过定义新颖的决策规则来扩展集成方法 。 提议的启发式方法(9)仅适用于分类设置 , 将它们扩展到包括语义分割在内的广泛任务领域是一个重要的方向 。 许多理论问题仍然存在 。 例如 , 量化第 3 节中介绍的依赖数据的正则化方案的行为 , 将有助于我们总体上更好地理解对抗训练方法 。
致谢本论文由 iSE 实验室 2020 级硕士生贺璐转述 。