自监督式特征增强在大图像目标检测中的应用 ManuscriptreceivedJuly4,2019;revised

Manuscript received July 4, 2019; revised February 15, 2020 and April 7, 2020; accepted April 29, 2020. Date of publication May 14, 2020; date of current version July 6, 2020. This work was supported in part by the National Key Research and Development Program of China under Grant 2018YFC0807500, in part by the National Natural Science Foundation of China under Grant 61832016, Grant 61672520, and Grant 61720106006, and in part by the CASIA-LLVision Joint Laboratory.
1、简介与概述在深度卷积神经网络（CNNs）的帮助下，目标检测的性能得到了显著提高。在这些测试中，典型的图像大小为 480×640 。然而，在某些应用领域，输入图像的分辨率非常高。由于限制，高分辨率图像不能作为目标检测框架的输入。为了处理上述问题，我们将输入图像降采样到小尺度。我们将高分辨率图像下采样到不同的比例，然后将图像从最小增加到对应的不同比例。通过下采样获得的图像称为高分辨率图像，而通过上采样获得的图像称为低分辨率图像。然后，我们使用上述每组图像训练深度神经网络。图 1 中的虚线显示了将高分辨率缩小图像作为输入时检测平均精度（AP）与图像大小变化的比较。实线显示了使用这些低分辨率图像作为输入的检测结果。与虚线显示的结果一致，大尺寸输入优于小尺寸或中等尺寸输入。从这些比较中，我们有以下观察结果：
?在一定范围内，随着输入大小的增加，检测网络的性能也相应提高。
?在相同的图像尺寸下，由于上/下采样过程中的信息丢失，使用下采样（高分辨率）输入训练的检测器的性能优于使用上采样（低分辨率）。
文章插图
图一检测平均精度不同输入大小的比较
根据结果，我们可以大致得出结论，即在适当的范围内增加输入尺度和提高输入图像的分辨率。然而，直接增加输入规模是消耗内存的，在内存限制下是不可能实现的。因此，我们尝试向上采样特征映射，而不是直接对输入进行上采样。
本文提出了一种用于超大图像目标检测和实例分割的自监督式特征增强网络（SFANet），旨在学习图像中特征映射。我们提出了一个引导特征上采样模块，该模块以下采样图像为输入，学习图像的特征表示，并获取。为了有效的上采样，我们提出了一个卷积块，以最小的特征信息损失进行数据增强。本文的主要贡献如下：

我们首次提出在对象检测框架内系统分析尺度异质性。
我们提出了一种新的自我监督式特征增强网络 SFANet ，它通过自监督学习来完成大图像目标检测任务。
我们的方法在 MVD（Mapillary Vistas Dataset）和 CityScape 方面取得了良好的结果，并在 COCO 数据集上获得了更高效率的结果。

2、不同大小的图像检测我们定义的 Pand-Pto 分别表示对象检测管道的深层特征表示和对象检测器部分。我们在训练和测试之间使用不同大小的图像，然后将不同的图像输入给 Pand-Pto ，将高分辨率信息引入到不同大小的图像中有利于提高检测性能。我们观察到，大图像的输入对于目标检测很重要。当输入尺寸大于 800×1400 时，训练的改善很小。在一定范围内，随着输入规模的增加，性能不断提高。然而，对于超大图像来说，内存不足，无法达到最佳比例。因此，我们进行了一系列的实验来验证特征上采样是否有效。
我们将目标检测管道分为两部分，即特征表示和检测头。以 Ptakes 图像为输入。我们为训练了三组数据集。这些数据之间唯一的区别是图像的大小。
我们在每组数据集上训练模型，得到了三个模型。这些模型在评估数据集上进行评估。结果列如表一所示。在第二行和第三行的结果比较表明，增加特征表示的规模确实可以提高检测性能。我们依次在训练后、训练阶段和训练开始时增加特征量表，发现越早进行上采样，性能越好。
表一不同尺寸下训练和测试时的 MVD 检测结果

文章插图
3、自我监督特征增强我们提出了一种目标检测框架 SFANet ，通过自我监督的方式将高分辨率图像信息引入到框架中。我们使用 FPN-based 和 Mask R-CNN ，设计了上采样模块，有效地学习大图像的特征。此外，我们使用剩余亚像素卷积块来辅助上采样。在 A 部分介绍了方法的网络结构，在 B 部分介绍引导特征上采样模块。在 C 部分，介绍了剩余亚像素卷积块。