Glance and Focus: 通用、高效的神经网络自适应推理框架作者|王语霖编辑|陈大鑫本文介

文章插图
作者 | 王语霖
编辑 | 陈大鑫
本文介绍一篇NeurIPS 2020录用的一篇论文：《Glance and Focus: a Dynamic Approach to Reducing Spatial Redundancy in Image Classi?cation》。
这项论文提出了一个通用于绝大多数CNN的自适应推理框架，其效果比较明显，在同等精度的条件下，将MobileNetV3的平均推理速度加快了30% ，将ResNet/DenseNet加速了3倍以上，且在iPhone XS Max上的实际测速和理论结果高度吻合。此外，它的计算开销可以简单地动态在线调整，无需额外训练。
下面一张图可以概括这篇论文做的事情：
将图像识别建模为序列决策过程，先将缩略图输入神经网络（Glance），再不断选择最关键的图像区域进行处理（Focus ，利用强化学习实现），直至网络产生一个足够可信的预测结果时停止；对于简单和困难的样本分配不同的计算资源，以提升整体效率。
文章插图
图1 Glance and Focus Network (GFNet) 效果图
文章插图
论文链接：
代码和预训练模型链接：
论文第一作者：
王语霖，清华大学自动化系直博二年级，导师为吴澄院士和黄高助理教授，研究兴趣为深度学习与计算机视觉，在NeurIPS 2019/2020以第一作者发表两篇学术论文。
个人主页：
以下是论文作者对本文的亲自解读：
1 研究动机及简介
在基于卷积神经网络（CNN）的图像任务中，提升网络效果的一个有效方法是使用高分辨率的输入，例如，在ImageNet分类任务上，近年来的最新网络（DenseNet, SENet, EfficientNet）往往需要使用224x224或更大的输入图片以取得最佳性能：
文章插图
然而，这种方式会带来较大的计算开销，因为推理CNN所需的计算量（FLOPs）基本与像素数目成正比，即与图形的长、宽成二次关系，如下图所示：
文章插图
图2 CNN计算量与图片长/宽的关系
在实际应用（例如手机APP、自动驾驶系统、图片搜索引擎）中，计算量往往正比于能耗或者时间开销，显然，无论出于成本因素还是从安全性和用户体验的角度考虑，网络的计算开销都应当尽可能小。
那么，如何在保留高分辨率输入所带来的好处的同时，减小其计算开销呢？
事实上，我们可以借助神经网络的一个有趣的性质。
与人类视觉相似，神经网络往往可以通过仅仅处理图像中与任务相关的一小部分区域而得到正确的结果，例如在下图中，遮挡住屋顶、飞鸟或花朵之外的部分，神经网络仍然可以得到正确的分类结果：
文章插图
图3 部分关键信息足以使神经网络做出可靠的判断
这便是本文所提出方法的出发点，我们的目标是，对于输入图片，自适应地找到其与任务最相关的区域，进而通过使神经网络只处理这些区域，以尽可能小的计算量得到可信的结果。
具体而言，我们采用的方法是，将一张分辨率较高的图片表征为若干个包含其关键部分的“小块”（Patch），而后仅将这些小块输入神经网络。
以下面的示意图为例，将一张224x224的图片分解为3个96x96的Patch进行处理所需的计算量仅为原图的55.2% 。
文章插图
图4 Glance and Focus Network (GFNet) 的基本建模方式
2 方法详述
为了实现上述目的，事实上，有两个显然的困难：
(a) 任意给定一张输入图片，如何判断其与任务最相关的区域在哪里呢？
(b) 考虑到我们的最终目的是使神经网络得到正确的预测结果，不同输入所需的计算量是不一样的。
例如对于下面所示的两个输入图片，神经网络可能仅需要处理一个patch就能识别出特征非常突出的月亮，但是需要处理更多的patch才能分辨出猫咪的具体品种。
文章插图
图5 对于不同输入，应分配不同大小的计算资源
为了解决这两个问题，我们设计了一个Glance and Focus的框架，将这一思路建模为了一个序列决策过程，如下图所示。