汇总｜实时性语义分割算法( 三 ) 作者：明泽Danny来源：公众号

主要分为这么几个模块， Downsampling Block和EDA Block和最后的Projection Layer 。其中的EDA Block又包括多个EDA module 。其中EDA module的结构如下所示：
文章插图
其中有两组asymmetric conv ，前一组是正常的conv ，后一组是dilated conv ，这种asymmetic conv可以减少33%的计算量，并且只会带来少量的性能下降。
对于网络结构的设计，使用了ENet的initial block作为downsampling block ，并且分成了两种模式，其表示如下：
文章插图
这样的downsampling block可以让网络具有更大的感知野，用于收集上下文信息，在最后，相对于全解析度的输入图片，特征尺寸变为了1/8 ，而其他的网络比如SegNet特征尺寸则变为了1/32 。
【10】ESPNet：扩展卷积的高效空间金字塔语义分割
《ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation》
链接：
原理：ESP Module基于卷积分解原理，将标准卷积分解为两个步骤：
1）point-wise convolutions 逐点卷积
2）spatial pyramid of dilated convolutions 空间金字塔型膨胀卷积
ESP运算高效，并且可以用在CNNs的不同空间级别上（主要是相对ASP而言）
理论上， ESP模块比Inception 和 ResNext的模块更高效。另外的试验结果表明，在相同硬件和计算条件下， ESP模块也优于现有表现最佳的MobileNet 和 ShuffleNet
ESP模块：
文章插图
因为使用了大感受野的膨胀卷积，导致了gridding artifacts现象，如下图所示。本文提出了使用HFF方法来解决该问题，具体做法就是从最小的膨胀卷积核输出的那张feature map开始，逐级叠加。这样的做法并没有引入任何新的参数，同时计算量上也没有增加太多，但却有效地改善了网格效应。
文章插图
【11】ESPNetv2：一个轻量级、高效、通用的卷积神经网络
《ESPNetv2: A Light-weight, Power Efficient, and General Purpose Convolutional Neural Network》
链接：
与第一版本相比，其特点如下：
1)将原来ESPNet的point-wise convolutions替换为group point-wise convolutions；
2)将原来ESPNet的dilated convolutions替换为depth-wise dilated convolution；
3)HFF加在depth-wise dilated separable convolutions和point-wise (or 1 × 1)卷积之间，去除gridding artifacts；
4)使用group point-wise convolution 替换K个point-wise convolutions；
5)加入平均池化（average pooling ）,将输入图片信息加入EESP中；
6)使用级联（concatenation）取代对应元素加法操作（element-wise addition operation ）；
其总体框架如图所示：
文章插图
【12】轻量级语义分段的集中综合卷积
《Concentrated-Comprehensive Convolutions for lightweight semantic segmentation》
链接：
第一阶段对来自邻近像素的压缩信息使用两个深度上的不对称卷积。第二阶段利用与第一阶段特征图在深度上可分离的扩张卷积来增加感受野。通过用提议的CCC模块替换传统ESP模块，在不降低Cityscapes数据集精度的情况下，与速度最快的模型之一ESPnet相比，减少一半的参数数量和35%的失败数量。
文章插图
带孔卷积中的定位信息缺失
集中综合卷积(CCC)块的结构如下：
文章插图
CCC模块由信息集中阶段和综合卷积阶段组成。信息集中阶段使用简单的卷积核聚合局部特征信息。综合卷积阶段是通过放大看到较大的感受野，然后是混合信道信息的点卷积。将深度卷积应用于扩张的卷积，以进一步减小参数的大小。
ESP模型结构如下：
文章插图
本文仅做学术分享，如有侵权，请联系删文。
下载1
在「计算机视觉工坊」公众号后台回复：深度学习，即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。
下载2
在「计算机视觉工坊」公众号后台回复：计算机视觉，即可下载计算机视觉相关17本pdf书籍，包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。