语义分割论文-DenseASPP

论文将DeepLab系列中的ASPP和DenseNet中的Dense连接相结合,构成了DenseASPP,这具有更大的接收野和更密集的采样点。新的方法在CityScapes上获得了state-of-the-art的表现。

DenseASPP

DenseASPP for Semantic Segmentation in Street Scenes

原文地址:DenseASPP

收录:CVPR2018(IEEE Conference on Computer Vision and Pattern Recognition)

代码:

关于扩张卷积和DenseNet的相关文章解读:


Abstract

使用扩张卷积(Atrous Convolution)能够在不牺牲特征图空间分辨率的同时扩大特征图的接收野,DeepLab系列工作结合多尺度信息和扩张卷积提出了ASPP模块,将不同扩张率的扩张卷积特征结合到一起。但论文认为ASPP模块在尺度轴上特征分辨率还不够密集,获取的接收野还不够大,为此提出了DenseASPP(Densely connected ASPP),以更密集的方式连接一组扩张卷积,获得了更大的范围的扩张率和更密集的采样点。在没有显著增加模型大小的情况下,DenseASPP在CityScapes上达到了State-of-the-art的表现。


Introduction

ASPP模块

扩张卷积用于解决特征图分辨率和接收野之间的矛盾,ASPP利用了多尺度信息进一步强化了分割效果。DeepLabv2中的ASPP模块如下:

(mark)

但是在自动驾驶等领域有高分辨率的输入,为了获取足够大的感受野需要足够大的扩张率,但随着扩张率增加(d>24),扩张卷积的卷积核会衰退,进而无效了(DeepLabv3中分析过这个问题)。

DenseNet

DenseNet中用密集连接获得更加的性能:

(mark)

因为密集连接,特征的通道数会急速上升,DenseNet中使用$1×1$的卷积用于降低通道数,限制了模型大小和计算量,同样的,在本文中也使用了多个$1×1$卷积用于降低参数,限制计算量

DenseASPP

论文提出的DenseASPP用于解决街道场景的尺度挑战,DenseASPP包含了一个基础网络,后面接了一个多级的扩张卷积层,如下图所示:

(mark)

使用密集连接的方式将每个扩张卷积输出结合到一起,论文使用了较合理的扩张率(d<24),通过一系列的扩张卷积组合级联,后面的神经元会获得越来越大的感受野,同步也避免了过大扩张率的卷积导致的卷积退化

并且通过一系列的扩张卷积组合,特征图上的神经元对多个尺度的语义信息做编码,不同的中间特征图对来自不同尺度的信息做编码,DenseASPP的最终输出特征不仅覆盖了大范围的语义信息,并且还以非常密集的方式覆盖了做了信息编码。

总结,论文的主要贡献在于:

  • DenseASPP能够生成覆盖非常大的范围的接收野特征
  • DenseASPP能够以非常密集的方式生成的特征

需要注意的是,上述两个特性不能通过简单的并行或级联堆叠扩张卷积实现。

深度卷积神经网络为了获取更大感受野的特征会使用下采样(或池化),但这会降低特征的分辨率,虽然获得特征的内部不变性但丢失了很多细节。DeepLab系列使用了扩张卷积获取更大感受野的同时保持图像的分辨率,并进一步提出了ASPP模块结合了多尺度信息,与此类似有PSPNet结合了不同尺度的池化信息。论文提出的DenseASPP结合了平行和级联的扩张卷积优点,在更大范围内生成更多尺度的特征。

DenseASPP是DenseNet的特例,可以看做是所有扩张率设置为1,这分享了DenseNet的优点,包括缓解了梯度消失的问题和大幅度减少参数。


Dense Atrous Spatial Pyramid Pooling

在道路环境中,存在不同尺度的目标物,这需要捕获不同尺度的特征,DeepLabv3给出了两个策略:

  • backbone:级联的扩张卷积(这和DRN,HDC是一个思想),逐渐获取到大的感受野特征
  • ASPP:同一输入上并行的扩张卷积组合,将输出级联到一起

论文使用$H_{K,d}(x)$表示一个扩张卷积,ASPP表示如下:
$$y=H_{3,6}(x)+H_{3,12}(x)+H_{3,18}(x)+H_{3,24}(x)$$

Denser feature pyramid and larger receptive field

DenseASPP的结构如下:

(mark)

可以看到扩张卷积级联起来,并且扩张率逐渐的增加,前面的层扩张率较低,后面的层扩张率较大。这和DenseNet的连接非常相似,DenseASPP的最终输出是由多扩张率、多尺度的扩张卷积生成的特征组成。可以将DenseASPP用如下公式表示:
$$ y_{l}=H_{K,,d_{l}}([y_{l-1},y_{l-2},…,y_{0}])$$
其中$d_{l}$表示$l$层的扩张率,$[…]$表示级联concat操作。$[y_{l-1},y_{l-2},…,y_{0}]$表示连接来自前面所有层的输出。与原先的ASPP模块相比,DenseASPP堆叠了所有扩张卷积并做了密集连接。这主要能带来2个收益:

  • 密集的特征金字塔(denser feature pyramid)
  • 更大的接收野(larger receptive field.)

Denser feature pyramid

扩张卷积能够增加卷积核的接收野,对于一个扩张率$d$,卷积核大小为$K$,接收野为:
$$R=(d-1)×(K-1)+K$$ 例如一个$3×3$的卷积扩张卷积,扩张率为$d=3$,则对应的接收野为7。

堆叠两个扩张卷积能够得到更大的接收野,假设我们有两个卷积大小为$K_{1},K_{2}$,则感受野为:
$$K=K_{1}+K_{2}-1$$ 例如,一个尺寸为7和尺寸为13的卷积堆叠到一起,构成为接收野为19.

DenseASPP由包含扩张率为$3,6,12,18$的扩张卷积,每组数字的表示扩张率的组合,长度表示等效的卷积核大小,$k$表示实际的接收野,如下所示:

(mark)

  • K=3,d=3: $(3-1)×(3-1)+3=7$
  • K=3,d=6: $(6-1)×(3-1)+3=13$
  • K=3,d=3,d=6:
    • 第一个扩张卷积:$(3-1)×(3-1)+3=7 $
    • 第二个扩张卷积:$(6-1)×(3-1)+3=13$
    • 组合:$7+13-1=19$
  • K=3,d=12: $(12-1)×(3-1)+3=25$
  • K=3,d=3,12: $7+25-1=31$
  • K=3,d=3,6,12: $7+13+25-2=43$
  • K=3,d=3,6,12,18: $7+13+25+37-3=79$

显然,堆叠的扩张卷积下的DenseASPP的接收野是ASPP的一个超集(super set)。

更密集的采样

下图(a)显示了一个传统的一维扩张卷积,扩张率为6,接收野为13:

mark

这么大的接收野条件下,只有3个像素被采样了用于计算,这样的情况下二维的情况下会更严重,虽然得到了更大的接收野,但是在计算的过程中丢弃了大量的信息。

上图(b)是扩张率3和扩张率为6的组合,和原先的扩张率为6的卷积(a)相比,(b)有7个像素参与了计算,计算更加密集。这在二维的情况下(c)有49个像素有助于计算。较大扩张率的卷积可从较小扩张率卷积中获得帮助,使得采样更为密集。

Larger receptive field

原先的ASPP是四个分支并行处理前馈,而DenseASPP模块通过了跳层共享了连接信息,大和小扩张率的卷积相互依赖,不仅构成了密集的特征金字塔,同时也获得了更大的接收野。

我们用$R_{max}$表示特征金字塔的最大接收野,函数$R_{K,d}$表示卷积核大小为$K$的扩张率为$d$,则ASPP(6,12,18,24)的最大接收野为:
$$R_{max}=\max[R_{3,6},R_{3,12},R_{3,18},R_{3,24}]$=R_{3,24}=51$$

而相对的DenseASPP(6,12,18,24)的最大接收野为:
$$R_{max}=R_{3,6}+R_{3,12}+R_{3,18}+R_{3,24}-3=122$$
这样大的感受野能够为大型目标提供全局信息。

Model size control

和DenseNet类似,DenseASPP也在扩张卷积之前使用了$1×1$卷积用于减少特征图数,假设每个扩张卷积输出$n$的特征图,DenseASPP有$c_{0}$个特征图作为输入,在第$l$的$1×1$的卷积之前的第$l$个扩张卷积有$c_{l}$个输入特征图,则:
$$c_{l}=c_{0}+n×(l-1)$$
在扩张卷积之前的$1×1$卷积将通道数降低为$c_{0}/2$个通道,论文对DenseASPP中所有的扩张卷积层设置了$n=c_{0}/8$。DenseASPP中所有参数可计算为:

$$\begin{align}
S &= \sum_{l=1}^{L}[c_{l}×1^{2}×\frac{c_{0}}{2}+\frac{c_{0}}{2}×K^{2}×n] \\
&= \sum_{l=1}^{L}[\frac{c_{0}}{2}(c_{0}+(l-1)×\frac{c_{0}}{8})+\frac{c_{0}}{2}×K^{2}×\frac{c_{0}}{8}] \\
&= \frac{c_{0}^{2}}{8}(15+L+2K^{2})L \\
\end{align}$$

其中$L$表示扩张卷积的层数,$K$表示卷积核大小。例如DenseNet121有512个通道,则$n$设置为64。又因为每个扩张卷积之前都会有一个$1×1$的卷积层用于减少通道数到256。因此,DenseASPP输出具有832个通道,参数比相应的DenseNet121要小很多。


Experiment

论文在CityScapes上测试,评价标准为mIoU.

实现细节

论文在PyTorch上实现,基本主干是在ImageNet上预训练,论文移除了后面两个池化层和分类层,对后面的层使用可扩张率为2和4的扩张卷积(这和DRN的处理方式一样)。修改后的ConvNet的输出是原输入的$\frac{1}{8}$,后面接DenseASPP然后上采样与ground truth做cross entropy。

项目 配置
平台 PyTorch
优化器 Adam
权重衰减 0.00001
学习率 初始是0.0003,采用的时poly策略,$1-\frac{epoch}{max_{epoch}}^{0.9}$
数据增强 随机翻转,随机放缩$[0.5,2],随机亮度抖动$[-10,10],以及随机的$512×512$的随机裁剪

所有的模型使用batch=8,跑了80个epoch,每轮的BN参数是统一更新的。

DenseASPP

论文使用了ResNet101为主干,配合DenseASPP(6,12,18,24)模块,在验证集上的结果如下,可以看到DenseASPP显著的提升了结果:

mark

部分的可视化结果如下:

mark

Detailed study on DenseASPP components

不同的DenseASPP设置得到的结果如下:

mark

可以看到大概的趋势是随着接收野的增大,性能也提升。直到接收野到128后逐渐下降。

Comparing with state-of-the-art

论文在DenseNet161的基础上在精标签的数据上做训练,使用了多尺度${0.5, 0.8, 1.0, 1.2, 1.5, 2.0}$,与现有的先进模型对比,最终的结果如下:

mark

各个分类结果如下:

mark

Ablation Studies

论文研究了接收野大小和尺度/像素的采样率。

Feature similarities

可以看到下面两个例子,有足够的上下问才能够准确分类:

mark

Visualization of receptive field

配合的移除后续池化层的可视化结果:

mark

DenseASPP和ASPP对比的接收野如下:

mark


Conclusion

DenseASPP能够以更密集的方式连接一组扩张卷积,可以在很大范围内有效的生成密集的空间采样和特征,在CityScapes上测试得到了state-of-the-art的结果。

Thanks for your support!