分组卷积
Group convolution是将输入层的不同特征图进行分组，然后采用不同的卷积核再对各个组进行卷积，这样会降低卷积的计算量。因为一般的卷积都是在所有的输入特征图上做卷积，可以说是全通道卷积，这是一种通道密集连接方式（channel dense connection），而group convolution相比则是一种通道稀疏连接方式（channel sparse connection）。
1、分组卷积的矛盾——计算量
使用group convolution的网络有很多，如Xception，MobileNet，ResNeXt等。其中Xception和MobileNet采用了depthwise convolution，这是一种比较特殊的group convolution，此时分组数恰好等于通道数，意味着每个组只有一个特征图。是这些网络存在一个很大的弊端是采用了密集的1×1 pointwise convolution（如下图）。
这个问题可以解决：对1×1卷积采用channel sparse connection 即分组操作，那样计算量就可以降下来了，但这就涉及到另外一个问题。
2、分组卷积的矛盾——特征通信
group convolution层另一个问题是不同组之间的特征图需要通信，否则就好像分了几个互不相干的路，大家各走各的，会降低网络的特征提取能力，这也可以解释为什么Xception，MobileNet等网络采用密集的1×1 pointwise convolution，因为要保证group convolution之后不同组的特征图之间的信息交流。
3、channel shuffle
为达到特征通信目的，我们不采用dense pointwise convolution，考虑其他的思路：channel shuffle。如图b，其含义就是对group convolution之后的特征图进行“重组”，这样可以保证接下了采用的group convolution其输入来自不同的组，因此信息可以在不同组之间流转。图c进一步的展示了这一过程并随机，其实是“均匀地打乱”。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/217660.html原文链接：https://javaforall.net
