ssd网络结构_SSD的理解

前段时间一直在看ssd，但是总是不太明白，今天突然明白了，就记录下自己的理解

先看下ssd的网络结构如下：

由于不想画这个结构，就盗了别人的图，非常感谢此作者。

SSD采用VGG16作为基础模型，然后在VGG16的基础上新增了卷积层来获得更多的特征图以用于检测。可以明显看到SSD利用了多尺度的特征图做检测。模型的输入图片大小是300×300（还可以是512×512，其与前者网络结构没有差别，只是最后新增一个卷积层）。

采用VGG16做基础模型，首先VGG16是在ILSVRC CLS-LOC数据集预训练。然后借鉴了DeepLab-LargeFOV,分别将VGG16的全连接层fc6和fc7转换成3×3卷积层conv6和1×1卷积层conv7，同时将池化层pool5由原来的stride=2的2×2变成stride=1的3×3，为了配合这种变化，采用了一种Atrous Algorithm，其实就是conv6采用扩展卷积或带孔卷积（Dilation Conv）,其在不增加参数与模型复杂度的条件下指数级扩大卷积的视野，其使用扩张率（dilation rate）参数，来表示扩张的大小，如下图所示，（a）是普通的3×3卷积，其视野就是3×3,（b）是扩张率为2，此时视野变成7×7，（c）扩张率为4时，视野扩大为15×15，但是视野的特征更稀疏了。Conv6采用3×3大小但dilation rate=6的扩张卷积

然后移除dropout层和fc8层，并新增一系列卷积层，在检测数据集上做finetuing。

其中VGG16中的Conv43层将作为用于检测的第一个特征图。conv43层特征图大小是38×38，但是该层比较靠前，其norm较大，所以在后面增加了一个L2 Normalization,以保证和后面的检测层差异不是很大，这个和Batch Normalization层不太一样，其仅仅是对每个像素点在channle维度做归一化，而Batch Normalization层是在[batch_size, width, height]三个维度上做归一化。归一化后一般设置一个可训练的放缩变量gamma。

anchor的设置

我觉得anchor的设置是一个难点，之前一直在这不是太明白，下面我就详细记录下。

SSD会为不同size的feature map设置不同大小和数目的anchor。在SSD300中，共有6个feature map，每层对应的anchor数分别为4， 6, 6，6， 4, 4。先验框的设置，包括尺度（或者说大小）和长宽比两个方面。对于先验框的尺度，其遵守一个线性递增规则：随着特征图大小降低，先验框尺度线性增加：

其中m指的特征图的个数，但却是5，因为第一层（Conv43层）是单独设置的，表示先验框大小相对于图片的比例，而和表示比例的最小值与最大值。paper里面取0.2和0.9。对于第一个特征图，其先验框的尺度比例一般设置为 /2 = 0.1，那么尺度为300×0.1 = 30。每层的feature map都有两个参数min_size和max_size，分别代表该层上anchor的最小scale和最大scale，注意这里的scale是先验框的实际尺度，不再是比例。第k层的min_size为