深度学习: RPN (区域候选网络)

大家好，又见面了，我是你们的朋友全栈君。

Overview

RPN的本质是 “ 基于滑窗的无类别object检测器 ” :

RPN所在的位置：

Note：

• 只有在train时，cls+reg才能得到强监督信息(来源于ground truth)。即ground truth会告诉cls+reg结构，哪些才是真的前景，从而引导cls+reg结构学得正确区分前后景的能力；在inference阶段，就要靠cls+reg自力更生了。
• 在train阶段，会输出约2000个proposal，但只会抽取其中256个proposal来训练RPN的cls+reg结构（其中，128个前景proposal用来训练cls+reg，128个背景proposal用来只训练cls）；到了inference阶段，则直接输出最高score的300个proposal。此时由于没有了监督信息，所有RPN并不知道这些proposal是否为前景，整个过程只是惯性地推送一波无tag的proposal给后面的Fast R-CNN。
• RPN的运用使得region proposal的额外开销就只有一个两层网络。

放大之后是这样：

庖丁解牛

RPN由以下三部分构成：

1. 在 RPN头部 ，通过以下结构生成 anchor（其实就是一堆有编号有坐标的bbox）：
   

   论文中的这幅插图对应的就是 RPN头部：
   
   （曾经以为这张图就是整个RPN，于是百思不得其解，走了不少弯路。。。）

2. 在 RPN中部， 分类分支（cls） 和 边框回归分支（bbox reg） 分别对这堆anchor进行各种计算：
   
   Note： two stage型的检测算法在RPN 之后 还会进行 再一次 的 分类任务 和 边框回归任务，以进一步提升检测精度。

3. 在 RPN末端，通过对 两个分支的结果进行汇总，来实现对anchor的 初步筛除（先剔除越界的anchor，再根据cls结果通过NMS算法去重）和 初步偏移（根据bbox reg结果），此时输出的都改头换面叫 Proposal 了：
   

后话

RPN之后，proposal 成为 RoI (感兴趣区域) ，被输入 RoIPooling 或 RoIAlign 中进行 size上的归一化。当然，这些都是 RPN网络 之后 的操作了，严格来说并 不属于 RPN 的范围 了。

图中 绿框内为 RPN，红圈内为 RoI 以及其对应的 Pooling 操作：

Note

• 如果只在最后一层 feature map 上映射回原图像，且初始产生的anchor被限定了尺寸下限，那么低于最小anchor尺寸的小目标虽然被anchor圈入，在后面的过程中依然容易被漏检。
• 但是FPN的出现，大大降低了小目标的漏检率，使得RPN如虎添翼。
• 关于RPN的具体结构，我自己也画了一张图解。有兴趣的可以看一下：论文阅读: Faster R-CNN

Source Code

作者的源码 ：

#========= RPN ============

layer { 
   
  name: "rpn_conv/3x3"
  type: "Convolution"
  bottom: "conv5"
  top: "rpn/output"
  param { 
    lr_mult: 1.0 }
  param { 
    lr_mult: 2.0 }
  convolution_param { 
   
    num_output: 256
    kernel_size: 3 pad: 1 stride: 1
    weight_filler { 
    type: "gaussian" std: 0.01 }
    bias_filler { 
    type: "constant" value: 0 }
  }
}
layer { 
   
  name: "rpn_relu/3x3"
  type: "ReLU"
  bottom: "rpn/output"
  top: "rpn/output"
}
layer { 
   
  name: "rpn_cls_score"
  type: "Convolution"
  bottom: "rpn/output"
  top: "rpn_cls_score"
  param { 
    lr_mult: 1.0 }
  param { 
    lr_mult: 2.0 }
  convolution_param { 
   
    num_output: 18   # 2(bg/fg) * 9(anchors)
    kernel_size: 1 pad: 0 stride: 1
    weight_filler { 
    type: "gaussian" std: 0.01 }
    bias_filler { 
    type: "constant" value: 0 }
  }
}
layer { 
   
  name: "rpn_bbox_pred"
  type: "Convolution"
  bottom: "rpn/output"
  top: "rpn_bbox_pred"
  param { 
    lr_mult: 1.0 }
  param { 
    lr_mult: 2.0 }
  convolution_param { 
   
    num_output: 36   # 4 * 9(anchors)
    kernel_size: 1 pad: 0 stride: 1
    weight_filler { 
    type: "gaussian" std: 0.01 }
    bias_filler { 
    type: "constant" value: 0 }
  }
}
layer { 
   
   bottom: "rpn_cls_score"
   top: "rpn_cls_score_reshape"
   name: "rpn_cls_score_reshape"
   type: "Reshape"
   reshape_param { 
    shape { 
    dim: 0 dim: 2 dim: -1 dim: 0 } }
}
layer { 
   
  name: 'rpn-data'
  type: 'Python'
  bottom: 'rpn_cls_score'
  bottom: 'gt_boxes'
  bottom: 'im_info'
  bottom: 'data'
  top: 'rpn_labels'
  top: 'rpn_bbox_targets'
  top: 'rpn_bbox_inside_weights'
  top: 'rpn_bbox_outside_weights'
  python_param { 
   
    module: 'rpn.anchor_target_layer'
    layer: 'AnchorTargetLayer'
    param_str: "'feat_stride': 16"
  }
}
layer { 
   
  name: "rpn_loss_cls"
  type: "SoftmaxWithLoss"
  bottom: "rpn_cls_score_reshape"
  bottom: "rpn_labels"
  propagate_down: 1
  propagate_down: 0
  top: "rpn_cls_loss"
  loss_weight: 1
  loss_param { 
   
    ignore_label: -1
    normalize: true
  }
}
layer { 
   
  name: "rpn_loss_bbox"
  type: "SmoothL1Loss"
  bottom: "rpn_bbox_pred"
  bottom: "rpn_bbox_targets"
  bottom: 'rpn_bbox_inside_weights'
  bottom: 'rpn_bbox_outside_weights'
  top: "rpn_loss_bbox"
  loss_weight: 1
  smooth_l1_loss_param { 
    sigma: 3.0 }
}

#========= RoI Proposal ============

layer { 
   
  name: "rpn_cls_prob"
  type: "Softmax"
  bottom: "rpn_cls_score_reshape"
  top: "rpn_cls_prob"
}
layer { 
   
  name: 'rpn_cls_prob_reshape'
  type: 'Reshape'
  bottom: 'rpn_cls_prob'
  top: 'rpn_cls_prob_reshape'
  reshape_param { 
    shape { 
    dim: 0 dim: 18 dim: -1 dim: 0 } }
}
layer { 
   
  name: 'proposal'
  type: 'Python'
  bottom: 'rpn_cls_prob_reshape'
  bottom: 'rpn_bbox_pred'
  bottom: 'im_info'
  top: 'rpn_rois'
# top: 'rpn_scores'
  python_param { 
   
    module: 'rpn.proposal_layer'
    layer: 'ProposalLayer'
    param_str: "'feat_stride': 16"
  }
}
layer { 
   
  name: 'roi-data'
  type: 'Python'
  bottom: 'rpn_rois'
  bottom: 'gt_boxes'
  top: 'rois'
  top: 'labels'
  top: 'bbox_targets'
  top: 'bbox_inside_weights'
  top: 'bbox_outside_weights'
  python_param { 
   
    module: 'rpn.proposal_target_layer'
    layer: 'ProposalTargetLayer'
    param_str: "'num_classes': 21"
  }
}

#========= RCNN ============

layer { 
   
  name: "roi_pool_conv5"
  type: "ROIPooling"
  bottom: "conv5"
  bottom: "rois"
  top: "roi_pool_conv5"
  roi_pooling_param { 
   
    pooled_w: 6
    pooled_h: 6
    spatial_scale: 0.0625 # 1/16
  }
}
layer { 
   
  name: "fc6"
  type: "InnerProduct"
  bottom: "roi_pool_conv5"
  top: "fc6"
  param { 
    lr_mult: 1.0 }
  param { 
    lr_mult: 2.0 }
  inner_product_param { 
   
    num_output: 4096
  }
}
layer { 
   
  name: "relu6"
  type: "ReLU"
  bottom: "fc6"
  top: "fc6"
}
layer { 
   
  name: "drop6"
  type: "Dropout"
  bottom: "fc6"
  top: "fc6"
  dropout_param { 
   
    dropout_ratio: 0.5
    scale_train: false
  }
}
layer { 
   
  name: "fc7"
  type: "InnerProduct"
  bottom: "fc6"
  top: "fc7"
  param { 
    lr_mult: 1.0 }
  param { 
    lr_mult: 2.0 }
  inner_product_param { 
   
    num_output: 4096
  }
}
layer { 
   
  name: "relu7"
  type: "ReLU"
  bottom: "fc7"
  top: "fc7"
}
layer { 
   
  name: "drop7"
  type: "Dropout"
  bottom: "fc7"
  top: "fc7"
  dropout_param { 
   
    dropout_ratio: 0.5
    scale_train: false
  }
}
layer { 
   
  name: "cls_score"
  type: "InnerProduct"
  bottom: "fc7"
  top: "cls_score"
  param { 
    lr_mult: 1.0 }
  param { 
    lr_mult: 2.0 }
  inner_product_param { 
   
    num_output: 21
    weight_filler { 
   
      type: "gaussian"
      std: 0.01
    }
    bias_filler { 
   
      type: "constant"
      value: 0
    }
  }
}
layer { 
   
  name: "bbox_pred"
  type: "InnerProduct"
  bottom: "fc7"
  top: "bbox_pred"
  param { 
    lr_mult: 1.0 }
  param { 
    lr_mult: 2.0 }
  inner_product_param { 
   
    num_output: 84
    weight_filler { 
   
      type: "gaussian"
      std: 0.001
    }
    bias_filler { 
   
      type: "constant"
      value: 0
    }
  }
}
layer { 
   
  name: "loss_cls"
  type: "SoftmaxWithLoss"
  bottom: "cls_score"
  bottom: "labels"
  propagate_down: 1
  propagate_down: 0
  top: "cls_loss"
  loss_weight: 1
  loss_param { 
   
    ignore_label: -1
    normalize: true
  }
}
layer { 
   
  name: "loss_bbox"
  type: "SmoothL1Loss"
  bottom: "bbox_pred"
  bottom: "bbox_targets"
  bottom: 'bbox_inside_weights'
  bottom: 'bbox_outside_weights'
  top: "bbox_loss"
  loss_weight: 1
}