上采样层 (upsample layer)，是语义分割等密集输出 (dense prediction) 任务的必备组件。一般默认选择双线性插值 (bilinear) 或者最近邻 (nearest) 的方式。这两种方式在 pytorch 的 interpolate 函数中均有实现。关于它们如何实现，已有好多博客解读。但是 bilinear 情况下，会伴随一个选项 align_corners，默认为 False。关于这个选项的含义，pytorch 1.3.1 官网是如下解释的：
这个解释看起来令人似懂非懂。相比之下，pytorch 0.4.1 的解释更为模糊：
与此同时，熟悉语义分割任务的同学，会发现输入大小通常会设置为 8 的倍数加 1，比如 513 (PASCAL VOC) 或者 769 (Cityscapes)。好多同行会有这种疑惑：为什么不直接设置成 8 的倍数？
本文期望对如上问题做一个全面的解读。笔者当时遇到这个问题时，全网没有一个友好的解释，只能自己去打印出来思考。根据笔者了解，本文是第一篇解读 align_corners 的中文博文。目前在 pytoch forem 有了一些相关的讨论，不过笔者写作本文时 尚不了解。本文还会对现有 libraries 插值是否 align_corners 做一个总结。看完本文后，相信读者能够全面理解这两个问题。
在接下来的图文中，我们默认以红色表示原图，蓝色表示插值上采样两倍后的图片。
首先介绍 align_corners=False，它是 pytorch 中 interpolate 的默认选项。这种设定下，我们认定像素值位于像素块的中心，如下图所示：
这里像素之间毫无对齐的美感，强迫症看到要爆炸。事实上，在 align_corners=True 的世界观下，上图的画法是错误的。在其世界观里，像素值位于网格上，如下图所示：
下面，我们同时展示两种方法的示例图：
对于密集输出任务，“整整齐齐”才是王道。对于语义分割任务等，我们最优的选择是 align_corners=True 以及输入尺寸 8 的倍数加 1。这里 8 是因为 dilated ResNet 下采样 8 倍。
从数值上来说，无论 True 还是 False，对于中间的像素，插值计算都是没有问题的。但是 False 的情况会对边角不友好。对于目标检测，鉴于少有物体中心出现在边角，所以影响不大；而 False 带来的整数倍上下采样，又方便了坐标值的计算。但是对于语义分割，边角像素也要纳入 mIoU 的计算，会对最终精度造成明显的影响 (0.5 in mIoU)。
如上，我们讨论了上采样的选择。那么，我们对图像处理时，理想情况下，下采样也应该选择对应的方式。既然上采样 align_corners=True，下采样也理应 align_corners。接下来，我们调研下几个流行的图像处理库，看下它们的实现是用了哪种设置。对于输入 [[1, 2], [3, 4]]：
我们发现，cv2、PIL的插值都是 align_corners=False；MXNet 默认 True。而 pytorch 和 tensorflow 都是可选。为了保持和下采样时的操作对应一致，笔者建议大家进行密集输出任务的图像预处理时 (尤其是 resize 操作)，放弃官方的 transform (PIL 实现) 以及 cv2 的实现，转而使用 pytorch 自己实现一份。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/208157.html原文链接：https://javaforall.net
