SRGAN简记
- 它是第一个能够推断4×放大因子的照片真实自然图像的框架
- 作者将GAN的思想用于SR任务，虽然PSNR还比不上此前提出的方式，但是在MOS这一评价维度上达到了state-of-the-art
- 作者的贡献是：
- 提出了SRResNet（SRCNN的增强版）
- 提出了SRGAN（主要内容，引入GAN来做超分）
- 引入MOS评价指标，并说明PSNR的一些问题（图像过于平滑，缺少高频细节信息，所谓高频即在频域中频率较高的部分，通常认为这部分用于保存图像细节信息）
参考
- pytorch代码
- 原文
模型结构
- GAN分为Generator和Discriminator两个部分，其中Generator用于图像超分，Discriminator用于判定超分图和原图
LOSS定义
- 整体的LOSS分为两个部分，分别是Content Loss 和adversarial loss，
Content Loss
- 内容损失loss，此前用的一般是MSE，这种LOSS拥有比较好的PSNR（峰值信噪比），但是通常来说回丢失高频信息，导致图像过于平滑（一般我们认为图像中的细节信息大部分存在高频部分），因此作者由欧几里得距离提出了 I X S R I_{X}^{SR} IXSR，如下所示
- 其中X替代为VGG（意思是Backbone用的VGG，可替换）， ϕ i , j 表 示 第 i t h 个 m a x p o o l 之 前 的 第 j t h 个 c o n v l o t i o n \phi_{i,j}表示第i_{th}个maxpool之前的第j_{th}个conv lotion ϕi,j表示第ith个maxpool之前的第jth个convlotion，然后H和W表示feature map的空间维度。
Adversarial loss
- 为对抗loss，是生成器和检测器之间的loss，类似交叉熵但好像并不是，这里由于我们希望生成器的结果被检测器误认为是nature的图片，所以希望最小化检测器认为是生成器生成的概率（也就是使得D的结果趋向于1）
实验
- 有关于MOS的结果，SR GAN在Set5和Set14数据集上的MOS分数均比SRResNet（可以看作SR CNN的增强版）高不少
- MOS评级分布，可以看到SRResNet高于此前的方法，而SRGAN又超过了SRResnet。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/227493.html原文链接：https://javaforall.net
