1. 全栈程序员必看首页

文献精读（第二十七篇）——基于残差密集网络的图像超分辨率（RDN）「建议收藏」

全栈程序员-站长 • • 未分类 • 阅读 26

文献精读（第二十七篇）——基于残差密集网络的图像超分辨率（RDN）「建议收藏」一、文献梳理1、研究背景传统网络特点：增加了网络深度，使用残差，梯度裁剪等方法降低训练难度；使用memoryblock记忆块建立MeMNet，希望能够保存底层，浅层的特征。传统网络问题：不能充分使用每层的图片信息，大部分方法没有使用层次特征2、实验1）数据集设置训练数据集：DIV2K 训练数据增强：随机水平或垂直翻转90度 测试数据集：Set5、Set14、BSD100自然场景图像、Urban100城市场景图像2）训练集预处理BI方式：双线性插值、缩小比率2,8,16

大家好，又见面了，我是你们的朋友全栈君。

一、文献梳理

1、研究背景

传统网络特点：增加了网络深度，使用残差，梯度裁剪等方法降低训练难度；使用memory block记忆块建立MeMNet，希望能够保存底层，浅层的特征。

传统网络问题：不能充分使用每层的图片信息，大部分方法没有使用层次特征

2、实验

1）数据集设置

  • 训练数据集：DIV2K
  • 训练数据增强：随机水平或垂直翻转90度
  • 测试数据集：Set5、Set14、BSD100自然场景图像、Urban100城市场景图像

2）训练集预处理

  • BI方式：双线性插值、缩小比率2,8,16
  • BD方式：先对原图进行高斯滤波，高斯核为7*7，标准差为1.6，然后再下采样
  • DN方式：双线性插值加30%高斯噪声

3）结果

（1）模型分析：对其中的模块进行对比

文献精读（第二十七篇）——基于残差密集网络的图像超分辨率（RDN）「建议收藏」

（2） 其他模型比较

文献精读（第二十七篇）——基于残差密集网络的图像超分辨率（RDN）「建议收藏」

（3）鲁棒性分析（通过预处理BN或DN加入噪音后，再次对图像进行重建对比）

  • RDN与其他现金方法相比，能恢复更锐利的边缘与更精细的细节，其层次特征具有鲁棒性。

文献精读（第二十七篇）——基于残差密集网络的图像超分辨率（RDN）「建议收藏」

1）模型意义

  • 提出一个统一的框架，它通过不同的退化模型使用残差密集网络（RDB）生成高质量的超分辨率图像，网络充分利用原始低分辨率图像的所有层次特征
  • 提出残差密集模块（RDB），它不仅可以通过连续记忆（CM）机制从一个RDB读取状态，还可以通过局部密集连接充分利用其中的所有层。然后通过局部特征融合（LFF）自适应地保留累积的特征。
  • 提出全局特征融合以自适应地融合LR空间中所有RDB的分层特征。利用全局残差学习，将浅层特征和深层特征结合在一起，从原始LR图像中得到全局密集特征。

二、基础准备

1、局部特征

局部特征则是从图像局部区域中抽取的特征，包括边缘、角点、线、曲线和特别属性区域。常见的局部特征包括角点类和区域类两大类描述方式、局部图像特征具有在图像中蕴含数量丰富、特征间相关度小、遮挡情况下不会因为部分特征的消失而影响其他特征的检测和欺骗等特点。

2、全局特征

全局特征是指图像的整体属性，常见的全局特征包括颜色特征、纹理特征和形状特征，比如强度直方图等。由于是像素级的底层可是特征。因此，全局特征具有良好的不变性、计算简单、表示直观等特点，但特征维度较高、计算量大是其缺点。此外，全局特征描述不适用图像混叠和有遮挡的情况。

3、超分中的残差网络（详见本人博客）

残差学习有效缓解了随着网络深度增加引发的梯度消失现象，使得提高网络深度，还能保持很好的性能与效率。残差学习很适合做图像超分，因为低质量与高质量图像之间相似度很高，而他们的参数其实很稀疏，即残差学习使网络所要学习的东西变少了。

4、密集连接网络

每个层从前面的所有层获得额外的输入，并将自己的特征映射投递到后续的所有层使用级联方式；它每一层与前面所有层在通道维度上连接（不是相加是合并）在一起，实现特征的复用。密集连接有效的缓解了梯度消失问题，加强了特征传播，鼓励特征复用，减少了参数量。

三、论文重点

1、创新

  • RDB由密集连接层和局部特征融合构成
  • 一个RDB的输出作为下一个RDB的输入，产生一种连续的状态（RDB串行）
  • RDB中的每一个卷积层都可以直接访问后续所有层，并传递需要保存的信息

2、网络结构

网络的基本流程是在局部特征融合（LFF）完成之后，网络会进行全局特融合（GFF），将每一个RDB的输出结果与最初的卷积提出的浅层结果进行特征融合。

文献精读（第二十七篇）——基于残差密集网络的图像超分辨率（RDN）「建议收藏」

特征提取网络：前2个卷积层，用于浅层特征提取

残差密集模块：局部特征融合，局部特征学习（红色部分）

密集特征融合：局部特征融合，局部特征学习（concat到上采样之前）

上采样：sub-pixel，在网络的最后利用上采样和卷积实现图像的放大

3、公式表达

         文献精读（第二十七篇）——基于残差密集网络的图像超分辨率（RDN）「建议收藏」文献精读（第二十七篇）——基于残差密集网络的图像超分辨率（RDN）「建议收藏」

4、RDB模块

  • d-th RDB：\sigma \left ( ReLu\right )，W_{d,c}（卷积层的权重），F_{b,c}=\sigma \left ( W_{d,c}\left [F_{d-1},F_{d,1},F_{d2}...,F_{d,c},...F_{d,C}\right ]\right )
  • LFF：1*1卷积处理部分
  • LRF：F_{d}=F_{d-1}+F_{d,LF}

文献精读（第二十七篇）——基于残差密集网络的图像超分辨率（RDN）「建议收藏」

5、算法流程

  • DFF（密集特征融合）：GFF（全局特征融合）+GRL（全局特征学习）
  • GFF：将D个RDB输出结果concat起来，1*1卷积层用于自适应融合不同层的特征，3*3卷积层进一步提取特征
  • GRL：将浅层特征与最高层的全局融合特征进行残差连结，最后将特征送入上采样中，最终得到放大后的图片输出。

补充：

Contigous memory（连续存储机制）：意思是dense connection，连续的连接保证了连续的低级和高级特征信息存储和记忆，每一个RDB模块的输出结果，concate上一个RDB模块 输出，以及所有的卷积层之间的信息，其包括全局信息也包括层级信息，保证了信息不丢失。

6、算法对比

1）RDB与DenseNet区别

  • RDN是针对分辨率重构的，DesNet是用于高级CV任务的
  • RDB中去掉了DenseNet中的BN和pooling模块
  • DenseNet中每一个dense block的输出是concat起来的，而RDB中的利用局部特征融合将RDB中各层信息都进行了融合
  • RDB利用全局特征融合将各个模块中的信息都concat起来，并利用了最开始的特征，DenseNet忽略了层次特征（RDN的连接更密集）

2）RDB与SRDenseNet区别

文献精读（第二十七篇）——基于残差密集网络的图像超分辨率（RDN）「建议收藏」

  • 加入Contigous memory，使先前的RDB模块和 当前的模块信息直接融合
  • 利用LFF，RDB模块实现更大的增长率
  • RDB中LRL的应用增加了信息和梯度的流动
  • RDB内部没有密集连接，而是使用GFF与GRL
  • RDB使用L1 loss，SRDenseNet L2 loss

3）RDB与MemNet区别

文献精读（第二十七篇）——基于残差密集网络的图像超分辨率（RDN）「建议收藏」

  • MemNet需要对原图使用双线性插值对低分辨率图像进行上采样。RDN直接使用低分辨率图像减少了计算量增加了效率
  • MemNet中包含递归单元和门限单元模块，不接受先前模块的输入，而RDB的各个模块之间是有信息交流的
  • MemNet不能完全从原始的低分辨输入中提取层次特征，而RDN利用GRL将所有的信息都利用起来
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/151247.html原文链接：https://javaforall.net

赞 (0)
0 0

关于作者

全栈程序员-站长的头像

全栈程序员-站长

133.5K 文章
3 粉丝
本网站汇聚当前互联网主流语音，持续更新，欢迎关注公众号“全栈程序员社区”
上一篇 2022年6月20日 下午8:36
下一篇 2022年6月20日 下午8:46


相关推荐

  • 虚函数 inline函数

    虚函数 inline函数

    虚函数 inline函数一、首先回顾下什么是虚函数及其作用，以便更好理解什么函数不能声明或定义为虚函数：1.定义：虚函数必须是基类的非静态成员函数，其访问权限可以是protected或public，在基类的类定义中定义虚函数的一般形式：　　virtual函数返回值类型虚函数名（形参表）　　{函数体}2.作用：虚函数的作用是实现动态联编，也就是在程序的运行阶段动态地选择合

    全栈程序员-站长的头像 全栈程序员-站长
    2022年7月16日
    14
  • 如何用豆包训练自己的ai模型 豆包

    如何用豆包训练自己的ai模型

    如何用豆包训练自己的ai模型

    Ai探索者的头像 Ai探索者
    2026年3月12日
    2
  • numpy转tensorflow_pytorch numpy

    numpy转tensorflow_pytorch numpy

    numpy转tensorflow_pytorch numpy.numpy()和.from_numpy()负责将tensor和numpy中的数组互相转换，共享共同内存，不共享地址torch.tensor()复制数据，但不共享地址#tensor转numpy，共享内存但不共享地址a=torch.ones(5)b=a.numpy()print(a,b)print(id(a)==id(b))a+=1print(a,b)print(id(a)==id(b))b+=1print(a,b)print(id(a)==id(b))”’tensor([1.,

    全栈程序员-站长的头像 全栈程序员-站长
    2026年3月11日
    14
  • PowerPoint2007无法嵌入某些字体

    PowerPoint2007无法嵌入某些字体

    PowerPoint2007无法嵌入某些字体转载者 企业薪酬培训 ppt 课件 nbsp nbsp nbsp nbsp nbsp nbsp nbsp nbsp nbsp nbsp nbsp nbsp nbsp 来源 www 2ppt cn 在 PowerPoint20 中创建一个演示文稿 此外 还执行下列操作之一 以带有嵌入字体的 PowerPoint97 2003 演示文稿 格式保存演示文稿 使用 打包成 CD 功能保存演示文稿 在另一台计算机上打开演示文稿时 原来的字体将会替换为其他字体 原因 出现此问题

    全栈程序员-站长的头像 全栈程序员-站长
    2026年1月20日
    2
  • mount 命令详解

    mount 命令详解

    mount 命令详解mount 命令详解 nbsp nbsp nbsp 在 windows 操作系统中 挂载通常是指给磁盘分区 包括被虚拟出来的磁盘分区 分配一个盘符 这个操作可以通过 计算机管理 中的 磁盘管理 来进行 第三方软件 如磁盘分区管理软件 虚拟磁盘软件等 通常也附带挂载功能 nbsp nbsp nbsp 在 linux 操作系统中 挂载是一个非常重要的功能 使用非常频繁 它指将一个设备 通常是存储设备 挂接到一个已存在的目录上 这个目录可以不为空

    全栈程序员-站长的头像 全栈程序员-站长
    2026年3月19日
    1
  • windows 强制删除文件夹 不提示确认

    windows 强制删除文件夹 不提示确认

    windows 强制删除文件夹 不提示确认rd/s/qE:\apache-tomcat-6.0.41\apache-tomcat-6.0.41\webapps\concrete-platform-web

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月3日
    46

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号