内部统计论文提纲

论文题目：单帧图像的正则化深度超分模型研究

摘要：单帧图像超分辨率重建技术利用图像处理和机器学习理论,实现用一张给定的低分辨率图像生成出一张具有良好客观质量和视觉效果的高分辨率图像。超分辨率图像可以被广泛应用于医疗图像处理、遥感图像处理、公共安全监控、数字娱乐、多媒体通讯等领域,超分辨率重建技术因此得到人们的广泛关注。近几年蓬勃发展的基于深度学习的图像超分辨率模型（即深度超分模型）在超分辨率重建问题上取得了良好成绩,大大超越了传统的超分辨率重建算法,成为计算机视觉领域的一个研究热点。已有的多数深度超分模型主要关注模型的保真项重建,忽视了对深度超分模型的正则化约束分析。针对该问题,本文研究正则化约束下的深度超分模型,通过图像内部的统计先验、超分模型重建的损失、上下文特征和判别器为正则化约束条件来提升超分模型的性能,提出了四个新的图像超分辨率重建算法或模型。本文的研究内容及主要创新点如下:1.针对已有深度超分模型未考虑输入图像内部的统计先验,提出了一个联合统计模型引导深度网络的超分重建算法。联合统计模型使用了两个图像内部统计先验:非局部相似性和局部平滑度,分别建模为两项全变分正则项。为了使深度模型的重建结果尽可能与预估的高分辨率图像相似,将深度网络重建约束作为第三项正则项。以联合统计模型为正则化约束条件,引导深度模型重建,并用可收敛的分裂的Bregman迭代算法优化全变分问题。在四个基准数据集上的定量和定性结果表明,所提算法比原深度模型有更高的峰值信噪比。与已有研究工作相比,该方法建立了联合统计模型和深度超分模型的统一框架,实现了传统超分算法与深度超分模型的联合求解。2.针对高倍率如4倍、8倍的图像边缘重建时存在严重的锯齿现象,提出一个基于残差记忆网络的超分辨率重建模型。将总变分损失和多尺度结构相似性损失结合为新的联合损失函数作为正则化约束条件,约束超分模型产生连续的边缘。用残差记忆模块作为基础模块,通过门限机制自主选择特征。所提方法使用更少的参数,在放大4倍、8倍上取得了良好的客观指标。与第一个研究内容不同,该方法重点研究用模型损失来约束深度超分模型。3.针对深度超分模型未能充分考虑各层特征之间的上下文关联信息,提出一个基于非局部多尺度融合的单帧图像超分辨率重建模型。该模型用宽激活残差模块扩宽激活层前的特征,用多尺度融合模块在多个尺度上融合特征,用非局部网络模块获取图像的全局特征,关注目标的核心区域,并用模型得到的上下文特征作为该模型的正则化约束项。在五个基准数据集上,所提算法取得了最好的定量和定性结果。与第二个研究内容相比,该方法是具有更深网络层数和更高重建性能的超分模型。在视频超分辨率重建、图像分割、目标检测任务上的实验对比结果显示,所提算法相比其它最新超分模型有一定的优越性。与已有研究工作相比,该方法用深度超分模型的上下文特征约束模型重建。4.针对面向视觉感知的图像重建未能平衡视觉感知和客观质量的问题,提出了一个联合注意判别器。在原判别器上使用密集通道注意力和跨层注意力,提升原判别器的判别性,将联合注意判别器作为深度超分模型的正则化约束条件,指导生成器产生具有更高客观质量的重建结果。与多种生成器结合后的实验结果表明,所提联合注意判别器比原判别器能更有效提升重建的客观指标和主观视觉效果。前三个方法的研究内容是以PSNR为导向的超分算法或模型,与前三个方法不同,该方法主要研究以视觉感知为导向的深度超分模型。与已有研究工作相比,该方法考虑了判别器对深度超分模型中的生成器的作用。

关键词：图像超分辨率;正则化约束;图像统计先验;非局部;联合注意判别器

学科专业：计算机科学与技术

摘要

Abstract

第一章 绪论

1.1 研究背景和意义

1.2 问题定义与描述

1.3 图像超分辨率重建国内外研究现状

1.3.1 传统的图像超分辨率重建研究现状

1.3.2 深度学习的图像超分辨率重建研究现状

1.3.3 特定域的图像超分辨率重建研究现状

1.4 本文研究内容与创新点

1.5 论文组织结构

第二章 深度学习超分辨率重建的经典模型、数据集及评价标准

2.1 深度学习超分辨率重建模型

2.1.1 超分辨率网络框架

2.1.2 超分辨率网络结构

2.1.3 网络损失函数

2.2 数据集与评价指标

2.2.1 数据集

2.2.2 评价指标

2.3 本章小结

第三章 联合统计模型引导深度模型的超分辨率重建算法

3.1 三种正则化约束项

3.1.1 非局部相似正则项

3.1.2 局部相似正则项

3.1.3 深度网络正则项

3.2 联合统计模型引导深度网络

3.2.1 分裂的Bregman迭代求解正则化问题

3.2.2 统一模型

3.2.3 总体框架及优化求解

3.3 实验结果与分析

3.3.1 参数设置

3.3.2 模型的正则项分析

3.3.3 与最新SR算法的比较

3.3.4 扩展实验:联合统计模型引导LapSRN

3.4 本章小结

第四章 基于残差记忆网络的高倍率超分辨率重建模型

4.1 相关工作

4.2 残差记忆卷积神经网络

4.2.1 网络结构

4.2.2 残差记忆模块

4.2.3 联合损失函数

4.3 实验结果与分析

4.3.1 实现和训练细节

4.3.2 模型分析

4.3.3 损失函数分析

4.3.4 与其他SR算法比较

4.4 本章小结

第五章 基于非局部多尺度融合的超分辨率重建模型

5.1 相关工作

5.2 非局部融合的图像超分辨率

5.2.1 卷积组模块

5.2.2 三种模块

5.3 实验结果与分析

5.3.1 双三次插值降采样的实验结果

5.3.2 消融实验

5.3.3 三种所提模型对比

5.3.4 视频超分辨重建上的应用

5.3.5 视觉任务上的应用

5.4 本章小结

第六章 基于联合注意力机制的对抗超分辨率重建模型

6.1 相关工作

6.2 基于GAN的联合注意判别模型

6.2.1 密集通道注意

6.2.2 跨层注意

6.2.3 损失函数

6.3 实验结果与分析

6.3.1 数据集、评价标准与实现细节

6.3.2 消融实验

6.3.3 与几种生成器模型结合的GAN网络

6.3.4 扩展实验:注意机制应用到其他的判别器

6.4 本章小结

第七章 总结与未来工作展望

7.1 研究工作总结

7.2 未来工作与展望

参考文献

附录 主要符号对照表

致谢