透视法摄影艺术论文提纲

论文题目：自然图像构图分析和美学评价

摘要：可计算图像美学分析旨在让计算机模拟人类对图像美学的感知,分析图像在构图、光影、颜色、景深等方面的美学属性,自动地做出在美学方面的质量评价。可计算图像美学涉及计算机视觉、摄影学、绘画、视觉艺术、脑科学、神经科学、美学心理学等多个研究领域,是多学科相互交叉的创新性研究课题,其美学分析结果可以为图像增强、图像修复算法的参数优化、图像摄影系统的性能评估以及图像风格转换结果的评估提供重要的依据和参考。此外,图像美学分析也在艺术创作、智能机器人、电子商务等领域具有重要应用潜力。本文针对自然图像美学分析进行了深入的研究,旨在利用深度学习方法提高图像构图建模能力、美学质量预测精度。研究内容主要从图像构图建模以及图像美学质量评价两个方面展开。在图像构图建模方面,研究了线性透视的建模和消失点的检测问题;在图像美学质量评价方面,探索了由单一模态信息到多模态信息的图像美学质量评价方法。本文的主要创新点概括如下:1.提出了一种基于卷积神经网络的自然图像线性透视建模方法。现有线性透视建模方法往往需要知道消失点位置的先验知识,并且只能进行简单场景的线性透视建模。在本文中,我们提出使用卷积神经网络的线性透视建模方法,将线性透视建模转化为分类问题,依靠深度学习强大的特征表征能力,不仅能够应对各种复杂场景,而且不需要消失点位置等先验知识。最后,我们又提出了基于线性透视建模的图像检索应用,检索出和待拍摄照片语义相似和视角相似的专业摄影师照片,为业余摄影爱好者提供指导。2.提出了一种基于语义纹理特征融合网络的自然图像消失点检测方法。传统的消失点检测算法往往关注于符合曼哈顿世界假设1或者人造环境假设的场景,在这种约束下,所建模的场景中往往包含大量的线条,并且包含多个消失点。但是在自然风光场景中,往往只包含极少数量的引导线,并且常常使用单一主要消失点来表征场景的整体构图。针对这一问题,我们利用深度学习来编码图像的边缘（纹理）特征,然后利用纹理特征和语义特征联合表征的方式解决自然场景消失点检测问题。实验结果表明所提方法能够有效的从复杂环境中找到主要消失点位置,提高自然场景中消失点检测的精度。3.提出了一种基于加权边缘-中央凹视觉卷积网络的自然图像美学分布预测方法。在图像美学质量预测任务中学习保持图像的细节特征是一个重要的问题。现有方法通过随机裁剪的方式保持图像的细节特征,这种随机裁剪方式会破坏图像内容和图像语义信息的完整性。针对这一缺点,我们提出了加权的边缘-中央凹视觉卷积神经网络,通过模拟人类中央凹视觉和边缘视觉系统,提取局部细节信息。考虑到全局特征和局部细节特征在不同的视觉场景中具有不同的作用,我们又提出了一个加权特征融合网络来动态加权两个子网络。实验结果验证了我们所提算法的有效性。4.提出了一种基于多模态循环注意力神经网络的图像美学评价方法。现有图像美学质量评价方法主要依靠单模态特征而忽略了来自其他模态的信息,并且在提取视觉特征的时候忽略了视觉特性中的选择性注意力机制。为了克服上述问题,我们提出了基于多模态循环注意力神经网络的图像美学质量评价方法来模仿人类视觉系统中选择注意力机制,并且利用文本卷积神经网络提取用户文字评论中的语义信息辅助美学决策。实验结果证实我们的算法能够取得更好的美学预测精度。5.提出了一种基于多模态自注意力和协同注意力卷积网络的图像美学质量评价方法。传统多模态方法往往依靠卷积神经网络提取视觉特征,但是卷积神经网络很难捕捉图像视觉元素之间的远距离依赖关系;并且文字评论信息和图像之间有一种天然的对应关系,现有的多模态方法忽略了这两种模态特征之间的关系。为了解决上述问题,我们提出了多模态自注意力和协同注意力卷积神经网络。其中,自注意力用来捕获图像块之间的上下文信息。协同注意力模块用来编码图像特征和文本特征映射关系。详细的实验表明了本文所提出的多模态自注意力和协同注意力卷积神经网络在图像美学分类、图像美学回归以及图像美学分布预测任务上的有效性。

关键词：图像质量评价;图像美学分析;深度学习;卷积神经网络;图像构图分析

学科专业：智能信息处理

摘要

ABSTRACT

符号对照表

缩略语对照表

第一章 绪论

1.1 研究背景和意义

1.2 自然图像美学分析的主要分支

1.3 自然图像构图分析研究进展与现状

1.3.1 基于规则式的图像构图建模方法

1.3.2 基于数据驱动式的图像构图建模方法

1.4 自然图像的美学质量评价算法的研究进展与现状

1.4.1 基于传统设计特征的图像美学质量评价方法

1.4.2 基于深度学习的美学质量评价方法

1.5 研究内容及章节安排

1.5.1 主要研究内容

1.5.2 本文各个章节安排

第二章 基于卷积神经网络的自然图像线性透视建模

2.1 引言

2.2 线性透视的建模

2.3 基于卷积神经网络特征表示的线性透视建模

2.4 实验结果与分析

2.4.1 实验数据库

2.4.2 实验参数设置

2.4.3 各模块有效性验证

2.4.4 与现有算法的比较

2.4.5 线性透视建模在图像推荐领域的应用

2.5 小结

第三章 基于语义纹理特征融合网络的自然图像构图分析中主要消失点检测

3.1 引言

3.2 语义纹理特征融合网络

3.2.1 整体嵌套边缘特征提取子网络

3.2.2 边缘和语义特征的融合模块

3.2.3 多任务框架下的消失点检测

3.3 实验结果与分析

3.3.1 消失点数据库的建立与分析

3.3.2 实现细节

3.3.3 各成分作用分析

3.3.4 与现有算法比较

3.4 小结

第四章 基于加权边缘-中央凹视觉卷积网络的自然图像美学分布预测

4.1 引言

4.2 基于加权的边缘-中央凹视觉卷积网络

4.2.1 自顶向下的神经注意力反馈网络

4.2.2 加权特征融合网络

4.3 实验结果与分析

4.3.1 数据集与评价准则介绍

4.3.2 实现细节以及参数设置

4.3.3 各模块作用分析

4.3.4 不同网络架构下算法有效性验证

4.3.5 不同图像内容下算法有效性验证

4.3.6 在AVA数据库上与现有算法对比

4.3.7 在Photo.net数据库上的比较

4.4 小结

第五章 基于多模态循环注意力神经网络的图像美学评价

5.1 引言

5.2 多模态循环注意力神经网络的图像美学评价方法

5.2.1 视觉特征子网络

5.2.2 文本特征子网络

5.2.3 多模态矩阵分解双线性池化算法

5.3 实验结果与分析

5.3.1 多模态数据库以及评价指标

5.3.2 训练参数设置以及重要参数的讨论

5.3.3 各个模块有效性验证

5.3.4 在AVA多模态数据库上与现有算法的比较

5.3.5 基于图像内容的美学分析

5.3.6 在Photo.net多模态数据库上与现有算法对比

5.4 小结

第六章 基于多模态自注意力和协同注意力神经网络的图像美学评价

6.1 引言

6.2 多模态自注意力和协同注意力神经网络的图像美学评价方法

6.2.1 基于自注意力机制的视觉子网络

6.2.2 文本特征子网络

6.2.3 密集协同注意力模块

6.2.4 多模态特征的融合

6.2.5 图像美学质量的预测

6.3 实验结果与分析

6.3.1 数据集与评价准则介绍

6.3.2 实现细节

6.3.3 各个模块有效性验证

6.3.4 在AVA多模态数据库上与现有算法对比

6.3.5 在Photo.net多模态数据库上与现有算法对比

6.4 小结

第七章 总结与展望

7.1 本文总结

7.2 研究展望

参考文献

致谢