三维物体的重建方法论文提纲

论文题目：基于骨架表达的深度三维物体重建方法研究

摘要：从RGB图像中恢复物体或场景的三维几何是计算机视觉研究的一个基本问题。关于三维视觉的研究至少可以追朔到二十世纪八十时代。从那时起,传统的多视角几何开始发展起来用于三维重建,而且成为了许多基础应用的核心技术,如虚拟增强现实、机器人导航、自动驾驶等。传统的多视角三维重建通过先建立局部特征点匹配然后经过全局优化求解表面几何。最近由于大规模的三维模型数据集的建立,我们可以利用深度神经网络强大的拟合能力,实现从少量甚至单张图像中端到端地学习三维物体的重建。现有的深度学习方法通过对不同的形状表达方式设计重建框架取得了不同程度的进展,然而它们都有自己的局限性。由于现有的学习框架缺少对拓扑结构的显式约束,这些方法均不能很好地重建出具有复杂拓扑结构的物体。为此,本文提出使用骨架表达来帮助从图像中重建三维物体的下游任务,因为骨架能很好地保护拓扑,并且相比表面更易于学习。从技术上讲,本文提出了一个全新的骨架学习网络,它以骨架点云的学习作为桥梁来学习骨架的体素表达。为了学习骨架点云,本文设计了平行的双分支点云解码器,每个解码器分支分别负责学习骨架曲线和骨架曲面上的点;为了高清骨架体素的合成,本文提出了一个全局结构引导局部子块修复的策略;本文还提出了一个可微分的点云到体素转换层（Point2Voxel layer）,使得Skeleton Net可以端到端地训练。通过学习到的骨架体素,本文提出了两种模型:基于骨架约束的图卷积神经网络（Ske GCNN）和基于骨架约束的隐式场学习网络（Ske DISN）,它们分别在现有的网格变形和隐式场学习的框架基础上进行了改进。我们通过充分的实验验证了我们提出的Skeleton Net的有效性。Ske GCNN和Ske DISN的性能均优于现有方法,并且通过不同的评价指标进行度量时,它们具有各自的优点。在真实图片上的泛化测试也进一步证明了我们提出的方法的有效性。

关键词：基于深度学习的三维物体重建;骨架;网格变形;隐式场学习

学科专业：信号与信息处理

摘要

ABSTRACT

第一章 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 本文研究内容及创新点

1.4 论文章节安排

第二章 三维物体重建相关工作综述

2.1 三维形状表达方式和单视角重建

2.1.1 基于体素的单视角重建

2.1.2 基于点云的单视角重建

2.1.3 基于多边形网格的单视角重建

2.1.4 基于隐式场的单视角重建

2.2 多视角物体重建

2.2.1 可微分渲染器

2.2.2 多视角特征融合

2.2.3 多视角形状融合

2.2.4 基于几何投影关系的多视角特征融合

2.3 三维重建常用数据库

2.4 三维重建评估体系

2.5 本章小结

第三章 物体骨架生成

3.1 骨架的介绍

3.1.1 Medial Axis Transformation

3.1.2 Skeleton

3.1.3 基于骨架表达的三维物体重建算法的动机

3.2 物体骨架抽取算法设计

3.3 SkeletonNet:从图像中学习物体骨架

3.3.1 算法框架总览

3.3.2 图像编码器

3.3.3 骨架点云生成

3.3.4 骨架体素修复

3.3.5 可微分的点云到体素转换层

3.3.6 损失函数

3.4 实验

3.4.1 网络实现细节和训练策略

3.4.2 实验结果及分析

3.5 本章小结

第四章 基于骨架表达的显式网格生成

4.1 算法整体框架

4.2 基于骨架表达的粗糙网格变形网格

4.2.1 粗糙网格提取

4.2.2 基于图神经网络的网格变形

4.2.3 损失函数

4.3 实验

4.3.1 网络实现细节和训练策略

4.3.2 消融实验

4.3.3 与现有方法的对比

4.3.4 真实图片泛化测试

4.4 本章小结

第五章 基于骨架表达的隐式场生成

5.1 算法框架总览

5.2 基于骨架表达的隐式场生成网络

5.2.1 隐式场生成

5.2.2 相机姿态估计

5.2.3 图像和骨架的局部特征提取

5.2.4 基于骨架约束的隐式场生成

5.2.5 损失函数

5.3 实验

5.3.1 网络实现细节和训练策略

5.3.2 消融实验

5.3.3 与现有方法的对比

5.3.4 真实图片泛化测试

5.4 本章小结

总结与展望

论文工作总结

未来工作展望

参考文献

致谢

附件