护理研究性论文提纲

论文题目：基于高光谱图像的情感识别研究

摘要：情感在人类的感知、决策等众多过程中扮演着极其重要的角色,越来越多的学者开始关注起有关情感方面的研究。信息技术的飞速发展为情感计算研究提供了源源不断的机遇和挑战,如可穿戴技术为人们识别与调节情感所带来的便利与可行性就是明显的证据。由于情感计算技术已经在医疗护理、远程教育、智能机器人、智慧社区等方面得到了广泛的应用,因此其相应的情感识别研究便受到了学术界和产业界的高度关注。在情感识别研究中,基于面部表情和生理信号的情感识别尤为重要。虽然单一模态（面部表情或生理信号）的情感识别研究工作已经得到了较为广泛的应用,但是它们却依然存在着各自的很多不足。如面部表情具有情感表达直观和特征信息丰富的优势,但却容易掩盖人类的真实内心体验,且现实中连续性捕捉较难;生理信号情感测度虽真实可靠,不易受主观意识所支配,但它有测量环境复杂多变和噪声冗余量大的缺点。大量研究表明,模态融合的互补性、独特性和关联性可以提高整个情感识别过程的系统稳定性和准确性。因此,促使研究者考虑模态融合来进行情感识别将是一种正确的思路。论文拟将面部表情信息和一种典型的生理测量指标（面部组织血氧饱和度,Tissue Oxygen Saturation-St O2）进行有效融合来研究情感识别问题,旨在提高情感识别的效果。论文从理解光谱成像感知识别情感原理开始,研究了面部表情的情感识别、面部St O2的情感识别以及融合方法的情感识别,其中包含了对一种新的纹理特征算子的构造过程、面部St O2的计算过程和相应数据库的建立。在完成上述研究工作的基础上,提出了一种融合面部表情与面部St O2的非侵入式情感识别的决策方法。具体来说,就是利用高光谱成像技术（Hyperspectral Imaging,HSI）实现对人脸区域的信息非侵入式捕捉,再分别从面部图像序列信号中提取相对应的面部表情和St O2特征,并利用基于支持向量机（Support Vector Machine,SVM）、协同表示分类器（Collaborative Representation Classifier,CRC）和多层感知器（Multilayer perception,MLP）来设计融合表情和生理模态的情感分类器,最终构建一个基于模态融合的情感识别决策模型。论文主要研究内容如下:1)论文使用HSI技术来实现非侵入式的情感识别,能克服传统接触式设备数据采集中所带来的舒适性不够、隐蔽性不好和操作不便等影响情感识别性能的问题。论文通过HSI技术构建HSI情感数据库,具体工作内容包括:设计情感诱导的实验范式,搭建实验平台,采集高光谱数据,数据处理与转化和建立情感的面部表情和St O2数据库。在完成上述工作的基础上,开展了基于模态融合的非侵入式情感识别的一系列研究工作。2)论文提出了一种新的纹理特征算子（Histogram of Local Dynamic Texture Patterns,Ho LDTP）,它综合考虑了图像全局特征和局部纹理特征模式。论文详细描述了其构造思路,同时将该算子应用于特征提取,分别从表情识别和人脸识别两个方面进行了实验论证,并进行了相应的研究分析。实验结果表明,Ho LDTP能较好地表征出图像的空间局部纹理特征信息,对分类识别有很好的性能表现,是一种较优应用前景的图像特征算子。3)论文提出使用面部St O2来进行情感识别问题的研究。结合大量相关研究,首先对人脸面部区域进行重新分割,得到了19个新的用于情感分类的脸部Region of Interest（ROI）片段,并在此基础上对人脸血氧图依据此分割方法进行特征提取,构建St O2特征向量,将其进行实验论述分析。实验结果表明,情感变化引起了St O2有规律的变化,利用St O2识别情感状态是有效可行的。并且,论文所提出的全新的人脸图像分割模式,对未来的ROI研究分析工作提供了指导性方向,有利于基于ROI区域模式匹配识别方向的研究性开展。4)论文提出了一种融合面部表情特征和面部St O2的非侵入式情感识别决策方法。充分利用HSI数据结构特点,该图像数据序列既蕴藏着面部表情图像特征模式（如Ho LDTP）也能映射出生理特征模式（如面部St O2）,结合两者的优点（面部St O2能客观真实地反映情感变化,图像表情模式纹理特征信息丰富,有效融合两者优势,互补所需）进行模态融合的情感学习,从不同视角下挖掘出情感状态的识别模式。HSI图像数据对情感识别有着潜在的实际应用价值,它丰富的特征信息可以有效增强系统模型的预测识别能力,对未来实际识别系统的构建有着积极的扩展支持意义。本研究证实,融合面部表情和面部St O2的情感识别在识别愤怒、平静、高兴和悲伤四种情感状态时具有较高的准确率,能提高情感分类表达的一致性。该融合方法合理地利用了高光谱数据中的情感信息,相比于单模态（表情Ho LDTP或面部St O2）的情感识别结果有一定的性能提升,且模态融合后的情感识别比单模态的情感识别更加稳定可靠。研究表明,该融合方法是一种有效的情感识别方法,具有重要的理论价值和潜在的应用前景。

关键词：非接触式感知;高光谱成像;表情识别;血氧饱和度;模态融合;情感识别

学科专业：应用数学

摘要

Abstract

第一章 绪论

1.1 研究背景和意义

1.2 研究现状

1.3 情感识别概述

1.4 研究内容和创新点

1.5 组织结构

第二章 光谱成像技术

2.1 SI识别原理

2.2 皮肤的光谱特征

2.3 高光谱成像技术

2.3.1 HSI工作机理

2.3.2 高光谱成像特点

2.3.3 高光谱成像的情感识别

2.4 本章小结

第三章 基于HoLDTP的情感识别

3.1 基于人眼定位的人脸检测

3.1.1 Gabor变换检测人眼区域

3.1.2 瞳孔定位

3.1.3 人脸检测校正

3.1.4 基于瞳孔的人脸检测

3.2 面部特征提取

3.2.1 研究假设

3.2.2 LBP(Local Binary Pattern,LBP)

3.2.3 HOG(Histogram of Oriented Gradient,HOG)

3.2.4 HoLDTP特征算子

3.3 线性回归方法

3.3.1 SRC分类器

3.3.2 CRC分类器

3.3.3 LRC分类器

3.3.4 LLR分类器

3.4 人脸识别与表情识别

3.4.1 人脸识别

3.4.2 人脸表情识别FER

3.4.3 联系与区别

3.5 实验数据库

3.5.1 高光谱人脸数据库

3.5.2 面部表情数据库

3.6 实验结果与分析

3.6.1 HoLDTP算子参数设置

3.6.2 表情识别分析

3.6.3 人脸识别分析

3.6.4 实验总结

3.7 本章小结

第四章 基于StO_2的情感识别

4.1 StO_2理论知识

4.2 构建情感数据库

4.2.1 实验设计

4.2.2 FACS

4.2.3 构建面部区域分割图

4.2.4 数据采集与转化

4.3 主动外观模型(Active Appearance Model,AAM)

4.3.1 AAM算法

4.3.2 模型训练

4.3.3 匹配过程

4.3.4 数据映射

4.4 实验设置

4.5 实验结果与分析

4.5.1 特征维数的影响

4.5.2 分类器k值的影响

4.5.3 实验分析与总结

4.6 本章小结

第五章 融合面部表情与面部StO_2的情感识别

5.1 情感识别模型构建

5.1.1 实验设置

5.1.2 数据采集与特征提取

5.1.3 融合策略

5.2 分类器

5.2.1 多层感知器MLP

5.2.2 支持向量机SVM

5.3 实验结果与分析

5.4 本章小结

第六章 总结与展望

6.1 本文的主要工作结果和结论

6.2 展望

参考文献

致谢

专利

参加课题