学生课堂注意力分析论文提纲

论文题目：融合姿态和表情特征的学生课堂注意力状态识别方法研究

摘要：课堂注意力揭示了学生在课堂上一定时间内专注于某事的能力,也是学生在课堂上自发地、积极地获取信息、提高学识和掌握技能的基本品质。课堂注意力的质量对听课效果、学习成效和其他评价手段的有效性有非常重要的影响。但传统教学场景中,义务教育的普及使学生的数量增多,如果没有科学的量化标准和技术支持,教师需要很长的时间跨度来观察和评价所有学生的注意力状态,且更多停留于主观层面。为了使教育工作者更高效地掌握当前的学生注意力状态,以及时调整教学策略、改善课堂气氛,也为了让学生对自己有更全面的了解,本研究在观察真实传统课堂中学生表现并作出归纳的基础上,提出了应用于学生学习过程中的注意力状态非侵入式自动分析方法,并开发出相应的工具。具体研究内容如下:1.针对部分已有研究以生活中的面部表情或姿态数据为基础,或直接将通用的情绪识别用于分类,而未考虑教育教学环境下学生特有的学习心理状态的问题,与教育学、心理学等专家一起总结出学生课堂注意力状态的四种典型类别（思考、厌烦、游离、专注）及其与面部表情、姿态特征的对应关系,以此为依据来设计实验、采集并标准化相关数据,最后构建学生课堂注意力状态数据集。2.针对无法在低头或转头时观察到学生的面部表情,且他们的肢体动作容易被前排同学遮挡的问题,利用面部表情和身体姿态信息互补的特点,使用Alpha Pose提取出面部关键点和胯部以上骨骼信息,分别设计了两个卷积神经网络结构来对学生的面部表情及身体姿态进行分析,对于学生课堂注意力状态的平均识别准确率分别达到79.5%和78.33%。3.将学生面部表情及身体姿态的分析结果,使用基于效用的方法、循证方法、可训练方法进行决策融合,最终选择的融合方法在单个学生课堂注意力状态识别中的准确率均高于仅使用姿态特征和仅使用表情特征的算法,且平均准确率达到86.45%。本文在自建的学生课堂注意力状态数据集上进行了对比实验,以验证所提出算法的有效性。

关键词：课堂注意力状态;身体姿态;面部表情;卷积神经网络;决策融合

学科专业：软件工程（专业学位）

摘要

ABSTRACT

第1章 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.2.1 使用面部表情特征的注意力状态识别研究方法

1.2.2 使用身体姿态特征的注意力状态识别研究方法

1.2.3 使用姿态和表情特征的注意力状态识别研究方法

1.3 主要研究内容

1.4 论文结构安排

第2章 相关技术理论基础

2.1 卷积神经网络

2.2 人体姿态估计

2.3 空间域注意力机制

2.4 决策融合

2.5 本章小结

第3章 课堂注意力状态图像数据集的构建方法

3.1 课堂注意力状态

3.2 课堂注意力状态与面部及姿态特征的对应关系

3.3 课堂注意力状态图像数据集的建立

3.3.1 班级全景图数据集

3.3.2 学生单人注意力状态图像数据集

3.4 本章小结

第4章 基于身体姿态及面部表情的注意力状态识别

4.1 采用Yolov5版的Alpha Pose获取学生关键点

4.2 基于身体姿态的注意力状态识别

4.2.1 算法流程概述

4.2.2 SCAS-Posture网络

4.2.3 实验设计

4.2.4 实验结果与分析

4.3 基于面部表情的注意力状态识别

4.3.1 算法流程概述

4.3.2 SCAS-Expression网络

4.3.3 实验结果与分析

4.4 本章小结

第5章 身体姿态及面部表情注意力状态识别的决策融合

5.1 整体流程概述

5.2 基于效用的方法及循证方法

5.2.1 波达计数

5.2.2 加权投票法

5.2.3 朴素贝叶斯法

5.3 可训练的方法

5.3.1 行为知识空间

5.3.2 决策模板

5.3.3 Dempster-Shafer

5.3.4 最大似然

5.4 辅助判断

5.4.1 眨眼检测

5.4.2 举手检测

5.5 互补冗余分类

5.6 实验结果与分析

5.7 注意力状态识别工具的实现

5.8 本章小结

第6章 总结与展望

6.1 总结

6.2 展望

参考文献

致谢