化学实验基本操作论文提纲

论文题目：面向虚实融合实验教学的智能烧杯研究与原型设计

摘要：虚拟实验系统是基于虚拟现实等技术搭建一种结合现实世界和虚拟世界的实验环境,实验者可以通过与实验设备进行交互,完成各种实验项目。随着我国高校教育的不断发展,实验教学成为国家课程方案和课程标准规定的重要教学内容,虚拟实验系统成为中学的重要教学工具。虚拟实验系统不仅能够解决中学化学实验中实验成本高、实验操作危险等问题,而且可以帮助学生更好地理解实验原理、记忆实验步骤。但是,现有虚拟化学实验系统的交互模式较为单一,这种单模态的交互方式不仅容易出现因操作行为不规范导致的误识别问题,而且容易增加用户的操作负荷,不能给用户一种真实的实验感受。因此,本文在国家重点研发计划项目“多模态自然交互的虚实融合开放式实验教学环境”的支持下,以“理论教学与实践教学相辅相成,实体实验与虚拟仿真相互结合”为设计目标,以“多模态融合与意图理解”为设计导向,设计了具有感知能力的新型智能烧杯结构,提出了基于决策层融合的多模态融合与意图理解算法,实现了智能烧杯化学实验系统,旨在打破传统实验教学的局限,让学生能够随时进行实验,并增加实验操作的交互性和沉浸感。本文所做出的贡献主要有以下三点:（1）提出了面向虚拟化学实验教学的智能烧杯模型。为了提高虚拟化学实验系统中用户行为感知的准确性以及用户实验操作的真实性和沉浸感,本文设计了一套具有感知能力的智能烧杯结构,并通过3D打印技术和传感器嵌入技术实现了其功能。智能烧杯上通过设置多种能够检测用户行为的传感器,包括:光敏传感器、声音传感器、姿态传感器、双目摄像头等,使之具有物体感知、语音感知、场景感知、烧杯自身的态势感知等功能,解决了在实验过程中系统对烧杯的倾倒、移动、试剂选择等功能的检测。实验结果证明,智能烧杯的使用提高了用户的体验感和沉浸感。（2）提出了新的多模态融合意图理解算法与导航式交互范式。本文针对单一模态误识别、不真实的问题,提出了基于决策层的多模态融合意图理解算法与导航式交互范式。首先,根据多通道（视、听、触）意图感知的结果,将三种模态信息进行处理并构建多模态信息数据库,明确了不同行为输入信息与意图之间的映射关系。然后,通过基于语音感知和传感感知的多模态融合算法和基于场景感知和姿态感知的多模态融合算法对多模态信息进行融合。同时,基于多模态融合算法提出了导航式交互范式,实现了智能导航系统。实验结果证明,本文中提出的两种多模态融合意图理解算法能够准确理解用户行为,智能导航系统的使用能够提高用户对智能烧杯的学习能力,降低实验系统的使用难度。（3）实现了具有示错能力和实验探究能力的智能烧杯化学实验系统。本文基于智能烧杯结构、多模态融合意图理解算法与导航式交互范式,完成了智能烧杯化学实验系统,并设计了8个化学实验进行验证。本文智能烧杯化学实验系统的创新之处在于:第一,该系统能够针对不同实验试剂量的多少进行相应的场景信息反馈,让学生自主地进行试探式实验;第二,当用户行为操作不规范或不正确时,系统能够给出相应的操作提示,并且具有示错实验现象反馈;第三,该系统添加了趣味问答和实验现象截图的记录,趣味问答能够帮助学生掌握知识点,而实验现象截图的记录能够方便老师对实验完成情况进行检查。实验结果证明,智能烧杯化学实验系统不仅能够满足传统化学实验的基本需求,而且能够完成在传统化学中无法尝试的示错案例,能够较好应用于实验教学中。

关键词：多模态融合;意图理解;导航式交互范式;场景感知;智能烧杯实验系统

学科专业：工程硕士（专业学位）

摘要

abstract

第一章 绪论

1.1 课题的研究背景与意义

1.2 国内外研究现状

1.2.1 基于虚拟仿真实验的研究

1.2.2 基于多模态融合方法的研究

1.2.3 基于意图感知方法的研究

1.3 主要研究内容

1.4 拟解决的关键性问题

1.5 本文组织结构

第二章 智能烧杯的结构设计

2.1 智能烧杯原型设计

2.1.1 反应烧杯的结构设计

2.1.2 倾倒烧杯的结构设计

2.1.3 智能固体套件的结构设计

2.2 智能设备的底层驱动模块

2.2.1 智能烧杯的硬件传输方法

2.2.2 智能烧杯触觉感知

2.3 基于云平台的语音识别

2.4 本章小结

第三章 基于多模态融合与意图理解的智能烧杯交互方法

3.1 多模态识别的总体框架

3.2 多模态信息数据库

3.3 多模态信息处理

3.4 多模态融合与意图理解

3.4.1 多模态融合与意图理解算法

3.4.2 导航式交互范式

3.5 实验结果评估

3.5.1 统计实验分析

3.5.2 对比实验

3.6 本章小结

第四章 基于场景理解与态势感知的智能烧杯交互模型

4.1 场景信息感知

4.1.1 基于SLAM的烧杯轨迹感知

4.1.2 基于YOLOV3 的场景态势感知

4.2 多模态系统交互范式

4.3 多模态融合与意图理解

4.4 实验结果评估

4.4.1 统计实验分析

4.4.2 精度对比实验

4.5 本章小结

第五章 智能烧杯实验系统的设计与实现

5.1 系统总体设计思路

5.2 系统开发环境

5.3 典型实验案例

5.3.1 钠与水反应实验案例

5.3.2 硫酸铜与氢氧化钠溶液反应实验案例

5.3.3 其他实验反应案例

5.4 系统测试

5.4.1 智能烧杯实验系统测试方案

5.4.2 测试步骤与测试结果

5.5 系统的用户评价

5.6 系统的应用示范

5.7 本章小结

第六章 结论与展望

6.1 全文总结

6.2 工作展望

参考文献

致谢