听觉言语康复训练系统（精选6篇）
篇1：听觉言语康复训练系统
基于移动智能终端的听障儿童言语康复训练系统说明书
2017年“挑战杯”吉林省大学生课外学术科技作品竞赛
长春大学作品
基于移动智能终端的听障儿童言语康复
训练系统说明书
团队成员： 侯佳帅、徐杰、陈静哲、李节龙、姜丽敏、王原、任书锐 指导教师： 参赛单位：
史丽娟、赵剑
电子信息工程学院、计算机科学技术学院 吉林省残疾人康复设备及技术科技创新中心
基于移动智能终端的听障儿童言语康复训练系统说明书
目 录
摘 要.........................................................I 第1章 研究背景及意义.........................................1
1.1 研究背景..............................................1 1.2 国内外研究现状........................................2 1.3 研究意义..............................................6 第2章 作品介绍...............................................7
2.1 作品简介..............................................7 2.2 作品设计..............................................7 2.3 作品使用说明..........................................8 2.4 作品性能优化.........................................10 第3章 系统设计及工作原理....................................13
3.1 系统流程.............................................13 3.2 工作原理.............................................14 3.2.1三维模型驱动...................................14 3.2.2发音训练模块...................................18 3.2.3反馈系统.......................................21 第4章 主要创新点............................................23
4.1 相对于传统方式的优势.................................23 4.2 技术的创新点.........................................24 4.3 项目未来优化发展.....................................25 第5章 市场分析..............................................26 团队简介.....................................................28 参考文献.....................................................29 附 件........................................................31
附件目录.................................................31 附件图片.................................................32
基于移动智能终端的听障儿童言语康复训练系统说明书
摘 要
听障儿童由于听力障碍造成言语的缺失，严重影响其认知能力、思维能力的发展，最终将影响其情感和智力的发育。听障儿童的发音器官是正常的，只要对其进行听力补偿并进行及时科学的言语康复，就能让他们走出无声世界，进入有声世界，和正常儿童一样认识事物，发展智力，为以后入学、工作打下基础。当前听障儿童言语康复训练主要采用言语康复训练教师一对一的对听障儿童示范发音过程，听障儿童进行模仿的训练方式。这种训练方式存在主要问题是听障儿童数量多，而言语康复训练教师少，导致部分听障儿童错过最佳言语康复期。随着计算机技术的发展，出现了一些听障儿童言语康复的辅助软件和设备，但由于这些软件和设备还需要大量的专业人员参与而没有得到广泛的有效应用。
为了解决上述传统言语康复训练存在的问题，本作品将面部捕捉技术与三维可视化技术引入听障儿童言语康复训练领域，将面部捕捉技术与三维可视化相结合，建立真实的三维头像模型，并模拟发音器官做出发音动作，为听障儿童展示真实的发音过程，提高听障儿童言语康复训练效果。尤其在手机等移动设备较为普及的今天，本作品将该技术应用于移动智能终端系统中，建立基于移动终端的听障儿童言语康复训练系统。此系统将在移动智能终端系统实现三维虚拟会话头像模拟汉语发音过程，听障儿童应用本系统可以随时随地的自主进行言语康复训练，解决了听障儿童语言康复训练过程中语训教师不足，不能得到及时的康复训练等问题。
关键词：言语康复训练，面部捕捉，三维可视化，移动智能终端
I 基于移动智能终端的听障儿童言语康复训练系统说明书
第1章 研究背景及意义
1.1研究背景
听力障碍是人类残疾类型中的一种，早在《左传》中就有“耳不听无声之和为聋”的说法。中国是世界上听力障碍（简称“听障”）儿童数量最多的国家之一，听障儿童是指由于疾病、药物、噪声、意外事故等影响，造成听觉系统中传音、感音，以及对声音综合分析的各级神经中枢发生异常，引发听力障碍，听不见或听不清周围声音的儿童[1]。2017年5月21日是我国第二十七次全国助残日。据中国残联介绍，我国目前有8500万残疾人（如图1-1所示），每年新增近200万人，有40%的残疾人有康复需求。其中听力残疾2780万人，约占24.16%；言语残疾130万人，约占1.53%，其中听力障碍儿童83.5万，6岁以下听障儿童13.7万，每年新生听障儿童约2.3万（如图1-2所示）。
图1-1 我国残疾人总数
图1-2 我国听障人群现状 /47 基于移动智能终端的听障儿童言语康复训练系统说明书
医学专家指出0～3岁是儿童大脑发育最快的时期，也是学习语言的最关键时期，7岁以前是语言最佳形成期，7～12岁是可塑期[2]。如果错过最佳言语康复训练期，声音信号没有在脑部形成刺激，则严重影响儿童后期的言语发育，且听障儿童在语言发育滞后的同时，还常伴有运动、认知等方面的异常或障碍。在重度和极重度听障儿童中，高达25%的儿童有多重残疾。我国第二次全国残疾人抽样调查显示，在0-6岁听障儿童中，有72%同时伴有其他残疾，直接影响了儿童认知能力、思维能力和记忆能力的发展，这给他们在获取知识上造成一定难度，势必会影响其情感和智力的正常发育。虽然听障儿童听不见或听不清声音，但是他们的发音器官是正常的。听障儿童说出的话一般较难听懂，这主要是因为他们发音方式和发音位置不正确。在听力障碍儿童群体中有残余听力的约占85%以上，只要听力能得到及时的补偿和重建，同时进行科学的言语康复训练，大部分听障儿童是可以掌握有声语言的[3]。据调查，我国听力语言康复事业仍处于发展的初级阶段，听力语言康复服务普及率低，基础薄弱，服务供给及保障能力不足等问题依然十分突出。据全国聋儿康复机构的调查显示，全国有54%的地市级残联没有自己的聋儿康复机构，有59个地市没有一所聋儿康复机构。从全国范围看，残联所属聋儿康复机构只占全国机构总数的30%。国内适龄听障儿童能够有机会进入康复机构进行言语康复训练的仅占听障儿童群体总数的60%，要实现0～6岁听障儿童言语训练健康全覆盖，还有一定距离。本研究主要借助技术手段，针对3～7岁听障儿童，进行言语康复训练，帮助听障儿童学习发音、理解语言，使其提高语言及表达能力，为听障儿童正常的工作、学习、融入社会奠定基础[4]。
1.2国内外研究现状
国内的听障儿童言语康复训练从80年代开始，主要采用传统的康复训练方法，依靠语训教师一对一的进行康复训练。这种训练方式由语训教师发音，听障儿童进行模仿。语训教师在言语训练过程中对听障儿童描述发音的位置，然后示范发音过程中的嘴唇形状及舌部在口腔内的变化过程，听障儿童同步进行模仿，通常此种康复训练的方法称为传统康复训练法。传统康复训练方法主要是让听障儿童通过观察发音过程中的舌、嘴唇等发音器官的位置和动态变化，然后通过不断强化练习发音过程，逐渐感知正确的发音从而完成言语康复训练[5]。这种方法/47 基于移动智能终端的听障儿童言语康复训练系统说明书
在听障儿童言语康复训练中发挥了较大的作用，取得了一定效果，但主要存在的问题是人在发音过程中，内部发音器官不可视，听障儿童年龄较小，看不见内部发音器官的情况下，很难根据语训教师的描述来理解和感知内部发音器官，如舌头的状态和变化过程。因此，需要专人指导，高昂的额外开支使听障儿童家庭因聋致贫，未进行听障康复训练的儿童几乎不能与人交流，学习工作很难，成人后更难自主生活。
（a）听障儿童模仿语训教师口型发音训练
（b）听障儿童感受发音时语训教师的声带震动
图1-3 语训教师指导听障儿童进行言语康复训练
随着科学技术的发展，我们逐渐将聋儿语言康复训练设备用到聋儿语言功能康复训练中。天津市聋儿语言康复中心开发的《聪聪学话》多媒体聋儿语训系统，把语音识别技术和多媒体技术结合起来，配以视觉反馈，利用多变的画面,吸引聋儿的兴趣,让聋儿在游戏中进行呼吸训练、发音训练、单音练习(英文)，并可对聋儿发音实现实时评价，给出发音的波形图和音强、音长和音调等参数，帮助聋儿找到发音存在的问题。此系统还能提供元音、语谱图和共振峰等视觉反馈信息[6]。虽然此系统能在聋儿语言康复过程中发挥一定作用，但它的使用需要专业指导人员的配合，如让聋儿自己读懂这些复杂的语音分析结果是很困难的。另外，此系统没有配备正确的发音指导提示信息，聋儿即使知道自己发音错误，却不知如何改进。
中国科学院深圳先进技术研究院研究员王岚开发的基于中文的三维说话人头像连续发音运动模拟系统[7]为言语康复领域提供了信息化的创新工具，改进了传统的依靠听力和图片进行言语康复训练的模式，同步采集说话人的面部视频和音频录像，以及口腔内部X光录像，标注说话人发音器官运动特征控制点，并建立对应每个因素的特征点数据库，实现发音器官不同类型的变形运动，对于解/47 基于移动智能终端的听障儿童言语康复训练系统说明书
决该领域的发展瓶颈起到了至关重要的作用。随着产业化目标的推进，有听障儿童的家庭将不必再为高昂的培训或治疗费用而担心，低龄患者可以通过客户端，在家人的指导下进行适量适度的持续训练。此系统需要家长的陪同训练。
国内主要是基础训练与针对训练相结合的言语康复方式和听觉口语法。前者康复方法中，基础训练包括发声放松训练与声带协调性训练，目的是为听障儿童声调、语调发音奠定良好的生理基础，其中发声放松训练包括颈部放松训练与声带放松训练，声带协调性训练主要是运用重读治疗法的节奏训练完成。针对性训练包括声调巩固训练、语调整句强化训练和边界调强化训练，主要是结合特定的声调和语调进行语调表达的训练，属于超音段音位的训练，由三个相互独立又包含的内容组成:巩固单、双字调的声调巩固训练；逐字增加句长法和句子升降调训练组合的语调整句强化训练;借助言语测量仪完成边界调强化训练。这一言语康复方法将医学解剖生理学基础与言语测量仪等现代技术辅助手段相结合，是医教结合理念在特殊教育领域上的完美呈现，但该类训练方法对干预实施人员的手法要求较高，需要经过专业的言语语言病理学训练才能发挥该康复方法的作用。后者康复方法适合于人工耳蜗术后或佩带助听器后听觉补偿比较理想的聋儿，主要借助助听设备，将听觉、语言、认知依其自然发展之程序结合起来，在有意义的情境中透过会话式的互动，让听障儿童学习、倾听、会说话。因其十分注重残余听力的运用与口语的表达能力，强调“听”对言语的自我反馈、自我监控以及自我调整，所以必须在没有视觉线索的情形下先行训练听觉能力，否则很难建立起听觉习惯或视听并用的技巧。
在国外，使用较好的“IBMSpeechViewer”、“BoxofTricks”、“OLP”治疗器、MicroVideoCorporation 的VideoVoice[8]。一个比较有影响的系统是IBM可视语言训练系统(IBMSpeechViewer)，其最早源于1983年启动的可视语言计划，现今已适用于12种不同的语言。系统由一个带有彩色显示器的PC机，附带着麦克、放大器和扬声器，能保存和分析用户的语音，然后显示和重放。反馈采用各种图形设计和类似游戏带有选择性回放的功能。程序分为三种不同用途：基本认知，技能培养，语音体系练习以及必要的语音模板模块。这套系统是高性能的实时语音治疗设备，其软件包含13个互动程序，能够帮助听力损伤儿童学会认知和控制浊音发音、定时、音调和响度及发声和韵律。此外，还能协助成人或正/47 基于移动智能终端的听障儿童言语康复训练系统说明书
常听力者学习语言。这些程序涵盖了繁简、难易各个程度的治疗方法。由于系统没有集成训练词汇库或结构性训练设计方案，它要求使用者具备对语音学和传统临床疗法更深层次的理解，才能更高效地发挥系统潜力。
“Box of Tricks”听力损伤儿童教学和训练系统是另一个比较著名的系统，由欧洲“INCO-Copernicus计划”的“SPECO”子计划研发支持。这套训练系统设计适用于四种语言。在能够实时提供语音声学参数反馈的同时，系统还以图形形式显示重要的发音特征。这些被称为“语音图形”的东西可以用清晰娱乐的方式展示。在其帮助下，聋儿很容易区分出不正确发音和参考模板的正确发音。通过观看自己发音的图形并将其与正确发音图形比较，从而学会正确发音。系统包括一个通用的独立于语言的测量工具和数据库编辑器。数据库编辑器可构建针对其它语言不同的模块和词汇库。每种语言都有依赖于语言的语音和图形数据库，一个用于教学和训练元音，另一个用于摩擦音和塞擦音。“BoxofTricks”系统使用户有友好的感觉，非常适用于12岁以下语言和听力损伤儿童。采用预设词汇库、可比较的10岁儿童参照语音、各个音素符号语音图形和针对不识字儿童的提示词汇使用户很方便操纵，但不具备设立特定个体训练练习的治疗内容，训练效果不佳。
“OLP”治疗器是由欧洲生命质量和生活资源管理项目支持的。OLP项目针对儿童构音障碍、颚裂和听力损伤三种病理学来实施研究。项目的目标是应用新的技术方法改进发音器官损伤造成的生活质量的下降，以便在发音方面支持传统的语音治疗方法。这个方案基于儿童最佳发音并与自动语音识别相结合，而且根据每个儿童的具体情况设计方案。OLP疗法遵照为各个等级的治疗设置的时间表，实施量身定做的治疗计划。基于Internet的远程学习OLP治疗系统含有训练词汇库和结构性训练方法，但没配备参照讲话者。运用自动语音识别技术，系统很复杂且耗时。综合评价表明此方法不适合听力损伤儿童的使用，但更适合机能性发音失常的成人患者。
上述国外的聋儿语言康复训练系统设备（如图1-4所示）虽然取得了一定的发展，但多以二维平面的形式进行反馈，对于确认发音准确性和正确性主要依靠第三方教学人员的参与，并没有真正的实现完全依靠人与机器的言语康复训练。/47 基于移动智能终端的听障儿童言语康复训练系统说明书
图1-4语言康复训练系统
综上所述，辅助训练系统，需要专业人员参与，存在时间和场地的限制，且需要高额的费用，并且主要反馈信息集中在音频比对，并无系统的评估过程。如何通过现代计算机技术、信息科学及控制技术等科学技术帮助聋儿及家庭摆脱这些困扰，在减少人工干预情况下自主的进行言语康复是目前康复科学领域一个重要课题[9]。
1.3研究意义
智能化的人机交互是计算机发展的趋势，也是现在的研究热点。人机交互中因为增加了虚拟人物的设计，给人们带来了全新的感觉。尤其增加了虚拟人物的视听结合的语音教学方式比单独的视觉或听觉教学更有助于听障儿童的语言学习。因此，团队在前期的研究中针对听障儿童在言语康复训练过程中语训教师数量无法满足听障儿童言语康复需求，以及传统言语康复训练过程中内部发音器官不可视等问题，将三维会话头像引入听障儿童言语康复领域，采用三维头像模型模拟人的发音动作，辅助康复训练，取得了较好的效果。随着移动设备的普及，智能手机、ipad等移动智能终端逐渐走入家庭，本作品将三维头像技术移植到移动智能终端，开发出一套适用于移动智能终端的听障儿童言语康复训练的系统软件。用惠及广大听障家庭的方法，解决经过听力补偿之后的听障儿童在减少甚至摆脱人工干预的情况下，能够利用可视模型自主的进行言语康复训练的问题，在低廉的成本下听障儿童可随时随地的进行康复训练，符合我国国情的需要，符合国家科技发展规划的要求。/47 基于移动智能终端的听障儿童言语康复训练系统说明书
第2章 作品介绍
2.1作品简介
针对言语训练师不足，训练条件具有局限性，训练费用昂贵等问题，我们利用三维运动捕捉系统建立相应三维模型，将数据传输，加密，音频解析等技术结合，开发出 “基于移动智能终端的听障儿童言语康复训练系统”。系统可在移动智能终端（安装Andriod、IOS系统的智能手机、ipad等设备），实现三维可视化模拟汉语发音。听障儿童可以通过观察三维头像模拟发音过程，一边模仿一边练习。我们作品应用逼真的三维动画效果可以指导听障儿童进行发音训练，对数据的分析，并对听障儿童发音训练进行评估，评估出听障儿童发音的具体情况，因材施教，提供个性化的训练方案，具有显著的训练效果。这种面向听障儿童言语的训练方式，其特征在于：使听障儿童在家，在一切可利用环境下发音训练，并且通过视觉直观看到显示屏幕上的三维头像模拟发音过程和音频波形，一边模仿一边练习，效果显著。
2.2作品设计
为了克服目前语言障碍者学习发音过程中出现的无反馈、单调枯燥等不足。我们提出将三维建模与可视语音技术相结合,建立基于特征坐标点参数驱动的三维头像模型及适合发音学习者康复的三维汉语辅助发音的语音库。并在建立 3D会话头像的基础上, 结合语音识别和图像识别技术对发音进行校正,以达到帮助语言障碍者恢复发音功能即达到语言矫治的目的。发音训练是语言康复的重要环节，听障儿童发音时唇部，舌部以及下颚等面部的动作对于发音的准确性有很大的影响，根据移动终端操作系统的特点，本作品通过事先捕捉的说话时人的面部表情、唇部动作，舌头的状态等三维数据，建立三维动态驱动数据库，用以建立移动终端三维头像表情真实，动作精准，发音准确，协调一致的语言康复训练系统。/47 基于移动智能终端的听障儿童言语康复训练系统说明书
2.3作品使用说明
用户首先进入登录界面，可以选择注册或者登录。如选择注册界面，用户可以根据系统提示信息注册为本系统用户（使用者拥有唯一的登录号，全国联网同步训练情况），然后进入登录界面，输入正确的用户名和密码，进入训练单元。用户通过选择系统中的字母、声母、韵母、声调符、字、词等不同训练单元进入相应单元，然后可选择具体训练内容对应发音项。用户根据自身情况选择某一发音训练项，系统自动进入三维头像模拟发音训练模块。用户点击三维头像模拟发音训练模块中三维头像所在区域，系统播放三维头像发音动画。听障儿童通过反复训练，以达到正确发音目的。用户学习结束后可以选择退出系统，终止学习，也可以选择返回键继续学习其他单元或其他发音项的内容。我们系统前期已经研发的基于Android系统的康复训练系统V1.0版本，该系统已授权软件著作权，该系统相对简单，接下来会对初级版本进行升级，建立相应的更为精确的反馈机制与评分奖励，使其更具有生动有趣性，具有真实感，丰富发音模块，建立更全面的发音康复资源，同时开发基于IOS系统的软件系统。下列图片为CCU听障儿童言语康复训练系统实际APP图片（图2-1到图2-6）。
图2-1 PC机系统登录界面 /47 基于移动智能终端的听障儿童言语康复训练系统说明书
图2-2移动设备系统登录界面图2-3 系统训练库选择界面
图2-4 系统训练素材界面图2-5 系统训练发音界面 /47 基于移动智能终端的听障儿童言语康复训练系统说明书
图2-6系统播放发音过程
本项目康复训练过程就是受训者通过观察了解一个词语的发声过程，然后模拟面部动作和发声，最后进行训练检测，并通过信息反馈给受训者，指导其进行正确训练。即观察—模拟—检测这样一个循环训练过程。其中，结果检测在整个训练系统中是至关重要的，通过音频图像结果的反馈，受训者可以清楚的知道自己的发声和标准发声相比有什么不同。通过语音识别结果的反馈，受训者可以知道自己当前的发声是否正确。通过这样一个训练系统可以帮助听障儿童掌握发音规律，能够为接下来获得言语交流能力打下基础。
2.4 作品性能优化
针对听障儿童的认知特征与正常儿童的差异性[10]（主要表现在以下几个方面），听障儿童训练时存在的一些问题，我们对系统进行了优化设计，如图2-7所示。/47 基于移动智能终端的听障儿童言语康复训练系统说明书
内部发音不直观建立三维面部模型信息反馈不及时多级反馈计算差异注意力无法集中奖励机制、寓教于乐 图2-7系统性能优化
（1）感知活动不完整。听觉的丧失或减退使听障儿童在感知事物的声音属性方面存在一定障碍，不利于形成视听结合的知觉形象，影响了知觉的完整性。针对听障儿童的知觉特征，在设计学习时采用了补偿声音效果、增强视觉效果的设计策略。
（2）无意注意为主，有意注意稳定性差。听障儿童的注意力以无意注意为主，有意注意发展滞后且稳定性差，注意的分配和转移存在一定程度的困难。所以听障儿童的移动智能终端既要能够吸引其无意注意又不能对其有意注意造成障碍，我们对系统界面布局、主题风格、背景 颜色及资源粒度大小等方面进行合理设计。
（3）思维形象化。通常有“十聋九哑”之说，听觉的障碍造成听障儿童言语发展的滞后或丧失，使其思维较长时间停留在形象思维阶段，更加注重事物的外部特征，表现出很大的具体、形象性。而卡通具有丰富多彩的视觉效果，能够形成强烈的视觉冲击力，切合了听障儿童以形象思维为主的认知特征。
（4）词语——逻辑记忆薄弱。听障儿童的记忆以视觉记忆为主。由于很难形成言语表象，听障儿童对文字、词语的理解、记忆比较困难，缺乏逻辑性，“记得慢，忘得快”的现象在听障儿童中时常发生。针对听障儿童记忆的这种特性，设计的移动语音数据要能够重复利用，使听障儿童可以随时复习、时时复习；听障儿童主要以视觉获取信息，对信息无障碍需求主要是：他们对获取文本、图形等视觉信息是没有困难的。
结合听障儿童的认知特征与记忆流图（如图2-8所示），我们采用交互式的设计方式，有利于听障儿童与训练内容的良好交互，对于训练的发生以及训练的效果都有积极的影响。学习是主动的、个性化的学习方式，移动智能终端康复训练系统与听障儿童的交互应该能够保证听障儿童独立、自主地完成有关内容的训/47 基于移动智能终端的听障儿童言语康复训练系统说明书
练。我们操作反馈采用可视化的、振动的形式。提高学习过程的可控性，由于听障儿童的认知水平参差不齐，接受训练知识的快慢程度迥异，因而训练过程的可控性对于听障儿童自主学习显得尤为重要，听障儿童可以选择自己要训练的内容与难易程度，全方位提高记忆效果与训练疗效。
选择语词组织语词语词耳朵耳朵语言模型整合画面眼睛先前知识选择图像眼睛组织图像图像模型多媒体呈现感觉记忆工作记忆长时记忆
图2-8 听障儿童记忆流图
因此本系统的优势体现在以下几个方面：
（1）系统本身具备一对多的教学模式，利用三维模型代替老师，成功的解决康复训练师数量不足的问题。
（2）听障儿童可实行自主独立的训练，解决了依靠专业人员训练的难题。最后我们的移动智能终端，创造出随时随地的训练条件，使听障儿童可在一切环境下进行发音训练，训练效果十分有效。/47 基于移动智能终端的听障儿童言语康复训练系统说明书
第3章 系统设计及工作原理
3.1系统流程
听障儿童言语康复训练系统（如图3-1所示）主要分为三个模块，分别是可视化模块，传输模块，标准语义库。
可视化模块包括三维头像模拟发音和音频文字转语言音频波形，通过采集不同人的语音信息，利用统计原理筛选出与标准发音度匹配的音频，然后对语音进行分帧处理以提取语音的特征参数，建立语音帧与唇形类别的映射关系，数据加载后驱动三维模型发音，同时将训练者的音频文字转为波形。传输模块不仅对音频进行传输，还将特征点以半结构化的XML文件形式进行传输，音频信息与标准语义库进行对比，从而综合评判并反馈结果信息。
图3-1 基于智能移动终端的听障儿童言语康复系统整体流程图 /47 基于移动智能终端的听障儿童言语康复训练系统说明书
3.2 工作原理
3.2.1三维模型驱动
本实验中使用FBX格式的面部模型，该格式文件是MotionBuilder软件所固有的文件格式，在文件兼容性和对象的材质、灯光等方面均高于其他的类型的文件格式[11-12]。
根据 MPEG-4标准，人脸模型上定义了数据在空间上可参考的特征点，将这些特征点可分为不同的区域进行处理，并定义索引来表示特征点所在的区域，所有符合 MPEG-4人脸动画标准[13]的人脸模型均定义了上述所有特征点位置。在本文的研究工作中，使用 3Dmax软件对人脸模型进行构建[14-15]：首先，建立人脸面部模型，定义人脸模型面部骨骼特征点数量；其次，建立骨骼空间结构，在各个特征点之间构建关联，以配置和表达面部骨骼模型运动特性；最后，根据捕获到的面部数据特征点名称建立人脸模型特征点的映射关系，实现对人脸模型骨骼特征点的驱动，从而实现演员面部表情数据驱动虚拟角色面部运动并呈现表演效果。上述过程中的人脸模型在软件默认的工作情况下采用 3DS格式保存，该格式不支持 MotionBuilder对其直接读入和使用。因此，使用 3DMax软件将面部模型进行转换，将其输出为网格格式，以支持使用 MotionBuilder进行三维数据表达，从而构建了 3DMax和 MotionBuilder之间的兼容渠道。选择带有面部表情节点的三维面部模型，根据重建后特征点的位置关系，将特征点与模型的面部表情节点进行映射。根据特征点的映射区域关系，分别建立眼眉、眉角、鼻翼、嘴角、上唇、下唇、眼睛等模型表情节点与数据源间的映射关系，映射关系建立完成后，触发重定向事件，达成数据源成功驱动三维面部模型。通过不同视图，展现出面部模型的正面与侧面[16]，如图3-2所示。/47 基于移动智能终端的听障儿童言语康复训练系统说明书
图3-2三维头像基本模型
采用面部表情捕捉系统对面部表情进行捕捉，该系统由成像模块，标定套件、处理软件、标志套件等组成。通过红外相机完成对面部关键点运动进行捕获与跟踪，追踪精度可达0.1毫米以下，可实时模拟出人脸表情运动。
采集前，需要对红外相机进行相机光学标记，对6个相机的坐标系进行统一，确保数据采集的精准性。外参完成对坐标系的统一，相机内参与二维点坐标计算面部特征点进行三维信息确定。相机标定的目的是为了求出相机的内参和外参。其中，内参包括内参矩阵与畸变系数，外参包括平移向量与旋转向量。利用相机参数，建立世界坐标系到图像像素坐标系之间的转换关系，实现了像素点从二维平面到三维空间中的相互转换，如图3-3所示。
图3-3三维运动捕捉系统
根据模型与重构后特征点之间的映射关系，触发绑定事件，驱动三维面部模型。在利用面部表情捕捉系统进行面部表情采集时，采集者面部需粘贴23个感光标示点（图3-4所示），头部4个用于固定头部相对位置，23个感光标示点可/47 基于移动智能终端的听障儿童言语康复训练系统说明书
捕获正常人在发音时的面部表情，如唇部、两腮、嘴角等部位。通过特征点的运动驱动三维面部模型，与此同时利用摄像机进行音频采集。采集的数据文件以XML文件的形式进行保存（如图3-5所示），XML文件具有半结构化的特点，具有便捷快速性，可以通过节点找寻所需文件。
将捕获到面部标识点的三维数据保存至XML文件中。上述用于记录和呈现面部表情捕捉数据的 XML文件内容项包括：
（a）数据帧采集时间戳节点（数据项的标签名为
（b）头部位置标定数据节点（数据项的标签名为
（c）面部骨骼节点的空间位置坐标（数据项的标签名为
图3-4面部特征点标定
图3-5XML数据格式
在数据传输过程中，基于OptiTrackOptical数据传输组件，采用UDP协议开发了特征点数据实时传输模块。与 TCP 协议不同的是 UDP 协议不需要建立连接，相比 TCP 协议具有消耗资源少，处理速度较快的优点，在保证大量面部特/47 基于移动智能终端的听障儿童言语康复训练系统说明书
征点数据传输实时性的同时，提高应用程序的执行效率。特征点数据实时传输模块作为服务端模型只负责发送面部特征点数据，OptiTrackOptical组件则作为客户端模型，只负责接收数据实时传输模块所发送的面部特征点数据。
一方面，将转化得到的人脸模型导入 MotionBuilder演示平台，提取人脸模型中各个特征点名称、特征点索引，根据人脸模型的特征点数量，创建临时特征点集合。其次，读取 XML文件中的面部表情数据，逐帧提取面部表情数据，根据人脸模型的特征点名称、特征点索引与 XML格式文件中的特征点名称及索引进行绑定。另一方面，将保存完成的面部表情信息与人脸模型骨骼特征点进行映射，实现数据驱动。虽然人物脸部特征的差异性较大，但是对于表情呈现的效果仍可满足基本的需求，在保证面部数据与模型特征点的同步工作情况下，运用 MotionBuilder能够实现面部表情的有效演示。3-6和3-7所示）。
图3-6OptiTrack系统采集
图3-7带动模型运动发音 /47 基于移动智能终端的听障儿童言语康复训练系统说明书
以上数据采集均用MPEG-4标准。MPEG-4特殊的编码方式和强大的交互能力，使得基于MPEG-4的计算机图形和动画可以从各种来源的多媒体数据库中获取素材，并实时组合出所需要的结果。MPEG-4系统的一般框架是：对自然或合成的视听内容的表示；对视听内容数据流的管理，如多点、同步、缓冲管理等；对灵活性的支持和对系统不同部分的配置。MPEG-4标准不仅针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。这个标准主要应用于视像电话、视像电子邮件等，且对传输速率要求较低。MPEG-4利用很窄的带宽，通过帧重建技术、数据压缩，以求用最少的数据获得最佳的图像质量。经过这样处理，图像的视频质量下降不大但体积却可缩小几倍，这样就可以为我们节省出很多空间。
3.2.2发音训练模块
通过对语音音频的采集，保存到对应的音频文件中，生成了自己的语音库，语音库形成了就需要对语音进行驱动。语音驱动的唇形动画属于人脸动画技术范畴，具有真实感的可视化语音合成技术已成为人机接口、虚拟主播与人工智能等领域的研究热点，可广泛用于视频教学、电影动画、虚拟社区等。研究基于三维网格模型的语音于驱动三维动画同步技术[17-18]我们应用了：
(1)特定人的可视化语音与三维模型同步动画技术。我们采用了数据加载的方式，把存储面部信息点的XML文件的数据和音频的数据全部加载到移动端的缓冲区时，在同步进行驱动展示。这样就解决了语音与唇形动画同步的问题。
(2)三维模型同步动画技术。利用BP神经网络研究语音与驱动唇形动画。该方法运算量较小，可操作性较强，能够达到较理想的语音唇形动画效果。在应用中有如下几个方面：
1.采集不同人的语音资料，建立语音库;研究与分析汉语的发音特征以及发音规律，分析唇形运动状态以将具有相似运动状态的唇形进行归类，建立口型库。
2.基于特定人的语音可视化合成算法的研究，提取唇形的特征参数值，对唇形样本进行分类与聚类处理，形成基本的唇形类别，对语音进行分帧处理以提取语音的特征参数(MFFC)（注：MFCC 语音特征的提取中Mel频率倒谱系数是基于傅立叶变换提取的语音参数[19-20]。分析研究表明，MFCC 能够充分利用人耳的/47 基于移动智能终端的听障儿童言语康复训练系统说明书
听觉系统，在语音识别中作用很大。其计算流程如下：
(1)对语音信号进行傅立叶变换、取模，得到频谱；(2)对频谱取平方，得到功率谱；(3)使用23个 Mel 滤波器组进行滤波；(4)对滤波后的结果取自然对数；
(5)对自然对数取离散余弦变换(DCT)，得到 MFCC（提取流图如图3-8所示），建立语音帧与唇形类别的映射关系，建立训练模型以训练样本数据，最终合成与语音帧相同步的唇形帧，经平滑处理后达到真实动画效果。系统框架如图3-9所示。
3.非特定人的语音驱动唇形动画的研究，依据汉字音节特征以及声韵母与唇形类别间的映射关系，构建一个三层的BP网络模型进行学习训练。在实时语音驱动唇形动画过程中，首先对语音信号进行端点检测，将噪音段与无音段直接对应闭合的唇形状态，然后提取有效语音的底层特征参数，经过BP网络模型处理，生成与实时语音帧对应的唇形状态帧，以显示唇形动画。此项目恢复系统采用汉语语音驱动人脸唇形动画，首先提取语音的特征参数MFFC，建立语音帧与唇形帧在时间序列上的某种映射关系，以驱动唇形运动。最后，在三维人脸网格模型上实现语音驱动的唇形动画，达到真实自然的动画效果。实验证明，所提算法是有效的，且具有较满意的运行效率。
语音信号预加重分帧窗口FFTMFCCDCT取对数Mel滤波器组图3-8 MFCC系数提取 /47 基于移动智能终端的听障儿童言语康复训练系统说明书
图3-9系统框架
我们系统同时也进行优化处理，利用基于阶层式人工神经网络的发音特征提取（如图3-10所示），在分析发音时发音器官的动作属性后，补充了发音位置、是否送气、舌位高低、舌位前后、嘴唇形状等5种发音特征，从而建立了能够更全面地表征发音器官的动作属性的发音特征集合，并以此提出了改进的发音特征提取方法，并将新的发音特征和韵律特征一起用于声调建模。最后根据随机段模型的模型结构和解码方式提出声调模型集成方式[21]，从而将声调信息应用于语音识别系统。采用了新的发音特征集合后声调模型的精度有了进一步提高，同时系统性能有了进一步的提高。
图3-10基于阶层式人工神经网络的发音特征提取 /47 基于移动智能终端的听障儿童言语康复训练系统说明书
3.2.3反馈系统
聋儿康复训练系统主要是将受训者所发语音进行处理后提取出语音的特征，然后再进行语音的识别训练，让受训者将自己的发音和标准音的特征参数进行比较，逐步纠正自己的发音。我们获取的只是从移动端接收到的语音数据。
首先建立发音训练练习题库，按照发音学习者发音康复不同阶段分为初级、中级、高级三个等级，分别从语料库中装载各自不同级别的发音单元，形成习题并存储。按照汉语发音学习的难易程度，自动从语料中选取相应级别的语料组成练习单元，对发音者进行发音训练。
其次我们通过设备对练习者的语音进行录制、存储与回放操作。数字音频系统需要将声波波形信号（模拟信号）通过AD转换成计算机支持的二进制（如图3-11所示），进而保存成音频文件如图3-12所示。最后将音频提取出来，模拟出他们的波形，与发音训练练习题库中相应的练习波形相匹配来评判[22-23]。系统工作原理图如图3-13所示。
SamplerSamplingQuantizationCoding10101...图3-11 PCM转换流程
图3-12音频的录制、存储和回放 /47 基于移动智能终端的听障儿童言语康复训练系统说明书
图3-13 系统工作原理图 /47 基于移动智能终端的听障儿童言语康复训练系统说明书
第4章 主要创新点
4.1 相对于传统方式的优势
（1）覆盖面广，提高康复机会。
2016年第17个“全国爱耳日”，中国聋儿康复研究中心常务副主任龙墨2日在接受新华社记者专访时表示，目前我国适龄听障儿童能够有机会进入康复机构进行言语康复训练的人数不到60%，要实现0～6岁听障儿童言语训练健康全覆盖，还有一定距离。因此，我们作品具有覆盖面广的特点，提高听障儿童康复的机会。
（2）节省康复训练时间，提高康复训练效果。
传统的一对一康复训练方法手段较为单一，训练时间周期较长，内容比较枯燥乏味，训练时听障儿童难以集中注意力。针对这一现象，我们作品采用动画的训练模式，提高听障儿童训练兴趣，从而达到更好的训练效果。
（3）降低康复训练成本。
据调查，我国听障儿童70%生活在农村地区，缺乏接受康复治疗和训练的条件。对于这些广大的听障儿童家庭来说，孩子的治疗和康复是一条漫长而又昂贵的道路。一个助听器售价约10万元，一个进口人工耳蜗则高达20多万元，还不算手术和其他治疗；且康复机构每个月学费2000元至3000元不等，所有这些费用，对贫困家庭来说无异于天文数字。而我们的项目作品是免费公益的，完全是为了中国聋儿的言语康复事业，极大程度的降低了听障儿童康复训练成本，减轻了家庭负担。
（4）随时随地的自主训练。
目前听障儿童的康复训练都无法摆脱人工辅助。并且言语康复训练师数量不足和相关辅助训练设备系统多数适用于康复机构，无法满足大多数听障儿童的训练需求，而我们作品恰好能够满足这一需求。听障儿童可利用移动智能终端在任何条件下，随时随地的进行康复训练，具有自主训练性。
（5）反馈训练效果。
听障儿童使用移动智能终端进行一段时间的康复训练后，可在康复机构的PC端进行详细的评价与反馈训练效果。相关人员可根据训练效果进行相应训练/47 基于移动智能终端的听障儿童言语康复训练系统说明书
方案的调整，为听障儿童提供更好的康复训练，以便他们早日融入正常人群。
综上所述，本项目作品具备特点：想法创新、接受度广、便捷性高、实用性强。所需者只需要下载基于移动智能终端的听障儿童言语康复训练系统软件，注册并登录即开始康复训练。没有时间地点限制，无需支付高昂费用，无需投入大量劳动力，使用者可根据自身情况选择练习时间以及根据评估反馈结果适当地调整训练内容，在便捷重复的训练中康复言语能力。
4.2技术的创新点
在这互联网的时代，我们基于移动智能终端的听障儿童言语康复训练这一作品，最大的特点便是“移动终端”。我们建立移动终端三维头像驱动算法，移植现有PC机三维模型及驱动算法于移动智能终端，应用动态三维数据驱动三维模型模拟发音。当前移动智能终端主流系统就是Android和iOS系统。此项目系统现主要针对安卓系统进行移植。基于Adroid端有JNI，android JNI是连接android Java部分和C/C++部分的纽带，并且Adroid系统支持NDK开发。
（1）将PC端三维模型训练系统移植到移动智能终端。
（2）通过运动捕捉技术建立的三维头像数据应用于听障儿童言语康复训练系统，增加了三维模型的真实感。
（3）建立完整的反馈机制，观测听障儿童的言语训练同时与标准语音库进行匹配。
（4）为了提高说话人的识别率,结合新的时频分析工具分数傅立叶变换(FRFT)。将MFCC推广到分数形式,得到分数美尔频率倒谱系数(FMFCC),用以表征语音信号的特征。同时结合基于隐马尔科夫模型的连续语音到语音检索算法。算法同时利用了被检索语音和检索语音之间的特征相似度以及语音前后帧之间的出现概率，实现了较全面的语音到语音检索方式。
（5）利用半结构化的XML文件保存所采集的面部特征点坐标信息，进行数据传输时，通过节点找寻所需文件，模型开始运动时，手机端时间戳利用累加效果对应一帧一帧接收，具有便捷性与快速性，减少了丢包性。
（6）根据康复系统结构为基础框架，建立出的移动智能终端康复训练软件系统包括用户登录系统、训练系统及评估系统。而在移植终端应用动态适配智能/47 基于移动智能终端的听障儿童言语康复训练系统说明书
终端时，适应终端屏幕。因此能有效的保持终端应用在不同智能终端展示效果一致性，避免了在不同智能终端显示效果差异性的产生，有效的杜绝了终端应用给用户带来不好的体验效果，从而加强了终端应用平台适配性，为智能终端的应用提供了一套完善的屏幕适配解决算法。（总结公式：设计稿任意尺寸px*（设备屏幕px/设计稿尺寸px）/(font-size)）
4.3 项目未来优化发展
随着科技的发展，算法的精确，大数据与云计算的日新月异，传统听障康复训练正逐步被先进方法取代，我们也将在原有最基础版本上不断优化完善系统。进一步推出更为精确的发音检查，对比评分，智能调整，智能纠正，亲子之间跟踪训练等。我们将不断推广个人家庭版并在残疾康复中心等大型服务站点设计并推广出更高级的听障儿童言语康复训练系统（类似于终端主导控制系统版）。在此可以汇总每个使用者的具体情况，以便专业康复师了解和指导，根据实际情况，及时更改，建立更人性化、更高效的训练方案。我们与所需者同步促进，将用最好的方案，最快捷有效的途径训练听障儿童，还他们一个清晰的听力世界，为他们描绘更美的明天。甚至在未来我们可以将VR技术运用其中，在人工智能和全息镜像投影的优化下，建立患儿与专业指导团队基于移动智能终端在互联网上的紧密联系，让患者全方位的感知并学习，让他们看得到，理解到，熟练到如何正确发音，提高训练效率，在人机互动过程中，系统可以洞悉用户的情绪变化指导发音[24-25]，我们立志用最好的训练系统和最短的时间帮助每个听障儿童拥有更好的未来。/47 基于移动智能终端的听障儿童言语康复训练系统说明书
第5章 市场分析
听障儿童言语康复工作现已不断得到重视，已发展成为融听力医学、特殊教育、语言康复为一体的新型综合性学科。近年来我国残疾人事业取得了显著的发展成绩,但是目前来看并不是所有残疾人都能够享受到康复服务。听障儿童康复研究也正在学术界备受关注。我国听障儿童的基数很大，同时听障儿童与其家长对其康复的成效期望值很高，但传统的语训教师数量较少，虽然近年来我国政府通过组织实施5个听力语言康复五年规划，已帮助40余万名听障儿童得到不同程度的康复。但是，我国听力语言康复科学发展水平与国际水平相比仍有较大差距，听力师在美国等发达国家已经是固定职业，而在我国，听力师2015年底才刚刚被纳入《中华人民共和国职业分类大典》，相关行业标准和规范还在编写中，人才培养根本无法满足实际需要。据测算，我国听力语言康复事业大约需要听力师53000人、康复教师17000人；但目前从业的听力师不足10000人、康复教师9706人。与八十余万听障儿童言语康复训练的需求相比相差甚远。据2013年中国残疾人联合会调查数据显示，国内适龄听障儿童能够有机会进入康复机构进行言语康复训练的人数不到60%，要实现0～6岁听障儿童言语训练健康全覆盖，还有一定距离。而在发达国家，平均每100万人口有30～40个听力服务点，且工作人员具有丰富的专业经验。
在我国，平均每100万人口仅有1个听力服务点，且工作人员接受的专业培训有限。尽管国家通过实施康复重点工程不断加大对贫困听障儿童康复的救助力度，社会各界也给予了极大支持，但与实际需求相比尚有较大差距。2016年据新华社报道，全国共有1506个听障儿童康复机构，截至2015年底，全国已有残疾人康复机构7111个，其中，残联办康复机构2599个。其中以残联为主体共有33个省级听障儿童康复中心，以社会为主体建立639个语训部和899个语训班。而且，我国听障儿童康复从业教师不足8000人，每年毕业的听障儿童康复从业教师不足1000人，师生比为1：30，而一个语训教师最多只能教4到6个孩子，正常的师生比应为1：4，最多为1：6，许多听障儿童因此无法得到科学的康复训练。
经调查，我国现有听障而未丧失语言能力的儿童近百万，而且每年都以三万/47 基于移动智能终端的听障儿童言语康复训练系统说明书
余人的数量递增，其中绝大部分是农村孩子，在目前的康复训练和条件下他们无法承担高昂的康复费用。而我们项目作品是免费公益的，完全是为了中国聋儿的言语康复事业。我们团队是以坚持“助残”、“爱残”为理念，我们决定让消费者免费使用本软件。此版本为初期市场使用版，相关模块将会不断优化，待作品比较成型后，我们团队在现有基础上扩大需求人群。我们开发的PC机企业版是面向聋儿康复机构的。作品定价主要考虑到相关研究成本与技术知识，因为目前移动端口是评估反馈模块不够详细，PC端更具有科学专业性。我们用康复机构的钱来反哺，通过康复机构买系统的这笔资金来进行盈利并进行系统项目的进一步研发，以便我们的移动智能终端可以更好的为他们提供康复训练，无环境限制的使用，极大程度地减轻这些家庭的经济负担，可见我们的市场容量是很大的，前景是广阔的。我们项目作品顺应民意，响应国家号召，争取让更多的听障儿童恢复语言功能，让他们告别无声的世界，这是一个造福社会的项目。/47 基于移动智能终端的听障儿童言语康复训练系统说明书
团队简介
团队目前由长春大学电子信息工程学院、计算机科学技术学院的主要学生干部及表现突出的优秀学生组成。团队成员合理搭配能力，具有一定的计算机、电子信息的基础知识技能，有丰富的参赛经验。其成员包括：
侯佳帅，男，队长，电子信息工程学院2015级电气工程及其自动化专业，现担任学院团委社会实践部部长，曾获得“优秀班干部”及暑期“三下乡”社会实践优秀个人荣誉称号，荣获2016年长春大学第六届电子设计大赛团体三等奖，有着较强的组织能力与沟通协调能力。
徐杰，男，队员，电子信息工程学院2015级电气工程及其自动化专业，曾担任学院团委团风志愿者协会会员，获得“二等奖学金”，国家励志奖学金，荣获2016年长春大学第六届电子设计大赛团体二等奖，2016年长春大学数学竞赛三等奖，有着较强的团队协作能力。
陈静哲，男，队员，电子信息工程学院2015级电气工程及其自动化专业，曾被评为长春大学“校级优秀学生”“科技创新先进个人”，获2016年长春大学第六届电子设计大赛团体二等奖，国家励志奖学金，具有良好的团队合作能力。
李节龙，男，队员，计算机科学技术学院2015级计算机科学与技术专业，曾获得院赛ACM一等奖，参加过团体程序设计天梯赛，大学生创新创业，挑战杯等比赛，在专业技能方面有着扎实的基础，有缜密的思维和团队合作能力。
姜丽敏，女，队员。电子信息工程学院2015级自动化专业，荣获长春大学“优秀学生干部”荣誉称号。荣获校级“校园安全活动先进个人”荣誉称号。现任校学生会安全监察部副部长。组织沟通能力较强。
王原，女，队员，电子信息工程学院2015级自动化专业，现担任学院分团委秘书处副秘书长，作为团支书组织班级团日活动被评为“十佳团日活动”，并被长春日报报导，有着较强的组织、沟通、协调能力以及团队合作能力。
任书锐，男，队员，电子信息工程学院2015级自动化专业。曾荣获“二等奖学金”，精神文明先进个人，社会实践先进个人，担任学院社团联合会竞赛服务部部长，有着较强的沟通能力与团队合作能力。
团队秉持着互帮互助，团结一致，追求卓越的态度去完成每一件事。/47 基于移动智能终端的听障儿童言语康复训练系统说明书
参考文献
[1] 中国残疾人联合会,中国残疾人事业发展统计公报[Z].2016（14）
[2] 赵惠.吉林省听障儿童心理健康状况的调查及康复建议[G].长春教育学院学报,2012(1)
[3] 王娜,杜巧新.听障儿童听觉言语能力影响因素的研究[J],中国康复理论与实践,2011(4),pp:372-374
[4] 听障儿童达13.7万专家呼吁完善听障儿筛查、干预、康复“三部曲”[N].新华社,2016-03-02
[5] 爱特殊儿童,民间公益在行动[N],公益时报,2014-04-15 [6] 聋儿早期语言康复课程开发的探索[J].现代职业教育,2016,0(12)[7] 郑红娜,朱云,王岚,陈辉.汉语三维发音动作合成和动态模拟[J].集成技术,2013,(01):23-28.[8] 高卫强.聋儿言语康复系统[D].大连理工大学,2013.[9] SHI Li-juan, ZHAO Jian, WANG Li-rong, DU Qin-sheng, AN Zhi-yong, CHE Na.Articulation training for children with hearing disorder based on visualization model of tongue.Editorial Office of Optics and Precision Engineeri, 2015, 23(2),pp: 582-588 [10] Ya Li，Shifeng Pan，Jianhua Tao.HMM-based Speech Synthesis with a Flexible Mandarin Stress Adaptation Model.International Conference on Signal Processing(ICSP2010),Oct.2010,pp: 625-628.[11] 陈冲,蒋夏军,张青平.并行的XML数据流模式匹配算法[J].计算机科学与探索,2015,(12):1439-1449.[12] 李帅.基于微机械传感器和MotionBuilder的人体运动捕捉系统的设计[D].兰州交通大学,2014.[13] 尹宝才,王恺,王立春.基于MPEG-4的融合多元素的三维人脸动画合成方法[J].北京工业大学学报,2011,(02):266-271.[14] 彭国华.基于3ds Max的三维动画角色建模技术的研究与应用[J], 陝西科技大学学报（自然科学版）,2010,28(2),pp:145-148+165 /47 基于移动智能终端的听障儿童言语康复训练系统说明书
[15] 廖毅.3DSMAX建模技术在虚拟现实中的应用[J],中国科教创新导刊,2011(18),PP:113
[16] 王罡,一种基于正面头像的三维人脸建模方法[J],考试周刊,2011(84),pp:160-161
[17] 李冰锋,谢磊,周祥增,付中华,张艳宁.实时语音驱动的虚拟说话人[J].清华大学学报(自然科学版),2011,(09):1180-1186.[18] 朱明会.真实感三维人脸唇形动画系统的语音驱动[D].吉林大学,2014.[19] 胡政权,曾毓敏,宗原,李梦超.说话人识别中MFCC参数提取的改进[J].计算机工程与应用,2014,(07):217-220.[20] 李玉鼎.语音信号特征提取中Mel倒谱系MFCC算法的讨论[J].高等函授学报(自然科学版),2012,(04):78-80.[21] 杨帮华,刘丽,陆文宇,李海飞.基于虚拟现实技术的脑机交互反馈系统设计[J],北京生物医学工程,2011(4),pp:401-404
[22] 郝玉峰,程显峰,李科.面向智能手机语音识别应用的汉语语音数据库[D],第十一届全国人机语音通讯学术会议论文集
（一）,2011 [23] 何明哲.语音片段检索算法的研究与应用[D],华南理工大学,2012
[24] 韩志艳,王健.面向语音与面部表情信号的情感可视化方法[J],电子设计工程,2016(11),pp:146-149
[25] Yee Wan Wong，Kah Phooi Seng，Li-Minn Ang.Audio-Visual Recognition System in Compression Domain.IEEE Transactions on Circuits and Systems for Video Technology,2011,21(5),pp: 637-646./47 基于移动智能终端的听障儿童言语康复训练系统说明书
附件
附件目录
软件著作权：
1、基于3D头像的听障儿童言语康复训练系统软件V1.0，证书号：软著登字第1247392号，登记号：2016R11L099509，授权时间：2016.4.6，著作权人：长春大学，开发完成日：2016.3.14，权利取得方式：原始取得，权利范围：全部权利。
2.基于安卓系统的听障儿童发音康复训练系统软件，证书号：软著登字第1283304号，登记号：2016SR104687，著作权人：长春大学，开发完成日：2016.3.21，授权日：2016.05.13，权利取得方式：原始取得，权利范围：全部权利。发表论文：
[1].Design of Measurement System for Respiratory Training Device Based on Speech Training for Hearing-Impaired Children[C]// IEEE Fifth International Conference on Big Data and Cloud Computing.IEEE Computer Society, 2015.pp.203-206,2015.08 Da Lian.[2].Research on 3D Face Geometric Modeling Approach Based on Scattered-point Cloud.IJGDC(International Journal of Grid and Distributed Computing).vol.9 ,No.11.2016.pp:111-118.31 /47 基于移动智能终端的听障儿童言语康复训练系统说明书
附件图片
/47 基于移动智能终端的听障儿童言语康复训练系统说明书
/47 基于移动智能终端的听障儿童言语康复训练系统说明书
/47 基于移动智能终端的听障儿童言语康复训练系统说明书
/47 基于移动智能终端的听障儿童言语康复训练系统说明书
/47 基于移动智能终端的听障儿童言语康复训练系统说明书
/47 基于移动智能终端的听障儿童言语康复训练系统说明书
/47
基于移动智能终端的听障儿童言语康复训练系统说明书
/47 基于移动智能终端的听障儿童言语康复训练系统说明书
/47 基于移动智能终端的听障儿童言语康复训练系统说明书
/47
基于移动智能终端的听障儿童言语康复训练系统说明书
/47 基于移动智能终端的听障儿童言语康复训练系统说明书
/47 基于移动智能终端的听障儿童言语康复训练系统说明书
/47
基于移动智能终端的听障儿童言语康复训练系统说明书
/47 基于移动智能终端的听障儿童言语康复训练系统说明书
/47 基于移动智能终端的听障儿童言语康复训练系统说明书
/47
篇2：听觉言语康复训练系统
一、什么是听觉语言康复
听觉是人类一出生就带有的功能，语言是人类在后天发展过程中所特有的能力。听力健全的人利用先天的听觉功能，在人际交往中慢慢习得了语言，透过语言建立良好的人际关系，促进社会行为及人格健全发展。而听障儿童由于先天或后天的因素，存在听力损失，听力损失导致了一系列的听觉障碍，从而造成语言学习的困难。
听觉语言康复，包括听觉康复和语言康复两部分内容。听觉康复指的是对听障儿童的听力进行补偿或重建，并在此基础上进行听觉技能训练，最大限度地挖掘利用听障儿童残余听力或重建听力的能力。语言康复是指在听障儿童佩戴助听器或植入人工耳蜗后的尽早时间里（一般为6个月内，最多不要超过18个月），对听障儿童的语言障碍进行抢救性的、有针对性的康复措施，重点在于提高其听觉功能和言语功能，进而形成语言能力。通过训练发声系统完成构音，形成言语，在言语过程中通过多感官、多渠道，不断提高认知能力，从而能合理地运用语言，进行人际交流。
篇3：听觉言语康复训练系统
一、全面了解, 做好充分准备
(一) 明确目标
本案对象10岁, 低视, 智力稍弱, 言语发育迟滞, 能听懂别人的简单话语, 自我表达时以词语为主, 且大多需要他人提醒。 根据语言发展规律和学生言语实际, 教者选定本课的教学内容为《特殊儿童语言康复训练》中主谓宾句“这里有/我喜欢/不喜欢”, 这是日常生活中的常用句式, 要以先前学习的词语、 词组为基础, 同时又为后面的短文学习做好准备, 很好地促进孩子认知、情感和语言的发展。 本课确立的教学目标是: (1) 句子理解:理解“这里有/喜欢/不喜欢”的含义。 (2) 句子表达:用“这里有/我喜欢/不喜欢”描述事物的存在及对事物的喜欢或讨厌。 (3) 言语功能:以逐字增加句长的方式说出句子, 提高言语呼吸功能。
(二) 准备器材
为使教学过程流畅、教学结果理想, 课前教者做了比较充分的准备。 (1) 实物:学生喜欢或不喜欢的物品, 如:苹果、牛奶、药片、咖啡、纸、笔等。 (2) 教学辅具:沟通版/语音沟通版、图片、红星星等。 (3) 教学仪器:启智博士早期语言评估与干预系统, 学词组、沟通篇。 之所以选择以上物品, 是因为它们来源于孩子日常生活, 又能为孩子日后生活服务。 选择启智博士仪器, 是因为它是国内早期语言评估与康复训练设备著名品牌“启智博士”的重要产品, 对早期语言的理解、表达、认知、韵律能力进行评估与训练, 还可以帮助教师和言语治疗师制订康复方案和监控康复效果。
二、循序渐进, 扎实训练语言
语言学习是个体学会使用语言进行交际的过程, 它包括对一系列声音或符号及其约定俗成意义的识别、再认和重现, 对语法规则的理解, 以及对使用语言所必需的动作技能的掌握。 语言学习需要利用或创设多个合适的情境, 真实或相似的情境往往使语言学习取得事半功倍的效果。 同时, 语言的训练是一个渐进的、复杂的过程, 需要训练者和学习者潜心静气, 持之以恒。 为使学生语言得到全面、扎实的训练, 教者在教学过程中要设法开发潜能、补偿缺陷, 采用实物演示、感官体验、模仿替换、辅具协助、师生互动等学习方式和方法, 精心设计多个教学环节, 且各环节间前后呼应、紧密相连。
(一) 游戏预热
1.将苹果、药瓶一组呈放于桌上。 教师指着苹果提问:请看这是什么? 学生回答后, 教师补充:是的, 这是我们常吃的一种水果———苹果。 再指药瓶问:看看这是什么? 学生观察回答后再问:知道里面装的是什么吗? 学生试猜各样物品, 尔后打开瓶子取出几粒药放到瓶盖上递给学生看, 问是什么, 学生回答后补充:这是给病人治病吃的药, 然后将苹果、药瓶放到桌子的左边。
2.将牛奶、咖啡一组放于桌上。 教师运用上述类似的方法让学生辨认、学说牛奶、咖啡, 认识咖啡时充分利用学生的残余视力和嗅觉, 鼓励学生看一看、闻一闻, 对学生好的表现及时奖励一个红五星。
3.学说“这里有……”。 在分组辨认后, 教师问学生:现在你看看, 这里有哪些东西? 学生一一指认说。 教师再强调把话连起来说完整:这里有苹果、药、牛奶和咖啡。教师示范, 学生跟说, 其间可以变换物品的顺序, 然后鼓励学生不用手指, 仅凭眼睛的观察练说, 自发表达, 声音响亮, 教师根据学生情况进行鼓励奖励, 说话完成, 留取苹果在桌上。
(二) 学练新知
1.学习“我喜欢苹果”。 首先, 让学生看苹果实物, 生:我喜欢苹果。 师:现在桌上有一只苹果, 你能告诉老师苹果是什么样子的吗? 生:苹果是红色的、红红的, 圆圆的, 有点黄。师:想吃苹果吗? 生:想。 教师取出事先切好的苹果片给学生尝, 问:苹果吃起来什么味道? 生:甜甜的, 有点酸……师:苹果好吃吗? 生:好吃。 师:谁喜欢苹果? 生:我或我喜欢。 师提醒把话说完整:我喜欢苹果。 老师说, 学生模仿说。 师指着苹果, 问:谁喜欢苹果? 生:我喜欢苹果。 其后, 让学生运用语言训练软件中的沟通版, 学说:“我喜欢苹果。”教师精选“我、喜欢、苹果”三张图片, 师生一起操作把图卡按照4211的版面, 贴到沟通板上, 指导学生按压沟通版图卡, 练说“苹果”、“喜欢苹果”、“我喜欢苹果”, 逐字增加句长, 在指压沟通版的同时孩子的手指精细功能得到发展。 再指着沟通图卡苹果问:“你喜欢什么样的苹果? ”诱导学生以逐字增加句长的方式, 说出:“我喜欢红色的苹果。”师:很好, 你说出了苹果的颜色, 还能再具体一点吗? 生:“我喜欢甜甜的红色的苹果。 ”师:这下更好了, 不仅说出了苹果的颜色, 还说出了苹果的味道。
2.学习“我不喜欢咖啡”。 运用上述方法学习“我不喜欢咖啡”。 学习咖啡时让学生用吸管尝一尝, 知道咖啡苦苦的, 自己不喜欢。 用沟通版时按照4212的版面:我、不喜欢、 (%) 、咖啡顺序排列。
3.运用沟通板, 练说:“我喜欢……我不喜欢… …”师:现在沟通版 (4213格式) 上一共有两句话了, 咱们连起来说一说。上一行:我喜欢苹果;下一行:我不喜欢咖啡。学生按压沟通版, 多遍说出两个句子。增加修饰语, 练习说:“我喜欢甜甜的红红的苹果。 ”“我不喜欢黑黑的、苦苦的咖啡。 ”
4.理解“喜欢、不喜欢”的含义。 教师把苹果、药、牛奶、咖啡放在面前, 拿起苹果, 做出非常喜欢的样子说:“我喜欢甜甜的大苹果。”强调:喜欢, 开心, 高兴地说, 学生模仿说。教师再拿起咖啡, 做出非常讨厌的样子说:“我不喜欢苦苦的咖啡。 ”表情痛苦, 讨厌样, 生模仿说。 然后老师把苹果、药、牛奶、咖啡放在孩子面前问:你喜欢什么?生:我喜欢苹果, 教师把苹果送给学生, 并小结:当别人说“我喜欢什么”的时候, 我们可以把东西拿给他。 然后教师说:我喜欢香香的、营养丰富的牛奶, 学生把牛奶递给老师。 师:我喜欢可以写字的笔。学生把桌上的笔拿给老师。师:谢谢。同样理解“不喜欢”时即告知:当别人告诉我们不喜欢什么东西的时候, 我们就把这东西拿走, 并用药、纸等演练。
三、举一反三, 多元拓展成果
(一) 练习巩固
教师打开早期语言评估与干预系统中“学词语”的沟通篇如图4215, 问:这里有什么?生具体说, 这里有……师:你喜欢什么? 不喜欢什么? 生边点边说句子“我喜欢/不喜欢。 ”分别用名词篇1, 版1, 第四排:狗、猫、鸡、猪、牛;名词篇1, 版2, 第三排:桥、花、房子、草、树;动词篇:爬、洗、拉、哭、咳嗽;动词篇:荡秋千、穿衣服、吃、唱歌、抱等进行练习。如此设计, 不仅巩固了前面学习的句式, 而且增加了生活中常见的动物、植物及常用动作, 巧妙拓展了所学知识的外延, 培养了学生自我表达的意识和能力。
(二) 游戏升华
教师让学生学玩软件中“说一说, 做一做”词语“学习用品”的游戏版, 分别说说上面有哪些?按一排排的顺序, 练说:“我喜欢… …不喜欢… …”再玩游戏版“水果、蔬菜”, 鼓励孩子充分利用其残余视力, 喜欢的画钩, 不喜欢的画叉, 并用语言叙述, 学生若有困难, 耐心等待, 稍加提示;最后再进行实物游戏:教师拿出篮筐, 内有:盲文板笔、订书机、剪刀、肥皂、跳绳、皮球等, 让学生观察里面有什么, 并用语言描述:这里有什么? 我喜欢……我不喜欢……其后, 请学生把自己喜欢的东西放到红色篮筐里, 把不喜欢的东西放到蓝色的篮筐里, 语言描述尽量丰富, 用上修饰语, 并视情况给予表扬奖励小星星。 最后, 让学生数数拿到小星星的个数, 并用其去老师处换自己最喜欢的东西带回家, 向爸爸妈妈复述课堂所学。
以上只是运用启智博士早期语言评估与干预系统, 对言语发育迟滞儿童进行语言训练的初步尝试, 训练的过程是细碎繁琐的, 但其效果是较显著的。 只要所有特教老师积极主动地学习医学、康复的知识技能, 并将其恰当地运用到教育教学实践中, 那么残疾儿童就一定能获得更好的发展, 特殊教育的教育教学质量就能得到更进一步的提高。
摘要：言语发育迟滞是言语残疾的一种。运用启智博士早期语言评估与干预系统, 对视力残疾兼智力障碍和言语发育迟滞儿童采用全面评估、扎实训练、多元拓展的训练策略, 可以取得比较理想的康复效果。
关键词：言语发育迟滞,启智博士早期语言评估与干预系统,康复训练
参考文献
[1]周兢.汉语儿童语言发展研究[M].教育科学出版社, 2009.
[2]蒋建荣.特殊教育的辅具与康复[M].北京大学出版社, 2012.
篇4：听觉言语康复训练系统
关键词：聋儿 术后听觉言语康复训练 人工耳蜗
中图分类号：R764文献标识码：A文章編号：1673-9795（2012）10（a）-0143-01
人工耳蜗发挥其最佳效果取决于三个因素：一是人工耳蜗装置；二是手术过程；三是术后的康复教育。目前，人工耳蜗装置已日趋完善，植入手术已成为常规手术，而术后康复教育的理论与模式已被公认为是其中有待深入探索与研究的关键环节。因此，自人工耳蜗问世以来，其术后康复教育的机理及方法就成为言语病理学、听力学、心理语言学、神经语言学、特殊教育学等多学科共同探索研究的一个热点课题。聋儿的听觉言语训练，应符合小儿语言发展规律，按聋儿“听力年龄”分阶段从浅到深逐步进行。
1 术后聋儿耳蜗康复的内容
人工耳蜗不是真耳，由于科学技术发展的局限性，还不能尽善尽美达到与生物耳功能一模一样。电听觉与声听觉有差异，所以植入后患儿需对人工耳蜗提供的声音有一个熟悉、学习过程，需要结合训练逐渐适应，这其中家庭支持、期望值及科学训练对人工耳蜗植入后的成功与否有十分重要的作用。
语前聋的儿童在开机听到声音后，他（她）的听力年龄只有0岁，需要从察觉声音开始，逐渐学会区别，确认声音，理解言语，发展说话，从而建立自己的听觉言语系统，此过程与正常儿童的听觉发展过程类似，帮助人工耳蜗植入的儿童学习聆听，发展语言，这是康复训练的重要内容。对耳聋患儿而言，治疗不仅仅是听觉径路的补偿问题，更重要的是让他们在有声的环境进行获得语言的各项训练。
2 术后家庭听觉言语训练阶段
（1）听觉感知训练阶段是指让小儿感觉声音是否存在，即声音的“有”与“无”。对声音感知的训练要求比助听器要精细得多。因为人工耳蜗可以察觉到非常细小、广泛的声音。训练初期培养良好的学习习惯是非常重要的。要学会聆听、目光接触、共同关注、轮换表达的技巧等。
（2）词汇的积累阶段是在听觉训练基础上，把看到触到的东西与声音信号结合在脑子里形成信号，使他们逐渐理解言语含义，辅佐以视觉和其他感觉使他们知道更多社会事物。
（3）语言训练阶段是在词汇积累的基础上，训练聋儿由简到繁，由少到多，由单字到短句，逐渐做到能听懂别人的语言，使别人能听懂自己的语言。
3 术后家庭康复训练的基本原则
（1）植入耳蜗后在听觉训练时应尽量避免辅助手段的介入，需要一个听觉培建的过程。要达到听觉培建的目的，就需要给他大量的听觉刺激，如果仍然让他们看口型和手势会影响其听觉能力的进步速度，术后强调通过“听”来康复学习。
（2）在训练初期，在家里每天坚持一对一的个别听觉训练时间，这样有利于减少噪音和培养其听觉注意力。
（3）根据你孩子的能力及听觉发展阶段，为孩子设定合理的发展目标，进行有效的康复训练。由于接受人工耳蜗植入的孩子耳聋发生年龄、手术年龄、听神经存活数量、电极插人情况、术前持续戴助听器时间、术前接受康复训练的个体差异情况，以及个体认知水平、性格等因素影响，训练进度和效果不可能完全一致。因此，不要把他们做横向对比，而应根据不同情况设置针对性的发展目标。没有目标会造成孩子的发展不够全面系统，目标制定过低或过高都会阻碍孩子的进步。
（4）在游戏活动中进行听力训练要，这样孩子参与性更强，能保持注意力，乐于参与训练。
（5）听觉训练要与智力训练，语言训练等相结合。
（6）在训练初期，要从孩子感兴趣和熟悉的内容入手。
（7）在训练初期要提供安静的训练环境，可以帮助他们建立清晰稳定的声音信号，信噪比可以从+l0dB逐渐递减。当听力水平发展到一定阶段时，可以开始噪音环境中的听取训练。
（8）训练中，特别是初期训练，要坚持采用鼓励的原则。坚持鼓励的原则在听觉培建的最初阶段难度会很大，经常的训斥会打击聋儿的自信心，容易造成他抵触康复训练。这时家长要有耐心，不能急躁。
4 术后家庭康复训练方法
4.1 听觉康复
（1）佩戴耳蜗后，每天进行一次林氏六音及六个元音的识别（林氏六音：a、u、i、m、sh、s），了解他对各频率声音的感受情况。
（2）家长要培养良好的学习兴趣，学习习惯，行为习惯，家长一定要有耐心和毅力，不要强求，不要急功近利，要让孩子在良好的家庭氛围，家长的潜移默化的行为影响下循序渐进而形成。
（3）孩子佩戴耳蜗后在听到声音后能给出反馈，包括注意条件下的听觉察知及自然状态下的听觉察知。培养孩子主动感受声音，包括微小的声音，建立良好的聆听意识。
（4）利用日常生活中人们讲话的声音，叫他的名字等各类人语音的感知。利用电话声、敲门声、炒菜声等开放式的环境，感知自然环境声响。
（5）利用自然声响分辨，两个家庭成员声音的分辨，简单词汇的辨听，做初步的闭合式听觉分辨。
（6）可根据孩子自身的发展能力提高或降低训练难度，引导孩子听录音或音乐每天约20min。听觉训练内容应以情景教学中的内容相结合，用语言刺激听觉的发展，强化听觉训练提高其语言理解及反馈能力。
4.2 发声训练
（1）可利用外界环境，进行呼吸器官的锻炼，如每天早上慢跑一些体能训练之后，教孩子自然发音。
（2）让孩子在自然入睡时感受自然的呼吸方式，掌握正确的腹式呼吸方式。
（3）每天做一些有关、双唇、舌的、唇齿的运动的构音器官的锻炼。
（4）在有啪啪啪，放炮了等突发声响和事件时，应马上进行音节练习，锻炼孩子的构音器官。
（5）利用家人进餐时间，在轻松愉悦的环境中，教会孩子大口咀嚼进行下颌、喉等发声锻炼，使其在自然状态下发声。
（6）在家庭成员间日常交流对话的同时，让孩子多进行听觉练习。发音训练可根据家庭环境等方面，随时进行调整。
篇5：听觉言语康复训练系统
一、课题提出的背景
语言是人们交流思想和相互交际的工具，具有极其重要的社会功能。作为培智学校教育工作者，我们深刻认识到，虽然智障儿童的将来或许不是辉煌的，但作为社会的公民，他们也有自己生活的需求，这就离不开与他人的沟通。目前，特殊教育学校招收的智障学生尤其是低年级智障学生，残疾类型越来越多，残疾程度也越来越重，他们的言语、语言能力普遍较差，存在着不同程度的缺陷，如呼吸不畅、发声障碍、构音困难、吐字不清、词不达意等，再加上他们长期生活在自卑的环境中，极大削弱了其言语功能和语言表达能力，从根本上影响了他们的学习、生活和融入社会的可能性。因此，对他们进行专门的言语康复训练是所有康复训练的重中之重。
对智障学生进行言语康复训练，年龄越小，康复效果越好。目前，我校共有智障学生79名，低年级（1-3年级）学生27人，通过评估发现，有言语、语言障碍的中重度智障学生24人，具体言语障碍为：1.重复发音2.起音困难3.言语中阻4.拖长字音5.随意停顿6.没有停顿。大多数学生有以下几种较为典型的构音异常情况：呼吸方式大多为胸式呼吸、对气流的分配差、唇部力量弱、舌根麻痹。在当前阶段通过对带有典型的、普遍意义的智障学生进行言语康复训练研究，旨在从这一角度寻求、探索和总结培智学校言语康复训练的规律、经验，更好地为中重度弱智学生提供服务。科学、合理剖析低年级中重度智障学生言语障碍的原因，探索学生言语障碍的规律及特点，探讨言语康复训练的内容、方法和途径，并通过训练形成有效的言语康复训练模式。结合低年级智障学生的认知和心理特点，对他们进行言语及语言康复训练，矫正他们的语言障碍，培养其语言表达能力和社会交往能力，促进其身心健康发展。
二、国内外发展趋势 言语康复是一门较新但发展较快的学科，美国约有80年的历史，日本约有30年的历史，韩国和香港约有20年的历史。目前，美国的言语康复位于世界领先水平。中国言语康复的发展目前存在许多问题，比如言语康复师严重不足，目前国家、省、市级言语听觉康复教师约3800名，华东师范大学言语听觉康复科学系培养在职言语康复师约1000人，本硕博100余人，我国尚缺言语康复专业人员约14.2万人，言语康复师兼职现象，缺少言语康复专业的杂志等，现状不容乐观，发展前景非常广阔。近十年来，由上海华东师范大学博士生导师黄昭鸣教授主持的“医教结合 智慧康复”活动已在全国各特教学校如火如荼地开展。他编写的《言语障碍评估与矫治》等书籍、创造发明的“启音博士”等医疗仪器、开发的《构音测量与训练仪》等软件，为我们开展言语康复提供了丰富的理论支撑和技术支持。另外，哈尔滨燎原学校、上海闵行区启智学校开展的言语康复研究为我们提供了宝贵的实践经验。“医教结合 智慧康复”是当今我国特殊教育发展的方向，我们认为，这一理念对促进智障学生的缺陷补偿、身心发展以及提高他们的社会适应能力有很大作用。
三、课题研究的意义和价值 1.有利于提高学生的言语理解能力 科学合理的评估及有针对性的、系统的康复训练，有利于增强学生的言语理解能力，帮助学生掌握正确的呼吸、发声方式，提高发音技巧及沟通的主动性，增强参与意识，促进有意注意的发展。2.有利于提高学生的言语表达能力 利用现代化的言语康复设备、器具，结合先进的康复手段对学生进行言语康复，有利于提高学生的言语表达能力，大大改善学生的语流障碍，有效开发言语潜能，促进学生对言语交流障碍的心理和感情的调整，恢复学生的言语交际能力。3.有利于提高学生的语言实用能力 结合智障学生的生活实际进行康复训练，有利于提高学生的语言实用能力，改善不良构音状况，促进学生的思维发展，提高其适应社会生活的能力。4.有利于提高教师个人的专业水平
“言语康复”是一门博大精深的课程，专业化的评估和训练手段都要求教师要更新观念，更加重视中重度智障学生语言特征发展的研究，加强关于培养智障学生言语、语言能力的相关知识和训练状况的理论学习和深刻思考，强化科研意识，提高专业能力和科研水平。
四、课题研究的理论依据 １.课题的界定 中度智障：这类儿童的智商介于35-50IQ或40-55IQ之间，约占智力落后儿童总数的20%。通过学习，他们通常可以形成基本的交际技能和生活自理能力。但学术能力有限，其阅读、写作和数学技能经过训练也只能达到小学一、二年级水平，多数中度智力落后者有明显的器质性异常。如，他们的语言能力较差，社交能力也很有限，运动能力有缺陷，有特殊的面容等。重度智障：这类儿童的智商介于20-35IQ或25-40IQ之间。他们适应行为差，生活能力即使经过训练也很难达到资料，仍需要他人照料；语言能力、运动、与人交往的能力也很差。经过长期、反复的特殊教育和训练，他们可以形成某些非常简单的生活自理能力，但无法自立。言语：指运用代码（语言）进行口语交际的媒介，通过这一媒介人们能够表达思想和感情。语言：指用来进行人与人之间的交际的任何可接受的，有结构的符号系统。由语言、词法、句法、语义成分构成。言语语言交流障碍：指通过口语或书面语或手势语而表达个人的思想、感情、意见的需要，在这种交流能力方面出现缺陷。分为失语症和构音障碍。
言语康复：一套为矫正发声和构音缺陷而设计的与行为有关的技术和方法。现在也指用于失语症的康复和处理发育性言语障碍的技术和方法。2.支撑性理论（1）现代特殊教育理论。马克思关于语言与思维的辩证关系的阐述，更让我们关注智障学生的语言发展。智障学生语言学理论关于语言的系统研讨，将会让我们正确认识智障儿童言语缺陷的影响，理解语言形成和发展的规律，从而指导学生的言语康复训练。
（2）多元智能理论。1983年，美国哈佛大学心理学教授霍华德•加德纳发表了一种全新的有关人类智力的理论，即智力多元论，该理论认为每个人的智能包括八项智能。多元智力理论有助于我们认清言语康复的重要位置，言语能力的提高应结合开发学生的多元智能，创造有利的情境，使每一个受教育者都能充分发挥其潜能，在民主、和谐的氛围中健康成长。（3）建构主义理论。建构主义理论认为，知识和能力不是通过教师传授得到，而是学习主体在具体化、情景化的学习过程中主动建构的。建立以人为本，注重学习过程的动态评价体系，给每个学生以更大的发展空间，才能促进他们自主发展。（4）“医教结合”理论。“医教结合”的“医”有两层含义:其一是指利用先进的临床医疗技术对严重危害儿童身心健康的各种疾病实施专项检查、诊断、治疗；其二是利用康复医学的手段消除和减轻人的功能障碍，弥补和重建人的功能缺失，设法改善和提高人体各方面的功能。医教结合的“教”是指根据特殊儿童身心发展的特点，通过教育、训练、医疗和康复综合的方法，在家庭和社会影响下对其所进行的补偿与补救性教育。（5）言语治疗理论。认真学习言语治疗理论，有利于我们正确把握低年级中重度智障学生言语缺陷形成的原因，研究言语康复训练的缺失和困难，努力提高言语康复的效度。
（6）成功教育理论。成功教育认为，每个学生都有成功的潜能，都有成为成功者的愿望和需要，都可以在原有的基础上获得多方面的成功而取得发展。成功教育积极为学生创造各种成功的机会和条件，诱导学生在教育教学过程中发挥自己的潜力通过不断帮助学生成功，以成功后的欢乐和满足来强化学习动机，改变自卑心态，调动学生的积极性。成功教育坚持对学生实施鼓励性评价。其立足点是从学生原有的基础出发，发现和肯定学生的每一点进步和成功。
五、课题研究目标
（一）总体目标：
以学生发展为中心，改革现有教学模式，把学校教育与社会生活密切结合，形成一个有利于每一个智障学生自主学习和发展的开放、丰富、和谐的学校生活环境，充分发挥每一个智障学生的潜力。培养智障学生具有积极开放的心态和适应社会生活的基本能力，成为社会大家庭中自食其力、有所贡献和自尊、自信的成员。
（二）具体目标： 着重研究低年级中重度智障学生言语障碍的原因，研究康复训练中如何对学生进行全面、合理的评估，如何结合学生实际进行口部运动训练，如何对学生进行构音训练，课堂教学中如何结合生活实际进行言语交往训练，如何科学设置言语康复课程，建立多层次的语言能力的评估体系，如何构建高效的个训、集体教学模式等。通过康复训练，帮助学生建构正确的呼吸、发声方式，习得所有声母、韵母的发音方法，能够在生活中正确地理解和运用祖国的语言文字，培养他们具有基本的表达、交往能力，真正让智障学生的言语能力有较大提高，帮助其实现平等、参与、共享的人生目标，实现残疾学生的自尊、自信、自立和自强。另外，借助此课题研究，打造一支专业技术较强、本领过硬的言语康复师资队伍，为学校的言语康复工作提供技术支持。
六、课题研究的主要内容 1.言语能力评估策略研究 在原有基础上建立多元化评估体系，通过口部运动评估量表、构音评估量表、家长评估量表等对每个学生进行全面、科学的评估，准确把握学生的呼吸、发声、构音、共鸣、听辨、沟通等方面的能力，为制定适合的言语康复训练计划打下坚实的基础。帮助学生找到自身言语障碍，激发其内在的学习动机。2.多元化康复策略研究 探索并形成不同类型智障学生（如自闭症、脑瘫、失语症、语流障碍等）的言语康复个训、课堂教学模式，有效利用先进康复设备、辅助用具对学生进行呼吸、发声、构音、沟通、认知等训练，促进学生、教师的专业化发展。3.多角度实施策略研究
“言语康复”领域专业性很强，康复效果的好坏与训练的内容、策略、手段、强度有密切关系。开展专业培训，提升师资水平，立足课堂实践，探讨训练内容，创新语训途径，优化矫治方案，开发校外资源，形成研究合力等都是需要解决的问题。通过多角度实施策略研究，切实提高学生的康复效能。
七、课题研究的方法 1.行动研究法：分析现行言语康复训练中存在的问题，制定研究方案。教师、学生、家长积极参与，形成互动评价。及时总结反思，不断改进、完善评价体系。2.文献资料法：通过文献资料的搜集、学习、分析和占有，了解国内外关于言语康复的最新进展和实际状况，掌握言语康复的先进理论和训练方法，为促进学生的言语发展，提高 言语康复训练的效度提供理论支持和方法指导。3.个案分析法：确定对象，跟踪观察、调查、训练，及时反思，完善评价的内容，改进评价的措施。4.实验研究法：采用纵向发展的对照研究法，注重学生在训练过程中的发展性评价，研究评估方案对提高智障学生言语能力的有效作用。5.经验总结法：定期开展研讨交流会，组织课题组成员结合自己的实践分析查找存在的问题，讨论总结解决的方法，凝练成功经验，形成研究报告。
八、完成课题的条件和保证 1.人员保证：课题组成员工作责任心强，均从事一线教育教学工作，有1名扬中市骨干教师，2名校级骨干教师，4名班主任老师。有1名老师在上海华师大参加过为期两年的言语康复训练师（研究生班)培训，并获得言语康复训练师资格，近几年有多篇论文获奖、发表。除了课题组成员外，发动语文老师、班主任老师参与训练，并要求学生家长参与，配合做好康复工作。2.学校保证：综合康复是今后特殊教育发展的方向，而言语康复则是所有康复训练的重中之重。学校领导高度重视，倡导“让每个有需要的学生都享有言语康复”的理念，将在2015年1 月底邀请上海华师大专家来校为全校教师进行为期2—3天的言语康复培训。在课题开题后，学校将会为教师创设更多的学习机会。3.物质保证：学校为课题组的实践研究提供必要的实践、物力和财力保证。定期组织课题组成员外出参加培训、研讨、交流等活动。4.经费保证：在业务培训、资料搜集和开展活动等方面学校都能保证经费的落实。
九、研究过程设计
本课题研究周期为两年（2015.3——2017.2）
（一）实验准备阶段（2015.3——2015.6）1.完成相关的调查研究报告、课题研究论证报告、课题研究设计报告。2.学习相关教育理论，成立课题组机构。3.明确本课题研究的目的、意义，制定课题研究方案。4.课题正式开题。负责人：左扬宁
（二）实验研究阶段（2015.7——2016.8）1.按课题研究方案组织研究，并不断完善课题研究方案。2.开展阶段性研究成果展示、交流、汇报活动。3.参加课题研究经验交流、研讨会。负责人：左扬宁 杨扬
（三）实验总结阶段（2016.9——2017.2）1.撰写课题研究报告，做好课题结题准备工作。2.汇编各项研究成果。3.现场结题，邀请专家结题鉴定。负责人：杨扬
篇6：听觉训练
听力语言康复的内容和方法
第一节听障儿童的听觉训练
“聋”即听力出现障碍，就是听不见或者听不清声音。既然虽听力出现问题，对于听障儿童来说怎么可能学习聆听呢？事实上听障儿童是可以学会聆听，并且可以通过听来学习语言。一方面，让听障儿童学会聆听是有可能的。绝大多数听障儿童仍具有不同程度的残余听力，在一般情况下，虽然听不到正常人的言语，但绝非一点听力也没有，通过助听器将声音扩大，听障儿童可以得当适当的听觉补偿，为其学习聆听提供物质基础。随着当代助听技术的进一步发展，即便是深度聋或全聋的孩子，也可以通过植入人工耳蜗重建听觉通路，使得更多的听障儿童可以有条件通过听觉来学习语言。另一方面，聆听是需要学习的。听障儿童通过助听设备进行听力补偿，虽然具备了对声音的感受能力，但并不能表示他就能听懂声音，这种对声音的听觉能力，是后天学习的，它包括对声音的感知，搜寻，分析，综合，辨别，鉴赏，评价，回味，联想，储存等方面的能力，需要在训练和使用过程中获得并提高。这种听觉能力与人的大脑有紧密联系，与人们的知识和经验有关，也与人的智力发展水平有关。因此，通过有针对性的听觉训练，听障儿童是可以学会聆听的，其听觉能力也能够得到提高。
儿童的听觉发育
人在出生时就已经具备明显的听觉能力，有研究表明，尚未出生的胎儿就有了明显的听觉反应。新生儿不仅能够听见声音，还能区分声音的高低，强弱，品质和持续时间。还有人发现，新生儿在听成人说话时，能准确地使自己的身体运动或动作的节律与成人语言的节奏相吻合，这种对人类语言的同步反应能力能够激发父母与婴儿进行“语言交往”的兴趣和热情，从而为其学习和掌握语言提供良好环境。随着年龄的增长，儿童听觉的敏感性，语音听觉功能以及音乐感知能力也就不断提高。研究表明，在12-13岁以前，儿童听觉的敏感性一直在增长，成年以后听力就逐渐下降，年老时，高频部分的呼力逐渐丧失。
心理学家在研究的基础上把婴幼儿听觉发展能力描述为以下过程：
1-2月：在睡眠中突然听到声音会出现惊跳反射，上下肢抖动。
3个月：开始出现区别不同声音的能力和情绪反应。如喜欢听音乐，对妈妈的声音特别敏感。
4个月：开始寻找声源，出现听觉注意。
5个月：能感知熟悉的声音，习惯言语声。
6个月：呼唤时能面向发声发向，出现听觉定向。
7个月：开始注意说话者的口型，有了言语听觉。
8个月：开始对声音进行自我调节。
9个月：开始”懂话“。
10个月：能利用听觉模仿学习语言，学习说话。
11个月：可以随着音乐摆手，出现对音乐的欣赏能力。
12个月：能寻找视野以外的声音，主动听取声音的能力大大增强。
1岁-1岁半：能寻找隔壁房间的声音，询问熟悉的画面名称，对语言的理解逐渐增多，从听词和短语发展到听简单句和较长的句子，并开始喜欢听有简单情节的故事。
2岁：理解语言记忆进一步增多，表达能力有了发展，开始有简单的对话能力，能按要求干力所能及的事。
3-4岁：听觉记忆增强，能依次说出物体的名称开始学习简单的常见字词。
5岁：听觉的理解能力及语言能力大大提高，为6岁读书，识字，进入小学做准备。
听觉对声音的认识是有一定规律的。可以分为听觉察知，听觉注意，听觉定向，听觉辨别，听觉记忆，听觉选择和听觉反馈，最后形成听觉概念，对声音信息做出正确的反应，这几个阶段是互相联系，互相促进的。
1，听觉察知：就是判断声音的有无，是人耳对不同频率，不是音强，不同音色声音的感受能力。
2，听觉注意：是一种与听觉有关的心理活动，是人们为了满足某种心理需要而对声音倾注，聆听的活动，它建立在听觉察知的基础之上，并且这种声音对听者还是具有某种程度的意义，才会产生听觉注意。听障儿童因为对声音知之甚少，而且缺乏对声音意义的认识，因此常常是听而不闻，需要训练者将声音与其意义联系起来，有意识地培养他们聆听的兴趣和习惯。
3，听觉定向：就是辨别声音的方向，即寻找声源的一种能力，双耳听力的存在听听觉定向有很大作用。这种能力需要建立在听觉感知和听觉注意的基础之上。
4，听觉识别：是区别声音异同的一种能力。它需要有关感官的参与和大脑分析综合作用的参与。听障儿童听觉识别能力的提高，有赖于听觉察知，注意，定向等能力的培养，有利于丰富听障儿童的听觉经验。帮助听障儿童学会把生活中不同的声音及其代表的不同的事物联系起来，建立的听觉不同表象，是培养听觉识别能力的基本任务。
5，听觉记忆：是在辨别声音的基础上，声音信号在大脑中的储存。
6，听觉选择：是在两种以上的声音中，或者在噪音环境中选择性听取自己需要的，或感兴趣的，有吸引力的声音的一种能力。
7，听觉反馈：是人们听到声音或语言后出现的一种自我调节反应，例如：在声音环境中提高嗓门说话模仿发音时，不断通过听觉反馈自我调节，直好准确无误地发音为止。听障儿童听觉反馈对于学习有声语言，克服言语发音不清等具有极为重要的作用。8，听觉概念：是在以上各个阶段熟练的基础上，经过大脑的思维活动，对声音信号所反映出的事物本质的认识。
以上八个阶段是相互联系，互相依存的。在对听障儿童进行听觉训练时应遵循这个由易到难，由简单到复杂的过程，采取特殊的途径进行专门的听觉训练。同时，不能忽视让听障儿童在生活中通过自然途径获得听觉概念的过程，要善于引导听障儿童在生活当中学会聆听。
听觉训练的意义和目的
（一）听觉训练的意义
1，听觉训练可以促进听觉功能的发展。人的各器官功能是“用进废退”的，听障儿童也是如此。听觉训练，是对听障儿童的听觉器官进行有计划的声响刺激，并建立刺激联系，从而逐渐形成听觉概念的一种训练。它可以刺激听障儿童意识到声音的存在及其重要性，越来越习惯于使用听觉去感知，认识周围事物，从而促进听觉功能的发展。
2，听觉训练是听障儿童形成和发展有声语言的必要基础。
3，听觉训练能帮助听障儿童全面，正确地认识周围世界。
4，听觉训练对丰富和陶冶听障儿童的情感具有不可忽视的作用。
（二）听觉训练的目的
听觉训练的目的是在配戴助听器或人工耳蜗的情况下，通过有目的有计划的听觉功能训练，让听障儿童最大限度地开发利用自己的残余听力或重建听觉系统，培养听障儿童良好的聆听习惯，以及其感受，辨别，记忆和理解声音的能力，从而培养他们的言语听觉，进而获得有声语言。
具体的说，听觉训练的目的包括以下几个方面：
1，帮助听障儿童建立音响的概念，使其认识生活环境中的各种声音。
2，提高听障儿童利用残余听力鉴别不同声音能力。
3，配合言语训练，让听障儿童在开始学习说话或与周围人交往时使用听觉。
4，帮助听障儿童建立有声语言，养成聆听习惯，并学会利用听觉反馈进一步学习语言。
听觉训练的内容
对听障儿童听觉训练，首先应了解对于听障儿童来说哪些听觉技能是应该掌握的，然后要知道选择哪些声音信息对他们进行训练。听觉言语治疗专家把听障儿童应该掌握的听觉技能归纳为以下四个水平的不同技能：第一是察知水平，培养听障儿童有声音时能注意听，能寻找声源，在特定条件下对声音有反应，自然地察知声音的存在等能力。第二是区分水平，使听障儿童获得能够区分相同和不同的声音的能力。第三是识别水平，能够识别超音段音位，包括识别语音韵律，例如声音的大小，长短，高低，快慢，节律，语调等，并能识别男女声和小孩子声音，能够识别音段音位，包括识别拟声词，识别不同音节的词汇，识别音节相同，声韵不同的词汇，识别辅音相同，元音不同的词汇，以及元音相同，辅音不同的词汇，能听辨短语中的两个关键成分，并利用听觉反馈指导言语语音的能力。第四是理解水平，包括听辨熟悉的表达方式或日常用语，理解含有单一或两项内容的短语，教室中常用的短语，理解多项内容的指令，听觉描述的能力，故事中逻辑排序的能力，主题对话，听懂问题并回答问题，转述能力，选择听取能力，描述周围环境的声音-象声词的能力，为书面语学习做准备。
【听觉言语康复训练系统】相关文章：
听觉训练音乐教育论文04-19
注意力听觉训练题07-29
听觉注意力训练方法08-27
听觉注意力训练教材08-27
听觉训练中的心理感受11-28
听觉训练音乐教育论文提纲11-15
中度智障儿童听觉训练活动设计04-27
多声部听觉训练论文数字化教学论文：多声部听觉训练在视唱练耳教学中的应用05-03
第一阶段言语康复练习11-09
儿童言语训练范文05-25