本发明涉及一种互动影像装置，尤其是一种用于孤独症儿童的互动影像装置。
背景技术
孤独症(autism)又称自闭症。2013年美国精神疾病协会发布《精神疾病诊断与统计手册》第五版(thediagnosticandstatisticalmanualofmentaldisorders,dsm-v)正式提出孤独症谱系障碍(autisticspectrumdisorders,asd)概念。孤独症儿童的主要障碍表现在与人交流沟通、兴趣和行为方面的异常。孤独症症状会持续到成年会使人生活无法自理，2-7岁是最佳的治疗康复时间，早期治疗可以有效阻止孤独症症状的形成。孤独症的病因不明，药物疗效不明显，因此目前比较常用的治疗方法有:应用行为分析训练、图片交换交流系统、基于生理学的干预疗法以及社会辅助训练等。基于生理学的干预疗法需要配合饮食和器材，社会辅助训练需要花费大量的人力和物力，都不易大范围推广。由于孤独症儿童对人与人间的交流感到不适应，所以他们更喜欢一些计算机软件或系统，尤其对视觉影像反映较佳。而应用行为分析疗法的核心部分是任务分解技术，非常适合计算机辅助实施；图片交换交流系统的核心部分是帮助孤独症儿童通过图片沟通的方式进行有效的互动，且可以用生动的影像反映出来。想要将应用行为分析训练和图片交换交流系统两种治疗方式与计算机结合且用影像系统反映出来，首先要解决的是对孤独症儿童的动作捕捉。kinect作为微软发布的一款基于深度图像的体感摄影机，能进行人体运动捕捉，实现骨骼追踪，具有价格低廉、功能完善、使用方便的优点。kinect共有三个摄像头，正向从左到右分别是rgb彩色摄像头、红外线发射器和红外线cmos摄像头。kinect设备底部为麦克风阵列，能够探测周围的语音。基座和感应器之间有1个电动马达，通过程序能够调整俯仰角度。这些感应器分别用来获取rgb、深度数据和音频数据。彩色摄像头最大支持1280×960像素成像，红外摄像头最大支持640×480像素成像。kinect自身坐标系为以红外摄像头为原点，其光轴向外为z轴正方向，当用户面对kinect时，与其光轴垂直平面上向右水平方向为x轴正方向，向上为y轴正方向。此设备集成了动作捕捉和语音控制的功能，可通过usb接口与计算机相连进行数据与控制信号的传输，再将处理后的数据通过计算机显示在显示屏上，且识别精度满足儿童训练的要求。
专利公开号cn103794110a，《智能化孤独症儿童认知沟通行为早期训练系统》公开了一种基于手持终端和kinect传感器的行为游戏训练方法，具体实施方法为：计算机终端与手持终端进行数据传输，计算机终端还与输出终端相连，kinect感应器与计算机终端连接，行为训练游戏和与治疗软件相关的信息都在计算机终端进行，计算机终端1将游戏画面投影在大屏幕上面，受训的孤独症儿童利用手持终端设备及其上面运行的软件，给计算机终端发送命令，实现手持终端设备与计算机终端的交互，完成和三维人物的互动过程；而kinect感应器可以检测受训儿童的位置信息，并将其送入计算机终端的计算机软件，使得计算机软件通过此位置信息可以判断下一步的游戏进程，就完成了整个游戏治疗的过程。此发明专利有助于孤独症儿童认知沟通能力的康复训练与治疗，但手持终端交互体验较差，会分散儿童的注意力。且与三维人物的互动不够科学与高效，单纯的游戏虽能吸引孤独症儿童的兴趣但治疗效果不佳。应用行为分析训练采用行为塑造模仿原理，以正性强化为主促进孤独症儿童各项能力发展。核心部分是任务分解技术，典型任务分解技术有4个步骤：训练者发出指令、儿童的反应、对儿童反应的应答、停顿，此方法对孤独症儿童疗效很好。
专利公开号cn108098797a，《孤独症儿童辅助教育机器人》公开了一种孤独症儿童的辅助教育机器人系统，具体实施方法为：由监护人员通过遥控操作让它发出声音指令并做出动作，让孤独症儿童来模仿，然后对儿童的表现做出评价。人形机器人与人的身体结构相似、方便孤独症儿童进行动作模仿。这种由监护人员遥控操作进行动作模仿的游戏可有效提升孤独症儿童的兴趣，提高其和人的交互能力。此发明利用模块零件搭建人形机器人，模块编程设计教育内容，是一种简单可行、开放式的孤独症儿童辅助教育机器人。且以应用行为分析训练为基础，在北大六院脑健康儿童发展中心进行了孤独症儿童辅助教育的应用测试实验，收到了很好的效果。但此发明需要监护人遥控操作，需要耗费大量的人力资源。且安全性不高，较硬的机械结构对孤独症患儿造成了一定的安全隐患。
专利公开号cn102354349a，《提高孤独症儿童社会互动能力的人机互动多模态早期干预系统》公开了一种提高孤独症儿童社会互动能力的人机互动多模态早期干预系统，具体实施方法为：该系统包括一台多点触摸屏，一台计算机和三台分别安装在触摸屏左边、右边以及中上方的摄像头，摄像头带麦克风通过usb接口与计算机相连，系统设有视觉信号处理、语音信号处理、物理交互界面、多模态融合、智能控制台和真实场景模拟六个基本模块，其融合计算机视觉，语音识别，行为识别，智能体和虚拟现实技术来支持提高孤独症儿童的社会互动能力。此发明涉及到了孤独症谱系障碍儿童治疗中的“交互界面设计”，符合孤独症儿童对影像设备的喜好，通过半年时间跟踪数名儿童在此学习环境中的发展变化，其中多数儿童的社会互动能力有了明显提高，另外儿童的互动能力也有一定地进步。但此发明设备复杂，集成度不高，每个基本模块独立实现自己的功能，且成本较高，不适合大规模推广。
以专利《智能化孤独症儿童认知沟通行为早期训练系统》为代表，现有技
术需要孤独症患儿利用手持终端设备及其上面运行的软件，给计算机终端发送命令，实现手持终端设备与计算机终端的交互，从而完成和三维人物的互动过程。此技术交互体验较差，会分散儿童的注意力。针对现有技术的缺点，需要在应用行为分析训练和图片交换交流系统疗法的基础上设计辅助游戏软件。应用行为分析训练与采用行为塑造模仿原理，以正性强化为主促进孤独症儿童各项能力发展。核心部分是任务分解技术，典型任务分解技术有4个步骤：训练者发出指令、儿童的反应、对儿童反应的应答、停顿，此方法对孤独症儿童疗效很好。应用广泛的图片交换交流系统疗法是一种非常有效的训练方式，通过训练即使有些儿童最终也无法完全利用言语进行沟通，通过图片沟通的方式也能够与他人进行有效的互动。
以专利《智能化孤独症儿童认知沟通行为早期训练系统》为代表，现有技术与三维人物的互动不够科学与高效，单纯的游戏虽能吸引孤独症儿童的兴趣但治疗效果不佳。
以专利《孤独症儿童辅助教育机器人》为代表，现有技术使用机器人辅助教育缓解孤独症症状，此技术需要监护人遥控操作，且较硬的机械结构对孤独症患儿造成了一定的安全隐患。针对现有技术的缺点，需要设计一种孤独症儿童互动影像装置。用隔离柱与适合儿童活动的地毯保障患儿的活动安全，用左右放置的音箱与患儿进行声音的指导，用显示屏与患儿进行影像的交互，且计算机可以创造一个安全的、可重复的、可预测控制的训练系统更有助于孤独症儿童的学习，无需专人辅助，节省了很大的人力资源。
以专利《提高孤独症儿童社会互动能力的人机互动多模态早期干预系统》为代表，现有技术建立多模态融合互动式的智能学习系统来有效干预、提高孤独症儿童的社交能力。采用包括触摸屏、计算机、摄像头、麦克风在内的多台设备，并设计包括视觉信号处理、语音信号处理、物理交互界面、多模态融合、智能控制台、真实场景模拟在内的多个模块，设备十分复杂，集成度不高，每个基本模块独立实现自己的功能，且成本较高，不适合大规模推广。针对现有技术的缺点，需要使用kinect体感摄影机融合实现多个功能。kinect造价较低，具有即时动态捕捉、影像辨识、麦克风输入、语音辨识的功能。可代替触摸屏、计算机、摄像头、麦克风且精度能够满足患儿训练的要求。值得一提的是，kinect的软件开发工具包kinectforwindowssdk内含驱动程序、丰富的原始感测数据流程式开发接口、自然用户接口、安装文件以及参考例程。开发难度小且功能强大，十分便于开发者操作。
技术实现要素：
本发明是要提供一种基于kinect的孤独症儿童互动影像装置及方法，本发明专利采用kinect体感摄影机来捕捉孤独症患儿的动作，kinect核心技术在于能够获取目标的深度数据，具有骨骼跟踪功能；本发明在应用行为分析训练和图片交换交流系统疗法的基础上设计辅助游戏软件。应用行为分析训练与采用行为塑造模仿原理，以正性强化为主促进孤独症儿童各项能力发展；本发明设计一种孤独症儿童互动影像装置。用隔离柱与适合儿童活动的地毯保障患儿的活动安全，用左右放置的音箱与患儿进行声音的指导，用显示屏与患儿进行影像的交互，且计算机可以创造一个安全的、可重复的、可预测控制的训练系统更有助于孤独症儿童的学习，无需专人辅助，可节省很大的人力资源；本发明使用kinect体感摄影机融合可实现多个功能。
为实现上述目的，本发明的技术方案是：一种基于kinect的孤独症儿童互动影像装置，由地毯、隔离柱、计算机及辅助游戏软件、显示器、kinect体感摄影机、音箱组成，所述kinect体感摄影机置于支架上，并通过数据线与计算机连接，计算机控制kinect体感摄影机对患儿进行深度数据的采集与语音信号的传输，并将接收到的深度数据通过kinect体感摄影机的骨骼捕捉函数计算得到患儿的骨骼坐标数据发送给游戏引擎，使骨骼坐标数据形成的动作转换为游戏引擎定义的事件，便可将辅助游戏软件纳入儿童的交互训练中；所述计算机与显示器相连接，将训练系统与辅助游戏软件显示在显示器上，使患儿站在显示器前，通过手势与肢体动作可独立完成整个交互训练；所述计算机与两个左右放置的音箱相连接，用于孤独症儿童使用辅助游戏软件时通过kinect-计算机-音箱三位一体对其进行语音指导，并且通过音箱为患儿提供了一个沉浸式的交互环境，有助于患儿认知沟通能力的提高；所述显示器前面放置有适合儿童活动的地毯，地毯周围放置有隔离柱。
所述kinect体感摄影机包括三个摄像头、基座、感应器、电动马达，三个摄像头，正向从左到右分别是rgb彩色摄像头、红外线发射器和红外线cmos摄像头，底部具有麦克风阵列，用于探测周围的语音，基座和感应器之间设有一个电动马达，通过程序能够调整俯仰角度，所述感应器分别用来获取rgb、深度数据和音频数据。
所述显示器的大小为22寸，分辨率为1920×1080，屏幕比例为16:9。
一种用于基于kinect的孤独症儿童互动影像装置的辅助游戏软件的设计方法，包括：
（1）以应用行为分析训练为基础设计辅助游戏软件
应用行为分析训练采用行为塑造模仿原理，以应用行为分析训练为基础，设计“跟我做”的动作模仿辅助游戏软件；
启动“跟我做”的动作模仿辅助游戏软件后，虚拟动画人物首先进行游戏介绍；由患儿通过kinect语音控制选择动作模仿的难度级别；虚拟动画人物做出动作、由儿童进行模仿；儿童做出模仿动作后、kinect实时记录儿童的骨骼点与虚拟形象的配准度，评估模仿正确与否；若儿童做对则通过语音控制给予表扬，若儿童做错则通过语音控制给予鼓励再做一遍；儿童根据自己的体验感受可选择其他难度级别、或退出程序。
（2）以图片交换交流系统为基础设计辅助游戏软件
以图片交换交流系统疗法为基础，设计一款“选选看”的认知训练辅助游戏软件；该“选选看”的认知训练辅助游戏软件用于对孤独症儿童进行训练识别日常生活中的各种物品，医师或者父母根据儿童的兴趣爱好选择一些刺激物，随着训练深度的进行可以在训练系统中进一步扩展刺激物；该“选选看”的认知训练辅助游戏软件应用可分为三个阶段：
第一阶段，启动游戏后，出现虚拟动画人物和场景，虚拟动画人物开始介绍现在的情景，并提供可选择的刺激物，如电影或动画的截图，小屏幕动画播放，并等待患儿利用手势识别进行图片的选择，一旦正确的图片被选择，屏幕上的虚拟动画人物做出相应的动作和表情来鼓励患儿，在训练系统中也设置有相应的音乐鼓励，通过音箱外放出来；
第二阶段，集中于简单的言语交流，让患儿开始学习简单的句子组成，训练患儿将词语“我要”和图片选择结合，以实现表达“我要什么”的要求，儿童和虚拟动画人物开始用简单的语言和图片结合进行交流，同时伴随有语音指导；
第三阶段，以问答的方式结合患儿的选择发出语音提示，孩子按照语音提示说出自己的需求，如具体想选择什么图片。
根据孤独症的治疗方式，设计出多种针对孤独症儿童治疗与干预的游戏软件，如：虚拟开汽车、虚拟图书、虚拟画板；还可结合现已开发出的体感小游戏对孤独症儿童进行智力开发的软件，如：水果忍者、俄罗斯方块。
一种应用基于kinect的孤独症儿童互动影像装置对加入孤独症儿童的信息存储与交互效果进行评估方法，包括：
（1）录入、修改或删除患儿信息；
（2）录入、修改或删除患儿刺激物信息，包括患儿针对多个刺激物类别的偏好项或厌恶项；
（3）录入和自动生成针对多个评估类别的多个条目的评估信息；依据所述评估信息生成图形化显示的评估报告；以及依据所述偏好项或厌恶项及所述评估信息，录入和自动生成下一阶段训练目标。
本发明的有益效果是：
1、本发明使用kinect作为孤独症儿童的动作捕捉设备，集成了即时动态捕捉、影像辨识、麦克风输入、语音辨识的功能，可代替触摸屏、计算机、摄像头、麦克风设备，成本较低。且计算机编写的训练系统可控制kinect进行相应的操作，无需专人远程遥控或辅助，无需患儿手持终端设备，节省了大量的人力资源。
2、本发明以应用行为分析训练和图片交换交流系统疗法为基础设计辅助游戏软件。更加科学高效。
3、本发明抓住了孤独症患儿喜好一些计算机软件或系统，尤其对视觉影像反映较佳的特点，设计了与患儿的互动影像装置。此装置由地毯、隔离柱、计算机、显示器、kinect体感摄影机、音箱组成。置于支架上的kinect与计算机相连，计算机分别与显示器和两个音箱相连，在显示器前面放置有适合儿童活动的地毯，地毯四周放置有隔离柱。硬件设计科学，在保障安全的基础上从视觉、听觉、触觉、动作多方面与患儿进行互动，有助于孤独症儿童认知沟通能力的训练与治疗。
4、本发明可移植性较强且可进行个性化定制。能够根据不同孤独症儿童的个体互动体验，当前训练状态和需求设计更换相应辅助游戏软件，支持包含不同的儿童发展路径。
本发明设计的一种基于kinect的孤独症儿童互动影像装置，采用kinect体感摄影机、计算机与音箱构成互动影像装置，辅以以应用行为分析训练和图片交换交流系统疗法为基础的游戏软件，完全能够满足开发孤独症儿童智力及辅助治疗或改善孤独症儿童心理状态的社会需要，且不需专人辅助，成本较低，可同时在治疗中心与家庭应用。
附图说明
图1为本发明的基于kinect的孤独症儿童互动影像装置示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1所示，本发明的基于kinect的孤独症儿童互动影像装置，由地毯5、隔离柱6、计算机2、显示器3、kinect体感摄影机1、音箱4组成。置于支架8上的kinect体感摄影机1的数据线与计算机2连接，计算机2分别与显示器3和两个左右放置的音箱4连接，在显示器4前面放置有适合儿童活动的地毯5，地毯5周围放置有隔离柱6。kinect体感摄影机1、计算机2、显示器3和音箱4通过电源线接插电板7取电。
具体介绍核心部件如下：
kinect体感摄影机作为微软发布的一款基于深度图像的体感摄影机，能进行人体运动捕捉，实现骨骼追踪，具有价格低廉、功能完善、使用方便的优点。kinect共有三个摄像头，正向从左到右分别是rgb彩色摄像头、红外线发射器和红外线cmos摄像头。kinect设备底部为麦克风阵列，能够探测周围的语音。基座和感应器之间有1个电动马达，通过程序能够调整俯仰角度。这些感应器分别用来获取rgb、深度数据和音频数据。彩色摄像头最大支持1280×960像素成像，红外摄像头最大支持640×480像素成像。kinect自身坐标系为以红外摄像头为原点，其光轴向外为z轴正方向，当用户面对kinect体感摄影机时，与其光轴垂直平面上向右水平方向为x轴正方向，向上为y轴正方向。此设备集成了动作捕捉和语音控制的功能，可通过usb接口与计算机相连进行数据与控制信号的传输，再将处理后的数据通过计算机显示在显示器上，且识别精度满足儿童训练的要求。
计算机为本装置的控制器。计算机与kinect体感摄影机相连，编写的训练系统控制kinect体感摄影机对患儿进行深度数据的采集与语音信号的传输。将接收到的深度数据通过kinect体感摄影机的骨骼捕捉函数计算得到患儿的骨骼坐标数据。连接游戏引擎，将骨骼坐标数据发送给游戏引擎，骨骼坐标数据形成的动作转换为游戏引擎定义的事件，便可将辅助游戏软件纳入儿童的交互训练中；计算机与显示器相连，将训练系统与辅助游戏软件显示在显示器上，患儿站在显示器前，通过手势与肢体动作可独立完成整个交互训练；计算机与音箱相连，在孤独症儿童使用辅助游戏软件时通过kinect-计算机-音箱三位一体对其进行语音指导。并且通过音箱为患儿提供了一个沉浸式的交互环境，更有助于患儿认知沟通能力的提高。
显示器的大小为22寸，分辨率为1920×1080，屏幕比例为16:9。其他如：地毯、隔离柱，保障了装置的安全性，孤独症儿童不需佩戴任何设备，活动区域范围固定，无任何触电、碰伤等危险发生。因而此互动影像装置可用于孤独症辅导中心课上训练，也可安放在家中用于平时训练，使孤独症儿童在无人看管的情况下也可进行学习与玩耍。
本发明的用于基于kinect的孤独症儿童互动影像装置的辅助游戏软件的设计方法，包括：
（1）以应用行为分析训练为基础设计的辅助游戏软件
应用行为分析训练采用行为塑造模仿原理，以正性强化为主促进孤独症儿童各项能力发展。核心部分是任务分解技术，典型任务分解技术有4个步骤：训练者发出指令、儿童的反应、对儿童反应的应答、停顿，此方法对孤独症儿童疗效很好。以应用行为分析训练为基础，本发明专利设计了一款名为“跟我做”的动作模仿辅助游戏软件。
启动游戏后，虚拟动画人物首先进行游戏介绍；由患儿通过kinect语音控制选择动作模仿的难度级别(简单、中等、困难)；虚拟动画人物做出动作、由儿童进行模仿；儿童做出模仿动作后、kinect实时记录儿童的骨骼点与虚拟形象的配准度，评估模仿正确与否；若儿童做对则通过语音控制给予表扬，若儿童做错则通过语音控制给予鼓励再做一遍；儿童根据自己的体验感受可选择其他难度级别、或退出程序。
（2）以图片交换交流系统为基础设计的辅助游戏软件
应用广泛的图片交换交流系统疗法是一种非常有效的训练方式，它利用孤独症儿童擅长的视觉沟通来教会孤独症儿童利用图片来进行认知交流，以此来启发儿童的认知能力，激发儿童的沟通欲望，培养其认知沟通交流能力，并逐步将他们的交流方式从图片沟通转换到言语沟通。通过训练即使有些儿童最终无法完全利用言语进行沟通，通过图片沟通的方式也能够与他人进行有效的互动。以图片交换交流系统疗法为基础，本发明专利设计了一款名为“选选看”的认知训练辅助游戏软件。
该辅助游戏软件主要是对孤独症儿童进行训练识别日常生活中的各种物品，医师或者父母根据儿童的兴趣爱好选择一些刺激物，随着训练深度的进行可以在训练系统中进一步扩展刺激物。该软件可分为三个阶段，具体说明如下：
第一阶段，启动游戏后，出现虚拟动画人物和场景，虚拟动画人物开始介绍现在的情景，并提供可选择的刺激物，如电影或动画的截图，小屏幕动画播放等。并等待患儿利用手势识别进行图片的选择，一旦正确的图片被选择，屏幕上的虚拟动画人物做出相应的动作和表情来鼓励患儿，在训练系统中也设置有相应的音乐鼓励，通过音箱外放出来。
第二阶段，主要集中于简单的言语交流，让患儿开始学习简单的句子组成，训练患儿将词语“我要”和图片选择结合，以实现表达“我要什么”的要求，儿童和虚拟动画人物开始用简单的语言和图片结合进行交流，同时伴随有语音指导。
第三阶段，能够以问答的方式结合患儿的选择发出语音提示，孩子按照语音提示说出自己的需求，比如具体想选择什么图片等。
另外，用于基于kinect的孤独症儿童互动影像装置的辅助游戏软件还可以进行个性化定制，除了本发明中以应用行为分析训练和图片交换交流系统疗法为基础设计的辅助游戏软件之外，孤独症的治疗方式很多，随着孤独症儿童的需要增加，亦可对辅助游戏软件进行调整与增加。可以设计出多种针对孤独症儿童治疗与干预的游戏，如：虚拟开汽车、虚拟图书、虚拟画板等。还可结合现已开发出的体感小游戏对孤独症儿童进行智力开发，如：水果忍者、俄罗斯方块等。另外，也可以将录像示范法与体感设备结合起来对孤独症儿童进行课上训练或课后辅导，如：播放一段简单的舞蹈动作，孤独症儿童看完这段动作后自己能跟随屏幕显示伴随音乐做出相同的动作，适应孤独症儿童的需求。
本发明的基于kinect的孤独症儿童互动影像装置，除上文所述功能外，还可加入孤独症儿童的信息存储与交互效果评估功能。具体包括如下步骤：录入、修改或删除患儿信息；录入、修改或删除患儿刺激物信息，包括患儿针对多个刺激物类别的偏好项或厌恶项；录入和自动生成针对多个评估类别的多个条目的评估信息；依据所述评估信息生成图形化显示的评估报告；以及依据所述偏好项或厌恶项及所述评估信息，录入和自动生成下一阶段训练目标。