智能化孤独症儿童认知沟通行为早期训练系统的制作方法
【专利摘要】一种智能化孤独症儿童认知沟通行为早期训练系统，计算机终端与手持终端进行数据传输，计算机终端还与输出终端相连，Kinect感应器与计算机终端连接，行为训练游戏和与治疗软件相关的信息都在计算机终端进行，计算机终端1将游戏画面投影在大屏幕上面，受训的孤独症儿童利用手持终端设备及其上面运行的软件，给计算机终端发送命令，实现手持终端设备与计算机终端的交互，完成和三维人物的互动过程；而Kinect感应器可以检测受训儿童的位置信息，并将其送入计算机终端的计算机软件，使得计算机软件通过此位置信息可以判断下一步的游戏进程，就完成了整个游戏治疗的过程；本发明有助于孤独症儿童认知沟通能力的康复训练与治疗。
【专利说明】智能化孤独症儿童认知沟通行为早期训练系统
【技术领域】
[0001]本发明涉及一种基于计算机科学、认知科学、教育学和心理学的辅助康复训练系统，特别涉及一种智能化孤独症儿童认知沟通行为早期训练系统，针对孤独症儿童认知沟通能力的康复，采用Unity3d技术、网络通信技术、Kinect技术和图像识别技术，并与手持移动终端设备相配合，实现了孤独症儿童认知沟通交流能力训练系统的设计。
【背景技术】
[0002]儿童孤独症(Childhood Autism),又称自闭症或孤独性障碍(Autism Disorders)等，是孤独症谱系障碍(Autism Spectrum Disorder, ASD)的代表性疾病。儿童孤独症作为诊断类别的真实性已确定，目前所说的儿童孤独症，也在广义上指代了孤独症谱系障碍(ASD)。
[0003]孤独症儿童获得认知沟通交流能力是检验训练是否成功的重要指标。然而直接教会孤独症儿童认识东西和如何与人交谈是非常困难的，而大多数康复医师是选用一些孤独症儿童擅长的认知沟通方式来慢慢引发孩子交流的欲望，如广泛使用的图片沟通交流法(The Picture Exchange Communication System, PECS)就是一种非常有效的训练方式，它利用孤独症儿童擅长的视觉沟通来教会孤独症儿童利用图片来进行认知交流，以此来启发儿童的认知能力，激发儿童的沟通欲望，培养其认知沟通交流能力，并逐步将他们的交流方式从图片沟通转换到言语沟通。即使有些儿童最终也无法完全利用言语进行沟通，图片沟通的方式还是能被人接受，并使得儿童能够与他人进行有效的互动。
[0004]1994年Bondy和Frost为84名孤独症儿童利用PECS进行训练，得到良好的效果。Schwartz, Garfinkle和Bauer在1998年报道利用PECS训练那些起初有着很有限的自发声音能力的儿童，提高了他们的自发言语功能。很多报道都声称PECS的使用会使得行为问题的减少，提高社会行为能力。由于其训练优势和实际特点，PECS以及被孤独症治疗团体所采纳，并在国际上广泛使用。
[0005]PECS用于孤独症儿童的康复训练有着独特的优势。首先，不同于其他训练，PECS的训练唯一的前提条件就是能过相关图片清楚的指示其希望得到的东西。其他诸如眼神交流，动作和言语模仿技能，安静的坐在椅子上的能力，匹配能力，图片区分能力和遵循言语指示的能力在训练早期阶段都是不必要的。其次，PECS教给孩子的第一个技能是提出要求。提出要求因其具有激发孩子的功能，通常被作为对发育障碍的儿童进行早期训练的一个训练目标。而孤独症儿童又通常会因为立即得到一个具体的、实在的、他所希望得到的东西而更容易被激励。第三，PECS的训练过程都强调自发性，而这种自发性真是孤独症儿童的问题所在，他们往往缺少交流的自发性。最后，图片符号是一种高度具象的，非常接近于参照物体的交流工具。他们非常容易被识别，并且比其他的交流系统更容易被交流对象所理解。
[0006]在孤独症研究方面，虽然很多研究者利用图片沟通交流法训练孤独症儿童，但其实施方法仍然非常传统，灵活度不高，趣味性不强，且需要很多人力投入。基于PECS的移动终端应用已经有开发，如由Steven Troughton-Smith公司开发的Grace App,由BoInnovations 公司开发的 Picture Card Maker,由 Epsilon IT Systems 公司开发的在安卓系统上运行的Pocket EPECS，是目前比较优秀的应用。但是都仅限于为单一的移动终端设计，现今还没有一款包括PECS训练所有过程的计算机化PECS训练系统，也没有任何一款PECS移动终端应用可以与基于计算机技术的PECS训练系统相配套。PECS的计算机化和利用高科技成果来增强其训练效果，还需要更多的努力。
【发明内容】
[0007]为了克服上述现有技术的缺陷，本发明的目的在于提供一种智能化孤独症儿童认知沟通行为早期训练系统，将移动终端与基于计算机的PECS训练系统相配套，有助于孤独症儿童认知沟通能力的康复训练与治疗，既能在医院部署，也能满足家庭使用，并且部署在家庭的智能化孤独症儿童认知沟通行为早期训练系统可以通过因特网与医院的系统相互通信，医生可以实施远程辅助训练指导。
[0008]为了达到上述目的，本发明的技术方案是这样实现的:
[0009]一种智能化孤独症儿童认知沟通行为早期训练系统，由计算机终端1，手持终端2，输出终端3和Kinect感应器4构成，计算机终端I与手持终端2通过无线网络连接进行数据传输，计算机终端I还与输出终端3信号端相连，Kinect感应器4与计算机终端I通过USB数据线连接，实现人体的图像信息和骨架信息实时传输到计算机终端I进行处理，所述的计算机终端I包括PECS、评价系统、控制面板系统和电子病历管理系统:
[0010]所述PECS与手持终端I的图片沟通交流本实现无线通信，PECS与手持终端I上的图片沟通交流本以及Kinect感应器4共同构成康复训练系统，Kinect感应器4通过检测受训儿童的位置信息和骨架信息并将其送入PECS，来确定受训儿童的位置和动作，进而判断孤独症儿童的学习状态，根据医师对孤独症儿童的诊断情况，为孤独症儿童提供规律个性化的康复训练方案，并针对孤独症儿童的心理特点设计虚拟训练师；康复训练系统还根据康复训练师的诊断生成很多贴近孤独症儿童现实生活的虚拟场景，计算机将画面利用输出终端3投影在大屏幕上面；
[0011]评价系统用来评估训练患儿的效果，在训练的每阶段，儿童耗费的时间，儿童做完任务的成功率，以及与虚拟训练师互动的情况都是用来评价的指标，自动生成客观的评价表，写入数据库中的相应位置，评价系统最后会生成最终治疗效果的趋势图，来总结患儿整个治疗过程的表现，以供医师进行参考。
[0012]控制面板系统主要是调整系统与其他模块或设备的关系和系统资源的设置，包含
三方面:
[0013]网络设直:完成患儿手持终端与系统通过WIFI连接；
[0014]Kinect感应器设置:完成Kinect与系统的连接，检测孤独症儿童的位置信息和骨架信息；
[0015]系统资源配置:完成在训练中使用到的图片和相应的奖励刺激物的设置，由辅助训练医师和家长负责管理，医师根据每个儿童的习惯规律和爱好，为其在训练之前添加相应的图片，设置游戏的速度使之更符合儿童的习惯。
[0016]所述的电子病历管理系统部署在计算机上，功能包括存储、显示、添加、修改和删除训练者的个人信息，病症信息和治疗情况，负责记录孤独症儿童的训练进展情况和孤独症儿童的信息，再结合评价系统最终生成孤独症儿童的电子病历，这些信息以数据库的方式存储，并在此模块中进行操作，训练者的个人信息和病症信息主要由医师进行编辑，而治疗情况则由康复训练系统生成，显示给家长和医师进行参考。在家中训练时家长将儿童的电子病历发送给医院的医生，医生针对儿童的训练情况对其训练方案进行调整，然后反馈给家长，如此反复。
[0017]所述的手持终端2是孤独症儿童用来操作的面板，其上安装有手持终端图片沟通交流本，其功能是激励孤独症儿童进行自主性认知沟通交流，将其提出沟通交流的想法形象化，使得周围的人更好的理解其要求，孤独症儿童通过手持终端上的图片沟通交流本发送命令给计算机终端I上的PECS，然后起接受计算机终端I的反馈激励，这样使得训练逐步进行，进而完成康复训练，图片沟通交流本是基于IOS开发的APP应用程序，系统开发以IOS移动平台为研究对象，使用Objective-C开发语言，系统主要由⑶I (GraphicalUserInterface)界面模块和功能模块构成。
[0018]所述的⑶I界面模块包括主界面、图片界面以及操作界面三部分:
[0019]所述的主界面包括导航栏、按钮、分区、文本以及箭头元素，点击按钮能够切换显示风格，箭头和文本嵌套于分区中，文本显示选择条目，箭头用于指向下级界面。
[0020]所述的图片界面包括图片、按钮、返回箭头、前进箭头和操作框元素；用于完成图片的浏览，返回，保存，复制，电子邮件发送以及取消发送功能。
[0021]所述的操作界面模拟PECS训练中孤独症儿童的动作，它联系了主界面和各级视图界面之间的操作，将视图和功能两部分结合，完成一些触发动作。
[0022]所述的功能模块包括图片加载、图片缓存、图片放大缩小，图片滚动显示以及图片文本数据的传输，这些功能针对图片进行处理，方便孤独症儿童的康复训练:
[0023]所述的图片加载包括本地图片加载以及网络图片加载，用户能够从网络上选择图片进行下载和进一步对图片操作。
[0024]所述的图片缓存用以保存从网络上下载的图片。
[0025]所述的图片放大缩小实现双击则图片放大，结合单视图滚动进行查看，再双击则回到原始图。
[0026]所述的图片滚动显示模块包括单视图滚动和多图像分页滚动，其中单视图滚动实现对图像详细信息的查看，多图像分页滚动实现当有多幅图像时滚动界面显示。
[0027]所述的图片文本数据的传输包括图片数据传输以及文本数据传输，用来将图片和文本信息传送给主机并接受主机反馈回来的信息，实现PECS设计的初衷——其中主机模拟训练人员，PECS系统模拟交流板；数据传输是通过邮件的形式发送实现，用户点击发动按钮就可以添加主机信息，然后发送命令给主机，主机在做出相应反馈给用户，完成一次康复训练。
[0028]本发明的优点:图片沟通交流系统的训练是一个刺激孤独症儿童进行自发性要求的训练；针对孤独症儿童的认知沟通交流障碍，逐步进行康复训练，提供科学完善的训练体系；针对孤独症儿童的心理特点设计虚拟化康复训练师，极大的降低了康复训练成本，节省人力资源，虚拟场景贴近生活能激发孤独症儿童认知沟通的自主性，人机互动性良好；此康复训练系统便携性好，易于部署实施，在家庭可以很方便的使用，节省了去医院的时间，对场地要求低，易于市场推广；针对孤独症儿童的个体差异，设置符合他们生活规律的游戏，满足广大的患儿需求；同时将孤独症儿童的每次训练成功率及时间，绘制成表形象直观，方便家长和医师跟踪患儿的康复效果；最后生成的电子病历方便家长带孩子就诊和转院，降低了孤独症儿童康复训练的成本；通过完成各个阶段的训练孤独症儿童的认知沟通交流能力得到极大的提闻。
【专利附图】
【附图说明】
[0029]图1是面向孤独症儿童认知沟通能力的计算机化图片沟通交流系统的系统组成；图中:1为计算机；2为图片交流系统的手持终端；3为投影屏.；4为Kinect感应器。
[0030]图2是孤独症儿童训练阶段游戏流程图。
[0031]图3是康复训练系统的控制面板系统的结构图。
[0032]图4是康复训练系统的电子病历系统的结构图。
【具体实施方式】
[0033]结合附图对本发明做进一步的说明。
[0034]参照图1，一种智能化孤独症儿童认知沟通行为早期训练系统，如图1所示由计算机终端I，手持终端2，输出终端3和Kinect感应器4构成，计算机终端I与手持终端2通过无线网络连接进行数据传输，计算机终端I还与输出终端3信号端相连，将计算机上的内容显示到屏幕，Kinect感应器4与计算机终端I通过USB数据线连接，实现人体的图像信息和骨架信息实时传输到计算机终端I进行处理；
[0035]行为训练游戏和与治疗软件相关的信息都在计算机终端I进行，并且计算机终端I可以将游戏画面利用输出终端3投影在大屏幕上面。而受训的孤独症儿童可以利用手持终端设备2 (如iPad)及其上面运行的软件，通过以计算机终端I为热点的WIFI无线网络，给计算机终端I发送命令，实现手持终端设备2与计算机终端I的交互，并完成和三维人物的互动过程。而Kinect感应器4可以检测受训儿童的位置信息，并将其送入计算机终端I的计算机软件，使得计算机软件通过此位置信息可以判断下一步的游戏进程，就完成了整个游戏治疗的过程。
[0036]所述的手持终端2是孤独症儿童用来操作的面板，其上安装有手持终端图片沟通交流本，其功能是激励孤独症儿童进行自主性认知沟通交流，将其提出沟通交流的想法形象化，使得周围的人更好的理解其要求。孤独症儿童通过手持终端上的图片沟通交流本发送命令给计算机终端I上的PECS，然后起接受计算机终端I的反馈激励，这样使得训练逐步进行，进而完成康复训练。图片沟通交流本是基于IOS开发的APP应用程序，系统开发以IOS移动平台为研究对象，使用Objective-C开发语言,系统主要由⑶I (Graphical UserInterface)界面模块和功能模块构成。
[0037]所述的⑶I界面模块包括主界面、图片界面以及操作界面三部分，创造符合孤独症儿童心理需求的界面能够最大限度增强用户的兴趣，调动孤独症儿童使用的积极性。
[0038]所述的主界面包括导航栏、按钮、分区、文本以及箭头元素，点击按钮能够切换显示风格，箭头和文本嵌套于分区中，文本显示选择条目，箭头用于指向下级界面。
[0039]所述的图片界面包括图片、按钮、返回箭头、前进箭头和操作框元素；用于完成图片的浏览，返回，保存，复制，电子邮件发送以及取消发送功能。[0040]所述的操作界面模拟PECS训练中孤独症儿童的动作，它联系了主界面和各级视图界面之间的操作，将视图和功能两部分结合，完成一些触发动作。
[0041]所述的功能模块包括图片加载、图片缓存、图片放大缩小，图片滚动显示以及图片文本数据的传输，这些功能针对图片进行处理，方便孤独症儿童的康复训练:
[0042]所述的图片加载包括本地图片加载以及网络图片加载，用户能够从网络上选择图片进行下载和进一步对图片操作，增大孤独症儿童图片选择的范围，强调了孩子的兴趣的选择。
[0043]所述的图片缓存用以保存从网络上下载的图片，这样即使没有网络连接也能够查看图片信息。
[0044]所述的图片放大缩小实现双击则图片放大，结合单视图滚动进行查看，再双击则回到原始图。
[0045]所述的图片滚动显示模块包括单视图滚动和多图像分页滚动，其中单视图滚动实现对图像详细信息的查看，多图像分页滚动实现当有多幅图像时滚动界面显示。
[0046]所述的图片文本数据的传输包括图片数据传输以及文本数据传输，用来将图片和文本信息传送给主机并接受主机反馈回来的信息，实现PECS设计的初衷——其中主机模拟训练人员，PECS系统模拟交流板；数据传输是通过邮件的形式发送实现，用户点击发动按钮就可以添加主机信息，然后发送命令给主机，主机在做出相应反馈给用户，完成一次康复训练。
[0047]所述的计算机终端I包括PECS、评价系统、控制面板系统和电子病历管理系统:其主要完成虚拟训练师、虚拟场景的自动生成以及与孤独症儿童的交互，生成孤独症儿童训练的评价表，对PECS的设置，以及孤独症儿童的电子病历。计算机终端I通过无线网络与手持终端2进行数据传输，其接收手持终端2发来的命令，然后做出相应的反馈，将奖励发送给孤独症儿童。部署在家庭中的计算机终端I可以通过因特网与医院的计算机终端通信，这样医生可以在医院指导孤独症儿童进行康复训练，实现远程监控。
[0048]所述的PECS与手持终端I的图片沟通交流本实现无线通信，PECS与手持终端I上的图片沟通交流本以及Kinect感应器4共同构成康复训练系统，Kinect感应器4通过检测受训儿童的位置信息和骨架信息并将其送入PECS，来确定受训儿童的位置和动作，进而判断孤独症儿童的学习状态，根据医师对孤独症儿童的诊断情况，康复训练系统能够为孤独症儿童提供规律个性化的康复训练方案，并针对孤独症儿童的心理特点设计虚拟训练师，从而激发孤独症儿童认知沟通的自主参与性；康复训练系统还根据康复训练师的诊断生成很多贴近孤独症儿童现实生活的虚拟场景，趣味性强，计算机将画面利用输出终端3投影在大屏幕上面，使孤独症儿童如身临其境，激发其的认知沟通欲望，很好地满足孤独症儿童的心理需求；
[0049]评价系统用来评估训练患儿的效果，在训练的每阶段，儿童耗费的时间，儿童做完任务的成功率，以及与虚拟训练师互动的情况都是用来评价的指标，自动生成客观的评价表，写入数据库中的相应位置，评价系统最后会生成最终治疗效果的趋势图，来总结患儿整个治疗过程的表现，以供医师进行参考；训练耗费的时间越短，说明儿童对认知沟通能力的掌握越好。成功率越高，则说明儿童掌握的熟练程度越好，在面对虚拟场景以及虚拟训练师时，表现的自主性越强，说明儿童的训练效果显著。[0050]图3为康复训练系统的控制面板系统的构成。控制面板系统主要是调整系统与其他模块或设备的关系和系统资源的设置，包含三方面:
[0051]网络设置:完成患儿手持终端与系统通过WIFI连接；由于系统需要与移动终端进行连接，因此需要进行网络设置。网络设置包括主机IP地址的确定，端口 Port的确定，以及网络服务的开启和关闭。还应可以探测是否有移动终端的相关软件与其发起连接，并显示移动终端的IP地址和用户名。网络设置中会提醒用户任何网络异常，并提醒用户正确设置网络，给出网络状态信息。
[0052]Kinect感应器设置:完成Kinect与系统的连接，检测孤独症儿童的位置信息和骨架信息；由于系统中的训练项目需要Kinect感应器获得训练者的位置信息和图像信息，并加以处理，因此Kinect感应器是否正常工作显得非常重要。在该模块中，需要测试Kinect是否与系统连接，如果未进行连接，询问用户是否开启连接。如果已连接，则进一步测试Kinect工作是否正常，并显示传回的颜色图形信息和深度图像信息；
[0053]系统资源配置:完成在训练中使用到的图片和相应的奖励刺激物的设置，由辅助训练医师和家长负责管理，医师根据每个儿童的习惯规律和爱好，为其在训练之前添加相应的图片，设置游戏的速度使之更符合儿童的习惯，这样能更好的激发孤独症儿童认知沟通交流的欲望。医师可以根据需要，增加，删除和修改在训练中使用的图片和相应的奖励刺激物，例如可以修改卡片的图片，卡片的名称，以及该卡片对应的奖励刺激物，如影片，动画等。这些信息会存储在相应的文件中，并在治疗中加载到游戏界面在训练中进行使用。
[0054]图4为康复训练系统的电子病历管理系统的构成。
[0055]所述的电子病历管理系统部署在计算机上，功能包括存储、显示、添加、修改和删除训练者的个人信息，病症信息和治疗情况，负责记录孤独症儿童的训练进展情况和孤独症儿童的信息，再结合评价系统最终生成孤独症儿童的电子病历，这些信息以数据库的方式存储，并在此模块中进行操作，训练者的个人信息和病症信息主要由医师进行编辑，医师可以添加、删除、修改孤独症儿童的信息，孤独症患者在每一阶段训练情况以及有评价系统生成的评价表都最后，而治疗情况则由康复训练系统生成，显示给家长和医师进行参考以及转院，电子病历包含着孤独症儿童每一阶段的训练方案及训练进展，这样在每次训练结束后家长都可以将其发送给医生让医生来根据训练的效果进行调整训练方案，如此循环。在家中训练时家长将儿童的电子病历发送给医院的医生，医生针对儿童的训练情况对其训练方案进行调整，然后反馈给家长，如此反复。这样能针对孤独症儿童训练中的问题作出及时的应答，使得儿童的训练方案更加符合其自身规律，有助于其快速的康复。
[0056]本发明的工作原理为:
[0057]图2为孤独症儿童康复训练的游戏流程，每一过程大体流程都是类似的，只是在互动环节，每个阶段提出了不同的要求，并给予不同形式的奖励刺激。每个阶段游戏都是以上图表示的流程进行，在虚线框之内的部分，每个阶段的区别比较大。每个阶段游戏的具体操作过程如下。
[0058](I)第一阶段，该阶段需要训练孩子如何沟通。医师可以通过之前对孩子的观察，调整该阶段利用的刺激元素。出现虚拟人和场景，虚拟人开始介绍现在的情景，并提供可供选择的刺激物，如电影或动画的截图，小屏幕动画播放等。并等待孩子利用移动终端进行交流。这时的移动终端上的图片交流本软件展现了代表他想要的刺激物的图片。孩子利用该图片进行选择。一旦图片被选择，该移动终端就会利用WIFI将命令传送给主机，并使得屏幕上的虚拟人做出相应的动作和表情来鼓励孩子，并进一步给予孩子奖励刺激。
[0059](2)第二阶段，该阶段需要训练孩子沟通的持续性和自发性。如上一阶段，医师调整该阶段的刺激元素后进行训练，游戏开始后，虚拟人会介绍场景并提供可供选择的刺激物。这时不仅仅需要儿童通过图片交流本软件进行选择，还需要孩子从离屏幕有一定距离的位置向显示屏幕的虚拟人移动，以显示其自发的沟通。而主机这时不仅要检测其是否能够选择图片发送命令，还需要通过Kinect感应器确认其位置，看是否达到标准。当孩子在规定的位置范围内通过移动终端上的软件发送命令后，虚拟训练师就会做出动作和表情鼓励孩子，并给予孩子奖励。
[0060](3)第三阶段，该阶段需要训练孩子鉴别图片。经过前两个阶段，医师应对孩子的喜好有了一定了解，并据此来调整该阶段的刺激元素进行训练。在游戏开始后，虚拟训练师同样会介绍场景，但此时虚拟人只会提供一种儿童喜欢的刺激物，这种刺激物以图片或小屏幕电影的方式展现。此时在屏幕和图片沟通交流本上，会出现包括此刺激物对应图片的两个或多个图片，供孩子进行选择。如果孩子选择正确，则虚拟人做出动作和表情来鼓励孩子，并给予其奖励刺激。如果孩子作出的选择不正确，则虚拟人会给孩子作出指示，帮助孩子区分两张图片，直至孩子正确的选择出图片。
[0061](4)第四阶段，该阶段需要训练孩子通过一个短语和图片的方式来提出要求。根据对孩子喜好的了解，训练师调整该阶段刺激元素。游戏开始后，虚拟人会介绍场景，这时虚拟人提供孩子喜好的刺激物，这时要求孩子通过发送“我要”命令(可以通过文字图片实现)和一个交流图片来对虚拟人提出要求。如果发送正确，则给予孩子相应的奖励刺激。如果孩子没有发送正确，则需要判断错误的类型。若缺少“我要”命令，则提示孩子增加这个元素。若图片错误，则提示孩子是否取对图片。这样引导孩子正确发送命令，直到成功发送。
[0062](5)第五阶段，该阶段与上一阶段基本类似，但此时虚拟人会向孩子提出问题“你想要什么？ ”如同上一阶段，调整游戏的刺激元素后，虚拟人介绍场景，此时提出问题“你想要什么？ ”，并等待孩子回答。孩子如同上一阶段，用发生“我要”命令和一个交流图片的方式回答虚拟人的问题。如果发送正确，则给予孩子奖励刺激。如果发生不正确，则如上一阶段判断错误类型，并引导孩子回答。需要时要重复提出该问题。
[0063](6)第六阶段，该阶段与上阶段不同的是，医师需要选择一些孩子并不是特别感兴趣的刺激物和图片。游戏开始后，展示这个刺激物，并向孩子提出问题“你看到了什么？ ”并等待孩子回答。与上一阶段类似，孩子发送“我看到”和一个交流图片的方式回答虚拟人的问题。如果发送正确，则给予孩子他所喜欢的刺激物的奖励刺激(而不是展示的刺激物)。如果发生不正确，则如上一阶段一样，判断错误类型，引导孩子正确回答。需要时要重复提出该问题。
[0064]游戏的每个阶段的游戏刺激物与奖励物都应由医师在游戏进行之前进行调整，以适应游戏的过程和阶段的要求。刚开始的阶段，需要一名医师来知道孩子顺利完成游戏。等孩子比较熟悉之后，就尽可能让孩子独立进行游戏过程。
【权利要求】
1.一种智能化孤独症儿童认知沟通行为早期训练系统，其特征在于，由计算机终端(I),手持终端(2 )，输出终端(3 )和Kinect感应器(4 )构成，计算机终端(I)与手持终端(2 )通过无线网络连接进行数据传输，计算机终端(I)还与输出终端(3 )信号端相连，Kinect感应器(4)与计算机终端(I)通过USB数据线连接，实现人体的图像信息和骨架信息实时传输到计算机终端(I)进行处理。
2.根据权利要求1所述的一种智能化孤独症儿童认知沟通行为早期训练系统，其特征在于，所述的计算机终端(I)包括PECS、评价系统、控制面板系统和电子病历管理系统: 所述的PECS与手持终端I的图片沟通交流本实现无线通信，PECS与手持终端I上的图片沟通交流本以及Kinect感应器4共同构成康复训练系统，Kinect感应器4通过检测受训儿童的位置信息和骨架信息并将其送入PECS，来确定受训儿童的位置和动作，进而判断孤独症儿童的学习状态，根据医师对孤独症儿童的诊断情况，康复训练系统能够为孤独症儿童提供规律个性化的康复训练方案，并针对孤独症儿童的心理特点设计虚拟训练师；康复训练系统还根据康复训练师的诊断生成很多贴近孤独症儿童现实生活的虚拟场景，计算机将画面利用输出终端3投影在大屏幕上面； 评价系统用来评估训练患儿的效果，在训练的每阶段，儿童耗费的时间，儿童做完任务的成功率，以及与虚拟训练师互动的情况都是用来评价的指标，自动生成客观的评价表，写入数据库中的相应位置，评价系统最后会生成最终治疗效果的趋势图，来总结患儿整个治疗过程的表现，以供医师进行参考； 控制面板系统主要 是调整系统与其他模块或设备的关系和系统资源的设置，包含三方面: 网络设置:完成患儿手持终端与系统通过WIFI连接； Kinect感应器设置:完成Kinect与系统的连接，检测孤独症儿童的位置信息和骨架信息； 系统资源配置:完成在训练中使用到的图片和相应的奖励刺激物的设置，由辅助训练医师和家长负责管理，医师根据每个儿童的习惯规律和爱好，为其在训练之前添加相应的图片，设置游戏的速度使之更符合儿童的习惯； 所述的电子病历管理系统部署在计算机上，功能包括存储、显示、添加、修改和删除训练者的个人信息，病症信息和治疗情况，负责记录孤独症儿童的训练进展情况和孤独症儿童的信息，再结合评价系统最终生成孤独症儿童的电子病历，这些信息以数据库的方式存储，并在此模块中进行操作，训练者的个人信息和病症信息主要由医师进行编辑，而治疗情况则由康复训练系统生成，显示给家长和医师进行参考。在家中训练时家长将儿童的电子病历发送给医院的医生，医生针对儿童的训练情况对其训练方案进行调整，然后反馈给家长，如此反复。
3.根据权利要求1所述的一种智能化孤独症儿童认知沟通行为早期训练系统，其特征在于，所述的手持终端(2)是孤独症儿童用来操作的面板，其上安装有手持终端图片沟通交流本，其功能是激励孤独症儿童进行自主性认知沟通交流，将其提出沟通交流的想法形象化，使得周围的人更好的理解其要求。孤独症儿童通过手持终端上的图片沟通交流本发送命令给计算机终端(I)上的PECS，然后起接受计算机终端(I)的反馈激励，这样使得训练逐步进行，进而完成康复训练。图片沟通交流本是基于IOS开发的APP应用程序，系统开发以IOS移动平台为研究对象,使用Objective-C开发语言，系统主要由⑶I (Graphical UserInterface)界面模块和功能模块构成。
4.根据权利要求3所述的一种智能化孤独症儿童认知沟通行为早期训练系统，其特征在于，所述的GUI界面模块包括主界面、图片界面以及操作界面三部分: 所述的主界面包括导航栏、按钮、分区、文本以及箭头元素，点击按钮能够切换显示风格，箭头和文本嵌套于分区中，文本显示选择条目，箭头用于指向下级界面。 所述的图片界面包括图片、按钮、返回箭头、前进箭头和操作框元素；用于完成图片的浏览，返回，保存，复制，电子邮件发送以及取消发送功能。 所述的操作界面模拟PECS训练中孤独症儿童的动作，它联系了主界面和各级视图界面之间的操作，将视图和功能两部分结合，完成一些触发动作。
5.根据权利要求3所述的一种智能化孤独症儿童认知沟通行为早期训练系统，其特征在于，所述的功能模块包括图片加载、图片缓存、图片放大缩小，图片滚动显示以及图片文本数据的传输，这些功能针对图片进行处理，方便孤独症儿童的康复训练: 所述的图片加载包括本地图片加载以及网络图片加载，用户能够从网络上选择图片进行下载和进一步对图片操作； 所述的图片缓存用以保存从网络上下载的图片； 所述的图片放大 缩小实现双击则图片放大，结合单视图滚动进行查看，再双击则回到原始图； 所述的图片滚动显示模块包括单视图滚动和多图像分页滚动，其中单视图滚动实现对图像详细信息的查看，多图像分页滚动实现当有多幅图像时滚动界面显示； 所述的图片文本数据的传输包括图片数据传输以及文本数据传输，用来将图片和文本信息传送给主机并接受主机反馈回来的信息，实现PECS设计的初衷——其中主机模拟训练人员，PECS系统模拟交流板；数据传输是通过邮件的形式发送实现，用户点击发动按钮就可以添加主机信息，然后发送命令给主机，主机在做出相应反馈给用户，完成一次康复训练。
【文档编号】G06F19/00GK103794110SQ201410035362
【公开日】2014年5月14日 申请日期:2014年1月24日 优先权日:2014年1月24日
【发明者】王珏, 刘天, 王冠雄, 李晨曦 申请人:西安交通大学