自闭症谱系障碍混合现实康复训练系统及方法与流程

本公开涉及一种自闭症谱系障碍混合现实康复训练系统及方法。

背景技术：

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

自闭症谱系障碍(asd，autismspectrumdisorder)是严重的发育障碍性疾病，患病后会严重影响其一生，早期干预是国内外自闭症领域的研究热点。大量的实证研究表明早期干预能够有效改善自闭症的早期症状，特别是对于处在发展关键期的儿童。目前，中国治疗asd的主要方式多是通过一些传统的认知干预和行为干预来进行康复训练，然而，传统的训练形式和内容多为治疗师通过语言和简单教具来实施，这种方式缺乏具体形象性，不太符合早期儿童直观动作思维的特点，也缺乏对asd儿童的吸引力。此外，由于患儿人群居多，医院的康复治疗师短缺，康复设施成本较高，导致医院的设备更新不及时，治疗手法也相对单一。

目前，针对asd的计算机辅助技术(cat，computer-assistedtechnology)和计算机干预(cbis，computer-basedinterventions)在asd康复训练中的作用已经得到初步证实。而且从自闭症患者的实验结果可以看出，虚拟现实技术和计算机辅助技术对于自闭症患者的康复训练具有较好的康复效果。但是，目前已有的自闭症vr康复系统很少有关注并适合低龄asd儿童的。同时,目前大部分研究都忽视了基于动物形式的干预治疗在计算机辅助干预治疗中的作用。

技术实现要素：

本公开为了解决上述问题，提出了一种自闭症谱系障碍混合现实康复训练系统及方法，本公开将自闭症儿童的临床康复训练课程内容与混合现实技术的优势相结合，对认知训练、理解训练、模仿训练三个方面，将传统训练内容融合到该系统中，构建了一个有趣、沉浸、游戏式的交互训练系统。本系统不需要昂贵的混合现实设备，能引起自闭症儿童更多的兴趣、更高的专注和更好的训练表现。

根据一些实施例，本公开采用如下技术方案：

一种自闭症谱系障碍混合现实康复训练系统，包括：

投影模块，包括一鱼缸和投影仪，鱼缸至少具有一面透明面，且该面上附着有一液晶调光膜，通过改变液晶调光膜的通电状态，使鱼缸的该面在透明状态和非透明状态之间转换，为所述投影仪形成投影屏幕；

交互模块，包括设置于所述鱼缸的另一个面的红外边框触摸屏，被配置为通过触摸操作将用户在物理空间中的操作转换为对虚拟场景中物体的操作；

场景渲染模块，被配置为利用三维动画和语音合成技术模拟真实的海底场景，将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果；

多维训练模块，包括认知训练、理解训练和模仿训练子模块，所述认知训练子模块提供多幅图像，并保证多幅图像中至少相同的图片，并接收触屏操作结果，所述理解训练子模块，被配置为在场景中提供非水生动物，并接收接触信息，确定所选择的位置；所述模仿训练子模块，被配置为提供一鱼篓和多种类鱼图像，接收将对象拖拽到鱼篓中的拖拽操作。

作为进一步的限定，所述鱼缸表面的四周设置有红外触摸框，包括相互匹配的红外线发射与接收感测元件，在鱼缸的一个表面形成红外线探测网。

作为进一步的限定，所述红外触摸屏通过自带的usb数据线与上位机相连接，在鱼缸表面使用手指触摸，触摸屏会响应手指触摸操作，将触摸响应及触摸位置传递给上位机，从而进行交互操作。

作为进一步的限定，所述交互模块接收用户的点选或拖拽的触控操作，触摸屏会响应手指的触控操作，将触摸响应及触摸位置传递给多维训练模块，多维训练模块将得到的触控位置转换为虚拟渲染场景中对应的位置，实现与虚拟场景中物体的互动。

作为进一步的限定，所述场景渲染模块，还包括声音播放模块，被配置为在场景渲染时发出相应的动物的叫声或动作操作结果提示。

一种自闭症谱系障碍混合现实康复训练方法，包括：

改变液晶调光膜的通电状态，使鱼缸从透明状态转换为非透明状态，形成投影屏幕；

开启红外边框触摸屏，接收用户在物理空间中的触屏操作转换为对虚拟场景中物体的操作；

利用三维动画和语音合成技术模拟真实的海底场景，将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果；

在认知训练环节中，接收用户对屏幕上两张相同的图片并用手指连接的触屏操作，判断连接是否正确；

在理解训练环节，接收用户对场景中的非水生动物的选择所在的位置结果，判断指定是否正确；

在模仿训练环节，接收用户将对象拖拽到鱼篓中的手指拖拽操作，并判断分类是否正确。

作为进一步的限定，在理解训练环节，根据手指点击位置是否位于非水生动物的坐标范围内进行判断，将每个非水生动物的世界坐标分别记为(x1,y1)，(x2,y2)等，将其通过worldtoscreenpoint转换为屏幕坐标，记为(x1.screen,y1.screen)，(x2.screen,y2.screen)等，将其屏幕坐标范围的半径大小设置为60像素点；获取当前手指点击的位置，记为(x,y)为屏幕坐标；以其中一个动物为例，如果(abs(x-x1.screen)≤60)∩(abs(y-y1.screen)≤60)，则判断手指点击的位置位于该动物的坐标范围内，即判断该操作成功。

作为进一步的限定，在每个场景的背景中，都有鱼群在来回的游来游去，通过路径动画实现，具体包括：创建多个关键点，使用waypointcircuit脚本生成通过这些关键点的路径，在需要沿着路径移动的物体上添加follow脚本，使对应的物体沿着既定路径运动。

作为进一步的限定，在模仿训练环节，根据鱼类动物位置最终是否位于鱼篓的坐标范围内进行判断，首先添加每个需要拖拽的对象，如果从摄像机发出到点击坐标的射线经过某个对象，则该对象被点击，获得点击位置的世界坐标，计算点击位置与该对象世界坐标的偏移量，通过实时计算手指点击位置的世界坐标加上偏移量，即可实时得到被拖拽对象的世界坐标，从而实现手指拖拽。

作为进一步的限定，将鱼篓的世界坐标记为(xyulou,yyulou)，通过worldtoscreenpoint转换为屏幕坐标，记为(xyulou.screen,yyulou.screen)，将其屏幕坐标范围的半径大小设置为100像素点；将被拖拽对象的世界坐标分别记为(x1,y1)，(x2,y2)等，将其通过worldtoscreenpoint转换为屏幕坐标，记为(x1.screen,y1.screen)，(x2.screen,y2.screen)等；以其中一个拖拽对象为例，如果(abs(xyulou.screen-x1.screen)≤100)∩(abs(yyulou.screen-y1.screen)≤100)，则判断该对象的位置位于鱼篓的坐标范围内，即该对象位于鱼篓中，则判断该操作成功。

与现有技术相比，本公开的有益效果为：

(1)本公开系统使用方便、易操作、康复成本较低；

(2)采用鱼缸、金鱼等真实物体作为系统载体，提高幼患的认知能力。对空间限制较少，适合家庭对幼患进行康复训练，有助于提高病患的认知能力、辨别能力、选择能力、模仿能力以及动手操作能力。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本发明的硬件组成结构示意图；

图2为改进鱼缸示意图；

图3为交互模块示意图；

图4为场景渲染模块示意图；

图5为多维训练模块流程图；

图6(a)为多维训练模块-认知训练的初始界面，6(b)为操作界面，6(c)为操作成功界面，6(d)为操作失败界面；

图7为认知训练环节的操作判断机制示意图；

图8(a)为多维训练模块-理解训练的初始界面，8(b)为操作界面，8(c)为操作成功界面，8(d)为操作失败界面；

图9(a)为多维训练模块-模仿训练的初始界面，9(b)为操作界面，9(c)为操作成功界面，9(d)为操作失败界面；

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。

本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。

一种自闭症谱系障碍混合现实康复训练系统，包括：

投影模块，包括一鱼缸和投影仪，鱼缸至少具有一面透明面，且该面上附着有一液晶调光膜，通过改变液晶调光膜的通电状态，使鱼缸的该面在透明状态和非透明状态之间转换，为所述投影仪形成投影屏幕；

交互模块，包括设置于所述鱼缸的另一个面的红外边框触摸屏，被配置为通过触摸操作将用户在物理空间中的操作转换为对虚拟场景中物体的操作；具有自闭症倾向的患儿通常无法长时间抓取某一件物品，并且他们学习肢体语言需要比常人更久的时间。对于自闭症儿童而言，触摸是一个非常重要的社会信号。用手指直接点击屏幕的操作方式比较简单和直接，更符合直观动作思维特点，降低认知载荷。患儿可以在较短时间内学会操作。

场景渲染模块，被配置为利用三维动画和语音合成技术模拟真实的海底场景，将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果；将鱼缸这一真实物体作为系统载体，通过改造鱼缸将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果。这种渲染方式不仅贴近实际体验，而且更能吸引自闭症儿童的注意力。

多维训练模块，包括认知训练、理解训练和模仿训练子模块，所述认知训练子模块提供多幅图像，并保证多幅图像中至少相同的图片，并接收触屏操作结果，所述理解训练子模块，被配置为在场景中提供非水生动物，并接收接触信息，确定所选择的位置；所述模仿训练子模块，被配置为提供一鱼篓和多种类鱼图像，接收将对象拖拽到鱼篓中的拖拽操作。

液晶调光膜通电时，使普通玻璃处于透明状态，可保证普通玻璃的日常观赏功能；断电时，使普通玻璃处于非透明状态，使普通玻璃变为投影幕，供投影内容的显示。

如图1所示，本发明的硬件组成主要包括投影仪、主机和改进鱼缸。投影仪采用一般商用投影仪，主机选用一般显台式电脑主机，可运行三维动画。改进鱼缸是我们对普通鱼缸进行了改造，鱼缸的一面装有液晶调光膜，用于投影显示；另一面装有红外触摸屏，支持触控操作。在布置过程中，投影仪位于改进鱼缸装有液晶调光膜一侧的后方，投影仪与主机连接，将影像背投到鱼缸该面玻璃上；改进鱼缸装有红外触摸屏的一侧面向儿童，便于儿童的观看与互动操作。

如图2所示，本发明所使用的改进鱼缸，鱼缸的一面安装有红外触摸屏，其紧贴鱼缸表面，安装在鱼缸的四周并通过usb数据线与主机相连，其尺寸与鱼缸该面玻璃大小一致；鱼缸的另一面是由液晶调光膜组成的玻璃，与鱼缸该面正后方的投影仪组成调光投影系统。本发明所使用红外触摸屏尺寸与改进鱼缸该面玻璃尺寸的大小一致。

如图3所示，本发明的交互模块，利用改进鱼缸一侧的红外触摸屏，使鱼缸表面成为可以互动操作的交互界面。在鱼缸表面，用户可以实现手指的点选、拖拽等触控操作，触摸屏会响应手指的触控操作，将触摸响应及触摸位置传递给系统，系统将得到的触控位置转换为虚拟渲染场景中对应的位置，实现与虚拟场景中物体的互动。

如图4所示，本发明的场景渲染模块共包括五个部分：粒子动画、路径动画、关键帧动画、操作提示以及背景音乐播放，其中操作提示包括操作中的实时反馈和操作结果提示。

粒子动画：使用unity3d的粒子系统模块制作场景中的水母、气泡、水草以及漂浮在水中的粒子等。粒子模块有transform和particlesystem两个组件，通过改变transform组件控制粒子的世界或者局部坐标；通过调整particlesystem组件的具体参数，改变粒子的属性，比如持续时间、发射模式、粒子大小、发射速度、发射形状等等，其中粒子的外观效果由渲染组件renderer决定，即渲染粒子的材质球，通过选择合适的贴图，从而实现不同的粒子外观效果。

路径动画：在每个场景的背景中，都有鱼群在来回的游来游去，这个是通过路径动画实现的。首先创建几个关键点，使用waypointcircuit脚本生成通过这几个关键点的路径，接着在需要沿着路径移动的物体上添加follow脚本，即可使该物体沿着既定路径运动。

关键帧动画：场景中的动物，如鱼、猪、牛、羊、大雁、海星、乌龟等，自身均含有动画，如原地摆尾、挥动翅膀等。这些动画是使用maya制作的关键帧动画，通过在不同的时刻设置关键的动画，其他时间的动画则可以通过maya特定的插值方法得到，从而达到比较流畅的动画效果。

操作提示：包括操作中的实时反馈和操作结果提示。其中，操作中的实时反馈主要包括，在认知训练环节中手指滑动轨迹的实时显示，使用fingergesture插件，添加fingermovepathrenderer，从而使手指滑动的轨迹实时显示在屏幕上。操作结果提示主要包括每个训练环节中操作完成后的提示，操作成功后有一个语音反馈：“给你个赞”以及在屏幕上出现点赞手势，其中，“给你个赞”是使用科大讯飞语音合成技术合成的，将其添加到audiosource中播放，点赞手势是一张图片，通过改变其transform中scale属性使其出现，并在语音反馈结束后消失；另外，在理解训练环节中，操作结果提示还包括出现动物的语音自我介绍及叫声，也是添加到audiosource中播放，其中自我介绍语音也是使用科大讯飞语音合成技术合成的。

背景音乐播放：在每个训练环节均设置了不同的背景音乐，将其添加到audiosource中循环播放。

如图5所示，本发明设计的多维训练模块共包括三个训练环节：认知训练环节、理解训练环节和模仿训练环节。图5为多维训练模块流程图，在进入系统后，asd治疗师首先根据自闭症儿童当前的康复状态进行训练环节的选择，然后开启相应的训练环节，供儿童进行训练。当该项训练结束时，治疗师可以继续选择训练环节，或者停止训练。

如图6所示，本发明设计的认知训练环节。

训练目的：训练自闭症儿童的认知能力和辨别能力。

训练内容：如图6(a)所示，该训练环节的初始界面存在一组连线图片，分别是小丑鱼、小海龟和海星。自闭症儿童需要在治疗师的引导下，找到屏幕上两张相同的图片并用手指将其连接起来。系统设置了两组不同的连线图片，一组连线题全部连对后会自动跳转到下一组连线题。

训练要求：如图6(b)所示，在操作过程中，手指连线的轨迹会显示在屏幕上，且当前手指点击屏幕的位置有一个大且深色的圆圈，要求自闭症儿童按照治疗师的指令成功找到两张相同的图片并用手指将其连接起来，且要求连线的轨迹是一次完成的，即连续的。

训练反馈：根据连线是否正确来进行评价。如图6(c)所示，找到两张相同的图片并用手指一次将其连接起来，即为操作成功，此时系统会有一个正面的语音反馈：“给你个赞”，并在屏幕上出现一个点赞手势；如图6(d)所示，连接两张不同的图片，即为操作失败，此时系统不会有反面的反馈，避免对自闭症儿童产生负面刺激，而是由治疗师来引导自闭症儿童再次进行尝试。

训练操作判断机制：根据连线的起始坐标和终止坐标是否分别位于两张相投图片的坐标范围内进行判断。如图7所示，将两张相同图片中，左边图片左上角和右下角坐标分别记为(x1,y1)和(x2,y2)，右边图片左上角和右下角坐标分别记为(x3,y3)和(x4,y4)；使用fingergesture插件判断手指的按下和抬起操作，并获取相应的屏幕坐标位置，记为(xstart,ystart)和(xend,yend)；如果(x1≤xstart≤x2)∩(y1≤ystart≤y2)，则判断手指按下的位置在左边图片的坐标范围内，同理，如果(x3≤xend≤x4)∩(y3≤yend≤y4)，则判断手指抬起的位置在右边图片的坐标范围内；如果手指按下和抬起的位置分别在两张相同图片的坐标范围内(不限制按下位置必须在左边图片的坐标范围内，在右边图片的坐标范围内也可以，抬起位置同理)，则判断该操作成功。

如图8所示，本发明设计的理解训练环节。

训练目的：训练自闭症儿童的认知能力和选择能力。

训练内容：如图8(a)所示，该训练环节的初始界面存在四种非水生动物，分别是猪、牛、羊和大雁。自闭症儿童需要在治疗师的引导下，找到场景中的非水生动物并用手指点击其所在的位置。

训练要求：如图8(b)所示，在操作过程中，当前手指点击屏幕的位置有一个大且深色的圆圈，要求自闭症儿童按照治疗师的指令成功找到目标动物并正确点击其位置，即圆圈的位置应与目标动物的位置一致。

训练反馈：根据是否找到非水生动物并正确点击其位置来进行评价。如图8(c)所示，如果自闭症儿童按照治疗师的指令成功找到大雁并正确点击其位置，即为操作正确，会有一个声音反馈：大雁会发出自己的叫声并有一个语音的自我介绍：“我是大雁”，大雁自我介绍结束后会消失，系统会有一个正面的语音反馈：“给你个赞”，并在屏幕上出现一个点赞手势；如8(d)所示，如果自闭症儿童没有按照治疗师的指令成功找到大雁，而是点击了水母等其他水生动物的位置，即为操作失败，此时系统不会有反面的反馈，而是由治疗师来引导自闭症儿童再次进行尝试。

训练操作判断机制：根据手指点击位置是否位于非水生动物的坐标范围内进行判断。将每个非水生动物的世界坐标分别记为(x1,y1)，(x2,y2)等，将其通过worldtoscreenpoint转换为屏幕坐标，记为(x1.screen,y1.screen)，(x2.screen,y2.screen)等，将其屏幕坐标范围的半径大小设置为60像素点；本环节通过input.mouseposition来获取当前手指点击的位置，记为(x,y)为屏幕坐标；以其中一个动物为例，如果(abs(x-x1.screen)≤60)∩(abs(y-y1.screen)≤60)，则判断手指点击的位置位于该动物的坐标范围内，即判断该操作成功。

如图9所示，本发明设计的模仿训练环节。

训练目的：训练自闭症儿童的模仿能力和动手操作能力。

训练内容：如图9(a)所示，该训练环节的初始界面存在六个可拖拽的对象，分别是四条在原地摆尾游动的颜色分明的鱼和两个带有摆手动作的海星。自闭症儿童需要在治疗师的引导下，用手指操纵可拖拽的对象到鱼篓中。

训练要求：如图9(b)所示，在操作过程中，当前手指点击屏幕的位置有一个大且深色的圆圈，要求自闭症儿童按照治疗师的指令找到指定颜色的对象并成功将该对象拖动到鱼篓中，即要求圆圈的位置应一直与该对象的位置一致，且最终圆圈、对象与鱼篓的位置应该一致。

训练反馈：通过是否将对象拖拽到鱼篓中进行评价。如图9(c)所示，如果自闭症儿童按照治疗师的指令成功找到指定颜色的对象并将其拖动到鱼篓中，即为操作成功，此时系统会有一个正面的语音反馈：“给你个赞”，并且在屏幕上会出现一个点赞手势；如图9(d)所示，如果自闭症儿童没有成功将其拖动到鱼篓中，即为操作失败，此时系统不会有反面的反馈，而是由治疗师来引导自闭症儿童再次进行尝试。

训练操作判断机制：根据鱼类动物位置最终是否位于鱼篓的坐标范围内进行判断。首先给每个需要拖拽的对象添加collider，如果从摄像机发出到点击坐标的射线经过某个对象，则该对象被点击，通过screentoworldpoint获得点击位置的世界坐标，计算点击位置与该对象世界坐标的偏移量，通过实时计算手指点击位置的世界坐标加上偏移量，即可实时得到被拖拽对象的世界坐标，从而实现手指拖拽。将鱼篓的世界坐标记为(xyulou,yyulou)，通过worldtoscreenpoint转换为屏幕坐标，记为(xyulou.screen,yyulou.screen)，将其屏幕坐标范围的半径大小设置为100像素点；将被拖拽对象的世界坐标分别记为(x1,y1)，(x2,y2)等，将其通过worldtoscreenpoint转换为屏幕坐标，记为(x1.screen,y1.screen)，(x2.screen,y2.screen)等；以其中一个拖拽对象为例，如果(abs(xyulou.screen-x1.screen)≤100)∩(abs(yyulou.screen-y1.screen)≤100)，则判断该对象的位置位于鱼篓的坐标范围内，即该对象位于鱼篓中，则判断该操作成功。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。