基于虚拟现实技术的自闭症虚拟教学系统、方法及设备与流程

本发明涉及辅助康复训练技术领域，具体地，涉及一种基于虚拟现实技术的自闭症虚拟教学系统、方法及设备。

背景技术：

自闭症，又称儿童孤独症，是广泛性发育障碍的一种亚型，以男性多见，起病于婴幼儿期，主要表现为不同程度的言语发育障碍、人际交往障碍、兴趣狭窄和行为方式刻板。根据国际统计比例，自闭症的发病率约占全球人口总数的万分之八至十五，呈逐年上升的趋势，

随着虚拟现实技术的发展，人们可以通过可佩带式头盔等显示设备沉浸在虚拟世界中。虚拟现实技术有三大特点：沉浸性,交互性,想象性。这些特性十分适合于对自闭患者社交沟通、刻板行为等缺陷的干预训练。同时，由于自闭症患者难以集中注意力，并存在刻板行为，在对自闭症儿童的早期干预，通常会涉及大量重复性教学，消耗老师大量的精力，难以提高教学效率。而虚拟化教学，让自闭症儿童在虚拟世界中接受早期的干预治疗，则有效地解决以上的问题。首先，基于虚拟现实的硬件设备已经达到了消费级的水平，可以走进绝大多数工薪家庭中。其次教学系统软件化、虚拟化可以使地文化水平家长乃至特殊教育学校无需专业的自闭症干预知识。最后，虚拟教学十分得使用于大量重复性地教学，极大地释放了专业老师和家长的生产力。

但是如何将虚拟现实技术应用于自闭症的教学中，仍然存在如下技术难题：

-部分自闭症患者对于佩戴头戴式显示器有抵触的倾向。

-现阶段的虚拟显示设备缺少与用户的反馈机制，比如无法识别人体动作，无法对用户的言语回馈进行处理等。

-现阶段的虚拟显示的内容大多是针对于游戏玩家设计，缺乏针对于提高自闭症患者提高其生存技能的设计模式。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

技术实现要素：

针对现有技术中存在的上述不足，本发明的目的是提供一种基于虚拟现实技术的自闭症虚拟教学系统、方法及设备，以解决现有技术中存在的上述问题。

本发明是通过以下技术方案实现的。

根据本发明的第一个方面，提供了一种基于虚拟现实技术的自闭症虚拟教学系统，包括：虚拟现实模块、自然语言处理模块、计算机视觉模块和虚拟教学模块；

所述虚拟现实模块，用于向用户呈现虚拟教学场景，识别用户根据虚拟教学场景反馈的运动轨迹并发送至虚拟教学模块；

所述自然语言处理模块，用于识别用户根据虚拟教学场景反馈的语言并发送至虚拟教学模块，和/或进行教学指令的语音合成；

所述计算机视觉模块，用于识别用户根据虚拟教学场景反馈的姿态行为并发送至虚拟教学模块；

所述虚拟教学模块，用于设定虚拟教学场景并通过虚拟现实模块进行呈现；

其中：

所述虚拟教学场景包括初始虚拟教学场景和后续虚拟教学场景：

所述初始虚拟教学场景通过人工设定或根据用户需求自动设定；

所述后续虚拟教学场景根据用户反馈的运动轨迹、语言以及姿态行为信息判断用户的完成度，提供重复的或调整的虚拟教学场景。

优选地，所述虚拟现实模块包括：可佩带式头盔显示器和/或手握式控制器，所述可佩带式头盔显示器和/或手握式控制器，通过有线和/或无线的方式与虚拟教学模块连接，所述可佩带式头盔显示器和/或手握式控制器，通过六轴传感器和/或光学定位装置获取用户空间位置和角度信息的运动轨迹。

优选地，所述自然语言处理模块包括：麦克风和扬声器模块，通过语音识别技术进行用户语言识别，通过语音合成技术下达教学指令。

优选地，所述计算机视觉系统包括一个或多个可见光摄像头，获取用户的姿态行为信息。

优选地，所述虚拟教学模块设定的虚拟教学场景，包括如下任意一种或任意多种类型：语言沟通障碍、社交交流障碍、刻板行为、感觉统合失调和基本生活技能缺失。

优选地，所述虚拟教学场景中包括：

-虚拟教学的媒介人物：采用用户常见人员中的任意一个或任意多个人物形象；

-虚拟教学的场地：采用用户常见场所中的任意一个或任意多个场景。

优选地，所述虚拟教学场景包括训练模式和测试模式；其中：

所述训练模式采用多次重复当前虚拟教学场景的方式；

所述测试模式根据用户完成度判断重复的或调整的虚拟教学场景。

根据本发明的第二个方面，提供了一种通过上述任一项所述的基于虚拟现实技术的自闭症虚拟教学系统实现的自闭症虚拟教学方法，包括如下步骤：

s1，虚拟教学模块设定初始虚拟教学场景，并通过虚拟现实模块向用户呈现；

s2，用户识别初始虚拟教学场景中的提示信息并进行相应反应；

s3，虚拟现实模块、自然语言处理模块和计算机视觉模块分别记录用户反馈的运动轨迹、语言及姿态行为信息，并发送至虚拟教学模块；

s4，虚拟教学模块根据用户反馈的运动轨迹、语言及姿态行为信息判断用户的完成度，提供重复的或调整的后续虚拟教学场景通过虚拟现实模块呈现；

循环执行s2～s4，直至完成教学任务。

优选地，所述初始虚拟教学场景和/或后续虚拟教学场景，包括如下任意一种或任意多种类型：语言沟通障碍、社交交流障碍、刻板行为、感觉统合失调和基本生活技能缺失。

优选地，所述初始虚拟教学场景和/或后续虚拟教学场景中包括：虚拟教学的媒介人物：采用用户常见人员中的任意一个或任意多个人物形象；虚拟教学的场地：采用用户常见场所中的任意一个或任意多个场景。

优选地，所述后续虚拟教学场景包括训练模式和测试模式；其中：所述训练模式采用多次重复当前虚拟教学场景的方式；所述测试模式根据用户完成度判断重复的或调整的虚拟教学场景。

根据本发明的第三个方面，提供了一种设备，包括存储器、处理器及存储在存储器上并可通过处理器运行的上述任一项所述的基于虚拟现实技术的自闭症虚拟教学系统。

与现有技术相比，本发明具有如下有益效果：

本发明提供的一种基于虚拟现实技术的自闭症虚拟教学系统、方法及设备，通过虚拟现实技术向自闭症患者提呈现虚拟教学环境，提供早期干预治疗。该虚拟教学系统、方法及设备根据自闭症患者语言和行为的缺陷程度，设定特定的教学模式和难易等级，自闭症患者根据虚拟教学场景的指示做出语言和行为上的反馈。虚拟教学系统、方法及设备记录包括语言、肢体动作和虚拟设备的运动信息等多种反馈信号，并对反馈信号分析评价，决定下一次教学场景的模式和难度。虚拟现实技术沉浸性、交互性和想象性的特点，适用于对自闭症患者在社交沟通、刻板行为、感统失调方面等缺陷上的干预训练。采用本发明提供的基于虚拟现实技术的自闭症虚拟教学系统、方法及设备，可极大提高接受早期干预训练的自闭症患者数量和训练效果，减轻家庭和社会的负担。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例提供的基于虚拟现实技术的自闭症虚拟教学系统的结构示意图；

图2为本发明一实施例提供的虚拟现实模块的模块示意图；

图3是本发明一实施例提供的自闭症虚拟教学方法的逻辑流程示意图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。以下实施例中没有详细说明的部分均可以采用现有技术实现。

本发明实施例提供了一种基于虚拟现实技术的自闭症虚拟教学系统，包括：虚拟现实模块、自然语言处理模块、计算机视觉模块和虚拟教学模块；

所述虚拟现实模块，用于向用户呈现虚拟教学场景，识别用户根据虚拟教学场景反馈的运动轨迹并发送至虚拟教学模块；

所述自然语言处理模块，用于识别用户根据虚拟教学场景反馈的语言并发送至虚拟教学模块，和/或进行教学指令的语音合成；

所述计算机视觉模块，用于识别用户根据虚拟教学场景反馈的姿态行为并发送至虚拟教学模块；

所述虚拟教学模块，用于设定虚拟教学场景并通过虚拟现实模块进行呈现；

其中：

所述虚拟教学场景包括初始虚拟教学场景和后续虚拟教学场景：

所述初始虚拟教学场景通过人工设定或根据用户需求自动设定；

所述后续虚拟教学场景根据用户反馈的运动轨迹、语言以及姿态行为信息判断用户的完成度，提供重复的或调整的虚拟教学场景。

进一步地，所述虚拟现实模块包括：可佩带式头盔显示器和/或手握式控制器，所述可佩带式头盔显示器和/或手握式控制器，通过有线和/或无线的方式与虚拟教学模块连接，所述可佩带式头盔显示器和/或手握式控制器，通过六轴传感器和/或光学定位装置获取用户空间位置和角度信息的运动轨迹。

进一步地，所述自然语言处理模块包括：麦克风和扬声器模块，通过语音识别技术进行用户语言识别，通过语音合成技术下达教学指令。

进一步地，所述计算机视觉系统包括一个或多个可见光摄像头，获取用户的姿态行为信息。

进一步地，所述虚拟教学模块设定的虚拟教学场景，包括如下任意一种或任意多种类型：语言沟通障碍、社交交流障碍、刻板行为、感觉统合失调和基本生活技能缺失。

进一步地，所述虚拟教学场景中包括：

-虚拟教学的媒介人物：采用用户常见人员中的任意一个或任意多个人物形象；

-虚拟教学的场地：采用用户常见场所中的任意一个或任意多个场景。

进一步地，所述虚拟教学场景包括训练模式和测试模式；其中：

所述训练模式采用多次重复当前虚拟教学场景的方式；

所述测试模式根据用户完成度判断重复的或调整的虚拟教学场景。

基于本发明实施例提供的基于虚拟现实技术的自闭症虚拟教学系统，本发明实施例同时提供了一种自闭症虚拟教学方法，该方法通过上述系统实现，包括如下步骤：

s1，虚拟教学模块设定初始虚拟教学场景，并通过虚拟现实模块向用户呈现；

s2，用户识别初始虚拟教学场景中的提示信息并进行相应反应；

s3，虚拟现实模块、自然语言处理模块和计算机视觉模块分别记录用户反馈的运动轨迹、语言及姿态行为信息，并发送至虚拟教学模块；

s4，虚拟教学模块根据用户反馈的运动轨迹、语言及姿态行为信息判断用户的完成度，提供重复的或调整的后续虚拟教学场景通过虚拟现实模块呈现；

循环执行s2～s4，直至完成教学任务。

基于本发明实施例提供的基于虚拟现实技术的自闭症虚拟教学系统，本发明实施例同时提供了一种设备，包括存储器、处理器及存储在存储器上并可通过处理器运行的上述任一项所述的基于虚拟现实技术的自闭症虚拟教学系统。

下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。

图1为本发明实施例提供的基于虚拟现实技术的自闭症虚拟教学系统的结构示意图。

如图1所示，本发明一实施例提供的基于虚拟现实技术的自闭症虚拟教学系统，包括：虚拟现实模块1，用于向用户呈现虚拟教学场景。自然语言处理模块2，用于对用户的语音指令进行语音识别和语音合成。计算机视觉模块3，用于对用户的姿态行为进行估计。虚拟教学模块4，通过人工设定或是系统根据用户的患病程度自动设定初始的虚拟教学场景，并通过虚拟现实模块呈现给用户。用户根据所述虚拟教学场景的提示信息做出相应的反应，虚拟现实模块、自然语言处理模块和计算机视觉模块记录用户反馈的信息。虚拟教学模块根据用户反馈的信息判断所述用户的完成度，提供奖惩措施，判断重复或是调整虚拟教学场景，进行下一次的教学，直至完成教学任务。

如图2所示，虚拟现实模块1包括可佩带式头盔显示器和手握式控制器。可佩带式头盔显示器和手握式控制器，可以通过有线和无线的方式与主控制机连接，或者无需主控制机。可佩带式头盔显示器和手握式控制器，可以通过六轴传感器和光学定位系统获取显示器和控制器的空间位置和角度信息，即用户的运动轨迹。

进一步地，自然语言处理模块2包括麦克风和扬声器模块，通过语音识别技术识别用户发出的声音，通过语音合成技术发出所述虚拟教学系统下达的教学的命令。

进一步地，计算机视觉系统3包括一个或多个可见光摄像头，通过动作捕捉技术，获取所述用户的姿态行为信息。

进一步地，虚拟教学模块4根据自闭症的症状设定相应类型的虚拟教学场景，所述类型包括语言沟通障碍、社交交流障碍、刻板行为、感觉统合失调和基本生活技能缺失。

其中，虚拟教学场景包括了老师、同学、父母等用户常见人员中的一个或多个人物形象，作为虚拟教学的媒介人物。虚拟教学场景包括了教室、走廊、体育馆、花园、厕所、食堂等用户常见场所中的任意一个或任意多个场景，作为虚拟教学的场地。

进一步地，虚拟教学模块4的模式和训练等级可由看护者设定，看护者无需专业的自闭症康复知识，只需理解虚拟教学系统的流程。所述虚拟教学模块4也可通过测试场景，获取自闭症用户的病情程度，自动设置虚拟教学系统的模式和训练等级。

虚拟教学模块4可通过声音信号和图像信号呈现虚拟教学的内容，并下达相应的指令。所述虚拟教学模块4在用户做出反应时，记录用户的语音信息、姿态行为信息、头盔显示器和手握式控制的运动轨迹信息。虚拟教学模块4根据记录的信息，判断用户对所述指令的完成情况。

虚拟教学模块4对教学的场景分为训练和测试两个阶段。训练阶段，会多次重复教学的场景，如果虚拟教学系统根据用户对指令的完成情况评价较好，可减少教学次数，直接进入测试阶段。在测试阶段中，虚拟教学模块4根据用户对指令的完成情况决定进行下一个阶段的调整的虚拟教学场景的训练，还是重复的虚拟教学场景的训练。

图3为在本发明实施例所提供的自闭症虚拟教学方法的技术方案的基础上进行的一种具体教学方法逻辑流程图。。

如图3所示，所述具体教学方法包括以下步骤：

步骤101，由看护人员设定虚拟教学场景训练模式和等级，也可以通过虚拟教学模块通过用户的缺陷程度自动设置虚拟教学场景的训练模式和等级。

步骤102，虚拟教学模块根据设置的虚拟教学场景模式和等级，向用户呈现相应的虚拟教学场景信息，通过声音信号或是图像信号向用户发出指令，用户根据指令做出相应的肢体或是语言上的反馈。虚拟教学系统的自然语言处理模块、计算机视觉模块和虚拟现实模块分别收集用户所发出的语音信号、身体姿态信号以及头盔和手柄所呈现的用户运动轨迹信息。

步骤103，虚拟教学模块对步骤102收集的信息进行处理，判断用户的反馈信息是否满足要求。倘若不满足要求，继续步骤102，重复训练，倘若满足要求，执行步骤104，进行下一阶段的训练。

步骤104，根据上一训练模式和等级设置本次训练的模式和等级。

步骤105，内容与步骤102相同，根据设置的场景模式和等级，向用户呈现相应的虚拟教学场景信息，通过声音信号或是图像信号向用户发出指令，用户根据指令做出相应的肢体(姿态行为、运动轨迹)或是语言上的反馈。虚拟教学模块收集用户所发出的语音信号、身体姿态信号以及头盔和手柄的运动轨迹信息。

步骤106，虚拟教学模块对步骤105收集的信息进行处理，判断用户的反馈信息是否满足要求。倘若不满足要求，继续步骤105，重复训练，倘若满足要求，执行步骤107。

步骤107，虚拟教学模块判断是否已经完成当前模式的所有训练任务，倘若是，则执行步骤108，训练结束，倘若否，则执行步骤104，进行下一阶段的训练内容。

步骤108，退出训练系统。

具体地，步骤102和步骤103以及步骤105和步骤106可具体细分为训练和测试两个阶段。训练阶段，会多次重复教学的场景，如果虚拟教学系统根据用户对指令的完成情况评价较好，可减少教学次数，直接进入测试阶段。在测试阶段，虚拟教学系统根据用户对指令的完成情况决定进行下一个阶段的训练(即进行调整的虚拟教学场景学习)，还是重复本阶段的训练(即进行重复的虚拟教学场景学习)。

需要说明的是，上述步骤101～步骤108是对本发明实施例中所提供的自闭症虚拟教学方法中的步骤s1～s4以及其循环步骤的扩展描述，该步骤101～步骤108的执行，不影响步骤s1～s4以及其循环步骤的技术方案的实施。

本发明上述实施例提供的基于虚拟现实技术的自闭症虚拟教学系统、方法及设备，通过虚拟现实技术向自闭症患者提呈现虚拟教学环境，提供早期干预治疗，该虚拟教学系统包括了虚拟现实模块、自然语言处理模块、计算机视觉模块和虚拟教学模块，可根据自闭症患者语言和行为的缺陷程度，设定特定的教学模式和难易等级，自闭症患者根据虚拟教学场景的指示做出语言和行为上的反馈，虚拟教学系统记录包括语言、肢体动作和虚拟设备的运动信息等多种反馈信号，并对反馈信号分析评价，决定下一次教学场景的模式和难度；虚拟教学模块可以辅助干预自闭症的多种症状，症状包括语言沟通障碍、社交交流障碍、刻板行为、感觉统合失调和基本生活技能缺失。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。