基于VR技术的神经发育障碍交通安全训练系统及方法与流程

本发明涉及神经发育障碍症认知训练领域，特别涉及一种基于vr技术的神经发育障碍交通安全训练系统及方法。

背景技术：

根据icd诊断标准，神经发育障碍是指出现在发育阶段的行为和认知障碍，表现为获得和执行特定智能、运动、语言或社会功能存在显著困难，包括：智力发育障碍、发育性言语或语言障碍、孤独症谱系障碍、发育性学习障碍、发育性运动协调障碍、慢性发育性抽动障碍、注意缺陷多动障碍、刻板性运动障碍。

有些神经发育障碍患儿存在生活技能反面的缺陷，而对于这些缺陷只能通过特殊教育和训练来干预。让这些患者亲身体验到实际的环境中去，反复地去训练，才可能让这些患者掌握这些基本的技能。由于特殊教育学校和康复中心在教学设备和教学场地等方面的局限性，很多基本的生活技能难以在这些地方展开干预训练。交通安全就是其中一个非常重要的生活技能，孤独症谱系障碍、智力发育障碍、注意缺陷多动障碍患者常常存在这一生活技能的困难或缺陷，并且难以在这些特殊教育学校和康复中心展开干预训练。例如孤独症谱系障碍患者的关注事物的点与正常人不同，正常人在马路上行走时，需要不停地关注交通标志。在过马路时，需要观察红绿灯，需要观察来往的车辆。对于孤独症谱系障碍患者而言，在没有强行地干预下，他们几乎不可能去做到这些。而这些基本常识，在室内的环境中，又难以真实地模拟出来，这样使得干预的效果非常差，使得患者难以掌握基本的交通常识，难以提高独自生活的能力。而对于注意缺陷多动障碍患儿往往有不注意安全，冲动的情况，在现实环境中进行训练存在危险性。

技术实现要素：

为了解决现有技术的问题，本发明提供了一种基于虚拟现实的针对神经发育障碍症患者的交通安全训练系统及训练方法，在虚拟现实中搭建各种交通场景，与在实际生活搭建对应的场景相对比，既节约了成本，又可以丰富场景的多样性，可重复实用性和场景的真实性也得到了极大的提高。目前的虚拟现实技术的硬件设备已经达到了消费级的水平，可被绝大多数工薪家庭消费，使得更多没有条件进行早期干训训练的神经发育障碍患者家庭得到安全教育，提高神经发育障碍患者独立生活的能力，从而减轻其家庭和社会的负担。技术方案如下：

一方面，本发明提供了一种基于vr技术的神经发育障碍交通安全训练系统，包括中央控制装置、头戴式显示器、用于操作虚拟场景中特定任务的手握式控制器、用于追踪目光朝向的内置式眼动追踪设备、用于播放音频信息的音频播放设备、用于识别声音内容的语音检测设备、用于检测使用者动作的人体动作检测设备及用于神经发育障碍患者的交通安全教育训练虚拟显示软件系统；

所述头戴式显示器用于显示所述交通安全教育训练虚拟显示软件系统生成的vr场景，所述vr场景包括交通场景及特定的任务信号，所述任务信号包括过马路、观察红绿灯、走斑马线、避免行驶的车辆、观察交通指示牌、乘坐公交车、乘坐地铁，所述任务信号出现在vr场景中或者通过所述音频播放设备进行播放；

所述手握式控制器采集训练过程中使用者的输入信息并反馈至中央控制装置，所述内置式眼动追踪设备将判断使用者对虚拟物体的注视方向信息反馈至中央控制装置，所述语音检测设备将采集到的使用者的音频信息反馈至中央控制装置，所述人体动作检测设备将检测到的使用者的动作信息反馈至中央控制装置，所述中央控制装置根据反馈的信息判断所述使用者在交通安全教育训练中的训练完成度。

进一步地，所述手握式控制器上设有按键和触摸板，以实现人机交互。

进一步地，所述音频播放设备包括扬声器或耳机。

进一步地，所述语音检测设备通过语音识别算法识别出使用者所表达出语句信息，并且通过自然语言处理算法理解语句信息的含义。

进一步地，所述交通安全训练系统还包括用于定位使用者头部和手握式控制器的位置和方向的空间定位设备，所述空间定位设备包括光学定位装置和/或设置在头戴式显示器和手握式控制器内的角速度传感器；

所述空间定位设备将采集到的使用者的空间位置信息反馈至中央控制装置，所述中央控制装置根据反馈的信息判断所述使用者在交通安全教育训练中的训练完成度。

进一步地，所述人体动作检测设备为红外相机或可见光相机。

另一方面，本发明提供了一种基于上述的交通安全训练系统的训练方法，包括：

根据待训练使用者的初始认知程度或上一次训练的认知程度，匹配相应等级的交通安全教育训练项目；

将相应等级的vr场景显示在所述头戴式显示器上；

通过音频播放设备发出所述训练项目中的任务信号；

获取使用者在训练过程中反馈的空间位置、对虚拟物体的注视方向、在手握式控制器上的输入信息，和/或使用者的语音信息；

根据反馈的信息判断所述使用者的训练完成度，若训练完成度高于预设上限阈值，则在下一次训练时匹配提升相应等级的训练项目；若所述训练完成度连续两次低于预设下限阈值，则在下一次训练时匹配降低相应等级的训练项目；否则在下一次训练时匹配维持相应等级的训练项目。

进一步地，每一个训练项目包括多个同难度等级的训练单元，每个训练单元均包含训练阶段和测试阶段，所述训练阶段会发布训练的训练任务并对使用者进行反复训练，同时记录使用者的反馈信息，所述中央控制装置通过所述反馈信息判断使用者的训练情况，以决定使用者是否能够进入下一个训练单元的训练阶段；

当中央控制装置判断出所有训练单元的训练阶段都通过后，进入测试阶段，测试随机呈现该训练阶段学习的任务，当使用者成功完成所有测试任务，系统进入下一个提升难度等级的训练项目。

本发明提供的基于vr技术的神经发育障碍交通安全训练系统能够产生以下有益效果：

a.现实的特殊教育学校和康复中心难以展开针对于神经发育障碍患者的安全教育训练，但是采用基于虚拟现实技术的神经发育障碍交通安全训练系统可以在虚拟环境中搭建各种各样的交通环境场景，有效地节约了实际教学所产生的成本问题，同时训练场景更加的丰富；

b.由于神经发育障碍患者通常难以集中注意力，难以与人沟通交流，而虚拟现实技术的沉浸性、交互性和想象性的特点更适合用于神经发育障碍患者的干预训练；

c.采用所述的神经发育障碍交通安全教育系统，有效地降低了目前干预训练的成本，使得更多没有条件进行早期干训训练的神经发育障碍患者家庭得到安全教育，提高神经发育障碍患者独立生活的能力，从而减轻其家庭和社会的负担。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的交通安全训练系统的实物示意图；

图2为本发明实施例提供的交通安全训练系统的模块框图；

图3为本发明实施例提供的交通安全训练方法流程图；

图4为本发明实施例提供的交通安全训练系统的工作流程图。

其中，附图标记包括：1-头戴式显示器，2-内置式眼动追踪设备，3-手握式控制器，4-音频播放设备，5-交通安全教育训练虚拟显示软件系统，6-人体动作检测设备。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

虚拟现实技术是仿真技术的一个重要方向，是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合，是一门富有挑战性的交叉技术前沿学科和研究领域。虚拟现实技术(vr)主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的vr应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对使用者的输入作出实时响应，并分别反馈到使用者的五官。传感设备是指三维交互设备。

使用虚拟现实技术加上社交训练是目前比较被看好的辅助治疗神经发育障碍症的方式。在本发明的一个实施例中，公开了一种基于vr技术的神经发育障碍交通安全训练系统，参见图1和图2，所述训练系统包括中央控制装置、头戴式显示器1、用于操作虚拟场景中特定任务的手握式控制器3、用于追踪目光朝向的内置式眼动追踪设备2、用于播放音频信息的音频播放设备4、用于识别声音内容的语音检测设备、用于检测使用者动作的人体动作检测设备6及用于神经发育障碍患者的交通安全教育训练虚拟显示软件系统5；

所述头戴式显示器1用于显示所述交通安全教育训练虚拟显示软件系统5生成的vr场景，所述vr场景包括交通场景及特定的任务信号，所述任务信号包括过马路、观察红绿灯、走斑马线、避免行驶的车辆、观察交通指示牌、乘坐公交车、乘坐地铁，所述任务信号出现在vr场景中或者通过所述音频播放设备4进行播放；

所述手握式控制器3采集训练过程中使用者的输入信息并反馈至中央控制装置，所述内置式眼动追踪设备2将判断使用者对虚拟物体的注视方向信息反馈至中央控制装置，所述语音检测设备将采集到的使用者的音频信息反馈至中央控制装置，所述人体动作检测设备6将检测到的使用者的动作信息反馈至中央控制装置，所述中央控制装置根据反馈的信息判断所述使用者在交通安全教育训练中的训练完成度。

在一个可选的实施例中，所述手握式控制器3上设有按键和触摸板，以实现人机交互；所述音频播放设备4包括扬声器或耳机；所述语音检测设备通过语音识别算法识别出使用者所表达出语句信息，并且通过自然语言处理算法理解语句信息的含义；所述人体动作检测设备6为红外相机或可见光相机。

优选地，所述交通安全训练系统还包括用于定位使用者头部和手握式控制器的位置和方向的空间定位设备，所述空间定位设备包括光学定位装置和/或设置在头戴式显示器和手握式控制器内的角速度传感器；同其他反馈信息一样，所述空间定位设备将采集到的使用者的空间位置信息反馈至中央控制装置，所述中央控制装置根据反馈的信息判断所述使用者在交通安全教育训练中的训练完成度。

使用者通过所述的头戴式显示器1体验虚拟的场景，通过眼动追踪设备2、手握式控制器3、音频播放设备4，语音检测设备和人体动作检测设备6虚拟场景进行实时的互动和反馈，用于进行交通安全教育训练。

优选地，所述的头戴式显示器1的内容可以是通过主机运算后得到传输给头戴式显示器，传输方式可以有线方式传输可以是无线传输，头戴式显示器1也可以有显示内容计算模块，不需要主机，直接计算出所需要显示的内容。

优选地，所述的手握式控制器3可通过按键和触摸板的形式进行人机交互，可以震动等方式，丰富交互方式。

优选地，所述的内置式眼动追踪设备2可以实时检测使用者的注视方向，则所述的虚拟现实技术的神经发育障碍交通安全训练系统可以实时判断使用者注视的虚拟物体。

优选地，所述的空间定位系统可以通过头戴式显示器1和手握式控制器3内置的陀螺仪等传感器，也可以通过光学定位系统，可以进行二者的结合。

优选地，所述的音频播放设备4可以通过扬声器，播放声音，扬声器可以内置于头戴式显示器，可以于主机连接，音频播放设备4也可以通过耳机直接对使用者播放相应的声音。

优选地，所述的语音检测设备可以通过语音识别算法识别出使用者所表达出语句信息，并且通过自然语言处理算法理解其具体含义，作为反馈信息传输到所述的基于虚拟现实的神经发育障碍交通安全训练系统。

优选地，所述的人体动作检测系统可以通过红外相机检测使用者的动作和姿态，可以通过可见光相机来进行使用者动作的检测，检测出的动作和姿态作为反馈信息，传输到所述的基于虚拟现实的神经发育障碍交通安全训练系统。

在本发明的另一个实施例中，提供了一种基于上述的交通安全训练系统的训练方法，参见图3，所述方法流程包括：

s1、根据待训练使用者的初始认知程度或上一次训练的认知程度，匹配相应等级的交通安全教育训练项目；

s2、将相应等级的vr场景显示在所述头戴式显示器上；

s3、通过音频播放设备发出所述训练项目中的任务信号；

s4、获取使用者在训练过程中反馈的空间位置、对虚拟物体的注视方向、在手握式控制器上的输入信息，和/或使用者的语音信息；

s5、根据反馈的信息判断所述使用者的训练完成度，若训练完成度高于预设上限阈值，则在下一次训练时匹配提升相应等级的训练项目；若所述训练完成度连续两次低于预设下限阈值，则在下一次训练时匹配降低相应等级的训练项目；否则在下一次训练时匹配维持相应等级的训练项目。

具体如下：每一个训练项目包括多个同难度等级的训练单元，每个训练单元均包含训练阶段和测试阶段，所述训练阶段会发布训练的训练任务并对使用者进行反复训练，同时记录使用者的反馈信息，所述中央控制装置通过所述反馈信息判断使用者的训练情况，以决定使用者是否能够进入下一个训练单元的训练阶段；

当中央控制装置判断出所有训练单元的训练阶段都通过后，进入测试阶段，测试随机呈现该训练阶段学习的任务，当使用者成功完成所有测试任务，系统进入下一个提升难度等级的训练项目。

优选地，所述的用于神经发育障碍患者的交通安全教育训练虚拟显示软件系统使用分级训练模式，根据交通规则的内容，难度分为若干级，使用者可从某一个特定的难度级数开始训练，最后达到所期待的某个难度级。

优选地，所述的用于存在交通安全技能困难的神经发育障碍患者的交通安全教育训练虚拟显示软件系统分为训练和测试两个阶段。每个难度等级均包含训练和测试两个阶段。训练阶段会执行某个特定的训练任务，反复训练，同时，系统记录使用者的反馈信息，反馈的信息包括所述的声音信号，眼动数据信息，使用者动作和姿态信息，以及手握式控制器的输入信号。所述的系统可以通过这些信号判断使用者学习的情况，并且决定使用者是否可以进入下一个训练任务。一个训练阶段会包含若干个同难度等级的训练任务，当系统判断出所有任务都学习成功后，进入测试阶段，测试随机呈现所学习的任务，当使用者成功完成所有测试任务，系统就会进入下一个难度等级的训练和测试。

优选地，所述系统的初始难度等级设置可以有看护人员设定，同时，也可以通过所述的系统测试使用者本身的交通安全知识等级，自动进行设置。

优选地，所述的看护人员无需专业的神经发育障碍干预训练的知识，仅需了解所述的基于虚拟现实的神经发育障碍交通安全训练系统的操作流程。

优选地，用于神经发育障碍患者的交通安全教育训练虚拟显示软件系统的内容包括了过马路，观察红绿灯，走斑马线，避免行驶的车辆，观察交通指示牌等，所有训练内容均依据交通法。

优选地，用于神经发育障碍患者的交通安全教育训练虚拟显示软件系统为了防止引入神经发育障碍患者的刻板行为，对于每个训练任务，都有多个训练场景，同时保证训练任务的相同。同时在每个任务训练的间隙，加入游戏环节。这样可以有效的防止在训练的过程中引入刻板行为。

优选地，其特征在于训练和测试阶段是一个反馈的过程，其反馈的基本环节包括：

显示特定的任务场景，在场景中出现特定的任务信号，或是由音频播放设备播放语音信号告诉使用者所需完成的任务的信息。

使用者在接受到所需完成的任务信息后，做出相应的反应内容，包括，使用者的眼动信息，语音信息，人体姿态信号，这些信息被系统记录后作为反馈信号后传输到系统。

系统基于所得到的多种信号，分析处理后，判断使用者的完成情况，根据所完成的情况，判断下一个训练或测试的内容。

本发明的训练系统实施流程示意图如图4所示，所述的基于虚拟现实技术的神经发育障碍交通安全训练系统是一个反馈的训练系统。

步骤101，所述系统的初始难度等级和目标达到的难度等级设置可以有看护人员设定，同时，也可以通过所述的系统测试使用者本身的交通安全知识等级，自动进行设置。

步骤102，所述系统根据系统设置的初始难度等级和目标达到的难度等级和上一次训练或测试任务的反应情况，设置系统所需呈现的任务场景。

步骤103，使用者通过所述的头戴式显示器体验系统所呈现的训练或测试的任务场景，同时，系统通过在场景中出现特定的任务信号，或是由音频播放设备播放语音信号告诉使用者所需完成的任务的信息。

步骤104，使用者在接受到所需完成的任务信息后，做出相应的反应内容，包括，使用者的眼动信息，语音信息，人体姿态信号，这些信息被系统记录后作为反馈信号后传输到系统。

步骤105，系统基于所得到的多种信号，分析处理后，判断使用者的完成情况，直接在控制台输入完成情况信息。

步骤106，系统将使用者的完成情况反馈到训练或测试模式选择模块，即步骤102，系统根据反馈的信息，判断下一次训练和测试的内容。

具体地，系统的内容包括了过马路，观察红绿灯，走斑马线，避免行驶的车辆，观察交通指示牌等，所有训练内容均依据交通法。系统使用分级训练模式，根据交通规则的内容，难度分为若干级，使用者可从某一个特定的难度级数开始训练，最后达到所期待的某个难度级。每个难度等级均包含训练和测试两个阶段训练阶段会执行某个特定的训练任务，反复训练，所述的系统可以通过这些信号判断使用者学习的情况，并且决定使用者是否可以进入下一个训练任务。一个训练阶段会包含若干个同难度等级的训练任务，当系统判断出所有任务都学习成功后，进入测试阶段，测试随机呈现所学习的任务，当使用者成功完成所有测试任务，系统就会进入下一个难度等级的训练和测试。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。