一种透明屏幕式增强现实视-触-听横屏训练系统及方法与流程

本发明属于训练设备技术领域，具体涉及一种透明屏幕式增强现实视-触-听横屏训练系统及方法。

背景技术：

目前，随着虚拟现实技术和增强现实技术的发展，渐渐出现了各种各样的通过场景训练的方式，但是这些系统大多场景与周围环境不能融为一体，有突兀性，且没有加入触觉和听觉，观察者不能沉浸场景中，没有完整使运动区镜像神经元激活，导致效果较差。

技术实现要素：

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种透明屏幕式增强现实视-触-听横屏训练系统及方法，能提高观察者训练的积极性和趣味性，脑部运动区的镜像神经元激活程度增大。

本发明采用以下技术方案：

一种透明屏幕式增强现实视-触-听横屏训练系统，包括训练台、增强现实系统、外骨骼机械手和计算机，增强现实系统设置在训练台上与计算机连接，用于模拟增强现实场景，观察者位于训练台的一侧，观察者的手臂上穿戴外骨骼机械手，外骨骼机械手与计算机连接，能够模拟手臂的触物感，通过增强现实系统对观察者提供视觉-听觉-触觉的多重刺激。

更进一步的，本发明的特点还在于：增强现实系统包括显示屏幕和摄像头，显示屏幕设置在训练台上，摄像头设置在显示屏幕的背面，用于拍摄外骨骼机械手的视频信息并输入至计算机。

其中，增强现实系统还包括振动系统，振动系统用于提供多重触觉刺激，包括振动马达，振动马达设置在外骨骼机械手与指腹和指背相对应的位置，通过控制器与计算机连接。

其中，振动马达设置在外骨骼机械手上，分布在手臂的指尖处。

其中，当外骨骼机械手5带动手臂6进行运动时，手臂的指尖处产生振动；当显示屏幕中肢体碰触到增强现实中物体后，手臂碰触指尖处产生振动。

其中，增强现实系统还包括音响系统，音响系统能够根据显示屏幕中肢体碰触到增强现实中物体情况发出碰撞声或破碎声，音响系统包括音响，音响通过控制器与计算机连接。

更进一步的，手臂放在显示屏幕和训练台下方，摄像头用于将拍摄图像传入计算机中进行增强现实图像处理，确定振动系统、音响系统的工作状态指令以及外骨骼机械手的动作指令，分别输入控制器控制振动马达、音响系统以及外骨骼机械手的运动。

更进一步的，本发明的特点还在于：训练台的前方设置有遮挡。

其中，显示屏幕与摄像头为一体式结构，用于实现透明屏幕。

本发明的另一技术方案是，一种透明屏幕式增强现实视-触-听横屏训练系统的操作方法，将显示屏幕放置在训练台上，摄像头安装在显示屏幕的下方，拍摄显示屏幕下方场景图像，将图像传入计算机进行处理形成增强现实场景，并在显示屏幕上显示，对观察者产生视觉刺激；与增强现实场景相配合，增强现实系统包括振动马达和音响系统，振动马达通过振动模拟场景中手碰触物体的触物感，对观察者产生触觉刺激；音响系统能够在特定时间发出特定声音以配合增强现实中场景，对观察者产生听觉刺激；外骨骼机械手模仿增强现实场景中手部动作，并带动手臂动作。

与现有技术相比，本发明至少具有以下有益效果：

本发明透明屏幕式增强现实视-触-听横屏训练系统采用透明屏幕、增强现实、视觉触觉听觉相结合等方法，在增强现实场景中，人为设定一些利于训练的场景，使观察者浸入训练场景中，对观察者产生视觉刺激；音响系统配合场景发出特定声效，从而产生听觉刺激；分布在观察者指尖的振动马达可通过与场景的配合，产生特定振动模式，模拟手部的触物感，对观察者产生触觉刺激。通过视觉、听觉、触觉的配合，对观察者产生三重刺激，提高了观察者运动区镜像神经元的激活程度，从而能使训练效果更好。

进一步的，显示屏幕横放，将摄像头安装在显示屏幕背对观察者一侧，将显示屏幕遮挡的另一侧景物实时显示在显示屏幕上，形成透明屏幕，增强训练场景的真实性。

进一步的，手臂放在显示屏幕的下方，摄像头拍摄视频进行图像处理，将增强现实中所需场景增加到摄像头拍摄的视频中，实时显示在屏幕上，并与特定音效相适应，使训练场景更为逼真有趣。

本发明还公开了透明屏幕式增强现实视-触-听横屏训练系统的操作方法，观察者的手臂穿戴外骨骼机械手，手臂可在外骨骼机械手的带动下进行动作训练，分布在外骨骼机械手系统中的振动马达通过振动模拟实际的触物感，并配合增强现实中场景增加一定音效，提高了训练场景的真实性和趣味性，对观察者产生了强烈的视觉、触觉、听觉刺激，激发了镜像神经元。

综上所述，本发明增强了场景的真实性，提高观察者训练过程中的环境浸入度，对观察者形成强烈的视觉、听觉、触觉刺激，激发运动区镜像神经元，提高观察者的训练效果。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明系统框图；

图2为本发明康复训练示意图；

图3为本发明设备穿戴示意图；

图4为本发明振动系统分布示意图；

图5为本发明训练平台示意图；

图6为本发明工作流程图。

其中：1.训练台；2.增强现实系统；3.显示屏幕；4.观察者；5.外骨骼机械手；6.手臂；7.振动马达；8.摄像头。

具体实施方式

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“一侧”、“一端”、“一边”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明提供了一种透明屏幕式增强现实视-触-听横屏训练系统及方法，采用透明屏幕、增强现实、视觉触觉听觉相结合等方法，增加训练场景的真实性和趣味性，激活观察者运动区镜像神经元。

请参阅图1，本发明一种透明屏幕上利用增强现实的视-触-听觉训练系统，包括训练台1、摄像头8、边框极窄的高清显示屏幕3、增强现实系统2、外骨骼机械手5和计算机，显示屏幕3平放在训练台1上，高清摄像头8安装在观察者4面对的下侧，拍摄显示屏幕3面对观察者4的遮挡部分，将拍摄视频输入计算机，观察者4的手上穿戴外骨骼机械手5，增强现实系统2包括振动马达7和音响系统，振动系统中的振动马达7附着在外骨骼机械手5与指腹和指背相对应的位置，控制振动马达7工作，模拟观察者4手部的触物感。

计算机将摄像头8拍摄的图像进行图像处理产生增强现实场景，为增加训练过程中的趣味性，在训练场景中加入合理的特效，并显示在高清显示屏幕3上；为加强增强现实中场景真实感，配合增强现实中场景，控制振动系统中振动马达7的工作，模拟增强现实中手碰触物体的触物感；音响系统发出与增强现实场景的音效，增加训练趣味性。

显示屏3横放实现物体透明的错觉，将摄像头8安装在显示屏3背对测试者一侧，将显示屏遮挡的另一侧景物实时显示在显示屏幕上，形成透明屏幕，增强训练场景的真实性；计算机系统将摄像头拍摄场景进行图像处理，形成增强现实场景并现实在屏幕上，对观察者产生视觉刺激。

请参阅图2，边框极窄的显示屏幕3平放在训练台1上，观察者4坐在训练台1前，穿戴外骨骼机械手5的手臂放在训练台1下，观察者4低头看显示屏幕3上的增强现实场景；与增强现实场景相配合，增强现实场景中会有配合手部动作的特效，增加训练的趣味性，音响系统发出声效，外骨骼机械手5动作带动患手运动，振动系统工作，通过视觉、听觉、触觉对观察者进行强烈的刺激，激活相应运动区镜像神经元，进行训练。

请参阅图3，穿戴外骨骼机械手5的手臂6放在显示屏幕3和训练台1下方，振动马达7分布在手臂6的指尖上，配合增强现实场景中，手碰触物体的场景，指尖的振动马达7振动，模拟手部的触物感，对观察者4产生触觉刺激，激活运动区镜像神经元。

请参阅图4，手臂6穿戴外骨骼机械手5，放在显示屏幕3和训练台1下方，高清摄像头8安装在显示屏幕3下方，拍摄面对观察者4屏幕遮挡的场景，但注意在手臂6放到显示屏幕3下后，摄像头8不能拍摄到手臂6，且手臂6的放置位置要与增强现实场景相对应，增加训练的真实感。

请参阅图5，训练台1前方进行遮挡，防止摄像头8拍摄到其他不必要的场景，增加技术处理难度，需要将训练台支撑，在显示屏幕3下方形成一定空隙，放置手臂6，手臂6从训练台1后方放到显示屏幕3下方；高清摄像头8安装在显示屏幕3下方，拍摄显示屏幕3下方场景。

请参阅图6，本发明增强现实系统2和机械手的控制方法为：摄像头8将拍摄图像传入计算机中，根据需要进行增强现实图像处理，根据增强现实图像，确定振动系统、音响系统的工作状态指令和外骨骼机械手5的动作指令。将振动系统指令、音响系统指令和机械手运动指令分别输入控制器，控制振动马达7、音响以及外骨骼机械手5的运动。

本发明一种透明屏幕式增强现实视-触-听横屏康复训练系统的操作方法，

边框极窄显示屏幕3放置在训练台1上，高清摄像头8安装在显示屏幕3的下方，拍摄显示屏幕3下方场景图像，图像传入计算机进行处理，形成增强现实场景，并在高清显示屏幕3上显示，对观察者4产生视觉刺激；与增强现实场景相配合，振动马达7按照特定方式振动，模拟场景中手碰触物体的触物感，对观察者4产生触觉刺激；音响在特定时间发出特定声音以配合增强现实中场景，对观察者4产生听觉刺激；外骨骼机械手5模仿增强现实场景中手部动作，并带动手臂6动作。

振动马达7的振动方式包括外骨骼机械手5带动手臂6进行运动时，所运动的手指指尖产生弱振动；视频中肢体碰触到增强现实中物体后，产生所碰触指尖的强烈振动。

音响能够根据视频中肢体碰触到增强现实中物体后，发出碰撞声、破碎声等。

本系统可以对观察者同时产生视觉、听觉、触觉刺激，能增大运动区镜像神经元的激活程度。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。