一种沉浸式交互控制方法与系统与流程

本发明涉及交互控制领域，尤其涉及一种沉浸式交互控制方法与系统。

背景技术：

智能机器人一般采用智能自主控制、编程控制、操作台控制、语音控制等控制方式，借助这些控制手段，操作者可以将操作意图传递给智能机器人，智能机器人按照控制者的操作意图改变智能机器人的动作或状态。

智能无人机一般采用自主导航控制、控制台控制、手机控制、神经网络智能控制等，借助这些控制手段，操作者可以将操作意图传递给智能无人机，智能无人机按照控制者的操作意图改变智能无人机的动作或状态。

但是目前通用智能控制技术不完善，无法让控制智能机器人和智能无人机自主思考，自主规划路径，自主完成任务，友好的与人类交互。目前人机结合技术也不完善，人机合一的方式控制智能机器人和智能无人机也不完善。目前的控制技术导致智能机器人和智能无人机处于简单智能状态，缺乏一种更加自然的交互控制方式。

技术实现要素：

本发明所要解决的技术问题是：提供一种沉浸式交互控制方法与系统，实现了可沉浸式远程交互控制受控设备的效果。

为了解决上述技术问题，本发明采用的技术方案为：

本发明提供一种沉浸式交互控制方法，包括：

S1、摄像端发送实时全景视频至沉浸式设备；

S2、捕获并识别用户根据所述全景视频做出的动作；

S3、转换所述动作为相应的动作指令，得到第一动作指令；

S4、获取摄像端的控制接口，并根据所述控制接口转换所述第一动作指令为摄像端可执行的动作指令，得到第二动作指令；

S5、发送所述第二动作指令至摄像端。

本发明还提供一种沉浸式交互控制系统，包括：

第一发送模块，用于摄像端发送实时全景视频至沉浸式设备；

第一识别模块，用于捕获并识别用户根据所述全景视频做出的动作；

转换模块，用于转换所述动作为相应的动作指令，得到第一动作指令；

第一获取模块，用于获取摄像端的控制接口，并根据所述控制接口转换所述第一动作指令为摄像端可执行的动作指令，得到第二动作指令；

第二发送模块，用于发送所述第二动作指令至摄像端。

本发明的有益效果在于：通过捕获并识别用户根据沉浸式设备显示的摄像端实时发送的全景视频做出的动作，生成相应的控制摄像端动作的指令，实现可沉浸式观看远距离的场景，且可改变观看的方位。

附图说明

图1为本发明一种沉浸式交互控制方法的流程图；

图2为本发明一种沉浸式交互控制系统的结构框图；

标号说明：

1、第一发送模块；2、第一识别模块；3、转换模块；4、第一获取模块；5、第二发送模块。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：沉浸式设备实时沉浸式渲染来自摄像端的全景视频(以用户视角显示)，用户观看全景视频时可发出控制动作，沉浸式设备捕获并识别用户动作并生成相应的控制摄像端动作的指令，并将控制指令发送给摄像端，摄像端执行控制指令并完成动作。该发明实现了可沉浸式远程交互控制受控设备的效果。

如图1所示，本发明提供一种沉浸式交互控制方法，包括：

S1、摄像端发送实时全景视频至沉浸式设备；

S2、捕获并识别用户根据所述全景视频做出的动作；

S3、转换所述动作为相应的动作指令，得到第一动作指令；

S4、获取摄像端的控制接口，并根据所述控制接口转换所述第一动作指令为摄像端可执行的动作指令，得到第二动作指令；

S5、发送所述第二动作指令至摄像端。

进一步地，所述S2具体为：

通过沉浸式设备中的陀螺仪获取预设时间间隔内的角位移和角速率；

通过沉浸式设备中的加速度计获取预设时间间隔内的加速度；

根据所述角位移、所述角速率和所述加速度识别用户的头部动作。

由上述描述可知，可识别用户的头部动作，从而可根据头部动作生成控制摄像端的动作指令。

进一步地，所述S2具体为：

通过双摄像头采集带深度信息的实时图像，形成图像集合；

提取所述图像集合中各图像的手臂局部图像，形成手臂局部图像集合；

根据所述手臂局部图像集合识别手臂动作。

由上述描述可知，可识别用户的头部动作，从而可根据手臂动作生成控制摄像端的动作指令。

进一步地，所述S1之前，还包括：

摄像端与沉浸式设备建立高速双向通信连接。

由上述描述可知，实现沉浸式设备流畅显示摄像端拍摄的画面，从而提高用户体验。

进一步地，所述S5之后，还包括：

摄像端执行所述第二动作指令；

获取摄像端执行所述第二动作指令后的位置、速度、加速度、角度，得到反馈信息；

匹配所述反馈信息与所述第二动作指令相应的预设执行结果信息，若不匹配，则：

根据所述反馈信息和所述预设执行结果信息生成第三动作指令；

发送所述第三动作指令至摄像端。

由上述描述可知，摄像端可能因为实际环境等因素没能完全执行第二动作指令，此时，可自动判断摄像端的执行结果，并及时进行校正操作。

如图2所示，一种沉浸式交互控制系统，包括：

第一发送模块1，用于摄像端发送实时全景视频至沉浸式设备；

第一识别模块2，用于捕获并识别用户根据所述全景视频做出的动作；

转换模块3，用于转换所述动作为相应的动作指令，得到第一动作指令；

第一获取模块4，用于获取摄像端的控制接口，并根据所述控制接口转换所述第一动作指令为摄像端可执行的动作指令，得到第二动作指令；

第二发送模块5，用于发送所述第二动作指令至摄像端。

进一步地，所述识别模块包括：

第二获取模块，用于通过沉浸式设备中的陀螺仪获取预设时间间隔内的角位移和角速率；

第三获取模块，用于通过沉浸式设备中的加速度计获取预设时间间隔内的加速度；

第二识别模块，用于根据所述角位移、所述角速率和所述加速度识别用户的头部动作。

进一步地，所述识别模块，还包括：

采集模块，用于通过双摄像头采集带深度信息的实时图像，形成图像集合；

提取模块，用于提取所述图像集合中各图像的手臂局部图像，形成手臂局部图像集合；

第三识别模块，用于根据所述手臂局部图像集合识别手臂动作。

进一步地，还包括：

建立模块，用于摄像端与沉浸式设备建立高速双向通信连接。

进一步地，还包括：

执行模块，用于摄像端执行所述第二动作指令；

第四获取模块，用于获取摄像端执行所述第二动作指令后的位置、速度、加速度、角度，得到反馈信息；

匹配模块，用于匹配所述反馈信息与所述第二动作指令相应的预设执行结果信息，若不匹配，则根据所述反馈信息和所述预设执行结果信息生成第三动作指令；

第三发送模块，用于发送所述第三动作指令至摄像端。

本发明的实施例一为：

摄像端与沉浸式设备建立高速双向通信连接；

摄像端发送实时全景视频至沉浸式设备；

捕获并识别用户根据所述全景视频做出的动作；具体为：通过沉浸式设备中的陀螺仪获取预设时间间隔内的角位移和角速率；通过沉浸式设备中的加速度计获取预设时间间隔内的加速度；根据所述角位移、所述角速率和所述加速度识别用户的头部动作；通过双摄像头采集带深度信息的实时图像，形成图像集合；提取所述图像集合中各图像的手臂局部图像，形成手臂局部图像集合；根据所述手臂局部图像集合识别手臂动作；

转换所述动作为相应的动作指令，得到第一动作指令；

获取摄像端的控制接口，并根据所述控制接口转换所述第一动作指令为摄像端可执行的动作指令，得到第二动作指令；

发送所述第二动作指令至摄像端；

摄像端执行所述第二动作指令；

获取摄像端执行所述第二动作指令后的位置、速度、加速度、角度，得到反馈信息；

匹配所述反馈信息与所述第二动作指令相应的预设执行结果信息，若不匹配，则：

根据所述反馈信息和所述预设执行结果信息生成第三动作指令；

发送所述第三动作指令至摄像端。

如图2所示，本发明的实施例二为：

用户佩戴智能沉浸式设备并且观看被控制摄像端(智能机器人或智能无人机)通过第一发送模块1传输的全景视频，其中，所述沉浸式设备包括VR眼睛，VR头盔等；

第一识别模块2基于陀螺仪和手势识别等原理采集用户对实时环境情况做出控制动作(前进/后退/向左/向右/向上/向下/静止/加速/减速)的参数，具体为：通过九轴陀螺仪判断沉浸式设备的状态。九轴陀螺仪通过对重力加速传感器，磁场传感器和三轴陀螺仪的数据进行数据融合后得到的一个九轴数据，所述九轴数据可以反映沉浸式设备的相对位置以判断沉浸式设备所处的状态。另，利用三轴加速度传感器和三轴陀螺仪做动作和姿态的检测，利用三轴磁力计修正累计误差，以达到精确识别的效果。陀螺仪用来测量角位移或角速率，加速度计用来测量线加速度。如果是直线距离，对加速度计测量得到的数据两次对时间积分，即可算出直线距离。如果是曲线距离，则可通过加速度计和陀螺仪配合，对加速度计和陀螺仪的输出数据经过数学模型运算得出距离。利用三轴的速度和加速度信息，可以识别出头部动作，所述头部动作包括速度控制，左前，右前，前，左，右，左后，右后，后等操作。

手势识别分为二维手势识别和三维手势识别，三维手势识别带有深度信息，可以简单理解为在立体图像中做手势识别。识别过程是采用双摄像头，采集带深度信息的实时图像，然后识别出图像中的被追踪主体(如:手臂)；去除无关背景；然后识别被追踪主体的动作；基于手势信息识别出手势动作，手势动作包括速度控制，左前，右前，前，左，右，左后，右后，后等操作。

转换模块3根据头部动作和手势动作生成相应的第一动作指令。

第一获取模块4获取被控制的摄像端的控制接口和控制命令格式，并根据所述控制接口和控制命令格式转换所述第一动作指令为摄像端可执行的动作指令，其中，所述摄像端包括智能机器人和智能无人机。

第二发送模块5将摄像端可执行的动作指令发送给摄像端。

综上所述，本发明提供的一种沉浸式交互控制方法与系统，沉浸式设备实时沉浸式渲染来自摄像端的全景视频(以用户视角显示)，用户观看全景视频时可发出控制动作，沉浸式设备捕获并识别用户动作并生成相应的控制摄像端动作的指令，并将控制指令发送给摄像端，摄像端执行控制指令并完成动作。进一步地，可识别用户的头部动作，从而可根据头部动作生成控制摄像端的动作指令。进一步地，可识别用户的头部动作，从而可根据手臂动作生成控制摄像端的动作指令。进一步地，实现沉浸式设备流畅显示摄像端拍摄的画面，从而提高用户体验。进一步地，可自动判断摄像端的执行结果，并及时进行校正操作。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。