一种基于惯性捕捉技术的虚拟交互系统及其工作方法与流程

本发明涉及一种基于惯性捕捉技术的虚拟交互系统及其工作方法。

背景技术：

一般意义上的人机界面是把操作者与计算机当作两个相互分离的实体，而把界面作为信息传递的载体，用户只能把操作命令输入到计算机之中，然后计算机再把相应的信息与动作反馈出来。此种交互方法中，用户只能和计算机接触，而与所研究的对象很难进行自发地、主动地相互沟通。

目前无人机巡检已成为输电线路巡检的一个重要手段。巡检过程中，无人机携带摄像头进行飞行，由飞手在地面通过遥控装置控制无人机的飞行姿态，由地面操控站工作人员通过电脑控制无人机中摄像头角度并进行拍照并保存在飞机的存储卡中。在飞行结束后将存储卡中的图像传至后台，后台通过对图像的识别进行缺陷的判断。目前采用该工作模式缺陷识别率约在70％左右。距离有人机巡检尚有较大的差距。经过分析，造成识别率低的主要原因在于：

1、摄像头角度、焦距均受制于飞机飞行姿态，通过地面操控站控制摄像头比较繁琐，经常无法获得最优的拍摄角度；

2、考虑到线路安全的原因，无人机需与线路保持至少30米的安全距离，加大了拍摄的难度，影响了照片的清晰度；

3、受拍摄角度、距离、天气等因素影响，照片清晰度及分辨率无法完全满足自动识别要求，直接影响了缺陷识别率。

而有人机巡检则是采用直升机搭载巡检人员，通过人眼+望远镜的方式巡视线路、识别缺陷。在这种模式下，人的巡视自由度比较大，头部转向灵活、定位方便准确，这都是无人机巡检时无法做到的。因此如果能在保持无人机飞行机动性的同时提升摄像头拍摄灵活性，将会大幅提升无人机的巡检效能和实用性。

技术实现要素：

本发明为了解决上述问题，提出了一种基于惯性捕捉技术的虚拟交互系统及其工作方法，本发明利用虚拟交互技术和动作捕捉技术相结合，能够利用人眼的灵活动作来定位场景中的某个模组，从而决定是否与无人机进行互动，同时实现对输电线路杆塔的准确对焦和智能化采集，实现对第一视角巡检工作的有效支撑。

为更好的说明技术方案，先进行如下陈述，虚拟交互系统是把用户和周围环境作为一个整体来看待的，形成一个虚拟的交互环境，用户能够经过感官，如视觉与触觉，与环境之内的物体进行主动的交互动作。

为了实现上述目的，本发明采用如下技术方案：

一种基于惯性捕捉技术的虚拟交互系统，包括虚拟现实设备、动作模型库、图像传输模块、图像全景拼接模块、云台实时控制模块和人机交互模块，其中：

所述虚拟现实设备，被配置为确定运动目标的速度、位置和动作方向，以捕捉操控者的惯性动作，同时，接收并显示人机交互模块传输的图像；

所述动作模型库，被配置为存储有云台/吊舱的上下方向动作、云台/吊舱的左右方向动作、云台/吊舱的远近方向动作、云台/吊舱的旋转动作、云台/吊舱的定位动作以及云台/吊舱的定位或关闭动作的模板模型；

所述图像传输模块，被配置为接收并传输无人机采集的输电线路图像；

所述图像全景拼接模块，被配置为对输电线路图像进行特征点提取、特征点匹配和图像融合，得到输电线路状态全景图像；

所述云台实时控制模块，被配置为对杆塔、云台和吊舱设备进行坐标系间的对应关系与参数转换，根据回传的全景图像，将图像目标偏移量转换成惯性转动数据，通过转换参数将采集到的图像偏移量转换成云台的机械控制量和吊舱的控制量；

所述人机交互模块，被配置为采集无人机云台的系统参数、实时视频和缺陷定位信息，并将这些信息按照相应的格式进行打包传输，下发云台实时控制模块确定的云台或/和吊舱控制策略方案，对其进行智能化控制，并将信息反馈给虚拟现实设备。

进一步的，所述虚拟现实设备包括惯性捕捉模块、显示模块和传感器设备，所述传感器设备，包括但不限于陀螺仪、加速度计和/或磁力计，测量运动目标当前的运动状态和角速度状态；所述惯性捕捉模块通过对运动目标在三维空间中的运动进行记录，通过其速度和位置参数获取相关的物理信息，进而进行运动轨迹的模拟，所述显示模块显示图像或视频信息。

进一步的，所述的运动状态包括向前、向后、向上、向下、向左、向右其中的一种或者多种，所述的角速度状态包括加速或者减速。

进一步的，所述虚拟现实设备还包括数据处理单元，接收惯性捕捉模块和传感器设备采集到的运动学信息，当目标在运动时，改变运动目标的位置信息，从而得到运动目标的轨迹，利用惯性导航原理完成运动目标的动作捕捉。

进一步的，所述数据处理单元与动作模型库进行实时数据的传输，读取所有的移动动作模型，将移动动作模型与捕捉到的动作数据结合，实现与模型的匹配，从而驱动云台的运动，最后是模型与捕捉数据匹配，以及让模型能跟着捕捉下来的动作数据一起变化。

进一步的，所述图像传输模块对图像数据进行压缩与格式转换，在保证图像有效性与帧率的前提下，最大化的压缩数据通信通道占比，在地面接收端，利用解码机制完成高清图像的恢复，在图像数据传输过程时，采用不同的数据传输链路传输不同的控制信号。

所述虚拟现实设备为vr或ar头显设备。

基于上述系统的工作方法，包括以下步骤：

(1)利用虚拟现实设备采集到运动目标的运动学信息，完成运动目标的动作捕捉；

(2)将确定的运动目标的空间姿态和动作与存储的动作模型相匹配，识别出动作目标发出的动作指令，并发送给无人机并控制其完成对应的动作；

(3)无人机执行相应的动作，在所能观察到的视线范围内采集场景图像，对图像进行抽帧、量化和解码处理；

(4)利用图像拼接技术进行高压杆塔图像的合成，得到超高分辨率全景图像；

(5)对云台或/和吊舱进行坐标转换，根据回传的全景图像，将图像目标偏移量转换成惯性转动数据，通过转换参数将采集到的图像偏移量转换成云台的机械控制量和吊舱的控制量，以实现保持无人机飞行机动性的同时提升图像采集的灵活性与实时性。

进一步的，所述步骤(1)中，将采集到的原始数据，包括加速度值和角速度值，利用数据融合算法计算出物体空间姿态角，包括翻滚角、俯仰角和/或航向角。

进一步的，所述步骤(3)中，图像处理具体包括：在不影响视觉效果的前提下，对视频进行抽帧处理；将图像的模拟信号用256个像素值进行量化和编码，完成数据信号处理，进而对图像进行反量化处理、帧内预测与帧内补偿处理，恢复视频数据。

进一步的，所述步骤(4)中，对图像进行特征点提取，读取超高分辨率高压杆塔图像，并对图像进行采样缩小；利用双线性插值法将待拼接超高分辨率图像进行采样缩小，对采样缩小后的所有图像利用orb算法进行特征提取。

进一步的，所述步骤(4)中，利用提取的orb特征进行最邻近匹配，通过rasanc算法对得到的匹配点对进行筛选，得到粗匹配点对；利用提取的粗匹配点对坐标，计算出在原始超高分辨率图像中的对应坐标，并在原始超高分辨率图像的匹配点对所在的图像块中再次提取orb特征，进行精确匹配。

进一步的，所述步骤(4)中，利用渐入渐出法对超高分辨率相邻图像进行融合，得到超高分辨率全景图像。

进一步的，所述步骤(5)中，包括：

(1)坐标转换：杆塔、无人机平台、吊舱设备处于三个坐标系中，将杆塔与无人机平台进行结合与转换、无人机平台与吊舱进行结合转换，从而三者直接的递进关联转换；

(2)确定转动量：根据虚拟现实设备现实时显示的巡视视频信息，精确的发现输电线路部件及缺陷位置，定位到部件及缺陷的位置，并启动虚拟设备聚焦功能，实时获取虚拟设备的惯性信息，通过坐标转换映射到吊舱坐标系中，得到吊舱的机械控制量；

(3)基于无人机地面站编码器进行吊舱机械控制量的通信编码，控制量由角度、位置偏移量信息，转换成吊舱的水平、垂直和角速度信息，通过数据控制链路上传至吊舱，驱动吊舱及搭载的可见光采集设备完成图像采集。

进一步的，无人机控制平台配置如下工作：

(1)打开视频路径并设置好参数及视频窗口大小，然后初始化通讯参数，获取无人机实时视频资源并显示。

(2)通过观察实时视频的动态，根据检测模式及用户经验，判断是否接受当前的位置；

(3)分析无人机巡检过程中缺陷定位的技术因素、外部因素以及偶然因素，识别各业务流程节点可能影响缺陷定位精确度的因素，制定应对策略；

(4)通过用户的思维习惯，判断云台调整的位置以及通过视频角度来调整无人机吊舱的位置；

(5)根据用户动作对云台进行方向控制和功能控制，同时，也对无人机的吊舱实时控制，实现对输电线路杆塔的准确对焦和智能化采集。

与现有技术相比，本发明的有益效果为：

(1)本发明提高工作效率，节约成本支出，提高了在机器人巡检方面的工作效率和工作质量，节约了人力资源成本，为检测工作带来巨大的经济效益。

(2)加快技术创新能力，提升应用水平，攻克一批虚拟现实交互操作的核心关键技术，在感知、传输、处理、应用等技术领域取得重要研究成果。

(3)实现操作智能化，确保运检安全，推动用户使用机器人、无人机等智能设备的意愿，促进我国机器人产业的健康持续发展，从而为减少安全事故，降低机器人出错率做出贡献。

(4)优化用户体验，促进新技术推广应用，用户能够经过感官(视觉与触觉)与环境之内的物体进行主动的交互动作，这种基于虚拟现实的人机交互模式，相对于传统意义上的人机交互界面在技术上有了很大的进步。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1虚拟交互软件架构图；

图2惯性动作采集及控制模型流程图；

图3基于惯性动作捕捉技术的虚拟交互平台系统实时控制结构图；

图4基于惯性动作捕捉技术的虚拟交互平台硬件架构设计图；

图5h.264编码图；

图6h.264解码图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本发明中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本发明各部件或元件结构关系而确定的关系词，并非特指本发明中任一部件或元件，不能理解为对本发明的限制。

本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。

正如背景技术所介绍的，现有技术中存在无人机巡检受到角度、聚焦和线路安全等多种因素的限制，其工作模式缺陷识别率约在70％左右，距离有人机巡检尚有较大的差距的不足，为了解决如上的技术问题，本申请提出了一种基于惯性捕捉技术的虚拟交互系统及其工作方法，本发明提供了逼真的、智能的、具有可交互性、可扩展性的三维可视互动操作环境；研究vr/ar头显设备对高清摄像头的云台操作控制技术，实现用户使用惯性动作来定位场景中的某个模组，从而决定是否与它进行互动；研究虚拟现实与无人机结合的吊舱实时控制技术，实现对输电线路杆塔的准确对焦和智能化采集；研究高清图像的高速传输技术，实现对第一视角巡检工作的有效支撑。

一种典型的实施例，如图1所示，一种基于惯性捕捉技术的虚拟交互系统是把用户和周围环境作为一个整体来看待的，采用相关的硬件设施与软件形成一个虚拟的交互环境，用户能够经过感官(视觉与触觉)与环境之内的物体进行主动的交互动作。其特征在于：vr头显装置、动作捕捉模块、动作模型库、图像传输模块、图像全景拼接模块、云台实时控制模块、人机交互模块。

所述vr头显装置，是一种综合计算机图形技术、多媒体技术、传感器技术、人机交互技术、网络技术、立体显示技术以及仿真技术等多种科学技术综合发展起来的计算机领域的最新设备。

所述惯性捕捉模块，是通过对物体在三维空间中的运动进行记录，通过其速度、位置等参数获取相关的物理信息，进而进行运动轨迹的模拟。采用这种技术，被追踪目标需要在vr头显设备上佩戴集成加速度计，陀螺仪和磁力计等惯性传感器设备，这是一整套的动作捕捉系统，需要多个元器件协同工作，其由惯性器件和数据处理单元组成。

陀螺仪、加速度计和磁力计等惯性传感器设备：用于测量设备当前运动状态和角速度状态，所述的运动状态包括向前、向后、向上、向下、向左、向右其中的一种或者多种，所述的角速度状态包括加速或者减速。

数据处理单元，是利用惯性器件采集到的运动学信息，当目标在运动时，这些元器件的位置信息被改变，从而得到目标运动的轨迹，之后再通过惯性导航原理便可完成运动目标的动作捕捉。

数据处理单元还与动作模型库进行实时数据的传输，所有的移动动作模型我们存储在动作模块数据库中，为了让捕捉到的动作数据来驱动云台控制，我们需要将模型与捕捉到的动作数据结合，实现与模型的匹配，从而驱动云台的运动，最后是模型与捕捉数据匹配，以及让模型能跟着捕捉下来的动作数据动起来。

动作模型库包括云台/吊舱的上下方向动作、云台/吊舱的左右方向动作、云台/吊舱的远近方向动作、云台/吊舱的旋转动作、云台/吊舱的定位动作以及云台/吊舱的定位、关闭动作。

图像传输模块，是在无人机巡检过程中通过通讯系统回传的图像资料，实时展示输电线路状态。输电线路通常地理位置偏僻，公用通信网络覆盖率较差，而无人机巡检对数据传输的质量、实时性要求较高，无法通过公用通信网络完成数据传输任务。为实现高质量的巡检通信，满足vr设备的显示需求，需架设巡检专用的数据通信网络，完成视频数据的实时传输。

为实现高清图像的实时传输，对图像数据进行压缩与格式转换，在保证图像有效性与帧率的前提下，最大化的压缩数据通信通道占比。在地面接收端，利用解码机制完成高清图像的恢复。在图像数据传输过程时，与无人机控制信号、云台控制信号等数据，采用不同的数据传输链路，即开辟专门的高清图像传输链路。在进行vr设备显示时，只需显示机载端下行数据链的数据。

图像全景拼接模块，采用普通的数字成像设备无法一次拍摄全景且超高分辨率的图像。利用图像拼接技术可以顺利解决上述问题，成功实现超高分辨率高压杆塔图像的合成。全景图像拼接技术主要涉及特征点提取、特征点匹配和图像融合技术三方面，其中特征点的提取效果直接影响后期图像拼接效果。

云台实时控制模块，杆塔、无人机平台、吊舱设备处于三个坐标系中，要完成对无人机吊舱的控制，首先，计算三个坐标系间的对应关系与转换参数；其次，根据回传的图像，将图像目标偏移量由vr设备转换成惯性转动数据；最后，通过转换参数将采集到的图像偏移量转换成云台的机械控制量。云台控制量通过地面站进行逻辑编码，并由数据发射设备传输至机载端，由机载机器码解码控制量，完成吊舱的控制。

人机交互模块，通过高清图像的高速传输通讯通道采集无人机云台的系统参数、实时视频和缺陷定位信息，并将这些信息按照相应的格式进行打包传输。人机交互平台并通过该通道下发云台/吊舱控制策略方案，对其进行智能化控制。

如图3所示，一种基于惯性捕捉技术的虚拟交互系统的工作方法，包括以下步骤：

步骤一、惯性动作捕捉，采集惯性传感器设备的数据信息，被追踪目标需要在vr头显设备上佩戴集成加速度计，陀螺仪和磁力计等惯性传感器设备，这是一整套的动作捕捉系统，需要多个元器件协同工作，其由惯性器件和数据处理单元组成，数据处理单元利用惯性器件采集到的运动学信息，当目标在运动时，这些元器件的位置信息被改变，从而得到目标运动的轨迹，之后再通过惯性导航原理便可完成运动目标的动作捕捉。

将采集到的原始数据如加速度值、角速度值等传输到微处理器核心中，经过数据融合算法计算出物体空间姿态角如翻滚角、俯仰角、航向角(欧拉角表示形式)等。再将众多传感器节点处的数据汇总传输到动作模型库中进行处理。

步骤二、如图2所示，动作存储及模型匹配，所有的移动动作模型我们存储在动作模块数据库中，为了让捕捉到的动作数据来驱动云台控制，我们需要将模型与捕捉到的动作数据结合，实现与模型的匹配，从而驱动云台的运动。机器人将危险环境的信息传送给控制者，控制者根据信息做出各种动作，运动捕捉系统将动作捕捉下来，实时传送给机器人并控制其完成同样的动作。

步骤三、图像的采集与传输，通过视频采集装置采集所能观察到的视线范围内的场景图像。输电线路通常地理位置偏僻，公用通信网络覆盖率较差，而无人机巡检对数据传输的质量、实时性要求较高，无法通过公用通信网络完成数据传输任务。为实现高质量的巡检通信，满足vr设备的显示需求，需架设巡检专用的数据通信网络，完成视频数据的实时传输。

为实现输电线路图像在vr设备上的高清、快速展示，利用h.246图像压缩技术对高清图像与视频进行压缩编码与解码，如图5、图6所示，主要包括：

1)抽帧处理：在不影响视觉效果的前提下，对视频进行抽帧处理；

2)图像量化：将图像的模拟信号用256个像素值进行量化、编码，完成数据信号处理。

3)视频解码：对图像进行反量化处理、帧内预测与帧内补偿处理，恢复视频数据。

步骤四、图像的拼接与实时展示，采用普通的数字成像设备无法一次拍摄全景且超高分辨率的图像。利用图像拼接技术可以顺利解决上述问题，成功实现超高分辨率高压杆塔图像的合成。

(1)特征点提取

首先读取超高分辨率高压杆塔图像，并对图像进行采样缩小；利用双线性插值法将待拼接超高分辨率图像进行采样缩小。然后对采样缩小后的所有图像利用orb算法进行特征提取。orb特征采用了orientedfast特征点检测算子以及rotatedbrief特征描述子。orb算法不仅具有sift特征的检测效果，而且还具有旋转、尺度缩放、亮度变化不变性等方面的特性，最重要的是其时间复杂度比sift有了大大的减少，使得orb算法在高清图像拼接以及实时视频图像拼接方面有了很大的应用前景。

(2)特征点匹配

利用提取的orb特征进行最邻近匹配，通过rasanc算法对得到的匹配点对进行筛选，得到粗匹配点对。利用提取的粗匹配点对坐标，计算出在原始超高分辨率图像中的对应坐标，并在原始超高分辨率图像的匹配点对所在的图像块中再次提取orb特征，进行精确匹配。最后计算相邻图像间的变换矩阵h。

(3)图像融合

利用渐入渐出法对超高分辨率相邻图像进行融合，得到超高分辨率全景图像，拼接结束。

步骤五、云台实时控制，对云台/吊舱的实时控制主要包括以下几个步骤：

(4)坐标转换。杆塔、无人机平台、吊舱设备处于三个坐标系中，将杆塔(即大地坐标)与无人机平台进行结合与转换、无人机平台与吊舱进行结合转换，从而三者直接的递进关联转换。

(5)确定转动量。操控人员根据虚拟现实设备现实时显示的巡视视频信息，精确的发现输电线路部件及缺陷位置。定位到部件及缺陷的位置，并启动虚拟设备聚焦功能，实时获取虚拟设备的惯性信息，通过坐标转换映射到吊舱坐标系中，得到吊舱的机械控制量。

(6)信息传输。基于无人机地面站编码器进行吊舱机械控制量的通信编码，控制量由角度、位置偏移量信息，转换成了吊舱的水平、垂直、角速度信息，通过数据控制链路上传至吊舱，驱动吊舱及搭载的可见光采集设备完成图像采集。

步骤六、人机交互模块的具体含义及其工作方式如图4所示：

1)视频显示：平台初始阶段，首先打开视频路径并设置好参数及视频窗口大小，然后初始化通讯参数，获取无人机实时视频资源并显示。

2)信息接收：用户通过观察实时视频的动态，根据用户常规的检测模式及其经验，判断是否接受当前的位置。

3)用户决策：分析无人机巡检过程中缺陷定位的技术因素、外部因素、偶然因素等，识别各业务流程节点可能影响缺陷定位精确度的因素，制定应对策略。

4)思维控制：通过用户的思维习惯，判断云台调整的位置以及通过视频角度来调整无人机吊舱的位置。

5)云台控制：云台的控制是根据用户的头部动作来决定的，头部动作包括上下、左右以及前后方向的移动，也包括旋转、固定等表现型的动作，从而对云台进行方向控制、功能控制。

6)设备控制：云台的控制同时，也对无人机的吊舱实时控制，实现对输电线路杆塔的准确对焦和智能化采集。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。