基于虚拟现实技术的空间定位定姿系统及其方法与流程

本发明涉及虚拟现实(virtualreality，vr)技术，尤其涉及一种基于虚拟现实(vr)技术的空间定位定姿系统及其方法。

背景技术：

虚拟现实(vr)技术，是利用电脑或其他智能计算设备模拟产生一个三维空间的虚拟世界，提供关于视觉、听觉、触觉等人体感官的模拟，让用户如同身临其境一般，即“完全在场感”。要实现这种“完全在场感”的使用体验，除了对vr系统的视觉性能指标有所要求外，还要求vr系统可以提供空间定位定姿功能。定位即确定载体，如vr头盔、vr控制器、道具等在空间中包含三个自由度的位置信息；定姿即确定载体在空间中包含三个自由度的方向信息，通常使用欧拉角、四元数或旋转矩阵来表达载体的姿态信息。

虚拟现实系统中基于惯性传感器的空间定位定姿系统，通常包括9轴惯性测量单元(imu)惯性传感器模组、无线传输模块、主控及图形计算单元、头戴式显示头盔。空间定位的一般工作过程为，首先对imu惯性传感器测量得到的加速度数据进行积分，故而得到载体速度数据，再对速度数据进行积分得到载体位移数据，进而获得载体在空间中的相对位置信息。

在现有技术条件下，实现基于惯性传感器针对虚拟现实系统的空间定位定姿技术时，由于惯性传感器固有的误差会在积分过程中累积，继而会导致位置漂移，最终导致系统无法连续提供准确的空间位置数据和达到实现虚拟现实系统的高精度、实时性要求，因此无法实现虚拟现实系统能提供“完全在场”的使用体验。

技术实现要素：

有鉴于此，本发明的主要目的在于提供一种基于虚拟现实(vr)技术的空间定位定姿系统及其方法，以克服现有基于惯性传感器的vr系统空间定位定姿系统中存在固有测量误差并随积分过程向下积累，从而导致位置漂移以至无法提供连续准确的空间位置测量数据的技术缺陷。

本发明的另一目的在于提供一种基于vr技术的空间定位定姿系统及其方法，通过利用激光传感器融合imu惯性传感器测量数据，采用基于卡尔曼滤波(最优估计)的传感器融合算法，实现系统连续正常输出姿态与位置信息，从而解决应用激光测距原理进行测量过程存在遮挡的情况下不能连续正常输出位置数据的技术缺陷。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于虚拟现实vr技术的空间定位定姿系统，包括vr头盔，还包括两个基站、两只vr手柄以及一台计算机；所述两只vr手柄与vr头盔之间，基站与vr头盔之间，以及所述头盔与所述计算机之间均通过蓝牙模块进行无线通信。

其中，所述基站还包括x轴电机驱动控制电路、y轴电机驱动控制电路、激光器驱动控制电路、led驱动控制电路、光敏传感器接收调理电路以及蓝牙通信模块；

所述x轴、y轴电机驱动控制电路，分别用于驱动步进电机沿着x轴及y轴在一定角度范围内执行周期性往复式的扫描动作；

所述激光器驱动电路，用于驱动激光器发射激光扫描信号，以形成用于被测载体的姿态和位置测量的激光扫描场；

led驱动控制电路，控制led按照固定周期闪烁发光，与被测载体上安装的led光敏传感器结合，用于触发被测载体启动计时、计算姿态和位置解算需要的时间参数；

光敏传感器接收调理电路，用于调理激光信号与led信号，并将其转化为适合下一环节测控单元接口的信号格式，还用于实现基站之间的通信功能并完成参考坐标系的建立；

蓝牙通信模块，用于实现所述基站与vr头盔之间的无线通信功能。

所述vr头盔，还包括左眼屏幕显示电路、右眼屏幕显示电路、高清视频处理电路、光敏传感器接收调理电路、usb通信电路以及蓝牙通信模块；其中：

左、右眼屏幕显示电路，分别用于驱动左、右oled屏幕的点亮和正常画面显示；

高清视频处理电路，用于接收和处理从所述计算机通过hdmi线传输过来的视频信号；

光敏传感器接收调理电路，用于调理激光信号与led信号，并将其转化为适合下一环节测控单元接口的信号格式；

usb通信电路，用于所述计算机与vr头盔之间的控制信号的通信传输；

蓝牙通信模块，用于实现所述vr手柄与vr头盔、所述vr头盔与所述基站之间的无线通信功能。

所述vr手柄，还包括按键处理电路、触摸面板处理电路、光敏传感器接收调理电路以及蓝牙通信模块；其中：

所述按键处理电路，用于接收和解码vr手柄上的键位控制信号输入；

触摸面板处理电路，用于接收和解码vr手柄上的触摸板的控制信号输入；

光敏传感器接收调理电路，用于调理激光信号与led信号，并将其转化为适合下一环节测控单元接口的信号格式；以及在所述vr手柄中的作用是用于实现对vr手柄的姿态和位置测量；

蓝牙通信模块，用于实现所述vr手柄与vr头盔之间的无线通信功能。

所述计算机为支持图形处理的主机。

一种基于虚拟现实vr技术的空间定位定姿方法，包括如下步骤：

a、led阵列发出光信号，头盔上的光敏传感器接收到光信号后，头盔中的单片机开始计时；

b、当led闪光第一预设时长后，x轴的激光扫描器开始扫描，头盔上的光敏传感器被扫到时，记录当前的计时时刻；

c、当led闪光第二预设时长后，y轴的激光扫描器开始扫描，头盔上的光敏传感器被扫到时，记录当前的计时时刻；

d、依据扫描电机的转速、光敏传感器计时的时间间隔计算出角度，该角度为光敏传感器在扫描坐标系下的x轴和y轴偏角；

e、依据光敏传感器在头盔上的位置是确定的，依据多个传感器的位置差即可确定头盔的位置和姿态。

其中，所述的第一预设时长等于第二预设时长。

步骤d所述光敏传感器在扫描坐标系下的x轴和y轴偏角为电机转速×时间间隔。

步骤e所述依据多个传感器的位置差确定头盔的位置和姿态的过程，进一步包括如下步骤：

a、设头盔坐标系{h}到基站坐标系{b1}的齐次变换矩阵为：

其中，px、py、pz是头盔坐标系原点在基站坐标系的位置，是头盔坐标系在基站坐标系的旋转矩阵，代表该头盔的姿态；

b、设光敏传感器为空间中一质点p1，其在头盔坐标系的位置是px1、py1、pz1，则存在如下数学关系：

其中，是光敏传感器p1在基站坐标系的位置；所述公式(2)的物理意义为空间中某个质点在两个不同坐标系下的坐标间的变换关系；

c、依据扫描测量角度的原理还有如下的关系：

其中，tanθy是y轴的扫描测量角度，tanθx是x轴的扫描测量角度；所述公式(3)的物理意义为绕x轴扫描平面与绕y轴扫描平面的交线，即穿过基站坐标系原点和光敏传感器的一条空间直线；

d、当有多个光敏传感器被扫描到，根据公式(1)～(3)建立非线性方程组采用最小二乘法求最优解即可确定头盔坐标系位置和姿态。

一种应用于所述空间定位定姿方法的基于融合激光传感器与惯性传感器的测量方法，包括如下步骤：

利用卡尔曼滤波器对惯性测量系统、激光测量系统这两种测量方式获得的测量结果的步骤；

采用反馈校正的间接法估计，将惯导系统导航参数误差的估值反馈到惯导系统内，对误差状态进行校正的步骤；

对多传感器的测量数据进行融合的步骤。

本发明所提供的基于虚拟现实(vr)技术的空间定位定姿系统及其方法，具有以下优点：

1)本发明对载体位置和姿态信息的解算仅使用到时间参数，不涉及到图像处理，对于位置的计算在设备本地就可以完成。并且直接将位置数据传输到电脑上，省略了从摄像头到电脑的高数据传输的步骤。故而系统整体计算量小且功耗极低。

2)本发明采用了带有线性激光器的转台发射机，所述两个激光发射转台以稳定的节拍对空间进行水平和竖直的光束扫描，激光会触发vr手柄和vr头盔上的光敏传感器，通过测量光敏传感器被触发的时间计算出vr手柄与vr头盔位置和姿态。与传统的测距定位原理(如gps定位)相比，用这种方法只需要2台激光发射机就可完成测量任务。

3)位置与姿态的解算使用的是时间参数，不涉及到图像处理，对于位置的计算在设备本地即可完成，简化了数据处理过程。

4)本定位系统数据传输方法是直接将位置数据传输到电脑上，省略了从摄像头到电脑的高数据传输的步骤，简化了数据信息处理过程，加快了数据传输速度。

5)本系统多传感器数据融合方法运用了卡尔曼滤波(最优估计)的传感器融合算法，解决了最小二乘数据融合方法不能显示考虑测量不确定性等问题，可获得更高精度的曲面。

6)本系统采用基于快速卡尔曼滤波(最优估计)的传感器融合算法解决了激光传感器激光扫描信号可能被遮挡的问题，实现位置数据信息数据的连续平滑输出，提高了定位系统的性能。

附图说明

图1为本发明实施例基于虚拟现实(vr)技术系统的空间定位定姿系统组成示意图；

图2为本发明实施例的所述空间定位定姿系统的通信连接拓扑示意图；

图2a为所述基站的硬件结构示意图；

图2b为所述vr头盔的硬件结构示意图；

图2c为所述手持式控制器(即vr手柄)的硬件结构示意图；

图3为本发明实施例的空间定位定姿系统进行空间定位定姿的方法流程示意图；

图3a为vr头盔中的单片机开始计时的状态示意图；

图3b为x轴的激光扫描器开始工作vr头盔的光敏传感器被扫描到时记录当前时刻的状态示意图；

图3c为y轴的激光扫描器开始工作vr头盔的光敏传感器被扫描到时记录当前时刻的状态示意图；

图3d为依据扫描电机的转速和光敏传感器计时的时间间隔计算偏角角度的状态示意图；

图4为基站坐标系与头盔坐标系关系示意图；

图4a为本发明实施例采用的计算原理示意图；

图5为所述vr头盔的三维轨迹仿真结果示意图；

图6为坐标系中xyz各轴分量运动轨迹仿真结果示意图；

图7为各方位角运动轨迹仿真结果示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明基于虚拟现实(vr)技术的空间定位定姿系统及其方法作进一步详细的说明。

图1为本发明实施例基于虚拟现实(vr)技术系统的空间定位定姿系统组成示意图。

如图1所示，该空间定位定姿系统包括：2台线性激光器的转台发射机(又称激光基站或基站)、2件手持虚拟现实控制器(即vr手柄)、头戴式显示器(即vr头盔)、支持图形处理的高性能的计算机和蓝牙通信模块。

每个基站里设有一个红外led阵列，两个转轴互相垂直的旋转的红外激光发射器，转速为10ms/圈。

基站的工作状态：每20ms为一个扫描周期，在扫描周期开始时红外led闪光，前10ms内x轴的旋转激光扫过用户自由活动区域，y轴不扫光；下一个10ms内y轴的旋转激光扫过用户自由活动区域，x轴不扫光。

一对手持虚拟现实控制器(即vr手柄)及头戴式显示器(即vr头盔)，vr手柄及vr头盔外部均设有多个激光光敏传感器，在基站的led闪光之后就会进行信号同步，然后光敏传感器可以测量出x轴激光和y轴激光分别到达传感器的时间。这个时间就正好是x轴和y轴激光转到这个特定的、点亮传感器的角度的时间，于是传感器相对于基站的x轴和y轴角度也就已知了。分布在vr头盔和vr手柄上的光敏传感器的位置也是已知的，于是通过各个传感器的位置差，就可以计算出vr头盔的位置和运动轨迹。

所述的vr手柄及头盔内部安装有九轴imu惯性传感器模块，imu惯性传感器模块内部包含微陀螺仪及微加速度计，用于采集vr手柄和头盔的运动姿态信息，包括角速度，加速度、地心加速度方向等。

图2为本发明实施例的所述空间定位定姿系统的通信连接拓扑示意图。如图2所示，各模块之间均以低功耗的无线通信方式进行通信(优选通过蓝牙通信模块进行无线通信)，即两只vr手柄与vr头盔之间，基站与vr头盔之间，以及所述头盔与计算机之间均通过蓝牙模块进行无线通信。

图2a为所述基站的硬件结构示意图。如图2a所示，该基站主要包括供电电路、x轴电机驱动控制电路、y轴电机驱动控制电路、激光器驱动控制电路、led驱动控制电路、光敏传感器接收调理电路以及蓝牙通信模块。其中：

供电电路，用于为系统各个电路和通信模块提供稳定的直流供电，包括电机、激光器以及其它功能芯片，同时还用于稳定系统的电压以及进行直流工作电压转换的功能。

x轴、y轴电机驱动控制电路，分别用于驱动步进电机沿着x轴及y轴在一定角度范围内执行周期性往复式的扫描动作。

激光器驱动电路，用于驱动激光器发射激光扫描信号，从而形成激光扫描场，用于被测载体的姿态和位置测量。

led驱动控制电路，控制led按照固定周期闪烁发光，与被测载体上安装的led光敏传感器结合，用于触发被测载体启动计时，用于计算姿态和位置解算需要的时间参数。

光敏传感器接收调理电路，用于调理激光信号与led信号，并将其转化为适合下一环节测控单元接口的信号格式，在本基站的各电路和模块中的功能是实现基站之间的通信功能并完成参考坐标系的建立。

蓝牙通信模块，用于实现所述基站与vr头盔之间的无线通信功能。

图2b为所述vr头盔的硬件结构示意图。如图2b所示，该vr头盔主要包括供电电路，左眼屏幕显示电路、右眼屏幕显示电路、高清视频处理电路、光敏传感器接收调理电路、相机处理电路、hdmi通信电路、音频通信电路、usb通信电路以及蓝牙通信模块。其中：

供电电路，用于为系统各个功能电路和模块提供稳定的直流供电，包括oled屏幕、各个处理电路以及各个功能芯片，同时还用于稳定系统电压以及进行直流工作电压转换的功能。

左、右眼屏幕显示电路，分别用于驱动左、右oled屏幕的点亮和正常画面显示。

高清视频处理电路，用于接收和处理从pc主机(即所述计算机)通过hdmi线传输过来的视频信号。

光敏传感器接收调理电路，用于调理激光信号与led信号，并将其转化为适合下一环节测控单元接口的信号格式。

较佳地，还包括相机处理电路，用于处理从前置摄像头采集的画面信号，还用于支持未来对vr头盔扩展功能的使用。

hdmi通信电路，用于接收pc主机渲染完成的音视频信号。

音频通信电路，用于解码hdmi通信电路接收到的立体音频信号并输出。

usb通信电路，用于pc主机与vr头盔之间的控制信号的通信传输。

蓝牙通信模块，用于实现手持控制器与vr头盔、所述vr头盔与所述基站之间的无线通信功能。

图2c为所述手持式控制器(即vr手柄)的硬件结构示意图。如图2c所示，该vr手柄主要包括供电电路、按键处理电路、触摸面板处理电路、光敏传感器接收调理电路以及蓝牙通信模块。其中：

供电电路，用于为系统各个电路和模块提供稳定的直流供电，包括光敏传感器、各个处理电路模块以及各个功能芯片，同时还用于稳定系统电压以及进行直流工作电压转换的功能。

按键处理电路，用于接收和解码手持控制器即vr手柄上的键位控制信号输入。

触摸面板处理电路，用于接收和解码控制器上的触摸板的控制信号输入。

光敏传感器接收调理电路，用于调理激光信号与led信号，并将其转化为适合下一环节测控单元接口的信号格式，在本手持控制器模块中的功能是实现对控制器的姿态和位置测量。

蓝牙通信模块，用于实现手持控制器即vr手柄与vr头盔之间的无线通信功能。

图3为本发明实施例的空间定位定姿系统进行空间定位定姿的方法流程示意图。

为了实时地确定vr头盔和手持式控制器即vr手柄的位置和姿态，如图3所示，所述的定位过程分为如下几个步骤：

步骤31、led阵列发出光信号，vr头盔上的光敏传感器接收到光信号后，头盔中的单片机开始计时。如图3a所示。

步骤32、当led闪光第一预设时长(假设10ms)后，x轴的激光扫描器开始扫描，vr头盔上的光敏传感器被扫到时，记录当前的计时时刻。如图3b所示。

步骤33、当led闪光第二预设时长(假设10ms)后，y轴的激光扫描器开始扫描，头盔上的光敏传感器被扫到时，记录当前的计时时刻。如图3c所示。

这里，所述的第一预设时长等于第二预设时长，可根据实际想要达到的定位、定姿精度的需要设定为5ms、10ms、20ms等。

步骤34、依据扫描电机的转速、光敏传感器计时的时间间隔计算出角度，该角度为光敏传感器在扫描坐标系下的x轴和y轴偏角。

如图3d所示，所述偏角等于电机转速×时间间隔。具体过程如下：led灯触发计时，激光线光源开始启动扫描，光敏传感器接收到激光信号时计时结束，在这个计时周期电机的转速是固定的，这样用这电机转速乘以这个时间间隔，就等于偏角。上述计算偏角的方法，对x轴、y轴原理相同。

步骤35、依据光敏传感器在头盔上的位置是确定的，依据多个传感器的位置差即可确定头盔的位置和姿态。

由于激光具有直线传播特性，在本实施例中激光扫描信号存在被遮挡的情况下，由于最小二乘数据融合方法不能显式考虑测量的不确定性等问题，所以发明人提出了基于卡尔曼滤波(最优估计)的传感器数据融合算法用于解决位置信息数据的连续平滑输出。

下面为步骤35所述依据多个传感器的位置差确定头盔的位置和姿态的求解过程：

由于光敏传感器在头盔上的位置是确定的，要被定位的并非光敏传感器本身，而是头盔，光敏传感器仅是定位头盔位置和姿态的媒介。对于室内定位而言，未知量是头盔坐标系到基站坐标系的齐次变换矩阵。

假设头盔坐标系{h}到基站坐标系{b1}的齐次变换矩阵为：

其中，px、py、pz是头盔坐标系原点在基站坐标系的位置，是头盔坐标系在基站坐标系的旋转矩阵，它表征该头盔的姿态。

光敏传感器p1在头盔坐标系的位置是确定且不变的(它由头盔的结构外形设计保证)。设光敏传感器可以看成空间中一个质点p1，它在头盔坐标系的位置是px1、py1、pz1，则存在如下数学关系：

其中，是光敏传感器p1在基站坐标系的位置。

该公式(2)的物理意义为：空间中某个质点在两个不同坐标系下的坐标间的变换关系。

例如，对于某个光敏传感器p1，当在头盔坐标系下观测它时，它的坐标是px1、py1、pz1；当在基站坐标系下观测它时，它的坐标为而两个坐标系之间的关系为这个变换矩阵中的元素px、py、pz就是头盔位置，就是头盔的姿态，定位算法的目的就是求解中的各元素。如图4所示。

另外，依据扫描测量角度的原理还有如下的关系：

其中，tanθy是y轴的扫描测量角度，tanθx是x轴的扫描测量角度。

该公式(3)的物理意义为：绕x轴扫描平面与绕y轴扫描平面的交线，即穿过基站坐标系原点和光敏传感器的一条空间直线。

如果有多个光敏传感器被扫描到，那么根据公式(1)～(3)就可以建立非线性方程组求解位置和姿态。理论上如果有3个光敏传感器被扫描到，就可以测量出位置和姿态，实际中被扫描到的点的数量远大于3个，因此采用最小二乘法求最优解即可确定头盔坐标系位置和姿态。

本发明的上述实施例中，采用的基于融合激光传感器与惯性传感器的测量方法，能够达到如下系统性能：定位范围：最大可达5米×5米×3米；定位精度小于5毫米；系统延迟低于5毫秒。

在本空间定位定姿系统中，由于存在激光扫描信号被遮挡的情况，针对这种情况，我们提出了基于卡尔曼滤波原理的多传感器测量数据融合的方法来解决位置与姿态信息数据的连续平滑输出问题。所述卡尔曼滤波(器)原理是采用最优自回归数据处理算法，对多个传感器的数据进行融合。

如图4a所示的本发明实施例具体采用的计算原理示意图，利用卡尔曼滤波器对惯性测量系统、激光测量系统这两种测量方式获得的测量结果做最优估计。

本实施例中具体采用反馈校正的间接法估计，将惯导系统导航参数误差的估值反馈到惯导系统内，对误差状态进行校正。

系统方程和量测方程为：

校正过程为：

其中：是测量位置和姿态的最优估计结果。

其中，多传感器的测量数据融合过程可用下列公式来表征：

已知：

经过多传感器的测量数据融合后，可得到：

pt|t＝(i-ktht)pt|t-1。

其中，为室内靶标位姿量测值；kt为室内靶标位姿量测误差；pt|t为室内靶标位姿估计值。

图5～图7为本发明的实施例在matlab环境下的实验数据仿真结果示意图。其中，图5为所述vr头盔的三维轨迹仿真结果示意图；图6为坐标系中xyz各轴分量运动轨迹仿真结果示意图；图7为各方位角运动轨迹仿真结果示意图。

从图5～图7所示的仿真结果可以直观地观察vr头盔的实际位置与姿态数据的解算结果，从而验证了利用本发明实施例中所述的空间定位定姿系统及其方法，是可以准确且连续地确定头盔坐标系中被测目标的姿态和位置的。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。