一种头戴显示系统及其空间定位方法与流程

本发明涉及一种头戴显示系统及其空间定位方法。

背景技术：

随着头戴显示技术的逐步成熟，围绕虚拟显示设备的各种技术也得到了快速发展，这些技术包括虚拟现实(virtualreality，vr)、增强现实(augmentedreality，简称为ar)、混合现实(mixreality，简称为mr)等。其中，vr是让用户完全沉浸在虚拟的世界里，ar是将虚拟信息加在真实环境中，来增强真实环境，mr则是将真实世界和虚拟世界混合在一起，来产生新的可视化环境，新的可视化环境中同时包含了物理实体与虚拟信息。

随着手机的平台芯片的发展，目前vr/ar/mr设备除一体机之外，正在发展出另外一种形态，即单独的hmd(headmounteddisplay，头戴显示设备)作为vr/ar/mr设备连接手机或平板电脑ipad使用。这种形态的vr/ar/mr设备体积更小、重量更轻、携带方便，只需连接手机或ipad即可使用，非常方便。vr/ar/mr设备的数据处理是借助手机或ipad的平台完成，而hmd只是负责显示、声音等的传输。

目前这种插接手机或ipad的vr/ar/mr设备，其hmd部分基本上都设计有imu单元(inertialmeasurementunit，惯性测量单元)，可以追踪到hmd的xyz三轴上下左右前后三个方向的平移量，实现三自由度(degreeoffreedom，dof)的定位。

然而，仅是实现三自由度的定位会限制很多应用、游戏等的使用，只能玩类似于切水果等的简单游戏，对于需要身体跟随移动的一些游戏则无法胜任。例如，用户头部的动作还会在空间中发生空间坐标的位移，这种空间位置的变动仅靠imu单元，无法完成定位追踪。

技术实现要素：

本发明的目的在于提供了一种头戴显示系统及其空间定位方法，能够实现六自由度的定位追踪，增加使用设备时的沉浸感。

根据本发明的第一方面的实施例，提供了一种头戴显示系统，包括头戴显示设备，所述头戴显示设备工作时连接移动终端，借助所述移动终端完成数据处理；

所述头戴显示设备内集成有第一九轴传感器、双目鱼眼摄像头和一信号转换芯片，所述第一九轴传感器和所述双目鱼眼摄像头分别连接所述信号转换芯片；

在所述头戴显示设备运动时，所述第一九轴传感器采集所述头戴显示设备的空间姿态数据，所述双目鱼眼摄像头采集所述头戴显示设备的空间位置数据；

所述信号转换芯片将所述头戴显示设备的空间姿态数据和空间位置数据进行整合，转换为第一usb数据传输给所述移动终端，由所述移动终端根据所述第一usb数据对所述头戴显示设备进行六自由度追踪。

根据本发明的第二方面的实施例，提供了一种头戴显示系统的空间定位方法，所述头戴显示系统包括头戴显示设备，所述头戴显示设备工作时连接移动终端，借助所述移动终端完成数据处理；所述方法包括：

在所述头戴显示设备内集成第一九轴传感器、双目鱼眼摄像头和一信号转换芯片，将所述第一九轴传感器和所述双目鱼眼摄像头分别连接所述信号转换芯片；

在所述头戴显示设备运动时，利用所述第一九轴传感器采集所述头戴显示设备的空间姿态数据，利用所述双目鱼眼摄像头采集所述头戴显示设备的空间位置数据；

利用所述信号转换芯片将所述头戴显示设备的空间姿态数据和空间位置数据进行整合，转换为第一usb数据传输给所述移动终端，由所述移动终端根据所述第一usb数据对所述头戴显示设备进行六自由度追踪。

与现有技术相比，本发明实施例的有益效果是：

本发明实施例提供的头戴显示系统及其空间定位方法，在头戴显示设备内部同时集成有九轴传感器和双目鱼眼摄像头，既采集头戴显示设备的空间姿态数据，还采集头戴显示设备的空间位置数据，信号转换芯片将采集到的这些数据进行整合转换为usb数据传输给移动终端，由移动终端根据该usb数据对头戴显示设备进行追踪定位，实现用户头部的六自由度追踪，相比于仅是实现用户头部的三自由度追踪，能够增加人们在使用头戴显示设备时的沉浸感，提升使用体验，且本发明是借助移动终端完成空间定位数据的处理，不会影响到头戴显示设备对显示、声音等数据的传输。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的部分实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例示出的一种头戴显示系统的结构框图；

图2为本发明实施例示出的另一种头戴显示系统的结构框图；

图3为本发明实施例示出的一种头戴显示系统的电子线路示意图；

图4为本发明实施例示出的一种头戴显示设备的空间定位方法的流程图；

图5为本发明实施例示出的一种输入设备的空间定位方法的流程图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<实施例一>

图1为本发明实施例示出的一种头戴显示系统的结构框图，如图1所示，本发明实施例的头戴显示系统包括头戴显示设备100，该头戴显示设备100工作时连接移动终端300，借助移动终端300完成数据处理；其中，

头戴显示设备100内集成有第一九轴传感器110、双目鱼眼摄像头120和一信号转换芯片130，第一九轴传感器110和双目鱼眼摄像头120分别连接信号转换芯片130；

在头戴显示设备100运动时，第一九轴传感器110采集头戴显示设备110的空间姿态数据，双目鱼眼摄像头120采集头戴显示设备110的空间位置数据；

信号转换芯片130将头戴显示设备100的空间姿态数据和空间位置数据进行整合，转换为第一usb数据传输给移动终端300。该第一usb数据例如可以为usb3.0数据、usb3.1数据或者支持更高版本usb传输协议的usb数据，信号转换芯片130基于相应的usb传输协议将第一usb数据传输给移动终端300，由移动终端300根据该第一usb数据对头戴显示设备100进行六自由度追踪。

为实现头戴显示设备六自由度的定位追踪，本发明实施例在头戴显示设备内既集成有九轴传感器，还集成有双目鱼眼摄像头。

九轴传感器包括三轴加速度计、三轴陀螺仪、三轴磁力计。一个imu单元包含了三个单轴的加速度计和三个单轴的陀螺仪，因此九轴传感器可以视为是一个imu单元加上一个三轴磁力计。磁力计(magnetic、m-sensor)也叫地磁、磁感器，可用于测试磁场强度和方向，定位设备的方位，磁力计的原理跟指南针原理类似，可以测量出当前设备与东南西北四个方向上的夹角。

本发明实施例通过在头戴显示设备内集成第一九轴传感器110，利用第一九轴传感器110来采集头戴显示设备的空间姿态数据，相比于仅使用imu单元采集头戴显示设备的空间姿态数据，提高了姿态检测结果的精确度。这样因为：有了加速度计数据可以确定物体摆放的状态，例如有加速度计的手机，可以根据手机的横竖屏状态来触发屏幕相应的旋转，但对于物体的翻转、旋转的快慢无从得知，检测不到物体的瞬时状态，这时候就需要加入陀螺仪，通过加速度和陀螺仪的积分运算，可以获得到物体的运动状态，积分运算与真实状态存在微小差值，短时间内影响很小，但这个误差会一直累积，随着使用时间增加，就会有明显的偏离，六轴的设备在转动360度后，图像并不能回到原点，这时候就需要一个准确的方向，因此引入磁力计，来找到正确的方向进行校正。实际应用中，是把这九轴的数据经过融合算法来计算出物体正确的姿态。

双目鱼眼摄像头具有很强的环境追踪性能，可以提供实时的地图初始化，快速地扩展场景，能准确的测量环境尺度并防止漂移。本发明实施例通过在头戴显示设备内集成双目鱼眼摄像头，利用双目鱼眼摄像头采集头戴显示设备的空间位置数据，可以完成除纵摇、横摇、垂摇外的空间位置定位追踪。

第一九轴传感器110采集的头戴显示设备100的空间姿态数据、双目鱼眼摄像头120采集的头戴显示设备100的空间位置数据，均发送至信号转换芯片130。

信号转换芯片130负责向移动终端300传输头戴显示设备100的空间姿态数据和空间位置数据，由移动终端300通过预定算法计算后，对头戴显示设备进行六自由度追踪，实现对用户头部运动轨迹的准确定位。

相比于仅是实现用户头部的三自由度追踪，本发明实施例的方案能够增加人们在使用头戴显示设备时的沉浸感，提升使用体验，且本发明实施例是借助移动终端完成空间定位数据的处理，不会影响到头戴显示设备对显示、声音等数据的传输。

<实施例二>

图2为本发明实施例示出的另一种头戴显示系统的结构框图，如图2所示，头戴显示系统还包括输入设备200，本发明实施例的输入设备包括但不局限为单只手柄、双手柄、手套等。

头戴显示设备内除了集成有图1所示的第一九轴传感器110、双目鱼眼摄像头120和一信号转换芯片130之外，还集成有第一射频单元140和电磁接收单元150；输入设备200内集成有第二九轴传感器210、第二射频单元220和电磁发射单元230，第二九轴传感器210连接第二射频单元220；

第一射频单元140和第二射频单元220完成配对后，头戴显示设备100和输入设备200建立无线连接；

在输入设备200运动时，第二九轴传感器210采集输入设备200的空间姿态数据发送给第二射频单元220，第二射频单元220将该输入设备200的空间姿态数据传输给第一射频单元140；

同时在输入设备200运动时，电磁发射单元230随输入设备200运动对外发射不同的电磁信号数据，该电磁信号数据携带有指示输入设备200空间位置的信息，该电磁信号数据被头戴显示设备100的电磁接收单元150接收；

头戴显示设备100内的微处理器160将输入设备200的空间姿态数据和电磁信号数据进行整合，转换为第二usb数据，该第二usb数据例如可以为usb2.0数据、usb3.0数据或者usb3.1数据等，微处理器160基于相应的usb传输协议将第二usb数据传输给移动终端300，由移动终端300根据该第二usb数据对输入设备200进行六自由度追踪。

对于输入设备，例如电磁手柄，手柄部分基本都会集成有imu单元，用于满足手部的xyz三轴上下左右前后三个方向的平移。但是手部同样不会简单的做平行移动，比如在握住网球球拍的情况下，每次的挥拍都是混合有平移和旋转的两种动作的。

为实现输入设备六自由度的定位追踪，本发明实施例在输入设备内既集成有九轴传感器，还集成有电磁发射单元，在头戴显示设备内集成了电磁接收单元，此外在头戴显示设备和输入设备内还分别集成了一射频单元。具体地，

输入设备内集成有第二九轴传感器210。第二九轴传感器210用于采集输入设备200的空间姿态数据，其结构构成同于第一九轴传感器110。利用第二九轴传感器210来采集输入设备的空间姿态数据，相比于使用imu单元采集输入设备的空间姿态数据，提高了姿态检测结果的精确度。

输入设备内集成有电磁发射单元230。在输入设备200运动时，电磁发射单元230对外发射不同的电磁信号数据，该电磁信号数据携带有指示输入设备200空间位置的信息。为适配输入设备200的电磁发射方案，本发明实施例在头戴显示设备内集成了电磁接收单元150，用于接收电磁发射单元230对外发射的电磁信号数据。

头戴显示设备100内集成有第一射频单元140，输入设备200内集成有第二射频单元220，通过配对这两个射频单元建立头戴显示设备100和输入设备200之间的无线连接，并且这两个射频单元还负责传输输入设备的空间姿态数据。需要说明的是，实际中第一射频单元140可与微处理器160集成在同一个芯片上，构成具有射频功能的单片机。

在头戴显示设备100的内部，第一射频单元140和电磁接收单元150分别连接微处理器160，第一射频单元140将接收到的输入设备的空间姿态数据发送至微处理器160，电磁接收单元150将接收到的电磁信号数据也发送至微处理器160。微处理器160负责向移动终端300传输输入设备的空间姿态数据和电磁信号数据，由移动终端300通过预定算法计算之后，对输入设备进行六自由度追踪。若输入设备为电磁手柄，则实现了对用户手部六自由度追踪。

<实施例三>

图3为本发明实施例示出的一种头戴显示系统的电子线路示意图。结合图1-3所示，本发明实施例的头戴显示系统包括头戴显示设备和电磁手柄，头戴显示设备工作时通过usbtype-c接口(对应图3示出的type-c连接器)连接手机端(对应图3示出的phone)，借助手机的平台芯片完成数据处理。

头戴显示设备内集成的第一九轴传感器110对应图3示出的“imu+地磁”，双目鱼眼摄像头120对应图3示出的两个鱼眼摄像头，信号转换芯片130对应图3示出的“mipicsitousb3”芯片，该芯片能够实现mipi(mobileindustryprocessorinterface，移动产业处理器接口)csi(cameraserialinterface，相机串行接口)转usb3.0的功能。

头戴显示设备内集成的第一射频单元140对应图3示出的“rf”，即无线射频(radiofreqency)，电磁接收单元150对应图3示出的“电磁接收”，微处理器160对应图3示出的“mcu”。图3示出的“rf+mcu”是表明rf与mcu集成在同一个芯片上。

电磁手柄内集成的第二九轴传感器在图3中未示出，第二射频单元220和电磁发射单元230分别对应图3手柄内示出的“rf”和“电磁”。

图3示出的“usbhub”芯片可以将一个usb接口扩展为多个，并可以使这些接口同时使用。usbhub芯片可支持的usb传输协议包括usb2.0、usb3.0、usb3.1等，图3中示出了usb2.0和usb3.0两种。

usbtype-c接口是一种usb接口形式，可以支持多种usb传输协议，通过一根type-c连接线可同时实现充电、数据传输以及音视频传输的功能。

为适配usbtype-c接口，头戴显示设备内还集成有pd(powerdelivery，功率输出)控制芯片，对应图3中的“typecpdcontroller&demux”芯片,其中demux是指解复用器或分路器。

该pd控制芯片与手机端的平台芯片进行协商，将usbtype-c接口适配为dp(displayport，显示接口)交替模式(altmode)，告知手机的typec接口需要传输两路dp信号和一对usb3.0信号。dp信号用于手机端传输视频信号给头戴显示设备，具体是用于手机传输视频信号给头戴显示设备的桥接芯片，桥接芯片对应图3中的“typecdptomipidsibridge”芯片，dsi是指mipi的显示串行接口，然后由桥接芯片将该dp信号转为mipi信号给到显示屏(对应图3中的两个lcd)用于显示画面。usb3.0信号用于头戴显示设备传输数据给手机端，本发明实施例中该数据具体是指第一九轴传感器110采集的头戴显示设备的空间姿态数据和双目鱼眼摄像头120采集的头戴显示设备的空间位置数据。

手机端的音频信号是通过usbtype-c接口的usb2.0信号(经过了图3中的usbhub)传输给头戴显示设备的usbaudiocodec(音频编码)芯片，进而用于驱动喇叭(spk)和耳机(mic)等音频外设。图3中的“pa”是指功率放大器(poweramplifier)。

对于头戴显示设备侧，“imu+地磁”采集头戴显示设备的空间姿态数据发送至“mipicsitousb3”芯片，双目鱼眼摄像头采集头戴显示设备的空间位置数据也发送至“mipicsitousb3”芯片，经“mipicsitousb3”芯片整合之后，转化为usb3.0数据，依次经过图3中的“usbhub”芯片、“typecpdcontroller&demux”芯片以及“typec连接器”后，传输给手机的平台芯片。手机平台芯片通过预定算法计算之后，对头戴显示设备进行六自由度追踪，则可以准确的得出用户头部的运动轨迹。

对于电磁手柄侧，九轴传感器(图3未示出)采集电磁手柄的空间姿态数据，该空间姿态数据通过手柄的射频单元(rf)传输给头戴显示设备的射频单元(rf)。手柄的电磁发射单元(电磁)对外发射指示手柄不同空间位置信息的电磁信号数据，该电磁信号数据被头戴显示装置的电磁接收单元接收，并由电磁接收单元发送给mcu。图3中rf和mcu集成在同一个集成芯片上。该rf+mcu集成芯片对电磁手柄的空间姿态数据和电磁信号数据进行整合后，转换为usb2.0数据，依次经过图3中的“usbhub”芯片和“typec连接器”之后，传输给手机的平台芯片。手机平台芯片通过预定算法计算之后，对电磁手柄进行六自由度追踪，则可以准确的得出用户手部的运动轨迹。

这样，头戴显示设备和电磁手柄结合在一起，整套系统完成了对用户头部和手部六自由度追踪，可以增加人们在使用设备时候的沉浸感，并且可以增加更多的游戏和应用的体验。

本发明实施例将头戴显示设备的空间姿态数据和空间位置数据整合成usb3.0数据，将电磁手柄的空间姿态数据和电磁信号数据整合usb2.0数据，采用不同的传输路径传输给手机的平台芯片，保证了数据传输的时效性，手机的平台芯片对头戴显示设备和电磁手柄分别独立进行六自由度追踪，避免了彼此干扰。

<实施例四>

图4为本发明实施例示出的一种头戴显示设备的空间定位方法的流程图，该头戴显示设备工作时连接移动终端，借助移动终端完成数据处理；头戴显示设备内集成有第一九轴传感器、双目鱼眼摄像头和一信号转换芯片，第一九轴传感器和双目鱼眼摄像头分别连接信号转换芯片；如图4所示，本发明实施例的方法包括：

s410，在头戴显示设备运动时，利用第一九轴传感器采集头戴显示设备的空间姿态数据；

s420，在头戴显示设备运动时，利用双目鱼眼摄像头采集头戴显示设备的空间位置数据；

s430，利用信号转换芯片将头戴显示设备的空间姿态数据和空间位置数据进行整合，转换为第一usb数据传输给移动终端，由移动终端根据第一usb数据对头戴显示设备进行六自由度追踪。

上述步骤s410与步骤s420是并行关系。

为实现头戴显示设备六自由度的定位追踪，本发明实施例在头戴显示设备内既集成有九轴传感器，还集成有双目鱼眼摄像头。

信号转换芯片负责向移动终端传输头戴显示设备的空间姿态数据和空间位置数据，由移动终端通过预定算法计算后，对头戴显示设备进行六自由度追踪，实现对用户头部运动轨迹的准确定位。

在一些具体示例中，头戴显示设备采用usbtype-c接口连接移动终端。头戴显示设备内集成有pd控制芯片，这些具体示例的方法还包括：

利用pd控制芯片与移动终端的平台芯片进行协商，将usbtype-c接口适配为dp交替模式，用于传输两路dp信号和一对usb信号，其中dp信号用于移动终端传输视频信号给头戴显示设备，usb信号用于头戴显示设备传输数据给移动终端。

相比于仅是实现头戴显示设备的三自由度追踪，本发明实施例的方案可以实现头戴显示设备的六自由度追踪，能够增加人们在使用头戴显示设备时的沉浸感，提升使用体验，且本发明实施例是借助移动终端完成对头戴显示设备的空间定位数据的处理，不会影响到头戴显示设备对显示、声音等数据的传输。

<实施例五>

图5为本发明实施例示出的一种输入设备的空间定位方法的流程图，该输入设备与头戴显示设备一起构成头戴显示系统，头戴显示设备工作时连接移动终端，借助移动终端完成数据处理。头戴显示设备内集成有第一射频单元和电磁接收单元；所述输入设备内集成有第二九轴传感器、第二射频单元和电磁发射单元，第二九轴传感器连接第二射频单元；所述方法包括：

s510，通过配对第一射频单元和第二射频单元，将输入设备与头戴显示设备建立无线连接；

s520，在输入设备运动时，利用第二九轴传感器采集输入设备的空间姿态数据，并利用第二射频单元将输入设备的空间姿态数据传输给第一射频单元；

s530，在输入设备运动时，电磁发射单元随输入设备运动对外发射不同的电磁信号数据，该电磁信号数据携带有指示输入设备空间位置的信息，利用电磁接收单元接收该电磁信号数据；

s540，利用头戴显示设备内的微处理器将输入设备的空间姿态数据和电磁信号数据进行整合，转换为第二usb数据传输给移动终端，由移动终端根据第二usb数据对输入设备进行六自由度追踪。

为上述步骤s520与步骤s530是并行关系。

实现输入设备六自由度的定位追踪，本发明实施例在输入设备内既集成有九轴传感器，还集成有电磁发射单元。为适配输入设备的电磁发射方案，在头戴显示设备内集成了电磁接收单元，电磁接收单元接收电磁发射单元对外发射的电磁信号数据。此外在头戴显示设备和输入设备内还分别集成了一射频单元，通过配对这两个射频单元输入设备与头戴显示设备建立无线连接，并且这两个射频单元还负责传输输入设备的空间姿态数据。

头戴显示设备内的微处理器负责向移动终端传输输入设备的空间姿态数据和电磁信号数据，由移动终端通过预定算法计算之后，对输入设备进行六自由度追踪。

在一些具体示例中，输入设备为电磁手柄，在这些具体示例中可实现对用户手部运动轨迹的准确定位。

相比于仅是实现输入设备的三自由度追踪，本发明实施例的方案可以实现输入设备的六自由度追踪，能够增加人们在使用头戴显示设备时的沉浸感，提升使用体验，且本发明实施例是借助移动终端完成对输入设备的空间定位数据的处理，不会影响到头戴显示设备对显示、声音等数据的传输。

对于方法实施例而言，由于其基本对应于装置实施例，所以相关之处参见装置实施例的部分说明即可。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。