VR头戴式一体机的制作方法

vr头戴式一体机
技术领域
[0001]
本申请涉及头戴显示技术领域，具体涉及一种vr(virtual reality，虚拟现实)头戴式一体机。


背景技术：

[0002]
目前主流的vr头戴式一体机，普遍存在几个问题：1.大都采用基于两路追踪摄像头的自内向外(inside-out)的6dof(degree of freedom，自由度)追踪方案，所追踪的视场角(fov)受限。2.无法提供用户的眼球追踪信息，即不能做一些特殊的处理操作比如无法做注视点渲染以减少渲染负载所带来的功耗问题。3.无法提供用户的表情追踪信息，在一些需要用户面部表情信息的场景下，无法使用，这会降低用户在虚拟场景中的沉浸感。4.有些用户通过裸手交互会比较自然的虚拟场景下，需要再额外的增加手势识别追踪器，增加了结构设计的复杂度。


技术实现要素：

[0003]
有鉴于此，本申请的主要目的在于提供了一种vr头戴式一体机，通过计算机视觉技术和视觉追踪技术同时解决vr头戴式一体机的6dof追踪问题，眼动追踪、用户脸部表情识别及裸手识别追踪的问题。
[0004]
本申请提供的vr头戴式一体机，内置有imu传感器，包括前盖板，所述前盖板的外侧边框上设置有四路第一追踪摄像头，所述前盖板的内侧靠近用户的左眼和右眼位置处各设置一路第二追踪摄像头，所述前盖板的下底部靠近用户的嘴巴位置处设置有一路第三追踪摄像头；其中，
[0005]
四路所述第一追踪摄像头和所述imu传感器构成用户头部6dof追踪模块，两路所述第二追踪摄像头构成用户眼球追踪模块，两路所述第二追踪摄像头和一路所述第三追踪摄像头构成用户脸部表情识别模块，以及四路所述第一追踪摄像头经复用构成用户裸手识别追踪模块。
[0006]
本申请的技术方案能够达到以下有益效果：
[0007]
本申请实施例的vr头戴式一体机，通过在其前盖板的不同位置处设置多个摄像头，这些摄像头经组合或复用分别构成了用户头部6dof追踪模块、用户眼球追踪模块、用户脸部表情识别模块和用户裸手识别追踪模块，使得vr头戴式一体机能够同时解决6dof追踪问题，眼动追踪、用户脸部表情识别及裸手识别追踪的问题，从而能够很大程度上降低了用户体验的不便性，极大提高了用户体验的沉浸感。
附图说明
[0008]
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0009]
图1示出了根据本申请一个实施例的vr头戴式一体机的外观示意图；
[0010]
图2示出了根据本申请一个实施例的用户头部6dof追踪的实现框架示意图。
具体实施方式
[0011]
下面将参照附图更详细地描述本申请的示例性实施例。提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。
[0012]
为同时解决vr头戴式一体机的6dof追踪问题、眼动追踪、用户脸部表情识别及裸手识别追踪的问题，通过在其前盖板的不同位置处设置多个摄像头，经组合或复用这些摄像头分别构成了用户头部6dof追踪模块、用户眼球追踪模块、用户脸部表情识别模块和用户裸手识别追踪模块，从而能够很大程度上降低了用户体验的不便性，极大提高了用户体验的沉浸感。
[0013]
图1示出了根据本申请一个实施例的vr头戴式一体机的外观示意图。参见图1，本申请实施例的vr头戴式一体机内置有imu传感器(图1中不可见)，包括前盖板，在前盖板的外侧边框上设置有四路第一追踪摄像头(c1,c2,c3,c4)，在前盖板的内侧靠近用户的左眼和右眼位置处各设置一路第二追踪摄像头(c5,c6)，在前盖板的下底部靠近用户的嘴巴位置处设置有一路第三追踪摄像头(c7)；其中，
[0014]
四路第一追踪摄像头(c1,c2,c3,c4)和内置的imu传感器构成用户头部6dof追踪模块，两路第二追踪摄像头(c5,c6)构成用户眼球追踪模块，两路第二追踪摄像头(c5,c6)和一路第三追踪摄像头(c7)构成用户脸部表情识别模块，以及四路第一追踪摄像头(c1,c2,c3,c4)经复用构成用户裸手识别追踪模块。
[0015]
在本申请的一个实施例中，四路第一追踪摄像头(c1,c2,c3,c4)均为单色摄像头(monochrome camera)。单色摄像头采集的为黑白图像。由于解决用户头部的6dof追踪定位问题，只要需要摄像头拍摄到环境中的亮暗信息就可以，并不需要颜色信息。因此采用这种单色摄像头不会影响到追踪定位精度，且可降低用户的体验成本。
[0016]
在本申请的一个实施例中，两路第二追踪摄像头(c5,c6)和一路第三追踪摄像头(c7)也均采用单色摄像头。同样地，为解决用户眼球动作追踪和嘴巴动作追踪，只要需要摄像头拍摄到环境中的亮暗信息就可以，并不需要颜色信息，因此也不会影响到对用户眼球和嘴巴动作的追踪精度，且可以进一步降低价格成本。
[0017]
在本申请的一个实施例中，前盖板上设置的这些摄像头选用相同的规格，也即四路第一追踪摄像头(c1,c2,c3,c4)、两路第二追踪摄像头(c5,c6)和一路第三追踪摄像头(c7)采用相同的规格。这样既避免了生产组装vr头戴式一体机时需要区分摄像头的麻烦，也便于对vr头戴式一体机中各路摄像头进行同步控制。
[0018]
在本申请的一个实施例中，四路第一追踪摄像头(c1,c2,c3,c4)两两轴对称设置在前盖板的外侧边框的四路边角位置处，且各自具有不同的摆放角度。通过对四路第一追踪摄像头(c1,c2,c3,c4)的摆放角度和摆放位置进行整体设计，可以使得四路第一追踪摄像头(c1,c2,c3,c4)拼接出一个较大范围的追踪视场角(field of view，fov)，保证头部6dof的追踪精度和追踪稳定性。
[0019]
在本申请的一个实施例中，四路第一追踪摄像头(c1,c2,c3,c4)在前盖板的外侧边框的设置位置固定，但可以进行一定角度旋转。例如，以vr头戴式一体机的中心为坐标系原点建立垂直坐标系，x轴代表水平方向，y轴代表上下方向，z轴代表前后方向。每路第一追踪摄像头(c1,c2,c3,c4)均可以绕x轴进行一定角度范围的上下旋转，且可以绕y轴进行一定角度范围的左右旋转。在对vr头戴式一体机进行6dof追踪或对用户裸手进行识别追踪时，通过控制一路或多路第一追踪摄像头(c1,c2,c3,c4)的角度旋转，可以提高追踪视场角fov，进而提高用户头部的6dof追踪的鲁棒性和精度。
[0020]
在本申请的一个实施例中，每路摄像头的对角线视场角(fov-d)至少在150
°
以上，帧率30hz以上，采用全局快门(global shutter)曝光方式，镜头可同时通过可见光波段(波段范围为480nm
–
670nm)和850nm红外光。
[0021]
在本申请的一个实施例中，四路第一追踪摄像头(c1,c2,c3,c4)至少拼接出一路230
°
*210
°
的水平*垂直(h*v)视场角。这个视场角范围是通过算法大体仿真计算得到的数据，在这个范围下基本上就可以保证6dof的追踪精度和追踪稳定性。在用户配戴该头戴式一体机时，在现实场景里可以自由走动和自由转动，四路第一追踪摄像头(c1,c2,c3,c4)同时扫描外部环境，结合vr头戴式一体机内置的imu传感器，实时计算用户头部的6dof追踪信息(位置信息和姿态信息)。
[0022]
图2示出了根据本申请一个实施例的用户头部6dof追踪的实现框架示意图。参见图2，本申请实施例需要实时采集到五路数据，包括四路第一追踪摄像头(c1,c2,c3,c4)的图像数据和一路vr头戴式一体机内置的imu传感器的惯性导航数据。
[0023]
在本申请的一个实施例中，用户头部6dof追踪模块用于：首先根据四路第一追踪摄像头(c1,c2,c3,c4)的每帧图像数据(每路拍摄头的拍摄帧率，例如是30hz)，结合当前时刻的内置的imu传感器的惯性导航数据，实时计算用户头部在3d空间中的6dof追踪数据；然后再结合高帧率(例如是1000hz，该帧率是由imu传感器自身采样性能决定)的当前时刻的imu传感器的惯性导航数据，将当前拍摄帧率(30hz)下的用户头部在3d空间中的6dof追踪数据，实时预测插帧到与imu传感器相同帧率(即1000hz)下；最后，对预测插帧后得到的用户头部在3d空间中的6dof追踪数据，经应用渲染(application rendering)后采用大于75hz的帧率进行显示输出。
[0024]
vr头戴式一体机为了让用户有一定的沉浸感和减少用户的眩晕感，显示帧率最少需要在75hz，因此本申请实施例采用大于75hz的帧率进行显示输出，可以保证用户的沉浸感并减少用户的眩晕感。
[0025]
需要说明的是，四路第一追踪摄像头(c1,c2,c3,c4)在物理上是同步的，通过物理上的同步机制可以控制四路摄像头在每一帧曝光时间段的中心点是相同的，也即控制四路摄像头准确地进行同步曝光。
[0026]
在本申请的一个实施例中，用户眼球追踪模块用于：根据两路第二追踪摄像头(c5,c6)的每帧图像数据以及人眼标注数据，获取用户的眼球动作追踪数据，以便根据用户的眼球动作追踪数据，对用户眼球注视的虚拟场景区域进行高分辨率渲染，其他区域进行低分辨率渲染。进而达到了在不降低用户体验的前提下优化了vr头戴式一体机渲染资源能力，同时也降低了系统的负载和功耗资源。
[0027]
在一些b端(business，商业级或企业级)的使用场景下，存在用户的虚拟脸部表情
体验需求，用户的虚拟脸部的表情主要是通过用户的眼球动作和嘴巴运动动作生成的，以上两个功能的实现主要是结合在vr头戴式一体机的前盖板上设置的c5,c6,c7三路追踪摄像头实现，其中c5,c6主要实现眼球动作的追踪，c7主要实现嘴巴动作的追踪。
[0028]
在本申请的一个实施例中，用户脸部表情识别模块用于：根据两路第二追踪摄像头(c5,c6)的每帧图像数据以及人眼标注数据，获取用户的眼球动作追踪数据，根据一路第三追踪摄像头(c7)的每帧图像数据以及嘴巴标注数据，获取用户的嘴巴动作追踪数据，以及结合用户头部的6dof追踪数据，根据同一时刻的用户的追踪数据和嘴巴动作追踪数据，对用户的脸部表情进行识别。
[0029]
具体的，可以先通过传统的张正友标定法，对两路第二追踪摄像头(c5,c6)和一路第三追踪摄像头(c7)进行标定。
[0030]
对用户的眼球动作追踪，通过对左右眼分别标注16个标注位置共32个标注点，通过训练半监督卷积神经网络模型，生成眼球追踪模型model 1，然后根据两路第二追踪摄像头(c5,c6)实时获取人眼的左右眼相机的每帧图像数据，通过模型model 1对左右眼32个标注点进行检测识别，实时获取32个标注点图像坐标数据，对实时获取的32个标注点图像坐标数据经过归一化处理后可以获得归一化之后的2d的32个眼球追踪标记点位置。
[0031]
对用户的嘴巴动作追踪，采用类似的处理过程，通过对嘴巴10个标注点，通过训练半监督卷积神经网络模型，生成嘴巴追踪模型model 2，然后根据一路第三追踪摄像头(c7)实时获取嘴巴的图像数据，通过模型model 2对嘴巴10个标注点进行检测识别，实时获取10个标注点图像坐标数据，对实时获取的10个标注点图像坐标数据经过归一化处理后可以获得归一化之后的2d的10个嘴巴追踪标记点位置。
[0032]
最后，结合用户头部的运动和转动姿态数据(用户头部的6dof追踪数据)，融合归一化之后的2d嘴巴和2d眼球位置数据，把嘴巴和眼球共42个标记点的图像坐标位置，映射为虚拟3d人脸对应标记位置的空间三维坐标，进而可以根据虚拟3d人脸对应标记位置的空间三维坐标，对用户的脸部表情进行识别。
[0033]
在本申请的一个实施例中，用户裸手识别追踪模块用于：根据四路第一追踪摄像头(c1,c2,c3,c4)的每帧图像数据，结合用户手部的三维骨骼模型数据以及用户头部的6dof追踪数据，对用户手部的三维骨骼模型数据的位置进行实时识别追踪。
[0034]
具体的，以一路第一追踪摄像头(进行头部位姿追踪的摄像头)为例，首先离线训练获得手的检测模型model 3和手的骨骼点识别模型model 4。通过手的检测模型model 3在当前帧的头的追踪图像上进行手的检测定位，检测出手在当前帧图像上的位置和对应的区域大小。使用当前帧手的roi区域(region of interest，感兴趣区域)通过光流追踪算法(optical flow tracking)估计手在下一帧的roi区域，同时把跟踪的信息保存到跟踪队列trackhand里，为下一帧该手的三维骨骼点识别提供跟踪信息；接着从trackhand里获取到手在当前帧图像上的roi区域，在对应区域的图像数据上通过手的骨骼点识别模型model 4进行手的21个骨骼点识别。
[0035]
对获取到的手在当前图像上21个骨骼点的二维坐标，同时结合用户头部的6dof追踪数据，计算每只手的21个骨骼点在图像坐标下的三维骨骼点坐标。然后对每一只手的21个三维骨骼点坐标通过和历史对应的手的三维骨骼点坐标进行平滑滤波处理，解决某一帧某一个关节点识别不太稳定的可能，提高手指三维骨骼点位置识别精度和稳定性。最后将
滤波之后的每只手的21个骨骼点与用户头部的6dof追踪数据进行融合，把相机坐标系下的手的骨骼点信息变换到头戴坐标系下的手的骨骼点数据，并把该骨骼点数据通过渲染再实时回传给头戴式一体机做显示处理。
[0036]
需要说明的是，用户裸手识别追踪可以仅通过一路第一追踪摄像头单独完成，通过多路第一追踪摄像头主要是为了弥补单路第一追踪摄像头的捕捉视野范围不能满足用户场景的需要，例如依靠c1，c2，c3，c4可以拼接出一个近似230
°
*210
°
(h*v)以上的大视角场景。
[0037]
综上所述，通过在vr头戴式一体机的前盖板的不同位置处设置多个摄像头，经组合或复用这些摄像头分别构成用户头部6dof追踪模块、用户眼球追踪模块、用户脸部表情识别模块和用户裸手识别追踪模块，使得vr头戴式一体机能够同时解决6dof追踪问题，眼动追踪、用户脸部表情识别及裸手识别追踪的问题，从而能够很大程度上降低了用户体验的不便性，极大提高了用户体验的沉浸感。
[0038]
本领域内的技术人员应明白，在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0039]
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
[0040]
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。