位姿识别装置、虚拟现实显示装置以及虚拟现实系统的制作方法

本公开总体上涉及人机交互领域，具体涉及一种位姿识别装置及安装此装置的虚拟现实显示装置以及虚拟现实系统。

背景技术：

目标物体的姿态及其运动检测是常用于人机交互领域的一种技术。在现有的目标物体姿态及其运动检测设备中，头部姿势变化或者运动通常关联相应的具体功能实现。其次，虚拟现实设备中画面的视角显示也依赖于目标物体的姿态及其运动检测。因此，精确地采集目标物体姿态及其运动成为虚拟现实装置中非常重要的一环。

当前，主要存在两种检测目标物体姿态的技术。一种是利用传统的运动传感器检测目标物体的运动来获得目标物体的姿态。例如：通过三轴加速度计，三轴陀螺仪和三轴地磁计来实现惯性姿态的检测。另一种是图像技术，其包括采用光学雷达技术或者外置摄像头对虚拟现实装置上的发光点进行检测定位。

传统的运动传感器检测方法由于误差的累计往往存在长时间零位飘移的问题。同时，采用惯性姿态检测也无法解决目标物体在一个空间内移动的情况。采用外置摄像头对虚拟现实装置上检测定位的缺点在于，由于虚拟现实设备上的发光点距离较近，导致位置检测精度差，存在盲区。例如，当目标物体背对摄像头时，则无法检测，因此检测范围小。同时，额外设置外置摄像头不仅导致设备成本的提高，而且大大增加线路接线和设备运行维护的难度。

技术实现要素：

鉴于现有技术中的上述缺陷或不足，期望提供一种位姿识别装置以及安装此装置的虚拟现实(VR,virtual real ity)显示装置、虚拟现实系统以期解决运动传感器检测中长时间零位飘移的问题以及采用外置摄像头带来的图像技术检测盲区等问题。

第一方面，本发明提供一种位姿识别装置，包括：

安置于目标物体上的图像采集单元，配置用以在所述目标物体处于初始位置和初始姿态时采集分布在预定形状的面上的多个标记的初始图像，以及实时地采集所述多个标记的实时图像；

处理和计算单元，配置用以基于所述初始图像和实时图像、所述面的预定形状以及所述目标物体的初始位置和初始姿态计算所述目标物体的实时位置及实时姿态。

第二方面，本发明提供一种虚拟现实显示装置，用于佩戴在目标物体上以根据目标物体的位姿显示相应画面，包括上述位姿识别装置，配置用于获取所述目标物体的实时位置和实时姿态；以及显示组件，配置用以显示根据所述目标物体的实时位置及实时姿态而生成的画面。

第三方面，本发明还提供一种虚拟现实系统，用于根据目标物体的位姿显示相应画面，包括:上述虚拟现实显示装置，以及与所述位姿识别装置的处理和计算单元通信的上位机单元，配置用以根据来自所述处理和计算单元的所述目标物体的实时位置及实时姿态生成相应的画面，并将所述画面传送给所述虚拟现实显示装置。

根据本申请实施例提供的技术方案，通过图像采集单元以及处理和计算单元的配合使用，解决了现有技术中采用惯性姿态检测无法检测目标物体空间内移动的情况，同时，由于本发明中不需要额外设置外置摄像头对虚拟现实显示装置上的发光点进行检测定位。因此，检测盲区问题，连接线路复杂以及后续运行维护难等问题都可以避免。使得本公开的位姿识别装置的检测精度更高，设备成本低，处理速度快。进一步的，根据本申请的某些实施例，如通过微处理器的设置，还能解决因为多信号传输带来的信号丢失及其处理速度慢等问题，从而获得更高的检测效率和检测精确。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1a为根据本发明实施例一的位姿识别装置的示意性框图；

图1b为图1a所示位姿识别装置的结构示意图；

图2a为根据本发明实施例二的位姿识别装置的示意性框图；

图2b和图2c分别为图2a所示位姿识别装置的两个示例的结构示意图；

图3a为根据本发明实施例三的虚拟现实显示装置的示意性框图；

图3b示意性地示出了根据本发明实施例三的虚拟现实眼镜；

图4为根据本发明实施例四的虚拟现实系统的示意性框图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

首先参照图1a-1b以及图2a-2c介绍根据本发明实施例的位姿识别装置1，该位姿识别装置用于安装在目标物体上以实时地识别该目标物体的空间位置和姿态。例如，根据本发明实施例的位姿识别装置1可以佩戴在人的头部，用于实时地获取人头部的位置和姿态。

图1a、1b示意性地示出了根据本发明实施例一的位姿识别装置1A。

如图1a和1b所示，位姿识别装置1A包括可安置于目标物体10上的图像采集单元11以及处理和计算单元13。图像采集单元11采集目标物体10处于初始位置和初始姿态时分布在预定形状的面12上的多个标记14的初始图像以及实时地采集多个标记14的实时图像。处理和计算单元13基于图像采集单元11采集的初始图像以及实时图像、所述面12的预定形状和目标物体10的初始位置和初始姿态计算出所述目标物体10的实时位置及实时姿态。

通过图像采集单元11以及处理和计算单元13的配合使用，解决了现有技术中采用惯性姿态检测无法检测目标物体10在空间内移动的情况的问题。同时，由于本发明中不需要额外设置外置摄像头对虚拟现实显示装置上的发光点进行检测定位，因此，检测盲区问题，连接线路复杂以及后续运行维护难等问题都可以避免。

面12的预定形状可以为平面、曲面(例如球面、抛物面)或任意平面和/或曲面的组合，只要该预定形状是已知。同时，面12可以是建筑中已经存在的面，例如天花板、墙面、穹顶之类的，但是也可以是专门添设的面，例如投影幕布。此外，应该注意的是，本发明并不限于实体的面12，面12也可以是虚拟的空间概念上的面。例如从屋顶垂挂下来多盏灯用于发光提供多个标记14，这时，多盏灯所处的空间位置的集合即表征出面12。

多个标记14可以为安装在墙面或天花板或其它适合的面12上的灯具、烟雾报警器、开关、壁画或其他类似的实体物体，也可以是发光或反射光而形成的标记。多个标记14不均匀地分布于12面上。

在本实施例中，图像采集单元可以包括CCD(Charged Coupled Device)图像传感器、CMOS(Complementary Metal-Oxide Semiconductor)图像传感器或者任何其他类型的适合的图像传感器。

参考图1a，处理和计算单元13可以进一步包括图像处理单元131和位姿计算单元132。本公开中的处理和计算单元13可以通过如下方式实现目标物体10的实时位置和姿态计算：

图像处理单元131从初始图像中提取多个标记14在该图像中的初始二维坐标和从实时图像中提取多个标记14在该图像中的实时二维坐标。位姿计算单元132接收来自所述图像处理单元131的初始二维坐标和实时二维坐标。位姿计算单元132识别多个标记14，以建立所述实时图像中的多个标记14与初始图像中的多个标记14的对应关系。然后基于所述对应关系，计算多个标记14的实时二维坐标与初始二维坐标之间的仿射矩阵以及根据所述仿射矩阵以及目标物体10的初始位置和初始姿态，位姿计算单元132计算出目标物体10的实时位置和实时姿态。

图像处理单元131与图像采集单元11可以集成在能够佩戴在目标物体10上的支架上。

在一些示例中，位姿计算单元132可以形成为与图像处理单元131和图像采集单元11分立的部件。位姿计算单元132可以通过有线或无线的方式与图像处理单元131连接。这里，无线连接的方式包括但不限于蓝牙、Wi-Fi、RFID、ZigBee等。这种情况下，位姿计算单元132可以集成在上述支架上，或者也可以不集成在支架上。例如，除了佩戴在目标物体10上的部分之外，位姿识别装置1还可以包括与该部分有线或无线通讯的“主机”部分，位姿计算单元132可以集成在该“主机”部分中。这种情况下，可以减轻佩戴在目标物体10上的部件的重量，提高使用的轻便性和舒适性。

在另一些示例中，处理和计算单元13的图像处理单元131和位姿计算单元132可以用一个植入算法的微处理器实现。该微处理器与图像采集单元11为分立元件且例如通过支架固定设置于目标物体10上。微处理器接收图像采集单元11采集的初始图像以及实时图像，并且通过算法识别初始图像与实时图像中多个标记14的初始二维坐标及其实时二维坐标，并且基于多个标记14的初始二维坐标及其实时二维坐标、面12的预定形状以及目标物体10的初始位置和初始姿态计算目标物体10的实时位置及实时姿态。采用微处理器一体实现图像处理单元131和位姿计算单元132可以避免因为图像处理单元131跟位姿计算单元132通信过程中带来的信号缺失或者因为信号屏蔽导致图像处理单元131不能及时地将信号传输给位姿计算单元132。同时，通过在微处理器中植入算法程序，图像处理的效率更高，从而尽量减少图像采集到图像计算这个时间差造成的实时位姿计算的延迟。

以下通过一个具体示例对位姿识别装置1A进行示例性的说明：

在本示例中，图像采集单元11为相机，所述相机在预定三维坐标系的X轴的旋转角度为ψ、Y轴的旋转角度为θ，旋转范围均为(-90°,90°)，即-π/2<θ<π/2,-π/2<ψ<π/2，Z轴的旋转角度为φ，旋转范围为(-180°,180°)，即预定形状的面12优选为室内的屋顶平面，其中包括4个标记14。

由于相机佩戴在目标物体上，从而随着目标物体变换位姿，所以相机的X轴的旋转角度为ψ、Y轴的旋转角度为θ、Z轴的旋转角度为φ即为目标物体的X轴、Y轴和Z轴的旋转角度，反映出目标物体的姿态变化。

在其它实施例中，还可根据实际需求配置不同的图像采集单元11、预定三维坐标系及其各轴的旋转角度范围、面12的预定形状及标记14的数量，只要标记的数量不少于4个，X轴/Y轴的旋转范围不超过180°，即可实现本发明的技术效果。

具体地，所述相机在预定三维坐标系的预定参考位置处采集初始图像，以供图像处理单元131从初始图像中提取各标记14在初始图像中的初始二维坐标X₀；

当所述相机随目标物体10改变了位置或姿态之后，采集实时图像，以供图像处理单元131从实时图像中提取各标记14在实时图像中的实时二维坐标X₁。

位姿计算单元132例如通过星敏算法识别初始图像和实时图像中的各标记14。

识别出各标记14之后，位姿计算单元132建立实时图像中的各标记14与初始图像中的各标记14的对应关系：

对于各标记X，分别有：

X₀＝[X₀₁ X₀₂ 1]^T,X₁＝[X₁₁ X₁₂ 1]^T, (1)

其中，X₀₁、X₀₂分别为标记X在初始图像中的二维坐标X₀的左右坐标，X₁₁、X₁₂分别为标记X在实时图像中的二维坐标X₁的左右坐标；

以及，基于所述对应关系，计算所述多个标记14的实时二维坐标与初始二维坐标之间的仿射矩阵：

对于各组X₀与X₁，分别有：

X₀＝wHX₁, (2)

其中，w为非零常数因子，H为初始图像和实时图像关于预定形状的面12的仿射矩阵。

根据各标记14的式(1)和(2)对仿射矩阵H进行求解：

其中，h₁₁、h₁₂、h₁₃、h₂₁、h₂₂、h₂₃、h₃₁、h₃₂分别为仿射矩阵H的解中对应位置的数值。

仿射矩阵H与目标物体10的旋转矩阵[R,t]满足以下关系：

其中，r₁₁、r₁₂、t₁、r₂₁、r₂₂、t₂、r₃₁、r₃₂分别为旋转矩阵中对应位置的数值，t₁、t₂分别为目标物体10在X轴/Y轴方向上位移，ψ、θ、φ分别为目标物体10从初始位置到实时位置发生的X轴、Y轴和Z轴旋转角度。

通过上述关系式(4)，可以得到：

r₁₁＝cosθcosφ＝h₁₁ (5)

r₂₁＝cosθsinφ＝h₂₁ (6)

r₁₂＝sinψsinθcosφ-cosψsinφ＝h₁₂ (7)

r₂₂＝sinψsinθsinφ+cosψcosφ＝h₂₂ (8)

t₁＝h₁₃, (9)

t₂＝h₂₃, (10)

位姿计算单元132通过上述式(5)-(10)，计算得到目标物体10从初始位置到实时位置发生的X轴、Y轴和Z轴旋转角度ψ、θ、φ以及目标物体10在X轴/Y轴方向上位移t₁、t₂，从而根据仿射矩阵H以及所述目标物体10的初始位置和初始姿态，计算出所述目标物体10的实时位置和实时姿态。

具体而言，由于-π/2<θ<π/2,-π/2<ψ<π/2,根据式(5)-(8)求解可得：

同时，根据式(5)-(6)求解可得：

其中，θ的正负符号根据所述坐标系中坐标的增量方向确定，具体地，将任一标记X的在初始图像中的二维坐标X₀记为(X₀₁,X₀₂)，在实时图像中的二维坐标X₁记为(X₁₁,X₁₂)，再将X₁中绕Z轴的旋转量恢复到初始值，即将Z轴归零后的坐标记为(X₂₁,X₂₂)，则有：

令X₂₁-X₁₁＞0时，-π/2<θ<0，X₂₁-X₁₁≤0时，0≤θ<π/2，代入式(12)，则有：

令a＝sinθ,b＝sinφ,c＝cosφ，代入式(7)-(8)，求解可得：

根据式(15)求解可得：

此外，根据式(4)可解得目标物体10在X轴/Y轴方向上的位移t₁、t₂，根据式(4)和相机的内部参数矩阵可解得目标物体10在Z轴方向上位移t₃，从而最终根据目标物体10绕X轴/Y轴/Z轴的各旋转角度，以及在X轴/Y轴/Z轴方向上的各位移确定目标物体10的实时位置和实时姿态。

以所述相机绕X轴旋转30度，保持Y轴，Z轴不动、未发生位移，且标记14的数量为4个为例，4个标记(A,B,C,D)在初始图像中的初始二维坐标：A₀(400,100)；B₀(600,100)；C₀(600,200)；D₀(400,200)；在实时图像中的实时二维坐标：A₁(400,86)；B₁(600,86)；C₁(600,173)；D₁(400,173)。

根据上述装置和方法求解得到：

最终解得ψ＝29.5°、θ＝0°，φ＝0°，t₁、t₂、t₃均为0。

图像采集单元11采集多个标记14的初始图像以及实时图像。图像处理单元131提取初始图像和实时图像中多个标记14的二维坐标。位姿计算单元132接收来自图像处理单元131的多个标记14的初始二维坐标和实时二维坐标。位姿计算单元132根据多个标记14的初始二维坐标、实时二维坐标以及目标物体10的初始位置和姿势计算出目标物体10的实时位置和姿势。

图2a-2c示意性地示出了根据本发明实施例二的位姿识别装置，其中图2a为根据本发明实施例二的位姿识别装置的示意性框图，图2b和图2c分别示出了两个示例。

如图2a所示，根据实施例二的位姿识别装置1B与根据本发明实施例一的位姿识别装置基本上相同，不同之处在于，如图2a所示，前者还包括一个合作标记单元15用以产生多个标记14。

在图2b所示位姿识别装置1B中，合作标记单元15为星点投射组件151，星点投射组件151发光以向预定形状的面12上投射作为多个标记14的多个星点(光斑)。星点不均匀地分布于预定形状的面12上。

优选，星点投射组件151发射脉冲光。图像采集单元11优选配置为与星点投射组件151的脉冲光同步地进行图像采集。由于图像采集单元11采用CMOS/CCD图像传感器能够以每秒几十帧到上百帧的拍摄速度进行拍摄，所以在星点投射组件151采用连续光源的情况下，在曝光过程中，如果目标物体10产生了快速运动，会导致所拍摄的星点拉线，进而影响星点的检测精度。若星点投射组件151采用脉冲光进行星点投射，由于发光脉冲较短，在短时间内即使头部速度较快，图像采集单元11采集的星点也依然为点状，不会产生拉线。同时，将图像采集单元11设置为与星点投射组件151的脉冲光同步，使得图像传感器的曝光时间设置为等于或者略大于脉冲时间，这样可以降低环境光对星点的干扰，提高星点检测的性噪比。在位姿识别装置1刚开始运行的时候，可以通过搜索过程来实现曝光时间与合作标记单元15脉冲发光时刻的同步。本领域技术人员已知有不同的同步实现方法，而本发明并不限于同步的具体实现方式，因此在此不再赘述。

图像采集单元11采集不均匀分布于面12上的初始星点图像(多个标记的初始图像)。处理和计算单元13包括图像处理单元131和位姿计算单元132。图像处理单元131提取位于初始星点图像上面的星点的二维坐标并产生一张初始星表。该初始星表包含有所获得初始星点图像的所有检测出的星点二维坐标。然后，通过无线或有线的方式将该星表传输给位姿计算单元132。初始拍摄完成后，图像采集单元11继续进行实时采集，并将经过图像处理单元131提取的实时星点坐标通过有线或者无线的方式传输给位姿计算单元132。

位姿计算单元132在获得当前帧的星点位置以后，可以采用例如星图匹配算法来识别出每一个星点与初始星表中星点的对应关系。然后选取当前帧和初始星表中共有的星点作为变化后和变化前的点集合，由于头部的姿态变化和在空间中的位移，当前帧所获得的星点集合可以视为初始帧的星点集合的仿射变换，因此如以上结合实施例一所讨论的，通过求解仿射变换矩阵，即可获得当前帧所对应的12面相对于初始帧所对应的面12的旋转、平移的变化量。由于实际的星点所在平面和星点位置并没有变化，该变化量是由于目标物体10的运动引起，所以上述变化量即为目标物体10相对于初始状态的位置、姿态变化量。

图2c示意性地示出了根据实施例二的位姿识别装置的另一示例，位姿识别装置1B’。如图2c所示，位姿识别装置1B’与位姿识别装置1B基本上相同，不同之处在于：位姿识别装置1B’中的合作标记单元15’包括分布在面12上的发光组件152，发光组件152发光以提供多个标记14。优选地，发光组件152为LED组件，所述多个标记14为LED组件发光产生的光点。更优选，可以通过控制LED组件的多个发光二极管发射脉冲光，并且设置图像采集单元11与所述脉冲光同步地采集标记的图像。在一个示例中，多个发光二极管发光产生的光点不均匀地分布于面12上，并且后续处理和计算单元13的位姿计算单元132可以例如通过星敏算法识别各个标记。

以下将结合图3a和图3b介绍根据本发明实施例三的虚拟现实显示装置2，其用于佩戴在目标物体10上以根据目标物体的位姿显示相应画面。例如可以佩戴在人的头部，以根据人的运动以及头部的姿态显示相应的虚拟现实画面。

如图3a所示，虚拟现实显示装置2包括位姿识别装置210，以及显示组件220。位姿识别装置210配置用于获取目标物体10的实时位置和实时姿态。显示组件220配置用以显示根据目标物体10的实时位置及实时姿态而生成的画面。所述画面可以为单幅的静态画面，也可以为由多幅画面组成的动态画面。

虚拟现实显示装置还可以包括支架230,用于将位姿识别装置210和显示组件220支撑在目标物体10上。

位姿识别装置210可以实现为根据上述实施例一的位姿识别装置。具体而言，位姿识别装置210可以包括图像采集单元211以及处理和计算单元213。图像采集单元211采集目标物体10处于初始位置和初始姿态时分布在预定形状的面12上的多个标记14的初始图像以及实时地采集多个标记14的实时图像。处理和计算单元213基于图像采集单元211采集的初始图像以及实时图像、所述面12的预定形状和目标物体10的初始位置和初始姿态计算出所述目标物体10的实时位置及实时姿态。

处理和计算单元213可以进一步包括图像处理单元2131和位姿计算单元2132。图像处理单元2131从初始图像中提取多个标记14在该图像中的初始二维坐标和从实时图像中提取多个标记14在该图像中的实时二维坐标。位姿计算单元2132接收来自所述图像处理单元2131的初始二维坐标和实时二维坐标。位姿计算单元2132识别多个标记14，以建立所述实时图像中的多个标记14与初始图像中的多个标记14的对应关系。然后基于所述对应关系，计算多个标记14的实时二维坐标与初始二维坐标之间的仿射矩阵以及根据所述仿射矩阵以及目标物体10的初始位置和初始姿态，位姿计算单元2132计算出目标物体10的实时位置和实时姿态。

在图3b所示示例中，虚拟现实显示装置2实现为虚拟现实眼镜。在其它示例中，还可根据实际需求将所述虚拟现实显示装置2配置为其它类型的头戴装置乃至由若干佩戴组件共同组成的装置等不同结构的虚拟现实显示装置。

在虚拟现实眼镜2中，支架230可以为眼镜的镜架；而显示组件220可以包括显示屏和投影镜头。在图3b所示示例中，显示组件220包括：第一显示屏221、第二显示屏222、第一投影镜头223以及第二投影镜头224。第一显示屏221、第二显示屏222、第一投影镜头223以及第二投影镜头224分别对应着人的左眼和右眼布置，第一投影镜头223以及第二投影镜头224布置为相对于第一显示屏221、第二显示屏222更加靠近人的眼睛。

以下将结合图4介绍根据本发明实施例四的虚拟现实系统3，该系统用于根据目标物体的位姿显示相应画面。图4示出了该系统的示意性框图。

如图4所示，虚拟现实系统3包括:虚拟现实显示装置32，以及与虚拟现实显示装置32通信的上位机单元31。上位机单元31配置用以根据来自虚拟现实显示装置32中的位姿识别装置310的所述目标物体的实时位置及实时姿态生成相应的画面，并将所述画面传送给所述虚拟现实显示装置32中的显示组件320，以显示相应的画面。

虚拟现实显示装置32可以实现为根据上述实施例三的虚拟现实显示装置2，在此不再赘述。

上位机单元31可以由通用计算机构成，也可以实现为专用于该虚拟现实系统的计算机装置。特别是，上位机单元31可以实现为便携式的主机装置，例如，能够佩戴在人的腰间的小型主机装置。本发明的虚拟现实显示系统3并不限于上位机单元31的具体形式，而只要其能够提供足够的运算能力，能够根据实时的位姿生成相应的虚拟现实画面。

虚拟现实系统3还可以包括合作标记单元315，用于产生配合根据本发明实施例的虚拟现实显示装置32使用的多个标记。合作标记单元315可以实现为例如结合图2b和2c介绍的合作标记单元15或合作标记单元15’，在此不再赘述。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。