一种实现画面虚拟透明动态调节的增强现实头盔及方法与流程

本发明涉及领域，尤其涉及一种实现画面虚拟透明动态调节的增强现实头盔及方法。

背景技术

增强现实(augmentedreality，简称ar)技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在显示模块上把虚拟世界套在现实世界并进行互动。

目前，增强现实头盔虚拟透明效果的成像位置和画面大小比例是固定的，这造成了远于设定位置的景物看起来会偏小，而近于设定位置的景物看起来会偏大，用户在使用上会感觉远的景物偏远，而近的景物偏近。这使用户在使用中有整个空间被拉伸的感受，同时也给用户在实际使用上带来了误操作的可能。

此外，由于硬件大小限制以及不同用户的瞳距不同，屏幕到人眼之间的光学器件可能处于中心偏离的状态，这种偏离状态会导致左右眼画面无法重合，为解决此问题，用户在使用不同硬件时可能都需要额外的校准过程使画面重合。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1、用户使在用过程中整个空间的感受被拉伸，会感觉远的景物偏远，而近的景物偏近；

2、用户在使用不同硬件时可能都需要额外的校准过程使画面重合，调节过程复杂繁琐。

技术实现要素：

为了克服现有技术中相关产品的不足，本发明提出一种实现画面虚拟透明动态调节的增强现实头盔及方法，解决当前增强现实头盔操作繁琐以及因空间拉伸引起误操作的问题。

本发明提供了一种实现画面虚拟透明动态调节的增强现实头盔，包括固定连接的盔帽以及视觉模块，所述视觉模块包括：图像获取模块、瞳距调节模块、显示模块、处理模块以及目镜；所述图像获取模块、瞳距调节模块、显示模块、处理模块以及目镜均设置在所述盔帽上，其中，所述图像获取模块设置在所述盔帽的正面，所述显示模块和目镜设置在所述盔帽的反面，且所述显示模块设置在所述目镜的前方，所述图像获取模块、瞳距调节模块和显示模块分别与所述处理模块电性连接；所述图像获取模块用于获取外部的图像数据，所述显示模块用于根据接收的控制指令对虚拟图像和外部图像处理并叠加显示；所述目镜包括两个，所述目镜用于外部观看所述显示模块显示的图像，所述瞳距调节模块用于调节所述两个目镜之间的间距；所述处理模块用于获取内部各个组件的硬件参数并对所述对应的组件发送对应的控制指令，动态调节透过所述目镜显示的图像。

作为本发明的进一步改进，所述处理模块包括：解析单元，用于解析所述图像获取模块获取的外部图像数据确定目标对象的深度参数；传感器单元，用于获取内部各个组件的硬件参数；计算单元，用于根据所述深度参数和硬件参数确定图像的缩放系数以及额外的偏移角；调节单元，用于根据所述图像的缩放系数以及额外的偏移角向对应的组件发送控制指令以执行对应的调节操作。

作为本发明的进一步改进，所述传感器单元获取的硬件参数包括：两个目镜结构中心点的间距、人眼到所述目镜的距离、所述目镜的孔径、所述目镜的焦距以及所述显示装置的半径。

作为本发明的进一步改进，所述处理模块还包括：虚拟图像单元，用于生成虚拟图像并输出到所述显示装置。

作为本发明的进一步改进，所述调节单元具体用于如下至少一种调节操作：调节所述目镜之间的间距、调节显示模块的显示图像以及调节所述调节虚拟图像单元的视场方向。

作为本发明的进一步改进，所述头盔还包括：电源模块以及开关控制模块，所述图像获取模块、瞳距调节模块、显示模块、处理模块以及开关控制模块均与所述电源模块电性连接，所述开关控制模块设置在所述外壳的外侧并与所述显示模块电性连接；所述电源模块用于为所述图像获取模块、瞳距调节模块、显示模块、处理模块以及开关控制模块提供能量，所述开关控制模块用于调节所述显示模块亮度以及电源的开启和关闭。

本发明实施例提供了一种应用于上述任一项所述增强现实头盔的实现画面虚拟透明动态调节的方法，包括：获取外部的图像数据，将虚拟图像和外部图像叠加显示；获取内部各个组件的硬件参数并向对应的组件发送控制指令以执行对应的调节操作。

作为本发明的进一步改进，所述获取内部各个组件的硬件参数并向对应的组件发送控制指令以执行对应的调节操作包括：解析获取的外部图像数据确定目标对象的深度参数；获取内部各个组件的硬件参数；根据所述深度参数和硬件参数确定图像的缩放系数以及额外的偏移角；根据所述图像的缩放系数以及额外的偏移角向对应的组件发送控制指令以执行对应的调节操作。

作为本发明的进一步改进，所述方法还包括：生成虚拟图像并输出。

作为本发明的进一步改进，其特征在于，在所述根据所述硬件参数和所述图像的缩放系数向显示模块发送控制指令以执行对应的调节操作中，所述调节操作至少包括如下一种：调节所述目镜之间的间距、调节显示模块的显示图像以及调节所述调节虚拟图像单元的视场方向。

与现有技术相比，本发明有以下优点：

本发明实施例所述实现画面虚拟透明动态调节的增强现实头盔及方法通过获取内部各个组件的硬件参数并对所述对应的组件发送对应的控制指令，动态调节透过所述目镜显示的图像，实现了左右眼画面位置的自动调节，便可将外部环境与虚拟内容的重合显示，实现画面虚拟透明的自动调节，使用户获得了更好的使用体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述增强现实头盔的正面结构示意图；

图2为本发明所述增强现实头盔的反面结构示意图；

图3为本发明所述视觉模块的结构示意图；

图4为本发明所述画面虚拟透明的原理示意图；

图5为本发明计算人眼视场角的原理示意图；

图6为本发明所述双目摄像头视场角的示意图；

图7为本发明计算图像的缩放系数α的示意图；

图8为本发明所述显示屏与目镜光学结构中心不对称的示意图；

图9为本发明计算偏移角示意图；

图10为本发明所述图像获取模块视场角调节示意图；

图11为本发明所述实现画面虚拟透明动态调节的方法的流程示意图；

图12为本发明所述应用于所述实现画面虚拟透明动态调节的方法的电子设备的硬件示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例,附图中给出了本发明的较佳实施例。本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

一般增强现实头盔的技术途经有两种，分别为光学透视技术和视频透视技术，所述的光学透视技术即是将外部图像和投影图像直接通过透镜获取，而视频透视技术则是通过摄像头获取外部图像并将获取的虚拟图像叠加显示，本发明实施例采用了所述视频透视技术来实现画面虚拟透明。

参阅图1和图2所示，所述实现画面虚拟透明动态调节的增强现实头盔包括固定连接的盔帽2以及视觉模块1。

参阅图3所示，所述视觉模块1包括图像获取模块11、瞳距调节模块12、显示模块13、处理模块14以及目镜15；

所述图像获取模块11、瞳距调节模块12、显示模块13、处理模块14以及目镜15均设置在所述盔帽2上，其中，所述图像获取模块11设置在所述盔帽2的正面，所述显示模块13和目镜15设置在所述盔帽2的反面，且所述显示模块13设置在所述目镜15的前方，所述图像获取模块11、瞳距调节模块12和显示模块13分别与所述处理模块14电性连接。

所述图像获取模块11用于获取外部的图像数据，在本发明实施例中，所述图像获取装置为双目摄像头。

所述显示模块13用于将虚拟图像和外部图像叠加显示，所述显示模块13为显示屏，包括但不限于液晶显示屏、led(发光二极管)显示屏等；

所述目镜15包括两个，所述目镜15用于使用者从外部观看所述显示模块13显示的图像，所述瞳距调节模块12用于调节所述两个目镜15之间的间距，用以适应不同瞳距的使用者。

所述处理模块14用于获取内部各个组件的硬件参数并对所述显示模块13以及瞳距调节模块12发送对应的控制指令，动态调节透过所述目镜15显示的图像；所述处理模块14包括解析单元141、传感器单元142、计算单元143、调节单元144和虚拟图像单元145。

所述解析单元141用于解析所述图像获取模块11获取的外部图像数据确定目标对象的深度参数，所述的目标对象的深度参数为目标对象离所述双目摄像头的距离，可选的，所述深度参数还可以通过红外深度相机、激光测距或通过摄像镜头对焦计算物距等现有技术获取。

所述传感器单元142用于获取内部各个组件的硬件参数，所述传感器单元142获取的硬件参数包括：人眼到所述目镜15的距离、所述目镜15的孔径、所述目镜15的焦距以及所述显示装置的半径；

所述计算单元143用于根据所述深度参数和硬件参数确定图像的缩放系数以及额外的偏移角。

所述调节单元144用于根据所述图像的缩放系数以及额外的偏移角向对应的组件发送控制指令以执行对应的调节操作，所述调节单元144具体用于调节所述目镜15之间的间距、调节所述图像获取模块11的视场方向以及调节所述调节虚拟图像单元145的视场方向。

所述虚拟图像单元145用于生成虚拟图像并输出到所述显示装置。

下面将介绍本发明实施例所述增强现实头盔实现画面虚拟透明动态调节的原理，具体的：

参阅图4所示，在人眼与摄像头视场角都固定的情况下，看物体时，如要实现画面虚拟透明，则人眼视场角θ1与摄像头的视场角θ3应重合，在此情况下，无论是否佩戴增强现实头盔，看到的物体大小都是一致的。但由于人眼与摄像头之间存在距离差，而且两者视场角大小也不一致，如果显示屏内画面的大小固定，那么在看近处物体时，显示屏的图像被放大，看起来图像就会较裸眼看到的效果偏大；反之看远处物体时，看起来的图像就会偏小，因此，θ3小于或等于θ1都无法实现画面虚拟透明，而整个视域内一定存在一个近距范围，摄像头的视场无法覆盖人眼视场。由于人眼存在明视距离，设该明视距离为250mm，大于此距离人眼可以很轻松的清晰成像，而短于此距离，虽然人眼可以在一定范围内增加屈光度，但更容易疲劳，长时间保持也会有损视力，因此明视距离以内的视域不参与实现画面虚拟透明，即只需摄像头的视场角θ3在人眼明视距离250mm与人眼视场角θ1重合，硬件上就具备了实现画面虚拟透明的条件，故实现画面虚拟透明必须要求摄像头的视场角θ3应大于人眼视场角θ1。

参阅图5所示，在使用增强透视头盔时人眼最大视场角是由人眼与目镜15的间距l，目镜15的通光孔径r，目镜15焦距f以及屏幕半径大小s所决定的；可选的，由于增强透视头盔在设计时，上述的人眼与目镜15的间距l、目镜15的通光孔径r、目镜15焦距f以及屏幕半径大小s均以确定，所述各个硬件参数也可以在出厂时存储在所述增强透视头盔内部，所述传感器单元142可以直接获取。所述θ2是目镜15的视场角，已知tanθ1＝r/l，tanθ2＝(s-r)/f，根据光线追踪公式可以得到：tanθ1＝tanθ2+r/f，而硬件参数的确定也就确定了人眼的视场角θ1，以上参数不变，则人眼的最大视场角也不变，其值为：

在人眼最大视场角θ1确定的情况下，要实现不同视距处景象的画面虚拟透明，需根据成像距离实时调节摄像头的视场角θ3，使之与人眼视场角θ1匹配。

参阅图6所示，所述双目摄像头的视场角除与镜头本身设计视场角相关外，还与成像传感器的靶面大小相关，对于相同的镜头，靶面越小，则所得的视场角越小，反之亦然。所述成像传感器的靶面在出厂时已经确定，也就是说摄像头模组的视场角θ3是固定值。

参阅图7所示，若令人眼的到摄像头的双目距离为a，目标对象的深度参数为b，则人眼视域大小d和双目摄像头的视域大小e分别为：

d＝(a+b)·tanθ1(2)

e＝b·tanθ3(3)

令所述双目摄像头的视域大小e与人眼视域大小d的比值为图像的缩放系数α，结合式(1)、(2)和式(3)，所述计算单元143通过计算得到

由于各个组件的硬件参数在出厂时已经确定，为了达到虚拟透明效果所述摄像头的视场角θ3必定大于人眼视场角θ1，因此只需要实时获取目标对象的深度参数b即可计算出达到虚拟透明效果时图像的缩放系数α，如前文所述，增强现实头盔在明视距离250mm处，θ3与相交，此时画面的缩放系数为1，摄像头获取的图像画面全部投射至显示屏上，明视距离以内，增强现实头盔放弃清晰成像以保持与裸眼一致，而远于明视距离处，摄像头获取的图像画面已大于人眼最大视场角所能看到的内容，因此代入大于1的缩放系数，使部分画面“溢出”屏幕不显示，从而获得虚拟透明的效果，本发明实施例所述调节单元144通过实时调节所述显示模块13图像的缩放系数α，则所述显示模块13可在全视域范围内将所述图像获取模块11获取到的外部环境内容实现画面虚拟透明显示。

同理，所述虚拟图像单元145生成的虚拟图像为了实现虚拟透明效果，也需要对相应的虚拟视场角进行调整，由于所述虚拟图像的显示效果与所述图像获取装置所获取图像的显示效果不同，在本发明实施例中，所述虚拟图像单元145的虚拟视场角与所述人眼视场角大小相同时即可实现虚拟透明效果，当所述计算单元143确定了人眼最大视场角后，所述调整单元发送控制指令到所述虚拟图像单元145实时对应调整所述虚拟视场角，达到与人眼通过目镜15看到的虚拟物体大小一致。

参阅图8所示，在某些情况下，显示屏与目镜15的光学结构中心不对称会导致光心偏移，图中方框表示显示屏，圆圈表示目镜15，左侧十字为显示屏的结构中心点，而右侧十字为目镜15的结构中心点，da为显示屏的宽度，de为两个目镜15结构中心点的间距(即默认瞳距)，参阅图9所示，当显示屏的宽度da大于两个目镜15结构中心点的间距de时，就会产生光学中心的偏移，偏移量δd＝(da-de）/2，而显示屏默认显示的画面依然以屏幕中心为原点，这样就引入了额外的偏移视角，使得双目透光目镜15看到的画面不能重合。

本发明实施例所述传感器单元142获取所述显示屏的宽度da以及所述两个目镜15结构中心点的间距de，所述计算单元143根据所述da和de计算得到所述偏移量δd，在本发明实施例中，所述两个目镜15均为薄透镜，根据光学原理以及式(1)，则所述偏移量引起的偏移角θ可得：

θ＝θ′＝arctan(δd/f）(5)

所述偏移量δd带来的额外的视场偏转角θ，因为额外的视场偏转角既对真实相机拍摄到的现实画面，也对虚拟相机拍摄到的虚拟物体画面产生了同样的效果，使两种画面都不能重合，因此两种相机都要反方向偏转，本发明实施例通过改变图像获取模块11以及虚拟图像单元145的视场方向进行抵消，转动角度与所述偏转角大小相等，方向相反，参阅图10所示，为本发明所述图像获取模块11视场角调节示意图。本发明实施例所述调节单元144根据所述偏移角θ，发送相应的控制指令到所述瞳距调节模块12、图像获取模块11以及虚拟图像单元145，分别调整瞳距、图像获取模块11以及虚拟图像单元145的视场方向，以抵消所述额外视场偏转角的影响。

所述增强现实头盔还包括电源模块16以及开关控制模块17，所述图像获取模块11、瞳距调节模块12、显示模块13、处理模块14以及开关控制模块17均与所述电源模块16电性连接，所述开关控制模块17设置在所述外壳的外侧并与所述显示模块13电性连接；所述电源模块16用于为所述图像获取模块11、瞳距调节模块12、显示模块13、处理模块14以及开关控制模块17提供能量，所述开关控制模块17用于调节所述显示模块13亮度以及电源模块16的开启和关闭。

在本发明实施例中，所述增强现实头盔通过获取内部各个组件的硬件参数并对所述对应的组件发送对应的控制指令，动态调节透过所述目镜15显示的图像，实现了左右眼画面位置的自动调节，便可将外部环境与虚拟内容的重合显示，实现画面虚拟透明的自动调节，使用户获得了更好的使用体验。

实施例二

参阅图11所示，为本发明所述实现画面虚拟透明动态调节的方法的流程示意图，包括：

s101：获取外部的图像数据，将虚拟图像和外部图像叠加显示。

s102：获取内部各个组件的硬件参数并向对应的组件发送控制指令以执行对应的调节操作。

可选的，本发明实施例解析获取的外部图像数据确定目标对象的深度参数；获取内部各个组件的硬件参数；根据所述深度参数和硬件参数确定图像的缩放系数以及额外的偏移角；根据所述图像的缩放系数以及额外的偏移角向对应的组件发送控制指令以执行对应的调节操作。

可选的，本发明实施例还生成虚拟图像并输出。

可选的，本发明实施例在所述根据所述硬件参数和所述图像的缩放系数向显示模块发送控制指令以执行对应的调节操作中，所述调节操作至少包括如下一种：调节所述目镜之间的间距、调节显示模块的显示图像以及调节所述调节虚拟图像单元的视场方向。

上述实施例所述的增强现实头盔可执行本发明实施例所提供的实现画面虚拟透明动态调节的方法，所述实现画面虚拟透明动态调节的方法具备上述增强现实头盔相应的功能模块和有益效果，具体请参阅上述增强现实头盔的实施例，本发明实施例在此不再赘述。

实施例三

图12是本发明实施例提供的实现画面虚拟透明动态调节的方法的硬件结构示意图，如图所示，该电子设备包括一个或多个处理器310以及存储器320。以一个处理器310为例。该电子设备还可以包括：输入装置330和输出装置340。

处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器320作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器310通过运行存储在存储器320中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的实现画面虚拟透明动态调节的方法。

存储器320可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器320可选包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置330可接收输入的数字或字符信息，以及产生信号输入。输出装置340可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器320中，当被所述一个或者多个处理器310执行时，执行上述任一实施例所述的实现画面虚拟透明动态调节的方法。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例提供的实现画面虚拟透明动态调节的方法。

本发明实施例提供了一种非暂态(非易失性)计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任一实施例所述的实现画面虚拟透明动态调节的方法。

本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一实施例所述的实现画面虚拟透明动态调节的方法。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明所提供的上述实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

以上仅为本发明的实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。