双目ar头戴显示设备及其信息显示方法
【专利摘要】本发明公开了一种双目AR头戴显示设备及其信息显示方法，通过液体透镜变焦来实现投影距离的调节，通过计算图像显示源上的有效显示信息相对偏移量，实现投影角度的调节，最终实现将虚拟信息精确叠加到目标物空间位置上，使虚拟信息与环境高度融合，实现真正意义上的增强虚拟现实。本发明方案简单，在头戴显示设备内预置离映射关系η的前提下，只需要获取目标物相对使用者的空间位置数据即可，而该空间位置数据测量方式多样，可通过双目测距，景深摄像头等实现，硬件技术成熟，可靠性高且成本低。
【专利说明】
双目AR头戴显示设备及其信息显示方法
技术领域
[0001] 本发明设及头戴显示技术领域，尤其设及一种双目AR头戴显示设备及双目AR头 戴显示设备的信息显示方法。
【背景技术】
[0002] 随着穿戴设备的兴起，各种头戴显示设备成为各大巨头公司的研发热点，逐渐进 入人们的视野。头戴显示设备是增强现实技术（Augmented Reality Technique,简称AR) 的最佳运用环境，其能将虚拟信息通过头戴设备窗口呈现在真实环境中，但是目前多数现 有AR头戴显示设备，其AR信息叠加仅考虑与目标位置Χ、Υ轴坐标的相关性，而未计算目标 的深度信息，使得虚拟信息漂浮在人眼前方，与环境融合度不高，用户体验度欠佳。
【发明内容】
[0003] 本发明的目的是提供一种双目AR头戴显示设备及双目AR头戴显示设备的信息显 示方法，可自动调节虚拟信息景深，使虚拟信息与环境完全融合。
[0004] 为了实现上述发明目的，本发明提供了一种双目AR头戴显示设备，包括光学模 块、图像显示源、目标空间位置采集模块和数据处理模块，数据处理模块内存储有映射关系 η,映射关系η为投影虚像空间位置与光学模块焦距、图像显示源上有效信息相对偏移量 之间的映射关系，其中： 阳〇化]所述光学模块包括左右两组光学透镜组，每组光学透镜组包括至少一个液体透 镜，用户透过光学模块可同时看见外界环境和图像显示屏上显示的虚拟信息；
[0006] 所述目标空间位置采集模块，用于获得人眼前方目标物相对使用者的空间位置数 据，并将此数据传送至数据处理模块，空间位置数据包括目标距使用者的距离和目标相对 使用者的空间方位角度；
[0007] 所述数据处理模块将接收到的目标物空间位置数据作为投影虚像空间位置，代入 映射关系η中，计算出光学模块待调焦距和图像显示源上有效信息相对偏移量；
[0008] 数据处理模块控制液体透镜的调节机构，使其向液体透镜加电压或加机械力改变 液体形状，使光学模块焦距调整至待调焦距；
[0009] 数据处理模块控制图像显示源，根据计算出的有效信息相对偏移量，将需显示的 虚拟信息的信息源图像，分别左右显示在图像显示源上。
[0010] 优选的，所述映射关系η为：
[0011]
阳〇1引其中，为光学模块焦距，SAPXk，S A化为图像显示源上有效显示信息的相对偏 移量，EA' i,k为当图像显示源上的有效显示信息相对偏移S Δ PX k，S Δ PYk时的投影虚拟的空 间位置。
[001引优选的，所述目标空间位置采集模块为视线追踪系统、双目测距系统、或景深摄像 头中的一种或多种。
[0014] 优选的，所述图像显示源为两块微型显示屏；或所述图像显示源为一块整屏分屏 显示。
[0015] 相应的，本发明还提供一种双目AR头戴显示设备的信息显示方法，所述头戴显示 设备的光学模块包括左右两组光学透镜组，每组光学透镜组包括至少一个液体透镜；所述 头戴显示设备内预置有映射关系η,映射关系η为投影虚像空间位置与光学模块焦距、图 像显示源上有效信息相对偏移量之间的映射关系，所述信息显示方法包括：
[0016] 在使用者通过头戴显示设备光学模块看外界环境时，头戴显示设备获取人眼前方 目标物相对使用者的空间位置数据，所述空间位置数据包括目标距使用者的距离和目标相 对使用者的空间方位角度；
[0017] 将目标物空间位置数据作为投影虚像空间位置，代入映射关系η中，计算出光学 模块待调焦距和图像显示源上有效信息相对偏移量；
[0018] 向液体透镜加电压或加机械力改变液体形状，使光学模块焦距调整至待调焦距；
[0019] 根据计算出的有效信息相对偏移量，将需显示的虚拟信息的信息源图像，分别左 右显示在图像显示源上。
[0020] 优选的，头戴显示设备通过视线追踪系统、双目测距系统、或景深摄像头中的一种 获取人眼前方目标物相对使用者的空间位置数据。
[0021] 优选的，所述映射关系η为：
[0022]
阳〇2引其中，为光学模块焦距，SAPXk，S A化为图像显示源上有效显示信息的相对偏 移量，EA' i,k为当图像显示源上的有效显示信息相对偏移S Δ PX k，S Δ PYk时的投影虚拟的空 间位置。
[0024] 本发明通过液体透镜变焦来实现投影距离的调节，通过计算图像显示源上的有效 显示信息相对偏移量，实现投影角度的调节，最终实现将虚拟信息精确叠加到目标物空间 位置上，使虚拟信息与环境高度融合，实现真正意义上的增强虚拟现实。本发明方案简单， 在头戴显示设备内预置离映射关系η的前提下，只需要获取目标物相对使用者的空间位 置数据即可，而该空间位置数据测量方式多样，可通过双目测距，景深摄像头等实现，硬件 技术成熟，可靠性高且成本低。
【附图说明】
[0025] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 W根据运些附图获得其他的附图：
[0026] 图1为人眼空间视线路径示意图；
[0027] 图2为本发明实施例双目AR头戴显示设备的信息显示方法流程示意图；
[0028] 图3为图像显示源上左右两组有效显示信息的中屯、OR、化W固定间距P从（OL OR)位置偏移至（0L2, 0R2)位置示意图；
[0029] 图4为左右有效显示信息的中屯、OR、化分别偏移至0R2、0R2,偏移前后虚像位置 示意图；
[0030] 图5为本发明实施例中，左右两部分图像源的等效对称轴0S与两组光学系统的等 效对称轴0A示意图；
[0031] 图6为标定距离映射关系η时的测试图示意。
【具体实施方式】
[0032] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0033] 本发明的发明人发现：当人眼（0L OR)注视不同空间区域的目标物时，左右眼（0L OR)的视线矢量是不一样的，图1中A/B/C/D分别代表空间中不同方位的目标物，当我们观 察（注视）其中某一个目标物，如注视目标物A，左右眼的视线方向分别为0LA/0RA代表的 空间矢量；注视目标物B，左右眼的视线方向分别为0LB/0RB代表的空间矢量。知道了注视 某一目标物（如A)时左右眼的视线空间向量，可计算出目标物A距离人眼的距离。
[0034] 设定：注视某一目标物（如A)时人眼的左右视线矢量在使用者坐标系内左 矢量L表示为（Xx, Ly, Lz, L α , L β，L 丫），其中（Xx, Ly, Lz)为左矢量上的一点坐标， 化α，Li3，L 丫）为左矢量的方向角；同理右矢量R可表示为胞，Ry，化，Ra，R0，R丫）；
[0035] 根据空间解析学方法，可求解得到注视点（目标A)距使用者的垂直距离dis :
[0036]
(公式1. 1)
[0037] 参见图2,为本发明实施例双目AR头戴显示设备的信息显示方法流程示意图，所 述头戴显示设备的光学模块包括左右两组光学透镜组，每组光学透镜组包括至少一个液体 透镜；所述头戴显示设备内预置有映射关系η :
[0038]
[0039] 其中，为光学模块焦距，SAPXk，S A化为图像显示源上有效显示信息的相对偏 移量，EA' i,k为当图像显示源上的有效显示信息相对偏移S Δ PX k，S Δ PYk时的投影虚拟的空 间位置。
[0040] 所述信息显示方法包括如下步骤：
[0041] S101 :获取人眼前方目标物相对使用者的空间位置数据，在使用者通过头戴显示 设备光学模块看外界环境时，头戴显示设备通过视线追踪系统、双目测距系统、或景深摄像 头中的一种获取人眼前方目标物相对使用者的空间位置数据，所述空间位置数据包括目标 距使用者的距离和目标相对使用者的空间方位角度；
[0042] S102:将目标物空间位置数据作为投影虚像空间位置，代入映射关系η中，计算 出光学模块待调焦距和图像显示源上有效信息相对偏移量；
[0043] S103 :向液体透镜加电压或加机械力改变液体形状，使光学模块焦距调整至待调 焦距；当光学透镜组的焦距f改变时，使用者观察到的图像显示源有效显示信息A经光学透 镜组投影的虚像A'距使用者的距离dist也随之改变，f与dist之间存在一组映射关系：
[0044]
W45] S104:根据计算出的有效信息相对偏移量，将需显示的虚拟信息的信息源图像，分 别左右显示在图像显示源上。
[0046] 当左右两组有效显不f目息的中屯、OR、化在图像显不源（如液晶显不屏）上的整 体偏移且保持OR、化的等效间距P不变的情况下，如图3所示；有效显示信息AR、AL经光 学透镜组投影的虚拟信息A'将会相对偏移，如图4所示，左右有效显示信息的中屯、OR、0L 分别偏移至0R2、0R2,偏移后的信息经光学透镜组投影后的虚像A2'距离使用者的垂直距 离不变L2 = L但投影虚像A2'在投影虚面内上下左右方位有一定的偏移；设定显示信息 所在的空间坐标系为（0S，XS，YS，ZS)，显示信息AR、AL的中屯、坐标分别是（ARXS，ARY巧， (ALXS，ALY巧，偏移后的中屯、坐标分别是（AR2XS，AR2YS)，（AL2XS，AL2Y巧偏移量分别是为
偏移过程中始终保持左右有效显示 信息中屯、等效间距P不变，故有，APRXS= APLXS，APRYS= APLYS，记在图像源载体空 间坐标系内，有效显示信息等效间距P的偏移为（A PXS，ΔΡΥ巧；使用者所在的空间坐标系 为（0E，XE，YE，Z巧，投影虚像A'的中屯、坐标为（A' XE，A' YE，)，投影虚像A2'的中屯、坐标 为（A2' XE，A2' YE，L丄），偏移量
[0047] 本发明实施例还提供一种双目AR头戴显示设备，包括光学模块、图像显示源、目 标空间位置采集模块和数据处理模块，数据处理模块内存储有映射关系η,映射关系η为 投影虚像空间位置与光学模块焦距、图像显示源上有效信息相对偏移量之间的映射关系， 可用如下公式表示：
[0048]
[0049] 其中，为光学模块焦距，为图像显示源上有效显示信息的相对偏移量，为当图像 显示源上的有效显示信息相对偏移时的投影虚拟的空间位置。
[0050] 所述光学模块包括左右两组光学透镜组，每组光学透镜组包括至少一个液体透 镜，用户透过光学模块可同时看见外界环境和图像显示屏上显示的虚拟信息；
[0051] 所述目标空间位置采集模块，用于获得人眼前方目标物相对使用者的空间位置数 据，并将此数据传送至数据处理模块，空间位置数据包括目标距使用者的距离和目标相对 使用者的空间方位角度；所述目标空间位置采集模块为视线追踪系统、双目测距系统、或景 深摄像头中的一种或多种；
[0052] 所述数据处理模块将接收到的目标物空间位置数据作为投影虚像空间位置，代入 映射关系η中，计算出光学模块待调焦距和图像显示源上有效信息相对偏移量；
[0053] 数据处理模块控制液体透镜的调节机构，使其向液体透镜加电压或加机械力改变 液体形状，使光学模块焦距调整至待调焦距；
[0054] 数据处理模块控制图像显示源，根据计算出的有效信息相对偏移量，将需显示的 虚拟信息的信息源图像，分别左右显示在图像显示源上。 阳化5] 本发明实施例中，图像显示源上有效信息相对偏移量指：图像显示源上有效信息 中屯、点相对左右图像显示源中屯、点的偏移量。
[0056] 本发明实施例中，所述图像显示源可W是两块微型显示屏，也可W是一块整屏分 左右两屏显示。
[0057] 头戴显示设备内预置的映射关系η可通过离线标定测试得到，一般由厂家测试 后，在出厂前存储于头戴显示设备内，视线映射关系η与头戴显示设备的结构相关，结构 固定后，视线映射关系η差不多也就固定了，但是对于不同使用者、佩戴误差需要一定的 修正系数进行修正。为了更充分公开本发明方案，下面举例说明映射关系η的一种标定方 法，即多个测试者测试多组数据，将测试数据进行拟合得到映射关系η。本处仅为举例，不 限定标定方法仅为运一种。
[0058] 双目头戴显示设备左右两部分图像源的等效对称轴0S与两组光学系统的等效对 称轴0Α -致，参见图5,图5中0L、OR分别为左右眼，D为瞳距，do为两组光学系统主光轴 距离。
[0059] 映射关系η获得过程：
[0060] 第一步：测试者佩戴上此头戴显示设备初始，头戴显示设备光学透镜组的焦距为 fl，图像显示源左右图像显示左右十字叉图化1，L2)，参见图6,测试者通过头戴显示设备 窗口注视投影在人眼前方重叠一起的虚拟十字叉图，此时视线追踪系统记录下此时使用者 左右眼的视线矢量；
[0061] 记图像显示源显示的左右十字叉图在图像源坐标系中的坐标分别为 (SL1X，化1Y)、（SR1X，SR1Y)，图像显示源显示十字叉图，视线跟踪系统依次记录下当前使用 者透过头戴显示设备窗口注视经头戴显示设备光学系统投影后完全重叠的虚拟图时的左 右眼视线矢量坐标，记左右眼视线矢量坐标分别为巧L1X，化1Y)、巧R1X，邸1Y)，如此可获得 一组图像显示源十字叉图位置和与之对应的左右眼视线矢量坐标的映射关系；
[0062] 切」AV如1 y) (￡L 1 乂，￡別 y)，
[0063] 依据图1所示的人眼视觉理论及公式1. 1，由左右眼视线矢量可获得注视点到人 眼的距离：故可得到使用者通过头戴显示设备窗口看到的图像信息，经头戴显示设备投影 后的虚拟画面距使用者的距离Disi
[0064] 第二步：依次将左右十字叉图整体左右偏移ΔΡΧ = 20pixel，上下偏移ΔΡΥ =3化ixe，每一次偏移后，视线追踪系统记录下使用者注视投影在眼前的虚拟十字叉图 时使用者的双目视线矢量坐标，如此进行K次操作后，总共获得k组设备图像显示源上 每一对十字叉图坐标和左右视线矢量的映射关系组，其中，设左右图像源的分辨率为 N*M，K为上述数据获取过程中图像显示源上显示的十字叉图偏移的总次数，其取值为：
阳ο化]
W66] 依据图1所示的视觉理论，使用者坐标系内双目之左矢量L表示为 (Lx，Ly，Lz，La，L0，L丫），其中化x，Ly，Lz)为左矢量上的一点坐标，化α，L0，L丫）为左 矢量的方向角；同理右矢量R可表示为（Rx，Ry，Rz，Ra，R0，R丫）记虚拟信息在使用者坐标 系中的空间方位坐标为巧X，Ey，Ez，E α，E β，E 丫），据空间解析学理论，可得到：
[007引可得测试者通过头戴显示设备窗口看到的图像信息的空间位置，用EA\k，经头戴 显示设备投影后的虚拟信息相对测试者的空间方位坐标EA'与图像显示源上左右显示信 息的偏移量（S Δ PX，S Δ PY)的映射关系：
[0074]
阳0巧]第Ξ步：改变光学镜组的焦距f，重复步第一步与第二步；
[0076] 第四步：多次重复第S步
[0077] 对W上一至四步得到的数据可获得如下映射关系：
[0078]
[0079] 其中：为第i次改变后的光学镜组的焦距，在上述数据获取过程中共I次改变 光学镜组的焦距，为图像显示源上有效显示信息的相对偏移量，diSi为光学模块焦距为f 1 时投影虚像距使用者的距离，为当图像显示源上的有效显示信息相对偏移（S Δ PXk，S Δ PYk) 时的投影虚拟的空间位置，此空间位置包含有EA'（dis，E α，E β，E 丫），I和Κ在公式里面可 W看做一个固定值，其中Κ为标定过程中图像显示源上显示的十字叉图偏移的总次数，I为 标定过程中改变光学镜组的焦距总次数。
[0080] 本发明实施例的双目AR头戴显示设备，出厂后可W配置视线追踪系统，也可W不 配置，在配置视线追踪系统的情况下，还可W在用户初次使用头戴显示设备时采用类似映 射关系η标定方式，通过显示十字叉图，并跟踪用户视线得到一组数据来对映射关系η做 适应使用者的适配。
[0081] 本发明方案用到了视线追踪系统，下面对视线追踪系统也进行简单介绍。
[0082] 视线追踪是利用电子/光学等各种检测手段获取受试者当前"注视方向"的技术， 它是利用眼球转动时相对位置不变的某些眼部结构和特征作为参照，在位置变化特征和运 些不变特征之间提取视线变化参数，而后通过几何模型或映射模型获取视线方向；根据人 眼提取的特征一般有3类：1)瞳孔中屯、与角膜反射的向量；2)角膜反射矩阵；3)虹膜的楠 圆边界。目前基于眼睛视频分析的视频追踪系统（V0G)普遍使用瞳孔-角膜反射方法，通 过追踪瞳孔中屯、和角膜反射的相对位置获得视线方向；角膜反射是光源（一般是近红外光 源）在角膜表面反射形成的虚像，相机获取到的眼睛图象中的瞳孔Ξ真实瞳孔经过角膜折 射后形成的虚像。基于瞳孔-角膜反射的视线追踪系统一般由近红外光源（850nm)、红外拍 摄器、图像采集卡、数据处理CPU组成；图像传感器（CCD)捕获的眼睛图象传输到计算机，经 图象处理提取瞳孔中屯、与光斑位置信息，通过数字图像处理的方法对面部图象进行分析理 解，并提取出平面视线方向参数，然后由建立好的数学模型将平面信息转化为空间视角信 息。
[0083] 本发明通过液体透镜变焦来实现投影距离的调节，通过计算图像显示源上的有效 显示信息相对偏移量，实现投影角度的调节，最终实现将虚拟信息精确叠加到目标物空间 位置上，使虚拟信息与环境高度融合，实现真正意义上的增强虚拟现实。本发明方案简单， 在头戴显示设备内预置离映射关系η的前提下，只需要获取目标物相对使用者的空间位 置数据即可，而该空间位置数据测量方式多样，可通过双目测距，景深摄像头等实现，硬件 技术成熟，可靠性高且成本低。
[0084] 本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥 的特征和/或步骤W外，均可任何方式组合。
[00化]本说明书（包括任何附加权利要求、摘要和附图）中公开的任一特征，除非特别叙 述，均可被其他等效或具有类似目的的替代特征加 W替换。目Ρ，除非特别叙述，每个特征只 是一系列等效或类似特征中的一个例子而已。
[0086] 本发明并不局限于前述的【具体实施方式】。本发明扩展到任何在本说明书中披露的 新特征或任何新的组合，W及披露的任一新的方法或过程的步骤或任何新的组合。
【主权项】
1. 一种双目AR头戴显示设备，其特征在于，包括光学模块、图像显示源、目标空间位置 采集模块和数据处理模块，数据处理模块内存储有映射关系η，映射关系η为投影虚像空 间位置与光学模块焦距、图像显示源上有效信息相对偏移量之间的映射关系，其中： 所述光学模块包括左右两组光学透镜组，每组光学透镜组包括至少一个液体透镜，用 户透过光学模块可同时看见外界环境和图像显示屏上显示的虚拟信息； 所述目标空间位置采集模块，用于获得人眼前方目标物相对使用者的空间位置数据， 并将此数据传送至数据处理模块，空间位置数据包括目标距使用者的距离和目标相对使用 者的空间方位角度； 所述数据处理模块将接收到的目标物空间位置数据作为投影虚像空间位置，代入映射 关系η中，计算出光学模块待调焦距和图像显示源上有效信息相对偏移量； 数据处理模块控制液体透镜的调节机构，使其向液体透镜加电压或加机械力改变液体 形状，使光学模块焦距调整至待调焦距； 数据处理模块控制图像显示源，根据计算出的有效信息相对偏移量，将需显示的虚拟 信息的信息源图像，分别左右显示在图像显示源上。2. 如权利要求1所述的双目AR头戴显示设备，其特征在于，所述映射关系τι为：其中，t为光学模块焦距，S Δ PXk，S Δ PYk为图像显示源上有效显示信息的相对偏移量， ΕΑ'为当图像显示源上的有效显示信息相对偏移S Δ PX k，S Δ PYjt的投影虚拟的空间位 置。3. 如权利要求1所述的双目AR头戴显示设备，其特征在于，所述目标空间位置采集模 块为视线追踪系统、双目测距系统、或景深摄像头中的一种或多种。4. 如权利要求1所述的双目AR头戴显示设备，其特征在于，所述图像显示源为两块微 型显示屏；或所述图像显示源为一块整屏分屏显示。5. -种双目AR头戴显示设备的信息显示方法，其特征在于，所述头戴显示设备的光学 模块包括左右两组光学透镜组，每组光学透镜组包括至少一个液体透镜；所述头戴显示设 备内预置有映射关系η，映射关系η为投影虚像空间位置与光学模块焦距、图像显示源上 有效信息相对偏移量之间的映射关系，所述信息显示方法包括： 在使用者通过头戴显示设备光学模块看外界环境时，头戴显示设备获取人眼前方目标 物相对使用者的空间位置数据，所述空间位置数据包括目标距使用者的距离和目标相对使 用者的空间方位角度； 将目标物空间位置数据作为投影虚像空间位置，代入映射关系η中，计算出光学模块 待调焦距和图像显示源上有效信息相对偏移量； 向液体透镜加电压或加机械力改变液体形状，使光学模块焦距调整至待调焦距； 根据计算出的有效信息相对偏移量，将需显示的虚拟信息的信息源图像，分别左右显 示在图像显示源上。6. 如权利要求5所述的方法，其特征在于，头戴显示设备通过视线追踪系统、双目测距 系统、或景深摄像头中的一种获取人眼前方目标物相对使用者的空间位置数据。7.如权利要求6所述的方法，其特征在于，所述映射关系ri为：其中，A为光学模块焦距，SAPXk，SAPYk为图像显示源上有效显示信息的相对偏移 量，，EA' lik为当图像显示源上的有效显示信息相对偏移S Δ PX k，S Δ PYk时的投影虚拟的空 间位置。
【文档编号】H04N13/04GK105872527SQ201510029939
【公开日】2016年8月17日
【申请日】2015年1月21日
【发明人】黄琴华
【申请人】成都理想境界科技有限公司