通用的增强现实眼镜及其标定方法与流程

本发明实施方式涉及增强现实领域，尤其涉及一种通用的增强现实眼镜及其标定方法。

背景技术：

增强现实(augmentedreality，ar)技术，是一种将真实世界信息和虚拟信息″无缝″集成的技术，是把原本在真实世界一定时间空间范围内的信息(如视觉、声音、味道、触觉等)通过电脑技术模拟仿真后再与虚拟信息叠加，令真实世界的信息和虚拟信息实时地叠加到了同一个画面或空间，再被人类感官所感知，从而达到超越现实的感官体验。

增强现实眼镜是增强现实技术在可穿戴式计算机领域的一种应用产品，作为增强现实的重要媒介，近年来取得了很大的发展，并不断走向用户，例如微软的hololens眼镜等。和虚拟现实vr眼镜相比，头戴式增强现实眼镜实现了将虚拟物体渲染在用户眼睛和视场中物理世界之间的光路上，通常这些眼镜也提供了六自由度跟踪系统可以定位其本体在世界坐标系中的位置，当用户佩戴时，为了将虚拟物体正确渲染在对齐的世界坐标系中，还需要精确地测量用户的眼镜和本体追踪坐标系之间的位置变换关系。

现有技术1的美国专利申请us2002/0105484a1公开了一种用于校准增强现实的单目光学透视头戴式显示系统的系统和方法，其中，在头戴式投射型眼镜上固定一个可以获取眼镜6自由度位姿的跟踪器，利用外部设备跟踪头戴式透射型眼镜的6自由度位姿，并使用双眼矫正的一个标志来对齐固定的平面模板图。在用户对齐平面模板图的时刻，需要准确对应外部设备计算眼镜位姿的时刻。用户需要从多个角度对齐平面模板图，并获取对应位置的眼镜位姿，通过软件计算完成标定流程。

现有技术2的中国专利申请cn104808795b公开了一种增强现实眼镜的手势识别方法及增强现实眼镜系统，其中，通过获取深度相机拍摄的深度图像，计算指尖的二维坐标，并通过将增强现实眼镜定位的指尖位置与人眼视角下的指尖位置对准，重复多次该过程，可以获得眼镜的标定参数，完成眼镜的标定。

但是，在实施本发明的过程中，发明人发现现有技术至少存在如下问题：

针对现有技术1，需要特定的外部跟踪系统，在眼镜上需要固定一个6自由度跟踪器，并定制化开发基于该跟踪器的跟踪系统，标定成本较高，且过程较为繁琐。而且，该6自由度跟踪器在眼镜上的位置若发生偏差，会造成标定结果不稳定。

针对现有技术2，标定结果的精度依赖于使用手势识别技术的可用程度与精度。而且，需要一个深度摄像头来获取手指在空间中的深度位置，成本较高，且需要实现深度相机与普通rgb相机的对齐等操作。

现有技术为了获得用户眼睛和头戴式透视型增强现实眼镜上摄像头的位置关系，通常需要配合外部跟踪设备，或者眼球追踪定位系统，技术复杂度高，成本高昂，而且步骤繁琐。

应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

技术实现要素：

针对上述问题，本发明实施方式的目的在于提供一种通用的增强现实眼镜及其标定方法，能够通过设计的标定流程以及有效利用模板图的平面跟踪技术，简化标定流程，以及降低标定成本。

为实现上述目的，本发明实施方式提供一种通用的增强现实眼镜的标定方法，包括：利用基于特征点的平面跟踪技术，获取在增强现实眼镜摄像头坐标系下平面模板图上识别点的三维坐标pc；依据该识别点(例如，一个长方形的四个顶点)制定出相似比例的图案点(缩放了的四个顶点)，也就得到了图案点投影在增强现实眼镜的虚拟屏幕上的二维坐标us。通过增强现实眼镜，将图案点和平面模板图上的识别点进行视线对齐，获得增强现实眼镜摄像头坐标系下平面模板图识别点的三维坐标pc和图案点投影渲染在增强现实眼镜的虚拟屏幕上的二维坐标us之间的匹配关系；根据pc和us之间的多组匹配关系，计算得到投影矩阵，并根据该投影矩阵，在增强现实眼镜的虚拟屏幕上渲染虚拟物体，使其与现实世界的位置重叠。

本发明实施方式还提供一种通用增强现实眼镜，包括：第一处理模块，利用基于特征点的平面跟踪技术，获取在增强现实眼镜摄像头坐标系下平面模板图的位置与姿态，推算出平面模板图上识别点的三维空间位置坐标pc；第二处理模块，用于将依据平面模板图上对应识别点制定出的图案点投影渲染在增强现实眼镜的虚拟屏幕上，对应图案点在虚拟屏幕上的二维平面位置坐标为us；第三处理模块，通过增强现实眼镜，将图案点和平面模板图上对应的识别点进行视线对齐，获得增强现实眼镜摄像头坐标系下平面模板图上识别点的三维空间位置坐标pc和图案点投影渲染在增强现实眼镜的虚拟屏幕上的二维平面位置坐标us之间的匹配关系；第四处理模块，经过多次视线对齐，并根据多组pc和us之间的一一匹配关系，获得渲染的投影矩阵f，并采用投影矩阵f，在虚拟屏幕上渲染虚拟物体，使其与现实世界的设定位置重叠。

本发明实施方式还提供一种通用增强现实眼镜，包括：存储器，用于存储代码和文档；处理器，用于执行所述存储器中所存储的代码和文档用以实现前述通用增强现实眼镜的标定方法。

由上可见，本发明实施方式提供的通用的增强现实眼镜及其标定方法，利用平面跟踪技术，通过头戴式增强现实眼镜的摄像头跟踪任意平面模板图，可以得到平面模板图上识别点在摄像头坐标系中的坐标。用户在增强现实眼镜的投影屏幕上将虚拟图案点和现实平面模板图的识别点进行视线对齐。值得关注的是，通过自研标定算法计算出投影矩阵，利用该重新在摄像头坐标系中渲染物体，获得虚拟物体和现实世界的无缝链接效果，使得虚拟物体″真实地″出现在现实世界中。

附图说明

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图逐一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施方式提供的通用的增强现实眼镜的标定方法的示意图；

图2为本发明平面模板图的示意图；

图3为本发明根据平面模板图的识别点制定出的图案点投影在增强现实眼镜的虚拟屏幕上的示意图；

图4为本发明实施方式提供的将虚拟屏幕上的图案点和平面模板图的硬拷贝上的已知位置识别点进行视线对齐的示意图；

图5为本发明实施方式提供的通用的增强现实眼镜的结构示意图

图6为本发明实施方式提供的通用的增强现实眼镜的另一结构示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

本发明实施方式提供一种通用的增强现实眼镜的标定方法，其中该增强现实眼镜为头戴式透射型增强现实眼镜。如图1所示，该方法具体包括以下步骤。

步骤1，将平面模板图加入平面跟踪sdk的图片库中。

软件开发工具包(softwaredevelopmentkit，sdk)，是软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。需要说明的是，本发明主要的操作过程依赖于一套自主研发的标定软件，该标定软件由平面跟踪sdk、标定流程应用程序两个部分整合构成。

在本步骤中，首先将平面跟踪sdk的图片库存储在服务器上，并将平面模板图加入平面跟踪sdk的图片库中。该平面模板图可以由使用标定软件的人员(可能是眼镜生产商的技术人员，也可能是使用眼镜的用户)自行选择。示例平面模板图如图2所示。该平面模板图需要满足两个条件：1.图像纹理明显，这样特征点容易被平面跟踪算法检测到，并稳定地输出该平面模板图中心点(星点)在眼镜摄像头中的位置与姿态。2.有明显的视觉识别点(8个圆点，此时n＝8，要求n不小于4)，可以用于视线对齐。注意：这里的特征点，也称为角点，是图像中各方向上灰度值均发生剧烈变化的点，通过计算机可以识别到这些灰度值变化剧烈的点，通常这些点在人眼的视觉中也有比较明显的特征，例如桌角，屋顶等等。而识别点，可以是人为定义的位置点。

步骤2，获取平面模板图中心点在增强现实眼镜摄像头坐标系下的三维坐标p。

将该平面模板图的硬拷贝贴合在墙壁上，佩戴上增强现实眼镜，并让增强现实眼镜上的摄像头能够捕捉到完整的平面模板图，最后打开增强现实眼镜中的标定软件。此时，平面跟踪sdk开始跟踪平面模板图，无论眼镜在墙壁前如何运动，只要摄像头中能够捕捉到完整的平面模板图，就可以输出平面模板图中心点在眼镜摄像头坐标系下的三维坐标p，以及平面模板图相对于摄像头的变换tci。

平面跟踪sdk的工作原理是：因为平面模板图存储在服务器上的图片库中，增强现实眼镜摄像头拍摄到平面模板图的硬拷贝时，会在服务器上的图片库中查找到对应的平面模板图，服务器中的平面模板图尺寸已知，且和该硬拷贝的平面模板图尺寸一致。

通过实时拍摄贴合固定在平整表面上的平面模板图的硬拷贝，在视频流的每一帧中提取出视觉特征点；由于视频流前后帧之间特征点在现实中固定的平面模板图上的位置不变，而在运动的摄像头的视频流中图像上显示的位置却发生了改变，通过这种变化对应关系，可以获得拍摄的增强现实眼镜摄像头相对于该固定的平面模板图的空间位置。并且由于平面模板图的尺寸已知，可以进一步计算出平面模板图中心点在增强现实眼镜坐标系中的三维坐标(平面模板图虽然固定不变，但是在眼镜坐标系中的三维坐标会随着眼镜摄像头位置的移动而改变)。

步骤3，根据中心点坐标p，计算出平面模板图上n个识别点的坐标pc。

在本步骤中，通过步骤2中计算得到了平面模板图的中心点坐标p，参考坐标系为眼镜摄像头{c}，由于平面模板图的尺寸已知，以平面模板图的中心点为坐标原点，可以用直尺分别测量计算出平面模板图坐标系中n个识别点的坐标pi，通过p+tci*pi可以计算出n个识别点的在眼镜摄像头坐标系{c}下的坐标pc。

步骤4，将根据平面模板图的识别点制定出的图案点投影在增强现实眼镜的虚拟屏幕上，获取n个图案点的二维坐标us。

在本步骤中，可以将步骤3中得到的n个识别点在平面模板图坐标系中的坐标pi输入标定软件，通过标定软件根据增强现实眼镜虚拟屏幕的参数，在虚拟屏幕上渲染出于n个与识别点等比例的图案点，记识别点在虚拟屏幕上的二维坐标为us(同样坐标原点可以设置在虚拟屏幕中心点)。根据步骤1中的平面模板图(图2)，渲染在眼镜虚拟屏幕上的8个图案点如图3所示。

步骤5，将图案点和平面模板图中的识别点进行视线对齐，获得增强现实眼镜摄像头坐标系下平面模板图中的识别点的三维坐标pc和投影在增强现实眼镜的虚拟屏幕上的二维坐标us之间的匹配关系。

在本步骤中，用户根据标定软件提示，只睁开一只眼睛，假设是左眼；此时用户的左眼可以在透射型增强现实眼镜的虚拟屏幕上看到图3中的图案点，同时可以在透过虚拟屏幕的实际平面模板图上看到图2中的识别点。依然根据标定软件提示，会引导用户按照参考图4所示的视线对齐方式，将n个图案点和贴于墙上的平面模板图进行视线对齐。在图4中，c表示增强现实眼镜上的摄像头(camera)坐标系；s表示增强现实眼镜的虚拟成像屏幕(screen)坐标系。增强现实眼镜的虚拟屏幕上会渲染出n个图案点，这些图案点和平面模板图上的识别点是一一匹配对应的。根据标定软件提示，用户会佩戴着眼睛相对平面模板图进行多个角度和多个距离的移动尝试，并进行视线对齐，直到虚拟屏幕上的这n个图案点和墙壁上的平面模板图上的那n个识别点全部重合，从而获得一组增强现实眼镜摄像头坐标系下平面模板图中识别点的三维坐标pc和投影在增强现实眼镜的虚拟屏幕上图案点的二维坐标us的匹配对应关系。

pc和us之间满足的投影关系如下式(1)所示：

us＝f*pc(1)

其中，f为投影矩阵。

步骤6，联立多组pc和us求解线性方程组，获得渲染的投影矩阵。在本步骤中，联立多组pc和us求解线性方程组，获得渲染的投影矩阵。进一步地，投影矩阵f可以分解为用户眼睛在投影屏幕上的内参ke(与自身特性相关的参数)，以及用户眼睛和摄像头之间的位姿关系(外参)，旋转为rce，平移为tce，则投影矩阵f如下式(2)所示：

f＝ke[rcetce](2)

在本发明具体实施例中，该f矩阵是一个4×4矩阵，有16个参数，使用16组(1)式可以求得f矩阵，为了获得较好的效果。通常这16个参数需要进行多次视线对齐获取的方程组求解，这一流程由标定软件提示完成。只需要在虚拟屏幕的不同位置重新渲染图案点(可以适当变换比例，由标定软件完成)，并重新进行视线对齐。物体在摄像头中渲染位置矩阵是一个4×4矩阵p，假设原始渲染的位置矩阵为p_origin，f×p_origin可以得到新的渲染位置矩阵，使用该渲染位置矩阵即可完成眼镜的真实渲染过程。

步骤7，根据投影矩阵，渲染虚拟物体，与现实世界的位置重叠。

在本步骤中，根据上述的投影矩阵f，可以修改虚拟物体在增强现实眼镜摄像头中的位置，从而将摄像头画面中的虚拟物体渲染在增强现实眼镜虚拟成像屏幕上。注意需要标定用户的左右两只眼睛，其投影矩阵f不一样，该过程也会通过标定软件提示完成。

通常眼镜摄像头会捕捉其观察到的现实世界的图片，但是该现实世界的图片若直接投射在虚拟屏幕上，会造成眼镜摄像头捕捉图片和透过虚拟屏幕看到的现实世界不一致，通过f矩阵变换后，可以将摄像头捕捉的图片和透过屏幕看到的现实世界统一起来。但是通常只需要通过虚拟屏幕渲染虚拟物体，使用f投影矩阵渲染虚拟物体可以实现将虚拟物体呈现在现实世界的固定位置。同时将该虚拟物体的图片背景(也就是眼镜摄像头捕捉到的图片)去除。如此，可以使虚拟物体和现实世界的位置重叠，达到在用户视线中虚拟物体和现实世界空间位置的无缝链接效果。

本发明的另一个实施例还提供了一种通用增强现实眼镜，如图5所示，包括：

第一处理模块501，利用基于特征点的平面跟踪技术，获取在增强现实眼镜摄像头坐标系下平面模板图的位置与姿态，从而推算出平面模板图上识别点的三维空间位置坐标pc；

第二处理模块502，用于将依据平面模板图上对应识别点制定出的图案点投影渲染在增强现实眼镜的虚拟屏幕上，对应图案点在虚拟屏幕上的二维平面位置坐标为us；

第三处理模块503，佩戴增强现实眼镜，将图案点和平面模板图上对应的识别点进行视线对齐，获得增强现实眼镜摄像头坐标系下平面模板图上识别点的三维空间位置坐标pc和图案点投影渲染在增强现实眼镜的虚拟屏幕上的二维平面位置坐标us之间的匹配关系；

第四处理模块504，经过多次视线对齐，根据多组pc和us之间的一一匹配关系，获得渲染的投影矩阵f，并采用投影矩阵f，在虚拟屏幕上渲染虚拟物体，使其与现实世界的设定位置重叠，达到在用户视线中虚拟物体和现实世界空间位置的无缝链接效果。

第一处理模块，具体用于：建构平面跟踪软件开发工具包sdk的图片库，并将设定尺寸的平面模板图加入平面跟踪sdk的图片库中；利用增强现实眼镜上整合了平面跟踪sdk的标定软件，根据增强现实眼镜摄像头中捕捉到的平面模板图识别选用图片库中尺寸相同的平面模板图；利用平面跟踪sdk，获取平面模板图中心点在增强现实眼镜摄像头坐标系中的三维坐标，以及该平面模板图相对于摄像头的旋转，其中的三维坐标加上旋转构成了位姿；并进一步推算出平面模板图上识别点在增强现实眼镜摄像头坐标系中的的三维坐标pc。

第二处理模块，具体用于：获取电子版平面模板图的硬拷贝，增强现实眼镜上的标定软件根据平面模板图的硬拷贝，依据平面模板图上n个对应识别点，在其软件界面上显示制定出的n个图案点；将图案点投影渲染在增强现实眼镜的虚拟屏幕上，获取n个图案点的二维坐标us。

第三处理模块，具体用于：在用户根据标定软件指示，佩戴增强现实眼镜相对贴合在平整表面上的平面模板图的硬拷贝，并在三维空间中进行多个角度和多个距离移动后，将投影在增强现实眼镜虚拟屏幕上的n个图案点和平面模板图的硬拷贝上的n个对应识别点进行视线对齐，获得n组增强现实眼镜摄像头坐标系下平面模板图识别点的三维坐标pc和投影渲染在增强现实眼镜的虚拟屏幕上的二维坐标us的匹配对应关系；pc和us之间满足的投影关系式为：us＝f*pc，其中，f为投影矩阵。

第四处理模块，具体用于：联立多组pc和us之间的投影关系式，求解线性方程组，获得渲染的投影矩阵f；将投影矩阵f分解为用户眼睛在投影屏幕上的内参ke，以及用户眼睛和摄像头之间的位姿关系，包括旋转rce和平移tce，具体表示为满足：f＝ke[rcetce]；根据投影矩阵f，修改虚拟物体在增强现实眼镜虚拟屏幕上的渲染位置；增强现实眼镜摄像头对获取到的现实世界图片进行透明背景渲染，去除现实世界图片的背景；将虚拟物体和现实世界设定的位置重叠。

将虚拟物体和现实世界设定的位置重叠后，可以达到在用户视线中虚拟物体和现实世界空间位置的无缝链接效果。

不难发现，本实施方式的通用增强现实眼镜为前述的通用的增强现实眼镜的标定方法相对应的装置实施例，本实施方式可与前述方法互相配合实施。前述方法提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。

本发明另外一个实施例还提供了一种通用增强现实眼镜，如图6所示，包括存储器和处理器，其中：

存储器601，用于存储代码和文档；

处理器602，用于执行存储器中所存储的代码和文档用以实现前述通用增强现实眼镜的标定方法实施例中的方法步骤。

由上可见，本发明提供的通用增强现实眼镜及其标定方法，利用平面跟踪技术，头戴式增强现实眼镜的摄像头跟踪任意平面模板图，并得到平面模板图上识别点在摄像头坐标系中的坐标，通过与虚拟屏幕上的图案点进行视线对齐，获得投影矩阵f。用户在增强现实眼镜的投影屏幕上通过f矩阵渲染，将虚拟物体轮廓和现实物体的轮廓进行对齐从而获得虚拟物体和现实世界的无缝链接效果。

本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。

在本说明书所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所属技术领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，并被通讯设备内部的处理器执行，前述的程序在被执行时处理器可以执行包括上述方法实施例的全部或者部分步骤。其中，所述处理器可以作为一个或多个处理器芯片实施，或者可以为一个或多个专用集成电路(applicationspecificintegratedcircuit，asic)的一部分；而前述的存储介质可以包括但不限于以下类型的存储介质：闪存(flashmemory)、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。