一种AR眼镜及基于AR眼镜的增强现实方法与流程

本发明涉及增强现实技术领域，具体涉及一种ar眼镜及基于ar眼镜的增强现实方法。

背景技术：

在ar眼镜中，通过使用眼镜端摄像头采集的画面数据，再利用ar眼镜的光学显示部分将虚拟的物体或者模型叠加到用户透过ar眼镜观察到的现实场景上，呈现到用户的眼前，从而达到虚实融合的目的。如果我们确定了ar眼镜中摄像头获取的画面中的物体与用户透过ar眼镜显示部分观察到的现实中的对应物体的坐标关系，通过相应的计算和转换，就可以做到让用户在ar眼镜显示叠加区域看到的虚拟物体的坐标和透视的实际场景中特定的物体始终保持叠加或相对关系。形象点说就是，让用户看到的虚拟物体始终叠加到现实场景状态的某一物体上，从而达到视觉增强的效果。

技术实现要素：

本申请提供一种基于ar眼镜的增强现实方法，旨在通过ar眼镜摄像头获取画面中物体的位置与ar眼镜显示区域的位置之间的关系，在ar眼镜显示区域叠加虚拟物体信息，达到虚实融合的效果。

根据第一方面，本申请提供一种基于ar眼镜的增强现实方法,包括：

ar眼镜摄像头拍摄得到前方的真实场景图像；

获取待叠加信息在摄像头预览画面中的第一位置信息；

根据所述第一位置信息得到待叠加信息在眼镜显示区域的第二位置信息；

根据所述第二位置信息在所述眼镜显示区域叠加显示所述真实场景图像和待叠加信息。

其中，所述根据所述第一位置信息得到待叠加信息在眼镜显示区域的第二位置信息，包括：

通过测量校准方法获取所述摄像头预览画面和眼镜显示区域之间的坐标转换关系；

根据所述摄像头预览画面和眼镜显示区域之间的坐标转换关系以及所述第一位置信息得到待叠加信息在眼镜显示区域的第二位置信息。

其中，所述通过测量校准方法获取所述摄像头预览画面和眼镜显示区域之间的坐标转换关系；包括：

s1：采用ar眼镜获取其正前方的校准图使其显示在眼镜显示区域，所述校准图的长宽比与所述眼镜显示区域的长宽比相同；

s2：调节校准界面的校准点与所述校准图上的校准点重合，所述校准界面为显示在所述眼镜显示区域上由网格组成的界面，其大小与所述眼镜显示区域相同；

s3：调整显示在所述校准界面上的测量框使得其与摄像头预览画面中的校准图的边界重合；

s4：获取所述测量框一组对角点a、b的在校准界面中的坐标分别为a(x1，y1)、b(x2，y2)，根据公式(1)得到测量框的该组对角点在摄像头预览画面中对应的点坐标为r1(x3，y3)，r2(x4，y4)；

式(1)中，ws、hs为眼镜显示区域的分辨率，wp，hp为摄像头预览画面的分辨率。

其中，根据所述摄像头预览画面和眼镜显示区域之间的坐标转换关系以及所述第一位置信息得到待叠加信息在眼镜显示区域的第二位置信息，包括：

对于摄像头预览画面中任意第一位置信息(x,y),根据公式(2)得到该点在眼镜显示区域的第二位置信息(xr，yr)；

式(2)中，wt＝x4-x3，ht＝y4-y3。

其中，所述校准界面的校准点为校准界面的四个角点和中心点，所述校准图上的校准点为校准图的四个角点和中心点。

第二方面，本申请提供一种ar眼镜，包括：

摄像头，用于拍摄得到前方的真实场景图像；

第一位置信息获取模块，用于获取待叠加信息在摄像头预览画面中的第一位置信息；

第二位置信息获取模块，用于根据所述第一位置信息得到待叠加信息在眼镜显示区域的第二位置信息；

叠加显示模块，用于根据所述第二位置信息在所述眼镜显示区域叠加显示所述真实场景图像和待叠加信息。

其中，还包括测量校准模块，用于获取所述摄像头预览画面和眼镜显示区域之间的坐标转换关系。

其中，所述根据所述第一位置信息得到待叠加信息在眼镜显示区域的第二位置信息，包括：

通过测量校准模块获取所述摄像头预览画面和眼镜显示区域之间的坐标转换关系；

根据所述摄像头预览画面和眼镜显示区域之间的坐标转换关系以及所述第一位置信息得到待叠加信息在眼镜显示区域的第二位置信息。

其中，所述通过测量校准模块获取所述摄像头预览画面和眼镜显示区域之间的坐标转换关系；包括：

s1：采用ar眼镜获取其正前方的校准图使其显示在眼镜显示区域，所述校准图的长宽比与所述眼镜显示区域的长宽比相同；

s2：调节校准界面的校准点与所述校准图上的校准点重合，所述校准界面为显示在所述眼镜显示区域上由网格组成的界面，其大小与所述眼镜显示区域相同；

s3：调整显示在所述校准界面上的测量框使得其与摄像头预览画面中的校准图的边界重合；

s4：获取所述测量框一组对角点a、b在校准界面中的坐标分别为a(x1，y1)、b(x2，y2)，根据公式(1)得到测量框的该组对角点在摄像头预览画面中对应的点坐标为r1(x3，y3)，r2(x4，y4)；

式(1)中，ws、hs为眼镜显示区域的分辨率，wp、hp为摄像头预览画面的分辨率。

根据所述摄像头预览画面和眼镜显示区域之间的坐标转换关系以及所述第一位置信息得到待叠加信息在眼镜显示区域的第二位置信息。

其中，所述根据所述摄像头预览画面和眼镜显示区域之间的坐标转换关系以及所述第一位置信息得到待叠加信息在眼镜显示区域的第二位置信息，包括：

对于摄像头预览画面中任意第一位置信息(x,y),根据公式(2)得到该点在眼镜显示区域的第二位置信息(xr，yr)；

式(2)中，wt＝x4-x3，ht＝y4-y3。

依据上述实施例的提供的ar眼镜及基于ar眼镜的增强现实方法，通过测量校准方法获取摄像头预览画面和眼镜显示区域之间的坐标转换关系，获取叠加信息在摄像头预览画面中的第一位置信息，根据坐标转换关系得到该第一位置信息在眼镜显示区域的第二位置信息，进而根据该第二位置信息在相应位置处叠加虚拟物体信息，达到虚实融合的效果。该方法和现有的通过slam等其他技术相比，过程计算量小、叠加速度快，且适用环境广。

附图说明

图1为本申请实施例测量校准示意图；

图2为本申请实施例摄像头拍摄图；

图3为本申请实施例校准界面示意图；

图4为本申请实施例校准界面和摄像头预览画面关系示意图。

图5为本申请实施例增强现实方法流程图；

图6本申请实施例获取第二位置信息方法流程图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

在ar眼镜设备中，摄像头用于获取真实场景信息，ar眼镜显示区域(即眼镜屏幕)用于显示虚拟物体信息，这样透过ar眼镜屏幕就能观察到虚拟物体信息叠加到真实场景信息中。若能获取真实场景信息与ar眼镜显示区域的位置关系，那么在ar显示区域的某一位置显示所需要叠加的虚拟物体信息，这样透过ar眼镜观察真实场景信息时，即可实现了虚实融合。由于真实场景信息可以通过ar眼镜上的摄像头获取，而摄像头的位置和ar眼镜显示区域的位置存在固定的位置关系，由此如果能够获取摄像头预览画面中的某点在ar显示区域中的对应位置关系，即间接获得了ar眼镜显示区域和真实场景的位置关系，如此在ar眼镜显示区域显示一个虚拟物体信息，即可将该虚拟物体信息叠加到真实场景的某个位置，实现虚实融合的效果。

基于上述发明思路，本申请提供一种基于ar眼镜的增强现实方法，以下结合实施例对该方法进行详细说明：

实施例1：

本实施例提供一种测量校准方法，通过该测量校准方法获取摄像头预览画面和眼镜显示区域之间的坐标关系，如图1-4，包括：

步骤101：通过校准图2放置在距离眼镜1的正前方，其中为了摄像头和人眼能够获取足够大的视角，将校准图2与眼镜1之间的距离设置为3米，此时摄像头5可以获取校准图2和真实环境3的画面，如图1，人眼4可以透过ar眼镜1的眼镜屏幕看到校准图2，摄像头5的视角大于人眼透过眼镜屏幕观察到的视角，摄像头5也可以观察到真实场景信息3以及校准图2，即摄像头5的预览画面，如图2所示。其中为了方便校准，本实施例中校准图的长宽比与眼镜显示区域(即眼镜屏幕)的长宽比相同，在校准图上标记出其中心点和四个角点作为测量时的校准点。

步骤102：测量者佩戴ar眼镜1通过移动调整与校准图2之间的距离和观察角度，同时通过测量校准软件测量调节校准界面6上的校准点与校准图2上的校准点重合后，保持位置不动。其中校准界面6为虚拟的界面，由网格组成，其显示在眼镜的显示区域上，用来标定透过眼镜屏幕可以观察到的真实场景，即本实施例中的校准图2，该校准界面6上也设有校准点，即该校准界面的中心点和四个角点。通过该步骤的调整使得人透过眼镜屏幕可以完全看到校准图2，即此时在眼镜屏幕的任何位置显示虚拟物体信息，都可以实现虚拟物体信息叠加到现实场景的校准图2上。

步骤103：使用ar眼镜的操作控制器调节校准界面6中的测量框8的长宽和位置，使得该测量框8的边界与当前眼镜屏幕上显示的摄像头预览换画面7中的校准图影像的边界重合，记录该测量框8在摄像头预览换画面7中的位置，此时该测量框8在在摄像头预览换画面7中的区域即为摄像头预览画面7中可以进行叠加的区域。由此获得了ar眼镜显示区域和摄像头预览画面7中位置的坐标转换关系。

步骤104：获取测量框在摄像头预览画面7中位置信息，如图3中测量框8的两个角点a、b在校准界面(即眼镜显示区域)中的坐标，其中a(x1，y1)、b(x2，y2)，根据公式(1)得到测量框的a、b点在相机预览画面中对应的点坐标为r1(x3，y3)，r2(x4，y4)；即只有出现在摄像头预览画面中的r1(x3，y2)，r2(x4，y4)组成的矩形区域中物体，可以适用ar眼镜进行增强现实的叠加操作。

式(1)中，ws、hs为眼镜显示区域的分辨率，wp、hp为摄像头预览画面的分辨率，由此得到了摄像头预览画面和眼镜显示区域之间的坐标关系。

通过上述方法得到的摄像头预览画面和眼镜显示区域之间的坐标转换关系，对于摄像头预览画面内中可进行增强现实叠加的区域内任意一点，通过得到了坐标转换关系可以得到该点在ar眼镜显示区域中的对应点坐标，然后在ar眼镜显示区域中的对应点坐标处显示所需要叠加的虚拟物体信息，即可实现虚拟和现实场景的虚实融合。

值得说明的是，对每一款眼镜由于摄像头和ar眼镜屏幕的位置关系是固定的，所以只需在出厂时采用上述实施例的测量校准方法得到摄像头预览画面和眼镜显示区域之间的坐标转换关系，后续直接采用该坐标转换关系进行坐标转换完成虚实融合，无须多次校准，由此虚实融合的过程计算量更小，效果更快。

同时需要说明的是，本实施例的测量校准方法通过软件程序实现，该程序存储在处理器中，该处理器执行程序即可实现上述测量校准方法，得到坐标转换关系，无须人工手动调节。

实施例2

在实施例1的基础上，本实施例提供一种增强现实方法，如图5，该方法包括：

201：ar眼镜摄像头拍摄得到前方的真实场景图像；

202：获取待叠加信息在摄像头预览画面中的第一位置信息；

203：根据第一位置信息得到待叠加信息在眼镜显示区域的第二位置信息；

204：根据第二位置信息在眼镜显示区域叠加显示真实场景图像和待叠加信息。

其中，在步骤202中通过对摄像头拍摄的画面进行目标识别得到目标物体的坐信息，即在摄像头预览画面中第一位置信息。

其中，步骤203还包括：

2031：通过测量校准方法获取摄像头预览画面和眼镜显示区域之间的坐标转换关系。其中该步骤的具体方法如实施例1所述，此处不再赘述。

2032：根据摄像头预览画面和眼镜显示区域之间的坐标转换关系以及第一位置信息得到待叠加信息在眼镜显示区域的第二位置信息。

具体的，对于摄像头预览画面中任意第一位置信息(x,y),根据公式(2)得到该点在眼镜显示区域的第二位置信息(xr，yr)；

式(2)中，wt＝x4-x3，ht＝y4-y3。

其中，在得到在眼镜显示区域的坐标(xr，yr)后，就可以在不展示摄像头预览画面的情况下，在黑色全透背景中在该坐标点叠加相应的虚拟物体信息，用户透过ar眼镜屏幕就可以看到这个虚拟物体信息被叠加到真实场景物体上，实现虚实融合。

例如，通过人脸识别算法，我们可以得到摄像头拍摄的画面中目标人脸的坐标(第一位置信息)，利用这个坐标和我们的坐标转换算法最终可以计算出一个ar眼镜屏幕上的坐标(第二位置信息)，我们在此坐标位置上显示一个图形，那么用户透过ar观察到的就是这图形叠加到了目标人脸上，实现了虚实融合。

以上增强现实方法通过软件程序实现，该程序存储在处理器中，该处理器执行程序即可实现上述虚实融合方法，无须人工手动调节。本申请的增强现实方法结合目标识别算法，整个过程计算量小，实时性好，和现有的slam等其他实现方法相比，对处理器的依赖性小。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。