一种增强现实识别图脱卡显示的方法及系统与流程

本发明涉及增强现实技术领域，尤其涉及一种增强现实识别图脱卡显示的方法及系统。

背景技术：

增强现实作为虚拟现实的重要分支已应用于生活的诸多方面。在家居设计等真实场景变化不大且为了用户在设计户型时有更好的体验，可以将全景成像装置放置在场景中，摄取360°的环视景观，再利用增强现实技术将虚拟的文字和图片添加到摄取的视频中，从而为用户提供更加生动和丰富的信息。目前，对基于全景成像的虚拟现实系统的研究已经广泛展开，但迄今为止，国内外对基于全景成像的增强现实系统及其应用的研究还非常有限。将全景成像方式引入增强现实理论，建立完整的基于全景成像的增强现实系统是必要且具有创新性的。

随着增强现实技术的兴起与完善，当前很多企业采用增强现实的识别图技术进行推广及营销产品。增强现实的识别图的技术核心为摄像机扫描识别图，分析得出特征点，再根据特征点的分布信息进行摄像机的位姿调整，以达到虚拟物体浮现在识别图上的显示效果。然而当识别效果不佳或无法识别识别图时，显示的内容则为一片空白，无法有效的通过辅助技术进行显示。

因此，本领域的技术人员亟需研究出一种当增强现实技术的识别效果不佳或无法识别识别图时，有效地解决了当识别无效时的虚拟物体显示,为用户提供更加生动和丰富的信息，成本低廉、安装方便、使用灵活的增强现实识别图脱卡显示的方法及系统。

技术实现要素：

本发明要解决的技术问题是提供一种增强现实识别图脱卡显示的方法及系统，该增强现实识别图脱卡显示的方法及系统在增强现实技术的识别效果不佳或无法识别识别图时，能有效地解决了当识别无效时的虚拟物体显示,为用户提供更加生动和丰富的信息，成本低廉、安装方便、使用灵活。

为解决上述技术问题，本发明提供了一种增强现实识别图脱卡显示的方法，提供场景捕捉模块、识别模块、模式切换模块、摄像头调整模块及显示模块，所述场景捕捉模块包括用于对增强现实的卡片的图像进行识别的摄像头，所述增强现实识别图脱卡显示的方法包括以下步骤：

S1、所述场景捕捉模块调用摄像头，利用坐标跟踪策略获取卡片相对于真实场景的位置与方向，捕捉场景画面的特征点，将画面输送到所述识别模块；

S2、所述识别模块通过识别算法判断当前识别是否有效，并将识别结果反馈到模式切换模块；

S3、所述模式切换模块判断识别结果，若识别有效，切换到AR模式；若识别无效，切换到脱卡模式，AR模式下，执行步骤S4；脱卡模式下，摄像头调整模块通过脱卡显示算法调整摄像头的位置及角度；

S4、所述显示模块显示所述增强现实的卡片形成的虚拟物体。

优选地，所述场景捕捉模块用于通过摄像头捕捉画面的特征点，将画面特征点传送给识别模块；所述识别模块用于判断识别是否有效，将识别结果传送给模式切换模块；所述模式切换模块用于AR模式及脱卡模式的状态切换，所述模式切换模块配置有在所述脱卡模式下的脱卡显示算法，所述摄像头调整模块用于通过脱卡显示算法调整摄像机的位置及角度，所述显示模块负责虚拟物体的显示。

优选地，所述步骤“所述场景捕捉模块调用摄像头，捕捉场景画面的特征点”的实现步骤包括：采用图像捕捉策略提取卡片图像中若干的特征点，并利用这些特征点计算图像的透视变换关系，将图像注册到同一个坐标系中。

优选地，所述图像捕捉策略配置有以下公式：

q(x,y,σ)＝G(x,y.σ)*l(x,y)；

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*l(x,y)

其中，G(x,y,σ)为高斯函数，l(x,y)为输入图像的函数，q(x,y,σ)为特征点的尺度空间函数，D(x,y,σ)为高斯差分函数。

优选地，所述步骤“所述场景捕捉模块调用摄像头，利用坐标跟踪策略获取卡片相对于真实场景的位置与方向，捕捉场景画面”的实现步骤包括：所述场景捕捉模块建立卡片空间3D点的世界坐标系(X_wY_wZ_w)、摄像头坐标系(X_cY_cZ_c)，并建立所述世界坐标系与摄像头坐标系的关系，找出摄像头的光心O_c，根据所述摄像头坐标与2D平面坐标系之间的关系，将摄像头坐标系下的3D点映射到2D图像平面，在所述2D图像平面上建立用于表示卡片空间3D点在2D图像平面的投影的直角坐标系；

其中，所述X_c轴和Y_c轴与图像的x轴和y轴平行，Z_c轴为摄像头的光轴，所述Z_c与图像平面垂直，所述Z_c与图像平面的交点为图像直角坐标系的原点。

优选地，所述摄像头坐标系(X_cY_cZ_c)与所述摄像头坐标世界坐标系(X_wY_wZ_w)的关系如下：

其中，R是一个3*3正交旋转矩阵，表示摄像头坐标系相对于世界坐标系的旋转分量，t为三维平移向理，表示了摄像头坐标系相对于世界坐标系的3个平移分量，M_ext是摄像头外部参数。

优选地，所述摄像头坐标系与2D平面坐标系之间的关系如下所示：

其中，P(x_m,y_m)为摄像头坐标系中与空间点对应该的点在2D图像平面坐标系的投影，δ为图像转换因子，f为摄像头的焦距。

优选地，所述步骤“在所述2D图像平面上建立用于表示卡片空间3D点在2D图像平面的投影的直角坐标系”的实现步骤包括：在所述2D图像平面上建立直角坐标系(u,v),该坐标u,v分别是该空间点在2D平面的投影的数组中的列数与行数，以图像内一点为原点，建立图像坐标系(x,y)，x轴和y轴分别与u,v轴平行；

其中，所述坐标(u,v)是以像素为单位的图像坐标系的坐标。

优选地，所述图像点P(x_m,y_m)通过以下公式转化为直角坐标系(u,v)的像素点(x_m,y_m)，

u＝βu₀+p_xx_m；

v＝βv₀+p_yy_m；

其中，p_x，p_y是尺度因子，β图像显示初始因子，(u₀，v₀)表示图像像素中心点。

为解决上述技术问题，本发明还提供了一种用于实现上述增强现实识别图脱卡显示的方法的增强现实识别图脱卡显示系统。

采用了上述方法及系统之后，所述场景捕捉模块调用摄像头，利用坐标跟踪策略获取卡片相对于真实场景的位置与方向，捕捉场景画面的特征点，将画面输送到所述识别模块；所述识别模块通过识别算法判断当前识别是否有效，并将识别结果反馈到模式切换模块；所述模式切换模块判断识别结果，若识别有效，切换到AR模式；若识别无效，切换到脱卡模式，AR模式下，执行步骤S4；脱卡模式下，摄像头调整模块通过脱卡显示算法调整摄像头的位置及角度；所述显示模块显示所述增强现实的卡片形成的虚拟物体，该增强现实识别图脱卡显示的方法及系统在增强现实技术的识别效果不佳或无法识别识别图时，能有效地解决了当识别无效时的虚拟物体显示,为用户提供更加生动和丰富的信息，成本低廉、安装方便、使用灵活。

附图说明

图1是本发明的一种增强现实识别图脱卡显示的方法的执行流程示意图；

图2是本发明的一种增强现实识别图脱卡显示系统的整体模块示意图；

图3是本发明的一种增强现实识别图脱卡显示方法的各个坐标系相互关系的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

实施例1

请参阅图1及图3，

图1是本发明的一种增强现实识别图脱卡显示的方法的执行流程示意图；

图3是本发明的一种增强现实识别图脱卡显示方法的各个坐标系相互关系的示意图。

本发明公开了一种增强现实识别图脱卡显示的方法，提供场景捕捉模块10、识别模块20、模式切换模块30、摄像头调整模块40及显示模块50，所述场景捕捉模块10包括用于对增强现实的卡片的图像进行识别的摄像头，所述场景捕捉模块10用于通过摄像头捕捉画面的特征点，将画面特征点传送给识别模块20；所述识别模块20用于判断识别是否有效，将识别结果传送给模式切换模块30；所述模式切换模块30用于AR模式及脱卡模式的状态切换，所述模式切换模块30配置有在所述脱卡模式下的脱卡显示算法，所述摄像头调整模块40用于通过脱卡显示算法调整摄像机的位置及角度，所述显示模块50负责虚拟物体的显示；

所述增强现实识别图脱卡显示的方法包括以下步骤：

S1、所述场景捕捉模块10调用摄像头，利用坐标跟踪策略获取卡片相对于真实场景的位置与方向，捕捉场景画面的特征点，将画面输送到所述识别模块20；

S2、所述识别模块20通过识别算法判断当前识别是否有效，并将识别结果反馈到模式切换模块30；

S3、所述模式切换模块30判断识别结果，若识别有效，切换到AR模式；若识别无效，切换到脱卡模式，AR模式下，执行步骤S4；脱卡模式下，摄像头调整模块40通过脱卡显示算法调整摄像头的位置及角度；

S4、所述显示模块50显示所述增强现实的卡片形成的虚拟物体。

所述步骤“所述场景捕捉模块10调用摄像头，捕捉场景画面的特征点”的实现步骤包括：采用图像捕捉策略提取卡片图像中若干的特征点，并利用这些特征点计算图像的透视变换关系，将图像注册到同一个坐标系中。

所述图像捕捉策略配置有以下公式：

q(x,y,σ)＝G(x,y.σ)*l(x,y)；

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*l(x,y)

其中，G(x,y,σ)为高斯函数，l(x,y)为输入图像的函数，q(x,y,σ)为特征点的尺度空间函数，D(x,y,σ)为高斯差分函数。

所述步骤“所述场景捕捉模块10调用摄像头，利用坐标跟踪策略获取卡片相对于真实场景的位置与方向，捕捉场景画面”的实现步骤包括：所述场景捕捉模块10建立卡片空间3D点的世界坐标系(X_wY_wZ_w)、摄像头坐标系(X_cY_cZ_c)，并建立所述世界坐标系与摄像头坐标系的关系，找出摄像头的光心O_c，根据所述摄像头坐标与2D平面坐标系之间的关系，将摄像头坐标系下的3D点映射到2D图像平面，在所述2D图像平面上建立用于表示卡片空间3D点在2D图像平面的投影的直角坐标系；

其中，所述X_c轴和Y_c轴与图像的x轴和y轴平行，Z_c轴为摄像头的光轴，所述Z_c与图像平面垂直，所述Z_c与图像平面的交点为图像直角坐标系的原点。

所述摄像头坐标系(X_cY_cZ_c)与所述摄像头坐标世界坐标系(X_wY_wZ_w)的关系如下：

其中，R是一个3*3正交旋转矩阵，表示摄像头坐标系相对于世界坐标系的旋转分量，t为三维平移向理，表示了摄像头坐标系相对于世界坐标系的3个平移分量，M_ext是摄像头外部参数。

所述摄像头坐标系与2D平面坐标系之间的关系如下所示：

其中，P(x_m,y_m)为摄像头坐标系中与空间点对应该的点在2D图像平面坐标系的投影，δ为图像转换因子，f为摄像头的焦距。

所述步骤“在所述2D图像平面上建立用于表示卡片空间3D点在2D图像平面的投影的直角坐标系”的实现步骤包括：在所述2D图像平面上建立直角坐标系(u,v),该坐标u,v分别是该空间点在2D平面的投影的数组中的列数与行数，以图像内一点为原点，建立图像坐标系(x,y)，x轴和y轴分别与u,v轴平行；

其中，所述坐标(u,v)是以像素为单位的图像坐标系的坐标。

所述图像点P(x_m,y_m)通过以下公式转化为直角坐标系(u,v)的像素点(x_m,y_m)，

u＝βu₀+p_xx_m；

v＝βv₀+p_yy_m；

其中，p_x，p_y是尺度因子，β图像显示初始因子，(u₀，v₀)表示图像像素中心点。

实施例2，

请参阅图2，图2是本发明的一种增强现实识别图脱卡显示系统的整体模块示意图；

本发明还提供一种用于实现实施例1的增强现实识别图脱卡显示方法的增强现实识别图脱卡显示系统：包括场景捕捉模块10、识别模块20、模式切换模块30、摄像头调整模块40及显示模块50，所述场景捕捉模块10包括用于对增强现实的卡片的图像进行识别的摄像头，所述场景捕捉模块10调用摄像头，利用坐标跟踪策略获取卡片相对于真实场景的位置与方向，捕捉场景画面的特征点，将画面输送到所述识别模块20；所述识别模块20通过识别算法判断当前识别是否有效，并将识别结果反馈到模式切换模块30；所述模式切换模块30判断识别结果，若识别有效，切换到AR模式；若识别无效，切换到脱卡模式，AR模式下，所述显示模块50显示所述增强现实的卡片形成的虚拟物体；脱卡模式下，摄像头调整模块40通过脱卡显示算法调整摄像头的位置及角度。

采用了上述方法及系统之后，所述场景捕捉模块10调用摄像头，利用坐标跟踪策略获取卡片相对于真实场景的位置与方向，捕捉场景画面的特征点，将画面输送到所述识别模块20；所述识别模块20通过识别算法判断当前识别是否有效，并将识别结果反馈到模式切换模块30；所述模式切换模块30判断识别结果，若识别有效，切换到AR模式；若识别无效，切换到脱卡模式，AR模式下，执行步骤S4；脱卡模式下，摄像头调整模块40通过脱卡显示算法调整摄像头的位置及角度；所述显示模块50显示所述增强现实的卡片形成的虚拟物体；该增强现实识别图脱卡显示的方法及系统在增强现实技术的识别效果不佳或无法识别识别图时，能有效地解决了当识别无效时的虚拟物体显示,为用户提供更加生动和丰富的信息，成本低廉、安装方便、使用灵活。

同时，应当理解的是，以上仅为本发明的优选实施例，不能因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效实现方法，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。