专利名称：基于二维码的增强现实方法、系统及终端的制作方法
技术领域：
本发明涉及移动增强现实领域，尤其涉及一种基于二维码的增强现实方法、系统及移动终端。
背景技术：
二维码又称二维条码，是用某种特定的几何图形按一定规律在平面(二维方向上)分布黑白相间的图形来记录数据符号信息，其在代码编制上巧妙利用构成计算机内部逻辑基础的比特流概念，使用若干个与二进制相对应的几何形体来表示文字数值信息。近年来，二维码得到了广泛应用，市面上专门用于扫描识别二维码的移动应用层出不穷，但这些应用扫描二维码后，均直接呈现出二维码解析后所得到的文字信息或视频、网页等资源链接网址，使用起来不够炫。在二维码使用越来越普遍的同时,增强现实技术(AR, Augumented Reality)开始慢慢进入公众视线，其核心是将虚拟信息实时叠加到真实环境呈现的场景中，利用虚拟信息对真实场景进行补充、增强，让虚拟信息在真实世界中同步展示。现有的增强现实技术中，要实现将虚拟信息叠加到真实场景上，必须计算摄像机与真实场景间的相对位置关系，即通过真实场景图像与样本图像进行配准，得到单应性矩阵。因此对于现有的增强现实技术，如果移动终端或增强现实服务器端没有存储某真实场景的样本图像或该样本图像的特征点信息，则无法实现虚拟信息与该真实场景的融合。
发明内容
本发明的目的是提供一种基于二维码的增强现实方法、系统及移动终端，在没有样本图像的情况下，通过解码场景图像中二维码及重新编码生成与场景图像中的二维码码制一致的二维码正视 图，及对二维码正视图的定位模组区域和摄像模块捕获的场景图像中的二维码图像的定位模组区域进行对应角点检测，计算单应性矩阵，实现在真实场景二维码位置处或二维码的一定偏移位置处，呈现二维码相关的视频、图像、文本、3D模型的多媒体信息。为了实现上述发明目的，本发明提供了一种基于二维码的增强现实方法，包括摄像模块捕获含有二维码的真实场景图像；扫描场景图像中的二维码，并对二维码进行解码，获得二维码的编码信息，所述编码信息包括码制及资源信息；根据二维码的编码信息，用与之相同的码制进行编码，生成与场景图像中的二维码码制一致的二维码正视图；同时解析所述资源信息，以获取二维码对应的虚拟信息；分别对二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测，并分别按相同顺序对二者上提取的角点进行排序，使得二者上提取的角点--对应；根据所述二者上提取的对应角点的坐标值，计算单应性矩阵；
根据单应性矩阵，在真实场景中二维码位置处或二维码的一定偏移位置处，渲染并输出显示所述与二维码对应的虚拟信息。优选的，当解析所述资源信息得到的是文本内容时，将文本内容作为纹理进行渲染；当解析所述资源信息得到的是资源URI，则访问该URI获取虚拟信息，并根据虚拟信息类型用预设方式进行加载。优选的，所述虚拟信息类型包括视频、图像、文本、3D模型中的一种或多种。优选的，所述真实场景图像中的二维码为常规QR 二维码、常规Data Matrix 二维码、定制QR 二维码、定制Data Matrix 二维码中的一种；其中，定制QR 二维码或定制DataMatrix 二维码中的资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度中的一种或多种。其中，对二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测之前，还包括根据码制确定二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域。相应的，本发明还提供了一种基于二维码的增强现实系统，包括摄像模块，用于捕获含有二维码的真实场景图像；二维码解码模块，用于扫描场景图像中的二维码，并对二维码进行解码，获取二维码的编码信息，所述编码信息包括码制、版本及资源信息；二维码编码模块，用于根据所述二维码解码模块解析出来的编码信息，用与之相同的码制进行编码，生成与场景图像中的二维码码制一致的二维码正视图；资源获取模块，用于解析所述编码信息中的资源信息，以获取二维码对应的虚拟信息；角点提取模块，用于对二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测，并分别按相同顺序对二者上提取的角点进行排序，使得二者上提取的角点一一对应；单应性矩阵计算模块，用于根据角点提取模块所述提取的上述二者对应角点的坐标值，计算单应性矩阵；渲染显示模块，用于根据单应性矩阵，在真实场景中二维码位置处或二维码的一定偏移位置处，渲染并输出显示所述与二维码对应的虚拟信息。优选的，所述系统还包括定位模块，用于根据二维码解码模块解析出的码制确定二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域。优选的，所述真实场景图像中的二维码为常规QR 二维码、常规Data Matrix 二维码、定制QR 二维码、定制Data Matrix 二维码中的一种；其中，定制QR 二维码或定制DataMatrix 二维码中的资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度中的一种或多种。优选的，当所述资源获取模块解析所述资源信息得到的是文本内容时，将文本内容作为纹理进行渲染；而当解析所述资源信息得到的是资源URI，则访问该URI获取虚拟信息，并根据虚拟信息类型用预设方式进行加载，所述虚拟信息类型包括视频、图像、文本、3D模型中的一种或多种。
相应的，本发明还提供了一种移动终端，所述移动终端包括上述的基于二维码的增强现实系统。与现有技术相比，本发明具有如下有益效果1、本发明直接将场景图像中的二维码解码与再编码，重新生成与场景图像中二维码一致的二维码正视图，由于同一码制生成的二维码定位模组区域相同，因此分别对二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测，即可计算单应性矩阵，不需要数据库中存储二维码样本图像，对任意二维码均适用，打破了传统增强现实应用中，必须在数据库中预先存储对应样本图像才能进行跟踪匹配的局限性。2、本发明在计算单应性矩阵时，仅通过对定位模组区域进行角点检测，容错能力强，例如二维码再编码发生数据编码错误时，不影响单应性矩阵的计算，另外对二维码中间有小图标的情形也能适用。3、本发明由于不需要样本图像，因此避免了从远程服务器的查询与匹配步骤，能够减少因网络传输问题造成的系统响应延迟，节约用户的网络通信流量。4、本发明深度挖掘二维码作为信息入口的应用潜力，使二维码的相关信息、资源以更加生动的形式呈现给用户。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图图1为本发明实施例基于二维码的增强现实方法流程示意图；图2为根据图1方法进行虚拟信息叠加的过程及效果示意图；图3为QR 二维码与Data Matrix 二维码定位模组位置示意图；图4为QR 二维码与Data Matrix 二维码根据定位模组确定正方向示意图；图5为中间具有小图标的QR 二维码示意图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本领域技术人员应知在增强现实过程中，将虚拟信息准确的叠加在目标物体之上，需要对摄像机的姿态进行计算，来确定从目标物体的坐标系到图像坐标系的单应性矩阵。本申请的发明人发现，现有增强现实一般都是通过真实场景图像与样本图像进行配准，得到单应性矩阵。这种方式要求对能够进行增强现实的图像，必须在移动终端或服务器端存储其用于配准的样本图像，如果移动终端或增强现实服务器端没有存储某真实场景的样本图像或该样本图像的特征点信息，则无法实现虚拟信息与该真实场景的融合，增强现实技术的推广被样本图像所限制。另外样本图像存储于移动终端会占用终端存储空间，且不能满足海量标识物的存储；而若将样本图像存储于远程服务器，样本图像的检索与下载会延迟系统响应且浪费用户的网络通信流量。本申请的发明人发现，二维码具有易用性和普及性，且二维码作为信息入口，可以由任何信息生成，其可以携带任意一段文本或任意资源的URI，最重要的一点是二维码解码后能再根据相同的码制重新编码生成与之前二维码码制一致的二维码正视图。可以用解码再编码后生成的二维码正视图作为样本图像与场景中的二维码进行特征点跟踪匹配，计算单应性矩阵。然而在现实生活中，我们会发现如图5所示的二维码，其中间有一个小图标遮挡了二维码的中心区域，虽然二维码具有纠错能力，能够在具有小图标遮挡一定区域的情况下正确解码，然后再编码生成与原二维码包含数据一致的二维码正视图，但该正视图中不会存在原二维码中的遮挡小图标，如果此时用生成的二维码正视图与场景中的二维码进行全图特征点跟踪匹配，计算单应性矩阵，可能会产生误差，使得虚拟信息不能完全准确的叠加到场景图像中的二维码上。因此，本发明技术方案不对生成的二维码正视图与场景中的二维码进行特征点跟踪匹配，而选取了在二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测来计算单应性矩阵。所述二维码的定位模组，也称为寻象图形，例如QR 二维码中，寻象图形包括三个相同的位置探测图形，分别位于符号的左上角、右上角和左下角，如图3QR 二维码所示，每个位置探测图形可以看作是由3个重叠的同心的正方形组成，它们分别为7X7个深色模块、5X5个浅模块和3X3个深色模块。下面结合附图详细介绍本发明介绍方案。参见图1、图2，为本发明实施例基于二维码的增强现实方法流程示意图，包括如下SlOl S106步骤SlOl :摄像模块捕获`含有二维码的真实场景图像，所述二维码可以为常规二维码，也可以为定制二维码，常规二维码指资源信息中包含一个文本字段或URI链接的网络二维码，定制二维码指其资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度等其他一些设置信息中的一种或多种；S102:扫描场景图像中的二维码，并对二维码进行解码，获得二维码的编码信息，所述编码信息包括码制及资源信息，所述资源信息指扫描二维码得到的相关信息；S103 :根据二维码的编码信息，用与之相同的码制和版本进行编码，生成与场景图像中的二维码码制一致的二维码正视图；同时解析所述资源信息，以获取二维码对应的虚拟信息，二维码对应的资源信息可能为文本信息，也可能为资源URI，当为资源URI时，访问UIR地址，获取URI对应的虚拟信息内容；S104:分别对二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域进行角点检测，并分别按相同顺序对二者上提取的角点进行排
序，使得二者上提取的角点--对应，至少提取4组对应角点在计算单应性矩阵时,取点越
多，计算结果越精确；其中，二维码的定位模组区域的确定是根据码制确定的，定位模组对于同种码制不同版本不同数据的二维码均是相同的，将二维码图像的定位模组作为感兴趣区域ROI，进行FAST、Harris、Sh1-Thomas等角点检测。由于二维码的定位模组在二维码图像中位置固定，可以利用二维码的定位模组来计算二维码图像的主方向，对ROI区域检测到的角点族进行排序，以从主方向起按照顺时针或逆时针顺序排列所有角点。保证在计算单应性矩阵时，二维码图像与其正视图各角点——对应。参见图3、图4分别为QR 二维码、Data Matrix二维码的模组区域示意图，图4显示了如何通过模组区域判断二维码图像的主方向，对ROI区域检测到的角点逐点进行排序，以从主方向起按照顺时针或逆时针顺序排列所有角点，以保证在计算单应性矩阵时，二维码图像与其正视图各角点一一对应。S105 :根据所述二者上提取的对应角点的坐标值，计算单应性矩阵；真实场景中的二维码为平面物体，其确定了一个世界坐标系，经过解码再编码生成的二维码正视图属于图像坐标系，以分别在二维码正视图的定位模组区域以及摄像模块捕获的场景图像中的二维码图像的定位模组区域分别提取4个角点为例，可以将这四个角点在世界坐标系上的坐标与图像坐标系上的坐标建立起如下对应关系
权利要求
1.ー种基于ニ维码的增强现实方法，其特征在干，包括 摄像模块捕获含有ニ维码的真实场景图像； 扫描场景图像中的ニ维码，并对ニ维码进行解码，获得ニ维码的编码信息，所述编码信息包括码制及资源信息； 根据ニ维码的编码信息，用与之相同的码制进行编码，生成与场景图像中的ニ维码码制一致的ニ维码正视图；同时解析所述资源信息，以获取ニ维码对应的虚拟信息； 分别对ニ维码正视图的定位模组区域以及摄像模块捕获的场景图像中的ニ维码图像的定位模组区域进行角点检测，井分别按相同顺序对二者上提取的角点进行排序，使得ニ者上提取的角点--对应； 根据所述二者上提取的对应角点的坐标值，计算单应性矩阵； 根据单应性矩阵，在真实场景中二维码位置处或ニ维码的一定偏移位置处，渲染并输出显示所述与ニ维码对应的虚拟信息。
2.如权利要求1所述的方法，其特征在干 当解析所述资源信息得到的是文本内容时，将文本内容作为纹理进行渲染； 当解析所述资源信息得到的是资源URI，则访问该URI获取虚拟信息，井根据虚拟信息类型用预设方式进行加载。
3.如权利要求2所述的方法，其特征在于所述虚拟信息类型包括视频、图像、文本、3D模型中的ー种或多种。
4.如权利要求1至3中任一项所述的方法，其特征在于 所述真实场景图像中的ニ维码为常规QR ニ维码、常规Data Matrix ニ维码、定制QR ニ维码、定制Data Matrix ニ维码中的一种； 定制QR ニ维码或定制Data Matrix ニ维码中的资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度中的ー种或多种。
5.如权利要求1至3中任一项所述的方法，其特征在于，所述对ニ维码正视图的定位模组区域以及摄像模块捕获的场景图像中的ニ维码图像的定位模组区域进行角点检测之前，还包括 根据码制确定ニ维码正视图的定位模组区域以及摄像模块捕获的场景图像中的ニ维码图像的定位模组区域。
6.一种基于ニ维码的增强现实系统，其特征在干，包括 摄像模块，用于捕获含有ニ维码的真实场景图像； ニ维码解码模块，用于扫描场景图像中的ニ维码，并对ニ维码进行解码，获取ニ维码的编码信息，所述编码信息包括码制、版本及资源信息； ニ维码编码模块，用于根据所述ニ维码解码模块解析出来的编码信息，用与之相同的码制进行编码，生成与场景图像中的ニ维码码制一致的ニ维码正视图； 资源获取模块，用于解析所述编码信息中的资源信息，以获取ニ维码对应的虚拟信息； 角点提取模块，用于对ニ维码正视图的定位模组区域以及摄像模块捕获的场景图像中的ニ维码图像的定位模组区域进行角点检测，井分别按相同顺序对二者上提取的角点进行排序，使得二者上提取的角点--对应；单应性矩阵计算模块，用于根据角点提取模块所述提取的上述二者对应角点的坐标值，计算单应性矩阵； 渲染显示模块，用于根据单应性矩阵，在真实场景中二维码位置处或ニ维码的一定偏移位置处，渲染并输出显示所述与ニ维码对应的虚拟信息。
7.如权利要求6所述的系统，其特征在于，所述系统还包括 定位模块，用于根据ニ维码解码模块解析出的码制确定ニ维码正视图的定位模组区域以及摄像模块捕获的场景图像中的ニ维码图像的定位模组区域。
8.如权利要求6或7所述的系统，其特征在于 所述真实场景图像中的ニ维码为常规QR ニ维码、常规Data Matrix ニ维码、定制QR ニ维码、定制Data Matrix ニ维码中的一种； 定制QR ニ维码或定制Data Matrix ニ维码中的资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度中的ー种或多种。
9.如权利要求6或7所述的系统，其特征在于， 当所述资源获取模块解析所述资源信息得到的是文本内容时，将文本内容作为纹理进行渲染；而当解析所述资源信息得到的是资源URI，则访问该URI获取虚拟信息，井根据虚拟信息类型用预设方式进行加载，所述虚拟信息类型包括视频、图像、文本、3D模型中的ー种或多种。
10.一种移动終端，其特征在于，所述移动終端包括权利要求6至9中任一项所述的基于ニ维码的增强现实系统。
全文摘要
本发明公开了一种基于二维码的增强现实方法，以二维码作为增强现实系统中的识别与定位标识，对真实场景图像中的二维码进行解码与再编码直接生成与之码制一致的二维码正视图，分别对二维码正视图的定位模组区域以及场景图像中的二维码图像的定位模组区域进行对应角点检测及提取，以计算单应性矩阵时，相应的，本发明还公开了基于二维码的增强现实系统及移动终端，既打破了传统增强现实应用中，必须在数据库中预先存储对应样本图像才能进行跟踪匹配的局限性，又避免了使用传统标识物的时候向远程服务器的模板查询与匹配步骤，能够减少因网络传输问题造成的系统响应延迟，节约用户的网络通信流量。
文档编号G06K7/10GK103049728SQ20121058676
公开日2013年4月17日 申请日期2012年12月30日 优先权日2012年12月30日
发明者柳寅秋, 李薪宇, 宋海涛 申请人:成都理想境界科技有限公司