专利名称：基于二维码的增强现实方法、系统及终端的制作方法
技术领域：
本发明涉及移动增强现实领域，尤其涉及一种基于二维码的增强现实方法、系统及移动终端。
背景技术：
二维码又称二维条码，是用某种特定的几何图形按一定规律在平面(二维方向上)分布黑白相间的图形来记录数据符号信息，其在代码编制上巧妙利用构成计算机内部逻辑基础的比特流概念，使用若干个与二进制相对应的几何形体来表示文字数值信息。近年来，二维码得到了广泛应用，市面上专门用于扫描识别二维码的移动应用层出不穷，但这些应用扫描二维码后，均直接呈现出二维码解析后所得到的文字信息或视频、网页等资源链接网址，使用起来不够炫。在二维码使用越来越普遍的同时,增强现实技术(AR, Augumented Reality)开始慢慢进入公众视线，其核心是将虚拟信息实时叠加到真实环境呈现的场景中，利用虚拟信息对真实场景进行补充、增强，让虚拟信息在真实世界中同步展示。现有的增强现实技术中，要实现将虚拟信息叠加到真实场景上，必须计算摄像机与真实场景间的相对位置关系，即通过真实场景图像与样本图像进行配准，得到单应性矩阵。因此对于现有的增强现实技术，如果移动终端或增强现实服务器端没有存储某真实场景的样本图像或该样本图像的特征点信息，则无法实现虚拟信息与该真实场景的融合。
发明内容
本发明的目的是提供一种基于二维码的增强现实方法、系统及移动终端，在没有样本图像的情况下，通过解码场景图像中二维码及重新编码生成与场景图像中的二维码一致的二维码正视图，及对二维码正视图以及摄像模块捕获的场景图像中的二维码图像进行特征检测与匹配，计算单应性矩阵，实现在真实场景二维码位置处或二维码的一定偏移位置处，呈现二维码相关的视频、图像、文本、3D模型的多媒体信息。为了实现上述发明目的，本发明提供了一种基于二维码的增强现实方法，包括摄像模块捕获含有二维码的真实场景图像；扫描场景图像中的二维码，并对二维码进行解码，获得二维码的编码信息，所述编码信息包括码制、版本及资源信息；对获得的二维码的编码信息进行再编码，生成与场景图像中的二维码码制及版本相同的二维码正视图；同时解析所述资源信息，以获取二维码对应的虚拟信息；对二维码正视图以及摄像模块捕获的场景图像中的二维码图像进行特征检测，分别得到二者的特征描述；并根据二者的特征描述进行图像配准，计算摄像机的姿态，得到单应性矩阵；根据单应性矩阵，在真实场景中二维码位置处或二维码的一定偏移位置处，渲染并输出显示所述与二维码对应的虚拟信息。
优选的，当解析所述资源信息得到的是文本内容时，将文本内容作为纹理进行渲染；当解析所述资源信息得到的是资源URI，则访问该URI获取虚拟信息，并根据虚拟信息类型用预设方式进行加载。优选的，所述虚拟信息类型包括视频、图像、文本、3D模型中的一种或多种。其中，所述真实场景图像中的二维码为常规二维码或定制二维码；定制二维码中的资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度中的一种或多种。优选的，所述对二维码正视图以及摄像模块捕获的场景图像中的二维码图像进行特征检测，分别得到二者的特征描述，为下面两种方式之一方式一对二维码正视图以及摄像模块捕获的场景图像中的二维码图像进行全图特征检测，分别得到二者的特征描述；方式二 仅对二维码正视图以及摄像模块捕获的场景图像中的二维码图像的稳定区域进行特征检测，分别得到二者的特征描述。相应的，本发明还提出了一种基于二维码的增强现实系统，包括摄像模块，用于捕获含有二维码的真实场景图像；二维码解码模块，用于扫描场景图像中的二维码，并对二维码进行解码，获取二维码的编码信息，所述编码信息包括码制、版本及资源信息；二维码编码模块，对所述二维码解码模块解析出来的编码信息进行再编码，生成与场景图像中的二维码码制及版本相同的二维码正视图；资源获取模块，用于解析所述编码信息中的资源信息，以获取二维码对应的虚拟信息；图像特征提取模块，用于对二维码正视图以及摄像模块捕获的场景图像中的二维码图像进行特征检测，分别得到二者的特征描述；图像跟踪配准模块，用于根据二维码正视图及场景图像中的二维码图像特征描述进行图像配准，计算摄像机的姿态，得到单应性矩阵；渲染显示模块，用于根据单应性矩阵，在真实场景中二维码位置处或二维码的一定偏移位置处，渲染并输出显示所述与二维码对应的虚拟信息。优选的，所述图像特征提取模块，对二维码正视图以及摄像模块捕获的场景图像中的二维码图像进行特征检测，为下面两种方式之一方式一对二维码正视图以及摄像模块捕获的场景图像中的二维码图像进行全图特征检测，分别得到二者的特征描述；方式二 仅对二维码正视图以及摄像模块捕获的场景图像中的二维码图像的稳定区域进行特征检测，分别得到二者的特征描述。优选的，所述真实场景图像中的二维码为常规二维码或定制二维码；定制二维码中的资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度中的一种或多种。优选的，当所述资源获取模块解析所述资源信息得到的是文本内容时，将文本内容作为纹理进行渲染；而当解析所述资源信息得到的是资源URI，则访问该URI获取虚拟信息，并根据虚拟信息类型用预设方式进行加载，所述虚拟信息类型包括视频、图像、文本、3D模型中的一种或多种。相应的，本发明还提出了一种移动终端，所述移动终端包括上述的基于二维码的增强现实系统。与现有技术相比，本发明具有如下有益效果1、发明直接根据场景图像中的二维码，重新生成与场景图像中二维码一致的二维码正视图，用生成的二维码正视图与场景图像中的二维码图像进行跟踪匹配，计算摄像机的姿态，得到单应性矩阵，不需要数据库中存储二维码样本图像，对任一二维码均适用，打破了传统增强现实应用中，必须在数据库中预先存储对应样本图像才能进行跟踪匹配的局限性。2、本发明由于不需要样本图像，因此避免了从远程服务器的查询与匹配步骤，能够减少因网络传输问题造成的系统响应延迟，节约用户的网络通信流量。3、本发明深度挖掘二维码作为信息入口的应用潜力，使二维码的相关信息、资源以更加生动的形式呈现给用户。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图图1为本发明实施例基于二维码的增强现实方法流程示意图；图2为根据图1方法进行虚拟信息叠加的过程及效果示意图；图3为几种常用码制的二维码图像示意图；图4为可遮挡区域被小图标遮挡的二维码应用示意图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本领域技术人员应知在增强现实过程中，将虚拟信息准确的叠加在目标物体之上，需要对摄像机的姿态进行计算，来确定从目标物体的坐标系到图像坐标系的单应性矩阵。本申请的发明人发现，现有增强现实一般都是通过真实场景图像与样本图像进行配准，得到单应性矩阵。这种方式要求对能够进行增强现实的图像，必须在移动终端或服务器端存储其用于配准的样本图像，如果移动终端或增强现实服务器端没有存储某真实场景的样本图像或该样本图像的特征点信息，则无法实现虚拟信息与该真实场景的融合，增强现实技术的推广被样本图像所限制。另外样本图像存储于移动终端会占用终端存储空间，且不能满足海量标识物的存储；而若将样本图像存储于远程服务器，样本图像的检索与下载会延迟系统响应且浪费用户的网络通信流量。
本申请的发明人发现，二维码具有易用性和普及性，且二维码作为信息入口，可以由任何信息生成，其可以携带任意一段文本或任意资源的URI，最重要的一点是由于二维码译码可以得到该二维码的码制、版本以及纠错等级等信息，二维码解码后能再根据相同的码制和版本重新编码生成与之前二维码图案完全相同的二维码正视图，或生成与之前二维码稳定区域图案完全相同的二维码正视图。因此提出以二维码作为增强现实系统中的识别与定位标识，对真实场景图像中的二维码解码再编码，生成与真实场景图像中的二维码图像相同的二维码正视图，将其作为样本图像与场景中的二维码进行特征点跟踪匹配，找到二者中相匹配的特征点，来进行单应性矩阵的计算。所述二维码稳定区域是相对于二维码的可遮挡区域而言的，因为二维码具有一定的纠错能力，其可以在一定区域被遮挡的情况下正确解码(如图4为在二维码的可遮挡区域放置了一个小图标的二维码，这个二维码是可以被正确解码的)，因此我们称可被遮挡而不影响二维码正确解码的区域为可遮挡区域，除了可遮挡区域以外的区域为稳定区域。下面结合附图详细介绍本发明介绍方案。参见图1、图2，为本发明实施例基于二维码的增强现实方法流程示意图，包括如下SlOl S105步骤SlOl :摄像模块捕获含有二维码的真实场景图像，所述二维码可以为常规二维码，也可以为定制二维码，常规二维码指资源信息中包含一个文本字段或URI链接的网络二维码，定制二维码指其资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度等其他一些设置信息中的一种或多种；S102:扫描场景图像中的二维码，并对二维码进行解码，获得二维码的编码信息，所述编码信息包括码制、版本及资源信息等，所述资源信息指扫描二维码得到的相关信息；S103:对获得的二维码的编码信息进行再编码，生成与场景图像中的二维码码制及版本相同的二维码正视图；同时解析所述资源信息，以获取二维码对应的虚拟信息，二维码对应的资源信息可能为文本信息，也可能为资源URI，当为资源URI时，根据WR地址访问远程服务器，获得URI对应的虚拟信息内容；本步骤中，对获得的二维码的编码信息进行再编码，生成与场景图像中的二维码码制及版本相同的二维码正视图，该二维码正视图可能为与场景图像中的二维码图案完全相同的二维码正视图(场景二维码的可遮挡区域无任何遮挡时)，也可能为与场景图像中的二维码稳定区域图案完全相同的二维码正视图(场景二维码的可遮挡区域被部分或全部遮挡时，由于二维码具有纠错能力，能够在具有小图标遮挡一定区域的情况下正确解码，然而对解码后的信息进行再编码，可生成与原二维码包含数据一致的二维码正视图，但生成的正视图中不会存在原二维码中的遮挡小图标)。S104:对二维码正视图以及摄像模块捕获的场景图像中的二维码图像进行特征检测，分别得到二者的特征描述；并根据二者的特征描述进行图像配准(即特征点匹配，找到二者中相匹配的特征点)，计算摄像机的姿态，得到单应性矩阵；本步骤中，对二维码正视图以及摄像模块捕获的场景图像中的二维码图像进行特征检测，可以是对二维码正视图以及摄像模块捕获的场景图像中的二维码图像进行全图特征检测(此种方式在场景二维码的可遮挡区域无任何遮挡时效果较好，其对场景二维码的可遮挡部分被区域或全部遮挡时可能会出现一定匹配误差)，也可以是仅对二维码正视图以及摄像模块捕获的场景图像中的二维码图像的稳定区域进行特征检测(此种方式对场景二维码的可遮挡区域是否被遮挡无要求，均可良好匹配图像)。其中，特征检测的方法可以为FAST、Harris、Sh1-Thomas等，特征描述可以用SIFT、SURF、ORB、BRIEF、FREAK等，这些技术都属于现有技术，在此不赘述。真实场景中的二维码为平面物体，其确定了一个世界坐标系，经过解码再编码生成的二维码正视图属于图像坐标系，以二维码正视图以及摄像模块捕获的场景图像中的二维码图像上匹配到4组对应特征点为例，可以将这四个特征点在世界坐标系上的坐标与图像坐标系上的坐标建立起如下对应关系
权利要求
1.ー种基于ニ维码的增强现实方法，其特征在干，包括 摄像模块捕获含有ニ维码的真实场景图像； 扫描场景图像中的ニ维码，并对ニ维码进行解码，获得ニ维码的编码信息，所述编码信息包括码制、版本及资源信息； 对获得的ニ维码的编码信息进行再编码，生成与场景图像中的ニ维码码制及版本相同的ニ维码正视图；同时解析所述资源信息，以获取ニ维码对应的虚拟信息； 对ニ维码正视图以及摄像模块捕获的场景图像中的ニ维码图像进行特征检测，分别得到二者的特征描述；并根据二者的特征描述进行图像配准，计算摄像机的姿态，得到单应性矩阵； 根据单应性矩阵，在真实场景中二维码位置处或ニ维码的一定偏移位置处，渲染并输出显示所述与ニ维码对应的虚拟信息。
2.如权利要求1所述的方法，其特征在干 当解析所述资源信息得到的是文本内容时，将文本内容作为纹理进行渲染； 当解析所述资源信息得到的是资源URI，则访问该URI获取虚拟信息，井根据虚拟信息类型用预设方式进行加载。
3.如权利要求2所述的方法，其特征在于所述虚拟信息类型包括视频、图像、文本、3D模型中的ー种或多种。
4.如权利要求1至3中任一项所述的方法，其特征在于 所述真实场景图像中的ニ维码为常规ニ维码或定制ニ维码； 定制ニ维码中的资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度中的ー种或多种。
5.如权利要求1至3中任一项所述的方法，其特征在于，所述对ニ维码正视图以及摄像模块捕获的场景图像中的ニ维码图像进行特征检测，分别得到二者的特征描述，为下面两种方式之一 方式一对ニ维码正视图以及摄像模块捕获的场景图像中的ニ维码图像进行全图特征检测，分别得到二者的特征描述； 方式ニ仅对ニ维码正视图以及摄像模块捕获的场景图像中的ニ维码图像的稳定区域进行特征检测，分别得到二者的特征描述。
6.一种基于ニ维码的增强现实系统，其特征在干，包括 摄像模块，用于捕获含有ニ维码的真实场景图像； ニ维码解码模块，用于扫描场景图像中的ニ维码，并对ニ维码进行解码，获取ニ维码的编码信息，所述编码信息包括码制、版本及资源信息； ニ维码编码模块，对所述ニ维码解码模块解析出来的编码信息进行再编码，生成与场景图像中的ニ维码码制及版本相同的ニ维码正视图； 资源获取模块，用于解析所述编码信息中的资源信息，以获取ニ维码对应的虚拟信息； 图像特征提取模块，用于对ニ维码正视图以及摄像模块捕获的场景图像中的ニ维码图像进行特征检测，分别得到二者的特征描述； 图像跟踪配准模块，用于根据ニ维码正视图及场景图像中的ニ维码图像特征描述进行图像配准，计算摄像机的姿态，得到单应性矩阵； 渲染显示模块，用于根据单应性矩阵，在真实场景中二维码位置处或ニ维码的一定偏移位置处，渲染并输出显示所述与ニ维码对应的虚拟信息。
7.如权利要求6所述的系统，其特征在于，所述图像特征提取模块，对ニ维码正视图以及摄像模块捕获的场景图像中的ニ维码图像进行特征检测，为下面两种方式之一 方式一对ニ维码正视图以及摄像模块捕获的场景图像中的ニ维码图像进行全图特征检测，分别得到二者的特征描述； 方式ニ 仅对ニ维码正视图以及摄像模块捕获的场景图像中的ニ维码图像的稳定区域进行特征检测，分别得到二者的特征描述。
8.如权利要求6或7所述的系统，其特征在于 所述真实场景图像中的ニ维码为常规ニ维码或定制ニ维码； 定制ニ维码中的资源信息包括资源标识符、资源类型、资源加载界面尺寸、渲染位置偏移度中的ー种或多种。
9.如权利要求6或7所述的系统，其特征在于， 当所述资源获取模块解析所述资源信息得到的是文本内容时，将文本内容作为纹理进行渲染；而当解析所述资源信息得到的是资源URI，则访问该URI获取虚拟信息，井根据虚拟信息类型用预设方式进行加载，所述虚拟信息类型包括视频、图像、文本、3D模型中的ー种或多种。
10.一种移动終端，其特征在于，所述移动終端包括权利要求6至9中任一项所述的基于ニ维码的增强现实系统。
全文摘要
本发明公开了一种基于二维码的增强现实方法，以二维码作为增强现实系统中的识别与定位标识，对真实场景图像中的二维码进行解码与再编码直接生成与之相同的二维码正视图，用生成的二维码正视图与场景图像中的二维码图像进行跟踪匹配，计算单应性矩阵，相应的，本发明还公开了基于二维码的增强现实系统及移动终端，既打破了传统增强现实应用中，必须在数据库中预先存储对应样本图像才能进行跟踪匹配的局限性，又避免了使用传统标识物的时候向远程服务器的模板查询与匹配步骤，能够减少因网络传输问题造成的系统响应延迟，节约用户的网络通信流量。
文档编号G06K19/06GK103049729SQ20121058715
公开日2013年4月17日 申请日期2012年12月30日 优先权日2012年12月30日
发明者柳寅秋, 李薪宇, 宋海涛 申请人:成都理想境界科技有限公司