专利名称：利用运动趋势跟踪增强现实三维多标记的方法和装置的制作方法
技术领域：
本发明一般地涉及图像识别领域，更具体地，本发明涉及利用运动趋势跟踪增强现实(Augmented Reality,简称AR)三维多标记的方法和装置。
背景技术：
增强现实，是一种实时地计算摄影机图像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。随着随身电子产品运算能力的提升，预期增强现实的用途将会越来越广。北卡罗来纳大学的Ronald Azuma于1997年提出增强现实包括三个方面的内容:将虚拟物与现实结合、即时互动和三维(3D)。目前增强现实主要有如下几种实现方式:(I)通过全球定位系统(GPS)、地磁传感器和加速度传感器来确定用户终端的地理位置、朝向以及倾斜角度等，然后根据所确定的位置信息来获取相关信息后叠加显示，采用这种实现方式的比如有PlaceEngine技术、SekaiCamera技术等；(2)预先保存标记(marker)图像的信息,然后通过图像识别技术,在当前图像中查找并识别标记图像，然后在标记图像上叠加相关信息，采用这种实现方式的比如有ARToolKit程序库；以及(3)对摄影图像进行解析，识别出风景、物体和空间，然后叠加相关信息，采用这种实现方式的比如有由英国牛津大学的Georg Klein和David Murray提出的并行跟踪和映射(Parallel Tracking and Mapping,简称PTAM)开发库。在所提及的实现方式之中，通过对标记进行识别来实现信息叠加的技术被越来越广泛地使用。这种实现方式能够通过使用摄影机对真实图像中的标记进行识别来加入虚拟的3D物件，从而造成虚实结合的视觉效果。然而，当需要同时识别多个标记时，识别算法需要针对每个标记的特征点(feature point)来进行判断。除了 AR Toolkit外,目前常用的识别方法还有 Institute Graphische Datenverarbeitung、SCR(Semans AG) > HoffmanMarker System (HMS)等。对于由摄影机镜头拍摄到的图像，我们必须设法识别出其中的特殊标记，并用此标记的方向，来插入程序产生的3D虚拟物件。在需要识别多个运动标记的应用中，识别的效率成为重要的考虑。如果识别的效率太低，则会造成3D虚拟物件在运动过程中的不顺畅。目前识别摄影机图像中的标记，主要使用判断特征值计算所谓置信度(confidence level)的方法，当置信度超过一定数值，就视为侦测到标记。然而，特征值的判断必须针对个别的标记来判断。当标记数量变多时，判断的时间也因此增加。传统AR 3D针对当前捕捉到的摄影机图像，进行多个3D标记的识别。目前的识别方法大多针对单一的标记进行识别，或是在有限数量(比如2-3个)的标记中进行识别。这在需要同时识别多个标记时，会造成大量的图像处理计算，因而无法在手持设备等计算效率有限的移动平台上达到实时计算与识别的要求
发明内容
考虑到上述问题，本发明提出一种利用运动趋势跟踪增强现实三维多标记的方法和装置来提高AR 3D识别多个标记的效率。本发明使用连续图像之间3D物件运动的连续性，来加速对图像中多个3D标记的识别和跟踪。根据本发明的一方面，一种标记识别方法包括以下步骤:接收一帧摄影机图像；根据所述图像中的一个标记在在前帧中的位置识别结果，产生所述一个标记的运动趋势；根据所述运动趋势，动态确定对该帧摄影机图像中的各个区域进行识别的顺序；以及按所述顺序对该帧摄影机图像中的各个区域进行识别，并且当在该帧摄影机图像的一个区域中识别出所述一个标记时，在所识别出的位置处插入三维虚拟物件。该方法考虑到物件运动的连续性，缩小了针对个别标记在摄影机传入的连续图像上的识别扫描区域，因此能够在3D标记数目增加时，降低识别各个标记的计算复杂度。该方法在要识别的标记数量增加时，能够在小于与标记数量成正比的时间内识别出图像中的所有标记。此外，该方法因为使用标记的识别历史来减少需要比对的识别区域，因此能够比现有识别方法更快速地找出标记在图像中的新位置。在根据本发明的方法中，产生运动趋势的步骤可以包括:根据一个标记在在前帧中的位置识别结果，确定该标记在当前摄影机图像帧中出现的可能位置。当前摄影机图像帧可以被划分为mXn个图像块区域，并且所确定的进行识别的顺序可以是:对可能位置所在的第一图像块区域进行识别；对与第一图像块区域相邻的八个第二图像块区域进行识别；以及对该帧摄影机图像中的其他图像块区域进行识别，并且，m和η可以是大于I的整数。对八个第二图像块区域进行识别的顺序可以是根据运动趋势动态确定的。对可能位置的确定可以是通过线性外插算法完成的。在根据本发明的方法中，所述在前帧可以是紧邻所接收的一帧摄影机图像之前的2帧。在根据本发明的方法中，一帧摄影机图像可以包含3个或更多个标记。根据本发明的另一方面，一种标记识别装置包括:接收装置，用于接收一帧摄影机图像；运动趋势产生装置，用于根据所述图像中的一个标记在在前帧中的位置识别结果，产生所述一个标记的运动趋势；识别顺序确定装置，用于根据所述运动趋势，动态确定对该帧摄影机图像中的各个区域进行识别的顺序；以及三维虚拟物件插入装置，用于按所述顺序对该帧摄影机图像中的各个区域进行识别，并且当在该帧摄影机图像的一个区域中识别出所述一个标记时，在所识别出的位置处插入三维虚拟物件。根据本发明的又一方面，一种标记识别终端设备包括上述标记识别装置。例如，该标记终端设备可以是移动电话、PDA、平板电脑、膝上型计算机、桌上型计算机等设备。根据本发明的方法和装置通过优先对所接收图像中更可能出现标记的区域进行识别，能够减小标记识别的计算量，从而快速地识别出标记以确保实时地识别标记并将3D虚拟物件插入到所接收图像中。通过提高对标记进行识别的效率，即使在需要同时识别多个标记(比如3个或更多个标记)的情况下，本发明的方法和装置也能够确保实时地识别标记并插入3D虚拟物件。从下面结合附图的详细描述中，可以看出本发明的其他特征和优点。注意，本发明并不限于图中所示的示例或者任何具体的实施例。
结合附图，从下面对本发明实施例的详细描述，将更好地理解本发明，附图中类似的参考标注指示类似的部分，其中:图1是示出根据本发明一个具体示例的对一帧图像的区域划分以及针对一个标记对该帧图像中的各区域的识别扫描顺序的示图；图2是示出根据本发明另一具体示例的对一帧图像的区域划分以及针对一个标记对该帧图像中的各区域的识别扫描顺序的示图；图3是示出根据本发明一个具体示例的利用运动趋势跟踪增强现实三维多标记的方法的流程的流程图；和图4是示出根据本发明一个具体示例的利用运动趋势跟踪增强现实三维多标记的装置的内部结构的框图。
具体实施例方式在下面对本发明的详细描述中阐述了很多具体细节，以便于充分理解本发明。但是，没有这些具体细节也可以实施本发明，对于本领域的技术人员来说是很明显的。在另外一些例子里，没有对公知的方法、过程、部件和电路进行详细的描述，以避免喧宾夺主、淡化了本发明的主要内容。以下，给出本发明的一个具体示例。图1示出了对一帧摄影机图像的区域划分以及针对一个标记对该帧图像中的各个区域的进行识别扫描的顺序。如图1所示，所接收的一帧摄影机图像被划分为4X3个图像块区域，这里，用(X，y)表示其中的一个图像块，并且0<=x<4且0<=y<3。当要开始对如图1所示的摄影机图像中的多个标记之一进行识别时，与常规的对其进行从左到右、由上至下的扫描识别不同，本发明的方法首先基于要识别的那个标记在在前帧中的位置识别结果，来产生该标记的运动趋势。例如可以使用保存的该标记的紧邻在前的2帧图像中的位置识别结果来计算其运动趋势。具体地，可以使用线性外插算法来预测该标记在该帧摄影机图像中出现的可能位置:
权利要求
1.一种标记识别方法,包括: 接收一帧摄影机图像； 根据所述图像中的一个标记在在前帧中的位置识别结果，产生所述一个标记的运动趋势； 根据所述运动趋势，动态确定对该帧摄影机图像中的各个区域进行识别的顺序；以及按所述顺序对该帧摄影机图像中的各个区域进行识别，并且当在该帧摄影机图像的一个区域中识别出所述一个标记时，在所识别出的位置处插入三维虚拟物件。
2.根据权利要求1所述的方法，其中，所述产生运动趋势的步骤包括:根据所述一个标记在在前帧中的位置识别结果，确定所述标记在该帧摄影机图像中出现的可能位置。
3.根据权利要求2所述的方法，其中，该帧摄影机图像被划分为mXn个图像块区域，并且所确定的进行识别的顺序是: 对所述可能位置所在的第一图像块区域进行识别； 对与所述第一图像块相邻的八个第二图像块区域进行识别；以及 对该帧摄影机图像中的其他图像块区域进行识别， 并且其中，m和η是大于I的整数。
4.根据权利要求3所述的方法，其中，对所述八个第二图像块区域进行识别的顺序是根据所述运动趋势动态确定的。
5.根据权利要求2所述的方法，其中，对所述可能位置的确定是通过线性外插算法完成的。
6.根据权利要求1所述的方法，其中，所述在前帧是紧邻所接收的一帧摄影机图像之前的2帧。
7.根据权利要求1所述的方法，其中，所述摄影机图像中包含3个或更多个标记。
8.一种标记识别装置，包括: 接收装置，用于接收一帧摄影机图像； 运动趋势产生装置，用于根据所述图像中的一个标记在在前帧中的位置识别结果，产生所述一个标记的运动趋势； 识别顺序确定装置，用于根据所述运动趋势，动态确定对该帧摄影机图像中的各个区域进行识别的顺序；以及 三维虚拟物件插入装置，用于按所述顺序对该帧摄影机图像中的各个区域进行识别，并且当在该帧摄影机图像的一个区域中识别出所述一个标记时，在所识别出的位置处插入三维虚拟物件。
9.根据权利要求8所述的装置，其中，所述运动趋势产生装置包括:可能位置确定装置，用于根据所述一个标记在在前帧中的位置识别结果，确定所述标记在该帧摄影机图像中出现的可能位置的装置。
10.根据权利要求9所述的装置，其中，该帧摄影机图像被划分为mXη个图像块区域，并且所确定的进行识别的顺序是: 对所述可能位置所在的第一图像块区域进行识别； 对与所述第一图像块相邻的八个第二图像块区域进行识别；以及 对该帧摄影机图像中的其他图像块区域进行识别，并且其中，m和η是大于I的整数。
11.根据权利要求10所述的装置，其中，对所述八个第二图像块区域进行识别的顺序是根据所述运动趋势动态确定的。
12.根据权利要求9所述的装置，其中，对所述可能位置的确定是通过线性外插算法完成的。
13.根据权利要求8所述的装置，其中，所述在前帧是紧邻所接收的一帧摄影机图像之前的2帧。
14.根据权利要求8所述的装置，其中，所述摄影机图像中包含3个或更多个标记。
15.一种标记识别终端设备，包括:根据权利要求8-14中任意一个所述的装置。
全文摘要
本发明提供了一种利用运动趋势跟踪增强现实三维多标记的方法和装置。利用运动趋势跟踪增强现实三维多标记的方法，包括接收一帧摄影机图像；根据所述图像中的一个标记在在前帧中的位置识别结果，产生所述一个标记的运动趋势；根据所述运动趋势，动态确定对该帧摄影机图像中的各个区域进行识别的顺序；以及按所述顺序对该帧摄影机图像中的各个区域进行识别，并且当在该帧摄影机图像的一个区域中识别出所述一个标记时，在所识别出的位置处插入三维虚拟物件。
文档编号G06K9/00GK103164690SQ201110426130
公开日2013年6月19日 申请日期2011年12月9日 优先权日2011年12月9日
发明者江国昌, 叶思义 申请人:金耀有限公司