专利名称：一种基于视觉不变量的新型标志点图形及其识别、跟踪定位算法的制作方法
技术领域：
本发明涉及一种基于视觉不变量的标志点图案设计，尤其是涉及一种利用 该特殊标志点的增强现实跟踪注册算法，属于虛拟现实领域。
背景技术：
基于人工标志点的跟踪注册技术是当前增强现实系统中最为成熟和实际应 用最为广泛的注册技术。所谓"标志点"，是指由人工设计印制的特殊图形图 案。由于其图形图案的特殊性，很难与各种场景中的环境背景类似，因此便于 从环境中区分出来。标志点经过识别定位算法可以得到其空间三维坐标与其投 影图像的对应点集，通过姿态估计算法计算得到摄像机相对于真实场景的六自 由度姿态信息。
国外许多实验室都在基于人工标志点跟踪注册技术方面做出了重要成果。
如美国华盛顿大学的HTL实验室设计开发了ARToolKit软件包。该软件包中使用 的方形标志点是当前AR系统中最经常被采用的标志点样式。由于ARToolKit处理 过程釆用二值图像，精度比较低，同时由于在编码匹配方面釆用了图形相关性 匹配，匹配效率和编码数量都受到制约。日本Sony计算机实验室1998年发表了 一种与ARToolKit比较类似的标志点系统，对其编码算法进行了一定的改进，使 其可以更方便的设计编码。西门子研究院的X. Zhang和N. Navab对ARToolKit样 式的标志点系统进行了重要改进，大幅提髙了其跟踪精度。这个标志点系统的 算法具有很优秀的性质，对于基于标识的AR注册技术贡献很大。而美国密西根 州立大学的Charles B.等人在分析了内部图案编码方法后，给出了理论上可以 获得最大编码数量的图形设计方法。此后，M.Fiala在2005年发表了 ARTag标 志点跟踪注册系统。该标志点系统对于标志点注册的识别、特征定位和二维条 形码编码解码算法都有很重要的贡献。除了以上的类似于ARToolKit样式的方 形标志点，目前也有一些圆形的标志点系统公开发表。其中较有代表性的是 InterSense公司的Leonid Naimark等人在2002年发表的圆形标志点系统以及 Diego L6pez de Ipifia等在2002年发表的TRIP系统。
然而在这些标志点系统中，标志点图案的设计往往分为两个独立的部分， 一部分专门用于标志图形的编码，另一部分用于特征点的提取与姿态计算。这 样分离的结果是造成标志点图案需要大面积的编码区域，不利用减小标志点图 形的尺寸，提高单位面积可提供的精度。同时在跟踪注册过程中需要对编码进 行解码，增加了计算机的计算负担。
发明内容
为了克服现有基于标志点的增强现实跟踪注册技术方面的缺点，本发明所 述系统包含一种基于视觉不变量的新型标志点图形及其识别、跟踪定位算法， 可应用于增强现实跟踪注册系统中。本发明有益效果在于，基于视觉不变量的 新型标志点充分利用了标志点图形自身所具有的视觉不变量信息，节省了编码 图案所需的面积，近而减小了标志点图形的空间尺寸，提高了单位面积可提供 的精度。基于该视觉不变量标志点的增强跟踪注册系统，对大视角变化具有较 高的鲁棒性。
本发明提出一种釆用黑色带有白色圆形标记的五边形作为标志点图形的增
强现实跟踪注册系统。五边形的顶点作为进行姿态估计的匹配特征；同时选择 构成该五边形的五条边计算其交比射影不变量以及其凹凸性，用以编码和识别 标志点。为解决特征点顺序匹配的问题，在五边形图形中加入圆形标记，用于 识别五边形的第一个顶点。识别了五边形的第一个顶点，就确定了其顶点的顺 序方向，从而可以确定特征点的匹配关系。参照图l，基于视觉不变量的新型标 志点图形为一个带有黑色或白色圆形标志的五边形，该五边形各顶点的位置可 根据需要任意选择只要保证任意三个顶点不共线即可。并且该新型标志点不限 制五边形的凹凸特性，即五边形可以是凸五边形也可以是凹五边形。圆形标志 用于确定五边形的第一个顶点。若五边形是凸五边形则圆形标志为白色位于五 边形内部，若五边形是凹五边形则圆形标志为黑色位于五边形外部。确定了五 边形的顶点顺序，就可以确定特征点的匹配关系。利用五边形的五条边计算其 交比不变量(/,，/2 )并结合顶点的凹凸性对图形进行编码。
其中Mw =(/,，/7,/,)， (/ = (/'，/2,/3) /表示直线方程/'x + /V + /3=0 )， |圳为矩
阵的行列式。
图2是标志点中圆形标记放置位置的设计。为了解决特征点顺序匹配的问 题，在五边形中加入了一个圆形标记，用于识别五边形的第一个顶点。识别了 五边形的第一个顶点，就确定了其上各顶点的顺序(其它顶点沿顺时针方向进 行选取)，从而可以确定特征点的匹配关系。圆形标记的圆心位置位于(X。，:K。)。
其中
(x,，力)为五边形第一个顶点的坐标，(Xc,尺)为由与五边形第一个顶点相邻的两个 顶点所构成的三角形的重心坐标。
本发明所设计的基于视觉不变量的新型标志点的识别、跟踪定位算法流程 如下
(1) 提取所釆集图像中的所有黑色区域；
(2) 检测提取到的黑色区域的连通区域；
(3) 五边形检测；
(4) 提取五边形边缘；
(5) 边缘细化得到单像素宽度边缘；
(6) 直线拟合算法获得直线参数；
(7) 检测标志点图形中的圆形标记获得其顶点的顺序排列；
(8) 对所有候选五边形区域进行误差检测。若误差检测结果小于设定的阈值， 将被识别为正确的标志点图形；若没有则退出；
(9) 检测五边形的凹凸特性；
(10) 计算由五边形的边所构成的交比不变量；
(11) 利用凹凸特征矢量以及交比不变量与数据库中的标志点特征信息进行比 较，确定标志点的编码；
(12) 重复(9)-(ll)步骤，直到检测出当前图像中所有的标志点；
(13) 釆用基于平面特征点的增强现实注册算法进行姿态计算；
(14) 实现真实与虛拟场景的融合。 根据对本发明的上述描述，本发明能够有效的解决当然标志点图形占用面 积大，编码复杂的缺点，充分利用图形自身的特征实现基于该新型标志点的增 强现实跟踪注册。
图1为本发明中的基于视觉不变量的标志点图形设计；图la,凹五边形标 志点，图lb.-凸五边形标志点；
图2为标志点中圆形标记的设计。
具体实施例方式
下面结合具体实施实例对本发明做进一步详细说明。在此，本发明的示意 性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在真实场景中放置本发明所设计的五边形标志点，利用摄像机拍摄该场景 获取场景的图像信息。识别、跟踪定位算法的具体实施流程如下
(1) 提取所釆集图像中的所有黑色区域，该处并不限定釆用何种图像二值 化算法；
本实施例中釆用分水岭自适应阈值算法进行黑色区域提取，以保证算法对 光照变化的自适应性。
(2) 检测提取到的黑色区域的连通区域，该处并不限定釆用何种连通区域 检测算法；
本实施例中釆用label连通区域检测算法。
(3) 利用五边形检测算法检测五边形，并提取五边形边缘，将其细化到单 像素宽度；
(4) 接着釆用直线拟合算法获得直线参数，该处并不限定釆用何种直线拟
合算法；
本实施例中釆用了最小二乘法进行直线拟合。
(5) 利用图形中的白色或黑色圆形确定五边形的第一个顶点，并按顺时针 方向选取五边形上的其他顶点；
(6) 对所有选取的候选区域进行单应性误差检测。若误差检测结果小于设 定的阈值，将被识别为正确的匹配标志点，没有检测到则退出；
(7) 依次检测标志点各顶点的凹凸特性，并构成凹凸特征矢量
(^"2,"3，04,"5)，如果是凹顶点表示为'T'，凸顶点表示为"0"。如图la样式 的凹五边形标志点，其凹凸特征矢量为(1, 0, 0， 0， 0)。
(8) 计算由五边形的边所构成的交比不变量(/,,/2);利用交比不变量和凹 凸矢量作为特征矢量，釆用马氏距离与数据库中的标志点信息进行比对，若小 于设定的阈值系统认为正确的识别出来标志点；若大于阈值则对其他的候选区 域进行检测直至检测出当前图像中的所有标志点；
(9) 釆用基于平面特征点的增强现实注册算法进行姿态计算，计算出摄像 机相对于标志点世界坐标系的旋转矩阵/ 和平移矩阵r。
(10) 将旋转和平移矩阵值赋值给虛拟摄像机，使其沿该轨迹运动，完 成虛拟与真实场景的融合。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步 详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于 限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等 同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种基于视觉不变量的新型标志点图形及其识别、跟踪定位算法，其特征在于，基于视觉不变量的新型标志点图形为一个带有黑色或白色圆形标志的五边形，该五边形各顶点的位置可根据需要任意选择只要保证任意三个顶点不共线即可；并且该新型标志点不限制五边形的凹凸特性，即五边形可以是凸五边形也可以是凹五边形；其中圆形标志用于确定五边形的第一个顶点；若五边形是凸五边形则圆形标志为白色位于五边形内部，若五边形是凹五边形则圆形标志为黑色位于五边形外部；确定了五边形的顶点顺序，就可以确定特征点的匹配关系；利用五边形的五条边计算其交比不变量(I1，I2)并结合顶点的凹凸性对图形进行编码；基于视觉不变量的新型标志点的识别、跟踪定位算法流程如下(1)提取所采集图像中的所有黑色区域；(2)检测提取到的黑色区域的连通区域；(3)五边形检测；(4)提取五边形边缘；(5)边缘细化得到单像素宽度边缘；(6)直线拟合算法获得直线参数；(7)检测标志点图形中的圆形标记获得其顶点的顺序排列；(8)对所有候选五边形区域进行误差检测，若误差检测结果小于设定的阈值，将被识别为正确的标志点图形；若没有则退出；(9)检测五边形的凹凸特性；(10)计算由五边形的边所构成的交比不变量；(11)利用凹凸特征矢量以及交比不变量与数据库中的标志点特征信息进行比较，确定标志点的编码；(12)重复(9)-(11)步骤，直到检测出当前图像中所有的标志点；(13)采用基于平面特征点的增强现实注册算法进行姿态计算；(14)实现真实与虚拟场景的融合。
全文摘要
本发明为一种基于视觉不变量的新型标志点图形及其识别、跟踪定位算法。该发明包括一种基于视觉不变量的新型标志点的设计以及基于该新型标志点的识别跟踪定位算法。基于视觉不变量的新型标志点为一带有圆形标志的黑色五边形。标志点可以是凸五边形也可以是凹五边形。圆形标志用于确定五边形的第一个顶点。利用五边形的交比不变量并结合顶点的凹凸性对图形进行编码。基于视觉不变量的标志点能够利用自身特性直接进行姿态计算并实现标志点的编码，节省编码图案所需面积；减小标志点图形尺寸，提高单位面积注册精度。跟踪注册算法用于识别该标志点并跟踪使用者的头部姿态，计算虚拟场景在真实环境空间中的准确位姿。
文档编号G06T15/70GK101339604SQ20081011637
公开日2009年1月7日 申请日期2008年7月9日 优先权日2008年7月9日
发明者玉 李, 王涌天, 靖 陈 申请人:北京理工大学