专利名称：基于同心圆环图案组的增强现实方法
技术领域：
本发明属于信息处理技术领域，涉及一种基于同心圆环图案组实现增强现实的方 法，可用于虚拟演播室以及教学、科研、商业和娱乐等需要实现增强现实的领域。
背景技术：
增强现实，是指在视频图像里将虚拟的物体与现实拍摄的场景融合起来，达到现 实与虚拟物体无法区分的视觉感官效果。其步骤主要包括1)对于每幅图像通过抠像将需 要的物体从现实拍摄的图像中取出；2)计算摄像机的内外参数，使虚拟的三维场景以正确 的投影关系形成所需的虚拟图片；3)将抠出的物体与虚拟图片结合形成虚实结合的效果。 其中摄像机的内外参数检测是增强现实技术的难点。目前，摄像机的内外参数检测方法有基于传感器的检测方法和基于视觉技术的 检测方法。一 .基于传感器的检测方法主要有1)使用圆光栅编码器测量相机的内外参数，此方法需在摄像机的支架和镜头上安 装圆光栅编码器，其价格昂贵，标定方法复杂；2)使用步进电机驱动的机械装置辅助检测摄像机内外参数，这种装置需要使用步 进电机驱动摄像机的运动，摄影师需要经过专门技术培训后操作，操作过程不方便，而且机 械运动的回程误差也需要积极克服；3)红外遥测技术检测摄像机内外参数，该方法给移动物体(主持人等)配带上红 外线发射装置，其红外线被红外线摄像机摄取，通过计算机识别移动物体的深度，其价格较 低，但抗干扰能力差，对着装和运动方式都有要求。二 .基于视觉技术的检测方法这种方法是将特殊的图形或者标志放置在背景，在所拍摄到的图像中检测这些图 形或者标志，根据图形或者标志的世界坐标以及图像坐标的对应关系，计算摄像机的内外 参数。该方法无需改变摄像人员的工作方式，操作方便，成本低。早期利用三维定标物，由于制作上的困难，现在已经被平面标定物取代。现在广泛 使用的平面标定物为方格图案，但是这种方法存在以下缺点方格平面前不能有遮挡，遮挡 会造成一些方格角点不可见，从而无法判断真实世界的角点到图像平面角点的对应关系； 图像中的方格平面必须是完整的，如果只有部分平面被拍摄，同样也会造成部分方格角点 不可见。为克服这一缺点出现了另一种有效的方法，利用不均勻方格形式的平面标定物， 其不均勻性由马尔科夫链原理设计得到，从而对各角点编码。该方法需二维边缘检测算法 检测图形边缘来计算图像中的方格角点，再用方格的不均勻性正确匹配世界坐标系中的点 与图像中的点的对应关系。此类方法的不足在于由于方格图案是四边形，通常由四个顶点 获得，而图像上任意的四个点都可以认为是方格图案的投影，因此在前景，例如，人的衣服 中也极可能误检测出方格的投影，与背景混淆，这就需要将前景区域经过色键技术去除之后才能进行方格图案的检测，检测的效率低。为了克服用各种方格形式的平面标定物检测相机内外参数的缺点，出现了用同心 圆环检测相机内外参数的方法。圆在图像平面的投影一般为椭圆，一个椭圆至少需要5个 点来确定，所以其抗干扰能力优于直线。文献《Jun-Sik Kim and In SoKweon, Geometric and Algebraic Constraints of Projected Concentric Circlesand Their Applications to Camera Calibration, IEEE Trans, on Pattern Analysisand Machine Intelligence, 27 (4), pp. 637-642,2005》用同心圆环获得相机内参数，但是由于未考虑用同心圆环图案内 外圆半径比区分同心圆环图案，该方法只能求解相机内参数，而且计算复杂，需要先估计图 像平面的无穷远直线，然后才能计算圆心的位置。在文献《Guang Jiang and Long Quan, Detection of concentriccircles for camera calibration, Proc. of IEEE Int.Conf. on Computer Vision, pp. 333-340，2005》中用收敛法搜索圆心的位置，用非线性优化确定 最优解，计算仍然复杂；虽然使用了 12个具有不同内外圆半径比的同心圆环确定了相机的 外参数，但由于使用的不同半径比的个数较多，半径比数值之间的差别就很小，所以容易产 生测量误差，从而造成误匹配。此外上述两文献采用的均是黑白图案，无法完成视频的抠像 处理
发明内容
本发明的目的在于克服上述已有技术的不足，提出一种基于同心圆环图案组的增 强现实方法，以增强抗干扰能力，简化算法，提高匹配准确度。为实现上述目的，本发明提供的基于同心圆环图案组实现增强现实的方法，包括 如下步骤(1)绘制含同心圆环图案组的背景平面la)根据背景平面大小和目标大小确定背景平面上要绘制的同心圆环的个数n， η彡2 ；lb)将背景平面均勻分成η个长方形区域，设长方形区域的长为χ、宽为y，以每个 长方形区域的中心作为每个同心圆环的圆心，并且在背景平面上建立直角坐标系，记录这η 个圆心在此坐标系下的坐标；Ic)根据步骤lb)中长方形区域的长和宽确定η个同心圆环的外圆半径艮(111= 1， 2......n)，0 < Rm < χ/2,0 < Rm < y/2 ；Id)选择k个不同的大于0且小于1的数值作为η个同心圆环各自的内外圆半径 比PmOii= 1,2,…k)，1^<11，将这1^个不同的Pm分配给η个同心圆环，若背景平面上任 意两个相邻的同心圆环DjP &的半径比组合是[Pi, P』，则在其它位置的两个相邻的同 心圆环半径比的组合不能与其重复，即要保证任意两个相邻的同心圆环内外圆半径比的组 合各不相同；Ie)在空间平面上建立每个相邻同心圆环半径比的组合[P P j]与其相应同心 圆环的组合[Di, Dj]的对应关系；If)根据η个同心圆环的内外圆半径比ρ m和外圆半径Rm(m= 1,2……η)确定η 个同心圆环的内圆半grm(m= 1,2……n) :rm = Pm- Rm(m = 1,2……η)；lg)根据步骤lb)中确定的圆心、步骤Ic)中确定的外圆半径和步骤If)中确定的内圆半径，在背景平面上绘制出相应的η个同心圆环，并将同心圆环的圆环区域和背景平面的其它区域用色调相同，色饱和度不同的颜色区分；(2)将含同心圆环图案组的背景平面置于要拍摄的人或物的后面，拍摄含同心圆 环图案组背景平面的图像；(3)在所拍摄的图像上选择两个相邻的未被遮挡的椭圆环Cli和…，Cli和Clj为空间 平面的同心圆环在图像平面上投影形成的椭圆环，在图像平面上根据Cli和…的边缘，求解 其对应同心圆环的圆心投影坐标Oi和Oj ；(4)根据Oi和Oj以及同心圆环内外圆的变换关系，寻找Cli和…对应的半径比Pi 和P j ；(5)根据P i和P」形成的组合[P P」]，确定Cli和Clj对应的空间平面同心圆环 Di 和 Dj ；(6)连接Oi和Oj形成一条直线Iij，根据Iij求解出两条直线‘和^涟接Di和Dj 的圆心形成一条直线Lij，过DJPDj的圆心做与Lij垂直的两条直线、则Λ、Ijb 与Clpdj在图像平面上形成16个交点，LijJ0^、 与Di、Dj在空间平面上也形成16个交 点；根据对应交点在图像平面和空间平面的坐标，求解空间平面到图像平面的单应性变换 矩阵；(7)根据单应性变换矩阵求解摄像机参数；(8)根据摄像机参数将虚拟的三维物体叠加到真实场景中。本发明与现有技术相比，具有如下优点1)本发明在绘制同心圆环图案组过程中，由于任意相邻同心圆环内外圆的半径比 组合各不相同，进而根据相邻同心圆环半径比的组合确定同心圆环位置，所以不需要根据 单个同心圆环的半径比确定其位置；2)本发明在绘制同心圆环图案组过程中，由于一部分同心圆环使用相同的半径 比，所以使用的不同半径比的个数减少，使得半径比数值相差更大，更易于分辨，测量误差 更小；3)本发明对圆心投影的计算简洁而且可靠；4)本发明对内外圆半径比的求解简单，计算更准确；5)相对基于直线的视觉检测方法，本发明使用的同心圆环抗干扰能力更强。
图1是本发明的流程图；图2是本发明绘制含同心圆环图案组的背景平面子流程图；图3是用本发明方法绘制的同心圆环图案组示意图；图4是本发明各同心圆环半径比分配示意图；图5是本发明摄像机拍摄图像的示意图。
具体实施例方式参照图1，本发明包括以下步骤步骤1，绘制含同心圆环图案组的背景平面。
参照图2，本步骤的具体实现如下 la)根据背景平面大小和目标大小选择同心圆环个数n，要求η ≥2，且满足当目 标处于背景前面时至少有两个同心圆环未被遮挡，本实施例取背景平面长为200cm，宽为 150cm，选取同心圆环个数η = 12 ；lb)将背景平面分成三行四列共12个长方形区域，长方形区域的长χ = 50cm、宽y =50cm,以每个长方形区域的中心作为每个同心圆环的圆心，并且在背景平面上建立直角 坐标系，记录这12个圆心在此坐标系下的坐标；Ic)根据步骤lb)中长方形区域的长χ和宽y确定各个同心圆环的外圆半径Rm， 要求0 < Rm < x/2, 0 < Rm < y/2，本实例12个同心圆环的外圆半径都选取为Rm = 23cm,m =1,2......12 ；Id)选择k个大于0且小于1的数作为同心圆环各自的内外圆半径比Pm，要求 k ≤n，本实例选取k = 7，这7个数分别是0. 1、0. 2、0. 3、0. 4、0. 5、0. 6和0. 7，将这7个不 同的Pm分配给12个同心圆环，保证任意两个相邻的同心圆环内外圆半径比的组合各不相 同，图4示出了各同心圆环所分配的半径比数值，即第一行四个同心圆环的半径比依次是 0. 1,0. 2,0. 3和0. 4，第二行四个同心圆环的半径比依次是0. 4,0. 2,0. 5和0. 4，第三行四个 同心圆环的半径比依次是0. 6,0. 6,0. 1和0. 7 ；Ie)在空间平面上建立每个相邻同心圆环半径比的组合[P P j]与其相应同心 圆环的组合[DiA]的对应关系，例如，第一行第一个同心圆环0工的半径比为0. 1，第一行第 二个同心圆环D2的半径比为0. 2 ；If)根据12个同心圆环的半径比Pm和外圆半径Rm确定各自的内圆半径rm，rm = P m · Rm，例如第一行四个同心圆环的内圆半径依次是2. 3cm、4. 6cm、6. 9cm和9. 2cm，第二行 四个同心圆环的内圆半径依次是9. 2cm、4. 6cm、11. 5cm和9. 2cm，第三行四个同心圆环的内 圆半径依次是 13. 8cm、13. 8cm、2. 3cm 和 16. Icm ；lg)根据步骤lb)中确定的圆心和步骤Ic)中确定的外圆半径和步骤If)中确定 的内圆半径，在背景平面上绘制出相应的12个同心圆环，并将同心圆环的圆环区域和背景 平面的其它区域用色调相同，色饱和度不同的颜色区分。按照上述步骤la)至Ig)绘制出的背景图案如图3所示。步骤2，将含同心圆环图案组的背景平面置于要拍摄的人或物的后面，拍摄含同心 圆环图案组背景平面的图像，其拍摄的图像结果如图5所示。步骤3，在所拍摄的图像上选择两个相邻的未被遮挡的椭圆环Cli和Clj，在图像平面 上根据Cli和Clj的边缘，求解其对应同心圆环的圆心投影坐标Oi和0j。3^(1,和Clj为空间平面的同心圆环在图像平面上投影形成的椭圆环，利用Cli和… 色调饱和度的变化，搜索其边缘，获得Cli和Clj在图像平面的方程，将得到的Cli的内外椭圆 矩阵形式表示为4和《，dj的内外椭圆矩阵形式表示为<和形；3b)根据<、Cli0, rf/和^，得到如下公式( )"' d\-Xl^oi = 0 ,[^dj0Y dj -Λ/jo. = 0式中λ为常数，I为3X3的单位阵；3c)根据上式求出Oi和0j。
步骤4，根据Oi和Oj以及同心圆环内外圆的变换关系，寻找Cli和Clj对应的半径比
P^ PjO4a)在本实例中同心圆环具有7个不同的半径比，用P m表示这7个半径比，对于 椭圆环屯，7个P 111都可能是其对应的半径比，由7个Pm求出7个变换矩阵Gm，m= l，2r·· 7 +(m = l,2,-7)4b)过Oi做任意射线，该射线与内椭圆的交点为^，与外椭圆的交点为巧，将k个 Gffl分别代入等式= GmP1l，则能使该等式成立的那个Gm所对应的半径比就是Cli对应的半径 比P i ；4c)过％做任意射线，该射线与内椭圆的交点为P/，与外椭圆的交点为巧，将k个 Gffl分别代入等式巧二 GmP/ ,则能使该等式成立的那个Gm所对应的半径比就是…对应的半 径比P」。步骤5，根据步骤Id)可知任意两个相邻同心圆环的半径比的组合是各不相同的， 故根据Cli和dj的半径比组合[P P j]确定Cli和dj对应的空间平面的同心圆环Di和Dj, 由于步骤lb)中已经记录了每个同心圆环的圆心在空间平面的坐标，所以能够确定出Di和 Dj的圆心在空间平面的坐标Oi和(V步骤6，求解空间平面到图像平面的单应性变换矩阵。6a)在图像平面上，根据Oi和Oj求出直线Iij Iij = OiXoj式中符号“ X ”表示向量叉乘；6b)根据所述的<、d'0、d；、^和Iij求出极点b 分别将b点与Oi和Oj相连，得到直线U = Α Χ 和直线。=Oj Xb ；6c)直线、^与椭圆环屯、dj在图像平面上形成16个交点，根据屯、dj的 内外椭圆矩阵《、d''0、d“ ^以及直线Iij、‘、、△求出所述图像平面上16个交点的坐 标；6d)设图像平面直线、乂》和。所对应的空间平面直线分别为LijJc^和、5，根据 视觉几何的知识可知，Lij是Di和Dj圆心的连线，和、〃分别为过Di和Dj的圆心且与Lij 垂直的直线，直线LijA0^同心圆DpDj在空间平面上形成16个交点，根据DjOj. 的圆心坐标Oi和Oj以及Di和Dj的内外圆半径，求出所述空间平面上16个交点的坐标；6e)利用上述图像平面16个交点的坐标和空间平面16个交点的坐标求解空间平 面到图像平面的单应性变换矩阵。步骤7，根据单应性变换矩阵求解摄像机参数，并利用摄像机参数将虚拟的三维物 体叠加到真实场景中。以上描述仅是本发明的一个实例，并不构成对本发明的任何限制，显然任何人可 根据本发明的思想，选取不同的参数，作出相应的变迁，但这些均在本发明的保护范围之列 。
权利要求
一种基于同心圆环图案组的增强现实方法，包括如下步骤(1)绘制含同心圆环图案组的背景平面1a)根据背景平面大小和目标大小确定背景平面上要绘制的同心圆环的个数n，n≥2；1b)将背景平面均匀分成n个长方形区域，设长方形区域的长为x、宽为y，以每个长方形区域的中心作为每个同心圆环的圆心，并且在背景平面上建立直角坐标系，记录这n个圆心在此坐标系下的坐标；1c)根据步骤1b)中长方形区域的长和宽确定n个同心圆环的外圆半径Rm(m＝1，2……n)，0＜Rm＜x/2，0＜Rm＜y/2；1d)选择k个不同的大于0且小于1的数值作为n个同心圆环各自的内外圆半径比ρm(m＝1，2，…k)，k≤n，将这k个不同的ρm分配给n个同心圆环，若背景平面上任意两个相邻的同心圆环Di和Dj的半径比组合是[ρi，ρj]，则在其它位置的两个相邻的同心圆环半径比的组合不能与其重复，即要保证任意两个相邻的同心圆环内外圆半径比的组合各不相同；1e)在空间平面上建立每个相邻同心圆环半径比的组合[ρi，ρj]与其相应同心圆环的组合[Di，Dj]的对应关系；1f)根据n个同心圆环的内外圆半径比ρm和外圆半径Rm(m＝1，2……n)确定n个同心圆环的内圆半径rm(m＝1，2……n)rm＝ρm·Rm(m＝1，2……n)；1g)根据步骤1b)中确定的圆心、步骤1c)中确定的外圆半径和步骤1f)中确定的内圆半径，在背景平面上绘制出相应的n个同心圆环，并将同心圆环的圆环区域和背景平面的其它区域用色调相同，色饱和度不同的颜色区分；(2)将含同心圆环图案组的背景平面置于要拍摄的人或物的后面，拍摄含同心圆环图案组背景平面的图像；(3)在所拍摄的图像上选择两个相邻的未被遮挡的椭圆环di和dj，di和dj为空间平面的同心圆环在图像平面上投影形成的椭圆环，在图像平面上根据di和dj的边缘，求解其对应同心圆环的圆心投影坐标oi和oj；(4)根据oi和oj以及同心圆环内外圆的变换关系，寻找di和dj对应的半径比ρi和ρj；(5)根据ρi和ρj形成的组合[ρi，ρj]，确定di和dj对应的空间平面同心圆环Di和Dj；(6)连接oi和oj形成一条直线lij，根据lij求解出两条直线和连接Di和Dj的圆心形成一条直线Lij，过Di和Dj的圆心做与Lij垂直的两条直线和则lij、与di、dj在图像平面上形成16个交点，Lij、与Di、Dj在空间平面上也形成16个交点；根据对应交点在图像平面和空间平面的坐标，求解空间平面到图像平面的单应性变换矩阵；(7)根据单应性变换矩阵求解摄像机参数；(8)根据摄像机参数将虚拟的三维物体叠加到真实场景中。FSA00000147912900021.tif,FSA00000147912900022.tif,FSA00000147912900023.tif,FSA00000147912900024.tif,FSA00000147912900025.tif,FSA00000147912900026.tif
2.根据权利要求1所述的增强现实方法，其中步骤la)所述的根据背景平面大小和目 标大小确定背景平面上要绘制的同心圆环的个数n，是根据背景平面大小和目标大小要满足当目标处于背景前面时至少有两个同心圆环未被遮挡的原则确定其具体个数。
3.根据权利要求1所述的增强现实方法，其中步骤(3)所述的在图像平面上根据屯和 dj的边缘，求解其对应同心圆环的圆心投影坐标0i和cv按如下步骤求解3a)利用屯和…色调饱和度的变化，搜索其边缘，将获得的屯的内外椭圆矩阵表示为 《和4，dj的内外椭圆矩阵表示为<和衫；3b)根据<、dl0、<和《，得到如下公式(d'0广 d\ -Aljo. = 0 ,((起)_1 df - AI)o. = 0式中入为常数，I为3X3的单位阵； 3c)根据上式求出投影坐标0i和cv
4.根据权利要求1所述的增强现实方法，其中步骤(4)所述的根据0i和0j以及同心 圆环内外圆的变换关系，寻找屯和…对应的半径比Pp按如下步骤进行4a)由k个Pm求出k个变换矩阵Gm，m= 1,2, -k°i dO°i4b)过0i做任意射线，该射线与内椭圆的交点为打，与外椭圆的交点为巧，将k个Gm分 别代入等式g = GmP；，则能使该等式成立的那个Gm所对应的半径比就是屯对应的半径比 P i ；4c)过做任意射线，该射线与内椭圆的交点为P/，与外椭圆的交点为巧，将k个Gm分 别代入等式6 = GmP；，则能使该等式成立的那个Gm所对应的半径比就是…对应的半径比P j。
5.根据权利要求1所述的增强现实方法，其中步骤(6)所述的根据求解出两条直 线‘和。，按如下步骤进行5a)在图像平面上，根据0i和0j求出直线 iij = °ix°j式中符号“X”表示向量叉乘；5b)根据所述的<、d'0、d;、^和、求出极点b:b={d'!y1i0.=(d'oyliiJ={d;y1iIJ=(d/)y]iiJ,分别将b点与0i和0j相连，得直线L = O‘ X6和直线。=O. xb。
全文摘要
本发明公开了一种基于同心圆环图案组的增强现实方法，主要解决现有方法抗干扰能力差和匹配不准确的问题。其步骤是首先，制作含同心圆环图案组的背景平面；其次，求解同心圆环圆心的投影和内外圆的半径比，利用半径比组合的唯一性识别各个圆心在空间平面和图像平面的对应关系；然后，通过圆心的连线以及由圆心连线求解出的直线与同心圆环在空间平面和图像平面所形成的多个交点，利用这些交点求解空间平面到图像平面的单应性变换矩阵，解得摄像机的参数；最后利用摄像机参数将虚拟场景叠加到真实场景中。本发明具有抗干扰能力强和匹配准确的优点，适用于虚拟演播室以及教学、科研、商业和娱乐等需要实现增强现实的领域。
文档编号G06T17/00GK101866496SQ20101019282
公开日2010年10月20日 申请日期2010年6月4日 优先权日2010年6月4日
发明者姜光, 焦晋生, 王剑钢 申请人:西安电子科技大学