专利名称：基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法
基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法技术领域
本发明属于计算机视觉领域，具体涉及两幅或多幅图像之间的对应点匹配方法。
技术背景
对应点匹配是计算机视觉及其相关领域中的一个基本问题。以前的相关研究大多 集中于普通透视图像，然而由于鱼眼图像具有较大的视场范围，在现实中具有重要的应用 价值，因此研究鱼眼图像对应点匹配问题具有重要的意义。
准稠密匹配是介于稀疏匹配和稠密匹配之间的一类对应点匹配方法，为了满足三 维建模和基于图像的渲染等应用中所需大量对应点的需要，同时尽可能提高对应点匹配的 可靠性，这类方法的对应点匹配只在纹理丰富的区域进行，而对均质区域不进行对应点匹 配。这类方法的基本思想可概括为首先检测和匹配图像中的稀疏特征点，然后从这些稀疏 特征点开始，逐步向其邻域进行匹配扩散。
在这类方法中，不同方法之间最主要的区别是匹配扩散过程中对应点视差限制 模型的选择问题。Lhuillier 等人[l]Lhuillier M and Quan L. Matchpropagation for image-based modeling and rendering. IEEE Transactions onPattern Analysis and Machine Intelligence, 2002, 24 (8) :1140_1146，所采用的视差模型是二维视差梯度约 束，该模型假设图像的局部变形近似为二维平移变换，这种假设只适用于短基线平行配置 的立体透视图像对；为了将这类方法拓展到宽基线透视图像，Karmala等人[2]Karmala J and Brandt S S.Quasi-dense wide baseline matching using match propagation. In Proceedingof Computer Vision and Pattern Recognition，2007，1-8，米用仿身寸模型来近 似局部视差；类似地，许等人[3]许振辉，张峰，孙凤梅，胡占义.基于邻域传递的鱼眼图像 的准稠密匹配.自动化学报，200935 (9) :1159-1167，也采用仿射模型来近似鱼眼图像对应 点的局部视差。但是，文献[1]采用的模型不适合鱼眼图像的局部变形，而仿射模型由于 自由度较多，在计算和更新仿射模型参数时，由于有效数据样本点较少，搜索空间较大等原 因，使得计算得到的模型很不稳定，导致最终的扩散结果不可靠。另外，文献[3]中的方法 只适用于摄像机已经标定的情况(即摄像机内外参数都已知)，这在某些应用中也是很不 方便的。发明内容
本发明的目的是解决仿射模型不稳定而导致最终的扩散结果不可靠的问题，为 此，本发明提供一种基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法。
本发明所述的一种基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法，步骤如 下
Si:从不同位置拍摄两幅待匹配场景的鱼眼图像I，I'，并提取和匹配两幅图像 的特征点；
S2 对匹配的特征点进行精确定位，并计算这些特征点的相似性大小和旋转变换3模型，然后将相似性大于某一阈值Ct的特征点作为后续准稠密对应点扩散的初始种子点， 并把这些种子点存入集合S ；
S3 根据相似性大小从种子点集合S中选出相似性最大的种子点作为最优种子 点，同时从种子点集合中去除该种子点；然后从当前最优种子点开始，在其邻域实现无极几 何约束的准稠密对应点扩散；
S4 将扩散的对应点作为新的种子点，保存到种子点集合S，并且计算这些新种子 点的旋转变换模型和相似性大小。
S5 如果当前种子点集合S不为空，那么转步骤Sl ；
S6:利用已得到的准稠密对应点估计极几何约束，然后利用此约束重新进行带极 几何约束的准稠密对应点扩散。
在S3和S6的准稠密对应点扩散过程中，局部视差约束采用旋转变换模型，具体 讲，已知图像Ι，Γ中的一对种子点为χ，χ'，X和X'邻域象素点分别为N(X)和Ν(χ')， 假设将种子点设为对应邻域的局部坐标系原点，且种子点邻域对应的旋转矩阵为R，那么在 当前种子点邻域进行对应点扩散过程中，对任意一点P1 e N(X)，其在I'中可能的匹配点 视差限制条件为Ip2 =P2 e N(x')且I Ip2-Rp11 I彡ε }。
本发明中，对应点的视差约束采用旋转变换模型，相比已有的仿射变换模型而言， 该模型计算简单，模型自由参数只有一个，因此整个扩散过程稳定可靠，并且可满足大多数 的应用需求。
所述的的步骤S2中的精确定位的方法是
S21 将I1, I2中以对应特征点为中心，邻域半径为r的子图像分别转换到极坐标 系，得到两个子图像Γ 1； I' 2；
S22:对子图像Γ 1； I' 2，采用相位相关法，求得两子图像的相对旋转角度θ Q;
S23 以对应特征点的初始对应坐标和S22计算得到的相对旋转角度θ ^为初值， 灰度相关性为代价函数，采用Levenberg-Marquat算法在原图像I1, I2中通过迭代优化，得 到对应特征点的精确对应位置和相对旋转角度的精确值θ，同时也可得到对应特征的相对 旋转变换矩阵R rcos0 -sin 没、 IvSin^ cos 没 j
精确定位保证初始种子点尽可能定位精确，并且可以求得更准确的初始旋转模 型，使得后续扩散更准确，因为点的扩散是以种子点为基础的。
稠密对应点扩散是在归一化的图像中进行的。归一化后可以直接用文献[1]中的 经典方法进行扩散，即采用基于二维视差梯度约束的方法进行扩散，使得扩散过程简单化。
本发明的有益效果本发明提出的方法较好地解决了现有准稠密匹配方法中存在 的不足。由于二维旋转变换模型仅有一个自由度，即相对旋转角度，因此模型简单，计算结 果可靠，鲁棒性强；其次，对绝大多数应用来讲，局部变形采用旋转变换模型可以得到所要 求的精度；第三，本发明无需事先标定摄像机的外参数，因此，使用灵活。通过和已有的其他 方法相比，该发明是一种切实可行的准稠密匹配方法。
图1是本发明基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法的流程图2是本发明种子点邻域采用旋转变换模型的归一化示意图，图中W = 2，N = 1， X，X'为当前种子点图3是本发明实例中用到的两幅鱼眼图像；
图4是本发明实例中的对应的初始种子点；
图5是本发明准稠密对应点扩散结果的局部结果图6是现有技术基于仿射模型的对应点扩散局部结果图。
具体实施方式
下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便 于对本发明的理解，而对其不起任何限定作用。
本发明假设摄像机首先从不同位置拍摄两幅鱼眼图像，然后通过以下步骤实现准 稠密对应点的匹配扩散，整个流程可参看图1。
1、提取和匹配两幅图像的特征点
在这一步，可采用文献中很多经典的方法来自动实现特征提取和匹配，如基于仿 射不变量的特征提取方法[4]Mikolajczyk K, Tuytelaars Τ, Schmid C, Zisserman A, Matas J, Schaffalitzky F, Kadir T and Van Gool L. A comparisonof affine region detectors. International Journal of Computer Vision, 2005,65 (1-2) :43-72,基于仿身寸 不变描述子的匹配方法[5]Mikolajczyk K andSchmid C. A performance evaluation of local descriptors. IEEE Trans. Pattern Analysis and Machine Intelligence,2005, 27(10) :1615-1630,也可采用基于鲁棒策略的匹配方法[6]Fischler M A and Bolles R C. Randomsample consensus :A paradigm for model fitting with applications to imageautomated cartography. Communication of the ACM, 1981, 24 (6) :381-395,还可以 采用人工选取特征点的方法来实现初始特征提取和匹配。
2、特征点的精确定位及初始种子点的确定
设原始图像I，I'中的一对特征点为x，x'，这一步的目的是在图像Γ中χ'的 邻域搜索X的精确对应点，或者在图像I中X的邻域搜索X'的精确对应点。以第一种情况 为例，特征点的精确定位步骤可描述为
分别将图像I和Γ中以χ和χ'为中心，半径为r的图像面片转换到极坐标系， 得到子图像I':和1' 2，然后采用相位相关法[7]Kuglin C D and Hines D C. =Thephase correlation image alignment method. In Proceedings of the IEEE 1975International Conference on Cybernetics and Society，163-165 (1975)，求得 Γ 丄和工‘2 的相对旋转 角度θ。，通过校正两个子图像的相对旋转，可计算得到这两个子图像的相关系数。
以χ2，θ ^为初始值，相关系数c为目标函数，采用Levenberg-Marquat算法迭代调 整&的位置和相对旋转角度，最终收敛到最大相关值Cmax对应的位置χ' 2即为Xl的精确 对应点，同时可得到最大相关值Cmax对应的旋转角度θ，相应地也可计算出这对特征点的 相对旋转矩阵R，即R rcos0 -sin 没、 IvSin^ cos 没 j5
对所有特征点都重复以上过程，然后将相关值大于某一阈值Ct的特征点作为初始 种子点，并将这些种子点存入一个集合S。
3、从最优种子点开始，实现无极几何约束的准稠密对应点扩散
从当前种子点集合S中选出相关值最大的种子点作为当前最优种子点，并且把该 种子点从集合S中剔除，然后在种子点邻域开始对应点扩散过程。这一过程可进一步分为 两部分第一部分是种子点邻域的几何归一化，第二部分是种子点邻域的准稠密对应点扩散。
3. 1种子点邻域的几何归一化
在扩散之前，每对最优种子点不仅包括对应点的坐标信息，还包括对应点的局部 旋转变换矩阵R。假设当前最优种子点为χ和χ'，对应的旋转矩阵为R，根据这个变换矩 阵，可以在归一化的图像中进行对应点扩散。其归一化过程为(1)在图像I中以当前种子 点χ为中心提取一个方形图像面片s，其大小为0(W+N)+1)X Q(W+N)+1)，其中，W是计算相 关性分数所要用到的窗口半径大小，N是后续搜索对应点的邻域半径大小；(2)图像I'中 与之对应的区域可以通过当前种子点的旋转矩阵R将图像I中方形窗口映射过去来获得， 然后将该区域通过插值的方法变换为0(W+N)+1)XQ(W+N)+1)的方形图像s'，具体过程 可参考图2。
3. 2种子点邻域的准稠密对应点扩散
种子点邻域的准稠密对应点扩散是在归一化的图像s和S'中进行的。其扩散过 程和文献[1]类似，其最终扩散的对应点同时保存在种子点集合S和最终的对应点集合M 中。
与文献[1]不同的是，由于扩散点在归一化的图像S'中位于整数象素坐标，这些 坐标通常对应于原始图像Γ中的子象素坐标。因此，扩散过程中新产生的种子点对应于子 象素级精度。另外，为了便于扩散过程中的唯一性约束检验，对应点集合M保存取整后的坐 标。
在准稠密对应点扩散过程中，局部视差约束采用旋转变换模型，具体讲，已知图像 1,1'中的一对种子点为χ，χ'，X和X'邻域象素点分别为N(X)和Ν(χ')，假设将种子点 设为对应邻域的局部坐标系原点，且种子点邻域对应的旋转矩阵为R，那么在当前种子点邻 域进行对应点扩散过程中，对任意一点P1 e N(x)，其在I'中可能的匹配点视差限制条件 为{p2 :p2 e N(x')且 I Ip2-Rp1I I 彡 ε }。
4、计算新产生种子点的局部变换模型
除了最初的种子点外，在对应点扩散过程中会产生新的对应点，这些对应点作为 新产生的种子点用于后续的继续扩散。这一步的目的是确定这些新产生种子点的局部旋转 变换矩阵。
新产生的种子点是在当前种子点邻域扩散得到的，假设当前种子点的旋转角度为 θ，那么这些新产生的种子点的旋转角度和当前种子点的旋转角度应该非常接近，据此，我 们可通过如下方式确定新产生种子点的旋转矩阵。
假设当前种子点的旋转角度为θ，该种子点邻域新产生的种子点的旋转角度为 θ 士 Δ θ，那么可以在[-Δ θ，+Δ Θ]范围内以一定的步长搜索，其最大相关性对应的旋 转角度作为新产生种子点的旋转角度，同时也可求出该种子点相应的旋转矩阵。
重复执行步骤3和4，直到种子点集合为空，那么无约束准稠密对应点扩散过程结束ο
5、极几何约束下的准稠密对应点扩散
根据前面步骤得到的准稠密对应点不可避免地存在一些错误扩散点，尤其是纹理 重复的区域，另外，这些扩散点的分布也很不均勻。针对这些问题，在这一步，首先根据无 极几何约束下得到的扩散点来估计极几何约束，这种估计方法已经被证明比传统的基于稀 疏匹配点的估计方法更精确和鲁棒[7]Lhuillier Mand Quan L. A quasi-dense approach to surface reconstruction fromuncalibrated images. IEEE Transactions on Pattern Analysis and Machinelntelligence，2005，27 (3) :418-433.其次，在求得极几何约束(即 本质矩阵)后，重新从第一步得到的初始种子点开始，重复前面的扩散过程，不同的是，在 这次扩散中用到的几何约束除了二维视差梯度约束外，还增加了极几何约束，局部视差约 束采用旋转变换模型。
这里给出一个具体的实施例，本实例中用到的鱼眼相机由Nikon D90相机和 Sigma鱼眼镜头(SIGMA 4. 5mm f2. 8EX DC)组成，镜头视角180度，分辨率为4288X2848.
图3是一对鱼眼图像，为方便显示，后续图4和图5仅截取了原始图像的一部分。 可以看出，这对图像具有较大的非线性变形，局部变形直接采用文献[1]中的二维视差梯 度约束来近似显然是不妥当的。
图4是21对初始种子点。这些种子点首先通过手工选取，然后进行精确定位，并 计算出这些种子点的局部旋转变换模型。这里种子点的相关性度量采用ZNCCaero-mean Normalized Cross Correlation)，并把 ZNCC > Ct = 0. 8 的那些点作为初始种子点。
图5是本发明非约束扩散得到的结果，这里所有参数和文献[1]相同。从结果可 以看出，无论是平面区域、重复纹理区域、深度不连续区域还是遮挡区域，结果都是令人满 意的，这体现在扩散结果精确，可靠，对重复纹理区域、深度不连续区域和遮挡区域，错误扩 散可以很快停止，避免了过扩散的后果。
为了便于比较，我们还对基于仿射模型[3]的扩散方法进行了实验，结果见图6。 可以看出，对于纹理丰富的平面区域，这类方法具有较好的扩散效果，但是对重复纹理区 域、深度不连续区域和遮挡区域，出现了大量的过扩散，造成扩散结果不稳定和不可靠。正 像我们前面所述的，基于仿射模型的扩散方法，由于模型复杂，自由度较大，尽管采用该模 型从理论上来说能更好地近似图像的局部变形，但是由于有效数据较少，导致最终的计算 结果很不可靠。
上面描述仅仅是用于实现本发明及其实施例，因此，本发明的范围不应由该描述 来限定。根据本领域技术人员的理解，在不脱离本发明的范围的任何修改或局部替换，均属 于本发明权利要求限定的范围。
权利要求
1.一种基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法，其特征在于步骤如下51从不同位置拍摄两幅待匹配场景的鱼眼图像I，I'，并提取和匹配两幅图像的特 iiE ；^^ ’52对匹配的特征点进行精确定位，并计算这些特征点的相似性大小和旋转变换模型， 然后将相似性大于某一阈值Ct的特征点作为后续准稠密对应点扩散的初始种子点，并把这 些种子点存入集合S ；53根据相似性大小从种子点集合S中选出相似性最大的种子点作为最优种子点，同 时从种子点集合中去除该种子点；然后从当前最优种子点开始，在其邻域实现无极几何约 束的准稠密对应点扩散；54将扩散的对应点作为新的种子点，保存到种子点集合S，并且计算这些新种子点的 旋转变换模型和相似性大小。55如果当前种子点集合S不为空，那么转步骤Sl ；56利用已得到的准稠密对应点估计极几何约束，然后利用此约束重新进行带极几何 约束的准稠密对应点扩散。在S3和S6的准稠密对应点扩散过程中，局部视差约束采用旋转变换模型，具体讲，已 知图像Ι，Γ中的一对种子点为χ，χ'，χ和χ'邻域象素点分别为N(X)和Ν(χ')，假设 将种子点设为对应邻域的局部坐标系原点，且种子点邻域对应的旋转矩阵为R，那么在当前 种子点邻域进行对应点扩散过程中，对任意一点P1 e N(x)，其在I'中可能的匹配点视差 限制条件为{p2 =P2 e N(x')且 I Ip2-Rp11 I 彡 ε }。
2.根据权利要求1所述的一种基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法， 其特征在于S2中精确定位的方法是S21 将I1,12中以对应特征点为中心，邻域半径为r的子图像分别转换到极坐标系，得 到两个子图像I' I' 2；S22:对子图像I' 1；1' 2，采用相位相关法，求得两子图像的相对旋转角度Oci;S23 以对应特征点的初始对应坐标和S22计算得到的相对旋转角度θ ^为初值，灰度 相关性为代价函数，采用Levenberg-Marquat算法在原图像I1, I2中通过迭代优化，得到对 应特征点的精确对应位置和相对旋转角度的精确值θ，同时也可得到对应特征的相对旋转 变换矩阵f cos θ _ sin 没)R =vsin^ cos 没 j
3.根据权利要求1或2所述的基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法， 其特征在于准稠密对应点扩散是在归一化的图像中进行的。
全文摘要
本发明公开一种基于旋转模型的准稠密对应点匹配扩散方法；该方法主要包括以下几个步骤对于同一场景从不同位置拍摄的一对鱼眼图像，首先提取和匹配图像中的特征点，然后对这些特征点进行精确定位，并把这些特征点作为初始种子点；接着从最优种子点开始向其邻域进行准稠密对应点扩散，扩散的对应点作为新的种子点用于后续的继续扩散。在本发明中，对应点的视差约束采用旋转变换模型，相比已有的仿射变换模型而言，该模型计算简单，模型自由参数只有一个，因此整个扩散过程稳定可靠，并且可满足大多数的应用需求。另外，该方法是一种非约束的扩散方法，无需对摄像机的运动参数进行事先标定，具有较大的灵活性。实验结果也验证了该方法的可行性，具有很强的实用性。
文档编号G06T7/00GK102034235SQ20101053045
公开日2011年4月27日 申请日期2010年11月3日 优先权日2010年11月3日
发明者李婧, 李晓明, 田亚平 申请人:山西大学