专利名称：基于旋转矩阵搜索的鱼眼图像匹配方法
技术领域：
本发明涉及的是一种计算机视觉领域的方法，具体是一种基于旋转矩阵搜索的鱼眼图像匹配方法。
背景技术：
从二维图像中恢复三维物体可见表面几何结构的三维重建技术一直是计算机视觉的重要研究内容。近些年来，随着数字博物馆、数字考古，虚拟现实等领域应用的不断发展，物体表面结构的视觉效果已成为三维重建技术越来越关注的问题，而图像对应点的匹配方法是应用三维重建技术的一个关键问题。目前常用的匹配算法如基于特征点、基于Harris角点，基于相关性等匹配算法都是针对透视图像的，而关于鱼眼图像匹配方法的报道还很少。鱼眼摄像机由于视角广，在大视角的应用场合如大场景重建中比普通透视摄像机具有更大优势。对于普通透视摄像机需要几十幅图像来重建的场景，鱼眼摄像机仅仅需要几幅图像就可以覆盖场景范围。因此，本发明研究的鱼眼图像匹配算法具有重要的应用价值。经对现有技术的文献检索发现,Micusik等人在文献《3D Metric Reconstructionfrom Uncalibrated Omnidirectional Images》 (Proceedings of the Asian Conferenceon Computer Vision, 2004 :545-550,亚洲计算机视觉会议)上，阐述了基于鱼眼图像的匹配方法，要求在精确估计鱼眼摄像机的变形参数和外参数及两幅鱼眼图像的对极几何关系的情况下，该方法实现了两幅鱼眼图像之间特征点的匹配；许振辉等人在文献《基于邻域传递的鱼眼图像的准稠密匹配》(35(9) :1159-1167,2009,自动化学报)上，阐述了采用邻域传递思路在鱼眼图像对应区域之间建立局部仿射模型变换关系，从而估计鱼眼图像的准稠密匹配点；Xiaoming Li 等人在文献《Ratation Model Based Quasi-Dense MatchingPropagation for Uncalibrated Fisheye Images)) (VII181-185,2010 InternationalConference on Computer Applicatin and System Modeling,国际计算机应用于系统模型会议)上，阐述了基于鱼眼图像平面旋转模型的准稠密特征点匹配方法。以上这些鱼眼图像匹配方法都是在鱼眼图像平面上进行的，没有很好的利用鱼眼图像上特征点在单位球面上的投影点信息。
发明内容
本发明的目的在于不需要精确获取鱼眼摄像机模型参数的情况下，将鱼眼图像的特征点投影到单位球面上，提出一种基于两幅图像之间旋转矩阵搜索的鱼眼图像匹配方法。本发明是通过以下技术方案实现的，本发明从两幅鱼眼图像上的特征点出发，提 出在仅仅估计鱼眼摄像机的焦距及图像主点坐标的情况下，将鱼眼图像特征点投影到单位球面上变换为三维球面点坐标；然后根据计算旋转矩阵和平移向量需要的最少对应点数目，即在第一幅鱼眼图像及第二幅鱼眼图像对应的单位球面上分别选择一组可能的匹配点对估计旋转矩阵和平移向量；通过计算的旋转矩阵和平移向量估计出第一幅球面透视图像上的点在第二幅球面透视图像上的反投影点与第二幅球面透视图像上特征点的夹角和；最后，根据夹角和最小化估计出两幅鱼眼图像之间对应的旋转矩阵和平移向量，从而确定两幅图像间正确的匹配点对。一种基于旋转矩阵搜索的鱼眼图像匹配方法，其特征在于，具体步骤如下(I)提取两幅原始鱼眼图像上的所有特征点Hii及!11' i，这两组特征点作为需要匹配的数据；(2)在第一幅鱼眼图像上选择特征点IV以这个特征点为中心选择矩形相关窗口，再在第二幅鱼眼图像上以与点Hli相同的坐标为中心选择大小为矩形相关窗口 2倍大的矩形搜索窗口； (3)计算第一幅鱼眼图像上特征点Hii = (u，ν)τ与第二幅鱼眼图像上在矩形搜索窗口中的特征点m' i = (u' ,V' )τ的灰度相关系数Cor Ov m'):设定的灰度相关系数阈值为O. 6，则在第二幅鱼眼图像上灰度相关系数大于阈值的特征点是与第一幅鱼眼图像上的特征点Hli相匹配的候选特征点；(4)由鱼眼图像的焦距及主点坐标将第一幅鱼眼图像上的特征点投影为单位球面点吣二丨七^” 广在第二幅鱼眼图像上的候选匹配点投影为单位球面点^ i=(x' i;I' i，z, i)T ；(5)单位球面点Mi与候选匹配点的单位球面投影M' i间存在对应关系M' i =
权利要求
1.一种基于旋转矩阵搜索的鱼眼图像匹配方法，其特征在于，具体步骤如下 (1)提取两幅原始鱼眼图像上的所有特征点Hii及m'i，这两组特征点作为需要匹配的数据； (2)在第一幅鱼眼图像上选择特征点IV以这个特征点为中心选择矩形相关窗ロ，再在第二幅鱼眼图像上以与点Hii相同的坐标为中心选择大小为矩形相关窗ロ 2倍大的矩形搜索窗ロ ； (3)计算第一幅鱼眼图像上特征点Hli= (U，ν)τ与第二幅鱼眼图像上在矩形搜索窗ロ中的特征点m' i = (u' ,V' )τ的灰度相关系数CorOvm'设定的灰度相关系数阈值为O. 6，则在第二幅鱼眼图像上灰度相关系数大于阈值的特征点是与第一幅鱼眼图像上的特征点Hii相匹配的候选特征点； (4)由鱼眼图像的焦距及主点坐标将第一幅鱼眼图像上的特征点投影为单位球面点Mi=(Xi，yi，Zi)T，在第二幅鱼眼图像上的候选匹配点投影为单位球面点M' i=(x' ”デi;z'ア； (5)単位球面点Mi与候选匹配点的単位球面投影M',间存在对应关系rU rU ら、 M, i = RWi+T，其中R是3X3的旋转矩阵，T是3X1的平移向量；令尺
全文摘要
一种基于旋转矩阵搜索的鱼眼图像匹配方法属于计算机视觉研究领域。本发明采用通过两幅图像特征点的单位球面投影之间旋转矩阵搜索的鱼眼图像匹配方法，国内外目前还没有类似文献报道。本方法从两幅鱼眼图像上提取的特征点出发，根据图像的主点坐标和焦距将特征点投影到单位球面上；然后由单位球面上的投影点随机选择至少6对对应点估计出旋转矩阵；最后，由所有旋转矩阵估计第一幅单位球面图像上的特征点在第二幅单位球面图像上的投影点，并计算这些投影点与第二幅单位球面图像上相应特征点的夹角和，对应于夹角和最小的旋转矩阵就是搜索到的旋转矩阵。本发明能够通过鱼眼图像间的旋转矩阵搜索以80％以上的准确匹配率确定鱼眼图像之间的对应点。
文档编号G06T7/00GK102651131SQ20121009163
公开日2012年8月29日 申请日期2012年3月30日 优先权日2012年3月30日
发明者徐晓波, 王旋, 祝海江 申请人:北京化工大学