一种基于广义统一模型的折反射相机自标定方法
【专利摘要】本发明公开了一种基于广义统一模型的折反射相机自标定方法。该方法包括以下步骤：在同一场景不同位置使用折反射相机获取两幅左右成像清晰的折反射全景图；提取左右两图的SIFT特征点，并进行特征点匹配；初始化广义统一模型的内参；使用极几何计算出本质矩阵E，在计算E的过程中使用RANSAC提高精度，同时去除外点；使用非线性优化LevenbergMarquardt方法，最小化特征点的重投影误差；不断的优化内参，直到重投影误差小于所设定的阈值，优化出鲁棒和精确的结果。本发明仅需两幅不同位置的图即可标定广义统一模型的内参和两个位置之间的关系，标定过程完全自动，具有方便快捷，操作简单，精度较高的特点。
【专利说明】 一种基于广义统一模型的折反射相机自标定方法
【技术领域】
[0001]本发明涉及图像数据、处理分析的方法，尤其是涉及一种基于广义统一模型的折反射相机自标定方法。
【背景技术】
[0002]传统的透视相机视场较小，在某些场景中使用较为受限制。随着图像传感器技术和机器视觉技术的进步，大视场图的应用越来越广泛。折反射相机由传统的透视相机和一个反射镜构成，能够采集水平方向360度视场的全景图，并且系统构成简单，功耗和成本都较小。通过精心设计不同类型的反射镜面可以构成不同特性的折反射相机系统，在此基础上可以精确得到空间的度量信息。由于其大视场和图像信息结构化等特点，折反射相机系统被广泛的使用于机器人导航、监控、视频会议、场景重建等等应用中
[0003]折反射全向相机根据入射光线是否都通过一个虚拟点可以分为:单一视点折反射相机和非单视点折反射相机。单一视点折反射相机成像原理简单，标定和使用方便，但是很难得到，实际当中不存在完美的单视点折反射相机。当镜面和透视相机之间的位姿关系不满足特定条件的时候，如镜面发生旋转或者平移，使得镜面对称轴和相机光轴不再对准，折反射相机发生失准(misalignment),单一视点折反射相机转换为非单视点折反射相机。现实当中的折反射相机都或多或少的存在失准。为了描述非单视点折反射相机，不同模型和标定方法被提出。文献I (C.Mei and P.Rives, "Single ViewPoint Omnidirectional Camera Calibration from Planar Grids, 〃in Robotics andAutomation, 2007IEEE International Conference on, 2007)在统一模型的基础上加入了切向畸变来弥补失准，但是切向畸变只能补偿较小的失准，失准较大时切向畸变无法补偿，使得在失准较大时，标定结果并不理想。文献2 (Z.Xiang, B.Sun, and X.Dai, "TheCamera Itself as a Calibration Pattern:A Novel Self-Calibration Method forNon-Central Catadioptric Cameras, "Sensorsl2, 7299-7317 (2012).)没有将非单视点折反射相机看成一个整体，而是将镜面和透视相机看成两个部分，标定折反射相机就是标定镜面和透视相机直接的位姿关系，该方法利用镜面边缘和透视相机镜头成像来标定位姿关系，但是该方法的成像模型复杂，透视相机内参需要离线标定。文献3(Xiang，Z.，X.Dai, andX.Gong, Noncentral catadioptric camera calibration using a generalized unifiedmodel.0ptics letters, 2013.38 (9):p.1367-1369)提出 了一种针对非单视点折反射相机的广义统一模型，该模型成像结构简单，并且能够非常好的弥补失准，即使在失准较大的情况下，也能很好的对非单视点折反射相机进行建模。
[0004]使用标定板标定广义统一模型虽然精度较高，但是需要在场景中不同位置放置标定板，并且需要手工提取标定板在图像中的网格点，在折反射相机配置经常发生配置的场景下，使用较为不便。
【发明内容】
[0005]针对【背景技术】中标定方法的不足，本发明的目的在于提出一种基于广义统一模型的折反射相机自标定方法。使用折反射相机广义统一模型对非单视点折反射相机进行建模，使用折反射相机在空间采集两幅图，提取两幅图上匹配的特征点，利用配对的特征点自动标定广义统一模型的内参和两幅图之间的外参的方法。该方法不需要在场景当中加入任何标记物，只需要采集场景中不同位置的两幅图，即可对折反射相机进行建模，并标定出相应的广义统一模型的参数。
[0006]本发明采用的技术方案的步骤如下:
[0007]步骤I)在同一场景不同位置使用折反射相机获取两幅左右成像清晰的折反射全景图，要求两图中有场景重复的部分，不需要对环境做特殊的设置，也不需要任何标定模板；
[0008]步骤2)提取左右两图的SIFT特征点，并进行特征点匹配，得到图像上η对匹配的特征点对
【权利要求】
1.一种基于广义统一模型的折反射相机自标定方法，其特征在于，该方法包括以下步骤: 步骤I)在同一场景不同位置使用折反射相机获取两幅左右成像清晰的折反射全景图，要求两图中有场景重复的部分，不需要对环境做特殊的设置，也不需要任何标定模板；步骤2)提取左右两图的SIFT特征点，并进行特征点匹配，得到图像上η对匹配的特征点对P;和Pi ’ 1=1..η, η对特征点对中存在误配点； 步骤3)初始化广义统一模型的内参； 步骤4)使用极几何计算出本质矩阵Ε，在计算E的过程中使用RANSAC提高精度，同时去除外点； 步骤5)使用非线性优化Levenberg Marquardt方法,最小化特征点的重投影误差,从而优化出内参； 步骤6)重新回到步骤4)，循环步骤4)和步骤5)，不断的优化内参，同时得到更多的内点，直到重投影误差小于所设定的阈值，优化出鲁棒和精确的结果。
2.根据权利要求1所述的一种基于广义统一模型的折反射相机自标定方法，其特征在于:步骤3)中所述要初始化广义统一模型的内参，首先使用广义统一模型对折反射相机进行建模； 折反射相机广义统一模型由虚拟的单位球，虚拟视点，归一化平面『I和成像平面Πρ组成；以单位球中心C111为原点建立坐标系Fni,以虚拟光心Cp为原点建立坐标系Fp，两坐标系相互平行，归一化平面Dlllii为Fp中的z = l平面，归一化平面Hnju上的点通过径向失真和透视变换投影到成像平面Πρ ； 折反射相机广义统一模型，有两个坐标系，以虚拟光心Cp为原点建立坐标系Fp，和以单位球中心Cm为原点建立坐标系Fm,原点Cp在Fm坐标系中的坐标为ξ = (I I, ξ 2，ξ 3)τ ；空间点Xm在世界坐标系Fw中的表示为(Xm)w= (xw，yw，zw)，通过以下前向投影过程，即成像过程如下: (1)空间点从世界坐标系Fw转换到Fm坐标系，
3.根据权利要求1所述的一种基于广义统一模型的折反射相机自标定方法，其特征在于:所述步骤(4)具体为: 在内参初值K和ξ已知的情况下，每一对特征点带入极几何公式，得到一个关于E的线性方程
4.根据权利要求1所述的一种基于广义统一模型的折反射相机自标定方法，其特征在于:所述步骤(5)具体为: 使用非线性优化方法Levenberg Marquardt方法，通过最小化特征点的重投影误差来优化出内参；要计算特征点的重投影误差，要对特征点进行三维重构；在内参K和ξ已知的情况下，并且在得到外参R12和T12的情况下,对空间点进行重构；对任意特征点对P1 = (U1, V1, I)IPp2 = (u2, V2, 1)τ，根据反向投影方程，得到对应的空间入射光线的方向，即(Witi和(Xs2)L ；通过外参R12和T12,可将两光线变换到同一坐标系下(I1)L和(Xs2，理想情况下两光线相交，实际当中由于存在误差，两光线为异面直线，取异面直线中垂线的中点X’ m为重构点；通过前向投影得到X’ m在左右两图中的重投影P’! = (u’ 1； V’ 1； I)τ和P’ 2 =(u’ 2，V’ 2，1)τ ;这对特征点的重投影误差就为
5.根据权利要求1所述的一种基于广义统一模型的折反射相机自标定方法，其特征在于:所述的步骤(6)具体为: 步骤(4)中所用的内参初值从步骤(3)中得到，初始时初值误差较大，导致步骤(4)去除外点过多，进而影响了步骤(5)中的优化结果的精度；在经过步骤(5)的优化后，内参的值比初始时要精确，使用该内参去重新进行步骤(4)和步骤(5);如此重复，不断优化得到更精确的内参，直到重投影误差小于说要求的阈值。
【文档编号】G06T7/00GK103886595SQ201410102724
【公开日】2014年6月25日 申请日期:2014年3月19日 优先权日:2014年3月19日
【发明者】项志宇, 戴行, 周炎兵 申请人:浙江大学