一种红外双目相机自适应极线校正方法
【专利摘要】本发明公开了一种红外双目相机自适应极线校正方法，仅需两幅红外图像作为输入，首先对红外双目图像进行预处理以实现对比度增强；对两幅红外图像分别提取SIFT特征点，并匹配得到匹配点；在处理误匹配时，采用改进的基于近邻度的离群点检测思想去除误匹配点；利用引入混沌优化思想和遗传算法中杂交思想的改进粒子群算法，进行全局寻优，得到两个变换矩阵；对两幅红外图像分别根据对应的变换矩阵进行像素映射，即可得到校正后的双目图像。实验证明，该方法能适应绝大多数场景，具有很高的校正精度和自适应性。
【专利说明】一种红外双目相机自适应极线校正方法
【技术领域】
[0001] 本发明属于计算机视觉领域，具体涉及一种红外双目相机自适应极线校正方法。
【背景技术】
[0002] 双目立体视觉技术广泛应用在机器人车辆导航和目标检测领域。随着红外成像技 术的成熟，所获得的红外图像质量越来越高，红外波段的立体视觉技术也越来越受到关注。 在满足极线约束的理想状态下，双目图像平面的极线互相平行，因此在立体匹配时，搜索只 需要沿着水平方向，大大提高了匹配效率。然而在实际应用中，双目相机的光轴通常处于非 平行模式下，甚至可能误差很大，得到的双目图像即不满足极线约束。极线校正的目的就是 通过变换矩阵，将非理想的双目图像变换成满足极线约束的理想立体图像对。
[0003] 立体图像极线校正分为有相机标定和无相机标定两种方法。文献（Fusiello A, Trucco E, Verri A. A compact algorithm for rectification of stereo pairs [J]. Machine Vision and Applications, 2000, 12 (I) : 16-22)提出一种简单的有相机标定 方法，精度和速度都比较好，但是依赖于标定得到的相机参数。相机标定一般利用已知 形状、尺寸的标定物（如棋盘格）作为拍摄对象，但在红外图像中场景纹理特征很少， 标定物中的点、线等细节缺失，常规方法下根本无法进行标定。因此红外双目极线校正 需利用无相机标定方法。文献（Hartley R I.Theory and practice of projective rectification[J]. International Journal of Computer Vision, 1999, 35(2):115-127) 总结了极线校正的理论，将其中一个变换矩阵近似为刚体变换，剩余的自由度通过变换后 对应点视差最小得至丨J〇 文献（Loop C, Zhang Z. Computing rectifying homographies for stereo vision[C]· Computer Vision and Pattern Recognition, 1999. IEEE Computer Society Conference on. IEEE, 1999, I)提出了基于基本矩阵分解的立体图像极线校正 方法，但该方法过分依赖于基本矩阵的精度，稳定性得不到保证。文献（Isgro F, Trucco E.Projective rectification without epipolar geometry[C]· Computer Vision and Pattern Recognition, 1999. IEEE Computer Society Conference on. IEEE, 1999, L )提出 了一种无需基本矩阵的极线校正方法，该方法只依赖于对应点的坐标，但在校正过程中非 线性优化选取的初始值缺乏可信度，采用金字塔结构的优化过程计算量很大。
【发明内容】
[0004] 本发明针对红外双目相机标定困难的问题，提出了一种适用于无相机标定的红外 双目相机极线校正方法，在校正过程中，只需要两幅红外双目图像作为输入，不需要使用 者参与中间过程，自适应性强，精度高。
[0005] 为解决上述技术问题，本发明一种红外双目相机自适应极线校正方法，包括以下 步骤：
[0006] 步骤一：计算投影变换矩阵氏、H2的具体形式，这里采用Gluckman的极线校正 模型（详见文献 Gluckman J, Nayar S K. Rectifying transformations that minimize resampling effects[C]. Computer Vision and Pattern Recognition, 2001. CVPR2001. Proceedings of the2001IEEE Computer Society Conference on.IEEE, 2001, I:I-Ill-I-117vol. I)。
[0007] 步骤二：为解决红外图像对比度差、噪声大的缺点，对两幅红外双目图像分别进行 直方图均衡化预处理，以实现图像增强。预处理之后的红外双目图像为L、1 2。
[0008] 步骤三：对两幅红外图像分别提取SIFT特征点，并进行特征点匹配。匹配时采用 最短欧氏距离匹配法。为满足该发明自适应的要求，通过多次试验，确定统一的距离比例阈 值th。
[0009] 步骤四：去除误匹配点。匹配过程中误匹配很难避免，而哪怕是一对误匹配的出 现，对校正结果也有很大的影响。本发明提供一种改进的基于近邻度的离群点检测思想，来 去除误匹配。得到的N对匹配点为（IIi li, m2i), i = 1，…，N。
[0010] 步骤五：根据校正后双目图像的极线方程，利用引入混沌优化思想和遗传 算法中杂交思想的改进粒子群算法（详见文献柏连发，韩静，张毅，等.采用改 进梯度互信息和粒子群优化算法的红外与可见光图像配准算法[J].红外与激光工 程，2012, 41 (1) : 248-254.)，进行全局寻优，计算两个变换矩阵的值；得到变换矩阵后，分 别对两幅图像进行像素位置映射，即可得到极线校正后的红外双目图像。
[0011] 本发明与现有技术相比，其显著优点：（1)本发明首次实现了红外双目立体视觉 系统的极线校正技术，弥补了这一空白，解决了红外双目系统标定困难、匹配时不能沿单一 水平方向搜索的问题；（2)针对匹配时存在的误匹配问题，在分析了不同误匹配点对校正 效果的影响后，提出一种非常简单有效的误匹配去除方法：对传统基于近邻度的离群点检 测方法提出改进，只保留k均值平均距离最小的部分匹配点，保留比例为P，并通过实验观 察得出了 P的最佳取值；(3)将投影变换矩阵的求解问题转化为一个最小化平方和问题，并 采用粒子群算法来进行求解，粒子群算法简单、速度快，但存在容易陷入局部极值的问题， 为提高粒子群算法全局寻优能力，引入混沌优化思想和遗传算法中杂交思想。本发明方 法既能跟好地解决误匹配问题，具有较高的鲁棒性，又能适应绝大多数的红外场景，在校正 过程中不需要使用者参与，自适应性强，同时还能降低极线校正过程的计算量，提高校正速 度。
【专利附图】
【附图说明】
[0012] 图1是本发明方法流程图。
[0013] 图2是待校正的红外双目立体视觉系统拍摄得到的双目图像，（a)为左图，（b)为 右图。
[0014] 图3是预处理后的红外双目图像，（a)为左图，（b)为右图。
[0015] 图4是分别对两幅红外图像提取SIFT特征点，并按照最短欧式距离匹配法得到的 匹配点情况。
[0016] 图5是去除误匹配后的结果。
[0017] 图6是校正之后的红外双目图像，（a)为校正后左图，标出了匹配点的位置，（b)为 校正后右图，画出了每个匹配点出的极线。 图7是校正后图像变形程度度量。
【具体实施方式】
[0018] 由于红外图像分辨率低、噪声大，与可见光图像相比更容易出现误匹配，本发明 利用改进的近邻度离群点检测思想来去除误匹配点，避免现有方法中的迭代过程。同时 Gluckman的极线校正模型未知参数个数少，计算过程简单，利用改进粒子群算法即可达到 全局寻优的目的。
[0019] 本发明方法包括以下步骤：
[0020] 步骤一：根据Gluckman的极线校正模型，求解投影变换矩阵H^H2的具体形式；在 Gluckman的极线校正模型中，双目图像的极线校正过程可以分为4个步骤，每个步骤实际 上也是对投影变换矩阵的分解，因此投影变换矩阵氏、H 2的具体形式可以由这4个步骤得 出：
[0021] 步骤1 :将两幅图像的坐标原点平移到图像中心点。由于实际使用的是两个型号 参数一致的红外相机，因此可以认为得到的两幅图像大小一致，即对双目图像而言，它们的 平移变换矩阵相同，表示为：
[0022]
【权利要求】
1. 一种红外双目相机自适应极线校正方法，其特征在于，包括以下步骤： 步骤一，根据Gluckman的极线校正模型，计算投影变换矩阵的具体形式； 步骤二，对采集得到的红外双目图像，分别进行直方图均衡化预处理操作，预处理得到 的红外双目图像分别为Ii、I2; 步骤三，对图像Ii、12分别提取SIFT特征点，并进行特征点匹配，匹配时采用最短欧式 距离匹配法，其距离比例阈值取th ; 步骤四，针对匹配过程中产生的误匹配点，利用改进的基于近邻度的离群点检测思想 去除误匹配点，去除误匹配后得到Μ对匹配点为（ηιπ，ηι2?), i = 1，"·，Μ ; 步骤五，根据校正后双目图像的极线方程，利用引入混沌优化思想和遗传算法中杂交 思想的改进粒子群算法，进行全局寻优，计算两个变换矩阵的值；得到变换矩阵后，分别对 两幅图像进行像素位置映射，即可得到极线校正后的红外双目图像。
2. 如权利要求1所述的红外双目相机自适应极线校正方法，其特征在于：所述步骤四 中利用改进的基于近邻度的离群点检测思想去除误匹配点的具体方法为：对图像Ii、1 2进 行SIFT特征点匹配得到N对初始匹配点为（nn，n2i)，i = 1，···，Ν，其中采用Ay = | (ηι) y_(n2)y|计算每一对匹配点的垂直视差，记所有匹配点的垂直视差集合为ΛΥ= {Ayi，… ，AyN};对ΛΥ中每个点，计算该点的k近邻平均距离，记为该点的近邻度，近邻度越大的 点是误匹配点的可能性越大；把所有点按照近邻度由小到大排序，近邻度过大的点直接抛 弃，只保留近邻度较小的部分，保留比例为P，保留下来的部分都是正确匹配点；k的取值为 6-8, P的取值为80%。
3. 如权利要求1所述的红外双目相机自适应极线校正方法，其特征在于：所述步骤三 中th的取值为0.5-0. 6。
【文档编号】G06T7/00GK104240229SQ201410284944
【公开日】2014年12月24日 申请日期:2014年6月23日 优先权日:2014年6月23日
【发明者】张毅, 柏连发, 吴磊, 韩静, 岳江, 王博, 左金轮, 赵北, 祁伟 申请人:南京理工大学