专利名称：可见光和热红外图像序列自动配准方法
技术领域：
本发明涉及一种图像序列自动配准方法，特别是涉及一种可见光和热红外图像序列自动配准方法。
背景技术：
文献“TorabiA, Masse G, Bilodeau G-A, et al. Feedback scheme for thermal-visible video registration, sensor fusion, and people tracking. In !Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition-fforkshop, 2010,15 22. ”公开了一种基于运动目标轨迹和运动目标剪影的可见光-热红外图像序列配准方法。该方法首先基于RANSAC轨迹匹配使得轨迹对应点和两类传感器运动前景重叠最大来估计变换模型参数；然后，在配准参数的基础上，对两类传感器的检测结果进行sum规则融合，并基于融合检测结果对可见光-热红外序列分别进行跟踪，根据剪影重叠率判断是否需要再次配准，对于需要再次配准的情况，基于融合检测的运动轨迹和剪影对同步序列进行配准和修正。该方法需要较好的运动检测结果，但在观测背景复杂，场景中目标的运动检测结果均较差时，该方法的配准会出现较大误差，并且无法适应存在频繁运动的拥挤场景。
发明内容
为了克服现有的可见光-热红外图像序列配准方法配准精度差的不足，本发明提供一种可见光和热红外图像序列自动配准方法。该方法利用图像像素的归一化光流时序特征和三层逐步精细化的相似性度量方法选取候选同名点对。归一化光流时序特征，针对图像像素的运动时序特征，而非针对整个运动目标，在计算时仅需要目标局部信息，不易受到的阴影、遮挡、目标部分出现及目标拥挤环境等问题的影响。可以解决复杂监控环境下的可见光-热红外图像序列自动配准问题，提高可见光-热红外图像序列配准的精度。本发明解决其技术问题所采用的技术方案是一种可见光和热红外图像序列自动配准方法，其特点是包括以下步骤步骤一、对输入的可见光和热红外同步图像序列，使用迭代Lucas-Kanade金字塔光流算法对可见光和热红外图像序列计算各帧图像的光流向量；在光流向量滤波、光流时间序列筛选的基础上，使用运动方向和运动模值两类信息，提取具有平移、旋转、尺度不变性的图像像素的归一化光流时序特征。分别对可见光图像序列和热红外图像序列中的图像像素使用迭代Lucas-Kanade 金字塔光流法计算光流向量；设图像序列像素点(i，j)在第t帧图像的X和y方向的光流向量用dx(i，j, t)和dy(i，j, t)表示，通过公式⑴获得t时刻像素点(i，j)运动向量的模值，r(i,j,t)=批(ij J))2 + (dy(i,j,t)f(I)通过公式⑵计算出t时刻像素点(i，j)运动向量的方向角，
权利要求
1.一种可见光和热红外图像序列自动配准方法，其特征在于包括以下步骤步骤一、对输入的可见光和热红外同步图像序列,使用迭代Lucas-Kanade金字塔光流算法对可见光和热红外图像序列计算各帧图像的光流向量；在光流向量滤波、光流时间序列筛选的基础上，使用运动方向和运动模值两类信息，提取具有平移、旋转、尺度不变性的图像像素的归一化光流时序特征；分别对可见光图像序列和热红外图像序列中的图像像素使用迭代Lucas-Kanade金字塔光流法计算光流向量；设图像序列像素点(i，j)在第t帧图像的X和y方向的光流向量用4(1，]_，0和i(i，j，t)表示，通过公式⑴获得t时刻像素点(i，j)运动向量的模值，=抓(iJJ))2 + (dy(ij,t)f(I)通过公式(2)计算出t时刻像素点(i，j)运动向量的方向角，
2.根据权利要求I所述的可见光和热红外图像序列自动配准方法，其特征在于所述阈值e_thd的取值是O. I。
3.根据权利要求I所述的可见光和热红外图像序列自动配准方法，其特征在于所述低阈值low_thd取值为O. 05。
4.根据权利要求I所述的可见光和热红外图像序列自动配准方法，其特征在于所述高阈值hgh_thd取值为O. 95。
5.根据权利要求I所述的可见光和热红外图像序列自动配准方法，其特征在于所述 Manhattan距离的取值范围是
。
全文摘要
本发明公开了一种可见光和热红外图像序列自动配准方法，用于解决现有的可见光-热红外图像序列配准方法配准精度差的技术问题。技术方案是采用图像像素的归一化光流时序特征和三层逐步精细化的相似性度量方法进行可见光和热红外同步图像序列间的候选同名点对选取，用图像像素的运动时序特征代替运动目标的整体特征。有效的克服了运动检测不精确带来的问题，提高了算法的鲁棒性，使其可用于具有频繁运动的拥挤监控环境情况下的图像序列配准，提高了图像序列配准的精度，其相对于基准数据的平均像素误差从现有技术的[2.03，6.9]像素降低到2个像素以内。
文档编号G06T7/00GK102609945SQ20121002755
公开日2012年7月25日 申请日期2012年2月9日 优先权日2012年2月9日
发明者仝小敏, 余瑞, 张秀伟, 张艳宁, 杨涛 申请人:西北工业大学