对红外视频序列采用图像配准的自适应非均匀性校正方法
【技术领域】
[0001] 本发明属于红外热成像系统的非均匀性校正领域，特别是一种对红外视频序列采 用图像配准的自适应非均匀性校正方法。
【背景技术】
[0002] 二十一世纪是光子的时代，是信息的社会，随着信息技术的飞速发展，人们获取信 息的手段在向不同波段，更广阔的领域扩展；红外成像技术正是顺应了这一时代的发展趋 势，已经成为当今世界发达国家大力发展的军民两用的新兴高科技之一。由于西方发达国 家对我国高技术的封锁，加上我国红外成像研究起步较晚，基础理论研究和材料工艺比较 落后，所以目前国产的红外焦平面阵列探测器和红外成像系统整机的性能与发达国家相比 还有一定差距。因此，红外成像的基础理论及其关键技术的研究对提升红外成像技术在我 国国防建设和国民经济各领域的应用比重，缩小我国在该领域与发达国家的差距有着非常 重要的意义。
[0003] 红外探测器的非均匀性是限制其性能与应用的首要因素，这种非均匀性表现为一 种叠加在图像上固定图案噪声。造成这种非均匀性的原因很多，首先是每个探测器单元的 响应率的不一致性，红外焦平面阵列由数万个像元构成，由于各个像元的响应参数不尽相 同，造成即使在均匀输入的情况下，各个像素的响应也不一致，这是红外焦平面阵列非均匀 性的主要因素；其次是探测器读出电路自身以及读出电路和探测器的耦合因素等。此外，红 外探测器非均匀性的时间稳定性不佳，会随着工作时间的增加与外界环境的改变而缓慢漂 移，严重影响图像的空间分辨率与温度灵敏度。所以，红外探测器必须采用相应的非均匀性 校正措施，来修正这种探测器不均匀响应造成的影响。
[0004] 而非均匀性校正概括起来有二大类方法：基于定标的校正方法与基于场景的校正 方法。基于定标的方法是目前已经适用化的技术，但需要对系统进行周期性的重复定标以 消除参数漂移的影响，这就相应地增加了系统的复杂性，降低了系统的可靠性和响应速度； 对于机载、弹载探测器不易做到快速反应。基于场景的校正算法不但省略了参考辐射源，使 系统处理流程得到简化，提高系统的稳定性，而且可以有效地消除参数特性漂移的影响，实 现高精度、大动态范围的自适应非均匀校正。自从基于场景校正这一概念出现以来，国外 学者便给予了高度关注，并取得了大量的研究成果与一批良好的校正算法。总的来说，这些 算法都是通过两大类途径实现的。一类是基于统计的，基于统计类的技术通常对于焦平面 每个像元接收到的辐射量作一些时间上或者空间上的统计假设，在此假设的基础上不断修 正校正参数，校正焦平面的非均匀性。其中最具代表性的技术有时域高通法，统计恒定法， 神经网络法，恒定范围法及其的相应的扩展形式，如统计维纳滤波法，卡尔曼滤波法等。该 类算法一般要求目标场景与IRFPA器件相对运动以使IRFPA器件中所有探测单元在一段时 间内所接收到的目标场景辐射的满足一定的统计假设。然而，由于图像场景的多样性，该假 设不一定能够得到满足，因此这类校正算法经常伴随较为严重的鬼影问题。而另一类则是 基于配准的，这类技术通常认为，在较短的时间间隔内，若观察场景中相同的位置时，每个 像元的响应也应该是相同的，因此这类技术需要准确的估计帧与帧之间的移动。其中比较 有代表性的技术有全景图积累法，代数校正法等。但是这类算法由于其要求限制较多，计算 量与存储量较大，且校正误差易逐级累计传播，所以也较难达到实用。
【发明内容】
[0005] 本发明的目的在于提供一种对红外视频序列采用图像配准的自适应非均匀性校 正方法，使热像仪在实际使用过程中可以满足帧频要求实时自适应校正。
[0006] 实现本发明目的的技术解决方案为：一种对红外视频序列采用图像配准的自适应 非均匀性校正方法，其特征在于：
[0007] 步骤1)通过红外热像仪获得实时的红外视频序列，对于实时的红外视频序列，选 取前一帧图像为参考帧图像，后一帧图像为当前帧图像，图像大小为MXN ;
[0008] 步骤2)分别计算上述两帧图像中每一行对应的像素值之和，即行投影值；分别计 算上述两帧图像中每一列对应的像素值之和，即列投影值；并分别计算每一行和每一列的 像素的平均值；
[0009] 步骤3)对每一行和每一列分别对应的行投影值和列投影值进行修正，得到修正 后的每一行和每一列分别对应的行投影值和列投影值：每一行对应的行投影值减去该行的 图像的平均值，每一列对应的列投影值分别减去该列的图像的平均值，以消除盲元点对配 准的影响；
[0010] 步骤4)利用上述修正后的每一行和每一列分别对应的行投影值和列投影值计算 出两帧图像在估计位移范围内的所有行的互相关信息和列的互相关信息，上述互相关信息 是与行或列的相对位移有关的函数，通过比较行和列的互相关信息矩阵，找到分别使得行 和列的互相关信息最大的相对位移量（dx，dy)，即为图像的位移；
[0011] 步骤5)将假设位移加入到配准计算出的相对位移量（dx，dy)进行修正，得到自适 应位移值；
[0012] 步骤6)利用上述自适应位移值对图像进行配准，得到两帧图像的重叠区域，在重 叠区域内对参考帧和当前帧上相对应位置的像素值进行误差函数的计算，用上述误差函数 更新该位置的增益和偏置系数。
[0013] 上述步骤4)中，对图像大小为MXN的参考帧和当前帧的行投影值进行互相关信 息的计算，得到行向量互相关信息C y (z)，图像大小为MXN的参考帧和当前帧的列投影值进 行互相关信息的计算，得到列向量互相关信息Cx (w)，互相关信息的计算公式为：
[0015] 其中，彳和戽分别为上述步骤3中计算的行投影和列投影，i e [n-1，n]，n-l代表 参考帧，η代表当如帧，z为垂直位移，w为水平位移，且满足z e [1，2 Δ d，w e [1，2 Δ 2]， A1为垂直方向预设位移，Λ 2为水平方向预设位移，然后在[Cy(IhCyO)^uCyQA 1)] 和[Cx (I)，Cx⑵，...Cx (2 Λ 2)]两个行列互相关信息矩阵中找到两个最大值C''Va_> 和
其中
为使行列投影的互相关信息最大的位移值，而
>即图像的垂直方向和水平方向上的相对位移量。
[0016] 上述步骤5)中，将假设位移加入到配准计算出的相对位移量（dx，dy)进行修正， 方法为：
[0017] 在计算出对应于最大互相关信息的相对位移值（dx，dy)后，判断两帧配准图像的 方差差值的绝对值|DX(n-1)-DX(n) I来改变相对位移值，并按照下面公式来改变配准计算 的行列偏移向量：
[0019] 上式中，ds代表dx或dy，如参考帧和当前帧的方差的绝对值小于设定阈值σ，σ 根据实际图像进行选择，取值范围为〇. 2~0. 5,则使计算出的水平位移和垂直位移加1，反 之，如果不小于设定阈值，则不对水平位移和垂直位移进行修正。
[0020] 上述步骤6)中，在对前后两帧图像进行配准时，采用双向配准，在用当前帧配准 参考帧的同时，用参考帧配准当前帧，得到两组不一样的重叠区域，然后将两个重叠区域叠 加在一起进行校正；采用最小均方差法得到误差函数。
[0021] 本发明与现有技术相比，其显著优点：（1)利用实时的红外视频序列来对非均匀 性进行自适应校正，计算量相对降低，能满足硬件实现的要求；（2)采用图像配准的方式来 对红外视频相邻帧图像进行配准，得到相邻帧的重叠区域，再利用计算得到的重叠区域对 图像的增益和偏置系数进行更新，没有对图像的空域信息进行破坏，也没有添加额外的算 法引入的噪声，因此避免了场景类算法带来的严重的鬼影问题；(3)根据当前图像的前后 两帧的标准差的结果来判断场景的类型，然后根据不同类型的场景来对行和列的相对位移 量进行修正，加入假设位移，再对图像配准，能增加该方法对不用场景的适应能力，尤其是 针对坚条纹明显的红外视频序列，其校正效果非常的优异。
【附图说明】
[0022] 图1是本发明一种对红外视频序列采用图像配准的自适应非均匀性校正方法的 算法流程图。
[0023] 图2是本发明一种对红外视频序列采用图像配准的自适应非均匀性校正方法中 的双向配准的示意图，其中图（a)为当前帧配准参考帧；图（b)为参考帧配准当前帧；图 (C)为叠加的重叠区域。
[0024] 图3是真实场景的红外视频序列的校正效果图，其中图（a)为原始视频图像，图 (b)为校正后图像。
【具体实施方式】
[0025] 下面结合附图对本发明作进一步详细描述。
[0026] 本发明是一种对红外视频序列采用图像配准的自适应非均匀性校正方法。其原理 为：首先对红外视频序列中前后两帧图像的行列投影向量进行互相关函数的计算，然后分 别寻找使得互相关函数最大的水平方向和垂直方向的位移量，即为图像的位移值。同时对 图像的标准差进行阈值判断，加入假设位移，然后用校正后的位移值对图像进行双向配准， 得到叠加的重叠区域，在重叠区域内对图像进行校正参数的更新，完成非均匀性校正方法 的自适应校正过程。
[0027] 结合图1和图2,一种对红外视频序列采用图像配准的自适应非均匀性校正方法， 方法步骤如下：
[0028] 在红外视频图像序列中，由于探测器像元对相同的辐射源产生的响应的不一致 性，导致在图像上出现明显的固定图案噪声，即非均匀性，严重影响了图像质量，而采用探 测器像元的辐照度-电压模型，可以将这种响应近似为线性，而利用这种线性模型y(i，j) =g(i，j) · X(i，j)+0(i，j)来对图像的输出进行增益和偏置上的校正，这样能够很好的将 非均匀性归结到两个系数的影响上，而如果我们能够通过对图像序列进行数据处理，得到 每个探测器对应的增益和偏置系数构成的矩阵，就可以对非均匀性进行相应的校正就可以 有效的去掉非均匀性的影响。
[0029] 校正公式为：x(i,