一种红外图像多尺度智能化非均匀性校正方法与流程

本发明涉及图像探测与处理技术领域，具体涉及一种红外图像多尺度智能化非均匀性校正方法。

背景技术：

近几年，焦平面阵列探测器已经成为在红外和可见光成像系统中最广泛应用的探测器。然而，焦平面探测器尤其是红外焦平面探测器受非均匀性影响很严重，这是由每个像素探测器的空间响应不一致而引起的，每个包含焦平面阵列探测器的光电探测器响应不一致导致了非均匀性的增加。固定图像噪声主要是由于非均匀性问题引起的，这个可以在获得的图片中很容易地看出来。此外，由于探测器响应不是固定的而且会随着时间偏移，非制冷型的红外相机的非均匀性的问题更加严重。对于这种类型的相机，探测的整个过程是需要基于场景的非均匀性校正，它能不打断正常的操作来消除实时的偏移。

近几年，基于场景的非均匀性校正算法发展迅速。可以分成不同的种类，例如时域高通滤波非均匀性校正算法、神经网络非均匀性校正算法、常值统计非均匀性校正算法和图像配准非均匀性校正算法。所有这些算法各有自己的优点和缺点。比如时域高通滤波算法专注于校正非均匀性的偏移参数，它是基于构造一个时域高通滤波器来计算原始图像的数值预期。这个方法和一些常值统计方法优点类似，只增加了期望值，这个算法计算简单，但是需要很多的原始图像来参与校正过程。它不能校正非均匀性的增益系数，这个会导致严重的图像退化和鬼影。神经网络非均匀性校正算法，运用最速下降迭代来更新校正系数。它采用神经网络结构，把相邻像素的平均值设置成预期值。这个算法优点是计算方便，但是缺点也是会造成图像退化和轮廓鬼影，收敛速度慢，低频空间噪声校正能力差。由于这些缺点，由神经网络附加限制条件派生出类似的算法，在场景很长时间都没有变化的情况下，效率比较差。常值统计算法是基于统计平均值与所有像素的数据帧偏差趋近相等来提出的。对于低频空间噪声校正性能较好，但是对于一个场景来说需要相当长的计算时间来进行数值计算过程，并且还存在鬼影现象。同时当采用常值统计方法之前场景图像反转的时候鬼影就出现了，这会对视觉性能有很严重的影响。和这些方法相比，配准非均匀性校正利用图像配准技术来建立图像序列像素之间的关系，同时更新修正系数。配准算法的收敛速度比其他方法更快。只需要几十个或者更少的帧数来估计出校正系数。另外，图像修复质量比其他方法更加好。

尽管配准非均匀性校正算法有这么多优势，但是它没有能在低功耗、小体积的单一核心的fpga上实现是因为它具有这些缺点：1.当下运用的配准算大绝大多数都是用的傅里叶变换来计算相邻帧的互相关系数。一旦相邻帧的相对位移计算出来，就可以通过傅里叶逆变换来获得配准后的图像。这个对于单一核心的fpga系统来说计算量需求太大。迄今为止还没有报导过基于场景配准的非均匀性校正算法在一个单一核心的fpga系统上实现。2.如果在计算中运用一个数字信号处理器，这个系统需要更大的功耗和更大的体积构造，这让微型化变得极为困难。

技术实现要素：

本发明的目的在于提供一种红外图像多尺度智能化非均匀性校正方法，以解决现有技术中导致的上述多项缺陷。

一种红外图像多尺度智能化非均匀性校正方法，包括以下步骤：

s1:初始化：采集第一帧未校正原始图像y1(i,j)，并将第一帧时的增益校正参数g1(i,j)和偏置校正参数o1(i,j)置为全1与全0；

s2：非均匀性校正：读入一帧新的未校正原始图像yn(i,j),n＝2,3,4...，并与上一帧未校正原始图像yn-1(i,j)一同利用当前非均匀性校正参数进行非均匀性校正，获得第n-1帧校正后图像xn-1(i,j)与第n帧校正后图像xn(i,j)；

s3：采用新的投影偏移估计量算法来进行相邻两帧帧间配准，获取一对相邻帧图像，一帧设置为参考图像(referenceframe)，一帧设为当前图像(currentframe)，计算两帧图像水平和垂直方向的投影和公式如下：

计算相邻两帧图像行、列投影的互相关系数矩阵，公式如下：

分别选择行、列互相关系数矩阵最小值作为相邻两帧图像的行、列方向的相关位移量，公式如下：

s4：增益、偏置校正参数调整：假定在两个相邻帧的场景中有一个重叠区域，在进行了非均匀性校正算法之后，相邻两帧应该在重叠区域相同的输出，也就意味着：

y1＝y2

y1＝k1·x1+b1

y2＝k2·x2+b2

根据这些方程，就可以得到：

是x1和x2的平均值，假定由y2表示的图像是朝向由y1表示的图像移位，两帧的重叠区域定义为err，偏置校正系数调整可以用如下公式计算：

α为收敛步长，增益校正系数调整公式：

s5：参数调整完毕后，帧标号n加1，即n←n+1，然后返回步骤s2，由此循环步骤s2至步骤s5，红外焦平面的增益校正参数与偏置校正参数就会不断调整。

优选的，所述步骤s3的配准阶段，计算相邻两帧图像水平和垂直方向的投影和以及两帧图像行、列投影的互相关系数矩阵，两个互相关系数矩阵最小值即为两相邻两帧图像的相关位移量drow和dcol。

优选的，所述步骤s4的增益和偏置校正参数调整，利用步骤s3计算的相对位移，确定相邻两帧的重叠区域，利用相邻帧在重叠区域有相同输出这个原理确定偏置校正参数，再利用偏置和增益校正系数的关系求出增益校正系数。

优选的，所述步骤s3中的公式中m，n是图像行、列的尺寸，p(i,j)是原始图像的14位像素值。

优选的，所述步骤s4的公式中x1和x2是在两个相邻的帧的重叠区域中的相同的变量，y1和y2是在重叠区域中的相邻帧的输出，k1、k2、b1和b2是相邻两帧的增益和偏置系数。

优选的，所述方法可集成在单一核心的fpga上实现。

本发明的优点在于：该种红外图像多尺度智能化非均匀性校正方法：(1)校正精度高：本发明仅仅利用图像投影来确定相邻两帧图像中场景的近似性，并没有对长时间的场景统计信息施加假设，对于高频和低频的非均匀性校正精度都要高于传统的统计类和批准类的基于场景的校正算法。(2)收敛速度和校正稳定性可控：本发明针对实时系统，可以根据非均匀性的等级来选择合适的收敛步长。如果非均匀性的初始等级高，那就得选择大的步长，校正几帧后，非均匀性变弱了，就可以选择一个小的收敛步长。(3)不存在鬼影效应：本发明在相邻两帧图像匹配度较低的时候，可以智能地调节更新速率，且在配准计算过程中，场景信息的干扰基本排除在外，不存在任何鬼影效应。(4)计算量小，可在小体积、低功耗的硬件上实现，本发明的图像配准、系数调整、非均匀性校正都仅需要简单的行列运算，与传统的基于场景的二维图像配准相比，计算量和功耗都会小很多，但是性能反而有较大的提升，并已经在单一核心的fpga上实现。

附图说明

图1为本发明的方法流程图。

图2为本发明中未校正过的原始图像。

图3为图2采用本发明方法在收敛步长设置成0.1时候校正的结果图。

图4为未校正过的原始图像。

图5为图4采用最速下降法，收敛步长设置成0.01的校正结果图像。

图6为图4采用最速下降法，收敛步长设置成0.1的校正结果图像。

图7为本发明非均匀性较弱情况下两算法结果的比较图。

图8为本发明非均匀性较强的情况下两算法结果的比较图。

图9为本发明一对在行、列方向都有位移的测试图片组。

图10为本发明为位移错误时候计算的误差矩阵图(此时均方根误差为401.1823)。

图11为本发明为位移正确时候计算的误差矩阵图(此时均方根误差为50.4369)。

图12为本发明算法和传统二维配准非均匀性算法均方根误差结果比较图。

图13为本发明算法采用不同收敛步长时的均方根误差结果图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

如图1至图13所示，一种红外图像多尺度智能化非均匀性校正方法，包括以下步骤：

s1:初始化：采集第一帧未校正原始图像y1(i,j)，并将第一帧时的增益校正参数g1(i,j)和偏置校正参数o1(i,j)置为全1与全0；

s2：非均匀性校正：读入一帧新的未校正原始图像yn(i,j),n＝2,3,4...，并与上一帧未校正原始图像yn-1(i,j)一同利用当前非均匀性校正参数进行非均匀性校正，获得第n-1帧校正后图像xn-1(i,j)与第n帧校正后图像xn(i,j)；

s3：采用新的投影偏移估计量算法来进行相邻两帧帧间配准，获取一对相邻帧图像，一帧设置为参考图像(referenceframe)，一帧设为当前图像(currentframe)，计算两帧图像水平和垂直方向的投影和公式如下：

计算相邻两帧图像行、列投影的互相关系数矩阵，公式如下：

分别选择行、列互相关系数矩阵最小值作为相邻两帧图像的行、列方向的相关位移量，公式如下：

s4：增益、偏置校正参数调整：假定在两个相邻帧的场景中有一个重叠区域，在进行了非均匀性校正算法之后，相邻两帧应该在重叠区域相同的输出，也就意味着：

y1＝y2

y1＝k1·x1+b1

y2＝k2·x2+b2

根据这些方程，就可以得到：

是x1和x2的平均值，假定由y2表示的图像是朝向由y1表示的图像移位，两帧的重叠区域定义为err，偏置校正系数调整可以用如下公式计算：

α为收敛步长，增益校正系数调整公式：

s5：参数调整完毕后，帧标号n加1，即n←n+1，然后返回步骤s2，由此循环步骤s2至步骤s5，红外焦平面的增益校正参数与偏置校正参数就会不断调整。

值得注意的是，所述步骤s3的配准阶段，计算相邻两帧图像水平和垂直方向的投影和以及两帧图像行、列投影的互相关系数矩阵，两个互相关系数矩阵最小值即为两相邻两帧图像的相关位移量drow和dcol。

在本实施例中，所述步骤s4的增益和偏置校正参数调整，利用步骤s3计算的相对位移，确定相邻两帧的重叠区域，利用相邻帧在重叠区域有相同输出这个原理确定偏置校正参数，再利用偏置和增益校正系数的关系求出增益校正系数。

在本实施例中，所述步骤s3中的公式中m，n是图像行、列的尺寸，p(i,j)是原始图像的14位像素值。

在本实施例中，所述步骤s4的公式中x1和x2是在两个相邻的帧的重叠区域中的相同的变量，y1和y2是在重叠区域中的相邻帧的输出，k1、k2、b1和b2是相邻两帧的增益和偏置系数。

在本实施例中，所述方法可集成在单一核心的fpga上实现。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。