基于fpga的红外成像非均匀性校正系统的制作方法
【技术领域】
[0001]本发明属于红外图像处理领域，特别涉及一种基于FPGA的红外成像非均匀性校正系统，可用于对红外图像非均匀性的实时校正。
【背景技术】
[0002]红外凝视成像系统的核心传感器是红外焦平面阵列IRPPA，现已广泛应用于各个领域。由于传感器材料和制造工艺、信号处理系统暗电流噪声以及工作环境等因素的影响，红外焦平面阵列各个探测单元对相同辐照度的响应不同，这种响应的不一致性称为非均匀性，在图像上表现为固定图案噪声FPN。红外焦平面阵列的非均匀性降低了系统的成像质量，因此在实际应用中必须进行非均匀性校正NUC。
[0003]近年来，学者们不断提出不同的非均匀性校正方法，通常将这些方法分为两类:一类是基于参考源定标的校正方法，典型的有两点校正法和多点校正法；另一类是基于场景的校正方法，典型的有时域高通滤波法、恒定统计法、神经网络法等。
[0004]基于参考源定标的方法以不同温度下均匀辐射的黑体作为参考源获得校正参数，但是其校正参数是固定不变的，随着时间的增长和工作环境的改变校正参数通常会失效，需要通过周期性的停机来重新定标。
[0005]基于场景的校正方法利用当前图像中的场景信息实时计算更新校正参数，具有一定的自适应性，但是也存在一定缺陷。其中:
[0006]时域高通滤波法的缺点是:将时域低频信息统一当做非均匀性，会滤除掉图像中的静止场景，同时也会在运动物体上产生明显的拖影即“鬼影”现象，严重影响校正效果。
[0007]恒定统计法的缺点是:认为图像中的场景值遵循恒定的统计规律，需要连续多帧图像的统计信息来计算校正参数，对系统的存储空间要求比较大，不易于硬件实现。
[0008]神经网络法的缺点是:依赖于场景与成像系统之间的运动，校正图像中大多存在“鬼影”问题，而且当场景静止时，重复迭代计算会使校正结果边缘发生模糊。
【发明内容】
[0009]本发明的目的在于提供一种基于FPGA的红外成像非均匀性校正系统，用于对红外图像非均匀性的实时较正。本发明系统采用的方法，对传统的神经网络法加以改进，以解决传统的神经网络法存在的“鬼影”现象和固定场景下图像模糊的问题。
[0010]本发明的目的是这样实现的:
[0011]一.技术原理
[0012]本发明在保留原始神经网络法优点的同时，针对其缺陷加以改进，并以FPGA为核心处理器对改进方法进行实现。
[0013]在本发明系统中，保留了原始神经网络法的校正模型和参数更新计算模型，其中:
[0014]校正模型为=Ici(Lj)=G(i, jOXI^i, j)+0(i, j);
[0015]增益参数迭代更新的计算模型为j) = G(i, j)-0 XI“i，j) X (10(i, j)_If(i,j));
[0016]偏置参数迭代更新的计算模型为-O1 (i，j) = 0(i, j)-0 X (10(i, j)-1f(i, j))o
[0017]上述模型中，I1Q, j)为输入原始图像第i行第j列像素位置的灰度值，G(i，j)和0(i, j)分别为对应位置的当前增益参数和当前偏置参数，Ici(^j)为利用校正模型计算得到该位置校正后的灰度值，If (i，j)为预测图像在该位置的灰度值，β为迭代步长，G1(^j)和O1Q, j)分别为利用参数更新计算模型得到的新增益参数和新偏置参数。
[0018]针对原始神经网络法存在的缺陷，经过理论及实验分析可知，“鬼影”现象的存在主要是由于原始神经网络法中预测图像由均值滤波得到，图像边缘被模糊了。本发明系统采用一种具有边缘保持效果的滤波方法代替原始神经网络法中的均值滤波来计算预测图像，有效地改善了“鬼影”现象。另外，场景静止时不必要的重复更新校正参数是造成图像模糊的主要原因。本发明引入了参数更新判断机制，利用投影法运动估计的结果来指导参数更新，从而有效地解决了静止场景下校正结果的模糊问题。针对以上改进后的神经网络非均匀性校正方法，本发明以FPGA为核心处理器件对其进行硬件实现，给出一种基于FPGA的红外成像非均匀性校正系统。
[0019]二.技术方案
[0020]本发明基于FPGA的红外成像非均匀性校正系统，其特征在于包括:输入帧缓存器、输出帧缓存器、外部存储控制器和神经网络模块；
[0021]所述输入帧缓存器，用于从外部接收并缓存完整的一帧MXN像素大小的原始图像，其中每个像素的灰度值是一个8bit位宽的整型数据；
[0022]所述输出帧缓存器，用于在系统中缓存一帧完整的校正后图像，并输出校正后的图像数据；
[0023]所述外部存储控制器，用于控制FPGA外接的第一存储器SRAMl和第二存储器SRAM2的工作状态，并负责和神经网络模块进行数据通信；
[0024]所述神经网络模块，包括校正子模块、预测图像计算子模块、新参数计算子模块、投影法运动估计子模块和一个二选一选择器；
[0025]该校正子模块，用于从输入帧缓存器中依次读取原始图像第i行第j列像素位置的数据I1Q, j)，同时从外部存储控制器中接收该像素位置的当前增益参数G(i，j)和当前偏置参数0(i，j)，计算该像素位置的校正后图像数据IJi，j)，i = 1，2，...，Μ，j =1，2，...，N，M为图像的总行数，N为图像的总列数；
[0026]该预测图像计算子模块，用于从输入帧缓存器中依次读取原始图像第i行第j列像素位置的数据I1Q, j)，并计算该像素位置的预测图像数据If (i，j);
[0027]该新参数计算子模块，用于从输入帧缓存器中依次读入原始图像第i行第j列像素位置的数据I1 (i, j)，同时从外部存储控制器中获得该像素位置的当前增益参数G(i，j)和当前偏置参数O (i，j)，并从校正子模块中读取该像素位置的校正图像数据Ici (i，j)，再从预测图像计算子模块中读取该像素位置的预测图像数据If (i，j)，最终计算出该像素位置的新增益参数G1 (i, j)和新偏置参数O1 (i, j);
[0028]该投影法运动估计子模块，用于从输入帧缓存器中依次读入原始图像第i行第j列像素位置的数据I1 (i，j)，判断当前图像中是否存在运动物体，并输出判别信号f来表示判断结果:如果图像中存在运动物体，则判别信号f输出为1，否则输出为O ;
[0029]该二选一选择器，用于根据投影法运动估计子模块输出的判别信号f来选择参数进行更新:如果判别信号f为1，则选择新参数计算子模块输出的新增益参数G1Q, j)和新偏置参数O1 (i, j)传送到外部存储控制器，并分别写入第一存储器SRAMl和第二存储器SRAM2，实现校正参数的更新；如果判别信号f为0，则外部存储控制器接收自身输出的当前增益参数G (i，j)和当前偏置参数O (i，j)，并分别写入第一存储器SRAMl和第二存储器SRAM2，保持校正参数不变。
[0030]本发明具有如下优点:
[0031]1.本发明系统中由于设有较正子模块和新参数计算子模块，并通过新参数计算子模块实时计算更新校正参数，使系统能够对输入的原始图像进行自适应校正；
[0032]2.本发明系统中由于设有预测图像计算子模块，通过该模块在计算预测图像时保留原始图像中的边缘信息，故能够在保证校正效果的同时有效减弱运动物体的拖影即“鬼影”现象；
[0033]3.本发明系统中由于设有投影法运动估计子模块，通过该模块判断图像中是否存在运动物体，并使用判断的结果指导校正参数的更新，从而避免了场景静止时造成的图像模糊。
[0034]4.本发明系统以FPGA为核心处理器进行实现，充分利用了 FPGA可编程和并行运算的特点，使系统能够对输入的原始图像进行实时校正。
[0035]以下结合附图和实施例对本发明的实施例和效果作进一步详细描述。
【附图说明】
[0036]图1为本发明基于FPGA的红外成像非均匀性校正系统结构框图；
[0037]图2为本发明中的校正子模块结构框图；
[0038]图3为本发明中的预测图像计算子模块结构框图；
[0039]图4为本发明中的均值滤波器结构框图；
[0040]图5为本发明中的新参数计算子模块结构框图；
[0041]图6为本发明中的投影法运动估计子模块结构框图；
[0042]图7为本发明中改进预测图像计算子模块前后的系统结果对比图；
[0043]图8为本发明中引入投影法运动估计子模块前后的系统结果对比图。
【具体实施方式】
[0044]参照图1，本发明系统以FPGA为核心处理器实现红外成像非均匀性校正，FPGA内部划分的功能模块包括:输入帧缓存器1、输出帧缓存器2、外部存储控制器3和神经网络模块4。其中神经网络模块4包括:校正子模块41、预测图像计算子模块42、新参数计算子模块43、投影法运动估计子模块44和一