一种红外图像无挡片非均匀性校正装置及其校正方法与流程

本发明涉及一种红外图像无挡片的非均匀性校正装置及其校正方法，属于红外图像处理技术领域。

背景技术：

自二十世纪九十年代，红外技术正在经历第三次革命，以微测辐射热计和热释电探测器为代表的非致冷红外成像技术获得了重要突破并达到实用化。它不仅解决了红外摄像技术中最为突出的要求低温(～77k)冷却工作的要求，而且还可像光子半导体红外焦平面阵列技术一样实现同读出电路的大规模或超大规模集成，实现了高密度、小型化、便携和易于操作的红外热像仪。

然而，受红外探测器材料和工艺方面的影响，红外焦平面阵列的非均匀性问题成为长期以来制约其应用的根本问题。非均匀性指的是焦平面阵列在外界均匀光强照射时，各单元的输出不一致，在图像上表现为空间噪声或固定图案噪声。

基于两点的红外图像非均匀性校正是一种基于定标的校正算法，两点校正法是最早开展研究、最为成熟的算法之一。应用两点法校正有两个前提条件，第一，探测器的响应在所关注的温度范围内是线性变化的，第二，探测器的响应具有时间的稳定性，并且其受随机噪声的影响较小，则非均匀性引入固定模式的乘性和加性噪声。

基于定标非均匀校正通常需要事先获得校正所需要的定标系数，然后在校正实现过程中读取这些数据作相应的处理，但是当温度漂移时，之前的参数就不适用。因此当漂移很大时，需要通过挡片充当均匀背景重新定标来更新校正系数。但挡片挡下的时间内会出现几秒钟的盲视现象，在快速移动的工作场合，不利于观察周围的情况，且挡片引入机械结构，会增加系统功耗和噪声。

技术实现要素：

为解决现有技术的不足，本发明的目的在于提供一种红外图像无挡片非均匀性校正装置及其校正方法，在不使用挡片的情况下，在系统实时图像显示的过程中完成非均匀性校正，且不需要使用挡片，减小了系统功耗和噪声。

为了实现上述目标，本发明采用如下的技术方案：

一种红外图像无挡片非均匀性校正装置，其特征是，包括标定模块和校正模块；

所述标定模块包括机芯裸露标定模块、机芯装壳标定模块、非均匀性校正参数k计算模块、flash模块和黑体标定模块；

所述非均匀性校正参数k计算模块分别与机芯裸露标定模块、机芯装壳标定模块、flash模块和黑体标定模块相连接；所述flash模块分别与机芯裸露标定模块、机芯装壳标定模块相连接；

所述机芯裸露标定模块用于设置高低温箱的温度，机芯裸露在高低温箱中，分别获取不同红外探测器衬底温度和机芯结构温度对应的背景图像，并存入flash模块中；

所述机芯装壳标定模块用于设置高低温箱的温度，机芯装入结构外壳，分别获取不同红外探测器衬底温度和机芯结构温度对应的背景图像，并存入flash中；

所述黑体标定模块用于设定黑体温度为th_black和tl_black时，获取探测器响应的高温帧和低温帧；

所述非均匀性校正参数k计算模块用于根据黑体标定时探测器的温度以及在高低温箱中标定的背景值，计算出标定k时的背景值，然后再根据高温帧和低温帧以及标定k的背景值计算出校正参数k，最终写入flash模块中；

所述flash模块用于存储不同温度下的背景图像以及计算出的非均匀性校正参数k；

所述校正模块包括nios软核控制模块、读ddr模块、ddr2模块、fifo1、fifo2、fifo3、fifo4、读fifo模块、线性插值模块和非均匀性校正模块；

所述nios软核控制模块分别与读ddr模块、ddr2模块相连接；所述读ddr模块与ddr2模块相连接；所述ddr2模块还与fifo1、fifo2和fifo3相连接；所述读fifo模块分别与fifo1、fifo2、fifo3、fifo4相连接；所述fifo2、fifo3分别与线性插值模块相连接；所述非均匀性校正模块分别与fifo1、fifo4和线性插值模块；

所述nios软核控制模块用于产生flash模块的读控制信号，根据当前探测器的衬底温度t读出探测器当前对应的高低温箱中标定的背景值及k，根据当前的探测器衬底温度t插值计算出裸露标定的背景a和装壳标定的背景b，再写入ddr2模块中；同时产生存有背景和校正参数k的基地址，送给读ddr模块；

所述读ddr模块用于根据nios软核控制模块送的基地址，读取ddr2中的背景和校正参数k；

所述ddr2模块用于在机芯工作时，存储无挡片的背景值和非均匀性校正参数k；

所述fifo1用于缓存非均匀性校正参数k；

所述fifo2用于缓存当前衬底温度t对应的裸露标定情况下的背景a；

所述fifo3用于缓存当前衬底温度t对应的装壳标定情况下的背景b；

所述fifo4用于缓存输入的图像数据；

所述读fifo模块用于产生fifo1、fifo2、fifo3、fifo4的读使能；

所述线性插值模块用于根据当前衬底温度t对应的两个背景a和背景b，插值计算出当前结构温度ts对应的背景值；

所述非均匀性校正模块用于对输入的图像数据进行非均匀性校正后再输出。

一种基于上述红外图像无挡片非均匀性校正装置的校正方法，其特征是，包括如下步骤：

步骤1)把机芯裸露在高低温箱中，镜头对着均匀的背景，设置高低温箱的温度从tcalibri_start到tcalibri_end逐渐升温；在升温过程中，机芯裸露标定模块获取在不同温度下的探测器输出vbare1，vbare2，……，vbaren，同时记录标定时探测器输出为vbarei时对应的衬底温度tbbi和机芯结构温度tbsi；

步骤2)把机芯装壳放置在高低温箱中，镜头对着均匀的背景，设置高低温箱的温度从tcalibri_start到tcalibri_end逐渐升温，在升温过程中，机芯装壳标定模块获取在不同温度下的探测器输出vpack1，vpack2，……，vpackn，同时记录标定时探测器输出为vpacki时对应的衬底温度tpbi和机芯结构温度tpsi；

步骤3)在室温环境下，把机芯镜头对着黑体，设置黑体的温度为th_black和tl_black，黑体标定模块分别存储两个温度下的探测器输出高温帧响应vh_black和低温帧响应vl_black，同时记录此时探测器输出高温帧响应vh_black时的衬底温度tbh和结构温度tsh，探测器输出低温帧响应vl_black时的衬底温度tbl和结构温度tsl；

步骤4)非均匀性参数计算模块根据黑体标定模块的衬底温度tbh、tbl和高低温箱内标定时的背景及对应的衬底温度通过线性插值计算出黑体标定时衬底温度tbh、tbl对应的背景，再利用衬底温度tbh、tbl对应的背景线性插值计算出黑体标定时结构温度tsh、tsl对应的背景，最后利用探测器输出高温帧响应vh_black和低温帧响应vl_black分别减去各自的背景后的结果，计算非均匀性校正参数k并存入flash模块中；

步骤5)nios软核控制模块在机芯工作时块根据当前衬底温度和结构温度对应的背景值读出flash模块中的无挡片数据并计算当前衬底温度对应的背景值以及该背景值对应的结构温度，最后将计算出的背景值、非均匀性校正参数存入ddr2中并将ddr2的基地址送到读ddr模块；

步骤6)读ddr模块根据一帧开始，从基地址处读取ddr中一帧图像大小的背景值及非均匀性校正参数并存到fifo1、fifo2、fifo3、fifo4中进行缓存；

步骤7)读fifo模块检测fifo1、fifo2、fifo3、fifo4中是否同时有数据，在均有数据时，产生fifo的读使能，读出fifo中的数据并送到线性插值模块；

步骤8)线性插值模块根据两帧背景值及结构温度，线性插值计算出当前衬底温度和机芯结构温度对应的背景，送到非均匀性校正模块；

步骤9)非均匀性校正模块利用非均匀性校正参数及背景值，对实时图像进行非均匀性校正后输出。

进一步地，所述步骤4)中计算非均匀性校正参数k的具体步骤为：

401)利用高低温箱内标定的背景以及黑体标定时机芯的衬底温度，插值计算出衬底温度tbh、tbl对应的背景图像，具体公式为：

其中：

tbbx1，tbbx2，tbby1，tbby2分别表示在机芯高低温箱中裸露标定时探测器的衬底温度，且bbx1+1＝bbx2，bby1+1＝bby2；

vbarex1，vbarex2，vbarey1，vbarey2分别一一对应机芯在高低温箱中裸露标定时，衬底温度为tbbx1，tbbx2，tbby1，tbby2且结构温度为tbsx1，tbsx2，tbsy1，tbsy2时的响应输出；

vblack_hb1，vblack_lb1分别表示在黑体标定时，探测器衬底温度为tbh、tbl且结构温度为tbsx、tbsy时对应的裸露标定的背景图像；

tpbm1，tpbm2，tpbn1，tpbn2分别表示在机芯高低温箱中装壳标定时探测器的衬底温度，且pbm1+1＝pbm2，pbn1+1＝pbn2；

vpackm1，vpackm2，vpackn1，vpackn2分别一一对应机芯在高低温箱中装壳标定时，衬底温度为tpbm1，tpbm2，tpbn1，tpbn2且结构温度为tpsm1，tpsm2，tpsn1，tpsn2时的响应输出；

vblack_hp1，vblack_lp1分别表示在黑体标定时，探测器衬底温度为tbh、tbl且结构温度为tpsm、tpsn时对应的装壳标定的背景图像；

402)利用线性关系，计算标定黑体时黑体温度对应的结构温度，具体公式为其中，tbsx，tbsy，tbsx1，tbsy1分别表示在高低温箱内机芯裸露标定时，衬底温度为tbh，tbl，tbbx1，tbby1时对应的机芯结构的温度；

tpsm，tpsn，tpsm1，tpsn1分别表示在高低温箱内机芯装壳标定时，衬底温度为tbh，tbl，tpbm1，tpbn1时对应机芯结构的温度；

403)根据401)、402)中的计算结果，线性插值计算出在黑体标定时，机芯温度分别为tbh、tbl，对应结构温度为tsh、tsl的背景图像vbh和vbl，具体公式为

404)将标定黑体时探测器的响应值减去上述计算得到的背景值后，计算非均匀性校正参数k，具体公式为其中，分别表示图像vh_black-vbh、vl_black-vbl一帧的均值。

进一步地，所述步骤5)中，机芯工作时，根据当前的衬底温度，读出flash模块中的无挡片数据，并计算出当前衬底温度对应的背景值及该背景值对应的结构温度，具体公式为

其中：

vbare，vpack分别表示当前机芯衬底温度tbb对应的在高低温箱内裸露标定和装壳标定时的背景值；

vbarei2，vbarei1分别表示高低温箱内裸露标定时衬底温度为tbbi1，tbbi2时对应的背景值；

vpackj2，vpackj1分别表示高低温箱内装壳遮挡标定时衬底温度为tbbj1，tbbj2时的背景值；

tbs，tps分别表示衬底温度tbb对应的在高低温箱内机芯裸露标定和装壳标定的结构温度；

tbs_now表示当前结构温度；

tbsi1表示机芯裸露标定时衬底温度为tbbi1的结构温度；

tpsj1表示在机芯装壳遮挡标定时衬底温度为tpbj1的结构温度。

进一步地，所述步骤7)中，产生fifo的读使能，具体操作机制为：

读fifo模块检测到fifo1、fifo2、fifo3、fifo4中均不为空时，产生fifo的读使能读fifo中的数据送到线性插值模块；当检测到fifo1、fifo2、fifo3、fifo4中有一个为空时，则不进行读fifo操作。

进一步地，所述步骤8)中，线性插值模块线性插值计算当前衬底温度和结构温度对应的背景，具体计算公式为

进一步地，所述步骤9)中，非均匀性校正模块对实时图像进行非均匀性校正输出，具体公式为vimg_out＝k×(vimg_in-vback)+cons，其中vimg_out非均匀性表示校正后输出的图像；vimg_in表示输入图像；cons表示常量，依据经验值选取。

进一步地，所述cons取图像最大灰度响应的中间值。

进一步地，所述其中n代表红外图像数据的位宽。

本发明所达到的有益效果：(1)在高低温箱内进行了两次标定(机芯裸露和机芯装壳)，标定过程模拟了机芯在正常过程中的升温过程，让标定参数近似于机芯实际工作的情况，使得标定的数据可靠有效；(2)采用nios软核先进行初步计算，减小了硬件算法实现的难度；(3)采用无挡片非均匀性校正技术，对图像进行实时处理，提升了图像质量；(4)无需使用挡片进行非均匀性校正，解决了因挡片使用过程中出现的盲视现象，且增加了系统稳定性，减小系统噪声。

附图说明

图1是本发明的装置结构示意图；

图2(a)是机芯对着均匀背景，输出的带非均匀性的图像；

图2(b)是机芯对着均匀背景，经过本发明处理后的图像；

图2(c)是机芯对着场景，经过本发明处理后的图像。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

红外焦平面阵列(irfpa)像元响应存在不一致性，会严重影响红外成像系统成像的质量，实际应用中需要采用响应的非均匀性校正(nuc)技术。非均匀性校正是焦平面阵列受到均匀辐射照射时，将不一致的各单元输出校正到同一个值，使得输出图像均匀低噪声。

本发明所采用的装置结构如图1所示，主要包括标定模块和校正模块两个部分。

标定模块在具体使用时，设置高低温箱的温度从系统工作温度范围的最低值逐渐往上升温，同时系统开机，在两种情况(机芯裸露和机芯装入外壳)下标定机芯在高低温箱中对着均匀的背景工作升温，在不同的温度下标定红外探测器的响应，并记录下相应的探测器衬底温度及机芯结构温度。

然后在常温下对着黑体标定高温th和tl低温两帧，再根据在高低温箱中标定的情况计算出非均匀性校正参数k，和高低温箱中标定的参数一起存入flash模块中。

校正模块在具体工作时，nios软核控制模块根据当前探测器的衬底温度，读取flash中的两帧背景及非均匀性校正参数k，并线性插值计算衬底温度对应的背景及该背景对应的标定时的结构温度，再将结果和k一起写入ddr中；读ddr模块将ddr中的数据读出给fifo缓存，读fifo模块产生读fifo的使能，将fifo中的数据读出送给线性插值模块，线性插值模块线性插值计算出当前结构温度对应的背景图像，再送到非均匀性校正模块，非均匀性校正模块用计算出当前衬底温度和结构温度对应的背景图像和非均匀性校正参数k对输入的图像进行非均匀性校正后输出。

具体地校正方法步骤如下：

步骤1)把机芯裸露在高低温箱中，镜头对着均匀的背景，设置高低温箱的温度从tcalibri_start到tcalibri_end逐渐升温；在升温过程中，机芯裸露标定模块获取在不同温度下的探测器输出vbare1，vbare2，……，vbaren，同时记录标定时探测器输出为vbarei时对应的衬底温度tbbi和机芯结构温度tbsi。

步骤2)把机芯装壳放置在高低温箱中，镜头对着均匀的背景，设置高低温箱的温度从tcalibri_start到tcalibri_end逐渐升温，在升温过程中，机芯装壳标定模块获取在不同温度下的探测器输出vpack1，vpack2，……，vpackn，同时记录标定时探测器输出为vpacki时对应的衬底温度tpbi和机芯结构温度tpsi。

步骤3)在室温环境下，把机芯镜头对着黑体，设置黑体的温度为th_black和tl_black，黑体标定模块分别存储两个温度下的探测器输出高温帧响应vh_black和低温帧响应vl_black，同时记录此时探测器输出高温帧响应vh_black时的衬底温度tbh和结构温度tsh，探测器输出低温帧响应vl_black时的衬底温度tbl和结构温度tsl；

步骤4)非均匀性参数计算模块根据黑体标定模块的衬底温度tbh、tbl和高低温箱内标定时的背景及对应的衬底温度通过线性插值计算出黑体标定时衬底温度tbh、tbl对应的背景，再利用衬底温度tbh、tbl对应的背景线性插值计算出黑体标定时结构温度tsh、tsl对应的背景，最后利用探测器输出高温帧响应vh_black和低温帧响应vl_black分别减去各自的背景后的结果，计算非均匀性校正参数k并存入flash模块中，具体步骤如下：

401)利用高低温箱内标定的背景以及黑体标定时机芯的衬底温度，插值计算出衬底温度tbh、tbl对应的背景图像，具体公式为：

其中：

tbbx1，tbbx2，tbby1，tbby2分别表示在机芯高低温箱中裸露标定时探测器的衬底温度；且bbx1+1＝bbx2，bby1+1＝bby2；以第一个公式为例，确定tbh在之前机芯高低温箱中裸露标定时衬底温度数据的某两个相邻数据的区间内，下面同理。

vbarex1，vbarex2，vbarey1，vbarey2分别一一对应机芯在高低温箱中裸露标定时，衬底温度为tbbx1，tbbx2，tbby1，tbby2且结构温度为tbsx1，tbsx2，tbsy1，tbsy2时的响应输出；

vblack_hb1，vblack_lb1分别表示在黑体标定时，探测器衬底温度为tbh、tbl且结构温度为tbsx、tbsy时对应的裸露标定的背景图像；

tpbm1，tpbm2，tpbn1，tpbn2分别表示在机芯高低温箱中装壳标定时探测器的衬底温度；pbm1+1＝pbm2，pbn1+1＝pbn2；

vpackm1，vpackm2，vpackn1，vpackn2分别一一对应机芯在高低温箱中装壳标定时，衬底温度为tpbm1，tpbm2，tpbn1，tpbn2且结构温度为tpsm1，tpsm2，tpsn1，tpsn2时的响应输出；

vblack_hp1，vblack_lp1分别表示在黑体标定时，探测器衬底温度为tbh、tbl且结构温度为tpsm、tpsn时对应的装壳标定的背景图像；

402)利用线性关系，计算标定黑体时黑体温度对应的结构温度，具体公式为其中，tbsx，tbsy，tbsx1，tbsy1分别表示在高低温箱内机芯裸露标定时，衬底温度为tbh，tbl，tbbx1，tbby1时对应的机芯结构的温度；

tpsm，tpsn，tpsm1，tpsn1分别表示在高低温箱内机芯装壳标定时，衬底温度为tbh，tbl，tpbm1，tpbn1时对应机芯结构的温度；

403)根据401)、402)中的计算结果，线性插值计算出在黑体标定时，机芯温度分别为tbh、tbl，对应结构温度为tsh、tsl的背景图像vbh和vbl，具体公式为

404)将标定黑体时探测器的响应值减去上述计算得到的背景值后，计算非均匀性校正参数k，具体公式为其中，分别表示图像vh_black-vbh、vl_black-vbl一帧的均值。

步骤5)nios软核控制模块在机芯工作时块根据当前衬底温度和结构温度对应的背景值读出flash模块中的无挡片数据并计算当前衬底温度对应的背景值以及该背景值对应的结构温度，最后将计算出的背景值、非均匀性校正参数存入ddr模块中并将ddr的基地址送到读ddr模块，具体地：机芯工作时，根据当前的衬底温度，读出flash模块中的无挡片数据，并计算出当前衬底温度对应的背景值及该背景值对应的结构温度，具体公式为

其中：

vbare，vpack分别表示当前机芯衬底温度tbb对应的在高低温箱内裸露标定和装壳标定时的背景值；

vbarei2，vbarei1分别表示高低温箱内裸露标定时衬底温度为tbbi1，tbbi2时对应的背景值；

vpackj2，vpackj1分别表示高低温箱内装壳遮挡标定时衬底温度为tbbj1，tbbj2时的背景值；

tbs，tps分别表示衬底温度tbb对应的在高低温箱内机芯裸露标定和装壳标定的结构温度；

tbs_now表示当前结构温度；

tbsi1表示机芯裸露标定时衬底温度为tbbi1的结构温度；

tpsj1表示在机芯装壳遮挡标定时衬底温度为tpbj1的结构温度。

步骤6)读ddr模块根据一帧开始，从基地址处读取ddr中一帧图像大小的背景值及非均匀性校正参数并存到fifo1、fifo2、fifo3、fifo4中进行缓存；

步骤7)读fifo模块检测fifo1、fifo2、fifo3、fifo4中是否同时有数据，产生fifo的读使能，读出fifo中的数据并送到线性插值模块，产生fifo的读使能，具体操作机制为：读fifo模块检测到fifo1、fifo2、fifo3、fifo4中均不为空时，产生fifo的读使能读fifo中的数据送到线性插值模块；当检测到fifo1、fifo2、fifo3、fifo4中有一个为空时，则不进行读fifo操作。

步骤8)线性插值模块根据两帧背景值及结构温度，线性插值计算出当前衬底温度和机芯结构温度对应的背景，送到非均匀性校正模块。线性插值模块线性插值计算当前衬底温度和结构温度对应的背景，具体计算公式为

步骤9)非均匀性校正模块利用非均匀性校正参数及背景值，对实时图像进行非均匀性校正后输出，公式为vimg_out＝k×(vimg_in-vback)+cons，其中vimg_out非均匀性表示校正后输出的图像；vimg_in表示输入图像；cons表示常量，依据经验值选取，本实施例中cons取图像最大灰度响应的中间值。

基于上述装置以及方法，本实施例中采用探测器型号为pico384ptm，分辨率为384×288，ad位宽为14的输入图像，高低温箱内标定的温度范围为-40℃～50℃，黑体温度为-20℃和50℃，将探测器的原始输出图像输入无挡片非均匀性校正模块对图像进行处理。

结合图2，其中图(a)探测器对着均与背景，输出非均匀图像，图中存在大量竖条纹，而经过本发明处理后，图(b)中图像较为均匀，没有竖条纹，图(c)看场景时，图像细节清晰可辨，质量较好。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。