多孔径视场部分重叠的双波段热成像方法与装置与流程

本发明属于光电探测和图像处理技术领域，具体涉及一种多孔径视场部分重叠的双波段热成像方法与装置。

背景技术：

红外热成像是当前国内外重点发展的关键技术。红外中波、长波具有不同的辐射特性，其信息具有互补、联合的作用。红外中波、长波在高低温区辐射不同。由于目标与背景差异，中波辐射的区别大于长波，热目标在中波更突出。长波对于中低温目标更加敏感，中波图像中高温目标更加明显。将红外中波、长波图像进行融合，结合了双波段图像的优势，更容易在背景比较复杂的情况下，对小目标进行探测。图像融合已成为未来战场装备的必备手段和发展趋势。

由于红外焦平面探测器阵列(infraredfocalplanearray,irfpa)相对硅基可见光ccd/cmos探测器规模小得多，使得系统作用距离与成像视场的矛盾更为突出。多孔径成像技术是当前迅速发展的新型成像模式，可望解决或减缓传统单孔径热成像的诸多问题：1)大视场与高分辨率的矛盾；2)衍射限系统的小型化问题；3)单孔径成像未发挥光学并行处理；4)成像过程丢失景物三维信息问题；5)缺乏生物视觉对运动物体的自身检测、跟踪和判断能力。

人类与许多哺乳动物都具有堪称完美的“双目立体视觉系统”，但其成像视场分辨率并非均匀分布，而是从中心到边缘像素迅速降低，保证了对大视场的搜索及对关注目标的高分辨凝视辨别，结合双目交汇视场更可获得近距离或运动目标的空间定位。而诸如蜜蜂、蜻蜓等昆虫的复眼则是另一类理想的小型化、多孔径和大视场的视觉系统，虽然由于复眼子孔径很小，使昆虫视力较差，且对环境照度要求较高，但其对运动目标却具有很高的探测灵敏度，对光的强度、波长(颜色)和偏振等也有较强的分辨力等智能特征。目前人造光电成像系统大多为单目系统，不仅有限的探测器阵列在视场内均匀分布，造成成像视场与分辨率的相互限制，而且单目视觉欠缺运动目标空间定位、快速跟踪等智能特征。

技术实现要素：

有鉴于此，本发明提供了一种多孔径视场部分重叠的双波段热成像方法与装置，能够实现大视场、高分辨、多目多波段信息的互补和丰富，提高目标探测、快速跟踪和识别能力。

本发明的多孔径视场部分重叠的双波段热成像装置，包括多组单孔径的红外成像探测器组件，其中，相邻单孔径红外成像探测器组件的视场有重叠；所述红外成像探测器组件包括长波探测器组件和中波探测器组件，长波探测器组件和中波探测器组件间隔排列，且同种类的探测器组件呈中心对称分布。

进一步的，所述单孔径红外成像探测器组件呈圆周均匀分布或阵列均匀分布。

进一步的，相邻的2个单孔径红外成像探测器组件的视场重叠率为10％～90％之间。

进一步的，相邻的2个单孔径红外成像探测器组件的视场重叠率为50％。

本发明还提供了一种多孔径视场部分重叠的双波段热成像方法，采用上述双波段热成像装置进行成像，其中，重叠有中波和长波红外光的子视场，利用双波段图像融合方法进行成像；仅有中波或长波红外光的子视场，利用单波段图像成像方法进行成像；重叠有多个中波和长波红外光的子视场，首先对中波和长波的成像数据分别进行叠加，形成1个中波图像和1个长波图像，然后再进行双波段图像融合，完成双波段成像。

进一步的，在进行图像融合处理前，先对各探测器组件输出的数据进行非均匀性校正处理和数字细节增强处理，然后再进行图像融合。

进一步的，对于待融合图像，在颜色空间或灰度空间进行像素级彩色或黑白融合。

有益效果：

本发明利用多组具有一定倾角的单孔径红外成像探测器组件对目标进行成像，并形成视场部分重叠，将视场划分为多个子视场；重叠的探测器越多，则该子区域分辨率越高；并且，所述红外成像探测器组件包括长波探测器组件和中波探测器组件，在重叠区域可同时获得长波成像数据和中波成像数据，可充分利用多波段信息的互补和丰富，提高目标探测，快速跟踪和识别能力，有效实现背景复杂的小目标精确探测。

附图说明

图1为本发明的4孔径视场部分重叠的双波段热成像装置示意图。

图2为本发明的4孔径视场部分重叠的双波段热成像solidworks示意图。

图3为本发明的视场重叠示意图。

图4为本发明的视场重叠率的变化示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种多孔径视场部分重叠的双波段热成像方法与装置，将多孔径视场部分重叠的热成像与双波段图像融合结合起来，设计多孔径视场部分重叠的双波段热成像方法与装置，实现大视场、高分辨，双波段热成像融合，充分利用多目多波段信息的互补和丰富，提高目标探测，快速跟踪和识别能力，尤其解决了背景复杂的小目标的探测难题。

本发明的多孔径视场部分重叠的双波段热成像装置，包括多组单孔径的红外成像探测器组件，所述单孔径红外成像探测器组件的视轴具有一定的倾斜，以形成视场部分重叠，从而构成类似仿生复眼的多孔径成像模式。其中，所述单孔径红外成像探测器组件包括红外物镜和irfpa(红外焦平面阵列)；其中，红外成像探测器包括长波探测器和中波探测器；长波探测器和中波探测器的数量相等，且长波探测器和中波探测器间隔排列，且同种类的探测器呈中心对称分布。可将单孔径的红外成像探测器组件按阵列均匀排列或圆周均匀排列。

根据视场重叠部分所对应的单孔径红外成像探测器组件数量以及单孔径红外成像探测器组件的波长类型，可以将视场分为多个子视场，子视场上重叠有多种波长的红外光，则可利用双波段图像融合技术，实现小目标的高精度探测；子视场上重叠的单孔径红外成像探测器组件数量越多，则该子视场的分辨率越高。可以令所有单孔径红外成像探测器组件拥有共同的视场重叠部分，称该子视场为中心子视场，则该中心子视场的分辨率最高。相邻的2个单孔径红外成像探测器组件的视场重叠率可以为10％～90％之间，较佳的，可以选择50％左右。

中波和长波红外探测器组件的信号分别送入数字视频图像处理板进行图像非均匀性校正、图像增强及图像实时融合，并将数字视频图像送到后端pc机上，显示和存储相关的图像信息，或实现更复杂的实时图像融合，实现对数字视频图像处理板的控制。

以4个单孔径红外成像探测器组件阵列均匀排布，2个长波探测器分别放置在一个对角线的两端，2个中波探测器分别放置在另一个对角线的两端；相邻2个单孔径红外成像探测器组件在水平或(和)垂直方向有约50％的重叠视场为例，其组成如图1所示，其solidworks布局示意图如图2所示，视场重叠区域如图3所示(图3中数字为视场重叠数)，本发明的双波段热成像装置的整个视场被分为9个子视场，即：中心、上、下、左、右以及4个对角，各子视场各占1/9视场；其中，中心子视场为2个长波探测器和2个中波探测器的视场叠加，为双波段、立体高分辨的多孔径热成像模式，分辨率最高；上、下、左、右子视场为1个长波探测器和1个中波探测器的视场叠加，为双波段热成像模式，分辨率次之；4个对角子视场为单个长波或中波探测器的视场，为长/中波段热成像模式，分辨率最低。

其中，移动单孔径红外成像探测器组件的安装支架，如改变红外物镜焦距或支架角度，视场重叠率发生改变(如图4所示)，从而通过改变分辨率实现目标的快速高精度探测。

效果较好的，长波红外物镜参数为焦距19mm，f＝1；长波红外irfpa组件为浙江红相科技有限公司的非晶硅非制冷焦平面探测器组件tc790，其像元数为640×480，像元间距为17μm，响应波段为8～12um，netd＝60mk，帧频50hz，其输出视频为cameralink数字视频。中波红外物镜参数为焦距19mm，f＝1；中波红外irfpa组件为烟台艾睿光电科技有限公司的la6110(探测器型号为rtd611wb宽光谱非制冷红外焦平面探测器)，其像元数为640×512，像元间距为17μm，响应波段为3～14um，netd≤30mk，帧频50hz，其输出视频为cameralink数字视频。

数字视频图像处理板采用以fpga(型号virtex-5)为核心的高速数字信号处理板，具有4路cameralink数字视频输入，2路cameralink数字视频输出。可以选择融合视频输出或者中波、长波红外视频输出。使用多孔径热成像组件支架，其中3个组件支架上连接二维微位移调控台，以控制红外物镜和红外irfpa组件之间的相对位移，构成视场部分重叠的双波段热成像系统。

在进行图像成像处理时，4个角子视场，只存在长波或中波的单波红外光，利用红外成像算法进行成像；在中心子视场和上下左右子视场由于同时存在中波和长波红外光，则利用双波段图像融合方法进行成像。

其中，上下左右子视场为1个中波和1个长波红外光的叠加，直接进行中波图像和长波图像的融合，获得融合图像；在中心子视场，存在多个中波和长波红外光，为了减小随机噪声，对中波和长波成像数据分别进行叠加，形成1个中波和1个长波图像，然后对中波图像和长波图像进行融合，获得融合图像。其中，图像融合时，可以在颜色空间或灰度空间进行像素级彩色或黑白融合。

灰度融合的方法如下。

对于中心子视场，进行灰度融合的计算方法如式(1)-(3)所示，

irl＝(irl1+irl2)/2(1)

irm＝(irm1+irm2)/2(2)

ir＝a×irl+b×irm(3)

其中irl1和irl2表示两个长波数据，irm1和irm2表示两个中波数据，irl和irm分别表示叠加后的长波和中波图像，ir表示融合后的图像。a和b为融合系数，为经验值。

对于上下左右子视场，进行灰度融合的计算方法如式(4)所示，

ir＝a×irl+b×irm(4)

其中irl和irm分别表示叠加后的长波和中波图像，ir表示融合后的图像。a和b为融合系数，为经验值。

对于角视场，为单独的长波或中波图像，保持不变。

彩色融合的方法如下。

对于中心子视场，进行彩色融合的计算方法如式(5)-(9)所示，

irl＝(irl1+irl2)/2(5)

irm＝(irm1+irm2)/2(6)

yfus＝a1×irl+b1×irm(7)

ufus＝a2×irl-b2×irm(8)

vfus＝a3×irm-b3×irl(9)

其中irl1和irl2表示两个长波数据，irm1和irm2表示两个中波数据，irl和irm分别表示叠加后的长波和中波图像，yfus、ufus、vfus分别为融合后数字图像的y，u，v分量。

对于上下左右子视场，进行彩色融合的计算方法如式(10)-(12)所示，

yfus＝a1×irl+b1×irm(10)

ufus＝a2×irl-b2×irm(11)

vfus＝a3×irm-b3×irl(12)

其中irl和irm分别表示长波和中波图像，yfus、ufus、vfus分别为融合后数字图像的y，u，v分量。ai，bi(i＝1,2,3)为融合系数，为经验值；yfus,ufus,vfus分别为融合后数字图像的y，u，v分量。

对于角视场，进行彩色融合的计算方法如式(13)-(15)所示，

yfus＝a1×irl+b1×irm+c1(13)

ufus＝a2×irl+b2×irm+c2(14)

vfus＝a3×irm+b3×irl+c3(15)

其中irl和irm分别表示长波和中波图像，在角视场，只存在单独的长波或中波图像，irl和irm其中一个为零值。yfus,ufus,vfus分别为融合后数字图像的y，u，v分量。ai，bi，ci(i＝1,2,3)为融合系数，为经验值；yfus,ufus,vfus分别为融合后数字图像的y，u，v分量。

对融合后的数字图像进行色彩传递，获得和参考图像色彩一致的数字图像。

进行色彩传递的计算方法如式(16)-(18)所示，

式(16)-(18)中，stdyref，stduref，stdvref为预存的参考图像y，u，v分量的标准差，μyref，μuref，μvref为参考图像y，u，v分量的均值，stdyfus，stdufus，stdvfus为融合数字图像y，u，v分量的标准差，μyfus，μufus，μvfus为融合数字图像y，u，v分量的均值，ytran,utran,vtran分别为色彩传递后融合数字图像的y，u，v分量。

较佳的，在进行图像融合之前，首先采用非均匀校正和增强处理算法，对irfpa机芯输出的14bit数字视频数据进行基于场景的非均匀性校正sbnuc处理和数字细节增强dde处理，然后再进行图像融合，提高图像成像精度。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。