一种长波红外偏振特征提取与融合的图像增强方法与流程

本发明属于红外图像处理领域，涉及红外偏振图像信息的处理与分析，实现了一种长波红外偏振特征提取与融合方法。

背景技术：

红外成像技术具有被动工作、抗干扰性强、目标识别能力强、全天候工作等特点，广泛应用于军事侦察、监视和制导等方面。目前，红外探测技术多数是通过探测目标与背景的红外辐射强度，实现对目标的发现、识别和跟踪。然而，当目标背景十分复杂、存在外界干扰、目标和背景温差较小时，传统的基于红外强度的探测手段将会受到很大的限制。红外偏振成像探测技术是最新发展起来的一种获取目标二维空间光强分布以及偏振特性分布的新型光电成像探测方法。相关研究表明：偏振成像探测能够揭示目标细节特征、提高目标的对比度和增加探测距离。

近年来，红外偏振技术在理论和应用等方面都取得了很大进展，尤其是在复杂背景下目标检测和识别领域，积累了大量文献和技术经验。偏振是光的一种基本属性，不同的物体具有不同的偏振状态。红外偏振现象主要是由物体表面红外发射和反射产生的，红外发射产生的偏振以平行发射面方向为主，红外反射产生的偏振以垂直反射面方向为主。但是目前基于偏振特性的目标增强研究，大多数都是直接利用偏振度、偏振角信息进行增强。由于偏振度和偏振角图像表达的信息量有限，同时偏振角对背景噪点和探测角度十分敏感，在进行斯托克斯参量解算过程中也会引入人为噪音，导致目标和背景的对比度提升效果有限。如何有效提取出目标场景的偏振特性，以及如何利用提取的偏振特征对目标进行增强和检测是偏振技术应用的关键。

技术实现要素：

为解决上述红外偏振特征提取以及利用偏振特征对目标场景红外图像进行复杂背景下人造目标增强的技术问题。本发明利用偏振成像技术在不同方向上的成像特点，实现了对目标的增强和检测。具体技术方案如下：

一种长波红外偏振特征提取与融合方法，包括以下步骤：

(s1)采集红外偏振图像，并进行预处理；

(s2)对步骤(s1)中预处理后的图像进行stokes偏振态解算，根据stokes偏振态解算结果，计算偏振度和偏振角；

(s3)利用偏振度和偏振角进行完全偏振光分解计算；

(s4)定义偏振正交差分值，设置加权系数，提取偏振特征图像，所述偏振特征图像包括偏振平行分量图像和偏振垂直分量图像；

(s5)利用非下采样剪切波算法对偏振特征图像和红外强度图像进行融合。

优选地，所述步骤(s1)中的预处理包括：包括图像校正、滤波、配准和裁剪。

优选地，所述步骤(s2)中stokes偏振态解算过程为：

假设三个通道获取的红外偏振图像且经过预处理后分别表示为，一通道检偏方向为0°，记为i^0°，二通道检偏方向为60°，记为i^60°，三通道检偏方向为120°，记为i^120°；分别得到stokes矢量的三个参量v1、v2、v3,

则所述偏振度p和偏振角a计算如下：

优选地，所述步骤(s4)的具体过程为：

定义偏振正交差分值

其中i为总光强，p为偏振度、a为偏振角，θ为起偏角；

设置加权系数mθ，提取目标场景的偏振分量图像if：

其中p表示偏振度图像，由二维成像平面中各像素点计算得到的偏振度p组成；a表示偏振角图像，由二维成像平面中各像素点计算得到的偏振角a组成；加粗字母表示二维图像或矩阵，δθ表示偏振特征图像提取间隔值，设k＝1,2,…,k，表示向下取整；

若mθ取值为mθ＝abs(sinθ)，则表示提取出目标场景的偏振平行分量图像，若mθ取值为mθ＝abs(cosθ)，则表示提取出目标场景的偏振垂直分量图像，符号abs(·)表示求取绝对值。

优选地，所述步骤(s5)的具体过程为：

(s51)采用非下采样剪切波算法分别对红外强度图像、偏振垂直分量图像和偏振平行分量图像进行分解(具体内容参考文献：w.w.kong.techniqueforimagefusionbasedonnsstdomaininmf[j].optik,2014,125:2716-2722)，依次得到红外强度低频图像、偏振垂直分量低频图像、偏振平行分量低频图像和红外强度高频图像、偏振垂直分量高频图像、偏振平行分量高频图像；

(s52)图像融合处理：

融合红外强度低频图像、偏振垂直分量低频图像和偏振平行分量低频图像的计算公式如下，

其中fil为融合后的低频图像，(i,j)表示像素位置坐标，iil为红外强度低频图像，为偏振垂直分量低频图像，为偏振平行分量低频图像；

设置自适应调节系数w^s和w^p对高频部分进行调节，融合红外强度高频图像、偏振垂直分量高频图像、偏振平行分量高频图像计算公式如下，

其中abs(·)表示取绝对值运算，iih为红外强度高频图像，为偏振垂直分量高频图像，为偏振平行分量高频图像，和分别为调节之后的偏振垂直分量高频图像和偏振平行分量高频图像；

融合后高频图像fih为：

(s53)利用非下采样剪切波算法对融合后的低频图像和融合后的高频图像进行重构，即获得最终的融合图像(具体内容参考文献：w.w.kong.techniqueforimagefusionbasedonnsstdomaininmf[j].optik,2014,125:2716-2722)。

优选地，所述红外强度图像为由红外相机获取或stokes偏振态解算获取。

优选地，所述偏振特征图像提取间隔值δθ的取值范围为1°-10°。

优选地，所述偏振特征图像提取间隔值δθ取值为2°。

为了充分理解本发明，下面对技术方案中涉及的相关原理进行说明。

自然界中大部分物体在进行红外发射和红外反射的过程中，都会产生部分偏振光。部分偏振光可以分解为自然光(无偏振效应，各个方向强度相同)和完全偏振光。自然光只能够反映景物的辐射强度，而完全偏振光包含景物的偏振状态，能够反映物体的材料、结构等深层信息，可以为复杂背景下目标的识别和检测提供更有力的依据。红外发射和红外反射产生的部分偏振光的偏振方向是不相同的，红外发射产生的偏振方向主要集中在平行方向，而红外发射产生的偏振方向主要集中在垂直方向。

到达探测器的红外辐射属于部分偏振光辐射，可以被分解为自然光成分和完全偏振光成分。完全偏振光成分能够提供关于目标识别和和检测的更有价值的信息。基于斯托克斯矢量，计算得到目标场景的偏振度以及偏振角图像，然后通过对目标场景的偏振状态进行分析，提出了一种正交差分的算法，用于提取目标的偏振特征，包括偏振平行分量特征和垂直分量特征。

偏振正交差分算法是通过对特定起偏角下的两个垂直方向的偏振光强进行差分运算，得到两者之间的差值图像，从而抵消了自然光成分，突出了完全偏振光成分。具体为：

红外发射产生的偏振方向主要集中在平行发射面的方向附近，红外反射产生的偏振方向主要集中在垂直反射面的方向附近。从而，偏振平行分量和垂直分量所反映的目标场景的信息不同。因此，通过偏振正交差分方法提取目标场景的偏振特征。偏振正交差分技术是通过对特定起偏角下的两个垂直方向的偏振光强进行差分运算，得到两者之间的差值图像，从而抵消了自然光成分，突出了完全偏振光成分，然后将不同起偏角下正交差分得到的差值图像进行加权求和，提取得到目标场景的偏振特征。通过设置不同的加权系数，可以就得不同偏振方向上的偏振特征。进一步通过设置加权系数mθ可以分别提取出目标场景的偏振平行分量特征图像和垂直分量特征图像。实验结果表明，利用偏振正交差分技术能够充分结合偏振度和偏振角以及辐射强度等信息，具有更完备的目标偏振信息表达能力。

非下采样剪切波(nsst)融合算法：图像融合的算法一般可以分为两类：一类是基于空间域的融合算法，这类算法采用像素间加权融合，具有计算简单、融合速度快等优点，但是，融合效果较差，融合后的图像边缘模糊、细节丢失；另一类是基于变化域的融合算法，该类算法通过对图像进行不同尺度下的融合，能够充分利用原始图像的各种信息，具有较好的融合效果，主要包括金字塔变换、拉普拉斯变换、小波变换算法、非下采样剪切波算法等。与传统的小波变换算法相比，非下采样剪切波变换算法具有平移不变性，能够反映图像中的曲线、边缘、轮廓等细节信息，具有十分优良的图像分解能力。本发明中利用非下采样剪切波算法对红外强度图像和偏振图像进行多尺度分解，然后通过低频加权平均值融合和高频绝对值取大法则进行融合。结果表明，与原始红外强度图像相比，融合了偏振特征的图像对比度度、平均梯度得到了明显增强，具有更好的视觉效果。

采用本发明获得的有益效果：本发明方法能够有效提取出目标场景的偏振信息，具有良好的偏振特征提取效果，然后利用非下采样剪切波变换的算法对提取的偏振特征图像和红外强度图像进行融合,显著增强了目标场景的信息量。融合后的图像目标背景对比度、平均梯度、信息熵均得到了明显提升，由此验证了偏振正交差分方法提取偏振特征的实用性以及目标场景偏振特征对于增强红外强度图像信息的有效性。

附图说明

图1为本发明流程图；

图2为偏振特征提取流程图；

图3为图像融合流程图；

图4为正交差分计算过程中的部分偏振光分布图、完全偏振光分布图和偏振正交差分结果对比图；

图5为实施例中室外汽车图像融合过程中各实验阶段结果图；

图6为实施例中树林中民房图像融合过程中各实验阶段结果图；

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，为本发明的总流程图；本发明方法通过对室外汽车目标场景和树林中民房目标场景进行测试，实验结果表明，能够充分利用人造目标和自然背景之间的偏振差异，对偏振特征图像和红外强度图像进行融合，具体步骤如下：

(s1)红外偏振图像信息的采集与预处理

利用长波红外偏振成像探测系统对目标场景采集不少于三个通道(不同的检偏方向，如i^0°、i^60°、i^120°)的红外偏振图像，就能够进行stokes偏振态解算。图像预处理包括图像校正、滤波、配准、裁剪等，校正用于抵消探测器响应的非均匀性、并补偿光学元器件的非理想性。滤波用于降低图像噪声并去除坏点。配准用于消除同一场景各偏振图像存在的微位移偏差，最后裁剪掉图像配准后的边框。如图5中图5(a)所示为室外汽车目标场景红外强度图像，其中图5(a1)为原始红外图像，图5(a2)为0°起偏图像；图5(a3)为60°起偏图像，图5(a4)为120°起偏图像。如图6中图6(a)所示为树林中民房目标场景红外强度图像，其中图6(a1)为原始红外图像，图6(a2)为0°起偏图像，图6(a3)为60°起偏图像，图6(a4)为120°起偏图像。

(s2)对步骤(s1)中预处理后的图像进行stokes偏振态解算，根据stokes偏振态解算结果，计算偏振度和偏振角；

针对三通道获取的偏振图像，一通道检偏方向为0°，记为i^0°，二通道检偏方向为60°，记为i^60°，三通道检偏方向为120°，记为i^120°；分别得到stokes矢量的三个参量v1、v2、v3，如公式(1)(具体内容参考文献：唐坤，邹继伟，姜涛，余大斌.目标与背景的红外偏振特性研究[j].红外与激光工程，2007，36(5)：611-614.)。

斯托克斯(stokes)矢量中包含与偏振状态有关的全部信息，比如偏振度、偏振角、圆偏振分量等。基于斯托克斯矢量，可以计算得到偏振度和偏振角如下式：

其中p表示偏振度，a表示偏振角。

实施例中，如图5中图5(b)为室外汽车目标场景偏振信息图，其中图5(b1)为汽车偏振度图像，图5(b2)为汽车偏振角图像。如图6中图6(b)所述为树林中民房目标场景偏振信息图，其中图6(b1)为民房偏振度图像，图6(b2)为民房偏振角图像。

(s3)利用偏振度和偏振角进行完全偏振光分解计算

到达探测器的红外辐射属于部分偏振光辐射，可以被分解为自然光成分和完全偏振光成分。完全偏振光成分能够提供关于目标识别和和检测的更有价值的信息。完全偏振光分解过程如下：

其中θ为起偏角，i^θ表示在方向为θ的辐射强度，是对应θ的自然光光强，是对应θ的完全偏振光光强，in和ip分别表示是总的自然光强和偏振光强，a是偏振角。

(s4)定义偏振正交差分值，设置加权系数，提取偏振特征，所述偏振特征包括偏振平行分量和偏振垂直分量；图2为偏振特征提取流程。

设步骤(s3)中偏振光分解获取完全偏振光与起偏角相差90度，具体如下：

ip＝i×p

定义偏振正交差分值为

如图4所示为正交差分计算过程中的结果图，其中图4(a)为部分偏振光分布图，表示的是偏振度为0.33、偏振角为30°的目标偏振光和偏振度为0.25、偏振角为90°的背景偏振光，两者在0-360°范围内重合面积较大。图4(b)为完全偏振光分布图，表示将图4(a)中部分偏振光完全分解之后得到的完全偏振光在各个起偏角处的光强。图4(c)为偏振正交差分结果图，即经过正交差分得到的偏振光强。与图4(b)相比，图4(c)中目标光强和背景光强得到了更明显的分离，更有利于偏振特征的提取。

由公式(3)可以看出同时由总光强i、偏振度p、偏振角a以及起偏角θ共同决定；总光强i＝in+ip。经过正交差分过程，将自然光成分消去了，保留了偏振信息，反映了物体的偏振状态。通过与斯托克斯参数v2，v3进行比较，可以看出，v2，v3的求解过程，本质上也是正交差分的过程。特别的，当v2和v3都是相对于某一固定参考轴的，通常0°、45°、90°、135°都是以水平线为参考轴。由于目标和背景表面的朝向是随机的、变化的，如果仅选择水平方向为参考轴，会造成信息的遗漏。因此，通过偏振正交差分，选取不同的起偏角θ，可以表示在任意相互垂直方向上的强度差。

为了得到各个方向上的偏振特征图像，本发明采用加权累加的方式进行提取目标场景的偏振特征图像：

其中p表示偏振度图像，由二维成像平面中各像素点计算得到的偏振度p组成；a表示偏振角图像，由二维成像平面中各像素点计算得到的偏振角a组成；加粗字母表示二维图像或矩阵，if表示提取的偏振特征图像，mθ表示不同偏振方向的加权系数矩阵。采用不同的加权系数，能够提取不同方向上的偏振特征。实施例中，为了提高计算速度，我们在0°-180°范围内每隔2°进行一次偏振特征图像采集。采集的间隔值并不是唯一的，间隔值越大，计算速度越快，但是提取的特征精度受到一定影响；间隔值越小，计算速度越慢，但是提取的偏振特征越完善。通常情况下可以选取间隔值在1°-10°之间。

通过设置加权系数mθ＝abs(sinθ)、mθ＝abs(cosθ)可以分别提取出目标场景的偏振平行分量图像和偏振垂直分量图像。

如图5中图5(c)所示为室外汽车目标场景中偏振分量图像，其中图5(c1)为汽车偏振平行分量图像，图5(c2)为汽车偏振垂直分量图像。如图6中图6(c)所示为树林中民房目标场景中偏振分量图像，其中图6(c1)为民房偏振平行分量图像，图6(c2)为民房偏振垂直分量图像。

(s5)利用非下采样剪切波算法对偏振特征图像和红外强度图像进行融合。

采用非下采样剪切波算法分别对红外强度图像、偏振垂直分量图像和偏振平行分量图像进行分解，依次得到红外强度低频图像、偏振垂直分量低频图像、偏振平行分量低频图像和红外强度高频图像、偏振垂直分量高频图像、偏振平行分量高频图像。

(1)低频部分融合采用平均值法则：

其中fil(i,j)融合后的低频图像，(i,j)表示像素位置坐标，i,j为整数，i,j取值范围分别为图像图幅长宽范围；iil为红外强度低频图像，为偏振垂直分量低频图像，为偏振平行分量低频图像。

(2)高频部分融合采用绝对值取大法则：

由于偏振特征图像中噪音干扰比较严重，同时能量分布十分不均匀，因此我们分别对偏振垂直分量高频图像和偏振平行分量高频图像设置一个自适应调节系数w^s和w^p对高频部分进行调节。

其中abs()表示取绝对值运算，iih为红外强度高频图像，为偏振垂直分量高频图像，为偏振平行分量高频图像，和分别为调节之后的偏振垂直分量高频图像和偏振平行分量高频图像。

融合后高频图像fih为：

通过以上融合法则，得到融合后的低频图像fil和融合后的高频图像fih，然后利用非下采样剪切波算法对融合后的低频图像和融合后的高频图像进行重构，即可获得最终的融合图像。

如图5中图5(d)所示为室外汽车目标场景融合图像，图6中图6(d)为树林中民房目标场景融合图像。通过对比原始红外图像，可以看出对红外强度图像得到了增强。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。