基于色调饱和度映射的红外中短波双色融合方法与流程

本发明属于图像处理激素领域，涉及一种基于色调饱和度映射的红外中短波双色融合方法。

背景技术：

在红外中短波彩色融合技术领域，当前方法主要分为色彩映射、色彩传递和颜色查找表以及神经网络方法四类，典型的色彩映射方法包括nrl、tno等，这类方法简单易于实现，数据映射过程中不存在升降维过程，但存在色彩失真且在部分场景下严重偏色。色彩传递能使融合图像获得接近参考图像的色彩效果，但融合效果受参考图像影响较大，在传递过程中易造成细节特征损失。颜色查找表运行速度快，色彩具有一定自然感且无需参考图像，但在实际视频融合中颜色稳定性差，随着时间推移易出现变色和识别度下降情况。神经网络方法效果受网络框架、训练数据规模质量等影响较大，且在工程实现中对硬件要求水平较高。

短波红外的波长范围为0.75～3μm，接收辐射信息包括太阳辐射及反射，成像效果类似于可见光图像，拥有较多纹理细节，视觉效果更适于人眼观察。中波红外的波长范围为3～5μm，其主要靠物体自身辐射成像，在湿热环境下探测能力更强，能接收场景各类丰富的热信息。

hsv色彩空间同rgb色彩空间一样，是国际广泛使用的色彩空间，其色彩(h通道和s通道)与亮度(v通道)是分离的，以色调和饱和度来描述色彩，其中h通道和s通道组成的色调饱和度色彩平面记为h-s色彩平面。和hsv色彩空间相似的色彩空间还有hsl色彩空间等。

技术实现要素：

本发明的目的是为了解决现有技术的不足，解决现有算法在工程化应用中暴露出来的不足，提供了一种同时保留红外短波图像丰富细节和中波图像场景热辐射信息且计算复杂度极低的中短波双波段彩色图像融合方法。

为实现上述目的，本发明采用的技术方案如下：

基于色调饱和度映射的红外中短波双色融合方法，包括如下步骤：

步骤1，待融合图像读取，分别读入中波和短波图像，并送入包含色调和饱和度通道的色彩空间，得到短波图像和中波图像；

步骤2，将步骤1所得短波图像送入亮度通道；

步骤3，计算步骤1得到的中波图像灰度均值；

步骤4，求取步骤1所得中波图像每一个像素值与步骤3所得中波图像灰度均值的差异值；

步骤5，对步骤4所得的差异值，在色调-饱和度平面进行色彩映射；

步骤6，将步骤2所得的亮度通道数据和步骤5所得的色调通道以及饱和度通道数据转化至rgb色彩空间用以输出。

进一步，优选的是，步骤2的具体方法为：将步骤1所得短波图像送入亮度通道，短波图像为fsw；

若为v通道，则亮度通道图像为fv，fv计算公式如下所示；

fv＝fsw；

若为l通道，则亮度通道图像为fl，fl计算公式如下所示；

fl＝fsw。

进一步，优选的是，步骤3的具体方法为：计算步骤1得到的中波图像整幅图像均值，中波图像记为fmw，中波图像均值记为a，其计算方式如下所示：

其中，i和j为图像像素坐标值，m和n为整幅图像的行和列总数，0≤i≤m，0≤j≤n。

进一步，优选的是，步骤4的具体方法为：

求取步骤1所得中波图像每一个像素和步骤3所得中波图像均值的差异，记正差异为difp(i，j)，负差异为difn(i，j)，其计算方式如下所示：

difp(i，j)＝fmw(i，j)-a，difn(i，j)＝0，若fmw(i，j)＞a；

difn(i，j)＝a-fmw(i，j)，difp(i，j)＝0，若fmw(i，j)＜a；

difp(i，j)＝difn(i，j)＝0，若fmw(i，j)＝a。

其中i和j为图像像素坐标值。

进一步，优选的是，步骤5的具体方法为：对步骤4所得的差异值，在色调-饱和度平面进行色彩映射，计算过程如下所示：

fs(i，j)＝difn(i，j)+difp(i，j)

其中，fs为hsv色彩空间饱和度通道数据，fh为hsv色彩空间色调通道数据，其值为色调角度0-360度至数值0-1的均匀映射。

进一步，优选的是，步骤6中，采用hsv色彩空间或hsl色彩空间的色彩空间转换方法进行转化。

在步骤5中，对中波图像每一个像素与其自身均值的差异值，在色彩空间中的色调-饱和度平面进行色彩映射，映射公式不限于本发明内容中的公式，所映射的色彩空间可以为任意包含色调通道和饱和度通道的色彩空间。

本发明所使用的方法不限图像数据位宽，在各数据位宽均可使用。

由于人眼对亮度变化的敏感程度远远高于对色彩变化的敏感程度，细节信息可在亮度通道充分凸显，而场景温度辐射信息，又以冷暖色调显示符合人眼视觉感受，因此将短波图像映射至亮度通道，将中波图像热辐射信息映射至色彩通道是本发明核心思想。本发明方法充分保留了短波红外图像丰富的细节，同时将中波红外图像的辐射信息强弱以丰富的色彩展现。且本发明方法属于色彩映射类算法，算法简单运算极快，易于推广使用。

本发明与现有技术相比，其有益效果为：

(1)本发明较其他非色彩映射类彩色融合算法，具有极低的计算复杂度、较高的可实现性和更高的稳定性，在fpga上实现该算法，仅需延时20个像素时钟，例如像素时钟为10mhz，则仅耗时0.002ms，本算法在fpga中综合实现后的时序仿真图和综合后资源占用如图4所示；

(2)本发明较其他色彩映射类彩色融合算法，具有更丰富且符合人眼视觉的色彩，无偏色问题，且充分保留了短波图像丰富的细节信息，下文阐述了两种实施方法，效果如图3所示；

(3)本发明专门针对红外中短波融合设计，当前彩色融合算法大多缺乏针对性或更多是针对可见光-红外融合或红外中长波融合设计。

附图说明

图1是本发明方法的流程图；

图2是使用中短波双波段热像仪实际采集得到的中波和短波图像，其中，(a)是中波图像，(b)是短波图像；

图3是本发明在两种色彩空间中使用两种映射方式实际融合效果；其中，(a)是应用实例1方法融合结果图，(b)是应用实例2方法融合结果图；

图4是本发明在基于fpga的硬件平台上实现后的时序仿真图和硬件资源占用情况。

具体实施方式

下面结合实施例对本发明作进一步的详细描述。

本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。

具体实施方式中所使用的图像采集设备为同源共光轴中短波双波段红外热像仪，因此两个波段图像无需经过配准等图像融合预处理操作。

实施例1

基于色调饱和度映射的红外中短波双色融合方法，包括如下步骤：

步骤1，待融合图像读取，分别读入中波和短波图像，并送入包含色调和饱和度通道的色彩空间，得到短波图像和中波图像；

步骤2，将步骤1所得短波图像送入亮度通道；

步骤3，计算步骤1得到的中波图像灰度均值；

步骤4，求取步骤1所得中波图像每一个像素值与步骤3所得中波图像灰度均值的差异值；

步骤5，对步骤4所得的差异值，在色调-饱和度平面进行色彩映射；

步骤6，将步骤2所得的亮度通道数据和步骤5所得的色调通道以及饱和度通道数据转化至rgb色彩空间用以输出。

实施例2

基于色调饱和度映射的红外中短波双色融合方法，包括如下步骤：

步骤1，待融合图像读取，分别读入中波和短波图像，并送入包含色调和饱和度通道的色彩空间，得到短波图像和中波图像；

步骤2，将步骤1所得短波图像送入亮度通道；

步骤3，计算步骤1得到的中波图像灰度均值；

步骤4，求取步骤1所得中波图像每一个像素值与步骤3所得中波图像灰度均值的差异值；

步骤5，对步骤4所得的差异值，在色调-饱和度平面进行色彩映射；

步骤6，将步骤2所得的亮度通道数据和步骤5所得的色调通道以及饱和度通道数据转化至rgb色彩空间用以输出。

步骤2的具体方法为：将步骤1所得短波图像送入亮度通道，短波图像为fsw；

若为v通道，则亮度通道图像为fv，fv计算公式如下所示；

fv＝fsw。

步骤3的具体方法为：计算步骤1得到的中波图像整幅图像均值，中波图像记为fmw，中波图像均值记为a，其计算方式如下所示：

其中，i和j为图像像素坐标值，m和n为整幅图像的行和列总数，0≤i≤m，0≤j≤n。

步骤4的具体方法为：

求取步骤1所得中波图像每一个像素和步骤3所得中波图像均值的差异，记正差异为difp(i，j)，负差异为difn(i，j)，其计算方式如下所示：

difp(i，j)＝fmw(i，j)-a，difn(i，j)＝0，若fmw(i，j)＞a；

difn(i，j)＝a-fmw(i，j)，difp(i，j)＝0，若fmw(i，j)＜a；

difp(i，j)＝difn(i，j)＝0，若fmw(i，j)＝a。

其中i和j为图像像素坐标值。

步骤5的具体方法为：对步骤4所得的差异值，在色调-饱和度平面进行色彩映射，计算过程如下所示：

fs(i，j)＝difn(i，j)+difp(i，j)

其中，fs为hsv色彩空间饱和度通道数据，fh为hsv色彩空间色调通道数据，其值为色调角度0-360度至数值0-1的均匀映射。

步骤6中，采用hsv色彩空间的色彩空间转换方法进行转化。

实施例3

基于色调饱和度映射的红外中短波双色融合方法，包括如下步骤：

步骤1，待融合图像读取，分别读入中波和短波图像，并送入包含色调和饱和度通道的色彩空间，得到短波图像和中波图像；

步骤2，将步骤1所得短波图像送入亮度通道；

步骤3，计算步骤1得到的中波图像灰度均值；

步骤4，求取步骤1所得中波图像每一个像素值与步骤3所得中波图像灰度均值的差异值；

步骤5，对步骤4所得的差异值，在色调-饱和度平面进行色彩映射；

步骤6，将步骤2所得的亮度通道数据和步骤5所得的色调通道以及饱和度通道数据转化至rgb色彩空间用以输出。

步骤2的具体方法为：将步骤1所得短波图像送入亮度通道，短波图像为fsw；

若为l通道，则亮度通道图像为fl，fl计算公式如下所示；

fl＝fsw。

步骤3的具体方法为：计算步骤1得到的中波图像整幅图像均值，中波图像记为fmw，中波图像均值记为a，其计算方式如下所示：

其中，i和j为图像像素坐标值，m和n为整幅图像的行和列总数，0≤i≤m，0≤j≤n。

步骤4的具体方法为：

求取步骤1所得中波图像每一个像素和步骤3所得中波图像均值的差异，记正差异为difp(i，j)，负差异为difn(i，j)，其计算方式如下所示：

difp(i，j)＝fmw(i，j)-a，difn(i，j)＝0，若fmw(i，j)＞a；

difn(i，j)＝a-fmw(i，j)，difp(i，j)＝0，若fmw(i，j)＜a；

difp(i，j)＝difn(i，j)＝0，若fmw(i，j)＝a。

其中i和j为图像像素坐标值。

步骤5的具体方法为：对步骤4所得的差异值，在色调-饱和度平面进行色彩映射，计算过程如下所示：

fs(i，j)＝difn(i，j)+difp(i，j)

其中，fs为hsv色彩空间饱和度通道数据，fh为hsv色彩空间色调通道数据，其值为色调角度0-360度至数值0-1的均匀映射。

步骤6中，采用hsl色彩空间的色彩空间转换方法进行转化。

应用实例

图1是本发明技术流程图；图2(a)和图2(b)分别是使用中短波双波段热像仪实际采集得到的中波和短波图像，以这两幅图像说明本发明具体实施方式，这两幅图像大小均为320x256。

应用实例1

结合图1，基于色调饱和度映射的红外中短波双色融合方法，包括如下步骤：

步骤1，待融合图像读取，分别读入中波和短波图像，并送入hsv色彩空间，h，s和v通道取值范围均在0-1；

步骤2，将步骤1所得短波图像送入v通道，短波图像为fsw，v通道图像为fv，fv计算公式如下所示；

fv＝fsw

步骤3，计算步骤1得到的中波图像整幅图像均值，中波图像记为fmw，中

波图像均值记为a，其计算方式如下所示：

其中i和j为图像像素坐标值，m＝320，n＝256，0≤i≤m，0≤j≤n；

步骤4，求取步骤1所得中波图像每一个像素和步骤3所得中波图像均值的差异，记正差异为difp，负差异为difn，其计算方式如下所示：

difp(i，j)＝fmw(i，j)-a，difn(i，j)＝0(fmw(i，j)＞a)

difn(i，j)＝a-fmw(i，j)，difp(i，j)＝0(fmw(i，j)＜a)

difp(i，j)＝difn(i，j)＝0(fmw(i，j)＝a)

其中，i和j为图像像素坐标值，m＝320，n＝256，0≤i≤m，0≤j≤n；

步骤5，对步骤4所得中波图像正负差异特征，在h-s平面进行螺旋线映射，负差异映射至90度至270度半轴，正差异映射至相反半轴，计算过程如下所示：

fs(i，j)＝difn(i，j)+difp(i，j)

其中，fs为hsv色彩空间s通道图像，fh为hsv色彩空间h通道图像，其值为螺旋线角度(0-360度)至数值(0-1)的均匀映射。

步骤6，将步骤3所得的v通道数据和步骤5所得的h和s通道数据转化至rgb色彩空间数据用以输出。计算过程如下：

p(i，j)＝fv(i，j)×(1-fs(i，j))

q(i，j)＝fv(i，j)×(1-f(i，j)×fs(i，j))

t(i，j)＝fv(i，j)×(1-(1-f(i，j))×fs(i，j))

其中，fr、fg和fb分别为rgb色彩空间的r通道图像、g通道图像和b通道图像，其中，1≤i≤320，1≤j≤256，最终输出融合图像如图3(a)所示。

应用实例2

本发明实时方式不仅局限hsv色彩空间，同时色彩映射方程不局限于上述公式，输入同样的融合图像，可采用另一种在hsl空间的方法，结合图1，基于色调饱和度映射的红外中短波双色融合方法，包括以下步骤：

步骤1，待融合图像读取，分别读入中波和短波图像，并送入hsv色彩空间，h，s和l通道取值范围均在0-1；

步骤2，将步骤1所得短波图像送入l通道，短波图像为fsw，l通道图像为fl，fl计算公式如下所示；

fl(i，j)＝fsw(i，j)

其中i和j为图像像素坐标值，0≤i≤320，0≤j≤256；

步骤3，计算步骤1得到的中波图像整幅图像均值，中波图像记为fmw，中波图像均值记为a，其计算方式如下所示：

其中i和j为图像像素坐标值，m＝320，n＝256，0≤i≤m，0≤j≤n；

步骤4，求取步骤1所得中波图像每一个像素和步骤3所得中波图像均值的差异，记正差异为difp，负差异为difn，其计算方式如下所示：

difp(i，j)＝fmw(i，j)-a，difn(i，j)＝0(fmw(i，j)＞a)

difn(i，j)＝a-fmw(i，j)，difp(i，j)＝0(fmw(i，j)＜a)

difp(i，j)＝difn(i，j)＝0(fmw(i，j)＝a)

其中i和j为图像像素坐标值，m＝320，n＝256，0≤i≤m，0≤j≤n；

步骤5，对步骤4所得中波图像正负差异特征，在h-s平面进行螺旋线映射，负差异映射至90度至270度半轴，正差异映射至相反半轴，计算过程如下所示：

fs(i，j)＝difn(i，j)+difp(i，j)

其中，fs为hsv色彩空间s通道图像，fh为hsv色彩空间h通道图像，其值为螺旋线角度(0-360度)至数值(0-1)的均匀映射。

步骤6，将步骤2所得的l通道数据和步骤5所得的h和s通道数据转化至rgb色彩空间数据用以输出。计算过程如下：

p(i，j)＝2×fl(i，j)-q(i，j)

tg(i，j)＝fh(i，j)

ift(i，j)＜0，ts(i，j)＝t(i，j)+1

ift(i，j)＞1，ts(i，j)＝t(i，j)-1

else，ts(i，j)＝t(i，j)

其中，fr(i，j)、fg(i，j)和fb(i，j)分别为rgb色彩空间的r通道图像、g通道图像和b通道图像，1≤i≤384，1≤j≤288，t(i，j)值的在rgb三个通道计算方式分别对应tr(i，j)，tg(i，j)，tb(i，j)所示，最终输出融合图像如图3所示。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。