一种基于目标识别的融合图像特征级目标增强显示方法

本发明属于视觉增强，具体涉及一种基于目标识别的融合图像特征级目标增强显示方法。

背景技术：

1、大自然中充满了各种波段的电磁波，然而人眼只能感受到可见光波段的信号。为了增强视觉感知，人类发明了不同波段的光谱响应探测器。其中红外、微光/可见光是广泛应用于军民品的两种典型探测器。

2、然而，在获取多个传感器图像的时候如何充分利用各自的优势实现融合增强是当前的困难。

3、针对红外、微光/可见光，典型的增强方法有一下几种：

4、(1)图像像素级线性叠加融合，这种方法计算和实现简单，但两个的简单叠加一定成都上也会损失各自的特性，同时没有考虑场景目标特性导致不利于人眼观察。

5、(2)基于语义分割的图像融合，这类算法在效果上有了明显的提升，已经广泛应用于自动驾驶领域。但往往计算量大，在对体积功耗敏感的领域，实时性和系统功耗之间存在较大矛盾。

技术实现思路

1、本发明提出了一种基于目标识别的融合图像特征级目标增强显示方法，旨在用轻量化的目标识别算法，再结合红外目标特性和传统的特征提取算法就可以实时实现像素级的语义目标增强。

2、本发明采用的技术方案如下：

3、一种基于目标识别的融合图像特征级目标增强显示方法，该方法包括下列步骤：

4、步骤1，根据红外和微光两套成像系统，对同一目标场景进行清晰成像，即获取同一目标场景的红外原始图像i和微光原始图像b。

5、步骤2，使用轻量化的目标识别算法对红外原始图像i进行目标识别，得到红外目标识别图像it：

6、it＝deep(i)

7、其中，deep采用的是轻量化的红外目标识别算法。特别说明的是，deep算法可采用成熟的轻量化目标识别算法如yolo-v3、tiny-yolo等。

8、步骤3，对红外目标识别图像it进行像素级的目标特征提取处理，得到的红外目标特征图像；

9、该步骤3中，可基于红外图像特性或经典特征提取算法对红外目标识别图像it进行像素级的目标特征提取处理，例如采用红外目标特性的阈值提取法或基于边缘特性的边缘算子提取法等方式均可。

10、其中，采用阈值提取法时，其计算公式如下：

11、

12、其中，表示红外目标识别图像it中的第i行的第j个像素，表示红外目标识别图像it的平均值，λ表示预置的阈值权重，表示提取出的红外目标特征图像itf中的第i行的第j个像素

13、而当采用边缘算子提取法时，其计算公式如下：

14、itf＝conv(it,op)

15、其中，conv表示卷积处理，op表示采用的算子，算子op可以是sobel，prewitt，roberts，cann等。

16、步骤4，对红外目标特征图像先进行腐蚀再进行膨胀操作，得到二值目标图像itfb,其计算公式如下：

17、itfb＝ero(dil(itf))

18、其中，dil表示形态学腐蚀操作，ero表示形态学膨胀操作。

19、步骤5，对二值目标图像itfb进行伪彩增强得到像素级的增强目标图像，记作itfe(即得到细节层图像)，计算过程为：

20、

21、

22、

23、其中，表示增强目标图像itfe的红色通道，表示增强目标图像itfe的绿色通道，表示增强目标图像itfe的绿色通道，k1，k2，k3分别是三个颜色通道的系数(预设值)。

24、步骤6，将背景层图像信息(微光原始图像b)和细节层信息(增强目标图像itfe)相叠加，得到红外与微光/可见光融合图像，记作out：out＝b+itfe。

25、本发明提供的技术方案至少带来如下有益效果：

26、1)在图像融合中可以显著增强红外目标突出显示特性。

27、2)该技术算法复杂度低，便于在fpga、dsp、arm等低功耗的的边缘计算平上实现。

技术特征：

1.一种基于目标识别的融合图像特征级目标增强显示方法，其特征在于，包括下列步骤：

2.如权利要求1所述的方法，其特征在于，步骤2中，轻量化的目标识别算法采用yolo-v3或tiny-yolo。

3.如权利要求1所述的方法，其特征在于，步骤3中，采用阈值提取法对红外目标识别图像it进行像素级的目标特征提取处理，得到的红外目标特征图像具体为：

4.如权利要求1所述的方法，其特征在于，步骤3中，将阈值权重λ设置为0.3。

5.如权利要求1所述的方法，其特征在于，步骤3中，采用边缘算子提取法对红外目标识别图像it进行像素级的目标特征提取处理，得到的红外目标特征图像具体为：

6.如权利要求5所述的方法，其特征在于，步骤3中，算子op为sobel算子、prewitt算子、roberts算子或cann算子。

7.如权利要求1至6任一项所述的方法，其特征在于，步骤5中，三个颜色通道的系数k1，k2，k3的值分别设置为1,0,0。

技术总结
本发明公开了一种基于目标识别的融合图像特征级目标增强显示方法，属于视觉增强技术领域。本发明方法为：分别使用红外成像系统和微光/可见光成像系统对同一目标场景进行清晰成像；用轻量化的目标识别算法对红外图像进行目标识别；基于红外图像特性或经典特征提取算法对识别的红外图像目标进行目标特征提取；对目标特征图像进行形态学腐蚀和膨胀操作得到二值目标图像；对二值目标图像进行伪彩增强得到像素级的增强红外目标图像；使用增强红外目标图像和微光/可见光图像叠加，得到特征级目标增强之后的融合图像。本发明大幅度降低了计算量，在自动驾驶、AR显示等领域具有广泛的应用前景。

技术研发人员：曾邦泽,刘泽鹏,傅志中
受保护的技术使用者：电子科技大学
技术研发日：
技术公布日：2024/3/24