一种可见光图像小目标检测识别方法及系统与流程

本发明属于目标识别系统，具体是指一种可见光图像小目标检测识别方法及系统。

背景技术：

1、目标检测是一项重要的计算机视觉任务，近些年来随着无人机市场的快速拓展以及硬件设备成本的下降，基于无人机平台的目标检测已经成为研究热点。在深度学习技术迅猛发展背景下，无人机平台上的目标检测逐步从传统手工设计特征转为深度神经网络识别。

2、虽然深度学习给目标检测带来很大发展，但针对小目标检测仍然存在许多问题。一般目标检测不同类别之间，部分目标纹理姿态相似易混淆，对于同一类别之间存在差异性较大，如形状姿态，尺寸以及颜色纹理，易误判。除了这些常规特点之外，无人机航拍图像还包含大量的小目标，其中小目标占图像比例尺寸小，包含信息少，网络难以提取足够的信息来进行训练。除了小目标本身信息少之外，由于网络神经卷积的固有特点，使得小目标的特征信息随着网络的逐层卷积而减少，从而也导致小目标检测效果差的问题，对小目标的检测效果欠佳。

技术实现思路

1、针对上述情况，为克服现有技术的缺陷，本发明提供了一种可见光图像小目标检测识别方法及系统，用于解决无人机图片检测中小目标的漏检和误检问题，提高小目标的检测精度，并可对小目标进行识别与分类，还可对运动轨迹进行追踪。

2、本发明采取的技术方案如下：本发明一种可见光图像小目标检测识别系统，包括图像获取模块、图像增强模块、图像特征提取模块、多尺度特征融合模块、目标分类模块和图像追踪模块，

3、所述图像获取模块，用于获取无人机视频或者图像数据，并将所述无人机视频或者图像数据中的可见光图像发送至图像增强模块；

4、所述图像增强模块，用于对接收到的所述可见光图像进行图像增强处理，并检测运动目标，实时输出运动目标在图像中的位置；

5、所述图像特征提取模块，根据目标大小自适应调整锚框大小，并对特征图像进行多次重复采样，对特征图做归一化处理；

6、所述多尺度特征融合模块，通过双向特征金字塔网络，多次双向融合多尺度的图像特征信息；

7、所述目标分类模块，利用空间金字塔注意力机制实现目标的分类；

8、所述图像追踪模块，用于接收图像增强模块所输出的运动目标在图像中的位置，在可见光图像中标记处运动目标，并进行实时跟踪。

9、进一步地，所述图像增强模块通过mosaic数据增强的方式，将原始的帧图像利用随机缩放、随机裁剪的方式进行增强，之后获得一张包含目标边界框的新图像，真实边界框和目标锚框之间没有相交区域。

10、进一步地，所述图像增强模块还包括：建立恒等分辨率特征增强网络，将可见光图像输入所述恒等分辨率特征增强网络中，增强目标的特征点。

11、作为优选方案，所述图像特征提取模块实现图像特征提取，包括如下步骤：

12、步骤1：设置初始锚框大小，之后对目标边界框大小进行聚类，将得到的目标锚框结果和真实边界框大小进行比对，根据目标大小自适应调整锚框大小；

13、步骤2：利用注意力网络，对同一个尺度的特征图进行多次重复采样，随后进行卷积和归一化操作，通过由卷积运算和激活运算构成的卷积层提取图像特征。

14、在本方案中，所述图像追踪模块对目标进行实时跟踪的方法，包括以下步骤：

15、步骤a：首先选项相邻的帧图像，对应像素值相减得到差分图像；

16、步骤b：然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于预设的阈值时，即所述像素为背景像素；如果图像区域的像素值变化大于等于预设的阈值时，即所述像素为前景像素；

17、步骤c：根据背景像素和前景像素来确定运动目标在图像中的位置。

18、进一步描述中，在可见光图像上用不同的颜色绘出每个目标的预测边界框，以及其类别种类。

19、作为进一步阐述的方案，本方案还公开了一种可见光图像小目标检测识别方法，包括以下步骤：

20、s1：获取无人机视频或者图像数据，并将所述无人机视频或者图像数据中的可见光图像发送至图像增强模块；

21、s2：通过图像增强模块，用于对接收到的所述可见光图像进行图像增强处理，并检测运动目标，实时输出运动目标在图像中的位置；

22、s3：对图像增强后的可见光图像进行图像特征提取以及多尺度特征融合处理，随后利用空间金字塔注意力机制实现目标的识别与分类；同时，在可见光图像中标记处运动目标，并进行实时跟踪。

23、采用上述结构本发明取得的有益效果如下：本方案一种可见光图像小目标检测识别方法及系统，用于解决无人机图片检测中小目标的漏检和误检问题，提高小目标的检测精度，并可对小目标进行识别与分类，还可对运动轨迹进行追踪。

技术特征：

1.一种可见光图像小目标检测识别系统，其特征在于：包括图像获取模块、图像增强模块、图像特征提取模块、多尺度特征融合模块、目标分类模块和图像追踪模块，

2.根据权利要求1所述的一种可见光图像小目标检测识别系统，其特征在于：所述图像增强模块通过mosaic数据增强的方式，将原始的帧图像利用随机缩放、随机裁剪的方式进行增强，之后获得一张包含目标边界框的新图像。

3.根据权利要求2所述的一种可见光图像小目标检测识别系统，其特征在于：所述图像增强模块还包括：建立恒等分辨率特征增强网络，将可见光图像输入所述恒等分辨率特征增强网络中，增强目标的特征点。

4.根据权利要求3所述的一种可见光图像小目标检测识别系统，其特征在于：所述图像特征提取模块实现图像特征提取，包括如下步骤：

5.根据权利要求4所述的一种可见光图像小目标检测识别系统，其特征在于：所述图像追踪模块对目标进行实时跟踪的方法，包括以下步骤：

6.根据权利要求5所述的一种可见光图像小目标检测识别系统，其特征在于：在所述可见光图像上用不同的颜色绘出每个目标的预测边界框，以及其类别种类。

7.一种根据权利要求1-6任一所述的一种可见光图像小目标检测识别系统的识别方法，其特征在于，包括以下步骤：

技术总结
本发明公开了一种可见光图像小目标检测识别系统，包括图像获取模块、图像增强模块、图像特征提取模块、多尺度特征融合模块、目标分类模块和图像追踪模块。本发明属于目标识别系统技术领域，具体是提供了一种可见光图像小目标检测识别方法及系统，用于解决无人机图片检测中小目标的漏检和误检问题，提高小目标的检测精度，并可对小目标进行识别与分类，还可对运动轨迹进行追踪。

技术研发人员：陈旭东,韩丽丽,高军伟,徐凌寒,肖英豪,薛保国,马留洋
受保护的技术使用者：广东电网有限责任公司广州供电局
技术研发日：
技术公布日：2024/1/15