一种基于可见光遥感图像的群目标检测方法

本发明属于计算机视觉目标检测，尤其涉及一种基于可见光遥感图像的群目标检测方法。

背景技术：

1、群目标通常指具有相似特征静止或具有相似运动模式的多个目标，如有人/无人机编队、舰艇编队、地面编队目标等。在机场、港口、停车场等人造场地下的静态场景及陆地、海面等自然环境下的机动场景中的关键群目标检测在军事、航天以及国民经济的各个领域有着重要的应用价值。高分辨率的可见光卫星遥感图像包含上述群目标信息，基于可见光遥感图像进行群目标检测是发现群目标的有效途径。

2、卫星的瞬时成像幅宽一般在数十到数百千米的量级，分辨率一般在亚米级，定位精度为十米量级。因此，与传统的自然图像不同，可见光卫星遥感图像尤其是军用领域的卫星图像尺寸巨大。但卫星图像包含的群目标个体(即群目标中的单个个体)却十分微小。群目标相较于整幅卫星图像的占比可低至千万分之一。因此群目标特征信息有限，导致检测精度受限。此外，一些关键目标通常进行伪装，其外表与植被等地表实体的特征高度相似，进一步增加了检测难度。

3、现有的群目标检测主要包括：《基于贝叶斯递推的空间群目标检测方法、装置及存储介质》(专利申请号202010381668.0)，该专利提出利用群目标在三维空间中的轨迹集合计算群目标在三维坐标系中的三个投影平面上的平面椭圆参数，构建群目标在三维空间中的椭球模型，计算椭球模型的体积变化率，根据体积变化率判断群目标的状态。该专利主要解决的技术问题是建立准确的三维模型来判别群目标分离时的状态。该专利基于轨迹数据，不适于跨组织、跨国家关键群目标的检测，如国防领域敌方编队目标的检测。《一种无人机群目标检测方法、电子设备及存储介质》(专利申请号202011204492.8)对待检测目标的脉间正交相位编码的回波信号进行快速傅里叶变换，得到多普勒-角度数据；根据多普勒-角度数据判断待检测目标是否为群目标，对确定的群目标进行参量与数目估计，得到群目标的目标数量和目标参数。该专利所述方法是一种基于mimo雷达的无人机群目标检测方法。《无人机集群目标检测及目标轮廓、集群规模估计方法》(专利申请号202210298426.4)公开了一种无人机集群目标检测及目标轮廓、集群规模估计方法，该发明的方法对单散射体雷达回波进行矢量叠加得到集群回波模型；脉冲压缩后，引入l1范数和核范数作为正则化约束项来限制反卷积病态性并充分利用先验信息，实现对方位维超分辨；cfar检测后，基于集群的密集分布，设置一组邻域参数(ε,minpts)对cfar结果进行基于密度的空间聚类，检测出集群目标点；对集群目标点进行极角排序并遍历得到集群的边界点，将边界点依次连接得到集群的边界信息，估计集群轮廓，在该轮廓下对集群内目标数量进行统计，估计集群规模。《群目标雷达探测辨识方法、系统、电子设备及存储介质》(专利申请号202310082241.4)提出一种群目标雷达探测辨识方法、系统、电子设备及存储介质，属于雷达探测领域，方法包括：对可疑群目标进行标记；对标记后的可疑群目标进行分组；对分组后的可疑群目标出现在每一雷达站探测图像中的区域进行网格化处理，针对网格单元中多个可疑目标的脉压信号进行等距离多个目标的辨识处理；将所有雷达站的初始辨识结果进行同一可疑目标在不同方位的目标匹配，得到最终可疑群目标辨识结果。《一种基于物理先验知识的空间群目标探测方法及系统》(专利申请号202310700834.2)公开了一种基于物理先验知识的空间群目标探测方法及系统，具体为：构建不同尺寸的空间非合作锥体目标物理仿真模型，获得不同运动状态下混叠的空间群目标随时间变化的雷达回波，利用傅里叶变换获得空间群目标随时间变化的一维距离像；提取出所有时刻散射中心的位置信息和幅度信息，将混叠的锥体目标散射中心模型中的位置信息重组，重构单个锥体目标微多普勒时频图和一维距离像；结合双通道卷积神经网络进行训练和测试，得到复杂环境中空间非合作锥体目标的高度、半径、进动频率。《集群目标检测方法》(专利申请号202111460395.x)也提出了一种基于雷达的集群目标检测方法。该方法针对运动状态下的群目标，具体针对尺寸相近、运动模式相似的大量个体目标混合而成的目标簇，簇内的目标在一定时间内保持空间关系(如位置)相对固定，且任意最相邻两个体目标量测差小于传感器系统的相关门限，如无人机群、鸟群、昆虫群等。《一种基于多维参数神经网络的雷达集群目标行为识别方法》(专利申请号202210652444.8)公开了一种基于多维参数神经网络的雷达集群目标行为识别方法，首先对雷达回波的距离-多普勒域的幅度特征以及角度特征进行时频处理和时间积累的预处理；然后将每一帧预处理后的回波信号进行时间积累，提取距离、多普勒和角度三种不同维度的特征图谱rtm、dtm和atm；接着通过增加输入特征层、合并全连接层等方法对vgg16网络进行改进，设计了一种多维参数行为识别网络，并对特征图谱进行训练；最后利用训练好的网络实现集群目标行为识别。《一种基于椭球扩展外形的群目标分离检测方法》(专利申请号202211363473.9)涉及群目标分离检测判决方法，特别涉及一种基于椭球扩展外形的群目标分离检测方法，属于雷达技术领域。首先对探测空间中的量测进行聚类和质心参数估计，其次基于贝叶斯递推方法、卡尔曼滤波准则及马尔可夫链实现群目标运动状态和扩展状态滤波，进而建立三维椭球模型描述群目标扩展外形，利用群目标帧间体积变化率参数判断群目标分离状态，并根据分群目标扩展外形更新聚类相关参数，最终实现群目标分离检测及分群目标跟踪。上述基于雷达的方法存在以下不足：第一，这类方法计算复杂度高，通常使用多个天线进行发射和接收，导致数据量大大增加。第二，硬件要求高，通常使用多个天线进行发射和接收，导致数据量大大增加。第三，环境干扰敏感，如多径效应、杂波干扰和信号衰减等。第四，目标分辨率有限，在较远距离或目标尺寸较小的情况下，目标的分辨率受限，导致目标检测的准确性降低。《一种基于电磁散射特征与拓扑构型的群目标检测方法》(专利申请号202210335606.5)提出了一种基于sar图像的群目标检测方法，该方法对双极化sar图像进行极化增强处理、均值滤波处理、分割处理等预处理，得到第一二值图像和第二二值图像；对得到的图像进行目标像素聚类，得到多个单目标；遍历得到的多个单目标，进行目标群搜索，统计每个目标群的构型参数；计算每个目标群的置信度；置信度值最大的目标群为检测结果。这类方法的不足包括：第一，sar图像具有复杂的干扰和噪声特性，需要进行复杂的预处理和去噪处理。第二，sar图像的背景干扰强烈，海洋、陆地、建筑物等背景特征可能与目标具有相似的散射特性，增加了目标检测的困难度。此外，分辨率限制也是影响这类方法精度的原因之一。《一种基于多模态特征判别的红外点群目标识别方法》(专利申请号202210838226.3)属于红外点群目标识别方法，包括以下步骤：步骤s1、多源图像序列数据和目标测量类数据预处理；步骤s2、单模态多源图像序列数据目标特征提取及目标识别；步骤s3、单模态目标测量类数据目标特征提取及状态识别；步骤s4、多模态特征融合及目标识别；步骤s5、识别结果融合及判定。这类方法存在以下不足：第一，红外点群目标识别方法在复杂背景下容易受到干扰。例如，在城市环境中，建筑物、车辆、道路等热点都会产生热辐射，这些干扰源可能与目标点群的热辐射特征相似，导致目标识别的准确性下降。第二，红外点群目标识别方法对于目标尺度的变化比较敏感。当目标与传感器之间的距离发生变化时，目标在红外图像上的尺度也会发生变化，这可能导致目标识别算法难以准确识别目标。第三，红外点群目标识别方法对光照变化比较敏感。光照条件的改变会导致红外图像中目标的热辐射分布发生变化，从而影响目标的识别效果。第四，红外点群目标识别方法目标分类困难。对于一些具有相似热辐射特征的目标在红外图像中难以区分。《一种群目标的追踪方法、装置、计算机设备及存储介质》(专利申请号202310528913.x)公开的方法包括：通过分布式成像设备获取追踪目标的目标图像信息；将目标图像信息输入到训练后的深度学习模型，以得到相应的目标检测图像，并根据目标检测图像获取各个追踪目标的实测位置信息；根据实测位置信息以及分布式成像设备的内参矩阵计算各个追踪目标的二维位置信息；根据二维位置信息以及分布式成像设备的外参矩阵计算各个追踪目标的三维位置信息；根据二维位置信息以及三维位置信息确定各个追踪目标的个体位置坐标。该发明针对个体之间相互遮挡的问题提供了一种群目标的追踪方法。

4、目标检测技术在军事、航天以及国民经济的各个领域发挥着重要的作用。计算机视觉技术的迅速崛起对目标检测的方法论和效果产生了重大影响，使目标检测技术取得质的突破。相对于传统方法，基于计算机视觉的目标检测方法能够学习和提取更丰富、更复杂的图像特征，从而更准确地进行目标定位和检测。这使得目标检测在不同场景、条件和目标变化的情况下都能取得较好的效果。因此，本发明立足计算机视觉技术，提出一种基于可见光遥感图像的群目标检测方法。

技术实现思路

1、为了解决可见光卫星遥感图像包含的群目标个体携带特征信息有限且(伪装情景下)与环境特征区分度低等原因导致的检测精度受限问题，本发明提出了一种基于可见光遥感图像的群目标检测方法，发明目的在于通过融合群目标相关的上下文特征，提升特征显著性，优化现有的通用目标检测模型，提出适用于群目标的有效检测模型。本发明针对可见光遥感图像构建有效的群目标检测模型，能够实现静态场景和机动场景下的群目标检测。

2、为解决所述技术问题，实现所述目的，本发明提供的技术方案为：

3、一种基于可见光遥感图像的群目标检测方法，其步骤包括：

4、1)获取带有感兴趣的群目标对象的可见光遥感图像，构建样本集；

5、2)对所述样本集内所选图像中所含的感兴趣的目标进行标记，标记后每张图像相应生成含有标记信息的属性文件，每一所述图像与其相应的属性文件共同组成一训练样本，得到训练样本集；

6、3)对目标检测模型yolo-v5进行改进，包括在所述目标检测模型yolo-v5的特征提取模块引入基于lsknet的大卷积核混合域注意力机制，提取输入图像的全局特征以及计算该输入图像的空间注意力和通道注意力，生成该输入图像的混合域特征图；利用所述训练样本集训练改进后的目标检测模型yolo-v5，并利用损失函数loss＝(1-r)×

7、lossnwd+r×lossiou优化改进后的目标检测模型yolo-v5；其中，lossnwd为归一化wasserstein距离，lossiou为基于iou的损失函数，r是超参数；

8、4)将一待检测图像输入步骤3)训练后的目标检测模型yolo-v5，得到该待检测图像中的群目标。

9、进一步的，所述目标检测模型yolo-v5的特征提取模块生成输入图像的混合域特征图的方法为：

10、21)特征提取模块对输入图像进行卷积操作，得到所述输入图像的特征图x；然后对于给定的大卷积核k，将其分解为一系列不同大小的小卷积核κ，利用所得多个小卷积核顺序对所述特征图x进行特征提取，得到多个不同感受野范围的特征图；其中第i个小卷积核对输入特征图进行特征提取，得到的特征图为代表第i个卷积核κi的深度卷积处理；然后将各小卷积核得到的特征图分别输入1*1卷积层f1×1进行降维处理；特征图ui降维处理所得特征图为

11、22)使用空间选择机制对降维处理后的不同感受野范围的特征图进行处理，得到不同感受野范围特征图对应的空间注意力权重sa；

12、23)将所得多个不同感受野范围的特征图按照元素相加得到新的特征图将特征图经过空间维度的平均池化，得到维度是1×1×c的特征图caavg；c为特征图x的通道数；然后将特征图caavg通过两个全连接层的神经网络，得到特征描述向量z；然后根据特征描述向量z通过softmax层计算得到每一感受野范围的特征图对应的通道注意力权重ca；

13、24)将各感受野范围的特征图对应的通道注意力权重ca与空间注意力sa进行融合，生成注意力特征图m；

14、25)将注意力特征图m与特征图x逐点相乘得到所述混合域特征图。

15、进一步的，得到所述空间注意力权重sa的方法为：

16、221)将降维处理后的不同感受野范围的特征图在通道维度连接，得到特征图

17、222)对特征图进行基于通道的平均池化处理，得到对特征图进行基于通道的最大值池化处理，得到

18、223)将saavg和samax在通道维度拼接，利用卷积操作修改通道数为n，再经过sigmod激活函数转换为空间注意力权重sa。

19、进一步的，a代表目标的真实边界框，b代表目标的预测边界框；na表示从目标的真实边界框a建模的二维高斯分布，nb表示从目标的预测边界框b建模的二维高斯分布，表示两个二维高斯分布na和nb的wasserstein距离，t是可调节的超参数。

20、进一步的，将所述样本集划分为训练样本集和测试样本集；对所述训练样本集的图像进行增强，提升样本多样化，得到增强训练样本集；对所述增强训练样本集内每个图像中所含的感兴趣的目标进行标记，标记后每张图像相应生成含有标记信息的属性文件，每一所述图像与其相应的属性文件共同组成一训练样本，得到训练样本集。

21、进一步的，对所述训练样本集的图像进行增强的方法包括但不限于：翻转、旋转、随机裁剪与缩放、灰度调整、色调调整、明暗调整、饱和度调整、曝光度调整、模糊度、加噪。

22、进一步的，所述增强训练样本集包括静态场景图像和机动场景图像；针对所述静态场景图像进行标注时，对感兴趣的群目标进行标记；针对所述机动场景图像进行标注时，对感兴趣的单个目标进行标记。

23、进一步的，步骤4)中，当所述待检测图像为静态场景图像时，步骤3)训练后的目标检测模型yolo-v5输出的群目标为最终的群目标检测结果；当所述待检测图像为机动场景图像时，对步骤3)训练后的目标检测模型yolo-v5输出的目标进行聚类、拟合所得群目标，作为最终的群目标检测结果。

24、一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述方法中各步骤的指令。

25、一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法的步骤。

26、本发明基于可见光遥感图像的群目标检测方法，主要步骤包括：

27、步骤s1，获取带有感兴趣的群目标对象的可见光遥感图像，构建样本集；

28、优选地，所述步骤s1包括：

29、步骤s11，采集真实的可见光遥感图像；

30、步骤s12，样本不足时，利用风格迁移、样本仿真等技术构建逼真的图像；

31、步骤s2，将步骤s1所述样本集划分为训练样本集和测试样本集；

32、步骤s3：对步骤s2所述训练样本集的图像进行增强，提升样本多样化，包括但不限于：翻转、旋转、随机裁剪与缩放、灰度调整、色调调整、明暗调整、饱和度调整、曝光度调整、模糊度、加噪等，得到增强训练样本集；

33、步骤s4：对步骤s3所述的增强训练样本集内每个图像中所含的感兴趣的目标进行标记，标记后每张图像相应生成含有标记信息的属性文件，图像与其相应的属性文件共同组成完整的训练样本集，即群目标检测模型训练阶段的输入数据集；

34、优选地，所述步骤s4的输入数据集涉及两类场景，静态场景与机动场景：

35、步骤s41，针对人造场地下的静态场景，对步骤s3所述的增强训练样本集内每个图像进行标注时，将感兴趣的群目标进行标记；

36、步骤s42，针对陆地、海面等自然环境下的机动场景，对步骤s3所述的增强训练样本集内每个图像进行标注时，将感兴趣的单个目标进行标记；

37、步骤s5，对通用目标检测模型yolo-v5进行改进，主要包括在特征提取模块引入基于lsknet的大卷积核混合域注意力机制，动态获取不同感受野特征；优化损失函数，提升小目标检测精度；

38、优选地，步骤s5所述改进包括：

39、步骤s51，基于lsknet的大卷积核混合域注意力机制：为了解决可见光卫星遥感图像包含的群目标个体携带特征信息有限且(伪装情景下)与环境特征区分度低等原因导致的检测精度受限问题，提出了基于lsknet的大卷积核混合域注意力机制，扩大检测模型的感受野，从而融合群目标相关的上下文特征，增强群目标的相关特征，提升模型检测精度。将基于lsknet的空间注意力机制和通道注意力机制结合，首先提取全局特征，然后同时计算空间注意力和通道注意力，最终生成混合域特征图；步骤s52，面向小目标群体的损失函数优化：为了解决卫星图像中群目标尺寸过小带来的检测精度下降问题，优化了基于iou的损失函数，引入wasserstein距离降低损失函数对于小目标物体的敏感程度，提升了检测精度。

40、优选地，步骤s51包括：

41、步骤s511，设经过卷积操作特征提取得到的特征图为

42、x∈rc×h×w

43、其中c是通道数量，h*w是特征图的尺寸，对于给定的大卷积核k，将其分解为一系列较小卷积核κ，利用多个卷积核顺序计算得到多个特征图，即为不同感受野范围的特征：

44、u0＝x

45、

46、其中是使用第i个卷积核κi的深度卷积。设有n个不同大小的卷积核，对应得到n个不同尺度的特征图；为了减小后续计算量，同时保证最后输出的特征图通道数不变，由不同大小卷积核得到的特征图由1*1卷积层f1×1降维处理：

47、

48、步骤s512，为了提高模型专注于最相关的空间上下文区域来检测目标的能力，使用空间选择机制对不同尺度的特征图进行处理，得到空间注意力权重sa。

49、优选地，步骤s512包括：

50、步骤s5121，将从不同核获得的降维后特征图(降维处理后的不同感受野范围的特征图)在通道维度连接起来：

51、

52、步骤s5122，通过基于通道的平均池化和最大值池化来提取空间关系：

53、

54、步骤s5123，将saavg和samax在通道维度拼接，利用卷积操作修改通道数为n得到空间注意特征图sa：

55、

56、步骤s5124，应用sigmod激活函数得到不同大小的卷积核对应的特征图的空间注意力权重：

57、

58、步骤s513，计算通道注意力权重，利用步骤s511所述分解得到的卷积核卷积得到特征图计算每个特征图的通道注意力特征图。

59、优选地，步骤s513包括：

60、步骤s5131，将步骤s511利用多个卷积核顺序计算得到的多个特征图按照元素相加得到新的特征图维度是h×w×c:

61、

62、步骤s5132，将特征图经过空间维度的平均池化，得到维度是1×1×c的caavg：

63、

64、步骤s5133，通过两个全连接层的神经网络，得到特征描述向量z用于计算最终的不同卷积核大小分支下的注意力权重：

65、

66、其中δ是relu激活函数，表示batchnormalization操作，w∈rd×c；表示全连接，最终得到向量z∈rd×1。

67、步骤s5134，使用步骤s5133计算得到的向量z分别通过softmax层计算得到不同大小卷积核得到特征图的通道注意力权重：

68、

69、其中cai表示特征图ui的通道注意力权重，表示cai的第t个元素，at,bt∈r1×d，a,b∈rn×d。d是可由超参数调节的参数。

70、步骤s5135，按不同大小的卷积核对其获得的空间注意力sa与通道注意力ca进行融合(首先统一到维度均为h×w×c，再分别取对应位置最大值)，生成最终的注意力特征图m：

71、

72、步骤s5136，将注意力特征图m与步骤s511所述的输入特征图x逐点相乘得到最终的混合域特征图。

73、步骤s52，优化损失函数：现有的计算机视觉领域的目标检测模型的iou损失函数对于微小物体十分敏感，极大影响了检测性能。所述的可见光遥感图像尺寸大，涉及的群目标对象可能十分微小。为了优化现有模型，使之能够更好的适用于群目标检测，引入归一化wasserstein距离(nwd)，将nwd和iou损失函数进行混合，兼顾不同尺度的目标；

74、优选地，步骤s52包括：

75、步骤s521，计算基于nwd的损失函数指标：

76、

77、其中，na和nb表示从边界框a和b建模的二维高斯分布，表示两个二维高斯分布na和nb的wasserstein距离，并利用变换为0到1区间内的数值，t是一个可调节的超参数；

78、步骤s522，计算基于iou的损失函数指标：

79、

80、其中，a和b分别代表目标的真实边界框和预测边界框；

81、步骤s523，将lossnwd与lossiou加权求和作为最终的损失度量：

82、loss＝(1-r)×lossnwd+r×lossiou

83、其中，r是超参数，表示较大的目标在数据集中所占的比例；

84、步骤s6，利用步骤s4所述的输入数据集对步骤s5所述的深度学习模型进行训练；

85、步骤s7，利用步骤s2所述的测试样本集与步骤s6所述的群目标检测模型进行检测，得到检测结果，结果包括：对于每张图片的每个检出对象，主要输出结果为(x,y,w,h,conf,type)，其中(x,y)是所述检出对象边界框的中心点坐标，w、h是所述检出对象边界框的宽和高，type是所述检出对象的类型，conf是所述检出对象属于所述类型的置信度；

86、步骤s8，在人造场地下的静态场景中，根据步骤s41所述的标记方式，步骤s7所述的检出对象包含多个目标，步骤s7所述的检测结果为最终的群目标检测结果；

87、步骤s9，在陆地、海面等自然环境下的机动场景中，根据步骤s42所述的标记方式，步骤s7所述的检出对象为单个目标，对步骤s7所述的检测结果进行聚类、拟合分析，得到最终的群目标检测结果。

88、本发明的优点如下：

89、本发明针对可见光卫星遥感图像包含的群目标个体携带特征信息有限且(伪装情景下)与环境特征区分度低等原因导致的检测精度受限问题，通过调整其较大的空间感受野、融合群目标相关的上下文特征，有效地对不同对象类型的不同上下文细微差别进行建模，提升特征显著性；针对现有的计算机视觉领域的目标检测模型iou损失函数对于微小物体十分敏感导致检测性能下降的问题，引入归一化wasserstein距离(nwd)，将nwd和iou损失函数进行混合，兼顾不同尺度的目标提升检测精度，最终形成适用于群目标的有效检测模型。