基于场景信息解耦引导的极小物体检测方法及系统

本发明涉及计算机视觉和图像处理领域，具体涉及基于场景信息解耦引导的极小物体检测方法及系统。

背景技术：

1、遥感目标检测的目的是在遥感图像中定位和分类有价值的目标(如飞机、船舶、车辆等)。作为一项基本任务，遥感目标检测在大规模监测、交通指导和城市规划等领域有广泛的应用。独特的拍摄角度和不同的成像高度导致遥感图像包含大量大小有限的目标。然而，由于像素规模小、语义信息有限、分布密集、容易遮挡，极小目标的检测仍然是遥感目标检测中的一个重大挑战。这一问题已成为遥感技术的关键瓶颈，阻碍了其发展和广泛应用。

2、近年来，通用目标检测技术发展迅速，目标检测的性能和速度都有了显著提高。然而，在遥感领域极小目标的检测发展一直很缓慢。现有的极小目标检测框架通常由普通目标检测任务中表现良好的模型来添加特定的设计，例如公布号为cn115457487a的现有发明专利申请文献《一种基于二维图像的目标检测方法及系统》包括：对采集的监控区域中的二维图像进行目标位置标注，生成训练数据集；然后采用训练集数据对所述深度学习目标检测模型的骨干网络及其目标中心预测分支网络，判断极小目标分支网络和目标尺度预测分支网络进行训练，并通过训练好的深度学习目标检测模型对目标进行检测。以及公布号为cn114550256a的现有发明专利申请文献《极小目标检测方法、装置、设备及计算机可读介质》该方法包括：获取第一图像；在第一图像中确定极小目标置信度大于或等于第一阈值的第一极小目标，其中，极小目标置信度用于表示被检测对象属于可检测极小目标的概率，可检测极小目标为预设检测类型的目标对象；从第一图像中截取出第一极小目标的图像，并将截取图像按照预设比例放大并贴放至画布中，得到第二图像，其中，第二图像的尺寸小于第一图像的尺寸；在第二图像中确定极小目标置信度大于或等于第二阈值的第二极小目标，并输出第二极小目标，其中，第二阈值大于第一阈值。但是这些方法没有考虑到遥感图像中密集且分布不均匀的目标带来的挑战。因此，deng等人在现有论文”aglobal-localself-adaptive network for drone-view object detection”中提出了一种结合全局集成策略和局部融合策略的全局到局部自适应网络，以提高检测精度。然而，由于原始图像的表面信息有限，压缩原始图像可能会阻碍对极小目标的检测。为了解决这一问题，li等人在现有论文”an empirical study of the naive bayes classifier”中引入了一种上下文检测方法，提取候选框及其周围的上下文窗口，以提高特征提取和检测精度。此外，bell等人在现有论文”inside-outside net:detecting objects in context with skippooling and recurrent neural networks”中提出了一种全局上下文信息学习方法，可以在不同的场景下获取更有效的语义信息。为了克服训练过程的复杂性，zhou等人在现有论文”scale-transferrable object detection”中提出了一个标准的迁移框架，它增强了网络的泛化性，以支持不同规模的目标群体。此外，yang等人在现有论文”reppoints:pointset representation for object detection”中开发了reppoints目标检测方法，利用点集属性对极小目标空间信息进行编码。kong等人在现有论文”foveabox:beyond anchorbased object detector”中提出通过引入“视觉焦点”来解决极小目标检测中的问题。它使用多尺度视觉聚焦机制，将注意力集中在不同大小的感知场区域，并对每个感知场生成分类和回归预测的结果，进一步提高了极小目标检测的性能。虽然现有的目标检测算法在解决这些问题方面取得了进展，但在复杂的场景中，即使是最先进的检测模型也很难达到较高的精度。此外，数据集通常包含不同尺度的对象，而极小目标的数量只占很小的比例，这导致模型对极小目标的检测能力较差。

3、规模小、语义信息有限、分布密集、容易遮挡，是极小目标检测的一个重大挑战，并且难以提出突破性的关键技术以及现有的小目标检测数据集目标大小分布极不均衡，使得训练过程中难以充分学习，对小目标的泛化能力较弱，导致检测精度低。以及数据集分布不均匀、背景噪声以及光照变化、高质量的训练数据难以获得等问题，削弱了极小目标的特征提取能力。

4、综上，现有技术在大规模高空遥感卫星图中对于密集极小目标的场景下，存在的误检率高、目标分类错误和运动轨迹偏差的技术问题。

技术实现思路

1、本发明所要解决的技术问题在于：如何解决现有技术在大规模高空遥感卫星图中对于密集极小目标的场景下，存在的误检率高、目标分类错误和运动轨迹偏差的技术问题。

2、本发明是采用以下技术方案解决上述技术问题的：基于场景信息解耦引导的极小物体检测方法包括：

3、s1、获取并利用语义信息引导网络signet，解耦处理大规模高空遥感卫星图像，以得到场景解耦特征图；

4、s2、构建前景增强模块fem，将场景解耦特征图送入前景增强模块fem中，以得到前景蒙版和背景蒙版，据以生成增强前景特征图；

5、s3、获取主干网络深层特征，将增强前景特征图、主干网络深层特征图送入场景信息融合模块sif，以得到融合特征图；

6、s4、上采样处理融合特征图，据以检测大规模高空遥感卫星图像中的小目标。

7、本发明通过提出一种新的基于场景上下文的语义信息引导网络signet来挖掘高分辨率遥感卫星图像的上下文语义信息，以复杂场景下遥感的极小目标检测，能够在复杂背景中获得更好的结果。与现有的最先进的极小目标检测方法相比，本发明的方法可以获取图像上下文更多的信息，与现有的最先进的场景信息解耦引导的极小目标检测方法相比，本发明的方法可以捕获更多的场景信息细节，并在评估指标和感知方面有更好的表现。

8、在更具体的技术方案中，步骤s1包括：

9、s11、预训练resnet18网络，并移除resnet18网络的分类层，以得到适用resnet18网络；

10、s12、利用适用resnet18网络，根据大规模高空遥感图像的语义信息，处理得到上下文特征信息，据以作为场景分类特征图；

11、s13、利用极小目标检测头p2来关注场景分类特征图中的小目标，并输出网络的第三层和第四层特征，以作为场景解耦输出数据。

12、本发明设计了场景信息解耦模块，场景信息融合模块和前景增强模块。为了更好地理解整个图像或视频的语义信息，本发明使用场景信息解耦模块来解耦。本发明使用预训练好的resnet18网络来提取不同场景下的信息特征，以增强复杂场景下的前景特征，利于极小目标的特征提取。

13、在更具体的技术方案中，步骤s12中，利用下述逻辑，求取场景分类特征图：

14、xd＝resnet18(x)

15、ffore＝head(xd)

16、式中，x为送入网络的原始图片，head为场景分类头，ffore作为后续的主干特征，xd指经过预训练resnet18后获得的场景分类信息。

17、本发明使用预训练好的resnet18网络作为场景信息解耦模块的backbone来提取高空遥感卫星图的特征，该网络在大规模图像集合上进行了预训练，具有良好的特征提取能力。同时，本发明使用一种新的多标签分类任务来训练场景信息解耦模块，其中每个标签代表图像中是否存在极小目标。这种方法可以更好地获得图像的上下文信息，并使模型更加灵活适应各种场景。

18、在更具体的技术方案中，步骤s2包括：

19、s21、过滤处理场景解耦特征图，获取大规模高空遥感卫星图像的像素间长期依赖关系；

20、s22、对场景解耦特征图进行二值化处理，利用前景增强模块fem，以得到二值化掩码特征，作为场景解耦特征图的像素权重，据以获取像素级别特性特征图；

21、本发明构建并利用fem增强前景信息并抑制背景信息，通过fe模块后的前景特征，可传递给后续的检测模块进行目标检测和识别，更好地突出目标目标，提高整个模型的检测性能和精度。

22、步骤s22包括：

23、s221、利用下述残差结构逻辑，增加前景增强模块fem的深度：

24、x″＝x′+x，xs＝sigmoid(mean(x″))

25、式中，x′场景上下文信息特征，x为主干网络提取的特征，xs为场景上下文信息x′与x经过双线性插值对应相加后通过激活函数所得。

26、s222、利用下述逻辑，处理得到像素级别特性特征图fout：

27、fout＝fq×fbin

28、式中，fq为场景分类特征图，fbin为前景增强模块中得到的二值化掩码特征；

29、s223、利用下述逻辑，求取全局建模特征：

30、f′q＝wq(fq)，f′k＝wk(fk)，f′v＝wv(fv)

31、式中，f′q，f′k，f′b是通过1×1卷积投射的三个输入特征，以减少模块的参数数量，wq、wk和wv是由不同特征映射的投影矩阵；

32、s224、根据全局建模特征，求取空间注意力机制掩码，据以获取二进制掩码特征。

33、在更具体的技术方案中，步骤s224中，利用下述逻辑，根据全局建模特征，求取空间注意力机制掩码：

34、f1＝w1(f′q·f′k)

35、f2＝f1×f′v

36、f3＝w3(max(w2(f2))，0)

37、

38、式中，两个特征fq和fk按元素方向相乘，然后进行卷积运算，f1∈[b，1，h，w]为特定维数的空间注意力掩码，f′v为来自检测分支的特征，f2为通道注意掩码，f3为真实通道注意力掩码，fmask为注意力掩码特征。

39、在更具体的技术方案中，步骤s224中，利用下述逻辑，获取二进制掩码特征：

40、

41、式中，fbin为最终由预设的超参数θ得到二进制掩码特征。

42、本发明提出了场景语信息融合模块，更好地将解耦的目标场景信息融合到目标检测网络中。本发明构建并利用fem降低遥感图像噪声，引导网络专注于潜在的物体位置，并且进行前景增强达到增强目标区域的对比度、边缘和图案等特征，可以使目标更加明亮和鲜明，在背景中更容易被检测到，从而提高目标检测的准确性以及提高检测的鲁棒性。为了保证信息的有效性，采用残差结构来保证网络获得准确的前景信息而不是噪声。

43、在更具体的技术方案中，步骤s3包括：

44、s31、利用主干网络darknet53处理得到主干网络深层特征，求取增强前景特征图的前景蒙版卷积浅层特征、背景蒙版卷积浅层特征；

45、s32、为了整合来自不同模块输出的特征信息，利用sif层，缩放、移位处理前景蒙版卷积浅层特征、背景蒙版卷积浅层特征，以得到缩放移位浅层特征，结合主干网络深层特征，据以获取深、浅层特征间互补信息；

46、s33、利用残差方法，连接处理骨干网络深层特征、场景解耦特征图，据以求取融合特征图：

47、f＝ffusion+ffe+x

48、式中，ffusion和ffe分别代表场景信息融合特征与前景增强特征，x代表主干网络主干特征，求和后所得特征将f输入目标检测中。

49、本发明采用了前景增强的方法来加强对目标的检测，以在复杂的遥感图像背景下，减少背景对极小目标检测的干扰。

50、在更具体的技术方案中，步骤s31中，利用下述逻辑求取主干网络深层特征q、增强前景特征图中的前景蒙版卷积浅层特征k、背景蒙版卷积浅层特征v：

51、q＝xwq

52、k＝xwk

53、v＝xwv

54、式中，wq、wk和wv是由不同特征映射的投影矩阵，x表示输入特征。

55、在更具体的技术方案中，步骤s32中，利用下述逻辑表达sif层：

56、

57、式中，sif代表场景信息融合sif层，x和x′分别代表主干网络特征和场景信息解耦信息特征，γ(-)与β(-)代表sigmoid(conv(mean(·)))操作，β(x’)指对图像进行前景增强操作中将图像划分为前景和背景的操作，指大于阈值即为1，小于阈值即为0。

58、本发明采用sif模块对上述的解耦信息以及前景特征进行多特征角度融合，模块中的两个分支分别进行通道级别的注意力加权，以及采用空间注意力机制将不同尺度的特征图进行融合，多特征角度融合方法能够有效地提高模型的检测性能和准确性。

59、在更具体的技术方案中，基于场景信息解耦引导的极小物体检测系统包括：

60、解耦模块，用以获取并利用语义信息引导网络signet，解耦处理大规模高空遥感卫星图像，以得到场景解耦特征图；

61、前景增强模块，用以构建前景增强模块fem，将场景解耦特征图送入前景增强模块fem中，以得到前景蒙版和背景蒙版，据以生成增强前景特征图，前景增强模块与解耦模块连接；

62、场景信息融合模块，用以获取主干网络深层特征，将增强前景特征图、主干网络深层特征图送入场景信息融合模块sif，以得到融合特征图，场景信息融合模块与前景增强模块连接；

63、小目标检测模块，用以上采样处理融合特征图，据以检测大规模高空遥感卫星图像中的小目标，小目标检测模块与场景信息融合模块连接。

64、本发明通过提出一种新的基于场景上下文的语义信息引导网络signet来挖掘高分辨率遥感卫星图像的上下文语义信息，以复杂场景下遥感的极小目标检测，能够在复杂背景中获得更好的结果。与现有的最先进的极小目标检测方法相比，本发明的方法可以获取图像上下文更多的信息，与现有的最先进的场景信息解耦引导的极小目标检测方法相比，本发明的方法可以捕获更多的场景信息细节，并在评估指标和感知方面有更好的表现。

65、本发明设计了场景信息解耦模块，场景信息融合模块和前景增强模块。为了更好地理解整个图像或视频的语义信息，本发明使用场景信息解耦模块来解耦。本发明使用预训练好的resnet18网络来提取不同场景下的信息特征，以增强复杂场景下的前景特征，利于极小目标的特征提取。

66、本发明使用预训练好的resnet18网络作为场景信息解耦模块的backbone来提取高空遥感卫星图的特征，该网络在大规模图像集合上进行了预训练，具有良好的特征提取能力。同时，本发明使用一种新的多标签分类任务来训练场景信息解耦模块，其中每个标签代表图像中是否存在极小目标。这种方法可以更好地获得图像的上下文信息，并使模型更加灵活适应各种场景。

67、本发明构建并利用fem增强前景信息并抑制背景信息，通过fe模块后的前景特征，可传递给后续的检测模块进行目标检测和识别，更好地突出目标目标，提高整个模型的检测性能和精度。

68、本发明提出了场景语信息融合模块，更好地将解耦的目标场景信息融合到目标检测网络中。本发明构建并利用fem降低遥感图像噪声，引导网络专注于潜在的物体位置，并且进行前景增强达到增强目标区域的对比度、边缘和图案等特征，可以使目标更加明亮和鲜明，在背景中更容易被检测到，从而提高目标检测的准确性以及提高检测的鲁棒性。为了保证信息的有效性，采用残差结构来保证网络获得准确的前景信息而不是噪声。

69、本发明采用了前景增强的方法来加强对目标的检测，以在复杂的遥感图像背景下，减少背景对极小目标检测的干扰。

70、本发明采用sif模块对上述的解耦信息以及前景特征进行多特征角度融合，模块中的两个分支分别进行通道级别的注意力加权，以及采用空间注意力机制将不同尺度的特征图进行融合，多特征角度融合方法能够有效地提高模型的检测性能和准确性。

71、本发明利用场景信息解耦模块、前景增强模块和场景信息融合模块，获取和融合高空遥感卫星图中的极小目标和背景的上下文语义信息，以此来引导对极小目标进行检测与识别，提高了模型的准确性和鲁棒性。具体而言，本发明设计了一个场景信息解耦模块，旨在获取场景的上下文信息，据此我们设计了一个场景信息融合模块，旨在通过不同的特征信息对解耦信息进行残差融合，解决了现有技术中在大规模高空遥感卫星图中对于密集极小目标的场景下，存在的误检率高、目标分类错误和运动轨迹偏差的技术问题。