基于相似特征跨域融合的目标检测方法和系统与流程

本技术涉及目标检测，具体涉及一种基于相似特征跨域融合的目标检测方法和系统。

背景技术：

1、目标检测技术是一种用于识别图像中特定目标的计算机视觉技术，它采用深度学习技术，帮助计算机自动为图像中的物体识别和定位，它可以帮助我们轻松地解决许多计算机视觉任务，如识别视频中的狗和猫，检测视频中的车辆和行人。

2、目标检测技术作为计算机视觉领域的重要研究内容一直深受研究者们的关注。但是随着互联网上数据规模的不断壮大，数据类型越来越呈现多样化的特点，用户感兴趣的数据模态不再单一，用户的检索需求也越来越呈现出从单一模态到跨模态的发展态势，跨模态数据检索成为了新的研究热点。跨模态数据检索是以一种模态的数据去检索另一种模态的相关数据，其核心任务是数据特征提取和不同模态间数据的相关性度量。但是现有的跨模态检索的对象仅能针对特征信息较全的简单样例目标进行检测，当存在一些复杂且特征信息较少的时候，会导致检测不准确的问题。

技术实现思路

1、本技术提供了一种基于相似特征跨域融合的目标检测方法和系统，具有提高对目标检测准确性的效果。

2、第一方面，本技术提供了一种基于相似特征跨域融合的目标检测方法，采用以下技术方案：

3、获取目标视频中的难例目标；

4、获取所述难例目标的局部定位信息和全局语义信息；

5、提取所述全局语义信息和所述局部定位信息的相似特征；

6、基于所述相似特征对所述全局语义信息和所述局部定位信息进行跨域融合，得到特征融合信息；

7、构建长记忆网络，并基于所述长记忆网络以及所述特征融合信息，对所述难例目标进行检测。

8、通过采用上述技术方案，将难例目标的局部定位信息和全局语义信息进行相似特征提取，并进行跨域融合，可以增强难例目标的特征信息，最后使用融合后的特征融合信息对难例目标进行检测，提升难例目标在复杂场景下的检测速度和精度，并利用长记忆网络可以进一步增强对全局信息的提取，进一步提高对难例目标检测的准确性。

9、可选的，所述获取目标视频中的难例目标，包括：确定目标视频中的目标热区；在所述目标热区中确定出符合预置标准的至少一个难例目标。

10、通过采用上述技术方案，提前确定目标视频中的热区，完成对检测重心的转移，并在热区中确定难例目标，可以进一步提高特征提取的效率。

11、可选的，所述获取所述难例目标的局部定位信息，包括：获取所述目标视频的视频帧对应的规则序列；在所述规则序列中获取所述难例目标所属的当前帧，并将所述当前帧的前后预设帧构成第一相邻帧集合，并基于所述第一相邻帧集合确定所述第一相邻帧的候选框的集合；将所述第一相邻帧的候选框的集合确定为局部定位信息。

12、通过采用上述技术方案，将难例目标所属的当前帧以及当前帧前后预设帧构成第一相邻帧集合，并确定第一相邻帧对应的第一相邻帧的候选框集合，即可构建出当前帧局部定位信息，用于对当前帧的特征提取。

13、可选的，所述获取所述难例目标的全局语义信息，包括：将所述目标视频的视频帧的索引打乱，并生成打乱后的不规则序列；在所述不规则序列中获取所述难例目标所属的当前帧，并将所述当前帧的前后预设帧构成第二相邻帧集合，并基于所述第二相邻帧集合确定所述第二相邻帧的候选框的集合；将所述第二相邻帧的候选框的集合确定为全局语义信息。

14、通过采用上述技术方案，将视频帧的索引打乱，有效消除了时间序列的影响，并按照同局部定位信息的方式构建全局语义信息，全局语义信息丰富了除局部以外的信息，增强了难例目标的特征信息提取。

15、可选的，所述提取所述全局语义信息和所述局部定位信息的相似特征，包括：获取所述目标视频的视频帧对应的规则序列；基于多头注意力机制，按照特征计算公式计算计算候选框集合中的当前帧对应的候选框与所述候选框集合中其他框的的相似特征，所述候选框的集合为表示第t帧的规则序列对应的候选框；所述特征计算公式为：其中，所述表示第m个注意力头的矩阵权重，所述fj表示第j个框的语义特征，所述是bi和bj之间的关系矩阵，式中的*可以取值为l和n，取l时表示关系矩阵与时序相关，与所述局部定位信息的获取对应，取n时表示关系矩阵与时序不相关，与所述全局语义信息的获取相对应。

16、通过采用上述技术方案，该特征计算公式适用于第一相邻帧的候选框的集合l和第二相邻帧的候选框的集合g，即可通过特征计算公式计算出全局语义信息和所述局部定位信息的相似特征。

17、可选的，所述基于所述相似特征对所述全局语义信息和所述局部定位信息进行跨域融合，得到特征融合信息，包括：将所述全局语义信息中的全局特征聚合为局部特征；根据关系提取计算公式，计算出所述全局特征与所述局部特征的的相关性；所述关系提取计算公式为：其中表示不规则序列的特征关系提取，l表示g全局特征的聚合，ng表示将l和g通过关系提取计算公式计算得到的相关信息，k表示第k个关系提取；其中，ll＝nl(lg)，所述ll为特征融合信息，nl为规则序列的关系聚合。

18、通过采用上述技术方案，将全局语义信息和局部定位信息进行跨域融合，使得完成特征融合后的特征融合信息同时具有全局语义信息和局部定位信息，增强了难例目标的特征信息，进一步提高对难例目标检测的准确性。

19、可选的，构建长记忆网络，并基于所述长记忆网络以及所述特征融合信息，对所述难例目标进行检测，包括：构建长记忆网络；基于所述长记忆网络将所述难例目标中的当前帧对应的所述特征融合信息进行缓存，得到所述难例目标中的当前帧的特征；基于所述难例目标所属的当前帧的特征，对所述难例目标所属的下一帧进行检测。

20、通过采用上述技术方案，由于网络的特征记忆能力不足，所以构建长记忆网络，在每次完成当前帧的检测后进行缓存，并作为下一帧的检测基础，有效增加了网络的记忆能力，不仅保留了更丰富的全局信息，也减少了网络的开销。

21、在本技术的第二方面提供了一种基于相似特征跨域融合的目标检测系统，所述系统包括：

22、难例目标获取模块，用于获取目标视频中的难例目标；

23、目标信息获取模块，用于获取所述难例目标的局部定位信息和全局语义信息；

24、相似特征提取模块，用于提取所述全局语义信息和所述局部定位信息的相似特征；

25、特征跨域融合模块，用于基于所述相似特征对所述全局语义信息和所述局部定位信息进行跨域融合，得到特征融合信息；

26、难例目标检测模块，用于构建长记忆网络，并基于所述长记忆网络以及所述特征融合信息，对所述难例目标进行检测

27、在本技术的第三方面提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

28、在本技术的第四方面提供了一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤综上所述，本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

29、1、本技术将难例目标的局部定位信息和全局语义信息进行相似特征提取，并进行跨域融合，可以增强难例目标的特征信息，最后使用融合后的特征融合信息对难例目标进行检测，提升难例目标在复杂场景下的检测速度和精度，并利用长记忆网络可以进一步增强对全局信息的提取，进一步提高对难例目标检测的准确性。

30、2、由于网络的特征记忆能力不足，所以构建长记忆网络，在每次完成当前帧的检测后进行缓存，并作为下一帧的检测基础，有效增加了网络的记忆能力，不仅保留了更丰富的全局信息，也减少了网络的开销。