基于目标检测的排序方法、装置、电子设备及存储介质与流程

本技术涉及计算机视觉，尤其涉及一种基于目标检测的排序方法、装置、电子设备及存储介质。

背景技术：

1、依赖于计算机视觉技术的发展，目标检测在图像识别、图像处理场景中得到了广泛应用，为满足新兴业务场景的需求，基于目标检测的主体排序技术一时成为行业研究热门。主体性是指目标在图像中的重要性和显著性，主体排序是指对于图像中检测出的所有目标，根据该目标的主体性对其进行排序。然而，相关技术中的主体排序方案在排序的准确度上表现欠佳。

技术实现思路

1、本技术实施例提供了一种基于目标检测的排序方法、装置、电子设备及存储介质，有利于提升图像中目标物体主体排序的准确度。

2、本技术实施例第一方面提供了一种基于目标检测的排序方法，该方法包括：

3、对待处理图像进行目标检测，得到待处理图像中的多个第一目标物体的多个第一检测框信息，多个第一目标物体与多个第一检测框信息一一对应；

4、根据多个第一检测框信息，得到多个第一目标物体的第一辨识度、第一检测框特征和第一相对关系表征；

5、获取多个第一目标物体与待处理图像对应的文本之间的第一相关性；

6、根据第一辨识度、第一检测框特征、第一相对关系表征和第一相关性中的一个或多个，对多个第一目标物体进行排序，得到多个第一目标物体的主体性排序结果。

7、结合第一方面，在一种可能的实现方式中，多个第一检测框信息包括对应的检测框的第一置信度，根据多个第一检测框信息，得到多个第一目标物体的第一辨识度，包括：

8、将多个第一检测框信息中的第一置信度确定为分别对应的检测框内的第一目标物体的第一辨识度。

9、结合第一方面，在一种可能的实现方式中，多个第一检测框信息包括对应的检测框的高度偏移、宽度偏移、中心点的横坐标偏移和纵坐标偏移，根据多个第一检测框信息，得到多个第一目标物体的第一检测框特征，包括：

10、根据检测框的高度偏移和宽度偏移，分别得到检测框的高度和宽度；

11、根据中心点的横坐标偏移和纵坐标偏移，得到中心点的坐标；

12、根据检测框的高度和宽度，得到检测框的面积；

13、根据中心点的坐标和待处理图像的中心点坐标，得到检测框的位置偏移量；

14、将检测框的面积和检测框的位置偏移量确定为检测框内的第一目标物体的第一检测框特征。

15、结合第一方面，在一种可能的实现方式中，根据多个第一检测框信息，得到多个第一目标物体的第一相对关系表征，包括：

16、根据多个第一目标物体分别对应的第一检测框信息，获取多个第一目标物体分别对应的检测框与其他检测框的交并比，并确定出最大交并比；

17、获取检测框与其他检测框的包含关系；

18、将最大交并比、检测框与其他检测框的包含关系及待处理图像中的检测框的数量确定为检测框内的第一目标物体的第一相对关系表征。

19、结合第一方面，在一种可能的实现方式中，根据第一辨识度、第一检测框特征、第一相对关系表征和第一相关性中的一个或多个，对多个第一目标物体进行排序，得到多个第一目标物体的主体性排序结果是通过训练好的排序模型执行的，排序模型采用以下步骤训练得到：

20、对训练数据集中的训练图像进行目标检测，得到训练图像中的多个第二目标物体的多个第二检测框信息，多个第二目标物体与多个第二检测框信息一一对应，训练数据集中包括训练图像对应的文本，训练图像中包括多个第二目标物体的排序标注数据；

21、根据多个第二检测框信息，得到多个第二目标物体的第二辨识度、第二检测框特征和第二相对关系表征；

22、获取多个第二目标物体与训练图像对应的文本之间的第二相关性；

23、根据多个第二目标物体的第二辨识度、第二检测框特征、第二相对关系表征和第二相关性，通过预设的排序算法框架对多个第二目标物体进行排序，得到多个第二目标物体的主体性排序结果；

24、根据多个第二目标物体的主体性排序结果和多个第二目标物体的排序标注数据训练排序算法框架，得到排序模型。

25、结合第一方面，在一种可能的实现方式中，训练数据集中包括多张训练图像，多张训练图像和多张训练图像分别对应的文本构成一个图文对；根据多个第二目标物体的主体性排序结果和多个第二目标物体的排序标注数据训练排序算法框架，得到排序模型，包括：

26、根据多个第二目标物体的主体性排序结果和多个第二目标物体的排序标注数据，得到排序算法框架的准确率度量指标；

27、根据准确率度量指标对排序算法框架的参数进行调整，迭代训练数据集中的图文对，直至准确率度量指标达到预设阈值，得到排序模型。

28、结合第一方面，在一种可能的实现方式中，在对训练数据集中的训练图像进行目标检测，得到训练图像中的多个第二目标物体的多个第二检测框信息之前，该方法还包括：

29、对于训练图像对应的原始样本图像，通过预设的检测模型对原始样本图像进行目标检测，以在原始样本图像中预标注出多个第二目标物体的多个检测框，多个第二目标物体与多个检测框一一对应，多个检测框存在对应的第二置信度；

30、根据多个检测框的面积，获取多个检测框内的第二目标物体的物体大小得分；

31、根据多个检测框的中心点坐标和原始样本图像的中心点坐标，获取多个检测框内的第二目标物体的位置得分；

32、根据多个检测框对应的第二置信度，获取多个检测框内的第二目标物体的辨识度得分；以及，

33、获取多个检测框内的第二目标物体与训练图像对应的文本之间的第三相关性，根据第三相关性获取多个检测框内的第二目标物体的相关性得分；

34、根据物体大小得分、位置得分、辨识度得分及相关性得分，对多个第二目标物体进行主体性排序标注，得到多个第二目标物体的排序标注数据。

35、本技术实施例第二方面提供了一种基于目标检测的排序装置，该装置包括处理单元，处理单元用于：

36、对待处理图像进行目标检测，得到待处理图像中的多个第一目标物体的多个第一检测框信息，多个第一目标物体与多个第一检测框信息一一对应；

37、根据多个第一检测框信息，得到多个第一目标物体的第一辨识度、第一检测框特征和第一相对关系表征；

38、获取多个第一目标物体与待处理图像对应的文本之间的第一相关性；

39、根据第一辨识度、第一检测框特征、第一相对关系表征和第一相关性中的一个或多个，对多个第一目标物体进行排序，得到多个第一目标物体的主体性排序结果。

40、本技术实施例第三方面提供了一种电子设备，该电子设备包括输入设备和输出设备，还包括处理器，适于实现一条或多条指令；以及，存储器，所述存储器存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行如第一方面所述方法中的步骤。

41、本技术实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如第一方面所述方法中的步骤。

42、本技术实施例第五方面提供了一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如第一方面所述的方法。

43、可以看出，本技术实施例中，通过对目标检测得到的多个第一检测框信息进行整理和转换，可以得到表示待处理图像中的多个第一目标物体的主体性的第一辨识度、第一检测框特征和第一相对关系表征，以及可以通过图文匹配得到多个个第一目标物体与待处理图像对应的文本之间的第一相关性，并根据第一辨识度、第一检测框特征、第一相对关系表征和第一相关性等多个特征对多个第一目标物体进行主体性排序。从多个维度充分考虑了影响主体性的各种因素，能够对待处理图像中的多个第一目标物体进行更细化的排序，且相比较仅考虑单一因素的主体性排序方案，有利于提升主体性排序的准确度。另外，由于考虑了图文之间的第一相关性，使得本方案在成对的图文场景中排序的效果更为显著，有效解决了文本指代明确的图文场景下的目标排序效果，对于图文关联性强的场景有重要价值。