基于互联网搜索的检测类别自扩展目标检测方法及装置

本发明涉及计算机视觉，尤其涉及一种基于互联网搜索的检测类别自扩展目标检测方法及装置。

背景技术：

1、目标检测是计算机视觉领域的核心问题之一，其任务就是找出图像中所有感兴趣的目标，确定它们的类别和位置，其广泛应用于在安防监控、智能视频分析、自动驾驶等领域。

2、目前，多通过搜集样本图片并对样本图片进行人工标注后，基于样本图片以及对应的标注训练得到目标检测模型，以基于目标检测模型进行目标检测。然而，若要保证目标检测模型的检测精度，则需要获取大量的样本图片，进而也需要对大量样本图片进行人工标注，成本较高。

技术实现思路

1、本发明提供一种基于互联网搜索的检测类别自扩展目标检测方法及装置，用以解决现有技术中目标检测成本较高的缺陷。

2、本发明提供一种基于互联网搜索的检测类别自扩展目标检测方法，包括：

3、获取待检测图片；

4、将所述待检测图片输入至目标检测模型，得到所述目标检测模型输出的目标检测结果；

5、其中，所述目标检测模型基于如下步骤训练得到：

6、基于待扩展检测类别，搜索所述待扩展检测类别对应的样本图片；

7、基于所述样本图片以及所述待扩展检测类别，对初始检测模型进行训练，得到第一检测模型；

8、将所述样本图片输入至所述第一检测模型，得到所述第一检测模型输出的所述样本图片对应的第一伪标签；

9、基于所述样本图片、所述第一伪标签以及携带有标签的已知类别图片，对所述第一检测模型进行训练，得到所述目标检测模型。

10、根据本发明提供的一种基于互联网搜索的检测类别自扩展目标检测方法，所述基于所述样本图片以及所述待扩展检测类别，对初始检测模型进行训练，得到第一检测模型，包括：

11、基于所述样本图片以及所述待扩展检测类别，进行弱监督定位模型的训练；

12、基于训练后的弱监督定位模型，在所述样本图片上生成物体包围框，得到目标样本图片；

13、基于所述目标样本图片以及所述待扩展检测类别，对所述初始检测模型进行训练，得到所述第一检测模型。

14、根据本发明提供的一种基于互联网搜索的检测类别自扩展目标检测方法，所述基于训练后的弱监督定位模型，在所述样本图片上生成物体包围框，得到目标样本图片，包括：

15、基于训练后的弱监督定位模型，在所述样本图片上生成物体包围框，得到初始目标样本图片；

16、对所述初始目标样本图片进行样本增强，得到所述目标样本图片。

17、根据本发明提供的一种基于互联网搜索的检测类别自扩展目标检测方法，所述基于所述样本图片、所述第一伪标签以及携带有标签的已知类别图片，对所述第一检测模型进行训练，得到所述目标检测模型，包括：

18、基于所述样本图片、所述第一伪标签以及携带有标签的已知类别图片，对所述第一检测模型进行训练，得到第二检测模型；

19、将复杂图片输入至所述第二检测模型，得到所述第二检测模型输出的所述复杂图片对应的第二伪标签；

20、基于所述复杂图片以及所述第二伪标签，对所述第一检测模型进行训练，得到所述目标检测模型；

21、其中，所述样本图片中包括单个检测目标，所述复杂图片中包括至少两个检测目标。

22、根据本发明提供的一种基于互联网搜索的检测类别自扩展目标检测方法，所述基于待扩展检测类别，搜索所述待扩展检测类别对应的样本图片，包括：

23、基于所述待扩展检测类别，确定搜索关键词；

24、基于所述搜索关键词，搜索所述样本图片。

25、根据本发明提供的一种基于互联网搜索的检测类别自扩展目标检测方法，所述基于所述样本图片以及所述待扩展检测类别，对初始检测模型进行训练，得到第一检测模型，之前还包括：

26、基于所述待扩展检测类别，确定所述待扩展检测类别对应的描述文本；

27、基于所述描述文本，对所述样本图片进行清洗。

28、根据本发明提供的一种基于互联网搜索的检测类别自扩展目标检测方法，所述初始检测模型基于二阶段目标检测框架构建得到。

29、本发明还提供一种基于互联网搜索的检测类别自扩展目标检测装置，包括：

30、获取单元，用于获取待检测图片；

31、检测单元，用于将所述待检测图片输入至目标检测模型，得到所述目标检测模型输出的目标检测结果；

32、其中，所述目标检测模型基于如下步骤训练得到：

33、基于待扩展检测类别，搜索所述待扩展检测类别对应的样本图片；

34、基于所述样本图片以及所述待扩展检测类别，对初始检测模型进行训练，得到第一检测模型；

35、将所述样本图片输入至所述第一检测模型，得到所述第一检测模型输出的所述样本图片对应的第一伪标签；

36、基于所述样本图片、所述第一伪标签以及携带有标签的已知类别图片，对所述第一检测模型进行训练，得到所述目标检测模型。

37、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于互联网搜索的检测类别自扩展目标检测方法。

38、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于互联网搜索的检测类别自扩展目标检测方法。

39、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于互联网搜索的检测类别自扩展目标检测方法。

40、本发明提供的基于互联网搜索的检测类别自扩展目标检测方法及装置，由于样本图片是基于待扩展检测类别搜索得到的，因此样本图片中的检测目标所属类别为待扩展检测类别，进而可以将样本图片作为训练样本，将待扩展检测类别作为样本图片的标签，对初始检测模型进行训练，得到第一检测模型。在得到第一检测模型后，由第一检测模型对样本图片进行目标检测，得到第一伪标签，即第一伪标签不需要依赖人工标注，节约了标注成本，进而可以基于样本图片、第一伪标签以及携带有标签的已知类别图片一同对第一检测模型进行训练，得到目标检测模型，也就是本发明能够使得目标检测模型无需额外人工标注即可实现扩展检测类别。

技术特征：

1.一种基于互联网搜索的检测类别自扩展目标检测方法，其特征在于，包括：

2.根据权利要求1所述的基于互联网搜索的检测类别自扩展目标检测方法，其特征在于，所述基于所述样本图片以及所述待扩展检测类别，对初始检测模型进行训练，得到第一检测模型，包括：

3.根据权利要求2所述的基于互联网搜索的检测类别自扩展目标检测方法，其特征在于，所述基于训练后的弱监督定位模型，在所述样本图片上生成物体包围框，得到目标样本图片，包括：

4.根据权利要求1至3任一项所述的基于互联网搜索的检测类别自扩展目标检测方法，其特征在于，所述基于所述样本图片、所述第一伪标签以及携带有标签的已知类别图片，对所述第一检测模型进行训练，得到所述目标检测模型，包括：

5.根据权利要求1至3任一项所述的基于互联网搜索的检测类别自扩展目标检测方法，其特征在于，所述基于待扩展检测类别，搜索所述待扩展检测类别对应的样本图片，包括：

6.根据权利要求1至3任一项所述的基于互联网搜索的检测类别自扩展目标检测方法，其特征在于，所述基于所述样本图片以及所述待扩展检测类别，对初始检测模型进行训练，得到第一检测模型，之前还包括：

7.根据权利要求1至3任一项所述的基于互联网搜索的检测类别自扩展目标检测方法，其特征在于，所述初始检测模型基于二阶段目标检测框架构建得到。

8.一种基于互联网搜索的检测类别自扩展目标检测装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于互联网搜索的检测类别自扩展目标检测方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于互联网搜索的检测类别自扩展目标检测方法。

技术总结
本发明提供一种基于互联网搜索的检测类别自扩展目标检测方法及装置，所述方法包括：将待检测图片输入至目标检测模型，得到目标检测模型输出的目标检测结果；其中，目标检测模型的训练步骤包括：基于待扩展检测类别，搜索待扩展检测类别对应的样本图片；基于样本图片以及待扩展检测类别，对初始检测模型进行训练，得到第一检测模型；将样本图片输入至第一检测模型，得到第一检测模型输出的样本图片对应的第一伪标签；基于样本图片、第一伪标签以及携带有标签的已知类别图片一同对第一检测模型进行训练，得到目标检测模型。本发明能够使得目标检测模型无需额外人工标注即可实现扩展检测类别。

技术研发人员：张兆翔,常清,刘佳恒,彭君然
受保护的技术使用者：中国科学院自动化研究所
技术研发日：
技术公布日：2024/1/15