一种样本数据生成方法、目标检测方法及设备与流程

本申请涉及图像处理，尤其涉及一种样本数据生成方法、目标检测方法及设备。

背景技术：

1、当前，使用深度学习方法的机器视觉技术在各个领域被广泛应用，在基于机器视觉的目标检测领域，只要采集足够多的正样本数据和负样本数据，选取合适的深度学习模型，训练之后就可以得到一个效果良好的目标检测模型。因此，样本数据对于提升目标检测模型的检测准确率具有重要价值。

2、但是随着目标检测场景中干扰物呈现的多样性的复杂变化，对于符合干扰场景的疑难样本的大量采集将花费很高的成本，为此现有技术的做法一般是基于非干扰场景的正样本通过人工进行图像编辑操作获得负样本，再利用这些制造出的样本对目标检测模型进行有针对性的训练。这种方式由于图像编辑技术操作空间有限，且需要依赖于人工，无法生成大量的具有多样性的负样本，以及由于生成的负样本和实际场景的负样本之间相差还是很大，因此仍然不能有效解决对于干扰物的误检问题以及有效提升目标检测准确性。

技术实现思路

1、为了克服上述缺陷，本申请提出的样本数据生成方法、目标检测方法及设备，可以解决特定场景下干扰物引起的误检问题以及有效提升目标检测准确性。

2、在第一方面，本申请提供一种样本数据生成方法，包括：

3、获取干扰源图像和原始样本图像；

4、基于所述干扰源图像提取包含干扰物的前景图像，基于所述前景图像和所述原始样本图像合成第一样本图像；

5、基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息，利用训练好的图像生成模型生成第二样本图像；

6、基于所述第一样本图像和所述第二样本图像得到用于目标检测的样本数据。

7、一种优选方式中，所述基于所述干扰源图像提取包含干扰物的前景图像，基于所述前景图像和所述原始样本图像合成第一样本图像具体包括：对所述干扰源图像进行前景目标分割以获取干扰物掩膜图像；以所述原始样本图像为背景图像，将所述干扰物掩膜图像和所述背景图像进行融合处理以合成得到所述第一样本图像。

8、进一步地，所述将所述干扰物掩膜图像和所述背景图像进行融合处理以合成得到所述第一样本图像具体为：将所述背景图像中不存在检测目标的区域确定为贴图区域，将所述干扰物掩膜图像贴图至所述背景图像中的所述贴图区域以合成得到所述第一样本图像。

9、进一步地，所述合成得到所述第一样本图像之前还包括：对所述融合处理后的图像进行和谐化处理以输出得到所述第一样本图像。

10、一种优选方式中，所述包含干扰物特征的信息具体为干扰物描述文本，所述包含干扰物生成位置的信息具体为生成位置描述文本；所述图像生成模型的输入包括文本输入和图片输入；

11、所述基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息，利用训练好的图像生成模型生成第二样本图像具体为：将所述原始样本图像作为图片输入，将所述干扰物描述文本和所述生成位置描述文本作为文本输入，利用所述图像生成模型生成所述第二样本图像。

12、一种优选方式中，所述包含干扰物特征的信息具体为所述包含干扰物的前景图像，所述包含干扰物生成位置的信息具体为生成位置描述文本；所述图像生成模型的输入包括文本输入和图片输入；

13、所述基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息，利用训练好的图像生成模型生成第二样本图像具体为：将所述原始样本图像和所述包含干扰物的前景图像作为图片输入，将所述生成位置描述文本作为文本输入，利用所述图像生成模型生成所述第二样本图像。

14、一种优选方式中，所述获取干扰源图像具体为：从网络数据中获取包含干扰物的干扰源图像。

15、在第二方面，本申请提供一种目标检测方法，所述方法包括：

16、获取待检测图像；

17、将所述待检测图像输入预先训练的目标检测模型，通过所述目标检测模型输出得到目标检测结果；

18、所述目标检测模型是利用上述的样本数据生成方法生成的样本数据训练得到。

19、在第三方面，本申请提供一种智能设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；

20、其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述目标检测方法。

21、在第四方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述样本数据生成方法或目标检测方法的技术方案中任一项技术方案所述的方法。

22、本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：在实施本申请的技术方案提供的样本数据生成方法中，基于包含干扰物的前景图像和原始样本图像合成第一样本图像，基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息，利用训练好的图像生成模型生成第二样本图像；以及基于所述第一样本图像和所述第二样本图像得到用于目标检测的样本数据，通过同时结合了图像合成和图像生成两种方式来获得具有多样性的样本数据，以此来应对由于干扰物的多样性引起的误检问题，基于具有多样性的样本数据完成目标检测模型的训练，进而提高应用该目标检测模型进行目标检测的准确性。

技术特征：

1.一种样本数据生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述干扰源图像提取包含干扰物的前景图像，基于所述前景图像和所述原始样本图像合成第一样本图像具体包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述干扰物掩膜图像和所述背景图像进行融合处理以合成得到所述第一样本图像具体为：

4.根据权利要求2所述的方法，其特征在于，所述合成得到所述第一样本图像之前还包括：对所述融合处理后的图像进行和谐化处理以输出得到所述第一样本图像。

5.根据权利要求1所述的方法，其特征在于，所述包含干扰物特征的信息具体为干扰物描述文本，所述包含干扰物生成位置的信息具体为生成位置描述文本；所述图像生成模型的输入包括文本输入和图片输入；

6.根据权利要求1所述的方法，其特征在于，所述包含干扰物特征的信息具体为所述包含干扰物的前景图像，所述包含干扰物生成位置的信息具体为生成位置描述文本；所述图像生成模型的输入包括文本输入和图片输入；

7.根据权利要求1所述的方法，其特征在于，所述获取干扰源图像具体为：从网络数据中获取包含干扰物的干扰源图像。

8.一种目标检测方法，其特征在于，所述方法包括：

9.一种智能设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；

10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至8中任一项所述的方法。

技术总结
本申请公开了一种样本数据生成方法、目标检测方法及设备，涉及图像处理技术领域。所述样本数据生成方法包括：获取干扰源图像和原始样本图像；基于所述干扰源图像提取包含干扰物的前景图像，基于所述前景图像和所述原始样本图像合成第一样本图像；基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息，利用训练好的图像生成模型生成第二样本图像；基于所述第一样本图像和所述第二样本图像得到用于目标检测的样本数据。本申请的样本数据生成方法可用于获得具有多样性的样本数据，基于具有多样性的样本数据完成目标检测模型的训练，进而提高应用该目标检测模型进行目标检测的准确性。

技术研发人员：范彦文,慕帅,胡一博,石海林,牛建伟
受保护的技术使用者：蔚来汽车科技（安徽）有限公司
技术研发日：
技术公布日：2024/3/21