难例样本图像确定方法、装置、设备和存储介质与流程

本技术涉及图像处理，特别涉及一种难例样本图像确定方法、装置、设备和存储介质。

背景技术：

1、应人们日常生活的图像处理需求，分割抠图技术越来越普遍。分割抠图是指人们可以从图像中分离出自己想要的图像内容，比如想要从图像中分离出一条狗等。分割抠图一般是通过神经网络模型实现，这种情况下，分割抠图的准确与否与训练数据集关系颇大。

2、一般情况下，分割抠图技术最重要的工作在于对图像中细微内容的分割，这就要求在训练时，神经网络模型能够学习到对于细微内容的分割能力。因此训练数据集中就要包括多种难例图像，也即是需要包含结构、内容复杂的难以分割的图像。则亟需一种难例样本图像确定方法，以得到更多的难例图像来扩充训练数据集。

技术实现思路

1、本技术提供了一种难例样本图像确定方法、装置、设备和存储介质，可以确定出多个难例样本图像，从而后续可以扩充训练数据集，进而优化模型的抠图性能。技术方案如下：

2、第一方面，提供了一种难例样本图像确定方法，所述方法包括：

3、通过第一抠图模型对多个样本图像进行抠图，得到各个所述样本图像对应的第一掩码图像，所述第一掩码图像用于指示对应样本图像中样本对象的第一预测位置；

4、通过第二抠图模型，基于各个所述样本图像对应的第一掩码图像，对所述多个样本图像进行抠图，得到各个所述样本图像对应的第二掩码图像，所述第二掩码图像用于指示对应样本图像中样本对象的第二预测位置，所述第二抠图模型的抠图性能优于所述第一抠图模型；

5、基于各个所述样本图像对应的第一掩码图像与第二掩码图像之间的交并比，从所述多个样本图像中确定多个第一难例样本图像。

6、在本技术中，先通过第一抠图模型对多个样本图像进行抠图，得到各个样本图像对应的第一掩码图像，再通过第二抠图模型基于各个样本图像对应的第一掩码图像对多个样本图像进行抠图，得到各个样本图像对应的第二掩码图像。相当于是先通过一个抠图模型进行初步抠图，再通过另一个性能较好的抠图模型基于第一次抠图的结果进行再次抠图，得到更为精细的抠图结果。之后基于各样本图像对应的第一掩码图像与第二掩码图像之间的交并比，从多个样本图像中确定多个第一难例样本图像。由于交并比可以用于对模型的抠图效果进行评估，那么后续基于第一掩码图像与第二掩码图像之间的交并比来确定多个第一难例样本，使得可以根据模型的抠图效果，确定分割不够准确的样本图像有哪些，也即是确定多个第一难例样本图像。如此，可以自动确定出多个难例样本图像，以扩充训练数据集，并且以自动的方式得到多个难例样本图像可以节省人工成本和时间成本。

7、可选地，所述通过第二抠图模型，基于各个所述样本图像对应的第一掩码图像，对所述多个样本图像进行抠图，得到各个所述样本图像对应的第二掩码图像之前，还包括：

8、对于各个所述样本图像对应的第一掩码图像，确定所述第一掩码图像中样本对象的第一预测位置的位置信息；

9、所述通过第二抠图模型，基于各个所述样本图像对应的第一掩码图像，对所述多个样本图像进行抠图，得到各个所述样本图像对应的第二掩码图像，包括：

10、对于所述多个样本图像中任意的一个样本图像，将所述样本图像和所述样本图像对应的第一掩码图像中所述第一预测位置的位置信息输入所述第二抠图模型中，通过所述第二抠图模型结合所述第一预测位置的位置信息对所述样本图像进行抠图，得到所述样本图像对应的第二掩码图像。

11、可选地，所述第二抠图模型包括图像编码器、掩码解码器和提示编码器，所述将所述样本图像和所述样本图像对应的第一掩码图像中所述第一预测位置的位置信息输入所述第二抠图模型中，通过所述第二抠图模型结合所述第一预测位置的位置信息对所述样本图像进行抠图，得到所述样本图像对应的第二掩码图像，包括：

12、将所述样本图像输入所述图像编码器，通过所述图像编码器提取所述样本图像的图像特征；

13、将所述第一预测位置的位置信息输入所述提示编码器，得到所述样本对象的位置特征；

14、将所述样本图像的图像特征和所述位置特征输入所述掩码解码器，通过所述掩码解码器输出所述样本图像对应的第二掩码图像。

15、可选地，所述基于各个所述样本图像对应的第一掩码图像与第二掩码图像之间的交并比，从所述多个样本图像中确定多个第一难例样本图像，包括：

16、对于所述多个样本图像中任意的一个样本图像，在所述样本图像对应的第一掩码图像与第二掩码图像之间的交并比小于或等于预设交并比阈值的情况下，确定所述样本图像为所述第一难例样本图像。

17、可选地，所述基于各个所述样本图像对应的第一掩码图像与第二掩码图像之间的交并比，从所述多个样本图像中确定多个第一难例样本图像之后，还包括：

18、基于所述多个第一难例样本图像，从目标数据库中确定多个第二难例样本图像，所述目标数据库用于存储预先收集的样本图像。

19、可选地，所述目标数据库中包括多个参考图像，所述基于所述多个第一难例样本图像，从目标数据库中确定多个第二难例样本图像，包括：

20、对于所述多个第一难例样本图像中任意的一个第一难例样本图像，对所述第一难例样本图像进行特征提取，得到第一图像特征；

21、分别对所述多个参考图像进行特征提取，得到多个第二图像特征；

22、分别确定所述第一图像特征与所述多个第二图像特征之间的相似度；

23、基于多个所述第一图像特征与所述多个第二图像特征之间的相似度，确定所述多个第二难例样本图像。

24、可选地，所述基于多个所述第一图像特征与所述多个第二图像特征之间的相似度，确定所述多个第二难例样本图像，包括：

25、对于所述第一图像特征与所述多个第二图像特征中任意一个第二图像特征之间的相似度，在所述第一图像特征与所述第二图像特征之间的相似度大于或等于预设相似度阈值的情况下，确定所述第二图像特征对应的参考图像为第二难例样本图像；

26、在所述第一图像特征与所述第二图像特征之间的相似度小于预设相似度阈值的情况下，确定所述第二图像特征对应的参考图像不是第二难例样本图像。

27、可选地，所述方法还包括：

28、提取目标文本的文本特征，所述目标文本为难例样本图像的文本描述；

29、将所述文本特征转换为第一多模态特征；

30、分别将所述多个第二图像特征转换为多个第二多模态特征；

31、分别确定所述第一多模态特征与所述多个第二多模态特征之间的相似度；

32、基于所述第一多模态特征与所述多个第二多模态特征之间的相似度，确定多个第二难例样本图像。

33、第二方面，提供了一种难例样本图像确定装置，所述装置包括：

34、第一抠图模块，用于通过第一抠图模型对多个样本图像进行抠图，得到各个所述样本图像对应的第一掩码图像，所述第一掩码图像用于指示对应样本图像中样本对象的第一预测位置；

35、第二抠图模块，用于通过第二抠图模型，基于各个所述样本图像对应的第一掩码图像，对所述多个样本图像进行抠图，得到各个所述样本图像对应的第二掩码图像，所述第二掩码图像用于指示对应样本图像中样本对象的第二预测位置，所述第二抠图模型的抠图性能优于所述第一抠图模型；

36、第一确定模块，用于基于各个所述样本图像对应的第一掩码图像与第二掩码图像之间的交并比，从所述多个样本图像中确定多个第一难例样本图像。

37、可选地，所述装置还包括：

38、第二确定模块，用于对于各个所述样本图像对应的第一掩码图像，确定所述第一掩码图像中样本对象的第一预测位置的位置信息；

39、所述第二抠图模块用于：

40、对于所述多个样本图像中任意的一个样本图像，将所述样本图像和所述样本图像对应的第一掩码图像中所述第一预测位置的位置信息输入所述第二抠图模型中，通过所述第二抠图模型结合所述第一预测位置的位置信息对所述样本图像进行抠图，得到所述样本图像对应的第二掩码图像。

41、可选地，所述第二抠图模型包括图像编码器、掩码解码器和提示编码器，所述第二抠图模块用于：

42、将所述样本图像输入所述图像编码器，通过所述图像编码器提取所述样本图像的图像特征；

43、将所述第一预测位置的位置信息输入所述提示编码器，得到所述样本对象的位置特征；

44、将所述样本图像的图像特征和所述位置特征输入所述掩码解码器，通过所述掩码解码器输出所述样本图像对应的第二掩码图像。

45、可选地，所述第一确定模块用于：

46、对于所述多个样本图像中任意的一个样本图像，在所述样本图像对应的第一掩码图像与第二掩码图像之间的交并比小于或等于预设交并比阈值的情况下，确定所述样本图像为所述第一难例样本图像。

47、可选地，所述装置还包括：

48、第三确定模块，用于基于所述多个第一难例样本图像，从目标数据库中确定多个第二难例样本图像，所述目标数据库用于存储预先收集的样本图像。

49、可选地，所述目标数据库中包括多个参考图像，所述第三确定模块用于：

50、对于所述多个第一难例样本图像中任意的一个第一难例样本图像，对所述第一难例样本图像进行特征提取，得到第一图像特征；

51、分别对所述多个参考图像进行特征提取，得到多个第二图像特征；

52、分别确定所述第一图像特征与所述多个第二图像特征之间的相似度；

53、基于多个所述第一图像特征与所述多个第二图像特征之间的相似度，确定所述多个第二难例样本图像。

54、可选地，所述第三确定模块用于：

55、对于所述第一图像特征与所述多个第二图像特征中任意一个第二图像特征之间的相似度，在所述第一图像特征与所述第二图像特征之间的相似度大于或等于预设相似度阈值的情况下，确定所述第二图像特征对应的参考图像为第二难例样本图像；

56、在所述第一图像特征与所述第二图像特征之间的相似度小于预设相似度阈值的情况下，确定所述第二图像特征对应的参考图像不是第二难例样本图像。

57、可选地，所述装置还包括：

58、特征提取模块，用于提取目标文本的文本特征，所述目标文本为难例样本图像的文本描述；

59、第一转换模块，用于将所述文本特征转换为第一多模态特征；

60、第二转换模块，用于分别将所述多个第二图像特征转换为多个第二多模态特征；

61、第四确定模块，用于分别确定所述第一多模态特征与所述多个第二多模态特征之间的相似度；

62、第五确定模块，用于基于所述第一多模态特征与所述多个第二多模态特征之间的相似度，确定多个第二难例样本图像。

63、第三方面，提供了一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的难例样本图像确定方法。

64、第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的难例样本图像确定方法。

65、第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述的难例样本图像确定方法的步骤。

66、可以理解的是，上述第二方面、第三方面、第四方面、第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。