基于主动学习的工业图像标注推荐方法及系统

本发明属于图像标记，更具体地，涉及一种基于主动学习的工业图像标注推荐方法及系统。

背景技术：

1、缺陷分割在工业生产的质量控制中起着至关重要的作用。近年来，神经网络的快速发展使其在缺陷分割中得到了广泛的应用。然而，工业场景中很难快速获取并注释足够的缺陷数据以用于神经网络训练。

2、在现有方法中，通常雇佣人工进行标记，然而由于工业数据中对于产品合格率的控制，绝大多数数据均为正常数据，这些数据是不需要标记的，这造成了极大的人力和物力的浪费，而且将全部数据进行存储以进行人工标记，也会占据着大量的数据存储空间。

3、因此，如何从海量的工业数据中选出最有价值的数据存储并快速标记成为工业产线中亟待解决的问题。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种基于主动学习的工业图像标注推荐方法及系统，其目的在于对于工业现场数据优先选择出最具价值数据进行存储和标记，以控制标记成本的同时提高标记效果且节省存储空间。

2、为实现上述目的，按照本发明的一个方面，提供了一种基于主动学习的工业图像标注推荐方法，工业图像标注推荐过程包括：

3、获取一组未带标签的原始图像，将每个原始图像分别输入分割学习器和重建学习器，利用分割学习器预测各原始图像的缺陷区域，利用重建学习器对各原始图像进行重建得到重建图像；

4、计算重建图像与对应的原始图像在缺陷区域的损失以作为重建误差；

5、选择重建误差较大的部分原始图像以用于精细标记；

6、其中，所述重建学习器为通过以下方法训练所得：

7、获取训练集，包括被标记为无缺陷的正常图像和存在缺陷的缺陷图像；

8、构建与缺陷图像相应的训练目标图像，所述训练目标图像为将缺陷图像中被标记为缺陷区域的图像替换为正常图像中相同区域的图像所得；

9、将缺陷图像输入重建学习器进行训练以使所述重建学习器输出的重构图像趋近相应的训练目标图像。

10、在其中一个实施例中，所述重建误差的计算公式为：

11、

12、h、w分别为原始图像的高和宽，pij为原始图像中位于高i宽j处像素点[i][j]的图像损失，其中，当像素点[i][j]位于缺陷区域，则图像损失pij为原始图像和重建图像在像素点[i][j]的图像差值的平方，当像素点[i][j]位于缺陷区域之外的区域，则图像损失pij＝0。

13、在其中一个实施例中，图像损失pij的计算方法包括：

14、根据分割学习器的预测结果构造掩膜图像g1，其中，掩膜图像在缺陷区域的数值为1，在其余区域的数值为0；

15、根据掩膜图像计算图像损失pij：

16、pij＝[(g1⊙g(i；θg)-g1⊙i)2]ij

17、其中，g1为掩膜图像，i为输入重建学习器的原始图像，g(i；θg)表示根据原始图像i得到的重建图像，θg为重建学习器的权重参数，[]ij表示在像素点[i][j]的数值。

18、在其中一个实施例中，在工业图像标注推荐之前，还包括训练重建学习器，其中所用的训练集的获取方法包括：

19、采集未标记的原始图像训练代理学习器以使所述代理学习器输出的代理图像趋近于输入的原始图像；

20、将原始图像输入训练好的代理学习器，获取对应的代理图像，计算原始图像与对应的代理图像之间的损失作为代理损失，选择代理损失较大的部分原始图像以用于精细标记后获得被标记为无缺陷的正常图像和存在缺陷的缺陷图像。

21、在其中一个实施例中，

22、训练代理学习器时，代理学习器采用随机掩膜图像重建的方式根据输入的原始图像进行重建以输出代理图像；

23、利用训练好的代理学习器获取代理图像并计算原始图像与对应的代理图像之间的损失作为代理损失，包括：

24、代理学习器采用逐一掩膜图像重建的方式根据输入的原始图像进行重建以输出多个代理图像，所述逐一掩膜图像为将输入的原始图像划分为多个区域并分别根据其中的一个不同区域进行重建，得到多个代理图像；

25、计算输出的每个代理图像与输入的原始图像之间的图像损失并取最大的图像损失作为对应原始图像的代理损失。

26、在其中一个实施例中，所述重建学习器的结构为将unet网路模型中的卷积替换为空洞卷积所得。

27、在其中一个实施例中，在工业图像标注推荐之前，还包括：

28、训练分割学习器，以使所述分割学习器实现对输入的原始图像中的缺陷区域进行分割。

29、在其中一个实施例中，在工业图像标注推荐期间，还包括；

30、根据新增的带标签的图像继续训练所述分割学习器以更新网络参数。

31、按照本发明的另一方面，提供了一种基于主动学习的工业图像标注推荐系统，包括：

32、分割学习器，用于预测未带标签的原始图像的缺陷区域；

33、重建学习器，用于根据输入的未带标签的原始图像获取重建图像；

34、重建误差计算单元，用于计算重建图像与输入的原始图像在被标记为缺陷区域的损失以作为重建误差；

35、选择单元，用于在获得多个原始图像对应的重建误差后，选择重建误差较大的部分原始图像以用于精细标记；

36、其中，所述重建学习器为通过以下方法训练所得：

37、获取训练集，包括被标记为无缺陷的正常图像和存在缺陷的缺陷图像；

38、构建与缺陷图像相应的训练目标图像，所述训练目标图像为将缺陷图像中被标记为缺陷区域的图像替换为正常图像中相同区域的图像所得；

39、将缺陷图像输入重建学习器进行训练以使所述重建学习器输出的重构图像趋近相应的训练目标图像。

40、在其中一个实施例中，还包括：

41、代理学习器，用于根据输入的原始图像获取对应的代理图像；

42、代理损失计算单元，用于计算原始图像与对应的代理图像之间的损失作为代理损失；

43、分配单元，用于选择代理损失较大的部分原始图像以用于精细标记后获得被标记为无缺陷的正常图像和存在缺陷的缺陷图像并作为训练重建学习器的训练集；

44、其中，所述代理学习器通过以下方法训练所得：

45、采集未标记的原始图像训练代理学习器以使所述代理学习器输出的代理图像趋近于输入的原始图像。

46、总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

47、本发明提出的基于主动学习的工业图像标注推荐方法及系统，实现了对于工业现场数据的快速处理，通过结合分割学习器和重建学习器，其中，重建学习器为通过特定训练方式所得的能够根据输入恢复正常图像的学习器，利用分割学习器分割出缺陷区域，利用重建学习器为重建趋近于正常图像的代理图像，然后判断代理图像与原始的图像在缺陷区域的重建损失，重建损失越大，说明原始图像与通过重建学习器恢复的正常图像在缺陷区域的差别越大，原始图像越不可能是正常图像，即原始图像存在缺陷的概率越大，进行缺陷标记的价值越高，优先选择出最具价值数据进行存储和标记，大幅降低工业现场数据的存储需求，并节省标记成本。