用于自动视觉检查的图像增强技术的制作方法

本申请总体上涉及用于制药或其他应用的自动视觉检查系统，并且更具体地涉及增强在开发、训练和/或验证这样的系统时使用的图像库的技术。

背景技术：

1、在各种背景下，质量控制程序要求仔细检查样本是否存在缺陷，并拒绝、丢弃和/或进一步分析表现出缺陷的任何样本。例如，在制药背景下，容器(例如，注射器或小瓶)和/或其内容物(例如，流体或冻干药物产品)必须在销售或分销之前严格检查是否存在缺陷。许多其他行业同样依靠视觉检查来确保产品质量或用于其他目的。缺陷检查任务越来越多地变得自动化(即“自动视觉检查”或“avi”)，以消除人为错误、降低成本和/或减少检查时间(例如，处置大量药品或商业生产中的其他物品)。例如，“计算机视觉”或“机器视觉”软件已用于制药背景。

2、最近，深度学习技术已成为一种用于avi的有前途的工具。然而，这些技术通常需要比传统avi系统多得多的图像来开发、训练和全面测试模型(例如，神经网络)。此外，稳健的模型性能通常取决于精心设计的图像集。例如，图像集应当表现出足够多样的条件(例如，示出不同位置中的缺陷，并具有一系列不同的形状和大小等)。进一步地，如果图像集导致深度学习模型出于错误的原因(例如，基于无关的图像特征)做出决策，即使是庞大且多样化的训练图像库也可能导致avi性能不佳。在所描绘的缺陷相对于其他(非缺陷)图像特征较小或不明显(bland)的背景或场景中，这可能尤其成问题。

3、对于深度学习和更传统的(例如，机器视觉)avi系统两者而言，使用样本图像库的开发和鉴定过程应确保假阴性或“误接受”(即，缺陷被遗漏)以及假阳性或“误拒绝”(即，缺陷被错误识别)在可容忍的阈值内。例如，在某些背景(例如，涉及患者安全的制药背景)下可能需要零或接近零的假阴性。虽然假阳性可能不太重要，但从经济方面来看，它们可能导致非常高的成本，并且在开发avi系统时可能比假阴性更难解决。这些和其他因素会使图像库的开发成为一个高度迭代的过程，该过程非常复杂、劳动密集且成本高昂。此外，任何产品线变化(例如，新药品、新容器、容器内药品的新填充水平等)或检查过程本身的变化(例如，不同类型的相机镜头、相机定位或照明的变化等)可能不仅需要重新训练和/或重新鉴定模型，而且(在一些情况下)还需要部分或全部重建图像库。

技术实现思路

1、本文描述的实施例涉及自动图像增强技术，其辅助生成和/或评估用于开发、训练和/或验证用于avi的稳健深度学习模型的图像库。特别地，本文披露的各种图像增强技术对“原始”图像应用数字变换，以人为地扩展训练库的范围(例如，用于深度学习avi应用或用于更传统的计算机/机器视觉avi应用)。与先前用于扩展图像库的相对简单的图像变换(例如，反射、线性缩放和旋转)不同，本文描述的技术可以促进生成不仅更大和更多样化而且更平衡和更“具因果关系”的库，即，更有可能出于正确的原因做出分类/决策，而不会将重心放在无关的图像特征上，因此更有可能在广泛的样本中提供良好的性能。为了确保因果关系，本文描述的实施方式用于生成大量“群体代表性”合成图像(即，足以代表要由模型在运行时操作中推断的图像的合成图像)。

2、在本披露的一方面，一种新颖的算术转置算法用于通过将特征转置到原始图像上来以像素级真实感从原始图像生成合成图像。算术转置算法可以用于通过使用缺陷本身的图像增强“良好”图像(即，不描绘缺陷的图像)来生成合成“缺陷”图像(即，描绘那些缺陷的图像)。作为一个示例，该算法可以使用无缺陷注射器的图像以及注射器缺陷的图像来生成具有裂纹、畸形柱塞和/或其他缺陷的注射器的合成图像。作为另一个示例，该算法可以使用无缺陷车身部件的图像以及缺陷的图像来生成具有缺口、划痕、凹痕和/或其他缺陷的汽车车身部件的合成图像。质量控制或其他背景的许多其他应用也是可能的。

3、在本披露的其他方面，数字“修复”技术用于从原始图像生成逼真的合成图像，以补充用于训练和/或验证avi模型(例如，基于深度学习的avi模型)的图像库。在一个这样的方面，原始图像中描绘的缺陷可以通过以下方式来消除：屏蔽原始图像中的缺陷，计算(1)原始图像的与被屏蔽区域相邻的部分与(2)原始图像的在被屏蔽区域之外的其他部分之间的对应关系指标，并基于计算出的指标用人工的、无缺陷的部分填充被屏蔽部分。消除图像中的缺陷的能力可以对训练图像库产生微妙而深远的影响。特别地，在训练avi模型时，互补的“良好”和“缺陷”图像可以连在一起使用，以最大限度地减少背景偏差的影响。

4、本披露的其他数字修复技术利用了深度学习，如基于部分卷积的深度学习。这些基于深度学习的修复技术的变体可以用于消除原始图像中的缺陷、向原始图像添加缺陷和/或修改原始图像中的特征(例如，移动或改变其外观)。例如，这些技术的变体可以用于消除包含药物产品的注射器图像中的裂纹、缺口、纤维、畸形柱塞或其他缺陷，以将这样的缺陷添加到最初未描绘缺陷的注射器图像中，或移动或以其他方式修改原始注射器图像中描绘的弯月面或柱塞。这些基于深度学习的修复技术有助于精心设计训练图像库，即使对于传统上难以以成本效益的方式开发训练图像库的高混合、小批量应用，也可以提供良好的解决方案。

5、通常，本文披露的图像增强技术可以在“误接受”和“误拒绝”方面提高avi性能。为描绘的属性/特征(例如，弯月面水平、气隙大小、气泡、玻璃容器壁中的小不规则物等)添加可变性的图像增强技术对于减少误拒绝特别有用。

6、在本披露的其他方面，质量控制技术用于评估图像库用于训练和/或验证avi深度学习模型的适用性，和/或评估各个图像是否适合包括在这样的库中。这些技术可以包括评估图像在数据集上的可变性的“预处理”质量控制技术，以及评估合成/增强图像与一组图像(例如，未通过添加、消除或修改描绘的特征而改变的真实图像)之间的相似程度的“后处理”质量控制技术。

技术特征：

1.一种通过将特征转移到原始图像上来生成合成图像的方法，该方法包括：

2.如权利要求1所述的方法，其中：

3.如权利要求2所述的方法，其中：

4.如权利要求2所述的方法，其中：

5.如权利要求1-4中任一项所述的方法，其中，对该特征矩阵进行标准化包括逐行或逐列地对该特征矩阵进行标准化。

6.如权利要求5所述的方法，其中，逐行或逐列地对该特征矩阵进行标准化包括，针对该特征矩阵的每一行或每一列：

7.如权利要求6所述的方法，其中，逐行或逐列地对该特征矩阵进行标准化进一步包括，针对该特征矩阵的每一行或每一列：

8.如权利要求7所述的方法，其中，从该元素的值中减去该峰值部分的中心值包括从(ii)该元素的值中减去(i)该行或列中与该峰值部分相对应的所有值的平均值。

9.如权利要求1-8中任一项所述的方法，进一步包括：

10.如权利要求9所述的方法，其中，生成该合成图像包括，针对该特征矩阵的每一行或每一列：

11.如权利要求10所述的方法，其中，生成该合成图像包括将修改后的原始图像矩阵转换为位图图像。

12.如权利要求1-11中任一项所述的方法，其中，接收或产生该特征矩阵包括旋转该特征矩阵或该特征图像。

13.如权利要求12所述的方法，其中,旋转该特征矩阵或该特征图像包括将该特征矩阵或该特征图像旋转基于以下各项的量：(i)该特征图像中描绘的特征的旋转和(ii)该特征图像中描绘的特征的期望旋转。

14.如权利要求13所述的方法，进一步包括：

15.如权利要求1-14中任一项所述的方法，其中，接收或产生该特征矩阵包括调整该特征矩阵或该特征图像的大小。

16.如权利要求1-15中任一项所述的方法，进一步包括：

17.如权利要求1-16中任一项所述的方法，进一步包括：

18.如权利要求17所述的方法，进一步包括：

19.如权利要求18所述的方法，进一步包括：

20.一种系统，包括：

21.如权利要求20所述的系统，其中，对该特征矩阵进行标准化包括逐行或逐列地对该特征矩阵进行标准化。

22.如权利要求21所述的系统，其中，逐行或逐列地对该特征矩阵进行标准化包括，针对该特征矩阵的每一行或每一列：

23.如权利要求22所述的方法，其中,逐行或逐列地对该特征矩阵进行标准化进一步包括，针对该特征矩阵的每一行或每一列：

24.如权利要求23所述的系统，其中，从该元素的值中减去该峰值部分的中心值包括从(ii)该元素的值中减去(i)该行或列中与该峰值部分相对应的所有值的平均值。

25.如权利要求20-24中任一项所述的系统，其中，这些指令进一步使该系统执行以下操作：

26.如权利要求25所述的系统，其中，生成该合成图像包括：

27.如权利要求20-26中任一项所述的系统，其中，接收或产生该特征矩阵包括旋转该特征矩阵或该特征图像。

28.如权利要求27所述的系统，其中，旋转该特征矩阵或该特征图像包括将该特征矩阵或该特征图像旋转基于以下各项的量：(i)该特征图像中描绘的特征的旋转和(ii)该特征图像中描绘的特征的期望旋转。

29.如权利要求28所述的系统，其中，这些指令进一步使该系统执行以下操作：

30.如权利要求20-29中任一项所述的系统，其中，接收或产生该特征矩阵包括调整该特征矩阵或该特征图像的大小。

31.一种通过消除原始图像中描绘的缺陷来生成合成图像的方法，该方法包括：

32.如权利要求31所述的方法，其中,计算该对应关系指标包括：

33.如权利要求31或32所述的方法，其中：

34.如权利要求33所述的方法，其中：

35.如权利要求33所述的方法，其中：

36.如权利要求31-35中任一项所述的方法，进一步包括：

37.如权利要求36所述的方法，其中,训练用于自动视觉检查的神经网络包括使用该多个合成图像和该多个原始图像来训练该神经网络。

38.如权利要求31-37中任一项所述的方法，进一步包括：

39.一种系统，包括：

40.如权利要求39所述的系统，其中，计算该对应关系指标包括：

41.如权利要求39或40所述的系统，其中：

42.如权利要求41所述的系统，其中：

43.如权利要求41所述的系统，其中：

44.一种通过消除或修改原始图像中描绘的特征、或通过将描绘的特征添加到这些原始图像来生成合成图像的方法，该方法包括：

45.如权利要求44所述的方法，其中,该方法通过消除这些原始图像中描绘的缺陷来生成这些合成图像。

46.如权利要求45所述的方法，其中：

47.如权利要求46所述的方法，其中,这些训练图像、这些原始图像和这些合成图像描绘了容器。

48.如权利要求47所述的方法，其中,这些容器是注射器。

49.如权利要求48所述的方法，其中,对应的缺陷是注射器筒缺陷、注射器柱塞缺陷或与注射器内容物相关联的缺陷。

50.如权利要求47所述的方法，其中,这些容器是小瓶。

51.如权利要求50所述的方法，其中,对应的缺陷是小瓶壁缺陷、小瓶盖缺陷、小瓶卷边缺陷或与小瓶内容物相关联的缺陷。

52.如权利要求44所述的方法，其中,该方法通过将描绘的缺陷添加到这些原始图像或修改这些原始图像中描绘的特征来生成这些合成图像。

53.如权利要求52所述的方法，其中：

54.如权利要求53所述的方法，其中,生成这些合成图像包括针对这些原始图像中的每一个自动生成与该原始图像的特定部分相对应的对应掩模。

55.如权利要求53或54所述的方法，其中，这些训练图像、这些原始图像和这些合成图像描绘了容器。

56.如权利要求55所述的方法，其中,这些容器是注射器。

57.如权利要求56所述的方法，其中：

58.如权利要求55所述的方法，其中,这些容器是小瓶。

59.如权利要求58所述的方法，其中：

60.如权利要求53-55中任一项所述的方法，其中：

61.如权利要求52所述的方法，其中：

62.如权利要求61所述的方法，其中,这些训练图像、这些原始图像和这些合成图像描绘了容器。

63.如权利要求62所述的方法，其中,这些容器是注射器。

64.如权利要求63所述的方法，其中：

65.如权利要求62所述的方法，其中,这些容器是小瓶。

66.如权利要求63所述的方法，其中：

67.如权利要求61-66中任一项所述的方法，其中：

68.如权利要求61所述的方法，其中：

69.如权利要求44-68中任一项所述的方法，其中，训练该部分卷积模型包括最小化多个损失，该多个损失至少包括有效损失、孔洞损失、感知损失、风格损失和变化损失。

70.一种系统，包括：

71.如权利要求70所述的系统，其中，该系统通过消除这些原始图像中描绘的缺陷来生成这些合成图像。

72.如权利要求71所述的系统，其中：

73.如权利要求72所述的系统，其中，这些训练图像、这些原始图像和这些合成图像描绘了容器。

74.如权利要求70所述的系统，其中，该系统通过将描绘的缺陷添加到这些原始图像或修改这些原始图像中描绘的特征来生成这些合成图像。

75.如权利要求74所述的系统，其中：

76.如权利要求75所述的系统，其中，这些训练图像、这些原始图像和这些合成图像描绘了容器。

77.如权利要求75或76所述的系统，其中：

78.如权利要求75或76所述的系统，其中：

79.如权利要求74所述的系统，其中：

80.如权利要求79所述的系统，其中，这些训练图像、这些原始图像和这些合成图像描绘了容器。

81.如权利要求79或80所述的系统，其中：

82.如权利要求81所述的系统，其中：

83.如权利要求79或80所述的系统，其中：

84.如权利要求70-83中任一项所述的系统，其中，训练该部分卷积模型包括最小化多个损失，该多个损失至少包括有效损失、孔洞损失、感知损失、风格损失和变化损失。

85.一种评估在训练图像库时使用的合成图像的方法，该方法包括：

86.如权利要求85所述的方法，进一步包括：

87.如权利要求86所述的方法，进一步包括：

88.如权利要求87所述的方法，进一步包括：

89.如权利要求85-88中任一项所述的方法，其中，计算指示每个图像与每个其他图像之间的差异的指标包括：

90.如权利要求89所述的方法，其中,生成该阈值差值包括：

91.如权利要求89或90所述的方法，其中，计算该合成图像指标包括：

92.如权利要求91所述的方法，其中,确定该合成图像的可接受性是基于(i)这些合成图像均方误差中的最大值和(ii)该最大均方误差。

93.如权利要求91所述的方法，其中,确定该合成图像的可接受性是基于(i)这些合成图像均方误差的平均值和(ii)该最大均方误差。

94.如权利要求91-93中任一项所述的方法，其中，确定该合成图像的可接受性包括：

95.如权利要求85-94中任一项所述的方法，其中，该图像集是未经数字改变的容器图像集，并且这些合成图像是经过数字改变的容器图像。

96.一种系统，包括：

97.如权利要求96所述的系统，其中，计算指示每个图像与每个其他图像之间的差异的指标包括：

98.如权利要求97所述的系统，其中，生成该阈值差值包括：

99.如权利要求97或98所述的系统，其中，计算该合成图像指标包括：

100.如权利要求99所述的系统，其中，确定该合成图像的可接受性基于：

101.如权利要求99或100所述的系统，其中，这些指令进一步使该系统执行以下操作：

102.如权利要求96-101中任一项所述的系统，其中，该图像集是未经数字改变的容器图像集，并且这些合成图像是经过数字改变的容器图像。

技术总结
各种技术促进了图像库的开发，该图像库可以用于训练和/或验证自动视觉检查(AVI)模型，如用于图像分类的AVI神经网络。在一方面，一种算术转置算法用于通过以像素级真实感将特征(例如，缺陷)转置到原始图像上来从原始图像生成合成图像。在其他方面，数字修复技术用于从原始图像生成逼真的合成图像。基于深度学习的修复技术可以用于添加、消除和/或修改缺陷或其他描绘的特征。在又其他方面，质量控制技术用于评估图像库用于训练和/或验证AVI模型的适用性，和/或评估各个图像是否适合包括在这样的库中。

技术研发人员：A·P·古德温,J·P·伯纳奇,G·F·米尔恩,T·C·皮尔逊,A·M·贾恩,J·R·菲恩,K·E·罕布什尔,A·J·谭,O·佩雷斯巴雷拉,N·M·加德维
受保护的技术使用者：美国安进公司
技术研发日：
技术公布日：2024/1/15