以合成图像训练机器学习模型的制作方法

本发明大体上涉及经配置用于使用一或多个合成图像训练机器学习模型的方法及系统。

背景技术：

以下描述及实例不因其包含于此段落中而被承认是现有技术。

制作例如逻辑及存储器装置的半导体装置通常包含使用大量半导体制作过程处理例如半导体晶片的衬底以形成半导体装置的各种特征及多个层级。例如，光刻是涉及将图案从光罩转印到布置于半导体晶片上的光致抗试剂的半导体制作过程。半导体制作过程的额外实例包含但不限于化学机械抛光(cmp)、蚀刻、沉积及离子植入。多个半导体装置可以布置制作于单一半导体晶片上且接着被分成个别半导体装置。

在半导体制程期间的各个步骤使用检验过程来检测样品上的缺陷以驱使制程中的更高良率及因此更高利润。检验始终为制作半导体装置的重要部分。然而，随着半导体装置的尺寸减小，检验对于成功地制造可接受半导体装置变得更为重要，这是因为较小缺陷可能引起装置不合格。

缺陷检视通常涉及重新检测本身通过检验过程检测的缺陷及使用高放大率光学系统或扫描电子显微镜(sem)以较高分辨率产生关于缺陷的额外信息。因此，在其中已通过检验检测到缺陷的样品上的离散位置处执行缺陷检视。通过缺陷检视产生的缺陷的较高分辨率数据更适用于确定例如轮廓、粗糙度、更准确大小信息等的缺陷的属性。相较于检验，基于通过缺陷检视确定的信息，一般可将缺陷更准确地分类为缺陷类型。

深度学习的进展已使深度学习成为用于缺陷检测及分类中的有吸引力的框架。为了分类，在训练中，用户可将卷标指派给缺陷图像。在生产期间(在训练之后)，运用缺陷图像作为到深度学习模型的输入，深度学习模型将输出图像分类及与图像分类相关联的可信度。为了检测，用户可将像素级卷标指派给缺陷图像(通常多个类别的缺陷图像)。像素级卷标及缺陷图像用于训练缺陷检测深度学习模型，所述缺陷检测深度学习模型可不同于经训练用于缺陷分类的深度学习模型。换句话说，检测深度学习模型及分类深度学习模型可为互斥的。来自检测深度学习模型的输出(斑点)及斑点级标签可用于训练分类深度学习模型。在生产期间(在训练检测深度学习模型之后)，将缺陷图像输入到检测深度学习模型，所述检测深度学习模型输出斑点，且分类深度学习模型输出每斑点的分类及相关联可信度。

然而，上文描述的当前使用方法及系统存在若干缺点。例如，目前，仅关于现有缺陷实例训练分类器。此训练具有至少三个显著缺点。首先，无法在无所关注缺陷(doi)实例的情况下训练检测/分类模型。第二，即使用户收集对其进行训练的数个doi实例，经训练模型正确捕获且分类doi的能力仍完全取决于此先前发现实例集的大小、质量及变异数。因为此数据难以收集，所以训练集通常含有太少实例以训练良好模型。甚至在其中训练集含有给定缺陷的许多实例的情况中，实例仍可能未涵盖所述特定缺陷可具有的外观的整个范围且所得分类器将遗漏未表示变体。第三，编译训练集是不简单的且易有人为错误。晶片或其它样品的图像必须针对缺陷在视觉上梳理且以类别标签批注。由于缺陷通常是稀疏的，因此可能必须手动扫描以发现单一实例缺陷的图像的数目通常使此手动缺陷检测不切实际。

因此，发展出不具有上述缺点中的一或多者的用于训练机器学习模型的系统及方法将为有利的。

技术实现要素：

各个实施例的以下描述绝不应理解为限制所附技术方案的标的物。

一个实施例涉及一种经配置以训练机器学习模型的系统。所述系统包含一或多个计算机子系统及由所述一或多个计算机子系统执行的一或多个组件。所述一或多个组件包含经配置用于将样品的一或多个图像及图像编辑工具显示给用户的图形用户接口(gui)。所述gui还经配置用于从所述用户接收输入，所述输入包含使用所述图像编辑工具中的一或多者对所述一或多个图像中的至少一者进行的一或多个更改。所述组件还包含图像处理模块，所述图像处理模块经配置用于将所述一或多个更改应用于所述一或多个图像中的所述至少一者，借此产生至少一个经修改图像且将所述至少一个经修改图像存储于训练集中。所述组件进一步包含机器学习模型，所述机器学习模型经配置用于使用通过成像子系统针对所述样品产生的图像对所述样品执行一或多个功能。所述计算机子系统经配置用于以其中存储所述至少一个经修改图像的所述训练集训练所述机器学习模型。所述系统可如本文中描述那样进一步配置。

另一实施例涉及一种用于训练机器学习模型的计算机实施方法。所述方法包含运用gui将样品的一或多个图像及图像编辑工具显示给用户且经由所述gui从所述用户接收输入。所述输入包含使用所述图像编辑工具中的一或多者对所述一或多个图像中的至少一者进行的一或多个更改。所述方法还包含将所述一或多个更改应用于所述一或多个图像中的所述至少一者借此产生至少一个经修改图像。另外，所述方法包含将所述至少一个经修改图像存储于训练集中。所述应用及所述存储是通过图像处理模块执行。所述方法进一步包含以其中存储所述至少一个经修改图像的所述训练集训练机器学习模型。所述机器学习模型经配置用于使用通过成像子系统针对所述样品产生的图像对所述样品执行一或多个功能。所述gui、所述图像处理模块及所述机器学习模型包含于由一或多个计算机子系统执行的一或多个组件中。所述训练是通过所述一或多个计算机子系统执行。

可如本文中描述那样进一步执行上述方法的步骤中的每一者。另外，上述方法可包含本文中描述的任何其它方法的任何其它步骤。此外，上述方法可通过本文中描述的系统中的任一者执行。

另一实施例涉及一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可在一或多个计算机系统上执行以执行用于训练机器学习模型的计算机实施方法。所述计算机实施方法包含上述方法的步骤。所述计算机可读媒体可如本文中描述那样进一步配置。可如本文中进一步描述那样执行所述计算机实施方法的步骤。另外，可针对其执行所述程序指令的计算机实施方法可包含本文中描述的任何其它方法的任何其它步骤。

附图说明

在获益于优选实施例的以下详细描述的情况下且在参考所附图式时，所属领域的技术人员将明白本发明的进一步优点，其中：

图1及1a是说明如本文中描述那样配置的系统的实施例的侧视图的示意图；

图2是说明可包含于本文中描述的实施例中的图形用户接口(gui)的一个实施例的示意图；

图3到5及7是说明可通过本文中描述的实施例执行的各个步骤的实施例的流程图；

图6包含可使用本文中描述的实施例产生的合成图像的实例及其中已通过如本文中描述那样训练的机器学习模型检测到缺陷的样品的图像的实例；及

图8是说明存储用于引起一或多个计算机系统执行本文中描述的计算机实施方法的程序指令的非暂时性计算机可读媒体的一个实施例的框图。

虽然本发明易有各种修改及替代形式，但本发明的特定实施例在图式中通过实例展示且在本文中详细描述。图式可能未按比例。然而，应了解，图式及其详细描述并不希望将本发明限于所揭示的特定形式，恰相反，本发明希望涵盖落于如由所附权利要求书定义的本发明的精神及范围内的全部修改、等效物及替代物。

具体实施方式

如在本文中可互换地使用的术语“设计”、“设计数据”及“设计信息”一般指代ic的物理设计(布局)及透过复杂模拟或简单几何及布尔(boolean)运算从物理设计导出的数据。另外，通过光罩检验系统获取的光罩的图像及/或其衍生物可用作设计的一或多个“代理”。此光罩图像或其衍生物可用作本文中描述的任何实施例中的使用设计的设计布局的替代。设计可包含2009年8月4日颁予扎法尔(zafar)等人的共同拥有的第7,570,796号美国专利及2010年3月9日颁予库尔卡尼(kulkarni)等人的共同拥有的第7,676,077号美国专利中描述的任何其它设计数据或设计数据代理，所述专利两者宛如全文阐述以引用的方式并入本文中。另外，设计数据可为标准单元库数据、集成布局数据、一或多个层的设计数据、设计数据的衍生物及完全或部分芯片设计数据。

另外，本文中描述的“设计”、“设计数据”及“设计信息”指代由半导体装置设计者在设计过程中产生且因此可在将设计印刷于任何物理样品(例如光罩及晶片)上之前良好地用于本文中描述的实施例中的信息及数据。

如本文中定义的术语“扰乱点”是用户不关心的缺陷及/或本身被检测到但实际上非缺陷的缺陷。可归因于样品上的非缺陷噪声源(例如，线边缘粗糙度(ler)、图案化特征的相对较小临界尺寸(cd)变化、厚度变化等)及/或归因于检验系统自身或其用于检验的配置中的边缘性而检测到实际上并非缺陷(即使其被检测到)的扰乱点。因此，一般来说，检验的目标并非检测样品(例如晶片)上的扰乱点缺陷。

现参考图式，应注意，图未按比例绘制。特定来说，极大地放大图的一些元件的比例以强调元件的特性。还应注意，图未按相同比例绘制。已使用相同元件符号指示在一个以上图中展示的可能类似配置的元件。除非本文中另有说明，否则所描述且展示的任何元件可包含任何合适市售元件。

一个实施例涉及一种经配置以训练机器学习模型的系统。一般来说，本文中描述的实施例经配置用于以合成数据改进基于学习的缺陷检测及分类。目前，自动缺陷检测依赖于学习以发现且分类来自先前识别实例的缺陷的经训练机器学习模型。然而，所关注缺陷(doi)的现有例子通常少见或不存在。本文中描述的实施例通过利用缺陷外观的用户知识而使模型训练即使在不存在实例doi时仍可能且在已知doi例子的数目较少时提高模型性能。本文中描述的实施例有利地可如本文中进一步描述那样配置，以允许用户运用图像编辑工具将合成缺陷添加到图像、关于所得图像训练分类器且观看分类器推断图像的结果。

图1中展示经配置以训练机器学习模型的系统的一个实施例。系统包含一或多个计算机子系统(例如，计算机子系统36及计算机子系统102)及由一或多个计算机子系统执行的一或多个组件100。在一些实施例中，系统包含经配置用于产生样品的图像的成像系统(或子系统)10。在图1的实施例中，成像子系统经配置用于用光在样品的物理版本上方扫描或将光引导到样品的物理版本，同时从样品检测光以借此产生样品的图像。成像子系统还可经配置以按多种模式执行扫描(或引导)及检测。

在一个实施例中，样品是晶片。晶片可包含所属领域中已知的任何晶片。在另一实施例中，样品是光罩。光罩可包含所属领域中已知的任何光罩。

在一个实施例中，成像子系统配置为基于光学的成像子系统。在图1中展示的系统的实施例中，基于光学的成像子系统10包含经配置以将光引导到样品14的照明子系统。照明子系统包含至少一个光源。例如，如图1中展示，照明子系统包含光源16。照明子系统可经配置以按一或多个入射角(其可包含一或多个倾斜角及/或一或多个法向角)将光引导到样品。例如，如图1中展示，以倾斜入射角引导来自光源16的光穿过光学元件18且接着穿过透镜20而到样品14。倾斜入射角可包含任何合适倾斜入射角，其可取决于例如样品的特性而变化。

成像子系统可经配置以在不同时间以不同入射角将光引导到样品。例如，成像子系统可经配置以更改照明子系统的一或多个元件的一或多个特性，使得可以不同于图1中展示的入射角的入射角将光引导到样品。在一个此实例中，成像子系统可经配置以移动光源16、光学元件18及透镜20使得以不同倾斜入射角或法向(或近法向)入射角将光引导到样品。

在一些例子中，成像子系统可经配置以在相同时间以一个以上入射角将光引导到样品。例如，照明子系统可包含一个以上照明通道，照明通道中的一者可包含如图1中展示的光源16、光学元件18及透镜20，且照明通道的另一者(未展示)可包含可不同或相同配置的类似元件或可包含至少光源及可能一或多个其它组件(例如本文中进一步描述的组件)。如果将此光与另一光同时引导到样品，那么以不同入射角引导到样品的光的一或多个特性(例如，波长、偏光等)可不同，使得可在检测器处将因以不同入射角照明样品产生的光彼此区别。

在另一例子中，照明子系统可仅包含一个光源(例如，图1中展示的源16)且可通过照明子系统的一或多个光学元件(未展示)将来自光源的光分成不同光学路径(例如，基于波长、偏光等)。接着，可将不同光学路径中的每一者中的光引导到样品。多个照明通道可经配置以在相同时间或不同时间(例如，当使用不同照明通道循序照明样品时)将光引导到样品。在另一例子中，相同照明通道可经配置以在不同时间以不同特性将光引导到样品。例如，在一些例子中，光学元件18可配置为光谱滤光片且可以多种不同方式改变光谱滤光片的性质(例如，通过换出光谱滤光片)使得可在不同时间将不同波长的光引导到样品。照明子系统可具有所属领域中已知的用于循序或同时以不同或相同入射角将具有不同或相同特性的光引导到样品的任何其它合适配置。

在一个实施例中，光源16是宽带等离子体(bbp)光源。以此方式，由光源产生且引导到样品的光可包含宽带光。然而，光源可包含任何其它合适光源(例如激光，其可包含所属领域中已知的任何合适激光)，且可经配置以产生所属领域中已知的任何合适波长的光。另外，激光可经配置以产生单色或近单色的光。以此方式，激光可为窄带激光。光源还可包含产生多个离散波长或波带的光的多色光源。

来自光学元件18的光可通过透镜20聚焦到样品14上。尽管透镜20在图1中被展示为单一折射光学元件，但应了解，实际上，透镜20可包含将来自光学元件的光组合地聚焦到样品的若干折射及/或反射光学元件。在图1中展示且在本文中描述的照明子系统可包含任何其它合适光学元件(未展示)。此类光学元件的实例包含但不限于偏光组件、光谱滤光片、空间滤光片、反射光学元件、变迹器、光束分离器、孔隙及类似者，其可包含所属领域中已知的任何此类合适光学元件。另外，成像子系统可经配置以基于待用于成像的照明的类型更改照明子系统的元件中的一或多者。

成像子系统还可包含经配置以引起光在样品上方扫描的扫描子系统。例如，成像子系统可包含在检验期间样品14安置于其上的载物台22。扫描子系统可包含可经配置以移动样品使得光可在样品上方扫描的任何合适机械及/或机器人总成(其包含载物台22)。另外或替代地，成像子系统可经配置使得成像子系统的一或多个光学元件执行光在样品上方的某一扫描。光可以任何合适方式(例如以蛇纹状路径或以螺旋路径)在样品上方扫描。

成像子系统进一步包含一或多个检测通道。一或多个检测通道中的至少一者包含检测器，所述检测器经配置以检测归因于通过子系统照明样品而来自样品的光且响应于经检测光产生输出。例如，图1中展示的成像子系统包含两个检测通道，一个检测通道由集光器24、元件26及检测器28形成且另一检测通道由集光器30、元件32及检测器34形成。如图1中展示，两个检测通道经配置以按不同收集角收集且检测光。在一些例子中，两个检测通道经配置以检测散射光，且检测通道经配置以检测以不同角度从样品散射的光。然而，检测通道中的一或多者可经配置检测来自样品的另一类型的光(例如，反射光)。

如图1中进一步展示，两个检测通道被展示为定位于纸平面中且照明子系统还被展示为定位于纸平面中。因此，在此实施例中，两个检测通道定位于(例如，居中于)入射平面中。然而，检测通道中的一或多者可定位于入射平面外。例如，由集光器30、元件32及检测器34形成的检测通道可经配置以收集且检测从入射平面散射的光。因此，此检测通道通常可称为“侧”通道，且此侧通道可居中于大体上垂直于入射平面的平面中。

尽管图1展示包含两个检测通道的成像子系统的实施例，但成像子系统可包含不同数目个检测通道(例如，仅一个检测通道或两个或更多个检测通道)。在一个此例子中，由集光器30、元件32及检测器34形成的检测通道可如上文描述那样形成一个侧通道，且成像子系统可包含形成为定位于入射平面的相对侧上的另一侧通道的额外检测通道(未展示)。因此，成像子系统可包含检测通道，所述检测通道包含集光器24、元件26及检测器28且局中与入射平面中，且经配置以按法向于或接近法向于样品表面的散射角收集且检测光。因此，此检测通道通常可称为“顶部”通道，且成像子系统还可包含如上文描述那样配置的两个或更多个侧通道。因而，成像子系统可包含至少三个通道(即，一个顶部通道及两个侧通道)，且至少三个通道中的每一者具有其自身的集光器，集光器中的每一者经配置以按与其它集光器中的每一者不同的散射角收集光。

如上文进一步描述，包含于成像子系统中的检测通道中的每一者可经配置以检测散射光。因此，图1中展示的成像子系统可经配置用于样品的暗场(df)成像。然而，成像子系统可还或替代地包含经配置用于样品的亮场(bf)成像的检测通道。换句话说，成像子系统可包含经配置以检测从样品镜面反射的光的至少一个检测通道。因此，本文中描述的成像子系统可经配置用于仅df成像、仅bf成像或df成像及bf成像两者。尽管在图1中将集光器中的每一者展示为单一折射光学元件，但应了解，集光器中的每一者可包含一或多个折射光学元件及/或一或多个反射光学元件。

一或多个检测通道可包含所属领域中已知的任何合适检测器，例如光电倍增管(pmt)、电荷耦合装置(ccd)、延时积分(tdi)摄像机及所属领域中已知的任何其它合适检测器。检测器还可包含非成像检测器或成像检测器。如果检测器是非成像检测器，那么检测器中的每一者可经配置以检测散射光的某些特性(例如强度)但可未经配置以检测依据在成像平面内的位置而变化的此类特性。因而，由包含于成像子系统的检测通道中的每一者中的检测器中的每一者产生的输出可为信号或数据，而非图像信号或图像数据。在此类例子中，计算机子系统(例如计算机子系统36)可经配置以从检测器的非成像输出产生样品的图像。然而，在其它例子中，检测器可配置为经配置以产生图像信号或图像数据的成像检测器。因此，成像子系统可经配置以按若干方式产生本文中描述的图像。

应注意，本文中提供图1以大体上说明可包含于本文中描述的系统实施例中或可产生由本文中描述的系统实施例使用的图像的成像系统或子系统的配置。显然，可更改本文中描述的成像子系统配置以如在设计商业成像子系统时所通常执行那样优化成像子系统的性能。另外，可使用例如商业上可购自加利福尼亚州米尔皮塔斯市的科磊公司(kla,milpitas,calif.)的29xx/39xx及puma系列工具的现有系统(例如，通过将本文中描述的功能性添加到现有系统)来实施本文中描述的系统。对于一些此类系统，本文中描述的实施例可提供为系统的选用功能性(例如，除了系统的其它功能性之外)。或者，可“从头开始”设计本文中描述的成像子系统以提供全新成像子系统。

计算机子系统36可以任何合适方式(例如，经由一或多个传输媒体，其可包含“有线”及/或“无线”传输媒体)耦合到成像子系统的检测器，使得计算机子系统可接收在样品的扫描期间由检测器产生的输出。计算机子系统36可经配置以使用检测器的输出执行本文中进一步描述的若干功能。

图1中展示的计算机子系统(以及本文中描述的其它计算机子系统)在本文中还可称为计算机系统。本文中描述的计算机子系统或系统中的每一者可采取各种形式，包含个人计算机系统、图像计算机、主计算机系统、工作站、网络设备、因特网设备或其它装置。一般来说，术语“计算机系统”可广泛定义为涵盖具有执行来自存储器媒体的指令的一或多个处理器的任何装置。计算机子系统或系统还可包含所属领域中已知的任何合适处理器，例如并行处理器。另外，计算机子系统或系统可包含具有高速处理及软件的计算机平台，其作为独立工具或网络工具。

如果系统包含一个以上计算机子系统，那么不同计算机子系统可彼此耦合使得可在计算机子系统之间发送图像、数据、信息、指令等，如本文中进一步描述。例如，计算机子系统36可通过任何合适传输媒体(其可包含所属领域中已知的任何合适有线及/或无线传输媒体)耦合到计算机子系统102(如通过图1中的虚线展示)。两个或更多个此类计算机子系统还可通过共享计算机可读存储媒体(未展示)有效耦合。

尽管上文将成像子系统描述为基于光学或光的成像子系统，但在一些实施例中，成像子系统配置为基于电子束的成像子系统。在图1a中展示的一个此实施例中，成像子系统包含耦合到计算机子系统124的电子柱122。还如图1a中展示，电子柱包含经配置以产生通过一或多个元件130聚焦到样品128的电子的电子束源126。电子束源可包含例如阴极源或射极尖端，且一或多个元件130可包含例如枪透镜、阳极、射束限制孔隙、闸阀、束流选择孔隙、物镜及扫描子系统，全部所述元件可包含所属领域中已知的任何此类合适元件。

从样品返回的电子(例如，二次电子)可由一或多个元件132聚焦到检测器134。一或多个元件132可包含例如扫描子系统，所述扫描子系统可为包含于元件130中的相同扫描子系统。

电子柱可包含所属领域中已知的任何其它合适元件。另外，可如2014年4月4日颁予蒋(jiang)等人的第8,664,594号美国专利、2014年4月8日颁予小岛(kojima)等人的第8,692,204号美国专利、2014年4月15日颁予顾本思(gubbens)等人的第8,698,093号美国专利及2014年5月6日颁予麦克唐纳(macdonald)等人的第8,716,662号美国专利中所描述那样进一步配置电子柱，所述专利宛如全文阐述以引用的方式并入本文中。

尽管在图1a中将电子柱展示为经配置使得电子以倾斜入射角引导到样品且以另一倾斜角从样品散射，但应了解，电子束可以任何合适角度引导到样品且从样品散射。另外，电子束子系统可经配置以如本文中进一步描述那样使用多种模式来产生样品的图像(例如，运用不同照明角、收集角等)。电子束子系统的多种模式可在成像子系统的任何图像产生参数方面不同。

计算机子系统124可耦合到检测器134，如上文描述。检测器可检测从样品的表面返回的电子，借此形成样品的电子束图像。电子束图像可包含任何合适电子束图像。计算机子系统124可经配置以使用由检测器134产生的输出来针对样品执行本文中进一步描述的一或多个功能。计算机子系统124可经配置以执行本文中描述的任何额外步骤。包含图1a中展示的成像子系统的系统可如本文中描述那样进一步配置。

应注意，在本文中提供图1a以大体上说明可包含于本文中描述的实施例中的电子束子系统的配置。如同上文描述的光学子系统，可更改电子束子系统配置以如在设计商业成像系统时所通常执行那样优化成像子系统的性能。另外，可使用例如商业上可购自科磊公司的电子束工具的现有系统(例如，通过将本文中描述的功能性添加到现有系统)来实施本文中描述的系统。对于一些此类系统，可将本文中描述的实施例提供为系统的选用功能性(例如，除了系统的其它功能性之外)。或者，可“从头开始”设计本文中描述的系统以提供全新系统。

尽管上文将成像子系统描述为光学或电子束子系统，但成像子系统可为基于离子束的成像子系统。此成像子系统可如图1a中展示那样配置，惟电子束源可由所属领域中已知的任何合适离子束源取代除外。另外，成像子系统可为任何其它合适离子束子系统，例如包含于市售聚焦离子束(fib)系统、氦离子显微镜(him)系统及二次离子质谱仪(sims)系统中的离子束工具。

如上文提及，成像子系统经配置用于扫描样品的物理版本上方的能量(例如，光或电子)，借此针对样品的物理版本产生实际图像。以此方式，成像子系统可配置为“实际”子系统而非“虚拟”子系统。图1中展示的存储媒体(未展示)及计算机子系统102还可或替代地配置为“虚拟”系统。在共同让与的以下专利中描述配置为“虚拟”检验系统的系统及方法：2012年2月28日颁予巴斯卡尔(bhaskar)等人的第8,126,255号美国专利及2015年12月29日颁予达菲(duffy)等人的第9,222,895号美国专利，所述专利两者宛如全文阐述以引用的方式并入本文中。本文中描述的实施例可如这些专利中描述那样进一步配置。例如，本文中描述的一或多个计算机子系统可如这些专利中描述那样进一步配置。

如上文进一步提及，成像子系统可经配置以运用多种模式产生样品的图像。一般来说，“模式”是由用于产生样品的图像或产生用于产生样品的图像的输出的成像子系统的参数值定义。因此，不同的模式可在成像子系统的至少一个成像参数的值方面不同。例如，在光学子系统的一个实施例中，不同模式使用至少一个不同波长的光用于照明。模式可在照明波长方面不同，如本文中针对不同模式进一步描述(例如，通过使用不同光源、不同光谱滤光片等)。在另一实施例中，不同模式使用成像子系统的不同照明通道。例如，如上文提及，成像子系统可包含一个以上照明通道。因而，不同照明通道可用于不同模式。

在一个实施例中，图像是通过检验子系统产生。例如，本文中描述的光学及电子束成像子系统可配置为检验子系统。以此方式，在一些实施例中，在本文中描述的实施例中使用的一或多个图像是通过检验子系统产生。在另一实施例中，成像子系统是缺陷检视子系统。例如，本文中描述的光学及电子束成像子系统可配置为缺陷检视子系统。特定来说，可在一或多个参数方面修改在本文中描述且在图1及1a中展示的成像子系统的实施例以取决于其所用于的应用而提供不同成像能力。在一个此实例中，图1中展示的成像子系统可经配置以在其用于缺陷检视而非用于检验的情况下具有较高分辨率。换句话说，图1及1a中展示的成像子系统的实施例描述成像子系统的某些一般配置及各种配置，其可以对所属领域的技术人员将显而易见的若干方式定制以产生具有或多或少适用于不同应用的不同成像能力的成像子系统。

一或多个计算机子系统可经配置用于获取由本文中描述的成像子系统产生的样品的图像。可使用本文中描述的成像子系统中的一者(例如，通过将光或电子束引导到样品且从样品分别检测光或电子束)执行获取图像。以此方式，可使用物理样品自身及某种成像硬件来执行获取图像。然而，获取图像不一定包含使用成像硬件对样品成像。例如，另一系统及/或方法可产生图像且可将经产生图像存储于如本文中描述的一或多个存储媒体(例如虚拟检验系统)或本文中描述的另一存储媒体中。因此，获取图像可包含从其中已存储图像的存储媒体获取图像。

通过计算机子系统(例如，计算机子系统36及/或计算机子系统102)执行的组件(例如，图1中展示的组件100)包含经配置用于将样品的一或多个图像及图像编辑工具显示给用户的图形用户接口(例如，gui104)。

用户可使用gui来观看本文中描述的各种类型的图像。在一个实施例中，显示于gui中的一或多个图像是包含于初始训练集中的图像。以此方式，gui可经配置以允许用户观看初始训练集中的图像。图2中展示可包含于系统实施例中的gui的一个实施例。此图仅希望说明可由包含于本文中描述的实施例中的gui提供的许多可能功能性。显然，可将额外功能性添加到gui且将仍在本文中描述的实施例的范围内。另外，显示于gui中的元件及图像的放置及外观可以任何合适方式从图2中展示的放置及外观改变，如在产生商业产品时将进行。

图2中展示显示于显示设备(未展示)的屏幕202中的gui200，所述显示设备可包含可包含于本文中描述的计算机子系统中或耦合到本文中描述的计算机子系统的任何合适显示设备。图像204可显示于区域206中，且显示于所述区域中的图像可包含本文中描述的图像中的任一者。在一些例子中，gui200可包含栏标208，栏标208可对应于可显示其图像的缺陷的不同部分。例如，图2中展示的“全部”栏标可通过用户选择以观看样品的全部可用图像。栏标1、2、3、…、n可对应于不同类别的缺陷，且用户可选择这些栏标中的一者以仅展示指派给选定类别的所述缺陷。类别可包含各种doi类别，其中例如栏标1可对应于第一doi类别，栏标2可对应于第二doi类别等。然而，栏标中的一或多者可能对应于在样品上检测到的扰乱点。另外，栏标中的一者可用于具有未知类别的缺陷。额外栏标可用于展示不同类型的图像，例如测试图像、参考图像、差异图像、多模式图像及类似者。在本文中进一步描述此类图像。因此，一般来说，gui优选经配置使得用户可从多种不同选项选择其想要在gui中观看哪些图像。

尽管gui在图2中被展示为在区域206中具有四个图像204，但gui可展示可用及/或经选择以供用户观看的样品的尽可能多(或尽可能少)的图像。另外，尽管图4中展示的图像全部相同，但应了解，gui可同时展示不同类型的图像(例如，以不同模式产生的不同图像及/或单一缺陷(或一个以上缺陷)的测试、参考及差异图像)。

gui还经配置用于从用户接收输入。可以任何合适方式从用户接收输入。例如，gui可包含一或多个图形输入设备，所述一或多个图形输入设备可包含本文中描述的图标及/或按钮中的一或多者。但图形输入设备可包含所属领域中已知的任何合适此类装置。用户还可使用通过接口软件及/或组件(未展示)耦合到gui的计算机子系统的一或多个输入设备(未展示)，例如键盘、触控屏幕、鼠标、电子笔等。所述输入设备及接口软件/组件可包含任何合适此类市售装置、软件及组件。

输入包含使用图像编辑工具中的一或多者对一或多个图像中的至少一者进行的一或多个更改。图像编辑工具可包含本文中描述的编辑、批注及其它特征。图像编辑工具可包含所属领域中已知的任何直观、易用的图像编辑工具。图像编辑工具还优选能够产生可以可靠地用于训练有效机器学习模型的合成缺陷。如本文中使用的术语“合成缺陷”被定义为在样品的图像中被有意地且人为地引起的任何缺陷。以此方式，“合成缺陷”并非在通过运用成像硬件对样品成像而产生的实际图像中发现的缺陷，且因此不对应于定位于物理样品上的实际缺陷。本文中描述的实施例提供基于从用户接收的输入产生合成缺陷的多种方式。据信其中集成有图像编辑工具的机器学习模型-训练接口是由本文中描述的实施例提供的新特征。

图2中展示可通过用户使用以输入更改的一些图像编辑工具。如图2中展示，不同群组的图像编辑工具可被展示为在gui中的不同位置中，但图像编辑工具可以任何合适方式布置于gui中。图像编辑工具的一个部分210包含(在gui中从左到右)：选择图标、绘制图标、涂绘(painting)图标、擦除图标、标注(或批注)图标、旋转图标以及缩小及放大图示。用户可点击或以其它方式选择图标以执行对显示于gui中的图像中的一或多者的一或多个更改。图示可用于执行本文中进一步描述的更改及功能。图像编辑工具的额外部分212包含(在部分212中从上到下)：对比度图示，其具有用于改变图像或图像的选定部分的对比度的滑动条；亮度图示，其还具有可以类似方式使用的滑动条；及模糊按钮。这些图像编辑工具中的每一者可如本文中进一步描述那样由用户选择及使用。图2中展示的全部图示可具有任何合适配置及其可用的可能额外可用性或功能性，例如用于显示与每一图像编辑工具相关联的额外选项的下拉或弹出选单、用于打开或关闭与图像编辑工具相关联的某些功能性的无线电按钮，及类似者。

gui还可包含导览窗口214，导览窗口214可包含可应用于个别图像或全局地应用于全部图像及/或在gui内导览的一或多个选项。例如，如在窗口214中从上到下展示，这些功能可包含：主页图示，其可经选择以将gui改变为主屏幕；编辑图示，其可经选择以启用gui中的图像编辑工具；拒绝按钮，其用于拒绝改变或图像；接受按钮，其用于接受改变或图像；存储按钮，其用于存储在gui中做出的对图像的任何改变；及训练按钮，其可如本文中进一步描述那样用于起始机器学习模型的训练。导览窗口(及/或gui的任何其它部分)可包含通常由gui提供的其它工具(未展示)或功能，像“保存”、“另存为”、“打开”、“关闭”、“取消”、“重做”功能。gui还可包含用于移动通过图像的额外工具(未展示)，例如“下一个”及“前一个”按钮、滚动条、搜寻工具及类似者。

在一个实施例中，一或多个更改包含以缺陷类别标签对一或多个图像中的至少一者进行批注。例如，gui可经配置以允许用户以类别卷标对显示于gui中的图像的部分进行批注。在一个此实例中，用户可选择图2的gui中展示的标注图标以对图像或图像的一部分(其可通过用户使用gui中的选择图示选择)进行批注。批注可为缺陷类别标签，这是因为其可指示用户已针对缺陷识别的doi类型。此缺陷类别卷标可为数字(例如上文描述的与doi类型相关联的数字)，但其还可为实际名称，例如描述doi类型的“桥”、“开路”、“粒子”及类似者。批注还可为标注、卷标或图像含有扰乱点的任何其它适当指示，其可用于校正不正确分类的缺陷以指示新识别的扰乱点及/或确认扰乱点分类。批注还可指示缺陷的存在或不存在，其可用于指示用户在显示于gui中的图像中在视觉上发现的新识别的缺陷，以指示本身被检测到的缺陷实际上并非缺陷、确认经检测缺陷实际上是缺陷或非缺陷图像实际上无缺陷，或者标记或标注可用作用于训练的“非缺陷”实例的一或多个图像。

在另一实施例中，一或多个更改包含在一或多个图像中的至少一者中产生合成缺陷。例如，gui可经配置以允许用户使用一系列图像编辑工具将缺陷添加到图像中的至少一者。用户可将缺陷添加到图像中的一或多者，且添加到图像中的任一者的缺陷可与其它合成缺陷中的任一者相同或不同。例如，用户可将相同合成缺陷添加到不同图像，此在已知相同doi类型出现在样品的设计中的不同区域中的情况下可为有用的。用户还可或替代地将不同合成缺陷添加到相同图像的不同例子。不同合成缺陷可为不同类型的缺陷，此在已知设计的一部分易受不同类型的缺陷影响时可为有用的，但不同合成缺陷还可为相同类型的缺陷但具有一或多个不同特性(例如本文中进一步描述的特性)。可使用本文中进一步描述的图像编辑工具中的一或多者(包含但不限于绘制工具、涂绘工具、擦除工具、转贴工具及类似者)执行产生合成缺陷。例如，用户可将合成缺陷手动地绘制或涂绘到gui中的图像中，用户可手动地擦除gui中的图像的一部分以借此在图像中产生合成缺陷，且用户还可剪切及/或复制缺陷图像或图像的一部分且将其转贴到另一图像中以在另一图像中产生合成缺陷。

在又一实施例中，一或多个更改包含通过用户运用包含于图像编辑工具中的绘制工具输入的一或多个手动绘制更改。绘制工具可包含图2中的gui的部分210中展示的绘制、涂绘及擦除图示。绘制工具可用于徒手绘制多边形或不规则形状。用户可在任何可用图像上手动绘制更改以借此在其中插入或产生所涂绘合成缺陷。例如，gui可显示针对一或多个样品产生的多种参考图像，所述参考图像是从测试图像减去以检测其中的缺陷的图像及/或其它无缺陷图像。可通过对实际样品成像(如裸片间或单元间缺陷检测的情况)或通过从样品的设计仿真参考图像而产生参考图像。无缺陷图像还可为通过对已对其执行缺陷检测且其中未发现缺陷的样品成像而产生的任何图像。以此方式，用于缺陷涂绘的图像可能已看上去像真实样品图像，且用户可仅需要修改其中添加缺陷的图像的部分以产生合成缺陷图像。然而，可使用本文中描述的任何其它图像来执行图像中的手动绘制更改。例如，用户可手动地绘制对对应于doi的测试图像的一部分的更改以借此产生具有不同特性的doi的不同版本。用户还可对缺陷图像进行更改以手动地绘入额外缺陷。手动绘制的更改还可使用擦除图示进行以手动地移除一或多个缺陷及/或图案化特征或以某一方式更改一或多个缺陷及/或图案化特征。

在另一实施例中，一或多个更改包含将对应于已知doi的图像的一部分转贴到一或多个图像中的至少一者中。例如，图像编辑工具可包含可用于将来自一个图像的图像图块复制/转贴到另一图像图块的复制/转贴工具。以此方式，缺陷图像(其可为在实际样品上发现的实际缺陷或由用户产生的合成缺陷的图像)可从一个图像复制及转贴到另一图像以借此将所述缺陷添加到另一图像。当已知doi可能在样品的设计中的不同区域中时，此功能性可尤其有用。

在已将已知doi的图像转贴到图像中之后，还可通过用户以本文中描述的任何其它方式更改所得图像。例如，用户可复制图像的区域且将所述区域转贴到所述图像或另一图像的另一区域中。接着，用户可改变经转贴区域的一或多个特性，包含但不限于旋转、放大率及强度。例如，用户可旋转经复制图块图像。用户还可通过缩小或放大经复制图像图块而改变经复制图像图块的放大率。用户还可改变经复制图像图块的强度以使其变暗或变亮。用户还可复制且转贴任何给定编辑(即，运用本文中描述的任何功能性产生的经编辑区域)。换句话说，可复制且转贴图像的一部分且接着进行更改，或反之亦然。这些功能中的每一者可使用在本文中描述且在图2中展示的图像编辑工具执行。

在额外实施例中，更改包含基于样品的已知doi的一或多个特性在一或多个图像中的至少一者中产生合成缺陷。在一个此实例中，图像编辑工具可包含用户可添加到样品图像且操纵其一或多个特性(例如尺寸、纵横比、灰阶强度(例如，整个形状的单一灰阶值)及类似者)的若干预定绘制形状(未展示)。为了编辑灰阶，用户可选择图像中的区域且设置所述区域的灰阶(黑色-白色)。选项包含通过值(即，从黑色到白色)或通过对图像的区域“取样”以匹配所述区域的色彩而设置灰阶。选项还包含使用矩形选择工具或通过绘制任意从由形式边界而选择区域。预定绘制形状可包含例如方形(或矩形)、圆形(或椭圆形)、三角形、六边形及其它多边形(包含规则及不规则多边形)。在一个此实例中，图像编辑工具可包含矩形仿制(clone)选择(未展示)。图像编辑工具可经配置使得用户可将预定形状拖曳到样品图像中的特定位置中，且接着使用鼠标或其它图形输入设备来移动或按比例调整预定形状的边界及/或使用一或多个下拉选单或其它特性选择工具来借此选择近似表示预期doi的特性的适当特性而修改预定形状。如果合成缺陷是基于已知doi的特性产生，那么不需要所述已知doi的实际图像以产生此类合成缺陷。例如，如果用户例如从经验或从与针对其产生合成缺陷的样品具有类似图案化特征的其它样品的检验结果知道doi将“看似”如何及可能定位于何处，那么用户可基于所述知识产生合成缺陷而不需要doi的实际图像。在一个此实例中，如果用户从经验知道样品的设计中的线易有桥接缺陷，那么用户可选取使用本文中描述的图像编辑工具中的一或多者且基于桥接缺陷的预期特性在图像中的所述线之间产生合成缺陷。

在一些实施例中，更改包含对对应于缺陷的一或多个图像中的至少一者的一部分的一或多个修改，且产生至少一个经修改图像包含：基于一或多个修改产生新图像。在一个此实施例中，一或多个修改包含按比例调整、旋转、边缘模糊或强度修改。像这些修改的修改可用于缺陷扩增。修改还可应用于合成缺陷。例如，gui可显示如同上文描述的修改的若干可用修改，且gui可实现将修改应用于显示于gui中的图像中的任一者(包含真实缺陷图像及合成缺陷图像)。真实缺陷图像可包含测试图像及/或差异图像(其中差异图像是通过从测试图像减去参考图像而产生)。

可运用用于修改的一或多个预定及/或可选择选项在gui中显示修改。例如，针对模糊修改，gui可显示可应用于缺陷图像的不同类型的模糊。不同类型的模糊可对应于可用于将模糊应用于缺陷的边缘的不同功能。一个此实例是高斯(gaussian)模糊。模糊可应用于在与预期doi具有大致相同形状、大小、强度等且具有单一灰阶值的doi的预期位置处产生的合成缺陷。模糊可应用于图像的合成部分以更好近似表示将通过成像子系统针对doi产生的图像，或提供可通过成像子系统针对doi产生的多个可能图像，此可为有利的，如本文中进一步描述。

以此方式，在gui中可用的修改可为用户提供可用于使合成缺陷看起来更像真实缺陷图像的工具。但修改还可用于产生单一doi的多个变化。例如，按比例调整修改可用于产生单一doi类型的具有不同大小、纵横比等的多个例子，此在doi可在样品上具有不同大小及/或可在样品上的设计的不同部分中具有不同大小时可为适当的。以类似方式，可使用旋转及强度修改功能产生相同doi类型的不同变化。当已知doi类型在样品上具有不同定向及/或在样品上的设计内的不同位置处时，及/或当已知doi类型可能在样品上具有不同灰阶强度时，此类修改可为有用的。此类修改还可产生doi的多个例子，所述例子在用于如本文中描述那样训练机器学习模型时可提供更稳健机器学习模型。例如，用户可使用gui中的灰阶强度修改功能来产生样品的设计中的单一位置中的单一doi类型的具有不同灰阶强度值的多个例子。接着，全部所述多个例子(或其一或多者)可用于如本文中进一步描述那样训练机器学习模型。因此，经训练机器学习模型可例如通过设置机器学习模型的一或多个参数以将具有不同特性的一个doi的全部多个例子检测及/或分类为doi而对晶片间或doi间变化更稳健。

因此，如上文描述，gui可将不同类型的图像显示给用户，且用户可使用所述图像中的任一或多者产生合成或涂绘缺陷。图像可包含测试图像、参考图像及差异图像。针对样品上或样品的设计中的任一个位置，gui可显示不同类型的图像中的一或多者，例如仅测试图像或测试图像、参考图像及差异图像。gui还可显示对应于在样品上的不同位置处(例如在样品上的不同裸片中)产生的设计的相同部分及/或样品上的一或多个裸片中的不同位置处的设计中的相同图案化特征集的不同图像。

此外，在一些例子中，成像子系统可在多种模式(如本文中进一步描述)中产生样品上的单一位置的图像，且在多种模式中产生的图像可组合用于缺陷检测及/或分类。当存在可用于样品位置、设计位置或缺陷的多模式图像时，gui可将全部所述多模式图像显示给用户，且用户可以本文中描述的任何方式输入对经显示多模式图像中的任一或多者的一或多个更改。在一个此实例中，如果用户正使用gui产生doi的变化，那么用户可选取对在不同模式中产生的doi图像进行相同或不同修改。在一个图像中进行的改变还可跨图像的任意深堆叠应用。例如，不同于面向彩色及灰色图像(其分别为3个及1个通道深)的大多数图像编辑器，本文中描述的实施例支持通道尺寸的任意深度(这是因为可存在馈送到机器学习模型中的相同样品位点的6个以上视角)。以此方式，可通过用户运用提供于gui中的图像编辑工具进行的对图像的修改可为其中可通过如本文中描述的计算机子系统应用功能以仿真各种缺陷图像的一种仿真。

另外，如果一个类型的图像是通过用户运用图像编辑工具针对doi产生，那么gui可将针对所述图像的仿真选项显示给用户，所述仿真选项可包含例如从测试图像仿真差异图像或在与对应于由用户编辑的图像的模式不同的模式中仿真图像。gui还可显示可用于运用一个图像修改另一图像的选项，例如，如果用户选择两个图像，那么可使用于从一个图像减去另一图像的功能性可用。以此方式，用户可产生合成缺陷测试图像的差异图像以查看差异图像看似将如何。针对doi产生的任何此类图像可用于本文中进一步描述的训练。可运用任何合适软件及/或组件(例如本文中描述的机器学习模型中的一或多者)执行模拟。

组件还包含图像处理模块(例如，图像处理模块106)，其经配置用于将一或多个更改应用于一或多个图像中的至少一者，借此产生至少一个经修改图像且将至少一个经修改图像存储于训练集中。例如，一旦用户已对图像进行一或多个更改，用户便可选择图2的gui中展示的接受及/或存储按钮。接着，图像处理模块可仅存储经更改图像但图像处理模块还可响应于通过用户进行的更改而对图像档案或数据进行任何其它改变。在一个此实例中，如果用户已将缺陷图像剪切并转贴到另一图像中，那么图像处理模块可更改原始图像数据以包含所述缺陷图像数据，使得当存储经更改图像数据时可保存改变。许多此类图像处理模块及软件在商业上可购得且可用于本文中描述的实施例。基本上，可用于基于通过用户在gui中进行的改变改变图像数据且接着存储所述经改变图像数据的任何软件、组件、硬件等可用作实施例的图像处理模块。

在其中显示于gui中的一或多个图像是包含于初始训练集中的图像的一个实施例中，存储包含将至少一个经修改图像添加到初始训练集借此产生训练集。以此方式，图像处理模块可经配置以将用户绘制缺陷添加到训练图像。例如，在图2中展示的gui中，图像204可已经在训练集中。在用户已以本文中描述的任何方式修改图像中的一或多者以改变图像或产生新图像之后，可将经修改或新图像添加到训练集。在一个此实例中，如果用户选择图2中展示的接受或存储按钮中的一者，那么gui可显示询问用户是否想要将改变或新图像存储于训练集中的提示。在其它例子中，图像可简单包含例如使用成像子系统及经训练最佳已知缺陷检测及/或分类方法或系统针对样品产生的图像。在用户已修改所述图像及/或经产生新图像中的一或多者之后，用户可选择样品图像、经更改图像及/或新图像中的任一或多者且接着选择接受或存储，此可引起gui显示询问用户是否想要产生新训练集的询问。如果用户选择产生新训练集，那么可显示如可用于产生任何新数据文件的例如针对训练集名称、存储位置等的额外提示。以此方式，通过用户在gui中进行的对任何图像的任何更改可用于产生新训练集及/或更新或修改现有训练集。

本文中描述的实施例实现利用机器学习模型(例如深度神经网络及本文中描述的其它模型)用于缺陷检测及/或分类同时减轻数据收集的困难。例如，图3说明其中关于大量正确数据训练模型的理想训练序列。如图3中展示，可将训练图像300及经标记缺陷302输入到训练算法304，训练算法304可经配置以执行机器学习模型的训练。训练机器学习模型产生经训练模型306。接着，经训练模型可用于缺陷检测及/或分类。例如，可将新图像308输入到经训练模型，此可产生包含但不限于经发现缺陷310的输出。

实际上，训练缺陷常常数目较少、被不良标记或不存在。图4说明此通常遇到的训练序列。例如，如图4中展示，训练图像400可包含doi及扰乱点的较少及/或不良实例。因此，可将训练图像与较少及/或不良标签402一起输入到训练算法404。训练算法可如本文中描述那样使用训练图像及卷标执行训练，借此产生经训练模型406。接着，经训练模型可用于缺陷检测及/或分类。例如，可将新图像408输入到经训练模型，此产生不包含缺陷及/或包含相对较高扰乱点率的输出410。

在另一实施例中，显示于gui中的一或多个图像是初始训练集中的图像，初始训练集不包含样品的已知doi的任何例子，一或多个更改包含基于已知doi的一或多个特性在一或多个图像中的至少一者中产生合成缺陷，且存储包含将至少一个经修改图像添加到初始训练集借此产生训练集。例如，通常不存在doi的现有例子。因此，无一或多个类型的doi可存在于训练图像中。可难以产生在样品上发现的实际doi的训练图像的一个原因是因为doi特别是在于扰乱点相比时可尤其罕见。训练集中不具有任何doi是成问题的，这是因为以此训练集训练的机器学习模型将最有可能无法在新图像(例如，运行时间图像)中检测doi。然而，本文中描述的实施例通过利用缺陷外观的用户知识而使模型训练甚至在不存在实例doi时仍可能。因此，上文描述的实施例优于用于训练缺陷分类器的其它当前使用方法的一个优点是其允许用户训练模型以在具有doi的零真实实例的情况下检测及/或分类所述doi。发明者已透过实验发现，仅关于合成缺陷(即，在无真实缺陷的情况下)训练的模型可在检验期间捕获真实缺陷。

在又一实施例中，显示于gui中的图像是初始训练集中的图像，初始训练集包含样品的已知doi的少于预定数目个例子，更改包含基于已知doi的一或多个特性在一或多个图像中的至少一者中产生一或多个合成缺陷，借此产生至少一个经修改图像中的一或多者，且存储包含将至少一个经修改图像中的一或多者添加到初始训练集借此产生训练集。例如，doi的现有例子通常少见。特定来说，doi可为罕见的(尤其是相较于扰乱点)或可大体上在样品图像中不易察觉且因此难以检测。因此，训练图像中可存在相对较少doi，其中“较少doi”被定义为少于已知机器学习模型训练所需的预定最小数目。如果运用图像的此训练集训练机器学习模型，那么机器学习模型可能无法检测doi或可具有大体上高扰乱点率。训练图像中的doi的错误标记还可引起训练机器学习模型的问题。错误标记可因样品图像中的大体上不易察觉doi引起且doi可容易错误分类。因此，运用此训练集训练的机器学习模型可能无法检测doi及/或可具有大体上高扰乱点率。然而，本文中描述的实施例通过利用缺陷外观的用户知识而甚至在已知doi例子较少时仍改进模型性能。例如，发明者已透过实验发现，合成缺陷可在其中较少真实训练数据可用的情况中改进分类器的性能。

图5说明可在上文描述的实施例中执行的步骤的一个实施例。例如，如图5中展示，步骤500可包含确定在训练集的检验期间是否未发现缺陷或发现较少缺陷。在步骤502中，用户可使用本文中描述的gui基于先前实例或过程知识涂绘(或以其它方式产生合成)缺陷，如本文中进一步描述。以此方式，在不存在“良好”训练数据(其中“良好”训练数据一般被定义为具有至少预定最小数目个正确标记/分类的doi且可能还具有预定最小数目个正确标记/分类的扰乱点的训练数据)的情况下，可使用基本图像编辑工具将合成缺陷涂绘到干净样品图像及/或本文中描述的其它图像中或在其中产生合成缺陷，且接着可将具有经涂绘或合成缺陷的图像用于本文中进一步描述的训练。

组件进一步包含经配置用于使用通过成像子系统针对样品产生的图像针对样品执行一或多个功能的机器学习模型，例如，图1中展示的机器学习模型108。在一个实施例中，一或多个功能包含检测样品上的缺陷。在另一实施例中，一或多个功能包含对在样品上检测到的缺陷分类。以此方式，机器学习模型可经配置用于缺陷检测或缺陷分类。然而，机器学习模型还可经配置用于缺陷检测及缺陷分类。输入到机器学习模型的样品的图像可包含运行时间图像或在例如检验、度量或缺陷检视的过程期间针对样品产生的图像。机器学习模型可经配置用于使用此类图像(可能与一或多个其它信息源(例如样品的设计数据)一起)进行缺陷检测及/或分类。

机器学习模型可包含所属领域中已知的任何深度学习模型，包含例如神经网络、卷积神经网络、生成模型等。用于本文中描述的实施例中的合适机器学习模型的实例包含经配置用于单一图像检测的机器学习模型，如2017年5月18日由卡尔桑迪(karsenti)等人发表的第2017/0140524号美国专利申请公开案中描述，所述案宛如全文阐述以引用的方式并入本文中。机器学习模型还可经配置用于缺陷检测及/或分类，如以下共同拥有的美国专利申请公开案中描述：2017年5月18日由卡尔桑迪等人发表的第2017/0140524号美国专利申请公开案；2017年5月25日由张(zhang)等人发表的第2017/0148226号美国专利申请公开案；2017年7月6日由巴斯卡尔等人发表的第2017/0193400号美国专利申请公开案；2017年7月6日由张等人发表的第2017/0193680号美国专利申请公开案；2017年7月6日由巴斯卡尔等人发表的第2017/0194126号美国专利申请公开案；2017年7月13日由巴斯卡尔等人发表的第2017/0200260号美国专利申请公开案；2017年7月13日由帕克(park)等人发表的第2017/0200264号美国专利申请公开案；2017年7月13日由巴斯卡尔等人发表的第2017/0200265号美国专利申请公开案；2017年11月30日由张等人发表的第2017/0345140号美国专利申请公开案；2017年12月7日由张等人发表的第2017/0351952号美国专利申请公开案；2018年4月19日由张等人发表的第2018/0107928号美国专利申请公开案；2018年10月11日由古普塔(gupta)等人发表的第2018/0293721号美国专利申请公开案；2018年11月15日由哈(ha)等人发表的第2018/0330511号美国专利申请公开案；2019年1月3日由但丁娜(dandiana)等人发表的第2019/0005629号美国专利申请公开案；及2019年3月7日由何(he)等人发表的第2019/0073568号美国专利申请公开案，所述案宛如全文阐述以引用的方式并入本文中。本文中描述的实施例可如这些专利申请公开案中描述那样进一步配置。另外，本文中描述的实施例可经配置以执行这些专利申请公开案中描述的任何步骤。

一或多个计算机子系统经配置用于以其中存储至少一个经修改图像的训练集训练机器学习模型。例如，计算机子系统可基于由用户编辑的图像训练分类器。在一个此实例中，如图5的步骤504中展示，计算机子系统可关于经涂绘缺陷或合成图像训练机器学习模型，例如分类器及/或深度神经网络。以此方式，计算机子系统可将用户绘制缺陷输入到训练模型以借此改进检测及/或分类器性能的机器学习训练算法。另外，计算机子系统可关于数据集(如本文中进一步描述，其部分或完全由用户产生的合成图像构成)训练机器学习模型以改进所述模型在分类不可见数据时的性能。关于合成数据训练分类器以在推断期间捕捉真实事件是由本文中描述的实施例提供的新特征。

通过以本文中描述的合成或经涂绘缺陷训练机器学习模型而产生的结果已显示经训练机器学习模型可甚至在合成或经涂绘缺陷对真实doi的保真度相对较低时仍从合成实例捕捉真实doi。例如，图6展示如本文中描述那样产生的合成图像的一个实例及使用机器学习模型(其使用合成图像训练)正确地检测及分类的真实缺陷图像的一个实例。特定来说，图6中展示的图像600是使用如本文中描述那样配置的gui产生的合成图像。此图像中的合成缺陷是图像的中心附近的暗圆(darkcircle)。可通过手动在非缺陷图像中绘制圆或通过使用在gui图像编辑工具中可用的圆形原型而在非缺陷图像中产生此合成缺陷。如通过比较图像600与真实缺陷图像602可见，合成图像与真实缺陷图像之间存在各种差异。例如，合成缺陷图像具有相对清晰的、不模糊的边缘，而真实缺陷图像边缘具有显著更多模糊。另外，合成及真实缺陷图像在图案化特征内具有稍微不同形状及稍微不同位置。然而，本发明者已发现，以此合成缺陷图像训练的机器学习模型可成功地检测且分类图像602中展示的真实缺陷。因此，即使合成缺陷对其真实缺陷对应物的保真度相对较低，仍可从合成实例捕捉真实缺陷。

一或多个计算机子系统可经配置以按任何合适方式(例如通过将指派给训练图像的缺陷及/或类别卷标以及训练图像输入到机器学习模型)训练机器学习模型。可通过用户如本文中描述那样(例如，经由gui中的批注工具)或以任何其它方式(通过另一已训练缺陷分类方法或系统)将卷标指派给训练图像。卷标可指派给每一训练缺陷图像且可包含例如缺陷id1、缺陷id2、…、缺陷idn、图案缺陷、桥接缺陷等的标签。因此，不同卷标可与每一训练缺陷图像及/或每一训练缺陷图像中的每一缺陷相关联。

训练集还可包含除通过用户使用gui修改的图像之外的图像。例如，训练集可包含一或多个其它合成图像，所述一或多个其它合成图像可通过将假设缺陷插入到样品的设计中且接着产生包含所述假设缺陷的设计的仿真图像而产生。以此方式，训练集可包含仿真图像。此类仿真图像可通过在上文引用的专利申请案中描述的机器学习模型中的一或多者产生。训练集还可包含一或多个非缺陷图像。例如，训练集可包含其中未检测到或尚未检测到缺陷的样品的图像。使用包含缺陷图像及非缺陷图像的训练集可产生机器学习模型，所述机器学习模型能够在其用于缺陷检测时在缺陷图像与非缺陷图像之间更好地区分。

一或多个计算机子系统还可经配置以通过将类别卷标及训练图像与一或多个训练参考图像及/或针对其产生训练图像的样品的设计一起输入到机器学习模型而训练机器学习模型。例如，参考图像及/或设计可作为机器学习模型的第二(及可能第三)通道插入。参考图像可包含样品的无缺陷图像。以此方式，无缺陷图像及缺陷图像可作为不同数据集而非单一训练图像集输入到机器学习模型。参考图像可包含任何无缺陷图像且可以任何合适方式(例如，通过对样品成像且将无缺陷的样品的图像识别为参考图像，通过获取已知无缺陷的样品的一或多个图像，通过从样品的设计仿真参考图像等)获取。设计可包含可以任何合适方式获取的本文中描述的任何设计或设计数据。计算机子系统可经配置以使用上文描述的信息及图像以任何合适方式(例如，通过将图像及信息输入到机器学习模型且调整机器学习模型的一或多个参数，直到通过机器学习模型针对训练图像产生的结果匹配输入到机器学习模型的卷标)训练机器学习模型。计算机子系统可进一步经配置以如在上文以引用的方式并入的任何专利申请公开案中描述那样训练机器学习模型。

gui可经配置以显示各种训练特征。在一个实施例中，gui经配置用于将训练的结果显示给用户。例如，gui可经配置以如果用户例如通过选择图2中展示的训练按钮起始训练则显示用于训练机器学习模型的各种选项。训练特征可包含用于训练的任何合适选项，例如选择待用于训练的一或多个训练或数据集。经训练的机器学习模型的参数可包含模型的任何可调整参数，例如权重及偏差。显示于gui中的训练的结果可包含可通过训练机器学习模型而产生的任何合适结果，所述结果可包含例如分类为缺陷图像的图像、分类为扰乱点的图像及任何其它训练结果或训练结果的特性。以此方式，用户接口可为训练接口，且图像编辑工具可集成到训练接口中。

在另一实施例中，gui经配置用于显示通过经训练机器学习模型针对样品或另一样品使用通过成像子系统分别针对样品或另一样品产生的图像执行的一或多个功能的结果。例如，gui可经配置用于将机器学习模型对其它可用图像的所得性能显示给用户。在一个此实例中，如图5的步骤506中展示，计算机子系统可对测试数据运行分类器以发现真实缺陷。另外，用户可使用gui来观看每一分类器对各种数据集的性能。

在一个此实施例中，gui经配置用于响应于显示通过经训练机器学习模型针对样品或另一样品执行的一或多个功能的结果而从用户接收额外输入。例如，运行经训练机器学习模型的结果可显示于如本文中描述的gui中，且如图5的步骤508中展示，用户可检视由经训练机器学习模型(其可为分类器或本文中描述的其它类型的模型)旗标的缺陷。用户可使用gui输入结果的信息，此可包含验证如本文中描述的结果及/或修改结果以校正任何不正确结果。修改结果可包含移除或修改一或多个标签(例如，以将标签从“缺陷”改变为“扰乱点”或“无缺陷”或从一个缺陷类别改变为另一缺陷类别)。可使用例如批注工具(例如本文中进一步描述的显示于gui中的批注工具)在结果中修改标签。修改结果还可或替代地使用提供于gui中的任何其它工具(例如将缺陷从一个类别群组拖放到另一类别群组)执行。

在一些此类实施例中，额外输入包含通过经训练机器学习模型针对样品或另一样品执行的一或多个功能的结果的有效性。例如，机器学习模型可对针对样品或另一样品产生的剩余训练集或其它图像(例如，测试数据、验证数据或运行时间图像)运行推断(用于缺陷检测及/或分类)。用户可在视觉上验证经检测及/或经分类的缺陷，且可使用gui来提供针对缺陷及/或扰乱点中的一或多者的一或多个输入以指示其是否有效。在一个此实例中，用户可选择其确定为有效的缺陷且接着选择验证按钮以将选定缺陷保存为经验证数据。用户还可或替代地通过显示于gui中的任何其它工具(包含但不限于针对有效或无效结果的无线电按钮、用于将个别缺陷群组成有效或无效结果的拖放功能性及类似者)来指示通过机器学习模型检测及/或分类的个别缺陷中的任一者是否有效。

在额外此类实施例中，一或多个功能包含检测样品或另一样品上的缺陷，额外输入包含选择经检测缺陷中的一或多者以供图像处理模块存储于训练集中，借此产生经修改训练集，且一或多个计算机子系统经配置用于以经修改训练集重新训练机器学习模型。例如，如图5的步骤510中展示，计算机子系统可任选地将在测试期间发现的真实缺陷添加到训练集且重新训练机器学习模型。

图7说明经改进批注最佳已知方法(bkm)的一个实施方案。可在doi的视觉扫描耗时且易于出错时执行这些步骤。这些步骤可减小待扫描的图像区域。如图7的步骤700中展示，用户可使用如本文中描述那样配置的gui涂绘(或以其它方式产生)遗漏缺陷及/或遗漏缺陷类型。接着，计算机子系统可训练模型，如步骤702中展示，其可如本文中描述那样执行。接着，可使用经训练模型来捕捉真实缺陷，如步骤704中展示。可通过将经训练机器学习模型应用于除训练集之外的数据或图像而执行捕捉真实缺陷，且其它数据可包含测试数据、运行时间数据及类似者。然而，捕捉真实缺陷还可或替代地对剩余数据集执行。

通过机器学习模型产生的结果可如本文中描述那样显示于gui中，且用户可在视觉上验证经检测缺陷。如步骤706中展示，图像处理模块可将真实缺陷添加到训练集。真实缺陷可仅包含已通过用户验证的所述缺陷。如图7中进一步展示，在执行步骤706之后，用户可再次如本文中在步骤700中描述那样使用gui涂绘(或以其它方式产生)任何遗漏缺陷，且可通过再次执行步骤702而使用包含经添加真实缺陷及任何新涂绘(或合成)缺陷的经修改训练集来重新训练模型。以此方式，无论何时使用机器学习模型检测及/或分类样品上的缺陷，皆可将缺陷检测及/或分类的结果添加到训练集且接着可重新训练模型。因此，计算机子系统可经配置以执行其中可运用任何(或一些)新检测及/或分类的doi及/或扰乱点断续地或连续地重新训练机器学习模型的一种适应性学习，此可随时间改进机器学习模型的性能。

本文中描述的实施例提供优于用于训练机器学习模型的先前使用方法及系统的若干优点。例如，本文中描述的实施例具有比当前使用方法的性能更好的性能(例如，经改进缺陷检测及分类)，这是因为其允许用户在零真实实例的情况下训练模型以检测且分类doi。当较少doi实例(其可包含缺陷外观中的未表示变体)存在时，实施例还通过增加表示不足缺陷类型的计数以改进模型质量而提供经改进缺陷检测及分类。另外，本文中描述的实施例提供用于在无训练数据的情况下进行基于学习的缺陷检测及分类的可能手段。实施例允许用户使用缺陷外观的现有知识而非全部或完全依赖于从晶片图像收集真实数据的耗时的、易于出错的且偶尔不可用的方法来训练模型。因此，本文中描述的实施例可在训练数据不可用或受限时利用用户的专家知识。以此方式，通过本文中描述的实施例提供的经改进缺陷检测、数据收集及时间节省使缺陷涂绘或合成产生具有实际价值。

本文中描述的实施例还通过将合成实例添加到训练数据而提供使以下特征(其在先前工具能力中不可用)可能的经改进模型性能。一个新特征是捕捉不存在其已知实例的缺陷。另一新特征是在具有大体上较少实例的情况下加强缺陷检测及缺陷的分类。额外新特征是改变给定缺陷类型的外观以捕捉在训练集中表示不足的变体。

本文中描述的实施例还显著减少发现真实缺陷所需的时间(配方时间)，这是因为运用合成缺陷，用户可大体上快速地训练用于检验的模型。相比之下，在当前使用的方法及系统中，可能已不得不产生整个样品的图像以寻找缺陷(或甚至仅数个缺陷实例)。本文中描述的实施例通过关于合成缺陷训练机器学习模型而提供大体上高易用性(eou)，且接着可使用所述机器学习模型来发现训练集中的“候选”缺陷。接着，用户仅需要检视这些候选者而非盯着整个样品的全部图像以发现繁琐且易于出错的缺陷。

可将上文描述的实施例中的每一者在一起组合为一个单一实施例。

另一实施例涉及一种用于训练机器学习模型的计算机实施方法。方法包含本文中进一步描述的显示、接收输入、应用一或多个更改、存储及训练步骤。可如本文中进一步描述那样执行方法的步骤中的每一者。方法还可包含可由本文中描述的系统、计算机子系统、gui、图像处理子系统、机器学习模型及/或成像系统或子系统执行的任何其它步骤。一或多个计算机系统、一或多个组件、gui、图像处理模块及机器学习模型可根据本文中描述的实施例中的任一者配置。另外，上文描述的方法可通过本文中描述的系统实施例中的任一者执行。

额外实施例涉及一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可在一或多个计算机系统上执行以执行用于训练机器学习方法的计算机实施方法。在图8中展示一个此实施例。特定来说，如图8中展示，非暂时性计算机可读媒体800包含可在计算机系统804上执行的程序指令802。计算机实施方法可包含本文中描述的任何方法的任何步骤。

实施例如本文中描述的方法的方法的程序指令802可存储于计算机可读媒体800上。计算机可读媒体可为存储媒体，例如磁盘或光盘、磁带或所属领域中已知的任何其它合适非暂时性计算机可读媒体。

可以各种方式(包含基于过程的技术、基于组件的技术及/或面向对象技术等等)中的任一者实施程序指令。例如，可根据需要使用activex控件、c++对象、javabeans、微软基础类别(“mfc”)、sse(串流simd延伸)或其它技术或方法论实施程序指令。

计算机系统804可根据本文中描述的实施例中的任一者配置。

鉴于此描述，所属领域的技术人员将明白本发明的各种方面的进一步修改及替代实施例。例如，提供用于以一或多个合成图像训练机器学习模型的方法及系统。因此，此描述应仅应被解释为阐释性的且是出于教示所属领域的技术人员实行本发明的一般方式的目的。应了解，在本文中展示及描述的本发明的形式将被视为当前优选实施例。如所属领域的技术人员在获益于本发明的此描述之后将明白，元件及材料可取代在本文中说明及描述的元件及材料，部分及过程可颠倒，且可独立利用本发明的某些特征。可在不脱离如在以下权利要求书中描述的本发明的精神及范围的情况下对本文中描述的元件进行改变。