优化用于设置检验相关算法的训练组的制作方法

本发明大体上涉及优化用于设置检验相关算法的训练组的方法及系统。

背景技术：

在此节中，下列描述及实例不凭借其内含物而认为是现有技术。

在半导体制造过程期间，在各种步骤中使用检验过程以检测晶片上的缺陷，从而促进所述制造过程中的更高产量且因此促进更高利润。检验一直是制造半导体装置的重要部分。然而，随着半导体装置的尺寸减小，检验对可接受的半导体装置的成功制造变得更重要，这是因为较小缺陷可导致装置不合格。

当在样品(例如晶片)上检测到缺陷时，通常将某种类型的算法应用到所检测的缺陷以将其分成不同种类的缺陷(或将缺陷与非缺陷分离开)。完成这的一个方式是将缺陷分类器应用到所检测的缺陷，其将所检测的缺陷分成不同类型或等级的缺陷。缺陷分类器通常将缺陷及/或缺陷图像(例如，所述缺陷附近获取的通常叫作“补丁”图像或“补丁”的相对小图像)的一或多个属性用作输入以确定缺陷的类型或等级。接着，缺陷分类器将某种类型的识别符或id分配给每一缺陷以表明所确定的类型或等级。分离所检测缺陷的另一方式是将实际缺陷与妨害或噪声分离开。“妨害”缺陷一般经界定为用户不在乎的缺陷及/或经检测为缺陷但实际上非缺陷的缺陷。这些算法通常称为缺陷过滤器及/或妨害过滤器。

光学检验工具上最广泛使用的分类器/妨害过滤器是基于人工建构的决策树。用于这些决策树的调整方法利用并入到用于树建构的最佳已知方法(bkm)中的经验及领域知识。这通常导致所述决策树最初使用bkm“模板”、缺陷群聚及实质上较粗糙的缺陷标记(使用补丁)建构而成。在已获得所述树的结构之后，接着使用多样性取样来对所述树进行多样化取样，其中跨所述树上的叶节点存在智能样本分布。接着，扫描式电子显微镜(sem)对所取样缺陷进行检视、分类且将其用于最后调整决策切割线(分离不同类型的缺陷的边界)。如果给定训练组，那么基于机器学习算法的其它分类器(例如最近邻点型分类器)将自动找到决策边界，但当前不存在获得将最大化其性能的训练组的方法。

然而，当前所使用的用于设置及调整缺陷分类器的方法存在许多缺点。例如，现存方法为劳力密集型、需要大量专业知识且将产生依赖于人类专家的不一致结果。由人类专家建造分类器易于产生误差且昂贵且耗时。每一缺陷具有相对较大数目的特征，这使得几乎不可能适当可视化所述特征以便于分类。因此，因为缺乏关于潜在多维分布的知识，所以人类专家可能在建造所述分类边界时出现重大误差。即使不存在重大误差，人工创造次最佳分类器的可能性实质上很高。

据此，研发不具有上文所描述的缺点中的一或多者的用于优化用于设置检验相关算法的训练组的系统及/或方法将是有利的。

技术实现要素：

各种实施例的下列描述不得以任何方式解释为限制所附权利要求书的目标。

一个实施例涉及经配置以训练检验相关算法的系统。所述系统包含检验子系统，其包含至少能源及检测器。所述能源经配置以产生经导引到样品的能量。所述检测器经配置以检测来自样品的能量且响应于所检测的能量产生输出。所述系统还包含一或多个计算机子系统。一或多个计算机子系统经配置以使用标记缺陷组执行检验相关算法的初始训练，借此产生检验相关算法的初始版本。所述(若干)计算机子系统还经配置以将检验相关算法的初始版本应用到未标记缺陷组且基于所述应用的结果变更所述标记缺陷组。另外，所述(若干)计算机子系统经配置以使用经变更的标记缺陷组再训练检验相关算法，借此产生检验相关算法的较新版本。所述(若干)计算机子系统经进一步配置以将检验相关算法的较新版本应用到另一未标记缺陷组。另外，所述(若干)计算机子系统经配置以确定应用检验相关算法的较新版本的结果与应用检验相关算法的初始版本或较旧版本的结果之间的一或多个差。所述(若干)计算机子系统还经配置以重复变更所述标记缺陷组、再训练所述检验相关算法、应用检验相关算法的较新版本且确定所述一或多个差直到所述一或多个差达到一或多个标准。当所述一或多个差达到所述一或多个标准时，所述(若干)计算机子系统经配置以输出检验相关算法的最新版本作为经训练检验相关算法以用于检验其它样品。所述系统可如本文所描述那样进一步配置。

另一实施例涉及用于训练检验相关算法的计算机实施方法。所述方法包含上文所描述的一或多个计算机子系统的功能中的每一者的步骤。由一或多个计算机系统来执行所述方法的步骤。可如本文中所进一步描述那样执行所述方法。另外，所述方法可包含在本文所描述的(若干)任何其它方法的(若干)任何其它步骤。此外，所述方法可由本文所描述的系统中的任何者执行。

额外实施例涉及非暂时性计算机可读媒体，其存储在计算机系统上执行的用于执行训练检验相关算法的计算机实施方法的程序指令。所述计算机实施方法包含上文所描述的方法的步骤。所述计算机可读媒体可如本文所描述那样进一步配置。所述计算机实施方法的步骤可如本文所进一步描述那样执行。另外，所述计算机实施方法(可针对所述方法执行所述程序指令)可包含在本文所描述的(若干)任何其它方法的(若干)任何其它步骤。

附图说明

在阅读下列详细描述时及在参考附图时，将明白本发明的其它目的及优点，其中：

图1及2是说明如本文所描述那样配置的系统的实施例的侧视图的示意图；

图3是说明可通过本文中所描述的实施例执行的步骤的一个实施例的流程图；以及

图4是说明存储在计算机系统上执行的用于执行本文中所描述的计算机实施方法中的一或多者的程序指令的非暂时性计算机可读媒体的一个实施例的框图。

虽然本发明易于以各种修改及替代形式呈现，但其特定实施例通过实例的方式在图式中展示且将在本文中详细描述。然而，应了解图式及其详细描述不希望将本发明限于所揭示的特定形式，但相反，本发明涵盖在如通过所附权利要求书所界定的本发明的精神及范围内的所有修改、等效物及替代方式。

具体实施方式

现在转到图式，应注意图不按比例绘制。特定来说，图的一些元件的比例被极大地夸大以强调元件的特性。还应注意图未按相同比例绘制。一个以上图中所展示的可经相似地配置的元件已使用相同元件符号指示。除非本文中另有规定，否则所描述及展示的元件中的任何者可包含任何适合的可商业购得的元件。

一个实施例涉及经配置以训练检验相关算法的系统。一般来说，本文中所描述的实施例提供用于获得最小大小的训练组的方法及系统，所述训练组用于分类由光学工具及其它工具捕获的缺陷，或用于其它检验相关功能。另外，本文中所描述的实施例可有利地用于找到最具指导性的缺陷的最小组，以建造本文中所描述的分类器及其它检验相关算法，从而用于本文中所描述的缺陷分类及其它检验相关功能的目的。

传统上，为了最佳性能调整样品检验(例如光学晶片检验)的过程几乎完全为人工的。调整过程一般依赖于最佳已知方法(bkm)及执行调整的人类专家的经验及技巧。因此，不期望将此类方法用于设置生产监测系统，这不仅因为其代价极高(精力及劳力)，还因为调整成果较主观且缺少一致性。然而，尽管当前检验调整方法存在这些明显缺点，但在此生产环境中，将此过程自动化的尝试并未得到广泛接受。主要原因在于此自动化依赖于算法，而算法的性能来源于训练其的数据(称为训练组)。因此，除非依系统方式获取训练数据，否则这些算法的性能是不确定的。换句话来说，在不存在找到优化所述算法的性能的训练组的可靠方法的情况下，此类自动化解决方案具有人工方法的所有问题。特定来说，此类解决方案不一致，且不论潜在算法多好，也无法保证其性能匹配人工方法的性能。另外，诊断性能问题且在找到所述问题之后解决它们实质上常常是十分困难的(如果不是不可能)。因此，目前为止，机器学习方法(现在这些方法的叫法)尚未成功。

本文中所描述的实施例提供用于任何机器学习算法(其可用于如分类及过滤的检验相关功能)的综合调整方法。(即使所述实施例还可被应用于检测算法调整，本文中所描述的实施例也尤其可用于妨害过滤器及分类器。)所述实施例是基于针对检验(例如，光学检验)，用于获取训练组的方法可与算法调整本身有利地完全集成的实现。所述两者是互连的，且其不应彼此分离以提供一致行为。此相互依赖性的基本原因如下。

使用热扫描(具有实质上较高妨害率的高缺陷性扫描)来调整例如光学检验的检验。调整本身需要标记缺陷(即，通常由人类专家分类的分类缺陷)。对通过扫描式电子显微镜(sem)检视工具获取的sem图像执行此分类。如果可检视及分类在热扫描中检测到的所有缺陷，那么将不需要本文中所描述的实施例。然而，因为此检视/分类过程实质上在劳力及工具时间上花费很大，因此实际上不可能做到这一点。因此，识别可产生分类器或其它检验相关算法的最佳性能的适合缺陷子组是绝对必要的，且非常期望找到实现这一点的最小组。

本文中所描述的实施例提供通过学习迭代来优化缺陷训练组的选择的方法和系统，在学习迭代中，检验相关算法(例如分类器模型)学习数据且请求所需要的数据以提高其性能。本文中所描述的实施例还将有利地提供用于确定学习已达到其终点的时间点的方法及系统。

在一个实施例中，样品包含晶片。在另一实施例中，样品包含光罩。所述晶片及所述光罩可包含此项技术中已知的任何晶片及光罩。

图1中展示此系统的一个实施例。所述系统包含检验子系统，其包含至少能源及检测器。所述能源经配置以产生经导引到样品的能量。所述检测器经配置以检测来自样品的能量且响应于所检测的能量产生输出。

在一个实施例中，导引到样品的能量包含光，且从样品检测到的能量包含光。例如，在图1中所展示的系统的实施例中，检验子系统10包含经配置以将光导引到样品14的照明子系统。照明子系统包含至少一个光源。例如，如图1中所展示，照明子系统包含光源16。在一个实施例中，照明子系统经配置以依一或多个入射角(其可包含一或多个倾斜角及/或一或多个法向角)将光导引到样品。例如，如图1中所展示，来自光源16的光经导引穿过光学元件18且接着穿过透镜20而到分束器21，所述分束器依法线入射角将光导引到样品14。所述入射角可包含任何适合入射角，其可取决于(例如)样品的特性及将在样品上检测到的缺陷而变动。

照明子系统可经配置以在不同时间依不同入射角将光导引到所述样品。例如，检验子系统可经配置以变更照明子系统的一或多个元件的一或多个特性，使得可依不同于图1中所展示的入射角将光导引到所述样品。在一个此实例中，检验子系统可经配置以移动光源16、光学元件18及透镜20，使得依不同入射角将光导引到所述样品。

在一些例子中，检验子系统可经配置以同时依一个以上入射角将光导引到样品。例如，照明子系统可包含一个以上照明通道，所述照明通道中的一者可包含如图1中所示的光源16、光学元件18及透镜20且所述照明通道中的另一者(图中未展示)可包含类似元件，其可经不同或相同配置，或可包含至少光源且可能包含一或多个其它组件(例如本文所进一步描述的组件)。如果此光与另一光同时经导引到样品，那么依不同入射角导引到样品的光的一或多个特性(例如波长、偏光等等)可为不同的，使得依不同入射角从样品的照明产生的光可在(若干)检测器处彼此区别开。

在另一例子中，照明子系统可仅包含一个光源(例如，图1中所展示的源16)且可通过照明子系统的一或多个光学元件(图中未展示)来将来自所述光源的光分成不同光学路径(例如，基于波长、偏光等等)。接着，可将所述不同光学路径中的每一者中的光导引到样品。多个照明通道可经配置以同时或在不同时间(例如，当不同照明通道用于依序照射样品时)将光导引到样品。在另一例子中，相同照明通道可经配置以在不同时间将具有不同特性的光导引到样品。例如，在一些例子中，光学元件18可经配置为光谱滤波器且可依各种不同方式(例如，通过调换光谱滤波器)改变光谱滤波器的性质，使得可在不同时间将不同波长的光导引到样品。照明子系统可具有此项技术中已知的任何其它适合配置，其用于依序或同时依不同或相同入射角将具有不同或相同特性的光导引到样品。

在一个实施例中，光源16可包含宽带等离子(bbp)光源。以这种方式，由光源产生且被导引到样品的光可包含宽带光。然而，光源可包含例如激光的任何其它适合光源。激光可包含此项技术中已知的任何适合激光且可经配置以依此项技术中已知的一个或若干个任何适合波长产生光。另外，激光可经配置以产生单色光或近单色光。以这种方式，激光可为窄带激光。光源还可包含依多个离散波长或波带产生光的多色光源。

来自光学元件18的光可由透镜20聚焦到分束器21上。尽管透镜20在图1中展示为单个折射光学元件，但应了解，透镜20实际上可包含一起将来自光学元件的光聚焦到样品的若干折射及/或反射光学元件。图1中所展示及本文所描述的照明子系统可包含任何其它适合光学元件(图中未展示)。此类光学元件的实例包含但不限于(若干)偏光组件、(若干)光谱滤波器、(若干)空间滤波器、(若干)反射光学元件、(若干)变迹器、(若干)分束器、(若干)孔隙及其类似者，其可包含此项技术中已知的任何此类适合光学元件。另外，所述系统可经配置以基于待用于检验的照明的类型来变更照明子系统的元件中的一或多者。

检验子系统还可包含经配置以引起光扫描样品的扫描子系统。例如，检验子系统可包含在检验期间将样品14安置于其上的置物台22。扫描子系统可包含任何适合机械及/或机器人组合件(其包含置物台22)，其可经配置以移动样品，使得光可扫描样品。另外或替代地，检验子系统可经配置使得检验子系统的一或多个光学元件执行使光对样品进行某种扫描。可使光依任何适合方式扫描样品。

检验子系统进一步包含一或多个检测通道。一或多个检测通道中的至少一者包含检测器，其经配置以因为由检验子系统照射样品来检测来自样品的光且响应于所检测的光来产生输出。例如，图1中所展示的检验子系统包含两个检测通道：一个检测通道由集光器24、元件26及检测器28形成且另一检测通道由集光器30、元件32及检测器34形成。如图1中所展示，两个检测通道经配置以依不同集光角收集且检测光。在一些例子中，一个检测通道经配置以检测镜面反射的光，且另一检测通道经配置以检测非从样品镜面反射(例如散射、衍射等等)的光。然而，检测通道中的两者或两者以上可经配置以检测来自样品的相同类型的光(例如镜面反射的光)。虽然图1展示包含两个检测通道的检验子系统的实施例，但检验子系统可包含不同数目的检测通道(例如，仅一个检测通道或两个或两个以上检测通道)。虽然集光器中的每一者在图1中展示为单个折射光学元件，但应了解所述集光器中的每一者可包含一或多个折射光学元件及/或一或多个反射光学元件。

一或多个检测通道可包含此项技术中已知的任何适合检测器。例如，检测器可包含光电倍增管(pmt)、电荷耦合装置(ccd)及延时积分(tdi)摄影机。检测器还可包含此项技术中已知的任何其它适合检测器。检测器还可包含非成像检测器或成像检测器。以这种方式，如果检测器是非成像检测器，那么检测器中的每一者可经配置以检测散射光的特定特性(例如强度)，但不可经配置以检测依据成像平面内的位置而变化的特性。因而，由包含于检验子系统的检测通道中的每一者中的检测器中的每一者产生的输出可为信号或数据，但非图像信号或图像数据。在此类例子中，计算机子系统(例如所述系统的计算机子系统36)可经配置以从检测器的非成像输出产生样品的图像。然而，在其它例子中，检测器可经配置为经配置以产生图像信号或图像数据的成像检测器。因此，所述系统可经配置以依许多方式产生本文所描述的输出。

应注意，本文中提供图1来大体上说明可包含于本文描述的系统实施例中的检验子系统的配置。显而易见，本文所描述的检验子系统配置可经变更以如设计商用检验系统时正常所执行那样优化所述系统的性能。另外，可使用现存检验系统(例如，通过将本文所描述的功能性新增到现存检验系统)(例如购自加利福尼亚州米尔皮塔斯市的科磊公司(kla-tencor,milpitas,calif.)的28xx及29xx系列工具)来实施本文中所描述的系统。对于一些此类系统，可提供本文中所描述的方法作为系统的任选功能性(例如，除系统的其它功能性之外)。替代地，本文所描述的系统可经“从头开始”设计以提供全新系统。

系统的计算机子系统36可依任何适合方式(例如，经由一或多个传输媒体，其可包含“有线”及/或“无线”传输媒体)耦合到检验子系统的检测器，使得在样品的扫描期间，计算机子系统可接收由检测器产生的输出。计算机子系统36可经配置以使用本文中所描述的检测器的输出来执行若干功能及本文所进一步描述的任何其它功能。此计算机系统可如本文中所描述那样经进一步配置。

此计算机子系统(以及本文中所描述的其它计算机子系统)在本文中还可称为(若干)计算机系统。本文所描述的(若干)计算机子系统或系统中的每一者可采用各种形式，其包含个人计算机系统、图像计算机、大型计算机系统、工作站、网络设备、因特网设备或其它装置。一般来说，术语“计算机系统”可经广泛界定以涵盖具有一或多个处理器(其执行来自存储器媒体的指令)的任何装置。(若干)计算机子系统或系统还可包含此项技术中已知的任何适合处理器，例如并行处理器。另外，(若干)计算机子系统或系统可包含具有高速处理及软件的计算机平台作为单机或连网工具。

如果系统包含一个以上计算机子系统，那么不同计算机子系统可经彼此耦合，使得可在计算机子系统之间发送图像、数据、信息、指令等等，如本文进一步所描述。例如，计算机子系统36可通过任何适合传输媒体(其可包含此项技术中已知的任何适合有线及/或无线传输媒体)来耦合到(若干)计算机子系统102(如由图1中的虚线所展示)。此类计算机子系统中的两者或两者以上还可由共享计算机可读存储媒体(图中未展示)有效耦合。

虽然检验子系统在上文中被描述为基于光学或光的检验子系统，但检验子系统可为基于电子束的检验子系统。例如，在一个实施例中，导引到样品的能量包含电子，且从样品检测到的能量包含电子。以这种方式，能源可为电子束源。在图2中所展示的一个此类实施例中，检验子系统包含经耦合到计算机子系统124的电子柱122。

还如图2中所展示，电子柱包含电子束源126，其经配置以产生由一或多个元件130聚焦到样品128的电子。电子束源可包含(例如)阴极源或射极尖端，且一或多个元件130可包含(例如)枪透镜、阳极、射束限制孔隙、闸阀、射束电流选择孔隙、物镜，及扫描子系统，其全部可包含此项技术中已知的任何此类适合元件。

从样品回射的电子(例如二次电子)可由一或多个元件132聚焦到检测器134。一或多个元件132可包含(例如)扫描子系统，其可为包含于(若干)元件130中的相同扫描子系统。

电子柱可包含此项技术中已知的任何其它适合元件。另外，可如以下中所描述那样进一步配置电子柱：2014年4月4日颁予jiang等人的第8,664,594号美国专利、2014年4月8日颁予kojima等人的第8,692,204号美国专利、2014年4月15日颁予gubbens等人的第8,698,093号美国专利，及2014年5月6日颁予macdonald等人的第8,716,662号美国专利，所述专利是以如同全文阐述引用的方式并入本文中。

虽然电子柱在图2中展示为经配置使得电子依倾斜入射角导引到样品且依另一倾斜角从样品散射，但应了解，电子束可依任何适合角度导引到样品且从样品散射。另外，基于电子束的子系统可经配置以使用多个模式来产生样品的图像(例如，依不同照射角、集光角等等)。基于电子束的子系统的多个模式可在子系统的任何图像产生参数上不同。

计算机子系统124可经耦合到检测器134，如上文所描述。检测器可检测从样品的表面回射的电子，借此形成样品的电子束图像。电子束图像可包含任何适合电子束图像。计算机子系统124可经配置以使用检测器的输出及/或电子束图像来执行本文中所描述的功能中的任何者。计算机子系统124可经配置以执行本文所描述的任何额外(若干)步骤。可如本文所描述那样进一步配置包含图2中所展示的检验子系统的系统。

应注意，本文中提供图2来大体上说明可包含于本文所描述的实施例中的基于电子束的检验子系统的配置。如同上文所描述的光学检验系统，本文所描述的基于电子束的检验子系统配置可经变更以如设计商用检验系统时正常所执行那样优化检验子系统的性能。另外，可使用现存检验系统(例如，通过将本文所描述的功能性新增到现存检验系统)来实施本文所描述的系统。对于一些此类系统，可提供本文所描述的方法作为系统的任选功能性(例如，除系统的其它功能性之外)。替代地，本文所描述的系统可经“从头开始”设计以提供全新系统。

虽然检验子系统在上文中描述为基于光或电子束的检验子系统，但检验子系统可为基于离子束的检验子系统。除可使用此项技术中已知的任何适合离子束源来替换电子束源之外，可如图2中所展示那样配置此检验子系统。另外，检验子系统可为任何其它适合基于离子束的子系统，例如包含于市售聚焦离子束(fib)系统、氦离子显微镜(him)系统及二次离子质谱分析(sims)系统中的那些子系统。

本文中所进一步描述的一或多个计算机子系统可经耦合到执行所述样品检验的检验子系统。例如，在一个实施例中，一或多个计算机子系统经配置用于基于检测器所产生的输出来检测样品上的缺陷。替代地，其它一或多个计算机子系统可经耦合到执行样品检验的检验子系统。这(这些)计算机子系统可如本文中所进一步描述那样经配置。在任何情况下，经耦合到检验子系统的一或多个计算机子系统经配置以基于检验子系统的一或多个检测器所产生的输出来检测样品上的缺陷。可依任何适合方式(例如，通过对所述输出应用阈值且将具有高于所述阈值的一或多个值的输出识别为缺陷且不将具有低于所述阈值的一或多个值的输出识别为缺陷)来检测样品上的缺陷。样品上所检测到的缺陷可包含此项技术中已知的任何缺陷。

然而，本文中所描述的系统中所包含的(若干)计算机子系统不必要检测样品上的缺陷。例如，(若干)计算机子系统可经配置以获取样品检验的结果，其包含样品上所检测到的缺陷的信息。可由本文中所描述的(若干)计算机子系统直接从执行检验的系统(例如，从检验系统的计算机子系统)或从检验结果已存储于其中的存储媒体(例如晶片厂数据库)来获取样品检验的结果。

如上文所提及，检验子系统经配置以用于使能量(例如光或电子)扫描样品的物理版本，借此产生样品的物理版本的实际图像。以这种方式，检验子系统可经配置为“实际”工具，而非“虚拟”工具。例如，图1中所展示的存储媒体(图中未展示)及(若干)计算机子系统102可经配置为“虚拟”工具。特定来说，存储媒体及(若干)计算机子系统不是检验子系统10的部分且不具有处置样品的物理版本的任何能力。换句话来说，在经配置为虚拟工具的工具中，其一或多个“检测器”的输出可为先前由实际工具的一或多个检测器产生且存储于虚拟工具中的输出，且在“扫描”期间，虚拟工具可如同样品正被扫描那样回放所存储输出。以这种方式，使用虚拟工具扫描样品可似乎相同于使用实际工具扫描物理样品，但事实上，“扫描”仅涉及依相同于可扫描样品的方式回放样品的输出。以下每一者中描述经配置为“虚拟”检验工具的系统及方法：共同让与的bhaskar等人于2012年2月28日发布的第8,126,255号美国专利及duffy等人于2015年12月29日发布的第9,222,895号美国专利，所述两个专利以如同全文阐述引用的方式并入本文中。可如这些专利中所描述那样进一步配置本文所描述的实施例。例如，可如这些专利中所描述那样进一步配置本文所描述的一或多个计算机子系统。另外，可如上文所引用的duffy专利中所描述那样执行将一或多个虚拟系统配置为中央运算及存储(ccs)系统。本文所描述的持久存储机制可具有分布运算及存储(例如ccs架构)，但本文所描述的实施例不受限于所述架构。

如上文进一步所提及，检验子系统可经配置以使用多个模式来产生样品的输出。一般来说，“模式”可由用于产生样品的输出的检验子系统的参数值来界定。因此，不同模式可使检验子系统的成像参数中的至少一者具有不同值。例如，在基于光学的检验子系统的一个实施例中，多个模式中的至少一者使用不同于用于多个模式中的至少另一者的照明光的至少一个波长的照明光的至少一个波长。模式可因不同模式而具有不同照明波长，如本文进一步所描述(例如，通过使用不同光源、不同光谱滤波器等等)。在另一实施例中，所述多个模式中的至少一者使用不同于所述模式中的至少另一者所使用的检验子系统的照明通道的检验子系统的照明通道。例如，如上文所提及，检验子系统可包含一个以上照明通道。因而，不同照明通道可用于不同模式。

如本文中所进一步描述，本文中所描述的光学及电子束子系统可经配置为检验子系统。然而，本文中所描述的光学及电子束子系统可经配置为例如缺陷检视子系统的其它类型工具。特定来说，本文中所描述且图1及2中所展示的检验子系统的实施例可取决于将使用其的应用来修改一或多个参数以提供不同成像能力。在一个此实例中，如果图2中所展示的检验子系统将用于缺陷检视而非检验，那么其可经配置以具有较高分辨率。换句话来说，图1及2中所展示的检验子系统的实施例描述用于光学或电子束子系统的一些一般及各种配置，其可依所属领域的技术人员显而易见的若干方式调适以产生具有或多或少适合于不同应用的不同成像能力的不同子系统。

一或多个计算机子系统可经配置以用于获取由本文所描述的检验子系统所产生的样品的输出。可使用本文所描述的检验子系统中的一者来执行获取输出(例如，通过将光或电子束导引到样品且分别检验来自样品的光或电子束)。以这种方式，可使用物理样品本身及某种成像硬件来执行获取输出。然而，获取输出未必包含使用成像硬件来使样品成像。例如，另一系统及/或方法可产生输出且可将所产生的输出存储于本文所描述的一或多个存储媒体(例如虚拟检验系统)或本文所描述的另一存储媒体中。因此，获取输出可包含：从其中已存储输出的存储媒体获取输出。

在一个实施例中，检验相关算法是缺陷分类器。例如，算法可将样品上所检测到的缺陷分成不同类型或等级的缺陷。缺陷分类器可具有例如决策树或最近邻点型配置的任何适合配置。在另一实施例中，检验相关算法是缺陷过滤器。缺陷过滤器可经配置为妨害过滤器，因为其可经配置以将实际缺陷与妨害(其可如本文中所进一步阐述那样界定)及其它噪声分离开，且接着从检验结果消除(且借此过滤掉)妨害及噪声。缺陷过滤器还可具有例如决策树或最近邻点型配置的任何适合配置。在额外实施例中，检验相关算法是缺陷检测算法。缺陷检测算法可经配置以如本文中所进一步描述那样及/或依此项技术中已知的任何其它适合方式来执行缺陷检测。在额外实施例中，检验相关算法是机器学习算法。本文中所描述的检验相关算法可经配置为机器学习算法。例如，缺陷分类器、缺陷过滤器及缺陷检测算法可具有机器学习算法配置。另外，机器学习算法可如以下每一者中所描述那样配置：zhang等人于2017年5月25日所发表的第2017/0148226号美国专利申请公开案、zhang等人于2017年6月6日所发表的第2017/0193680号美国专利申请公开案、bhaskar等人于2017年6月6日所发表的第2017/0194126号美国专利申请公开案、bhaskar等人于2017年7月13日所发表的第2017/0200260号美国专利申请公开案及bhaskar等人于2017年7月13日所发表的第2017/0200265号美国专利申请公开案以及zhang等人于2017年5月23日所申请的第15/603,249号美国专利申请案，其以如同全文阐述引用的方式并入本文中。本文中所描述的检验相关算法可具有这些公开案中所描述的任何配置。

一或多个计算机子系统经配置以使用标记缺陷组来执行检验相关算法的初始训练，借此产生检验相关算法的初始版本。在一些实施例中，(若干)计算机子系统可经配置以产生用于执行初始训练的标记缺陷组。例如，如图3中所展示，(若干)计算机子系统可如步骤300中所展示那样选择第一批缺陷。可如本文中所进一步描述那样来选择第一批缺陷。另外，(若干)计算机子系统可如步骤302中所展示那样分类所选择缺陷。(虽然图3相对于缺陷分类器来描述步骤，但图3中所展示及本文中所描述的步骤可针对本文中所描述的不同检验相关算法来执行。)(若干)计算机子系统可分类所选择缺陷及/或可如本文中所进一步描述那样获取对所选择缺陷的分类。接着，(若干)计算机子系统可如步骤304中所展示那样训练分类器。因此，步骤304中所执行的训练可为本文中所描述的初始训练。可依此项技术中已知的任何适合方式执行初始训练。例如，所述缺陷的信息(例如属性及/或图像(或其它检测器输出))可经输入到缺陷分类器，其可接着分类标记缺陷。接着，可修改缺陷分类器的一或多个参数(例如，切割线、缺陷属性等)，直到缺陷分类器针对所述缺陷所产生的分类匹配分配到所述缺陷的标记。虽然所述缺陷可如本文中所描述那样标记，但缺陷属性及缺陷补丁(例如光学属性及/或光学补丁)可用作检验相关算法的输入数据。

(若干)计算机子系统还经配置以将检验相关算法的初始版本应用到未标记缺陷组。例如，一旦在标记缺陷上初始训练检验相关算法，即可将检验相关算法的初始版本应用到由标本检验所检测到且未经标记的剩余缺陷(及潜在缺陷)(在晶片的热检验中，其可包含成千上万个缺陷)。

以这种方式，如上文所描述，虽然所述缺陷可如本文中所描述那样标记，但(若干)属性及/或补丁图像或其它检测器输出经输入到检验相关算法以用于初始训练。在(例如，使用所述(若干)缺陷属性及/或补丁或其它检测器输出)对标记组进行初始训练之后，可将检验相关算法的初始版本应用到未标记缺陷组。可通过将针对未标记缺陷组可获得的信息的所有或(一些)输入到检验相关算法中来执行应用检验相关算法的初始版本。可如本文中所进一步描述那样来配置未标记缺陷组。

(若干)计算机子系统经进一步配置以基于所述应用的结果来变更标记缺陷组。例如，当将检验相关算法的初始版本应用到未标记缺陷时，检验相关算法可不仅输出针对未标记缺陷中的每一者的结果(例如缺陷分类)，还可输出其决策(例如，关于分类)的置信度。接着，可将此置信度用于下一迭代的缺陷选择过程。可如本文中所进一步描述那样标记在缺陷选择过程中所选择的缺陷，且接着将所述缺陷新增到标记缺陷组，借此变更所述标记缺陷组。可如本文中所进一步描述那样来执行变更所述标记缺陷组。

在一个实施例中，标记缺陷组及未标记缺陷组包含于相同检验结果中。例如，如本文中所进一步描述，可通过扫描一或多个样品来产生标记缺陷组及未标记缺陷组。可将此扫描执行为热扫描以借此捕获尽可能多的缺陷或缺陷类型。当扫描包含热扫描时，因为此扫描所检测到的缺陷量，仅一个样品的仅一次热扫描即可产生针对本文中所描述的所有步骤的足够缺陷。可如本文中所描述那样标记由此扫描检测到的缺陷中的一些以借此产生标记缺陷组(即缺陷训练组)。未标记缺陷组可为由此扫描检测到的为未标记缺陷组的剩余缺陷。因此，一或多个热扫描检测到的缺陷中的所有者可形成本文中所描述的实施例所使用的缺陷的全部，所述缺陷中的一些经标记且用于本文中所描述的一或多个步骤，且所述缺陷中的其它者未经标记且用于本文中所描述的一或多个其它步骤。

在另一实施例中，变更标记缺陷组包含标记未标记组中的缺陷中的一或多者且将所述标记的缺陷中的一或多者新增到标记组。例如，可如本文中所描述那样选择未标记组中的经选择缺陷中的一或多者，且接着可依任何适合方式来标记所述一或多个缺陷。在一个此实例中，可通过具有高于检验子系统的分辨率的分辨率的图像获取子系统来成像所述一或多个选择缺陷，以借此产生所述一或多个选择缺陷的较高分辨率图像。接着，可将所述较高分辨率缺陷图像提供到分配标记到所述缺陷的用户。然而，如本文中所进一步描述，可通过自动缺陷分类器(adc)来标记选择缺陷。因此，还可将所述较高分辨率缺陷图像提供到用户或对所述较高分辨率图像操作的adc。由用户分配的标记可包含本文中所描述的标记(例如缺陷、妨害、噪声、缺陷分类码等等)中的任何者。由用户分配的标记可取决于检验相关算法的配置而变动。在一些例子中，(若干)计算机子系统可为用户提供若干可能标记(例如，缺陷、非缺陷、缺陷等级码x、缺陷等级码y等等)。另外，(若干)计算机子系统可允许用户输入例如新缺陷等级码的新标记，接着，可将其用于修改检验相关算法的配置(例如，当检验相关算法为新缺陷标记创造新节点、存储区、定义等等时)。可依任何方式(例如，通过将新标记缺陷的信息附到先前标记的缺陷的信息存储于其中的文件或其它数据结构)将标记的缺陷中的一或多者新增到缺陷标记组。

如本文中所进一步描述，在一个实施例中，一或多个计算机子系统经配置以基于检测器所产生的输出来检测样品上的缺陷，且所述样品上所检测到的缺陷包含标记缺陷组及未标记缺陷组。例如，本文中所描述的(若干)计算机子系统所使用的缺陷可全部通过对(若干)样品执行(若干)热扫描来在样品或若干样品上检测到。特定来说，针对例如光学检验的检验，通常使用热扫描的结果来训练妨害过滤器及其它检验相关算法(即，产生含有成千上万缺陷的结果的样品检验)。“热扫描”可大体界定为执行于样品上的检验，其中用于检测潜在缺陷及缺陷的阈值经有意设置在或实质上靠近所述扫描所产生的输出的噪声底限处。通常执行“热扫描”以检测尽可能多的潜在缺陷及缺陷，从而确保所关注缺陷的大部分缺陷或所有缺陷是出于检验方案设置及其类似者的目的而捕获的。因此，可使用热扫描结果来训练妨害过滤器及其它检验相关算法。

为训练例如妨害过滤器或缺陷分类器的检验相关算法，可标记样品上所检测到的相对较小缺陷子组。通过标记意指“分类”所述缺陷。“分类”所述缺陷可取决于(若干)计算机子系统所训练或产生的检验相关算法而变动。例如，如果检验相关算法是缺陷检测算法，那么分类可涉及将所检测缺陷标记为实际缺陷及非实际缺陷(例如噪声)。在另一实例中，如果检验相关算法是妨害过滤器，那么分类可涉及将所检测缺陷标记为实际缺陷及妨害缺陷(其可经大体界定为用户实际上不在乎的噪声及/或实际缺陷)。在进一步实例中，如果检验相关算法是缺陷分类器，那么分类可涉及使用指示不同类型的缺陷(例如桥接、颗粒、划痕、缺失特征、粗糙度等等)的缺陷id(例如，等级码)来标记所检测缺陷。此缺陷分类或标记可大体上包含首先获取所述缺陷的实质上较高分辨率图像。可使用sem或高分辨率光学成像来产生所述高分辨率图像。

在一个实施例中，用于初始训练的标记缺陷组包含从样品上所检测的所有缺陷选择的预定最小数目的缺陷。例如，如本文中所进一步描述，实施例的优点中的一者在于可在不牺牲所训练检验相关算法的质量的情况下最小化训练组中的标记缺陷。因此，用于初始训练的标记缺陷的预定最小数目可为产生检验相关算法的经粗略训练初始版本所需要的缺陷最小数目。可探索式地或基于过去经验及知识(例如，关于需要多少标记缺陷来训练检验相关算法)来预定标记缺陷的最小数目。另外，标记缺陷的预定最小数目可取决于检验相关算法而变动。例如，针对缺陷分类器，标记缺陷的预定最小数目可为样品上所预期的及/或分类器经配置的每一缺陷类型的少量(例如2个或3个)缺陷。针对例如缺陷检测算法或妨害过滤器的不同检验相关算法，标记缺陷的预定最小数目可为许多或数十个缺陷及非缺陷(例如，每一者的10到50个)。可从可用于本文中所描述的实施例中及/或样品上所检测的所有缺陷(例如，热扫描结果中的未标记缺陷)随机选择所述预定最小数目的缺陷。接着，可如本文中所描述那样来标记所述随机选择的缺陷。接着，可分析标记缺陷以确定所述预定最小数目的标记缺陷对于初始训练是否足够。如果未选择及标记足够的特定类型的缺陷，那么可重复上文所描述的步骤直到标记缺陷的样本包含所要数目的所要标记缺陷。

本文中所描述的实施例提供用于找到接近潜在分布的边界的缺陷的迭代方式。另外，本文中所描述的实施例通过使检验相关算法驱动选择过程来将训练组选择及缺陷标记与调整过程组合(据信这尤其适合于光学检验的新想法)。例如，在进一步实施例中，变更标记缺陷组包含通过应用检验相关算法的初始版本来确定针对未标记组中的缺陷所产生的结果的确定性、选择未标记组中具有最低确定性的缺陷、获得所选择缺陷的标记及将所选择缺陷及其标记新增到标记缺陷组。例如，如图3中所展示，(若干)计算机子系统可经配置以如步骤306中所展示那样计算模型(即检验相关算法)针对每一缺陷的不确定性。另外，(若干)计算机子系统可经配置以如步骤308中所展示那样找到测试数据中具有最低确定性的新缺陷组。(若干)计算机子系统可经进一步配置以如步骤310中所展示那样分类所述新组。(若干)计算机子系统还可经配置以如步骤312中所展示那样将所述新组新增到训练组。以这种方式，在这些步骤中，在使用实质上较小的标记缺陷组初始训练检验相关算法之后，可测量检验相关算法(例如分类器)关于每一缺陷的确定性。可依任何适合方式来确定确定性。例如，检验相关算法可经配置以产生与其产生的每一结果相关联的置信度(例如，与每一缺陷分类相关联的置信度)。所述置信度可用于确定确定性。检验相关算法还可经配置以自动产生针对由检验相关算法产生的每一结果的确定性。因此，选择且标记所述检验相关算法最不确定的缺陷组。可使用光学图像(例如补丁)或sem图像来人工完成针对训练组的缺陷标记(分类)。还可使用预先训练的sem自动缺陷分类器(adc)来自动执行标记。就可靠semadc来说，此方法将完全自动化训练过程且在本文中所描述的主要建构想法之上进一步加快方案调整过程。此新一批标记缺陷经新增到先前标记的缺陷且用于再训练(或校正)检验相关算法。可如本文中进一步描述执行这些步骤中的每一者。

在一个此实施例中，选择未标记组中具有最低确定性的缺陷包含选择未标记组中具有最低确定性的预定最小数目的缺陷。例如，可从具有最低确定性的缺陷到具有第二低确定性的缺陷及等等选择未标记组中的缺陷直到已达到所述预定最小数目。可如本文中所描述那样(例如，探索式地或基于先前实验及历史来确定实现对检验相关算法的足够训练所需要的缺陷的最小数目)预定所选择的未标记组中的缺陷的预定最小数目。

在另一此类实施例中，独立于未标记组中的缺陷的一或多个特性的多样性来执行选择未标记组中具有最低确定性的缺陷。例如，本文中所描述的实施例可在不考虑缺陷的第一特性的多样性、缺陷的第二特性的多样性或缺陷的任何其它特性的多样性的情况下，基于检验相关算法所分配的标记的不确定性来选择缺陷。以这种方式，基于检验相关算法针对所述缺陷所产生的结果的不确定性选择缺陷不同于多样性取样。另外，可在不考虑关于所述缺陷的任何其它属性或信息的情况下，执行选择未标记组中具有最低确定性的缺陷。然而，当检验相关算法经配置以分配不同标记到不同的先前未标记缺陷时，具有最低确定性的缺陷可包含被分配第一标记且具有最低确定性的缺陷、被分配第二标记且具有最低确定性的缺陷。换句话来说，在不考虑缺陷的一或多个特性的多样性的情况下选择未标记组中具有最低确定性的缺陷可基于(或依赖于)由检验相关算法所分配的标记来执行。然而，仍未基于所述缺陷本身的任何一或多个特性的多样性来执行所述选择。例如，被分配不同标记且具有最低确定性的缺陷不必要针对缺陷的任一特性具有相对多样化的值。实际上，致使检验相关算法的初始、初步或中间版本难以标记缺陷的是所述缺陷的任一特性的类似性而非多样性。

在一些实施例中，变更标记缺陷组包含通过应用检验相关算法的初始版本来确定针对未标记组中的缺陷所产生的结果的确定性、选择未标记组中具有最低确定性的缺陷群组、选择所述群组中具有所述子组中的缺陷的特性的最大多样性的缺陷子组、获得所述缺陷子组的标记及将所选择缺陷子组及其标记新增到标记缺陷组。例如，本文中所描述的实施例可将不确定性与多样性组合以使取样更高效。第一优先是取样检验相关算法最不确信的缺陷，这是因为已知这些是处于分类边界附近的缺陷，且提供这些缺陷的实况将最能提高检验相关算法的质量。然而，当存在许多“低置信度”缺陷时，试图确保(若干)计算机子系统不选择将全部具有相同置信度的看起来基本上相同的缺陷，但反而在许多不同低置信度缺陷之间使选择缺陷多样化可为有利的。以这种方式，与仅选择仅位于边界的一个部分中的许多缺陷相反，(若干)计算机子系统可在分类边界周围选择最多样化的组。(原则上，分类边界是复杂的、未知的且可能在多维空间中超平面，且其用于获得具有最小数目的标记缺陷的经足够训练的检验相关算法，(若干)计算机子系统优选在整个边界周围仔细选择缺陷。换句话来说，(若干)计算机子系统优选不选择相对较远离所述分类边界(即，具有相对较高置信度)或位于所述边界的相同部分中(即，未显著多样化)的缺陷。)

(若干)计算机子系统还经配置以使用经变更的标记缺陷组再训练检验相关算法，借此产生检验相关算法的较新版本。例如，如图3中所展示，(若干)计算机子系统可经配置以如步骤314中所展示那样再训练(或校正)分类器。可相对于初始训练来如本文中所进一步描述那样执行再训练。然而，在再训练步骤中，再训练可开始于检验相关算法的最先前版本(例如，由初始训练产生的检验相关算法的参数)或检验相关算法的第一版本(例如，具有初始训练前参数的检验相关算法版本)。一般来说，当在标记新一批缺陷且将其新增到训练组之后再训练分类器时，虽然再训练可从分类器的先前版本开始，但大多数情况下，再训练从头开始。(虽然可执行任一可能，但仅使用每一新训练组来训练新分类器。)以这种方式，再训练可涉及使用检验相关算法的初始训练前版本来基本上从头训练检验相关算法，或通过调整且可能微调前一个版本的一或多个参数来再训练检验相关算法的前一个版本。

另外，(若干)计算机子系统经配置以将检验相关算法的较新版本应用到另一未标记缺陷组。应用检验相关算法的较新版本的未标记缺陷组可包含可用于本文中所描述的实施例中及/或样品或若干样品上所检测的剩余未标记缺陷中的任何者及/或所有者。以这种方式，应用较新版本的未标记组不同于应用初始版本(或先前版本)的未标记组，这是因为未标记组中的一或多个缺陷经选择、标记且经新增到标记缺陷组。因此，应用较新版本的未标记缺陷组可包含少于应用初始(或先前)版本的未标记缺陷组的缺陷的缺陷。然而，在一些例子中，如果剩余未标记缺陷的数目不够大，那么可使用额外未标记缺陷来扩增在已选择、标记一些且将其新增到标记组之后剩余的未标记缺陷组。可依任何适合方式(例如对另一样品执行另一热扫描及/或从存储媒体、虚拟系统等等获取额外检验结果)来执行扩增所述未标记组。一般来说，本文中所描述的扫描将为本文中所描述的功能/步骤提供足够未标记缺陷。因此，如果不存在足以借此增大缺陷数目的此类缺陷，那么较通常执行的扩增将是标记组的扩增。可如本文中所描述那样将检验相关算法的较新版本应用到其它未标记缺陷组。例如，可将其它未标记组中的缺陷的所有或至少一些的信息输入到检验相关算法的较新版本，接着，所述较新版本将产生针对所述组中的未标记缺陷中的每一者或至少一些的结果。

(若干)计算机子系统还经配置以确定应用检验相关算法的较新版本的结果与应用检验相关算法的初始版本或较旧版本的结果之间的一或多个差。检验相关算法的初始版本将用于确定仅当所述较新版本为所产生的检验相关算法的第二版本(初始版本之后紧接着产生的版本)时的差。在所有其它例子中，用于在此步骤中确定差的检验相关算法的较旧版本可为紧接着较新版本之前所产生的检验相关算法。以这种方式，可确定检验相关算法的最新产生版本与紧接着所述版本之前产生的版本之间的差。换句话来说，在此步骤中，可确定检验相关算法的第n版本与检验相关算法的第n-1版本之间的差。

接着，将这些差用于确定是否如本文中所进一步描述那样收敛所述过程。例如，如本文中所进一步描述，可确定所述(若干)计算机子系统所执行的过程在迭代之间的分类(或其它结果)的变化变得相对较小时收敛。因为训练过程中的统计波动，所述变化可不严格为零。换句话来说，当多次重复使用相同训练组训练时，针对相同缺陷可不产生完全相同分类(或其它结果)。可估计这些小波动，且当迭代之间的变化变得小到此估计值时，可停止由所述(若干)计算机子系统执行的过程——其已收敛。此外，当已达到此标准时，检验相关算法已实现其最大性能。

(若干)计算机子系统经进一步配置以重复变更所述标记缺陷组、再训练所述检验相关算法、应用检验相关算法的较新版本且确定所述一或多个差直到所述一或多个差达到一或多个标准。因此，所述一或多个标准界定终止标记缺陷及本文中所描述的其它步骤的迭代的停止标准。例如，如上文所描述，当一或多个差等于或小于将发生于训练之间的相对较小波动(不论检验相关算法的性能如何)的估计值时，可确定所述一或多个差达到所述一或多个标准。另外，检验相关算法所产生的不同结果可具有不同标准。例如，针对一个缺陷分类所产生的结果的差的一或多个标准可不同于针对另一缺陷分类所产生的结果的差的一或多个标准。在此类例子中，可重复上文所描述的步骤直到已达到所述一或多个标准中的所有者。在其它例子中，检验相关算法所产生的不同结果中的所有者可具有相同标准。例如，不同缺陷分类所产生的结果的差的一或多个标准可为相同的。然而，在此类例子中，还可重复上文所描述的步骤直到已达到所述一或多个标准中的所有者。例如，即使两个缺陷分类需要达到相同的一或多个标准，针对一个缺陷分类所产生的结果还可比针对另一缺陷分类所产生的结果更快达到所述一或多个标准。

在一个此实例中，如图3中所展示，(若干)计算机子系统可经配置以如步骤316中所展示那样确定是否已满足收敛标准。如果未满足所述收敛标准，那么如图3中所展示，(若干)计算机子系统可退回到步骤306且计算模型(检验相关算法)针对每一缺陷的不确定性。(若干)计算机子系统还可重复步骤图3中所展示的步骤308、310、312及314，直到已确定满足所述收敛标准。据信，本文中所描述的实施例对数据驱动收敛标准的依赖很新颖。换句话来说，如本文中所进一步描述，可选择检验相关算法(例如分类器)最不确信的一批未标记缺陷。接着，可如本文中所描述那样标记所选择缺陷。可将新标记缺陷新增到训练组，且可将经变更训练组用于训练新检验相关算法。可重复这些步骤直到已满足收敛。

在一个实施例中，所述一或多个标准界定以下两者之间的边界：a)指示检验相关算法的较新版本可忽略地不同于检验相关算法的初始版本或较旧版本的一或多个差与b)指示较新检验相关算法显著不同于检验相关算法的初始版本或较旧版本的一或多个差。所述一或多个差是如上文所描述那样确定的差(例如，检验相关算法的第n版本与检验相关算法的第n-1版本之间的差)。以这种方式，(若干)计算机子系统可在每一迭代之后追踪检验相关算法的历史，且如果检验相关算法所产生的结果的变化足够小，那么其终止迭代。

如本文中所使用的术语“可忽略地不同”可随检验相关算法而变动。然而，如本文中所使用的“可忽略地不同”可经界定为足够小到指示从检验相关算法的版本到下一版本，检验相关算法未显著变化的任何差。因此，可称得上为“可忽略地不同”的(若干)差界定本文中所描述的实施例的停止标准。因而，所述一或多个差的“可忽略地不同”的值可由用户(基于其可接受停止标准)来预定及界定，及/或可由(若干)计算机子系统或另一方法或系统基于关于正训练的特定检验相关算法的可重复性及/或正训练的检验相关算法的类型的一般或特定信息来预定。如本文中所使用的术语“显著不同”的一或多个差可为除所述差的“可忽略地不同”的值之外的任何及所有差。以这种方式，所述一或多个差可具有两个不同范围的值：1)如本文中所描述那样界定的“可忽略地不同”的差；及2)“显著不同”的差(除“可忽略地不同”的差之外的所有差)。

如果从先前迭代到当前迭代的变化是零(或很小)，那么由于检验相关算法对缺陷很确定，因此(若干)计算机子系统确定不存在任何值得标记的新缺陷。在一个特定实例中，(若干)计算机子系统可使用上一个测试数据集中的缺陷的预测等级码的变化历史。然而，可考虑将若干其它收敛措施用于本文中所描述的实施例中。收敛措施的所有者可监测分类器性能的某个方面及/或依据训练迭代而变化的训练组的内容。例如，(若干)计算机子系统可通过追踪依据迭代而变化的精确度来监测检验相关算法性能本身。另一方法依赖于监测依据迭代而变化的接受者操作曲线(roc)的改进。roc基本上是对二进制分类器跨整个范围的操作点(例如，不同妨害率)的性能的测量。另外，在某些境况下或出于某些特定目的，(若干)计算机子系统可监测不同缺陷类型如何通过每一迭代成为训练组，例如，(若干)计算机子系统可在计算机子系统不再使所关注缺陷(doi)成为训练组时停止。

当所述一或多个差达到所述一或多个标准时，所述(若干)计算机子系统经配置以输出检验相关算法的最新版本作为经训练检验相关算法以用于检验其它样品。输出检验相关算法的最新版本可包含在必要时输出可能具有检验相关算法的一般配置的检验相关算法的最新训练参数。输出检验相关算法的最新版本还可包含将所述最新版本存储于存储媒体(例如本文中所描述的存储媒体中的一者)中及/或检验方案中使得在执行所述检验方案时执行所述检验相关算法。(如本文中所使用的术语“方案”可大体上经界定为可由系统用于执行过程的指令集。)

在一个实施例中，一或多个计算机子系统经配置以确定由检验相关算法的最新版本所产生的不同结果的可分离性测量，且仅在所确定的可分离性测量高于预定阈值之后执行输出。例如，将检验相关算法(例如妨害过滤器(分类器))应用到具有在对应于不同事物(例如缺陷对妨害、一个类型的缺陷对另一类型的缺陷等等)的数据之间的各种程度的可分离性的数据。当数据之间的分离度基本上较好时，则检验相关算法将大体上以相对高的置信度实现相对好的性能。当数据的分离度为中等或差时，检验相关算法最好不执行，且不论已完成什么，其通常都将剩余大量相对较低置信度的结果。因此，收敛标准不基于置信度或性能的任何测量。因此，(若干)计算机子系统可仅监测检验相关算法何时停止改进，且此时已产生针对此数据的最佳检验相关算法。因而，可确定检验相关算法的最新版本的可分离性测量，以确定已使用可用训练数据产生的最佳检验相关算法实际上是否执行得足够好以用于其它样品。如果确定所述可分离性测量不够，那么可探究其它选项(例如使用检验子系统的其它输出产生参数产生的其它数据)以作为如本文中所进一步描述的检验相关算法的替代输入。

在一个此实例中，如图3中所展示，一旦在步骤316中确定已满足收敛标准，那么所述(若干)计算机子系统可如步骤318中所展示那样确定所述数据是否可分离。如果在步骤318中确定所述数据可分离，那么在步骤320中，所述(若干)计算机子系统可确定检验相关算法已准备好(即，准备好用于检验其它样品、准备好用于生产监测等等)。以这种方式，所述实施例可使用测量来保证检验相关算法的正确性。为确保检验相关算法可正确分离所述数据，可测量所述数据的可分离性。此测量表明所述数据是否可分离。针对为缺陷分类器的检验相关算法，测量可表明所述数据是否可分离且分类器是否可比随机猜测更好地分类每一缺陷等级。如果训练组中的数据可分离，那么可宣布已建造正确分类器。如果分类器针对每一等级码的精确度高于特定阈值(例如，高于50％的某值(这是因为平衡训练组的50％的精确度意味着完全随机分类，即，无可分离性))，那么训练组中的数据可视为可分离。

如果(若干)计算机子系统在图3的步骤318中确定数据不可分离，那么如图3中所展示，所述(若干)计算机子系统可如步骤322中所展示那样改变检验参数。例如，如果数据不可分离，那么在缺陷分类器的情况中，数据不可分类。在此情况中，(若干)计算机子系统可确定应改变检验子系统的一或多个参数。例如，(若干)计算机子系统可确定应改变检验模式。接着，(若干)计算机子系统可执行调整所述检验子系统的一或多个参数或仅对执行调整的另一子系统(计算机或其它)提供指令。可依任何适合方式执行检验子系统的一或多个参数的调整或变更。接着，可将使用检验子系统的经调整或经变更参数产生的输出用于产生标记缺陷组及未标记缺陷组，接着，可将其用于执行本文中所描述的(若干)步骤以产生经训练检验相关算法。以这种方式，可产生针对检验子系统的新参数训练的检验相关算法。

本文所描述的实施例提供训练检验相关算法的若干优点。例如，将检验相关算法调整及训练组获取组合成单个方法将提供优于现存方法的巨大优势，这是因为本文中所描述的检验相关算法调整及训练组获取将最大化标记缺陷对于检验相关算法的性能的有效性。(标记缺陷是对训练目的最具指导性的缺陷，且因此针对给定数据，检验相关算法的性能始终为最佳。)另外，就工具时间及劳力来说，标记缺陷(例如，人工分类缺陷)实质上花费很大。识别训练组获取及检验相关算法调整过程的收敛标准将最小化训练组大小且因此提供优势。此外，将训练组选择及缺陷标记与调整过程组合的过程对于应用用于光学检验妨害过滤器及分类器的任何机器学习算法绝对必要的认知很新颖。(需要将训练组选择及缺陷标记与调整过程组合是因为训练数据具有成千上万个缺陷，其大部分为妨害。)本文中所描述的实施例还保证检验方案的一致性，即，妨害过滤器调整不再取决于经验及技巧。

本文中所描述的系统的实施例中的每一者可与本文中所描述的系统的任何其它实施例组合。

另一实施例涉及用于训练检验相关算法的计算机实施方法。所述方法包含上文所描述的(若干)计算机子系统的功能中的每一者的步骤。特定来说，所述方法包含使用标记缺陷组执行检验相关算法的初始训练，借此产生检验相关算法的初始版本。所述方法还包含将检验相关算法的初始版本应用到未标记缺陷组且基于所述应用的结果来变更标记缺陷组。另外，所述方法包含使用经变更标记缺陷组再训练所述检验相关算法，借此产生检验相关算法的较新版本。所述方法进一步包含将检验相关算法的较新版本应用到另一未标记缺陷组。所述方法还包含确定应用检验相关算法的较新版本的结果与应用检验相关算法的初始版本或较旧版本的结果之间的一或多个差。另外，所述方法包含重复变更所述标记缺陷组、再训练所述检验相关算法、应用检验相关算法的较新版本且确定所述一或多个差直到所述一或多个差达到一或多个标准。当所述一或多个差达到所述一或多个标准时，所述方法包含输出检验相关算法的最新版本作为经训练检验相关算法以用于检验其它样品。

可如本文中所进一步描述那样执行所述方法的步骤中的每一者。所述方法还可包含可由本文中所描述的检验子系统及/或(若干)计算机子系统或(若干)系统执行的(若干)任何其它步骤。可由根据本文中所描述的实施例中的任何者配置的一或多个计算机系统执行所述方法的步骤。另外，可通过本文中所描述的系统实施例中的任何者来执行上文所描述的方法。

额外实施例涉及非暂时性计算机可读媒体，其存储在计算机系统上执行的用于执行训练检验相关算法的计算机实施方法的程序指令。在图4中展示一种此类实施例。特定来说，如图4中所展示，非暂时性计算机可读媒体400包含可在计算机系统404上执行的程序指令402。所述计算机实施方法可包含本文所描述的(若干)任何方法的(若干)任何步骤。

实施例如本文中所描述的方法的方法的程序指令402可经存储于计算机可读媒体400上。所述计算机可读媒体可为存储媒体，例如磁盘或光盘、磁带或此项技术中已知的任何其它适合非暂时性计算机可读媒体。

可依各种方式(包含基于过程的技术、基于组件的技术及/或面向对象技术及其它)中的任何者实施程序指令。例如，可根据期望使用activex控件、c++对象、javabeans、微软基础类别(“mfc”)、sse(流式simd扩展)或其它技术或方法来实施程序指令。

可根据本发明所描述的实施例中的任何者来配置计算机系统404。

本文所描述的方法中的所有者可包含存储计算机可读存储媒体中的方法实施例的一或多个步骤的结果。所述结果可包含本文中所描述的结果中的任何者且可依此项技术中已知的任何方式存储。存储媒体可包含本文中所描述的任何存储媒体或此项技术中已知的任何其它适合存储媒体。在已存储结果之后，所述结果可经存取于存储媒体中且可通过本文中所描述的方法或系统实施例中的任何者使用，可经格式化以对用户显示，可由另一软件模块、方法或系统等等使用。例如，经训练检验相关算法可用于对(若干)其它样品执行(若干)检验(可如本文中所描述那样来执行所述检验)。由所述(若干)检验产生的结果可用于执行(若干)其它样品的一或多个功能或执行用于形成(若干)其它样品的过程。例如，使用如本文中所描述那样训练的检验相关算法执行的(若干)检验所产生的结果可用于变更用于形成(若干)其它样品的一或多个过程的一或多个参数。另外或替代地，使用如本文中所描述那样训练的检验相关算法执行的检验所产生的结果可用于变更一或多个过程的一或多个参数，所述一或多个过程将执行于(若干)其它样品上以在所述(若干)其它样品上形成额外特征或材料或者校正所述(若干)其它样品上的缺陷，借此变更(若干)其它样品本身。

鉴于此描述，所属领域的技术人员将明白本发明的各种方面的进一步修改及替代实施例。例如，本发明提供用于训练检验相关算法的方法及系统。据此，此描述仅解释为说明性的且用于教示所属领域的技术人员实施本发明的一般方式的目的。应了解，本文中所展示及描述的本发明的形式是应作为当前优选实施例。如所属领域的技术人员在受益于本发明的此描述之后将明白那样，元件及材料可替代本文中所说明及描述的所述元件及材料，可颠倒零件及过程且可独立利用本发明的某些特征。在不背离如所附权利要求书中所描述的本发明的精神及范围的情况下，可对本文中所描述的元件作出改变。