产生可用于检查半导体样品的训练集的方法及其系统与流程

本公开主题一般涉及样品检查的领域，并且更特定言之涉及用于自动化样品检查的方法和系统。

背景技术：

当前对与制造的装置的超大规模集成相关联的高密度和效能的需求要求亚微米特征、增加的晶体管和电路速度、以及提高的可靠性。此类要求需要形成具有高精度和均匀性的装置特征，此继而需要仔细监测制造过程，此种监测包括在装置仍是半导体晶片的形式时对装置进行自动检查。应注意，制造过程可包括预制造操作、制造操作和/或后制造操作。

本说明书中使用的术语“样品”应广泛地被解释为涵盖任何种类的用于制造半导体集成电路的晶片、掩模和其他结构、上述的组合和/或上述的部分，磁头、平板显示器和其他半导体制品。

本说明书中使用的术语“检查”应广泛地被解释为涵盖任何种类的计量相关操作以及样品制造期间的样品中的缺陷的检测和/或分类相关的操作。检查是通过在待检查的样品的制造期间或之后使用非破坏性检查工具来提供的。作为非限制性实例，检查过程可以包括使用相同或不同检查工具的针对样品或样品的一部分而提供的运行时扫描(以单次扫描的形式或多次扫描的形式)、采样、审查、测量、分类和/或其他操作。同样地，检查的至少部分可以在制造待检查的样品之前进行，并且可以包括例如生成(多个)检查方案，训练相应的分类器或其他机器学习相关的工具，和/或其他设置操作。应注意，除非另外特别说明，否则本说明书中使用的术语“检查”或其派生词并不限于检验区域的分辨率或尺寸。作为非限制性实例，各种非破坏性检查工具包括扫描电子显微镜、原子力显微镜、光学检验工具等。

作为非限制性实例，运行时检查可以采用两阶段程序，例如，检验样品，接着审查潜在缺陷的采样位置。在第一阶段期间，以高速度和相对低的分辨率检验样品的表面。在第一阶段中，产生缺陷地图以便显示样品上具有高的缺陷机率的可疑位置。在第二阶段期间，使用相对较高的分辨率对可疑位置中的至少部分进行更彻底的分析。在一些情况下，两个阶段都可以由相同的检验工具实施，并且在一些其他情况下，该两个阶段由不同的检验工具实施。

检查过程可以在半导体制造期间的各个步骤处使用以对样品上的缺陷进行检测和分类。检查的效率可以通过(多个)过程的至少部分的自动化而增加，例如通过使用自动缺陷分类(automaticdefectclassification，adc)、自动缺陷审查(automaticdefectreview，adr)等。

技术实现要素：

根据本公开主题的某些态样，提供了一种检查半导体样品的方法。该方法包括：在由计算机获得在半导体制造过程中针对给定的检查相关应用而训练的深度神经网络(dnn)时，使用获得的经训练的dnn一起处理一个或多个制造过程(fp)图像，其中使用包含特定于给定应用程序的合成图像的训练集来训练该dnn；以及由计算机获得特定于给定应用程序的检查相关数据，并表征经处理的一个或多个fp图像中的至少一者。

根据本公开主题的其他方面，提供了一种生成可用于检查半导体样品的训练集的方法。该方法包括获得特定于半导体制造过程中的给定检查相关应用的“真实环境(realworld)”训练样本，使用所获得的“真实环境”训练样本来生成特定于给定检查相关应用的一个或多个合成图像，将所生成的一个或多个合成图像包括到特定于给定检查相关应用的训练集中。

作为非限制性实例，检查相关应用可以是：检测样品中的缺陷；对样品中的缺陷进行分类；在至少两个制造过程(fp)图像之间进行配准；分割至少一个fp图像，该fp图像选自包括以下项的组：样品的高分辨率图像、样品的低分辨率图像和样品的基于设计数据的图像；基于回归来重建通过不同的检查模态获得的fp图像数据；基于回归来估计图像性质(例如接触孔深度)；等等。

作为非限制性实例，训练集可以用于使用针对给定的检查相关应用进行培训的深度神经网络(dnn)对样品进行自动缺陷审查(adr)、自动缺陷分类(adc)和自动检查中的至少一者。

根据本公开主题的其他态样，生成合成图像可以包括：训练辅助dnn以产生潜在空间，以及通过将经训练的辅助dnn应用到在所产生的潜在空间中选择的一个点来生成合成图像。

根据本公开主题的其他态样，辅助dnn可以包括生成器和鉴别器，并且训练辅助dnn可以包括：a)由鉴别器接收由生成器生成的样本和“真实环境”样本；b)由鉴别器区分所接收的样本并向生成器提供回馈；c)重复操作a)和b)，直到“真实环境”样本和生成的样本无法被鉴别器区分。

根据本公开主题其他态样，该方法当被实施用于对样品中的缺陷进行分类时，可以进一步包括：接收用户对待在合成图像中呈现的缺陷类别的要求；使用k均值法(k-means)训练辅助dnn以获得潜在空间中的群集；在潜在空间中识别与所需类别对应的一个或多个群集；使用所识别的一个或多个群集来生成具有与所需类别相对应的缺陷的合成图像。

根据本公开主题的其他态样，提供了一种被配置用于生成可用于根据上述方法检查半导体样品的训练集的系统。

根据本公开主题的其他态样，提供了一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括指令，所述指令当由计算机执行时使得该计算机执行上述方法。

附图说明

为了理解本发明并且理解本发明如何在实践中实行，现在将参考随附附图并仅作为非限制性实例来描述实施方式，在附图中：

图1图示了根据本公开主题的某些实施方式的检查系统的功能方块图；

图2图示了根据本公开主题的某些实施方式的使用深度神经网络(dnn)基于制造过程(fp)图像自动地确定检查相关的数据的概括流程图；

图3图示了根据本公开主题的某些实施方式配置的合成图像生成器的概括功能图；

图4图示了根据本公开主题的某些实施方式的生成训练集的概括流程图；

图5图示了根据本公开主题的某些实施方式操作合成图像生成器的概括流程图；

图6图示了根据本公开主题的某些实施方式训练合成图像生成器的概括逻辑图；

图7图示了根据本公开主题的某些实施方式的生成用于缺陷分类的合成训练样本的概括流程图。

具体实施方式

在以下详述中，阐述许多特定细节，以便提供对本发明的透彻理解。然而，本领域的技术人员将理解，可以在没有所述特定细节的情况下实践本公开主题。在其他情况下，未详细描述所熟知的方法、过程、部件和电路，以便不会不必要地模糊本公开主题。

除非另外特别说明，从以下论述中将显而易见的是，将了解，在整个说明书中，利用诸如“处理”、“计算”、“表示”、“比较”、“生成”、“训练”、“分割”、“配准”或类似术语的论述是指将数据操纵和/或变换成其他数据的计算机的(多个)动作和/或(多个)处理，该数据被表示为物理量(诸如电学量)和/或该数据表示物理对象。术语“计算机”应广泛地被解释为涵盖具有数据处理能力的任何种类的基于硬件的电子装置，作为非限制性实例，该电子装置包括本申请公开的制造过程检查信息(fabricationprocessexaminationinformation,fpei)系统及其相应部分。

本文使用的术语“非暂时性存储器”和“非暂时性存储介质”应广泛地被解释为覆盖适合于本公开主题的任何易失性或非易失性计算机存储器。

本说明书中使用的术语“缺陷”应广泛地被解释为覆盖在样品上或样品内形成的任何种类的异常或不期望的特征。

本说明书中使用的术语“设计数据”应广泛地被解释为覆盖指示样品的分层物理设计(布局)的任何数据。设计数据可以由相应的设计者提供和/或可以从物理设计导出(例如，通过复杂模拟、简单几何和布尔操作(booleanoperations)等)。可以以不同的格式提供设计数据，作为非限制性实例，诸如gdsii格式、oasis格式等。设计数据可以以矢量格式、灰度级强度图像格式或以其他方式呈现。

将了解，除非另外特别说明，在单独实施方式的上下文中描述的本公开主题的某些特征也可以在单个实施方式中组合提供。反之，在单个实施方式的上下文中描述的本公开主题的各种特征也可以单独地提供或以任何合适的子组合的形式提供。在以下详述中，阐述许多特定细节，以便提供对方法和设备的透彻理解。

考虑到此点，注意图1，图1图示了根据本公开主题的某些实施方式的检查系统的功能方块图。图1中所示的检查系统100可以用于检查作为样品制造过程的一部分的样品(例如，晶片和/或晶片的一部分)的检查。所图标的检查系统100包括基于计算机的系统103，系统103能够使用在样品制造(在下文中被称为制造过程(fp)图像)期间获得的图像来自动确定计量相关和/或缺陷相关的信息。系统103在下文中被称为制造过程检查信息(fpei)系统。fpei系统103可以可操作地连接到一个或多个低分辨率检查工具101和/或一个或多个高分辨率检查工具102和/或其他检查工具。检查工具被配置为捕获fp图像和/或审查(多个)捕获的fp图像和/或赋能或提供与(多个)捕获图像相关的测量。fpei系统可进一步可操作地连接到cad服务器110和数据储存库109。

fpei系统103包括可操作地连接到基于硬件的输入接口105和基于硬件的输出接口106的处理器和存储器电路(processorandmemorycircuitry,pmc)104。pmc104被配置为提供用于操作fpei系统需要的所有处理，如参考图2至图5更详细描述的，并且包括处理器(未单独图标)和存储器(未单独图标)。pmc104的处理器可被配置为根据包含在pmc中的非暂时性计算机可读存储器上实施的计算机可读指令来执行若干功能模块。此类功能模块在下文中被称为包含在pmc中。包含在pmc104中的功能模块包括可操作地连接的训练集生成器111。功能模块可进一步包括深度神经网络(dnn)112。dnn112包括dnn模块114，dnn模块114被配置为使用(多个)深度神经网络赋能数据处理，以用于基于制造(fp)输入数据输出应用相关的数据。任选地，dnn112可包括前dnn模块113和/或后dnn模块115，前dnn模块113被配置为在将输入数据发送给dnn模块之前提供处理，后dnn模块115被配置为提供由dnn模块生成的后处理数据。将参考图2至图5更详细地描述fpei系统103、和pmc104和其中的功能区块的操作。

dnn模块114可以包括监督或非监督式dnn112，该dnn112包括根据相应dnn架构组织的多个层。作为非限制性实例，dnn的层可以根据卷积神经网络(convolutionalneuralnetwork,cnn)架构、循环神经网络架构、递归神经网络架构、生成对抗网络(generativeadversarialnetwork,gan)架构等来组织。任选地，至少部分层可以被组织在多个dnn子网中。dnn模块114的每一层可以包括在本领域中通常称为维度、神经元或节点的多个基本计算元素(computationalelements,ce)。

通常，给定层的计算元素可以与前一层和/或后一层的ce连接。前一层的ce和后一层的ce之间的每个连接都与加权值相关联。给定的ce可以经由各个连接从前一层的ce接收输入，每个给定连接与可以应用至给定连接的输入的加权值相关联。加权值可以确定连接的相对强度，从而确定各个输入对给定ce输出的相对影响。给定ce可被配置为计算启动值(例如，输入的加权和)，并进一步通过将启动函数应用至计算的启动来导出输出。启动函数可以是，例如，身份函数、确定性函数(例如，线性函数、sigmoid函数、阈值函数或类似函数)、随机函数或其他合适的函数。来自给定ce的输出可以经由各自的连接传输到后续层的ce。同样，如上所述，ce输出端处的每个连接可以与加权值相关联，该加权值可以在ce的输出作为后续层的ce的输入而被接收之前应用至ce的输出。除了加权值之外，也可以存在与连接和ce相关联的阈值(包括限制函数)。

深度神经网络的加权值和/或阈值可以在训练之前被初始选择，并且可以在训练期间被进一步迭代地调整或修改，以在被训练的dnn中实现加权值和/或阈值的最佳集合。在每次迭代之后，可以确定dnn模块产生的实际输出和与相应的数据训练集相关联的目标输出之间的差异。此种差异可以称为误差值。当指示误差值的成本函数小于预定值时，或者当迭代之间的效能实现有限变化时，可以确定训练已经完成。任选地，在训练整个dnn之前，可以单独训练至少一部分dnn子网(如果有)。

用于调整深度神经网络的权重/阈值的dnn输入数据集在下文中被称为训练集。

dnn112的输入可以在输入到dnn模块114之前由前dnn模块113预处理，和/或dnn模块114的输出可以在从dnn112输出之前由后dnn模块115后处理。在此种情况下，dnn112的训练进一步包括确定前dnn模块和/或后dnn模块的参数。任选地，可以训练dnn模块，以便最小化整个dnn的成本函数，同时可以预定义和在训练期间调整前dnn模块和/或后dnn模块的参数。在训练时表征dnn112的一组基于训练的参数可以进一步包括与前dnn和后dnn处理相关的参数。

注意，本公开主题的教导不受dnn112架构的约束。

作为dnn112的替代或补充，pmc可以包括自动缺陷审查模块(automaticdefectreviewmodule,adr)和/或自动缺陷分类模块(automaticdefectclassificationmodule,adc)和/或在训练后可用于半导体样品检查的其他检查模块。任选地，一个或多个检查模块可以包括dnn112。任选地，dnn112可以在检查模块之间共享，或者，任选地，该一个或多个检查模块中的每一个可以包括其自己的dnn112。

如将参考图2至图5进一步详细描述的，fpei系统被配置为经由输入接口105接收fp输入数据。fp输入数据可以包括由检查工具产生的数据(和/或其衍生数据和/或与其相关联的元数据)和/或存储在一个或多个数据储存库109和/或cad服务器110和/或另一相关数据储存库中的数据。应注意，fp输入数据可以包括图像(例如，捕获图像、从捕获图像导出的图像、模拟图像、合成图像等)和相关联的数字数据(例如元数据、手工制作的属性等)。还应注意，图像数据可包括与样品的感兴趣层和/或一个或多个其他层相关的数据。任选地，出于训练目的，fp输入数据可以包括全部可用fab数据或根据某些标准选择的可用fab数据的一部分。

fpei系统进一步被配置为处理接收到的fp输入数据的至少一部分，并且经由输出接口106将结果(或其一部分)发送到存储系统107、(多个)检查工具、用于呈现结果的基于计算机的图形用户接口(gui)108和/或外部系统(例如fab的产量管理系统(yieldmanagementsystem,yms))。gui108可以进一步被配置为启用与操作fpei系统103相关的用户指定输入。

作为非限制性实例，可以由一个或多个低分辨率检查机器101(例如光学检验系统、低分辨率sem等)检查样品。样品的低分辨率图像信息的结果数据(在下文中被称为低分辨率图像数据121)可以直接或经由一个或多个中间系统被传输到fpei系统103。替代地或另外地，样本可以由高分辨率机器102检查(例如，被选择以用于审查的潜在缺陷位置的子集可以由扫描电子显微镜(sem)或原子力显微镜(afm)审查。样品的高分辨率图像信息的结果数据(在下文中被称为高分辨率图像数据122)可以直接或经由一个或多个中间系统被传输到fpei系统103。

应注意，图像数据可以与相关联的元数据(例如像素大小、缺陷类型的文本描述、图像捕获过程的参数等)一起被接收和处理。

在处理fp输入数据(例如低分辨率图像数据和/或高分辨率图像数据，任选地与其他数据一起作为(例如)设计数据、合成数据等)时，fpei系统可以将结果(例如指令相关数据123和/或124)发送到任何(多个)检查工具，将结果(例如缺陷属性、缺陷分类等)存储在存储系统107中，经由gui108呈现结果和/或发送到外部系统(例如yms)。

本领域的技术人员将容易地理解，本公开主题的教导不受图1中所示的系统的约束；等效和/或修改的功能可以以另一方式合并或分割并且可以以软件与固件和/或硬件的任何适当的组合来实施。

在不以任何方式限制本公开内容的范围的情况下，还应当注意，检查工具可以实施为各种类型的检验机器，例如光学成像机器、电子束检验机器等。在某些情况下，相同的检查工具可以提供低分辨率图像数据和高分辨率图像数据。在一些情况下，至少一个检查工具可以具有计量能力。

将注意，图1中所示的检查系统可以在分布式计算环境中实施，其中图1中所示的前述功能模块可以被分布在若干本地和/或远程装置上，并且可以通过通信网路连结。还应注意，在其他实施方式中，检查工具101和/或102、数据储存库109、存储系统107和/或gui108的至少一部分可以在检查系统100外部，并且经由输入接口105和输出接口106与fpei系统103进行数据通信操作。fpei系统103可以被实施为独立的(多个)计算机，以与检查工具结合地使用。替代地，fpei系统的相应功能可以至少部分地与一个或多个检查工具集成。

仅出于说明的目的，提供以下描述用于使用训练的dnn检查半导体样品。本领域的技术人员将容易理解，本公开主题的教导同样适用于生成用于其他检查模块的训练集，例如adr、adc、自动导航模块、自动分割模块和类似模块。

参考图2，图示了使用dnn112基于制造过程(fp)图像自动确定检查相关数据的概括流程图。如转让给本申请受让人并且通过引用方式全文并入本文的美国专利申请案第2017/0177997号中所述，该过程包括设置步骤，该设置步骤包括训练深度神经网络(dnn)112，其中dnn被训练以用于给定的检查相关应用，并且在训练时，dnn表征基于训练的参数的特定于应用的集。作为非限制性实例，与检查相关的应用可以是以下之一:

使用由dnn生成的属性的缺陷分类(定义类可以包括修改和/或更新预先存在的类定义和/或识别新的类)；

制造过程图像的分割，包括将fp图像分割成片段(例如材料类型、边缘、像素标记、感兴趣区域等)；

缺陷检测(例如，使用fp图像识别一个或多个候选缺陷(如果存在)，并对该候选缺陷进行标记，确定候选缺陷的真值，获得缺陷的形状信息，等等)；

两个或更多个图像之间的配准，包括获得图像之间的几何扭曲参数(可以是全局的或局部的，简单如移位或更复杂的变换)；

跨模态回归(例如，从来自不同检查模态的一个或多个图像重建图像，例如，该不同检查模态是来自cad的sem或光学图像、来自sem图像的高度图、来自低分辨率图像的高分辨率图像)；

基于回归的图像属性估计；

上述的(多个)组合。

在设置步骤期间获得针对给定应用训练的dnn112(201)。如将参考图3至图5进一步详细描述，pmc104(例如训练集生成器111)可以被配置为执行生成进一步可用于dnn112的训练的特定于应用的训练集。生成训练集可以包括增强训练样本(以及(如果适用)地面真实数据)，并将增强的训练图像和增强的地面真实数据包括在训练样本中。替代地或另外地，生成训练集可以包括生成合成图像(并且(如果必要)获得地面真实数据)，并且将合成图像包括在训练样本中。

应注意，dnn训练过程可以是循环的，并且可以重复若干次，直到dnn被充分训练。该过程可以从初始生成的训练集开始，同时使用者根据初始训练集针对由dnn达到的结果提供回馈。所提供的回馈可以包括，例如:

一个或多个像素、区域和/或缺陷的手动重新分类；

分类的优先次序；

灵敏度的变化、地面真实分割的更新和/或为分割应用手动定义感兴趣区域(roi)；

为缺陷检测应用重新定义掩模/边界框；

为配准应用重新选择失败个例和/或手动配准失败个例；

为基于回归的应用等等重新选择感兴趣的特征。

pmc可以基于收到的回馈调整下一个训练周期。调整可以包括以下至少一项:更新训练集、更新成本函数、更新前dnn和/或后/dnn算法等。任选地，一些训练周期可以不提供给整个dnn112，而是提供给前dnn模块113、后dnn模块115或dnn模块114的一个或多个更高的层。

在运行时期间，fpei系统的pmc使用获得的训练dnn112来处理包括fp图像的fp样本(202)。从而pmc获得表征经处理的fp样本中的至少一个图像的特定于应用的检查相关数据(203)。当处理fp样本时，pmc也可以使用预定义的参数和/或从其他来源接收的参数，以及在训练时表征dnn112的基于训练的参数。

fp样本中的fp图像可以来自不同的检查模态(例如，来自不同的检查工具；来自同一检查工具的不同通道，例如亮场和暗场图像；来自使用不同操作参数的相同检查工具；可以从设计数据中导出等)。应注意，检查模态可以彼此不同，归因于各自图像的来源(例如，由扫描电子显微镜(sem)捕获的图像、由光学检验系统捕获的图像、从捕获的图像导出的图像、基于cad生成的图像等)，和/或归因于应用至捕获图像的导出技术(例如通过分割、缺陷轮廓提取、高度图计算等导出的图像)，和/或归因于检查参数(例如，由某个检查工具提供的透视和/或分辨率等)。作为非限制性实例，fp样本可以包括与缺陷相关的一组图像，该图像通过相同或不同的检查模态、参考模具图像、基于cad的图像、从所获得的图像导出的数据(例如，高度图、缺陷掩模、等级、分割等)来分类和获得。fp样本可以进一步包括与图像和/或其中的缺陷相关的元数据(例如成像条件、像素大小、工程属性(例如缺陷大小、取向、背景片段等)，等)。作为非限制性实例，元数据可以由pmc根据存储在pmc中和/或从各个检查工具接收的预定义指令生成。

任选地，训练样本可以对应于fp样本。每个训练样本可以包括至少相同数量的通过相同的检查模态获得的图像，并且与相应fp样本中的图像具有相同的关系。注意，在某些实施方式中，训练样本可能缺失与fp样本中的图像相对应的一些图像。这样的缺陷可以通过不同的技术来补偿，其中一些技术是本领域已知的(例如，缺失的图像可以通过根据来自另一训练样本的相应图像的平均值生成的图像来补偿等)。任选地，训练样本可以进一步包括通过额外检查模态获得的额外图像，所述额外检查模态通常在运行时是不可用的，和/或通过增强可用于训练的图像，和/或通过生成一个或多个合成图像获得。

例如，fp图像可以选自在制造过程期间捕获的样品(例如，晶片或其部分)的图像、通过各种预处理阶段获得的捕获图像的衍生图像(例如，由sem或光学检验系统捕获的晶片或光掩模的一部分的图像、大致以待由adc分类的缺陷为中心的sem图像、待由adr定位缺陷的较大区域的sem图像、对应于相同掩模位置的不同检查模态的配准图像、分割图像、高度图图像等)和计算机生成的基于设计数据的图像。

作为非限制性实例，特定于应用的检查相关数据可以表示值的每像素地图，所述值的含义取决于应用(例如，用于缺陷检测的二进制地图；表示族类型或通用类的有害族预测的离散地图；用于缺陷类型分类的离散地图；用于交叉模态或模间模型(die-tomodel,d2m)回归等的连续值)。可以进一步获得每个像素的地图，以及指示针对像素获得的值的机率的每个像素的机率地图。

替代地或另外地，获得的特定于应用的检查相关数据可以表示汇总整个图像内容(不是每个像素)的一个或多个值，诸如(例如)用于自动缺陷审查应用的缺陷属性、缺陷边界框候选和相关缺陷机率，用于自动缺陷分类应用的缺陷类和类机率等。

替代地或另外地，所获得的特定于应用的缺陷相关数据可以不直接与缺陷相关，而是可用于缺陷分析(例如，由fp图像的分割而获得的晶片的层之间的边界可以用于定义缺陷的层、缺陷环境数据，例如，背景图案的特征等)。替代地或另外地，检查相关数据可用于计量目的。

参照图3，图示了训练集生成器111。根据当前本主题的某些实施方式，训练集生成器111包括增强图像生成器301、合成图像生成器302和输出训练集模块303，输出训练集模块303可操作地耦合到生成器301和生成器302，并被配置为生成包括“真实环境”训练样本、合成训练样本和/或增强训练样本的训练集。生成的训练集可以存储在pmc104的存储器中。

训练集生成器可以经由输入接口105从数据储存库109、cad服务器110或任何其他合适的数据储存库获得“真实环境”训练样本的数据(以及任选地，地面真实数据)。替代地或另外地，可以经由gui108获得地面真实数据。

取决于应用，“真实环境”训练样本可以是由相同或不同检查模态获得的样品的单个图像或一组图像。“真实环境”训练样本可以进一步包括与图像相关联的数字数据，例如元数据、手工制作的属性(例如缺陷大小、取向、背景片段等)和其他。地面真实数据的值可以包括与特定于应用的训练样本相关联的图像和/或标记。地面真实数据可以合成产生(例如，基于cad的图像)、实际产生(例如，捕获的图像)、通过机器学习注释产生(例如，基于特征提取和分析的标记)、通过人工注释产生、或者上述的组合产生等。

注意，取决于应用，相同的图像可用于训练样本或地面真实数据。作为非限制性实例，基于cad的图像可以用作分割应用的训练样本，并且可以用作基于回归的应用的地面真实数据。如美国专利申请案第2017/0177997号中所述，地面真实数据可能因应用而异。

增强图像生成器301被配置为从“真实环境”训练样本中增强一个或多个图像，由此导出增强图像。来自“真实环境”训练样本的图像增强可以通过各种图像处理技术来提供，包括添加噪声、模糊、几何变换(例如旋转、拉伸、模拟不同角度、裁剪、缩放等)、色调映像、改变图像的一个或多个像素的矢量信息(例如添加和/或修改视角或采集通道等)等。

替代地或另外地，来自“真实环境”训练样本的图像可以使用合成数据(例如，缺陷相关数据、模拟连接器或其他对象、来自其他图像的植入等)来增强。作为非限制性实例，已知缺陷类型的可用图像(和/或参数)可用于在图像中植入新的缺陷、放大图像中预先存在的缺陷的缺陷强度、从图像中移除缺陷、掩盖图像中的缺陷(使得更难检测)等。

例如，生成具有合成缺陷的图像可以包括:

-训练cnndnn(例如，基于alex-net等)；

-获得包含选择的缺陷的第一图像；

-获得包含选择背景的第二图像；

-使用训练的cnn网络以将选择的缺陷的“样式转移”实行到选择的背景中。此种实行可以例如使用https://arxiv.org/pdf/1508.06576.pdf中公开的技术来提供。

然而替代地或另外地，来自“真实环境”训练样本的捕获图像可以使用分割、缺陷轮廓提取和/或高度图计算来增强，和/或可以通过与相应的基于cad的图像一起处理来获得。

增强技术可以以独立于应用的方式应用至“真实环境”训练样本的(多个)图像。替代地，增强训练样本可以以特定于应用的方式导出，其中通过优先于特定于应用的技术获得相应增强图像的至少大部分。表1展示了美国专利申请案第2017/0177997号中详述的特定于应用的较佳增强技术的非限制性实例。

表1.较佳增强技术的特定于应用的实例

任选地，增强技术也可以应用至由合成图像生成器302生成的合成图像，并且由输出模块303生成的训练集可以进一步包括由生成器302生成并由生成器301进一步增强的合成图像。

合成图像生成器302包括非监督式辅助dnn304。参考图4至图7进一步描述了训练辅助dnn304和操作合成图像生成器302。

参考图4，图示了根据本公开主题的某些实施方式生成训练集的概括流程图。该方法包括：获得(401)特定于半导体制造过程中的给定检查相关应用的“真实环境”训练样本；使用所获得的“真实环境”训练样本来生成(402)特定于给定检查相关应用的一个或多个合成图像；将所生成的一个或多个合成图像包括(404)到特定于给定检查相关应用的训练集中。任选地，生成训练集可以进一步包括使用所获得的“真实环境”训练样本来生成(403)特定于给定检查相关应用的一个或多个增强图像，以及将所生成的增强图像包括到训练集中。

因此，在根据本公开主题的某些实施方式中，所生成的训练集中的训练样本的数目可以实质上大于“真实环境”训练样本的数目。例如，该“真实环境”训练样本集可以包括在100个与50,000个之间的训练样本，而根据本公开主题的某些实施方式生成的训练集可以包括至少100,000个训练样本。应注意，捕获图像是一个缓慢且可能也很昂贵的过程。通过增强捕获的图像和/或生成合成图像来在训练集中生成足量的训练样本使得能够实现dnn训练的效率。

此外，生成增强且合成的图像的技术使得能够根据特定应用的要求来定制所生成的训练集。作为非限制性实例，缺少与特定类别的缺陷(例如，少数类别)相关的fab数据可以由呈现相应缺陷的合成图像来补偿。作为另一非限制性实例，缺少与特定层相关的适当fab数据可以由与该层相关的合成图像来补偿。作为又一非限制性实例，可以生成合成图像以恢复特定缺陷的缺失信息。例如，如果缺陷仅缺失高分辨率图像，则可以使用现有数据将合成图像生成器初始化，并模拟丢失的高分辨率图像。

仅出于说明的目的，基于生成对抗网络(gan)架构提供了对辅助dnn的以下描述。本领域技术人员将容易理解，本公开主题的教导同样适用于其他gan架构、基于变分自动编码器的架构等。

参考图5，图示了根据本公开主题的某些实施方式生成用于训练集的合成图像的概括流程图。操作合成图像生成器302包括设置步骤，该设置步骤包括训练辅助dnn304和运行时步骤。

应注意的是，可以在与来自所有制造阶段的所有类型的层/产品相关的所有可用fab数据(例如cad数据、高分辨率图像、低分辨率图像、元数据，一般属性等)上提供对辅助dnn的训练。或者，可以在根据某些标准(例如标记/未标记/特定层/特定产品/特定类别等)选择的可用fab数据的一部分上提供对辅助dnn的训练。任选地，辅助dnn可以在不同的数据集上粗略地训练，可能与fab无关，并且进一步针对特定检查相关应用在根据某些标准选择的所有可用fab数据或其部分上进行精细训练。另外地或替代地，可以使用输入数据的文本描述(例如，具有水平线背景的粒子等)来训练辅助dnn。

在运行时期间，为了得到合成图像，合成图像生成器将经训练的辅助dnn应用(502)到所产生的潜在空间中所选定的任意点。生成的合成图像可以进一步呈现到客户端(人或计算机化应用程序)以决定将图像包括到训练集中。

任选地，通过选择辅助训练集，可以针对给定检查相关应用训练辅助dnn304，并且所产生的潜在空间可以针对相应的应用程序进行定制(例如，可以根据待引入的特定缺陷类型和/或具有一些预定义特征(如颜色变化噪声，充电噪声等)的特定层背景进行定制)。

参考图6，图示了根据本公开主题某些实施方式的训练合成图像生成器的概况逻辑图。

辅助dnn304包括生成器601和鉴别器602。任选地，生成器601和鉴别器602都可以配置为cnn。

在训练时，潜在空间603应当代表观察到的数据(存储在真实环境图像数据库606中的fab数据或其一部分)到极高维度的抽象超平面(z-空间)的映射，其中类似的潜在特征映像得彼此更接近。在训练之前，超平面表示随机变量。在训练期间，生成器601从超平面接收变量并生成样本604。在接收到“真实环境”样本605和生成的样本604时，鉴别器602区分所接收的样本并向生成器601提供回馈。当鉴别器602不能区分“真实环境”样本和生成的样本时，训练过程结束。在该训练过程期间，辅助dnn304将超平面映像到图像空间上，从而生成每个坐标与图像匹配的潜在空间。

因此，训练辅助dnn包括：a)由鉴别器接收由生成器生成的样本和“真实环境”样本；b)由鉴别器区分所接收的样本并向生成器提供回馈；以及重复操作a)和b)，直到“真实环境”样本和生成的样本无法被鉴别器区分。

图7图示了实施用于生成用于缺陷分类的合成训练样本的上述过程的概括流程图。生成此类合成训练样本包括：接收用户对要在合成图像中呈现的缺陷类别(例如，少数类别)的要求(701)；使用包括在fab中的可用数据的至少部分(或者，任选地，仅标记图像)的辅助训练集来训练配置为变分自动编码器的辅助dnn(702)；使用k均值法在潜在空间中识别与所需类别对应的一个或多个群集(703)；以及根据所识别的群集选择潜在空间中的点，从而生成(704)具有与所需类别对应的缺陷的合成图像。

应当理解的是，本发明并不将其应用限制到在本文所包含的描述中阐述或在附图中图示的细节。

还将理解的是，根据本发明的系统可以至少部分地在适当编程的计算机上实施。同样地，本发明设想了一种计算机程序，该计算机程序可由计算机读取以执行本发明的方法。本发明进一步设想了一种非暂时性计算机可读存储器，其有形地体现了可由计算机执行用于执行本发明方法的指令程序。

本发明能够具有其他实施方式和以各种方式进行实践和实行。因此，应理解，本文采用的措辞和术语是出于描述的目的，不应视为限制。如此，本领域技术人员应理解，本公开内容所基于的概念可以容易地用作设计用于实行本公开主题的若干目的的其他结构、方法和系统的基础。

本领域技术人员将容易理解的是，在不脱离本发明的范围的情况下，可以对在上文描述的本发明的实施方式进行各种修改和改变，本发明的范围在所附权利要求书中限定并由所附权利要求书限定。