针对半导体应用从输入图像产生经模拟图像的制作方法

本发明大体上涉及用于针对半导体应用从输入图像产生经模拟图像的方法及系统。

背景技术

以下描述及实例不因其包含于本章节中而被承认为现有技术。

制造半导体装置(例如逻辑及存储器装置)通常包含：使用大量半导体制造工艺来处理衬底(例如半导体晶片)以形成半导体装置的各种特征及多个层级。举例来说，光刻是涉及将图案从光罩转印到布置于半导体晶片上的光致抗蚀剂的半导体制造工艺。半导体制造工艺的额外实例包含(但不限于)化学机械抛光(cmp)、蚀刻、沉积及离子植入。多个半导体装置可以布置制造于单个半导体晶片上且接着被分离成个别半导体装置。

在半导体制造工艺期间的各种步骤中使用检验过程来检测样本上的缺陷以促进较高制造工艺良率且因此促进较高利润。检验始终为制造半导体装置的重要部分。然而，随着半导体装置的尺寸减小，检验对可接受的半导体装置的成功制造变得更重要，这是因为较小缺陷会引起装置失效。

缺陷复检通常涉及：重新检测由检验过程本身检测到的缺陷，且使用高倍放大光学系统或扫描式电子显微镜(sem)来以较高分辨率产生关于所述缺陷的额外信息。因此，在已通过检验检测到缺陷的离散位置处对样本执行缺陷复检。通过缺陷复检产生的缺陷的较高分辨率数据更适合于确定缺陷的属性，例如轮廓、粗糙度、更精确大小信息等等。

还在半导体制造工艺期间的各种步骤中使用度量过程来监测且控制工艺。度量过程与检验过程的不同点在于：与其中检测样本上的缺陷的检验过程不同，度量过程用于测量使用当前所使用的检验工具无法确定的样本的一或多个特性。举例来说，度量过程用于测量样本的一或多个特性(例如在工艺期间形成于样本上的特征的尺寸(例如线宽、厚度等等))，使得可从所述一或多个特性确定工艺的性能。另外，如果样本的一或多个特性是不可接受的(例如，在特性的预定范围外)，那么样本的一或多个特性的测量可用于变更工艺的一或多个参数，使得由工艺制造的额外样本具有可接受特性。

度量过程与缺陷复检过程的不同点还在于：与其中在缺陷复检中再访通过检验检测到的缺陷的缺陷复检过程不同，度量过程可在未检测到缺陷的位置处执行。换句话说，与缺陷复检不同，对样本执行度量过程的位置可与对样本执行的检验过程的结果无关。特定来说，可独立于检验结果来选择执行度量过程的位置。

随着设计规则收紧，形成于样本(例如光罩及晶片)上的设计即使使用最佳执行工艺来形成，仍会使其看起来大不同于实际设计。举例来说，归因于在物理样本上形成设计中所涉及的物理过程的内在限制，形成于物理样本上的设计的特征通常具有略微不同于设计的特性(例如不同形状(例如，归因于圆角及其它近接效应))且可具有略微不同尺寸(例如，归因于近接效应)，即使已在样本上形成设计的最佳可能版本。

有时，无法知道设计将如何呈现于样本上及由例如检验工具、缺陷复检工具、度量工具及其类似者的工具产生的样本(其上已形成设计信息)的图像中。然而，由于种种原因，通常期望知道设计将如何呈现于样本上及由此类工具产生的图像中。一个原因是需确保设计将以可接受方式形成于样本上。另一原因是对设计提供参考，其说明设计希望如何形成于样本上且可用于对样本所执行的一或多个功能。举例来说，一般来说，缺陷检测需要参考，使得形成于样本上的设计与参考之间的任何差异可被检测到且被识别为缺陷或潜在缺陷。

因此，已做了大量工作来开发可从样本的一个图像模拟所述样本的另一图像的各种方法及系统。然而，当前可用方法存在若干缺点。举例来说，一些当前使用方法对方法可变换的输入图像的大小具有上限。其它当前使用方法可变换大体上较大输入图像，但如此做存在若干缺点。

在一个此类实例中，用于变换相对较大输入图像的一种当前使用方法包含：将(相对较大)任意大小图像(例如1024个像素×1024个像素)裁剪成具有所需大小(例如64个像素×64个像素)的许多图像块，接着通过神经网络馈送所有块。图像大小(即，1024个像素×1024个像素)结果可由块大小结果(即，923,521个图像块，其各自具有64个像素×64个像素的大小)构造。

因此，此类当前使用方法存在若干缺点。举例来说，即使在最快图形处理单元(gpu)上，当前使用方法也需要在运行时进行巨量运算(例如，处理1024像素×1024像素图像需要数十分钟到数小时)。另外，当前使用方法包含额外裁剪及重建步骤，其使软件实施流程变复杂。

据此，将有利地发展用于从输入图像产生经模拟图像的系统及方法，其不具有上文所描述的一或多个缺点。

技术实现要素：

各种实施例的以下描述绝不应被解释为限制所附权利要求书的标的物。

一个实施例涉及一种经配置以从输入图像产生经模拟图像的系统。所述系统包含一或多个计算机子系统及由所述一或多个计算机子系统执行的一或多个组件。所述一或多个组件包含神经网络，其包含经配置以用于确定样本的图像的特征的两个或两个以上编码器层。所述神经网络还包含经配置以用于从所述确定特征产生一或多个经模拟图像的两个或两个以上解码器层。所述神经网络不包含全连接层，借此消除对输入到所述两个或两个以上编码器层的所述图像的大小的约束。可如本文所描述那样进一步配置所述系统。

额外实施例涉及另一种经配置以从输入图像产生经模拟图像的系统。如上文所描述那样配置此系统。此系统还包含成像子系统，其经配置以用于产生输入到所述两个或两个以上编码器层的样本的图像。在此实施例中，所述计算机子系统经配置以用于从所述成像子系统获取所述图像。可如本文所描述那样进一步配置所述系统的此实施例。

另一实施例涉及一种用于从输入图像产生经模拟图像的计算机实施方法。所述方法包含：获取样本的图像。所述方法还包含：通过将所述图像输入到神经网络的两个或两个以上编码器层中来确定所述样本的所述图像的特征。另外，所述方法包含：从所述确定特征产生一或多个经模拟图像。由所述神经网络的两个或两个以上解码器层执行产生所述一或多个经模拟图像。由一或多个计算机系统执行所述获取、所述确定及所述产生。由所述一或多个计算机系统执行一或多个组件，且所述一或多个组件包含所述神经网络。

可如本文进一步所描述那样进一步执行上文所描述的方法的每一步骤。另外，上文所描述的方法的实施例可包含本文所描述的任何其它方法的任何其它步骤。此外，可由本文所描述的系统中的任何者执行上文所描述的方法。

另一实施例涉及一种非暂时性计算机可读媒体，其存储可在一或多个计算机系统上执行的程序指令，所述程序指令用于执行用于从输入图像产生经模拟图像的计算机实施方法。所述计算机实施方法包含上文所描述的方法的步骤。可如本文所描述那样进一步配置所述计算机可读媒体。可如本文进一步所描述那样执行所述计算机实施方法的步骤。另外，可针对其执行所述程序指令的所述计算机实施方法可包含本文所描述的任何其它方法的任何其它步骤。

附图说明

所属领域的技术人员将借助于优选实施例的以下详细描述且在参考附图之后明白本发明的进一步优点，其中：

图1及1a是说明如本文所描述那样配置的系统的实施例的侧视图的示意图；

图2是说明用于从输入图像产生经模拟图像的当前使用方法的一个实例及在无需当前使用方法的裁剪及重建步骤的情况下从输入图像产生经模拟图像的一个实施例的示意图；

图3a是说明具有固定输入图像大小的当前所使用的神经网络的一个实例的示意图；

图3b是说明实现任意输入图像大小的神经网络的一个实施例的示意图；及

图4是说明存储程序指令(其用于引起一或多个计算机系统执行本文所描述的计算机实施方法)的非暂时性计算机可读媒体的一个实施例的框图。

尽管本发明可接受各种修改及替代形式，但其特定实施例以举例方式展示于图式中且在本文中被详细描述。图式可不按比例绘制。然而，应了解，图式及其详细描述不希望将本发明限制于所揭示的特定形式，而是相反地，本发明涵盖落于由所附权利要求书界定的本发明的精神及范围内的所有修改、等效物及替代。

具体实施方式

本文中可互换使用的术语“设计”、“设计数据”及“设计信息”一般是指ic的物理设计(布局)及通过复杂模拟或简单几何及布尔(boolean)运算从物理设计导出的数据。另外，由光罩检验系统获取的光罩的图像及/或其衍生物可用作设计的一或若干“代理”。此光罩图像或其衍生物可充当使用设计的本文所描述的任何实施例中的设计布局的替代。设计可包含以下各者中所描述的任何其它设计数据或设计数据代理：共同拥有的扎法尔(zafar)等人于2009年8月4日发布的第7,570,796号美国专利及库尔卡尼(kulkarni)等人于2010年3月9日发布的第7,676,077号美国专利，所述两个专利宛如全文阐述引用的方式并入本文中。另外，设计数据可为标准单元库数据、集成布局数据、一或多个层的设计数据、设计数据的衍生物及全部或部分芯片设计数据。

另外，本文所描述的“设计”、“设计数据”及“设计信息”是指由半导体装置设计师在设计过程中产生的信息及数据且因此完全可在将设计印刷于任何物理样本(例如光罩及晶片)上之前用于本文所描述的实施例中。

现转到图式，应注意，图未按比例绘制。特定来说，图的一些元件的比例经大幅放大以强调元件的特性。还应注意，图未按相同比例绘制。已使用相同元件符号来指示可经类似配置的一个以上图中所展示的元件。除非本文另有规定，否则所描述及所展示的元件中的任何者可包含任何合适市售元件。

一个实施例涉及一种经配置以从输入图像产生经模拟图像的系统。一般来说，本文所描述的实施例可经配置为针对半导体检验及度量应用的全卷积深度生成模型。本文所描述的实施例有利地提供运算高效的方法以：(1)使深度生成模型能够运算任意大小图像；及(2)可针对光学、电子束、晶片、掩模、检验及度量工具来使用于运行时间预测的运算时间大幅减少100倍到1000倍。

图1中展示经配置以从输入图像产生经模拟图像的系统的一个实施例。所述系统包含一或多个计算机子系统(例如计算机子系统36及计算机子系统102)及由所述一或多个计算机子系统执行的一或多个组件100。在一些实施例中，系统包含成像系统(或子系统)10。在图1的实施例中，成像系统经配置以用于使光扫描样本的物理版本或将光导引到样本的物理版本且检测来自样本的光以借此产生样本的图像。成像系统还可经配置以使用多个模式来执行扫描(或导引)及检测。

在一个实施例中，样本是晶片。晶片可包含所属领域中已知的任何晶片。在另一实施例中，样本是光罩。光罩可包含所属领域中已知的任何光罩。

在一个实施例中，成像系统是基于光学的成像系统。以此方式，在一些实施例中，由基于光学的成像系统产生输入到本文进一步所描述的两个或两个以上编码器层的图像。在一个此类实例中，在图1所展示的系统的实施例中，基于光学的成像系统10包含经配置以将光导引到样本14的照明子系统。照明子系统包含至少一个光源。举例来说，如图1中所展示，照明子系统包含光源16。在一个实施例中，照明子系统经配置以以一或多个入射角(其可包含一或多个倾斜角及/或一或多个法向角)将光导引到样本。举例来说，如图1中所展示，以倾斜入射角导引来自光源16的光通过光学元件18且接着通过透镜20而到样本14。倾斜入射角可包含任何合适倾斜入射角，其可取决于(例如)样本的特性而变化。

成像系统可经配置以在不同时间以不同入射角将光导引到样本。举例来说，成像系统可经配置以变更照明子系统的一或多个元件的一或多个特性，使得可以不同于图1中所展示的入射角的入射角将光导引到样本。在一个此类实例中，成像系统可经配置以移动光源16、光学元件18及透镜20，使得以不同倾斜入射角或法向(或近法向)入射角将光导引到样本。

在一些例子中，成像系统可经配置以同时以一个以上入射角将光导引到样本。举例来说，照明子系统可包含一个以上照明通道，所述照明通道中的一者可包含图1中所展示的光源16、光学元件18及透镜20且所述照明通道的另一者(未展示)可包含类似元件，其可经不同或相同配置或可包含至少一个光源且可包含一或多个其它组件(例如本文进一步所描述的组件)。如果此光与另一光同时被导引到样本，那么以不同入射角导引到样本的光的一或多个特性(例如波长、偏振等等)可为不同的，使得由以不同入射角照射样本所致的光可在检测器处彼此区别。

在另一例子中，照明子系统可仅包含一个光源(例如图1中所展示的光源16)且来自所述光源的光可由照明子系统的一或多个光学元件(未展示)分离成不同光学路径(例如，基于波长、偏振等等)。接着，可将不同光学路径中的每一者中的光导引到样本。多个照明通道可经配置以同时或在不同时间(例如，当不同照明通道用于依序照射样本时)将光导引到样本。在另一例子中，相同照明通道可经配置以在不同时间将具有不同特性的光导引到样本。举例来说，在一些例子中，光学元件18可经配置为光谱滤波器且所述光谱滤波器的性质可以各种不同方式(例如，通过调换光谱滤波器)改变，使得可在不同时间将不同波长的光导引到样本。照明子系统可具有所属领域中已知的任何其它合适配置，其用于依序或同时以不同或相同入射角将具有不同或相同特性的光导引到样本。

在一个实施例中，光源16可包含宽带等离子体(bbp)光源。以此方式，由光源产生且被导引到样本的光可包含宽带光。然而，光源可包含例如激光的任何其它合适光源。激光可包含所属领域中已知的任何合适激光且可经配置以以所属领域中已知的一或若干任何合适波长产生光。另外，激光可经配置以产生单色光或近单色光。以此方式，激光可为窄带激光。光源还可包含以多个离散波长或波带产生光的多色光源。

来自光学元件18的光可由透镜20聚焦到样本14上。尽管透镜20在图1中展示为单个折射光学元件，但应了解，透镜20实际上可包含一起将来自光学元件的光聚焦到样本的若干折射及/或反射光学元件。图1中所展示及本文所描述的照明子系统可包含任何其它合适光学元件(未展示)。此类光学元件的实例包含(但不限于)偏振组件、光谱滤波器、空间滤波器、反射光学元件、变迹器、分束器、孔隙及其类似者，其可包含所属领域中已知的任何此类合适光学元件。另外，成像系统可经配置以基于待用于成像的照明的类型来变更照明子系统的元件中的一或多者。

成像系统还可包含经配置以引起光扫描样本的扫描子系统。举例来说，成像系统可包含在检验期间将样本14安置于其上的置物台22。扫描子系统可包含任何合适机械及/或机器人组合件(其包含置物台22)，其可经配置以移动样本，使得光可扫描样本。另外或替代地，成像系统可经配置使得成像系统的一或多个光学元件执行使光对样本进行某种扫描。可使光以任何合适方式(例如，沿蛇形路径或沿螺旋路径)扫描样本。

成像系统进一步包含一或多个检测通道。一或多个检测通道中的至少一者包含检测器，其经配置以归因于由系统照射样本来检测来自样本的光且响应于检测光来产生输出。举例来说，图1中所展示的成像系统包含两个检测通道：一个检测通道由集光器24、元件26及检测器28形成且另一检测通道由集光器30、元件32及检测器34形成。如图1中所展示，两个检测通道经配置以以不同集光角收集且检测光。在一些例子中，两个检测通道经配置以检测散射光，且检测通道经配置以检测从样本以不同角度散射的光。然而，检测通道中的一或多者可经配置以检测来自样本的另一类型的光(例如反射光)。

如图1中进一步所展示，两个检测通道经展示成定位于纸面中且照明子系统还经展示成定位于纸面中。因此，在此实施例中，两个检测通道经定位于(例如，居中定位于)入射面中。然而，检测通道中的一或多者可定位于入射面外。举例来说，由集光器30、元件32及检测器34形成的检测通道可经配置以收集且检测散射于入射面外的光。因此，此检测通道通常可称为“侧”通道，且此侧通道可居中定位于大体上垂直于入射面的平面中。

尽管图1展示包含两个检测通道的成像系统的实施例，但成像系统可包含不同数目个检测通道(例如仅一个检测通道或两个或两个以上检测通道)。在一个此类例子中，由集光器30、元件32及检测器34形成的检测通道可形成上文所描述的一个旁侧通道，且成像系统可包含形成为另一侧通道(其定位于入射面的对置侧上)的额外检测通道(未展示)。因此，成像可包含检测通道，其包含集光器24、元件26及检测器28且居中定位于入射面中且经配置以以法向于或接近法向于样本表面的散射角收集且检测光。因此，此检测通道通常可称为“顶部”通道，且成像系统还可包含如上文所描述那样配置的两个或两个以上侧通道。因而，成像系统可包含至少三个通道(即，一个顶部通道及两个旁侧通道)，且所述至少三个通道中的每一者自身具有集光器，每一集光器经配置以以不同于其它集光器中的每一者的散射角收集光。

如上文进一步所描述，包含于成像系统中的检测通道中的每一者可经配置以检测散射光。因此，图1中所展示的成像系统可经配置以用于样本的暗场(df)成像。然而，成像系统还可或替代地包含经配置以用于样本的明场(bf)成像的检测通道。换句话说，成像系统可包含经配置以检测从样本镜面反射的光的至少一个检测通道。因此，本文所描述的成像系统可经配置用于仅df、仅bf或df及bf两者的成像。尽管集光器中的每一者在图1中展示为单个折射光学元件，但应了解，集光器中的每一者可包含一或多个折射光学元件及/或一或多个反射光学元件。

一或多个检测通道可包含所属领域中已知的任何合适检测器。举例来说，检测器可包含光倍增管(pmt)、电荷耦合装置(ccd)、延时积分(tdi)摄影机及所属领域中已知的任何其它合适检测器。检测器还可包含非成像检测器或成像检测器。以此方式，如果检测器是非成像检测器，那么检测器中的每一者可经配置以检测散射光的特定特性(例如强度)，但不可经配置以检测依据成像面内的位置而变化的特性。因而，由包含于成像系统的检测通道中的每一者中的检测器中的每一者产生的输出可为信号或数据，但非图像信号或图像数据。在此类例子中，计算机子系统(例如计算机子系统36)可经配置以从检测器的非成像输出产生样本的图像。然而，在其它例子中，检测器可经配置为经配置以产生图像信号或图像数据的成像检测器。因此，成像系统可经配置以以许多方式产生本文所描述的图像。

应注意，本文中提供图1来大体上说明成像系统或子系统的配置，所述成像系统或子系统可包含于本文所描述的系统实施例中或可产生由本文所描述的系统实施例使用的图像。显而易见，本文所描述的成像系统布置可经变更以如设计商用成像系统时正常所执行那样优化成像系统的性能。另外，可使用既有系统(例如，通过将本文所描述的功能性新增到既有系统)(例如购自加利福尼亚州米尔皮塔斯市的科磊公司(kla-tencor,milpitas,calif)的29xx/39xx及puma9xxx系列工具)来实施本文所描述的系统。对于一些此类系统，可提供本文所描述的实施例作为系统的任选功能性(例如，除系统的其它功能性之外)。替代地，本文所描述的成像系统可经“从头开始”设计以提供全新成像系统。

成像系统的计算机子系统36可以任何合适方式(例如，经由一或多个传输媒体，其可包含“有线”及/或“无线”传输媒体)耦合到成像系统的检测器，使得在样本的扫描期间，计算机子系统可接收由检测器产生的输出。计算机子系统36可经配置以使用检测器的输出来执行本文进一步所描述的若干功能。

图1中所展示的计算机子系统(及本文所描述的其它计算机子系统)在本文中还可称为计算机系统。本文所描述的计算机子系统或系统中的每一者可采用各种形式，其包含个人计算机系统、图像计算机、大型计算机系统、工作站、网络设备、因特网设备或其它装置。一般来说，术语“计算机系统”可经广泛界定以涵盖具有一或多个处理器(其执行来自存储器媒体的指令)的任何装置。计算机子系统或系统还可包含所属领域中已知的任何合适处理器，例如并行处理器。另外，计算机子系统或系统可包含具有高速处理及软件的计算机平台作为单机或联网工具。

如果系统包含一个以上计算机子系统，那么不同计算机子系统可彼此耦合，使得可在计算机子系统之间发送图像、数据、信息、指令等等，如本文进一步所描述。举例来说，计算机子系统36可通过任何合适传输媒体(其可包含所属领域中已知的任何合适有线及/或无线传输媒体)来耦合到计算机子系统102，如由图1中的虚线所展示。此类计算机子系统中的两者或两者以上还可由共享计算机可读存储媒体(未展示)有效耦合。

尽管成像系统在上文中描述为基于光学或光的成像系统，但成像系统可为基于电子束的成像系统。以此方式，在一些实施例中，由基于电子束的成像系统产生输入到本文所描述的两个或两个以上编码器层的图像。在图1a所展示的一个此类实施例中，成像系统包含耦合到计算机子系统124的电子柱122。也如图1a中所展示，电子柱包含电子束源126，其经配置以产生由一或多个元件130聚焦到样本128的电子。电子束源可包含(例如)阴极源或射极尖端，且一或多个元件130可包含(例如)枪透镜、阳极、射束限制孔隙、闸阀、射束电流选择孔隙、物镜及扫描子系统，其所有可包含所属领域中已知的任何此类合适元件。

从样本回射的电子(例如二次电子)可由一或多个元件132聚焦到检测器134。一或多个元件132可包含(例如)扫描子系统，其可为包含于元件130中的相同扫描子系统。

电子柱可包含所属领域中已知的任何其它合适元件。另外，可如以下中所描述那样进一步配置电子柱：江(jiang)等人于2014年4月4日发布的第8,664,594号美国专利、小岛(kojima)等人于2014年4月8日发布的第8,692,204号美国专利、顾本思(gubbens)等人于2014年4月15日发布的第8,698,093号美国专利及麦克唐纳(macdonald)等人于2014年5月6日发布的第8,716,662号美国专利，所述专利以宛如全文阐述引用的方式并入本文中。

尽管电子柱在图1a中展示为经配置使得电子以倾斜入射角导引到样本且以另一倾斜角从样本散射，但应了解，电子束可以任何合适角度导引到样本且从样本散射。另外，基于电子束的成像系统可经配置以使用多个模式来产生样本的图像(例如，以不同照射角、集光角等等)，如本文进一步所描述。基于电子束的成像系统的多个模式可在成像系统的任何图像产生参数方面不同。

计算机子系统124可经耦合到检测器134，如上文所描述。检测器可检测从样本的表面回射的电子，借此形成样本的电子束图像。电子束图像可包含任何合适电子束图像。计算机子系统124可经配置以使用由检测器134产生的输出来对样本执行本文进一步所描述的一或多个功能。计算机子系统124可经配置以执行本文所描述的任何额外步骤。可如本文所描述那样进一步配置包含图1a中所展示的成像系统的系统。

应注意，本文中提供图1a来大体上说明可包含于本文所描述的实施例中的基于电子束的成像系统的配置。如同上文所描述的基于光学的成像系统，本文所描述的基于电子束的成像系统布置可经变更以如设计商用成像系统时正常所执行那样优化成像系统的性能。另外，可使用既有系统(例如，通过将本文所描述的功能性新增到既有系统)(例如购自科磊公司的esxxx及edr-xxxx系列工具)来实施本文所描述的系统。对于一些此类系统，可提供本文所描述的实施例作为系统的任选功能性(例如，除系统的其它功能性之外)。替代地，本文所描述的系统可经“从头开始”设计以提供全新系统。

尽管成像系统在上文中描述为基于光学或基于电子束的成像系统，但成像系统可为基于离子束的成像系统。除可使用所属领域中已知的任何合适离子束源来替换电子束源之外，可如图1a中所展示那样配置此成像系统。另外，成像系统可为任何其它合适基于离子束的成像系统，例如包含于市售聚焦离子束(fib)系统、氦离子显微镜(him)系统及二次离子质谱分析(sims)系统。

如上文所提及，成像系统经配置以用于使能量(例如光或电子)扫描样本的物理版本，借此产生样本的物理版本的实际图像。以此方式，成像系统可经配置为“实际”系统，而非“虚拟”系统。举例来说，图1中所展示的存储媒体(未展示)及计算机子系统102可经配置为“虚拟”系统。特定来说，存储媒体及计算机子系统不是成像系统10的部分且不具有处置样本的物理版本的任何能力。换句话说，在经配置为虚拟系统的系统中，其一或多个“检测器”的输出可为先前由实际系统的一或多个检测器产生且存储于虚拟系统中的输出，且在“扫描”期间，虚拟系统可宛如样本被扫描那样重放存储输出。以此方式，使用虚拟系统扫描样本可似乎与使用实际系统扫描物理样本相同，但事实上，“扫描”仅涉及以与可扫描样本相同的方式重放样本的输出。以下各者中描述经配置为“虚拟”检验系统的系统及方法：共同让与的巴斯卡尔(bhaskar)等人于2012年2月28日发布的第8,126,255号美国专利及达菲(duffy)等人于2015年12月29日发布的第9,222,895号美国专利，所述两个专利以宛如全文阐述引用的方式并入本文中。可如这些专利中所描述那样进一步配置本文所描述的实施例。举例来说，可如这些专利中所描述那样进一步配置本文所描述的一或多个计算机子系统。另外，可如上文所引用的达菲专利中所描述那样执行将一或多个虚拟系统布置为中央运算及存储(ccs)系统。本文所描述的持久存储机制可具有分布式运算及存储(例如ccs架构)，但本文所描述的实施例不受限于所述架构。

如上文进一步所提及，成像系统可经配置以使用多个模式来产生样本的图像。一般来说，“模式”可由用于产生样本的图像的成像系统的参数值或用于产生样本的图像的输出界定。因此，不同模式可在成像系统的成像参数中的至少一者的值方面不同。举例来说，在基于光学的成像系统的实施例中，多个模式中的至少一者使用不同于用于多个模式中的至少另一者的照明光的至少一个波长的照明光的至少一个波长。模式可因不同模式而具有不同照明波长，如本文进一步所描述(例如，通过使用不同光源、不同光谱滤波器等等)。在另一实施例中，多个模式中的至少一者使用不同于用于多个模式中的至少另一者的成像系统的照明通道的成像系统的照明通道。举例来说，如上文所提及，成像系统可包含一个以上照明通道。因而，不同照明通道可用于不同模式。

在一个实施例中，成像系统是检验系统。举例来说，本文所描述的光学及电子束成像系统可经配置为检验系统。以此方式，在一些实施例中，由检验系统产生输入到两个或两个以上编码器层的图像。在另一实施例中，成像系统是缺陷复检系统。举例来说，本文所描述的光学及电子束成像系统可经配置为缺陷复检系统。在另一实施例中，成像系统是度量系统。举例来说，本文所描述的光学及电子束成像系统可经配置为度量系统。以此方式，在一些实施例中，由度量系统产生输入到两个或两个以上编码器层的图像。特定来说，本文所描述及1及1a中所展示的成像系统的实施例可取决于将使用其应用来修改一或多个参数以提供不同成像能力。在此类实例中，如果图1中所展示的成像系统用于缺陷复检或度量而非检验，那么其可经配置以具有较高分辨率。换句话说，图1及1a中所展示的成像系统的实施例描述用于成像系统的一些一般及各种配置，其可以所属领域的技术人员显而易见的若干方式调适以产生具有几乎适合于不同应用的不同成像能力的成像系统。

一或多个计算机子系统可经配置以用于获取由本文所描述的成像子系统产生的样本的图像。可使用本文所描述的成像系统中的一者来执行获取图像(例如，通过将光或电子束导引到样本且检验来自样本的光或电子束)。以此方式，可使用物理样本本身及某种成像硬件来执行获取图像。然而，获取图像未必包含：使用成像硬件来使样本成像。举例来说，另一系统及/或方法可产生图像且可将所产生的图像存储于本文所描述的一或多个存储媒体(例如虚拟检验系统)或本文所描述的另一存储媒体中。因此，获取图像可包含：从其中已存储图像的存储媒体获取图像。

由计算机子系统(例如计算机子系统36及/或计算机子系统102)执行的图1中所展示的组件(例如组件100)包含神经网络104。神经网络包含经配置以用于确定样本的图像的特征的两个或两个以上编码器层。术语“编码器”一般是指将输入数据的信息内容“编码”成更紧密表示的神经网络或神经网络的部分。编码过程会有效失真或无失真。另外，编码过程可或不可人工解译。编码表示可为标量值或分布的向量。

神经网络还包含经配置以用于从确定特征产生一或多个经模拟图像的两个或两个以上解码器层。术语“解码器”是指将编码紧密表示“解码”成可能原始输入及/或输入的联合表示的神经网络或神经网络的部分。本文所描述的实施例大体上适用于可如本文进一步所描述那样配置的编码器-解码器型神经网络，尤其是深度生成模型。

在一个实施例中，神经网络是深度学习模型。一般来说，“深度学习”(还称为深度结构化学习、分层学习或深度机器学习)是基于一组算法的机器学习的分支，所述组算法试图模型化数据的高阶抽象化。简言之，可存在两组神经元：一组神经元接收输入信号且一组神经元发送输出信号。当输入层接收输入时，其将所述输入的经修改版本传到下一层。在深度网络中，输入与输出之间存在许多层(且所述层并非由神经元制成，但那样思考是有帮助的)以允许算法使用由多个线性及非线性变换组成的多个处理层。

深度学习是基于数据的学习表示的机器学习方法的较广泛系列的部分。可以许多方式(例如每像素的强度值的向量)或以更抽象方式(如一组边缘、特定形状的区域等等)表示观察(例如图像)。一些表示在简化学习任务方面比其它表示更好(例如人脸辨识或面部表情辨识)。深度学习的承诺是使用用于无监督或半监督特征学习及层级特征提取的高效算法来替换手工特征。

此领域的研究试图制作优选表示且产生从大型未标记数据学习这些表示的模型。一些表示受神经科学的发展启发且大致是基于神经系统中的信息处理及通信模式的解译(例如神经编码)，其试图界定大脑中的各种刺激与相关联神经元响应之间的关系。

各种深度学习架构(例如深度神经网络、卷积深度神经网络、深度信念网络及递归神经网络)已应用于如计算机视觉、自动语音识别、自然语言处理、音频辨识及生物信息学的领域，现已证明，其在各种任务上产生最先进结果。

在另一实施例中，神经网络是机器学习模型。机器学习可大体上界定为一种人工智能(ai)，其使计算机具有在未被明确编程的情况下学习的能力。机器学习聚焦于计算机过程的发展，其可在暴露于新数据时自学成长及改变。换句话说，机器学习可经界定为“给予计算机在未被明确编程的情况下学习的能力”的计算机科学的子领域。机器学习探索探究可从数据学习且基于数据作出预测的算法的研究及构造，此类算法通过通过从取样输入建立模型来作出数据驱动预测或决策而克服严格依照静态程序指令。

可如以下中所描述那样进一步执行本文所描述的机器学习：杉山(sugiyama)、摩根·考夫曼(morgankaufmann)的“《统计机器学习概述》(introductiontostatisticalmachinelearning)”，2016年，第534页；杰巴拉(jebara)的“《判别性、生成性及模仿性学习》(discriminative,generative,andimitativelearning)”，麻省理工学院论文(mitthesis)，2002年，第212页；及汉德(hand)等人的“《数据挖掘原理(自适应计算及机器学习)》(principlesofdatamining(adaptivecomputationandmachinelearning))”，麻省理工学院出版社(mitpress)，2001年，第578页；其以宛如全文阐述引用的方式并入本文中。可如这些引用文献中所描述那样进一步配置本文所描述的实施例。

在一些实施例中，神经网络是生成模型。“生成”模型可大体上界定为具概率性的模型。换句话说，“生成”模型并非为执行正向模拟或基于规则的方法的模型，因而，未必需要涉及产生实际图像(针对其产生经模拟图像)的过程的物理学的模型。相反地，如本文进一步所描述，可基于一组合适训练数据来学习生成模型(因为其参数可被学习)。

在一个实施例中，神经网络经配置为深度生成模型。举例来说，模型可经配置以具有深度学习架构，这是因为模型可包含执行若干算法或变换的多个层。模型的一侧或两侧上的层数可不同于本文所描述的图式中所展示的层数。举例来说，生成模型的编码器侧上的层数取决于使用情况。另外，解码器侧上的层数取决于使用情况且可取决于编码器侧上的层数。一般来说，生成模型的一侧或两侧上的层数不是很多且取决于使用情况。出于实际目的，两侧上的合适层范围是从2个层到数十个层。

在另一实施例中，神经网络可为具有一组权重的深度神经网络，所述组权重根据已被馈送以训练其数据来模型化世界。神经网络可大体上界定为基于相对较大类神经单元集合的运算方法，其大致模型化生物大脑使用由轴突连接的相对较大生物神经元集群来解决问题的方式。每一类神经单元与许多其它类神经单元连接，且链路可对经连接的类神经单元的激活状态产生强迫或抑制效应。这些系统经自我学习及训练而非被明确编程，且在解决方案或特征检测难以用传统计算机过程表达的领域中表现突出。

神经网络通常由多个层组成，且信号路径前后横越。神经网络的目标是以与人类大脑相同的方式解决问题，但一些神经网络更抽象得多。现代神经网络计划通常操作数千个到数百万个类神经单元及数百万个连接。神经网络可具有所属领域中已知的任何合适架构及/或配置。

在另一实施例中，神经网络是卷积神经网络(cnn)。举例来说，本文所描述的实施例可利用深度学习概念(例如cnn)来解决通常难处理的表示转换问题(例如再现)。模型可具有所属领域中已知的任何cnn配置或架构。在实施例中，神经网络经配置为全卷积模型。在额外实施例中，神经网络可经配置为深度生成模型、cnn、生成对抗网(gan)、条件生成对抗网(cgan)、gan及变分自动编码器(vae)及含有cnn作为部分的网络(即，神经网络的部分经配置为cnn)，其所有可如本文所描述那样配置，使得神经网络可具有任意大小输入。

可如以下中所描述那样配置包含于本文所描述的实施例中的gan：古德费洛(goodfellow)等人的“《生成性对抗网》(generativeadversarialnets)”(arxiv:1406.2661，2014年6月10日，第9页)，其以宛如全文阐述引用的方式并入本文中。古德费洛等人描述用于经由对抗过程来估计生成模型的新构架，其中同时训练两个模型：生成模型g捕获数据分布且判别模型d估计取样来自训练资料而非g的概率。针对g的训练过程最大化d犯错误的概率。此构架对应于二元极大极小博弈。在任意函数g及d的空间中，存在唯一解，其中g恢复训练数据分布且d处处等于1/2。在g及d由多层感知器界定的情况中，可使用反向传播算法来训练整个系统。在取样的训练或产生期间，无需任何马可夫(markov)链或展开近似推理网络。实验通过对所产生取样的定性定量评估来证明构架的可能性。可如古德费洛等人所描述那样进一步配置本文所描述的实施例的神经网络。

可如以下中所描述那样配置包含于本文所描述的实施例中的cgan：米尔扎(mirza)等人的“《条件生成对抗网》(conditionalgenerativeadversarialnets)”(arxiv:1411.1784，2014年11月6日，第7页)，其以宛如全文阐述引用的方式并入本文中。如果生成器及判别器两者以一些额外信息y为条件，那么可将生成对抗网扩展到条件模型。y可为任何种类的辅助信息，例如类别标记或来自其它模态的数据。可通过将y作为额外输入层馈送到判别器及生成器两者中来执行条件作用。在生成器中，先前输入噪声pz(z)及y经组合成联合隐藏表示且对抗训练构架允许以相当灵活方式构成此隐藏表示。在判别器中，x及y经呈现为到判别函数的输入(在一些情况中，由多层感知器(mlp)体现)。接着，二元极大极小博弈的目标函数将为：

可如米尔扎等人的上文所并入的引用文献中所描述那样进一步配置包含于本文所描述的实施例中的神经网络。

变分自动编码器是具有深度学习及变分推理的优点且导致生成模型化的重大进展的组件。另外或替代地，可如以下中所描述那样配置与gan或深度生成对抗网络(dgan)组合的变分自动编码器(vae)：曼札纳(makhzani)等人的“《对抗自动编码器》(adversarialautoencoders)”(arxiv:1511.05644v2，2016年5月25日，第16页)，其以宛如全文阐述引用的方式并入本文中。可如此引用文献中所描述那样进一步配置本文所描述的实施例。

神经网络不包含全连接层，借此消除对输入到两个或两个以上编码器层的图像大小的约束。举例来说，不是如同当前使用方法及系统那样使用全连接层，本文所描述的神经网络消除可由本文进一步所描述的一或多个卷积层替换的全连接层。通过使用卷积层来替换全连接层，神经网络变得与输入图像大小无关，此意味着：神经网络不像当前所使用的神经网络一样对输入图像大小具有上限。

可在以下条件下完成使用卷积层来替换全连接层。假定全连接层采用2维(n,d)输入数据，其中n是批量大小且d是输入通道的数目。通常，在全连接层之前执行重塑层以将4维输入(n,c,h,w)变换成满足d＝c*h*w的2维输入(n,d)，其中c是通道数目，h是高度，且w是宽度。假定全连接层具有o个输出通道，即，来自全连接层的输出数据维度将为(n,o)，可使用具有填充有(c,o,h,w)的核心大小的valid的卷积层来替换重塑层及全连接层，且所得网络可对任意大小输入执行准确运算。

在一个实施例中，一或多个计算机子系统、一或多个组件及神经网络不裁剪输入到两个或两个以上编码器层的图像。在另一实施例中，一或多个计算机子系统、一或多个组件及神经网络不从两个或两个以上经裁剪图像重建一或多个经模拟图像。因此，本文所描述的实施例在许多不同方式上不同于当前使用方法。

举例来说，如图2中所展示，当前使用方法200可采用具有1024个像素×1024个像素的大小的输入图像202。方法可包含从输入图像202产生块图像组206的裁剪204，其中块图像中的每一者具有显著小于输入图像且是可由方法处理的最大大小的大小。举例来说，裁剪204可产生923,521个块图像的组206，所述块图像各自具有64个像素×64个像素的大小。可将所述块图像输入到包含编码器208及解码器210的神经网络，解码器210可产生等效于到编码器的输入的一组结果。举例来说，如果将上文所描述的块图像组输入到编码器208，那么解码器210将产生包含923,521个块图像的块图像组212，所述块图像各自具有64个像素×64个像素的大小。接着，方法可包含重建步骤214，其使用块图像组来产生最终图像结果216，最终图像结果216具有相同于输入图像的大小(即，1024个像素×1024个像素)。

相比来说，本文所描述的实施例不对输入图像执行任何裁剪及/或不通过对大于输入图像的图像所执行的任何裁剪来产生输入图像。换句话说，一旦输入图像被输入到本文所描述的方法及系统，那么其不被裁剪。另外，本文所描述的实施例中所使用的输入图像不是从较大图像裁剪出。本文所描述的实施例也不对来自由本文所描述的实施例的元件中的任何者产生的任何较小图像的最终图像执行任何重建。举例来说，如图2中所展示，一个实施例218可采用输入图像220作为到神经网络的输入，所述神经网络包含编码器222及解码器224。编码器222可包含可根据本文所描述的实施例中的任何者所配置的两个或两个以上编码器层。另外，解码器224可包含可根据本文所描述的实施例中的任何者所配置的两个或两个以上解码器层。

在一个实施例中，如本文进一步所描述，神经网络可经配置为全卷积神经网络，其是指其中每一层类型未假定特定输入大小且整个网络可针对训练及推理两者基于任意大小输入来操作的配置。另外，可如本文进一步所描述那样配置神经网络以执行边界阻尼。解码器可经配置以产生具有与输入图像相同的图像大小的经模拟图像226。举例来说，如果输入图像大小是1024个像素×1024个像素，那么输出图像大小是1024个像素×1024个像素。因此，如通过比较当前使用方法200与实施例218所展示，本文所描述的实施例可不经配置以执行任何裁剪及重建步骤。

在一个实施例中，一或多个计算机子系统经配置以用于通过使用卷积层群组替换预先存在神经网络中的全连接层来设立神经网络，借此产生神经网络。举例来说，本文所描述的实施例可依照以下中所描述的一般思想来由卷积层替换神经网络的全连接层以使整个神经网络无关于输入大小：朗(long)等人的“《用于语义分割的完全卷积网络》(fullyconvolutionalnetworksforsemanticsegmentation)”(cvpr2015，第3431页到第3440页，2015年)，其以宛如全文阐述引用的方式并入本文中。可如此引用文献中所描述那样进一步配置本文所描述的实施例。

图3a及3b说明可如何将具有固定输入大小(即，64个像素×64个像素)的当前所使用的编码器-解码器网络转换成实现任意输入大小的全卷积网络。特定来说，图3a展示具有64个像素×64个像素的固定输入大小的当前所使用的神经网络，且图3b展示使用本文所描述的方法来实现任意输入大小的神经网络的一个实施例。在图3a及3b中，在若干阶段中展示输入尺寸及输出尺寸，且在每一此类例子中，尺寸具有(c,h,w)的格式，其中c是通道数目，h是输入或输出的高度，且w是输入或输出的宽度。

如图3a中所展示，可将输入图像300输入到当前使用网络的编码器部分302。输入图像的输入尺寸300d是(1,64,64)。编码器部分302包含两个卷积层及池化层组304及306、重塑层310及全连接层312。将输入图像输入到卷积层及池化层组304，卷积层及池化层组304产生输入到卷积层及池化层组306的输出304o(c1,32,32)。将组306的输出306o(c2,16,16)输入到重塑层310，重塑层310产生输入到全连接层312的输出310o，全连接层312产生输入到当前使用网络的解码器部分的表示314(512)。

当前使用网络的解码器部分316包含全连接层318、重塑层320及卷积层及上池化(uppooling)层组322及324。将表示314输入到全连接层318，全连接层318产生输出318o(c3,16,16)。将输出318o输入到重塑层320，重塑层320产生输出320o，将输出320o输入到卷积层及上池化层组322，卷积层及上池化层组322产生输出322o(c4,32,32)。将输出322o输入到卷积层及上池化层组324，卷积层及上池化层组324产生输出326，输出326具有输出尺寸326d(1,64,64)且是神经网络的输出。

相比来说，如图3b中所展示，将输入图像328输入到根据本文所描述的实施例所配置的神经网络的编码器部分330。输入图像328具有(1,1024,1024)的输入尺寸328d。编码器部分330包含两个卷积层及池化层组332及334及卷积层组336。将输入图像328输入到卷积层及池化层组332，卷积层及池化层组332产生输出332o(c1,512,512)，将输出332o输入到卷积层及池化层组334，卷积层及池化层组334产生输出334o(c2,256,256)。将输出334o输入到卷积层组336，卷积层组336产生表示338(512,241,241)。

将表示338输入到神经网络实施例的解码器部分340。解码器部分340包含卷积层组342及卷积层及上池化层组334及346。将表示338输入到卷积层组342，卷积层组342产生输出342o(c3,256,256)。将输出342o输入到卷积层及上池化层组344，卷积层及上池化层组344产生输出344o(c4,512,512)。将输出344o输入到卷积层及上池化层组346，卷积层及上池化层组346产生输出348，输出348具有输出尺寸348d(1,1024,1024)且是神经网络的输出。

与朗等人在上文所并入的引用文献中所描述的方法及系统不同，使用卷积层替换全连接层(如本文所描述)不受全连接层及卷积层的一对一映射的约束。在本文所描述的实施例的背景中，“一对一映射”将涉及：使用一个卷积层替换一个全连接层(或一个全连接+一个重塑层)。然而，此配置会导致所得卷积层的大体上较大核心大小。举例来说，(依照与上文相同的记法)，如果输入到重塑层的尺寸是(n,64,32,32)，那么重塑层的输出(即，到全连接层的输入)是(n,64*32*32)，假定全连接层的输出是(n,256)，重塑层及全连接层可由具有核心大小(64,256,32,32)的卷积层替换。

由于核心(64,256,32,32)中的h及w(即，32)大体上大于实际选择(例如3或5或7或小于10)，所以学习过程会是低效率的。因此，可由具有相对较小核心的卷积层群组近似表示具有相对较大核心的卷积层。举例来说，在上文所提供的实例中，可由(64,m,32,1)及(m,256,1,32)替换(64,256,32,32)，其中m是自由超参数。

可需要此群组替换来使得应用卷积层群组的输出尺寸相同于应用具有核心(c,o,h,w)的原始卷积层的输出尺寸。卷积层群组的共同选择可为(c,o,h,w)＝＝>(c,m,h,k)+(m,o,k,w)或(c,m,k,h)+(m,o,w,k)，其中k及m是超参数且k通常大体上较小(例如1、2、3、...)且比h或w小得多。

当全连接层的窗口大小足够大以考虑半导体过程条件(例如光刻工具及/或光学检验工具的点散布函数或蚀刻过程中的化学及物理反应等等)时，可使用卷积层群组(其各自具有较小滤波器窗口大小(h×w))来替换全连接层(如本文所描述)，且整个群组的有效窗口大小等于或大于全连接层的大小。此方法消除输入大小约束且还减少参数的总数(针对训练及运行时间两者)。以此方式，本文所描述的实施例可使用卷积层群组来减小模型大小，同时满足归因于半导体过程的窗口大小。

在一些实施例中，输入到两个或两个以上编码器层的图像是针对样本所产生的整个帧图像。术语“帧”图像在本文中大体上界定为样本(例如晶片或光罩)的扫描期间所获取的数据或图像的扫描带中的裸片的部分的数据或图像。“帧”或“工作”还可大体上界定为由成像子系统产生的所有输出(其可由系统集体处理为单元)的相对较小部分。因此，输出的“帧”可取决于成像子系统布置及包含于系统中以用于处置及/或处理由成像子系统产生的输出的任何组件的配置来变化。然而，图像帧大体上将大体上大于块图像及通常可输入到当前所使用的神经网络以用于模拟图像的最大图像大小。举例来说，用于本文所描述的实施例的图像帧可为1024个像素×1024个像素或512个像素×512个像素，而块图像可具有64个像素×64个像素或32个像素×32个像素的典型大小。

在另一实施例中，输入到两个或两个以上编码器层的图像是样本的整个裸片图像。举例来说，整个裸片图像可包含所有图像数据或由成像系统针对样本上的裸片所产生的输出。以此方式，与当前所使用的神经网络不同，本文所描述的实施例实际上实现整个帧或整个裸片再现。特定来说，本文所描述的实施例使用神经网络的卷积层来替换全连接层，借此实现任意图像大小。以此方式，本文所描述的实施例能够针对神经网络使用情况来估计整个帧及裸片运行时间。

因此，本文所描述的实施例具有优于用于产生模拟图像的其它方法及系统的若干优点。举例来说，本文所描述的实施例实现针对训练及运行时间的任意输入大小。另外，本文所描述的实施例使运行时间运算相较于当前使用方法及系统而大幅减少100倍到1000倍。因此，本文所描述的实施例相较于当前使用方法及系统而减少运行时间硬件成本。另外，实施例实现整个帧及裸片估计。此外，本文所描述的实施例有利地减小模型大小(即，模型参数的数目)，同时保持相同操作窗口大小。以此方式，本文所描述的实施例减少训练过程的通信超载。此外，无替代方法具有等效于本文所描述的实施例的性能。

本文所描述的实施例可或可不经配置以用于训练神经网络。举例来说，另一方法及/或系统可经配置以产生经训练神经网络，所述经训练神经网络接着可由本文所描述的实施例存取及使用。

在一个实施例中，一或多个计算机子系统经配置以用于使用视域(fovy)-衰变加权损失函数来训练神经网络以变更边界效应。举例来说，取决于编码器及解码器中的编码器及解码器拓扑及卷积类型(例如有效(valid)、完全(full)、相同(same))，输出的边界部分可经历不同于输出的中心部分的数学运算，这归因于卷积层的边界效应，尤其当神经网络相对较深且训练图像相对较小时。特定来说，卷积层具有三种填充类型：valid、same及full。如果输入图像大小是(h,w)且卷积滤波器大小是(h,w)，那么来自(a)valid的输出大小是(h-h+1,w-w+1)，来自(b)same的输出大小是(h,w)，且来自(c)full的输出大小是(h+h-1,w+w-1)。如果在输入图像的边界部分处使用same或full填充，那么卷积滤波器将被放置于图像外，此等效于将输入图像外的像素视为零值。此意味着：图像的边界处的卷积结果通常不具代表性，且假影结果可展示于边界处。

为消除边界区域作用，可在训练过程期间使用视域-衰变加权损失函数，其中“视域”通常用于(如同例如opengl的图形应用)是指y方向上的视域。举例来说，当使用same或full填充来训练全卷积网络时，训练将考虑边界像素处的结果，且此将来自假影的大量噪声引进到学习过程。为解决此问题，可引进视域-衰变加权损失函数，例如3×3视域：

0.5,0.6,0.5，

0.6,1.0,0.6，

0.5,0.6,0.5，

其中中心区域具有较接近或等于1.0的权重且边界区域附近的值小于1.0。视域-衰变加权损失的动机是使学习过程聚焦于相对中心区域像素。

取决于编码器及解码器拓扑及相关应用，衰变的形状可为圆形、正方形或矩形。另外，产生视域-衰变权重的共同方式可为：(1)将固定相对较小值赋予恒定边界且将1.0赋予左中心区域；(2)具有经适当选择的平均值及标准偏差的2d高斯(gaussian)核心；及(3)具有经适当选择的平均值及标准偏差的两个1d高斯核心。一些应用可省略此步骤。以此方式，本文所描述的实施例可使用视域-衰变加权损失函数来消除训练中的非所要边界效应(或边界噪声)。

一般来说，训练神经网络可包含：获取数据(例如输入图像及经模拟图像两者，其可包含本文中所描述的输入图像及经模拟图像中的任何者)。在一个实施例中，一或多个计算机子系统经配置以用于使用各自具有相同任意大小的一批训练图像来训练神经网络。在额外实施例中，一或多个计算机子系统经配置以用于使用一批训练图像来训练神经网络，且所述批训练图像中的两个或两个以上训练图像具有不同任意大小。以此方式，所述批任意大小图像可包含多个大小图像或每一批可包含全部具有相同任意大小的图像。实际上，为了运算及实施效率，每一批可包含全部具有相同任意大小的图像。

用于训练神经网络的图像可或可不具有相同于输入图像的大小。举例来说，归因于网络拓扑，输入图像可具有最小大小要求，且只要其可符合硬件存储限制，可不具有最小大小限制。最小大小可由取决于网络拓扑且通常经选择以反映光学设置。实际上，块图像通常大于最小大小要求。实际上，我们可：(1)训练块图像且预测块或帧图像；或(2)训练帧图像且预测块或帧图像。

在一些此类实施例中，考虑一组随意大小训练图像(其中的每一者可不小于设计最小大小，即，在图3a所展示的实例中为64个像素×64个像素)，在训练步骤中选择一批随机图像。可在无子步骤的一个步骤中执行训练。另外，无需额外步骤来准备训练资料。理论上，任意大小图像批可用于训练。然而，为利用硬件低水平指令，可从选定图像随机取样一批固定大小块。这些取样块图像可用于训练步骤。在训练步骤中，块大小可有所不同，但在通常情况中，其是预定的。接着，在运行时，考虑一组任意大小运行时间图像，可将所述任意大小运行时间图像中的每一者馈送到网络以在无任何裁剪或重建步骤的情况下产生预测(即，经模拟图像)。

可如以下中所描述那样进一步执行训练模型：张(zhang)等人于2016年6月7日提交的第15/176,139号美国专利申请案及巴斯卡尔等人于2016年12月29日提交的第15/394,790号美国专利申请案，其以宛如全文阐述引用的方式并入本文中。可如这些专利申请案中所描述那样进一步配置本文所描述的实施例。

由编码器层确定的特征可包含所属领域中已知的任何合适特征，其可从输入推断且可用于产生本文进一步所描述的输出。举例来说，特征可包含每像素的强度值向量。特征还可包含本文所描述的任何其它类型的特征，例如标量值向量、独立分布向量、联合分布或所属领域中已知的任何其它合适特征类型。

上文所描述的神经网络的每一层可具有一或多个参数(例如权重w及偏向b)，其值可通过训练神经网络(其可如本文进一步所描述那样执行)来确定。举例来说，可在训练期间通过最小化成本函数来确定包含于神经网络中的任何层的权重及偏向。成本函数可取决于对图像执行的变换而变化。

可针对特定样本(例如特定晶片或光罩)、工艺及成像参数来产生本文所描述的神经网络。换句话说，本文所描述的神经网络可为样本特定的、工艺特定的及成像参数特定的。举例来说，在一个实施例中，每一神经网络可经训练以专用于特定设计及晶片层。接着，经训练神经网络将仅用于执行针对所述层的预测。以此方式，可针对不同晶片层来产生不同神经网络。然而，在另一实施例中，可使用来自不同设计及晶片类型层的数据来训练单神经网络。所得神经网络可用于执行一般针对包含于训练数据中的所有类型的样本的预测。另外，可针对用于产生输入图像的不同成像参数组(例如不同成像模式)及可针对被执行变换的经模拟图像的不同成像参数组(例如不同成像模式)(例如，就产生对应于不同成像模式的多个经模拟图像来说)来产生不同神经网络。一般来说，只要选定成像模式可跨工具重复，那么神经网络可与工具无关。可使用不同训练数据集来产生不同神经网络中的每一者。可以任何合适方式产生不同训练数据集中的每一者。

本文所描述的实施例可经配置以用于执行若干不同类型的变换(即，将输入图像变换成一或多个经模拟图像)。举例来说，在一些实施例中，神经网络可经配置以从低分辨率输入图像产生一或多个高分辨率图像。如本文所使用，样本的“低分辨率图像”术语大体上界定为其中形成于所述样本的图像产生区域中的所有图案化特征在图像中无法被分辨的图像。举例来说，如果其中产生低分辨率图像的样本区域中的一些图案化特征的大小足够大以使其可分辨，那么可在低分辨率图像中分辨所述图案化特征。然而，并非以使图像中的所有图案化特征可分辨的分辨率产生低分辨率图像。以此方式，本文所使用的术语“低分辨率图像”不含足以使低分辨率图像用于例如缺陷复检(其可包含缺陷分类及/或验证)及度量的应用的关于样本上的图案化特征的信息。另外，本文所使用的术语“低分辨率图像”大体上是指由检验系统产生的图像，其通常具有相对较低分辨率(例如，低于缺陷复检及/或度量系统)以具有相对较快处理量。

“低分辨率图像”还可为“低分辨率”，这是因为其具有低于本文所描述的“高分辨率图像”的分辨率。本文所使用的术语“高分辨率图像”可大体上界定为其中以相对较高精确度分辨样本的所有图案化特征的图像。以此方式，在高分辨率图像中分辨样本的高分辨率图像产生区域中的所有图案化特征，不论其大小如何。因而，本文所使用的术语“高分辨率图像”包含足以使高分辨率图像用于例如缺陷复检(其可包含缺陷分类及/或验证)及度量的应用的关于样本的图案化特征的信息。另外，本文所使用的术语“高分辨率图像”大体上是指在例行操作期间检验系统无法产生的图像，其经配置以为了提高处理量而牺牲分辨率能力。

低分辨率图像还可包含(例如)样本的光学图像，且高分辨率图像可包含电子束图像(例如扫描式电子显微镜(sem)图像)或样本的设计数据。另外，如本文进一步所描述，可使用如本文所描述那样配置的神经网络来产生样本的高分辨率图像。因此，如本文进一步所描述，实施例可经配置以用于使用深度学习技术来执行光学到sem及/或设计数据变换。

本文所描述的实施例可经配置以使用一或多个经模拟图像(可与输入图像组合)来执行若干不同功能。举例来说，一或多个计算机子系统可经配置以用于：(a)光学、电子束及掩模工具上的ic结构的表示学习；(b)缺陷检测及分类；及(c)整个帧或裸片检验。可如本文进一步所描述那样执行这些功能中的每一者。

在一个实施例中，一或多个计算机子系统经配置以用于分类输入到两个或两个以上编码器层的图像或一或多个经模拟图像中所检测的缺陷，且基于一或多个经模拟图像来执行分类。举例来说，输入到神经网络的图像可为样本的光学图像，且由神经网络产生的一或多个经模拟图像可包含样本的较高分辨率图像，例如可由电子束成像子系统产生的图像及/或样本的设计数据或设计信息的图像。

光学图像到sem及/或设计变换的一个益处在于：光学检验仍为半导体制造工艺的高容量生产良率的关键。归因于分辨率欠佳，由光学检验器检测的缺陷需要sem复检来进行缺陷分类。自动将光学变换成sem及/或设计的方法可潜在地减少对良率管理的sem复检要求，借此减少总检验循环时间。举例来说，本文所描述的实施例可无需在样本检验之后获取缺陷复检系统上的sem图像，这是因为本文所描述的经模拟图像可：1)在无样本且无成像硬件的情况下被获取；2)用于例如缺陷分类的缺陷复检应用。

可在本文所描述的输入图像及/或一或多个经模拟图像中检测由神经网络分类的缺陷。另外，可以所属领域中已知的任何合适方式执行基于一或多个经模拟图像来分类缺陷。举例来说，一或多个经模拟图像可用作到所属领域中已知的任何合适缺陷分类方法及/或算法的输入。换句话说，一或多个经模拟图像可用作用于缺陷分类的任何其它图像。由本文所描述的实施例执行的缺陷分类的结果可具有任何合适格式(例如缺陷分类码等等)。

在另一实施例中，一或多个计算机子系统经配置以用于基于一或多个经模拟图像来检测样本上的缺陷。计算机子系统可经配置以使用一或多个经模拟图像来以任何合适方式检测样本上的缺陷。举例来说，计算机子系统可经配置以将一或多个缺陷检测算法及/或方法(其可包含所属领域中已知的任何合适缺陷检测算法及/或方法)应用于一或多个经模拟图像。在一个此类实例中，计算机子系统可经配置以比较一或多个经模拟图像与样本的参考且接着将阈值应用于比较结果。具有高于阈值的比较结果的经模拟图像中的像素可被识别为缺陷，而具有低于阈值的比较结果的经模拟图像中的像素可不被识别为缺陷。

在另一实施例中，计算机子系统可经配置以用于单个图像检测，如卡尔桑迪(karsenti)等人于2016年11月16日提交的第15/353,210号美国专利申请案中所描述，所述专利申请案以宛如全文阐述引用的方式并入本文中。在此类实施例中，如此专利申请案中所描述，由神经网络针对输入图像所确定的特征可用于检测输入图像中的缺陷。举例来说，计算机子系统可经配置以用于基于以下各者来选择输入图像中的像素或像素块的标记：(1)确定特征；及(2)输入特征映像容量的像素或像素块到标记的映像。计算机子系统可经进一步配置以用于基于像素或块的选定标记来检测样本上的缺陷。

另外，计算机子系统可经配置以使用输入到神经网络的图像及由神经网络产生的一或多个经模拟图像两者来检测样本上的缺陷。举例来说，如果输入图像是低分辨率图像且一或多个经模拟图像包含高分辨率图像，那么可在高分辨率图像中识别低分辨率图像中所检测的缺陷的位置以确定缺陷的设计背景，所述设计背景接着可用于确定缺陷是否为无谓缺陷或实际缺陷。另外，低分辨率图像中所检测的缺陷的位置可用于识别高分辨率图像中的缺陷的位置以确定高分辨率图像中是否存在(可检测到)缺陷。如果可在高分辨率图像中检测到缺陷，那么将其标定为实际缺陷。如果无法在高分辨率图像中检测到缺陷，那么将其标定为无谓缺陷。

在额外实施例中，一或多个计算机子系统经配置以用于基于一或多个经模拟图像来测量样本的一或多个特征或样本上所检测的缺陷。举例来说，神经网络可经配置使得由神经网络产生的一或多个经模拟图像是从输入图像(其是低分辨率图像)产生的高分辨率图像。因此，高分辨率图像可含有比输入图像多的关于形成于样本上的特征(例如图案化特征(例如线、空间、接点等等)及样本上的缺陷)的细节。接着，计算机子系统可使用所述高分辨率图像来测量或确定样本上的特征的一或多个特性。

可以任何合适方式确定特征的一或多个特性。另外，由计算机子系统确定或测量的特征的一或多个特性可包含任何合适特性，例如尺寸(例如线宽、接点直径等等)、形状、相对位置等等。可由计算机子系统对经模拟图像执行测量，如达菲等人于2016年4月28日公开的第2016/0116420号美国专利公开申请案、帕克(park)等人于2016年12月22日公开的第2016/0372303号美国专利公开申请案及古普塔(gupta)等人于2016年12月29日公开的第2016/0377425号美国专利公开申请案中所描述，所述申请案以宛如全文阐述引用的方式并入本文中。可如这些公开案中所描述那样进一步配置本文所描述的实施例。

在一些实施例中，一或多个计算机子系统经配置以用于通过确定特征值(其使一或多个经模拟图像大体上相同于输入到两个或两个以上编码器层的图像)来学习样本上的一或多个结构的表示。可由针对输入图像所确定的所有特征界定表示。可通过试图产生大体上等效于输入图像的一或多个经模拟图像来学习表示。举例来说，输入图像可被输入到两个或两个以上编码器层且神经网络可产生一或多个经模拟图像。可确定一或多个经模拟图像与输入图像之间的差异，且可使用关于所述差异的信息来变更神经网络的一或多个参数(例如本文进一步所描述的参数)。具有变更参数的神经网络可用于反复地重复过程，直到一或多个经模拟图像大体上匹配输入图像(即，已有效地最小化一或多个经模拟图像与输入图像之间的差异)。可如以下中所描述那样进一步执行此学习过程：张等人于2016年6月7日提交的第15/176,139号美国专利申请案，所述案以宛如全文阐述引用的方式并入本文中。可如此专利申请案中所描述那样进一步配置本文所描述的实施例。

本文所描述的实施例可经进一步配置以用于执行其它变换(从输入图像到经模拟图像)，例如以下中所描述的变换：共同拥有的张等人于2016年6月7日提交的第15/176,139号美国专利申请案、卡尔桑迪等人于2016年11月16日提交的第15/353,210号美国专利申请案、巴斯卡尔等人于2016年12月29日提交的第15/394,790号美国专利申请案、巴斯卡尔等人于2016年12月29日提交的第15/394,792号美国专利申请案、张等人于2017年1月2日提交的第15/396,800号美国专利申请案、巴斯卡尔等人于2017年1月9日提交的第15/402,094号美国专利申请案、巴斯卡尔等人于2017年1月9日提交的第15/402,169号美国专利申请案及帕克等人于2017年1月9日提交的第15/402,197号美国专利申请案，所述申请案以宛如全文阐述引用的方式并入本文中。可如这些专利申请案中所描述那样进一步配置本文所描述的实施例。另外，本文所描述的实施例可经配置以执行这些专利申请案中所描述的任何步骤。

经配置以从输入图像产生经模拟图像的系统的另一实施例包含经配置以用于产生样本的图像的成像子系统。所述成像子系统可具有本文所描述的任何配置。所述系统还包含：一或多个计算机子系统(例如图1中所展示的计算机子系统102)，其可如本文进一步所描述那样配置；及一或多个组件(例如组件100)，其由所述一或多个计算机子系统执行且可包含本文所描述的组件中的任何者。所述组件包含可如本文所描述那样配置的神经网络，例如神经网络104。举例来说，所述神经网络包含：两个或两个以上编码器层，其经配置以用于确定所述图像的特征；及两个或两个以上解码器层，其经配置以用于从所述确定特征产生一或多个经模拟图像。所述神经网络不包含全连接层，借此消除对输入到所述两个或两个以上编码器层的所述图像的大小的约束。可如本文进一步所描述那样进一步配置所述神经网络。可如本文所描述那样进一步配置此系统实施例。

上文所描述的各系统的各实施例可一起经组合成一个单个实施例。

另一实施例涉及一种用于从输入图像产生经模拟图像的计算机实施方法。所述方法包含：获取样本的图像。所述方法还包含：通过将所述图像输入到神经网络的两个或两个以上编码器层中来确定所述样本的所述图像的特征。另外，所述方法包含：从所述确定特征产生一或多个经模拟图像。由所述神经网络的两个或两个以上解码器层执行产生所述一或多个经模拟图像。由一或多个计算机系统执行所述获取、所述确定及所述产生。由所述一或多个计算机系统执行一或多个组件，且所述一或多个组件包含所述神经网络。

可如本文进一步所描述那样执行所述方法的每一步骤。所述方法还可包含可由本文所描述的系统、计算机子系统及/或成像系统或子系统执行的任何其它步骤。可根据本文所描述的实施例中的任何者来配置所述一或多个计算机系统、所述一或多个组件及所述神经网络，例如计算机子系统102、组件100及神经网络104。另外，可由本文所描述的系统实施例中的任何者执行上述方法。

额外实施例涉及一种非暂时性计算机可读媒体，其存储可在一或多个计算机系统上执行的程序指令，所述程序指令用于执行用于从输入图像产生经模拟图像的计算机实施方法。图4中展示一个此类实施例。特定来说，如图4中所展示，非暂时性计算机可读媒体400包含可在计算机系统404上执行的程序指令402。所述计算机实施方法可包含本文所描述的任何方法的任何步骤。

实施方法(例如本文所描述的方法)的程序指令402可存储于计算机可读媒体400上。计算机可读媒体可为存储媒体，例如磁盘或光盘、磁带或所属领域中已知的任何其它合适非暂时性计算机可读媒体。

可以各种方式(其尤其包含基于程序的技术、基于组件的技术及/或面向对象技术)中的任何者实施程序指令。举例来说，可根据期望使用activex控制、c++对象、javabeans、微软基础类别(“mfc”)、sse(流式simd扩展)或其它技术或方法来实施程序指令。

可根据本文所描述的实施例中的任何者来配置计算机系统404。

所属领域的技术人员将鉴于具体实施方式来了解本发明的各种方面的进一步修改及替代实施例。举例来说，提供用于从输入图像产生经模拟图像的方法及系统。据此，具体实施方式应被解释为仅具说明性且用于教示所属领域的技术人员实施本发明的一般方式。应了解，本文所展示及所描述的本发明的形式应被视为当前优选实施例。如所属领域的技术人员将在受益于本发明的具体实施方式之后全部明白，元件及材料可替代本文所说明及所描述的元件及材料，可颠倒部件及过程，且可独立利用本发明的特定特征。可在不背离以下权利要求书中所描述的本发明的精神及范围的情况下对本文所描述的元件作出改变。