图像处理方法、形状检查方法、图像处理系统以及形状检查系统与流程

1.本发明涉及图像处理方法、形状检查方法、图像处理系统以及形状检查系统。


背景技术：

2.目前，为了进行使用了图像数据的评价(缺陷检查等)、尺寸测量，针对作为评价对象或者尺寸测量对象的物品，对其设计数据和拍摄到的图像进行比较。作为成为对象的物品的一个例子，有半导体电路。
3.在半导体电路(以下也简称为“电路”)的检查、测量中，对电路的设计数据和拍摄图像数据(以下也简称为“拍摄图像”)进行比较来进行将其位置对齐的处理。该处理被称为图案匹配。
4.通过对设计数据以及拍摄图像的位置进行对齐，能够进行测量点的指定、相对于设计数据上的电路形状的脱离度等的评价。在电路中存在由制造工序中设定的各条件引起的形状变形。此外，在电路的拍摄图像中会产生由拍摄工序中设定的各条件引起的画质的差异(对比度变化、图像噪声的产生等)。除此以外，即便在同一条件下，电路的形状和拍摄图像的画质也会由于其波动而变化。
5.例如，在图案匹配中将设计数据直接作为模板图像的情况下，由于设计数据上的电路形状与拍摄图像上的电路形状的差异，从而位置对齐变得困难。因此，在模板图像中，相比于直接使用设计数据，优选使用与拍摄图像上的电路形状接近的数据。
6.在专利文献1中，公开了用于根据设计信息生成模拟图像的计算机安装方法，包括：通过向生成模型的二个以上的编码器层输入设计信息来决定对象物的设计信息的特征的工序；和通过将决定的特征输入生成模型的二个以上的解码器层来生成一个以上的模拟图像的工序。在此，模拟图像表示由图像系统生成的对象物的图像所表现出的设计信息。在专利文献1中公开了生成模型能够由卷积神经网络(cnn)代替。
7.在专利文献2中，公开了一种图案检查系统，基于电子器件的检查对象图案的图像和为了制造检查对象图案而使用的数据，并使用通过机器学习构成的识别器来对检查对象图案的图像进行检查，该图案检查系统对电子器件的多个图案图像和为了制造电子器件的图案而使用的图案数据进行保存，基于保存的图案数据和图案图像，从多个图案图像中选择使用于机器学习的学习用图案图像，由此能够节省学习数据的真值制作作业的工夫，实现学习数据的少量化，使学习时间短期间化。
8.在先技术文献
9.专利文献
10.专利文献1：美国专利第9965901号说明书
11.专利文献2：日本特开2020-35282号公报


技术实现要素：

12.发明要解决的课题
13.根据专利文献1所公开的方法，在应用于检查对象的电路图案的情况下，虽然能得到作为模拟图像的电路图案，但由于输入仅为设计数据，因而不能明确地指定制造工序、拍摄工序等的条件(以下也称为“工序信息”)的差异。为了得出该条件的差异，需要准备包括在该条件下进行制造或拍摄的电路的拍摄图像的数据集，按条件对用于模拟的数理模型进行学习。
14.为了知晓工序信息对电路及其拍摄图像带来的影响，以往需要按条件执行多次模拟。以往的模拟器使用蒙特卡罗法等，因而模拟花费时间。此外，市售的半导体电路的工艺模拟按工序而划分为光刻、蚀刻、拍摄工序等。为了对这些工序进行组合而网罗性地把握工序间的参数的关系性，需要多级地使用模拟器。
15.然而，针对制造或拍摄的工艺的模拟采用蒙特卡罗模拟等计算中需要长时间的方法，因而在1次试行中就会花费大量时间。为了应对多个条件、参数，需要将这样的计算试行多次，即便使用多个模拟器也需要大量的计算时间以及计算成本，是不现实的。
16.专利文献2所公开的图案检查系统能够在机器学习时实现学习数据的少量化从而使学习时间短期间化，在将得到的学习数据利用于实际的检查时的情况下，认为需要对数据的处理方法另外进行改进。
17.本发明的目的在于，在对根据设计数据推定的模拟图像和实际拍摄到的图像进行比对时，缩短该推定所需要的时间，实时地进行比对。
18.用于解决课题的手段
19.本发明的图像处理方法使用具备输入接收部、推定部和输出部的系统来获取在对根据试样的基准数据得到的推定拍摄图像和试样的实际的拍摄图像进行比对时使用的推定拍摄图像的数据，该图像处理方法包括：输入工序，输入接收部接收基准数据、试样的工序信息和学习完毕的模型数据的输入；推定工序，推定部使用基准数据、工序信息以及模型数据，计算表示拍摄图像的数据能够取的值的概率分布的拍摄图像统计量；和输出工序，输出部输出拍摄图像统计量，推定拍摄图像能够根据拍摄图像统计量来生成。
20.发明效果
21.根据本发明，在对根据设计数据推定的模拟图像和实际拍摄到的图像进行比对时，能够缩短该推定所需要的时间，实时地进行比对。
附图说明
22.图1a是示出根据设计数据以及工序信息得到的拍摄图像的例子的图。
23.图1b是示出根据设计数据以及工序信息得到的拍摄图像的另一例的图。
24.图2是示出实施例的图像处理系统的结构图。
25.图3a是示出在实施例涉及的图像处理系统中处理的数据的流向的结构图。
26.图3b是示出在实施例涉及的图像处理系统中处理的数据的流向的结构图。
27.图4是示出实施例涉及的学习处理的例子的流程图。
28.图5是示出形状检查系统的结构图。
29.图6a是示出将设计数据图像变换为特征量的例子的示意图。
30.图6b是示出特征量与工序信息的结合形式的一个例子的示意图。
31.图7a是示出实施例中的输入形式的一个例子的示意图。
32.图7b是示出实施例中的结合形式的一个例子的示意图。
33.图8a是示出设计数据图像的一个例子的图。
34.图8b是示出与图8a的设计数据图像801对应的拍摄图像的例子的图。
35.图8c是示出与图8a的设计数据图像801对应的拍摄图像的例子的图。
36.图8d是示出与图8a的设计数据图像801对应的拍摄图像的例子的图。
37.图9是示出拍摄图像统计量的表现形式的一个例子的曲线图。
38.图10a是示出设计数据图像的例子的图。
39.图10b是示出拍摄图像的例子的图。
40.图11是示出用于对拍摄图像统计量进行推定来实施电路的评价的gui的结构图。
41.图12是示出用于实施学习处理的gui的结构图。
42.图13是示出半导体测量系统的一个例子的概略结构图。
43.图14是示出扫描电子显微镜的概略结构图。
具体实施方式
44.本发明涉及处理图像数据的图像处理技术。其中，特别涉及能够应用于使用了图像数据的检查的图像处理技术。在检查对象的一个例子中包括半导体电路。
45.以下，对作为本发明的实施方式的图像处理方法、形状检查方法、图像处理系统以及形状检查系统进行说明。
46.图像处理方法以及图像处理系统根据设计数据和工序信息，作为与这些对应的拍摄图像的变化而计算拍摄图像统计量，该拍摄图像统计量表示拍摄图像的各像素能够取的值的概率分布。
47.图像处理系统具备cnn模型，该cnn模型能够根据设计数据和工序信息来计算表示拍摄图像的变化的以像素为单位的概率分布。在此，cnn是convolutional neural network(卷积神经网格)的简称。
48.图像处理系统使用计算出的以像素为单位的概率分布来评价工序信息对电路或者其拍摄图像带来的影响。此外，形状检查系统使用计算出的以像素为单位的概率分布来制作能够使用于图案匹配的模板图像，从而高精度地实施图案匹配。进一步地，在本实施方式中还包括：决定在机器学习等中使用cnn的数理模型所包括的参数(模型数据)。
49.另外，作为检查对象，除半导体电路以外，还能够应用于汽车部件(活塞等)、托盘、瓶等容器、液晶面板等各种物品。另外，在形状中包括试样(物品)的大小、长度等。
50.以下说明的图像处理方法涉及用于使用作为电路的基准数据的设计数据、工序信息和学习完毕的模型数据来直接推定在设计数据和工序信息的条件下制造的电路的拍摄图像的变化的图像处理方法、以及使用其的图像检查系统。
51.此外，作为其具体的一个例子示出如下方法的例子，在该方法中，使用机器学习来学习将设计数据图像化了的设计数据图像、工序信息和电路的拍摄图像的对应关系，使用通过学习得到的模型数据，根据任意的设计数据图像和任意的工序信息，直接推定与这些对应的电路的拍摄图像的变化。另外，以下，将电路的拍摄图像的变化作为对图像的各像素
能够取的像素值的概率分布进行规定的统计量(平均、方差等)进行处理。由此，能够捕捉到像素值及其波动、电路的变形、其拍摄图像的画质变化。
52.以下，使用附图来说明具备如下功能的装置或测定检查系统，该功能用于：作为输入而接收任意电路的设计数据、工序信息和学习完毕的模型数据，直接推定与设计数据和工序信息的组合对应的电路的拍摄图像的变化作为像素值的统计量，输出推定出的统计量。更具体地，说明包括作为测定装置的一种的长度测定用扫描电子显微镜(critical dimension-scanning electron microscope：cd-sem)的装置及其系统。
53.在以下的说明中，作为形成电路的拍摄图像的装置而对带电粒子束装置进行例示。在本说明书中，对使用了作为带电粒子束装置的一种的扫描型电子显微镜(sem)的例子进行说明，但不限于此，例如也可以设为采用在试样上扫描离子束而形成图像的聚焦离子束(focused ion beam：fib)装置作为带电粒子束装置。不过，为了高精度地对精细化进一步发展的图案进行测定，要求极高的倍率，因而一般希望使用在分辨率方面胜于fib装置的sem。
54.实施例
55.图13是示出半导体测量系统的一个例子的概略结构图，示出了多个测定装置或检查装置与网络连接的测定/检查系统。在此，测定/检查系统包括于图像处理系统或形状检查系统中。
56.在本图所示的系统中包括：测定半导体晶片、光掩模等的图案尺寸的长度测定用扫描电子显微镜1301(cd-sem)；通过向试样照射电子束来获取图像并基于该图像和预先登记的参照图像的比较来提取缺陷的缺陷检查装置1302；条件设定装置1303；模拟器1304；和存储介质1305(存储部)。而且，它们经由网络被连接。
57.条件设定装置1303具有在半导体器件的设计数据上设定测定位置、测定条件等的功能。模拟器1304具有基于半导体器件的设计数据、半导体制造装置的制造条件等来对图案的完成情况进行模拟的功能。进一步地，存储介质1305存储登记了半导体器件的布局数据、制造条件的设计数据等。另外，也可以在存储介质1305中存储学习完毕的模型数据。
58.设计数据例如被表现为gds格式、oasis(注册商标)格式等，以给定的形式存储。另外，关于设计数据，只要显示设计数据的软件能够显示其格式形式，能够作为图形数据来处理，则其种类不限。
59.此外，存储介质1305也可以内置于测定装置或者检查装置的控制装置、条件设定装置1303或模拟器1304。另外，在长度测定用扫描电子显微镜1301以及缺陷检查装置1302中，具备各自的控制装置，进行各装置所需要的控制，但也可以在这些控制装置中组合上述模拟器的功能、测定条件等的设定功能。
60.在sem中，从电子源释放的电子束由多级透镜聚焦，并且聚焦后的电子束由扫描偏转器一维或者二维地在试样上进行扫描。
61.通过电子束的扫描而从试样释放的二次电子(secondary electron：se)或者背散射电子(backscattered electron：bse)被检测器检测，与扫描偏转器的扫描同步地存储于帧存储器等存储介质。存储于该帧存储器的图像信号由组合于控制装置内的运算装置累计。此外，由扫描偏转器实现的扫描能够针对任意的大小、位置以及方向进行。
62.如以上那样的控制等由各sem的控制装置进行，作为电子束的扫描的结果而得到
的图像、信号经由通信线路网络发送到条件设定装置1303。
63.另外，在本例中，将控制sem的控制装置和条件设定装置1303作为分体的装置进行了说明，但不限于此。例如，也可以设为由条件设定装置1303一并进行装置的控制和测定处理，还可以设为由各控制装置一起进行sem的控制和测定处理。
64.此外，在条件设定装置1303或者控制装置中存储有用于执行测定处理的程序，按照该程序进行测定或者运算。
65.此外，条件设定装置1303具备基于半导体的设计数据制作对sem的动作进行控制的程序(制法)的功能，作为制法设定部而发挥功能。具体地，在设计数据、图案的轮廓线数据、或者实施了模拟的设计数据上，设定期望的测定点、自动对焦点、自动标记、定址点等用于进行sem所需的处理的位置等。然后，基于该设定来制作用于自动控制sem的试样台、偏转器等的程序。此外，为了进行后述的模板的制作，内置或者存储有从设计数据中提取成为模板的区域的信息并使制作模板的处理器或者通用的处理器基于该提取信息来制作模板的程序。此外，本程序也可以经由网络分发。
66.图14是示出扫描电子显微镜的概略结构图。
67.本图所示的扫描电子显微镜具备电子源1401、引出电极1402、作为聚焦透镜的一个方式的聚光透镜1404、扫描偏转器1405、物镜1406、试样台1408、变换电极1412、检测器1413、控制装置1414等。
68.由引出电极1402从电子源1401引出且通过未图示的加速电极加速后的电子束1403由聚光透镜1404聚束。而且，通过扫描偏转器1405在试样1409上一维地或者二维地进行扫描。电子束1403通过向设置于试样台1408的电极施加的负电压而被减速，并通过物镜1406的透镜作用被聚焦而照射到试样1409上。
69.若电子束1403照射到试样1409，则从该照射部位释放如二次电子以及背散射电子那样的电子1410。释放的电子1410通过基于施加于试样的负电压的加速作用，向电子源方向加速，与变换电极1412撞击而产生二次电子1411。从变换电极1412释放的二次电子1411由检测器1413捕捉，检测器1413的输出i根据捕捉到的二次电子量而变化。根据该输出i，未图示的显示装置的亮度变化。例如，在形成二维像的情况下，通过取得向扫描偏转器1405的偏转信号与检测器1413的输出i的同步来形成扫描区域的图像。此外，在本图所例示的扫描电子显微镜中，具备移动电子束的扫描区域的偏转器(未图示)。
70.另外，在本图的例子中，说明了由变换电极对从试样释放的电子进行一端变换并进行检测的例子，但当然不限于这样的结构，例如还能够设为如在加速后的电子的轨道上配置电子倍增管、检测器的检测面那样的结构。
71.控制装置1414具备控制扫描电子显微镜的各结构并且基于检测到的电子来形成图像的功能、基于被称为线轮廓的检测电子的强度分布来测定在试样上形成的图案的图案宽度的功能。
72.接下来，说明使用机器学习来将电路的拍摄图像的变化作为像素值的统计量进行推定的处理、对能够推定该统计量的模型的参数(模型数据)进行学习的处理、或者使用了该统计量的工序信息的评价处理或图案匹配处理的一个例子。
73.统计量的推定处理或者模型数据的学习处理还能够由内置于控制装置1414内的运算装置或者具有图像处理功能的运算装置执行。此外，也能够经由网络由外部的运算装
置(例如条件设定装置1303)执行处理。另外，内置于控制装置1414内的运算装置或者具有图像处理功能的运算装置和外部的运算装置的处理分担能够适当设定，不限定于上述的例子。
74.图1a是示出根据设计数据以及工序信息得到的拍摄图像的例子的图。
75.在本图中，根据设计数据图像101以及给定的工序信息102得到电路的拍摄图像104。
76.设计数据图像101是表示电路的布线或其配置的基准数据的一种形式。
77.图1b是示出根据设计数据以及工序信息得到的拍摄图像的另一例的图。
78.在本图中，根据设计数据图像101以及给定的工序信息103得到电路的拍摄图像105。
79.这些图表示了即便使用了同一设计数据图像101在工序信息不同的情况下拍摄图像也不同。
80.在本实施例中，使用将由cad数据等描述的设计数据图像化了的设计数据图像。作为一个例子，可举出在电路的布线部和其以外的区域中区分涂色的二值图像。在半导体电路的情况下，还存在布线为二层以上的多层电路。例如，若布线为1层，则能够作为布线和其以外的区域的二值图像来使用，若布线为二层，则能够作为下层与上层的布线部和其以外的区域的三值图像来使用。另外，设计数据图像是基准数据的一个例子，不对其进行限定。
81.工序信息102、103是从电路的制造到拍摄的各工序中使用的1种以上的参数。在本实施例中，将工序信息作为真实数值来处理。作为工序的具体例，有蚀刻工序、光刻工序、基于sem的拍摄工序等。作为参数的具体例，若是光刻工序则可举出曝光量(dose)、焦距(focus)等。
82.电路的拍摄图像104、105是基于由设计数据图像101示出的设计数据并分别使用工序信息102、103制造的电路的拍摄图像。本实施例中处理的拍摄图像作为由sem拍摄到的灰度图像来处理。因此，拍摄图像自身具有任意的高度以及宽度，图像的通道设为1。
83.根据制造工序的参数，电路会产生电气上没有问题而允许的程度的变形，不成为如设计数据那样的电路形状。此外，关于电路的拍摄图像，根据使用了sem的拍摄工序的参数，电路的映现方式不同。因此，拍摄图像104和拍摄图像105虽然与相同的设计数据图像101对应，但由于工序信息不同，因而不成为相同的电路的变形量，而且图像的画质也不同。在此，作为图像的画质的具体例，有噪声、对比度变化。
84.另外，即便设计数据和工序信息相同，得到的电路的拍摄图像也不会严格相同。这是因为，即便设定制造工序或者拍摄工序的参数，其中也存在工艺变动，在得到的结果中会产生波动。
85.在本实施例中，将基准数据设为设计数据图像，将工序信息设为表示其参数值的真实数值，将电路的拍摄图像设为由sem拍摄到的图像，但不对它们进行限制。
86.接下来，说明将拍摄图像的变化作为像素值的统计量进行推定的处理。
87.图2是示出本实施例的图像处理系统的结构图。
88.如本图所示，图像处理系统具备输入接收部201、推定部202和输出部203。此外，图像处理系统适当具备存储部。
89.输入接收部201接收基准数据204、工序信息205和学习完毕的模型数据206的输
入。然后，推定部202将由输入接收部201接收到的输入变换成捕捉到电路的拍摄图像的变化的统计量。输出部203将该统计量作为拍摄图像统计量207而输出。
90.基准数据204描述电路的布线的形状或其配置，在本实施例中作为设计数据或者将其图像化了的设计数据来处理。
91.推定部202将输入接收部201接收到的输入变换成表示与其对应的电路的拍摄图像的变化的统计量。为了进行该变换，推定部202具备通过模型数据206来设定参数并根据设计数据图像和工序信息来推定拍摄图像统计量的数理模型。
92.具体地，使用卷积神经网络(cnn)。在cnn中，编码器由二层以上的卷积层(convolutional layer)和池化层(pooling layer)构成，解码器由二层以上的反卷积层(deconvolution layer)构成。在该情况下，模型数据为cnn具有的各层的滤波器的权重(变换参数)。另外，推定拍摄图像统计量的数理模型也能够使用cnn模型以外的模型，不限定于此。
93.输入接收部201读入按照给定的格式的基准数据204、工序信息205和模型数据206。
94.输出部203以给定的格式输出推定部202中的运算结果。
95.另外，本图所示的输入接收部201、推定部202以及输出部203是本实施例所示的系统的构成要素的一部分，也可以分散配置于由网络连结的多个计算机。此外，包括输入的基准数据204、工序信息205、学习完毕的模型数据206的数据等也可以由用户从外部输入，但也可以存储在给定的存储装置。
96.对设计数据图像与拍摄图像的对应关系进行描述。
97.具体地，使用图8a～图8d对设计数据图像和检查对象图像中的布线的形状偏离的例子进行说明。
98.图8a是示出设计数据图像的一个例子的图。
99.在本图中，设计数据图像801具有由空白的像素(方格)构成的布线811。设计数据图像801基于设计数据而得到，因而示出了理想地正交的布线811。
100.图8b～图8d是示出与图8a的设计数据图像801对应的拍摄图像的例子的图。
101.在图8b中，示出了与设计数据图像801对应的拍摄图像802。
102.在图8c中，示出了与设计数据图像801对应的拍摄图像803。
103.在图8d中，示出了与设计数据图像801对应的拍摄图像804。
104.图8b的拍摄图像802、图8c的拍摄图像803以及图8d的拍摄图像804受到制造条件以及拍摄条件中的至少任一方的影响。因此，布线811的形状在拍摄图像802、803、804各自中不同。换言之，布线811的形状的差异既会根据制造批次而产生，也会根据拍摄批次而产生。因此，在设计数据图像上的某个像素取任意的亮度值时，拍摄图像上的同一像素能够取的亮度值存在多种值。
105.例如，若拍摄图像802、803、804为灰度图像，则各像素能够取的亮度值为0至255的整数。在该情况下，亮度值分布表示相对于0～255的亮度值的频度。作为统计量的例子，若亮度值分布为正态分布，则可考虑平均和标准偏差，若是泊松分布则可考虑到达率等。
106.总而言之，能够针对某个制造条件或拍摄条件下的设计数据，定义上述的亮度值等像素值的概率密度分布。
107.图10a是示出设计数据图像的例子的图。
108.在本图中，在设计数据图像1000a中示出了关注像素1001及其周围区域1002。
109.图10b是示出拍摄图像的例子的图。
110.在本图中，在拍摄图像1000b中示出了像素1003。
111.图10a的关注像素1001和图10b的像素1003在为了对比电路(试样)的图像而进行了位置对齐时，位于相同的坐标。像素1003能够取的像素值的统计量根据关注像素1001以及周围区域1002的像素值来推定。这是因为，在cnn的卷积层中计算时进行包括周围的像素在内的运算。另外，周围区域1002的尺寸根据cnn的滤波器尺寸、步长尺寸等决定。
112.图3a以及3b是示出在本实施例的图像处理系统中处理的数据的流向的结构图。
113.在这些图中，输入接收部201接收设计数据图像101、工序信息102或103、和模型数据301的输入，推定部202将该输入变换成规定对应的电路的拍摄图像的变化的统计量，输出部203对计算出的拍摄图像统计量302或305进行输出。
114.若比较图3a和图3b，则即便设计数据图像101和模型数据301是共同的，若将图3a的工序信息102变更成图3b的工序信息103，则输出也成为与图3a的拍摄图像统计量302不同的图3b的拍摄图像统计量305。作为输出形式的平均图像306以及标准偏差307与平均图像303以及标准偏差图像304不同。由此，能得到关于由工序信息的差异引起的平均的电路图像的变化、画质的差异、波动大的部分的位置及其程度等的信息。
115.图9是示出拍摄图像统计量的表现形式的一个例子的曲线图。
116.在本图中，将拍摄图像统计量表示为作为各像素中的像素值的概率分布的概率密度函数901。例如，在将图3a的拍摄图像统计量302表示为概率密度函数901的情况下，得到概率密度函数901的平均以及标准偏差的值。同样，若求出针对各像素的平均以及标准偏差的值，则得到平均图像303以及标准偏差图像304。
117.概率密度函数901由在某个电路的拍摄图像上针对各像素能够取的像素值的出现频度的概率密度函数表示。具体地，若拍摄图像为灰度图，则能够将分布定义为如256种像素值的出现频度。另外，作为统计量，也可以是以像素以外为单位。
118.例如，若假定概率密度函数901为高斯分布，则能够用其平均以及标准偏差(或者方差)来唯一地规定概率密度函数901。
119.平均图像303以及标准偏差图像304是拍摄图像统计量302的输出形式的例子。若将拍摄图像统计量设为按每个像素的高斯分布，则能够作为将其平均以及标准偏差的值变换成图像后的平均图像以及标准偏差图像来进行推定并输出。
120.平均图像303是将各像素的高斯分布的平均变换成灰度图像后的图像。若将拍摄图像统计量302假定为高斯分布，则其分布的平均值与最频值一致，因而得到的平均图像303成为使用设计数据图像101且在工序信息102的条件下的具有最平均的电路形状的拍摄图像。
121.标准偏差图像304是将各像素的高斯分布的标准偏差变换成灰度图像后的图像。通过在保持各像素间的标准偏差的相对关系的状态下进行图像化，能够将电路的变形、图像的画质变化大的图像区域可视化。例如，在半导体电路中，在布线(line)的边缘经常发生变形，因而波动(标准偏差)大。另一方面，在布线的边缘以外的区域、布线以外的空间部(space)中，变形较少，因而波动小。本实施例中的标准偏差起到吸收在某个设计数据以及
工序信息的条件下进行了制造以及拍摄时的工艺变动的作用。
122.如上述那样，制造出的电路的形状和其拍摄图像的画质依赖于工序信息。
123.通过如图3a以及3b所示的那样的处理，只要有设计数据以及学习完毕的模型数据，则不实际进行制造和拍摄就能够知晓改变了输入的工序信息的情况下对电路及其拍摄图像的影响。
124.图4是示出用于制作拍摄图像统计量的推定所使用的模型数据的学习处理的例子的流程图。
125.学习处理由机器学习部进行。
126.在本图所示的学习处理中，用户输入模型数据(s401)，用户输入设计数据图像以及工序信息(s402)。然后，机器学习部根据这些输入来推定并输出拍摄图像统计量(s403)。在此，上述的由用户进行的输入也可以不由用户进行，例如可以通过对给定的存储部具有的数据自动地进行筛选并通过机器学习部读入来进行。
127.然后，判定是否满足学习的结束条件(学习必要与否判定工序s404)。
128.若不满足结束条件，则输入作为训练数据的拍摄图像(s405)。然后，对拍摄图像(训练数据)和推定出的图像信息(拍摄图像统计量)进行比较(s406)，根据比较结果来更新模型数据(s407)。作为比较方法的例子，有将推定出的图像信息(拍摄图像统计量)变换成“推定拍摄图像”来进行比较的方法。换言之，推定拍摄图像能够根据拍摄图像统计量来生成。
129.另一方面，若在s404中满足结束条件，则保存模型数据(s408)，结束学习处理。
130.另外，在预先使存储介质1305(图13)存储了学习完毕的模型数据的情况下，能够省略s401的输入。
131.另外，还将s401以及s402总称为“输入工序”。此外，s403也称为“推定工序”。进一步地，从进行与图2的输出部203对应的处理的观点出发，s403也能称为“输出工序”。
132.以下对处理内容进行详述。
133.在s401中被输入、在s407中被更新且在s408中被保存的模型数据是在s403中使用的卷积层或者反卷积层的滤波器的权重。换言之，是在s403中使用的cnn的编码器、解码器的各层的构成信息、其变换参数(权重)。该变换参数被决定为：在s406的比较处理中，将使用s403中推定出的拍摄图像统计量和s405中输入的拍摄图像计算出的损失函数的值最小化。s401中的模型数据经过学习处理，能够根据设计数据图像和工序信息来推定对应的拍摄图像。在此，作为损失函数的具体例，有均方误差、交差熵误差等。
134.s402中输入的基准数据在本实施例中是设计数据图像。
135.作为s404的学习必要与否判定的例子，有学习的重复次数是否为规定次数以上、学习所使用的损失函数是否收敛等。
136.s408中保存的模型数据通过以给定的形式对cnn的各层的权重进行文件输出来保存。
137.接下来，对学习处理中使用的设计数据图像与电路的拍摄图像的关系进行说明。
138.在s406中，对推定出的拍摄图像统计量(推定拍摄图像)和拍摄图像进行比较。此时，为了正确地比较，需要设计数据与拍摄图像的位置一致。因此，学习用的数据集(学习数据集)需要完成位置对齐后的设计数据图像与拍摄图像的对。一般，优选学习用的数据集内
的图像张数多。除此以外，优选学习所使用的电路的形状和评价所使用的电路的形状类似。
139.此外，为了以设计数据为起点来学习电路的变形，在s401中接收的设计数据和在s405中接收的拍摄图像需要完成了位置对齐。针对学习用的设计数据图像和将此制造出的电路的拍摄图像，对图像上的位置进行对齐以使得电路图案一致。作为位置对齐的方法的例子，有求出设计数据图像以及拍摄图像的布线的轮廓线并进行定位以使得由轮廓线包围的图形的重心一致的方法。
140.学习处理中使用的工序信息、或者使用了学习完毕的模型数据的拍摄图像统计量的推定处理中使用的工序信息，既可以仅使用想考虑的参数，也可以使用制造工序、拍摄工序涉及的所有参数。不过，若工序信息增加，则cnn中的运算量增加，因而在处理速度的观点上优选仅使用最低需要限度的参数。
141.作为s406的比较处理的实施例，有基于统计量采样的图像和拍摄图像的差分计算。
142.总而言之，机器学习部判定针对模型数据的学习的必要性，在学习必要与否判定工序中将学习的必要性判定为需要的情况下，接收包括学习用的基准数据、工序信息和拍摄图像的学习数据集的输入，进行拍摄图像统计量与学习数据集的拍摄图像的数据的比较，基于比较的结果来更新模型数据。另一方面，在学习必要与否判定工序中将学习的必要性判定为不需要的情况下，存储部将推定部对拍摄图像统计量进行计算时使用的参数作为模型数据来保存。
143.接下来，使用图6a以及图6b和图7a以及图7b，对s402中输入的设计数据图像以及工序信息的输入形式的例子进行说明。
144.图6a示意性地示出了将设计数据图像变换成特征量的例子。
145.在本图中，是表示设计数据图像601和由神经网络模型具有的二个以上的卷积层对其进行计算所得的特征量602的一个例子的图。
146.设计数据图像601是将cad等设计数据图像化后的二值图像。在此，由格子划分的方格表示构成图像的各个像素。
147.特征量602通过使用拍摄图像统计量推定部(推定部)具有的cnn的卷积层(编码器层)对设计数据图像601进行计算而得到，表示为矩阵。特征量602具有：设计数据图像上的各像素属于布线部和其以外的哪一者这样的设计信息、布线的边缘附近、角部附近等与布线的形状、配置有关的设计信息等。特征量602能够表示为具有高度、宽度以及通道的三维矩阵。此时，根据设计数据图像601计算出的特征量602的高度、宽度以及通道依赖于cnn具有的卷积层的数量、其滤波器尺寸或者步长尺寸或者填充尺寸等来决定。
148.图6b示出了特征量与工序信息的结合形式的一个例子。
149.如本图所示，图6a的特征量602被表示为与工序信息603、604、605结合后的三维矩阵。
150.工序信息603、604、605将表示制造条件、拍摄条件的真实数值显示为三维矩阵，该三维矩阵作为和特征量602的高度以及宽度相等且通道尺寸为1的矩阵而被提供。具体地，可举出准备所有要素的值为1、高度以及宽度与特征量602相等且通道尺寸为1的三维矩阵，并将表示制造条件、拍摄条件的真实数值与其相乘而得到的三维矩阵。
151.在设为拍摄图像统计量推定部具有的cnn的输入的情况下，通过cnn的卷积层(编
码器层)将设计数据图像601变换为特征量602，按照通道的顺序将特征量602和工序信息603、604、605结合，将结合后的信息输入cnn具有的反卷积层(解码器层)。在此，对工序信息为二个的情况进行了描述，但标准的工序信息既可以是一个，也可以是二个以上，不对其进行限制。
152.图7a是示出本实施例中的输入形式的一个例子的图。
153.在本图中，示意性地示出了设计数据图像701、工序信息702以及工序信息703的例子。
154.设计数据图像701是将cad等设计数据图像化了的图像。作为例子，可举出在电路中的布线部和空间部中区分涂色的二值图像。在半导体电路的情况下，有时布线为二层以上的多层。例如，若布线为一层，则能够使用布线部和空间部的二值图像，若布线为二层，则能够使用下层的布线部和上层的布线部、空间部的三值图像。另外，设计数据图像是基准图像的一个例子，不对其进行限定。
155.工序信息702以及工序信息703将表示制造条件、拍摄条件的真实数值作为与设计数据图像相同尺寸的图像而提供。具体地，可举出将表示制造条件、拍摄条件的真实数值与所有要素的值为1且图像尺寸与设计数据相同的矩阵相乘后的矩阵。
156.图7b是示出本实施例中的结合形式的一个例子的图。
157.在本图中，示意性地示出了设计数据图像701、工序信息702以及工序信息703的例子。
158.设为拍摄图像统计量推定部具有的cnn的输入的方法的一个例子是按照图像的通道的顺序将设计数据图像701、工序信息702和工序信息703结合。在此，对工序信息为二个的情况进行了描述，但使用的工序信息既可以是一个，也可以是二个以上，不对其进行限制。
159.另外，关于图6a～图7b所示的工序信息的结合方法，不对其进行限制。
160.此外，可举出评价工序信息对电路或者其拍摄图像带来的影响的情况。
161.例如，仅改变工序信息具有的参数之中的一个，并计算拍摄图像统计量。此时，能够根据平均图像来观测实际进行制造并拍摄时出现的变形的方式，并根据标准偏差图像来观测在电路的各部位可设想何种程度的变形范围。因此，只要有事先学习而制作的模型数据，则不实际进行制造以及拍摄就能够评价对电路的变形或者拍摄图像的画质带来的影响。在根据工序信息的变化而平均图像的变化少且标准偏差图像中标准偏差的值小的情况下，可以说该参数对电路的形状变形、其波动的程度带来的影响小。
162.在本实施例中，对将工序信息设为二个并仅变更了其中一个的情况进行了描述，但不对此进行限制，工序信息具有的参数数量也可以是一个，还可以是三个以上。此外，既可以仅变更工序信息内的一个参数来执行，也可以变更工序信息内的多个参数来执行。
163.接下来，作为图2的推定部202的另一实施例，对制作图案匹配的模板图像的情况进行说明。
164.图5是示出在形状检查系统中处理的数据的流向的结构图，示出了使用拍摄图像统计量实施图案匹配的处理的例子。
165.本图所示的形状检查系统具备输入拍摄图像统计量207的输入接收部501、输入拍摄图像504的输入接收部505、模板图像制作部502、图案匹配处理部503和输出部506。另外，
本图所示的数据的流向是形状检查方法的例子。
166.拍摄图像504是设为图案匹配的对象的拍摄图像(实际的拍摄图像)。
167.拍摄图像统计量207是由图2所示的输入接收部201接收对拍摄图像504的电路进行制造并拍摄时的工序信息、拍摄图像504的电路的设计数据图像和由学习处理制作的模型数据，并由推定部202进行计算而由输出部203输出的数据。
168.本图所示的图案匹配处理如以下那样进行。
169.输入接收部501接收拍摄图像统计量207，模板图像制作部502将拍摄图像统计量207变换成模板图像，并传递给图案匹配处理部503。另一方面，输入接收部505接收拍摄图像504，并传递给图案匹配处理部503。
170.在图案匹配处理部503中，使用拍摄图像504和模板图像来实施图案匹配处理。然后，输出部506输出匹配结果507。
171.图案匹配处理部503进行比对模板图像和拍摄图像504并将其位置对齐的处理。
172.作为具体的方法的例子，一边将模板图像与拍摄图像504的相对位置错开，一边计算出标准化互相关作为相似度得分，输出相似度得分最高的相对位置。匹配结果507的形式例如可以是表示图像的移动量的二维的坐标值，也可以是在相似度最高的位置处使模板图像和拍摄图像504重叠的图像。
173.输入的拍摄图像统计量207通过使用与作为匹配对象的拍摄图像504对应的设计数据图像以及工序信息，由图2的推定部202推定出。此时，提供给推定部202的模型数据期望是在图案匹配处理的事先通过学习处理而制作的数据。
174.作为由模板图像制作部502制作的模板图像的例子，可举出将拍摄图像统计量207具有的平均值图像化了的平均图像、从拍摄图像统计量207中对各像素的值进行采样而得到的采样图像。
175.在图案匹配处理前进行的学习处理中使用的电路的拍摄图像，可以使用从过去制造的晶片中获取的拍摄图像，也可以使用从匹配对象的晶片中获取的拍摄图像。
176.图11是示出用于推定拍摄图像统计量并实施电路的评价的gui的结构图。在此，gui是图形化用户界面的简称。
177.在本图所示的gui(1100)中，显示了设计数据图像设定部1101、模型数据设定部1102、工序信息设定部1103、评价结果显示部1104和显示图像操作部1107。
178.设计数据图像设定部1101是进行与拍摄图像统计量的推定所需要的设计数据图像有关的设定的区域。
179.模型数据设定部1102是进行与拍摄图像统计量的推定所需要的学习完毕的模型数据有关的设定的区域。
180.工序信息设定部1103是进行与拍摄图像统计量的推定所需要的工序信息有关的设定的区域。例如，作为工序信息的设定方法，可举出单独地输入光刻、蚀刻等各工序所需要的参数的方法。
181.在设计数据图像设定部1101、模型数据设定部1102以及工序信息设定部1103中，通过指定以给定的格式保存的存储区域来读入各自的数据。
182.评价结果显示部1104是显示与根据由设计数据图像设定部1101、模型数据设定部1102以及工序信息设定部1103设定的数据推定出的拍摄图像统计量有关的信息的区域。作
为显示的信息的例子，可举出根据拍摄图像统计量制作的平均图像1105、标准偏差图像1106。
183.显示图像操作部1107是进行与由评价结果显示部1104显示的信息有关的操作的区域。作为操作，可举出将显示的图像切换为其他图像、进行图像的放大或缩小。
184.图12是示出用于实施学习处理的gui的结构图。
185.在本图所示的gui(1200)中，显示了学习数据集设定部1201、模型数据设定部1202、学习条件设定部1203和学习结果显示部1204。
186.学习数据集设定部1201是进行与包括学习处理中使用的设计数据图像、工序信息和拍摄图像的学习数据集有关的设定的区域。在此，通过指定以给定的格式保存的存储区域来读入数据。
187.模型数据设定部1202是进行与学习处理中被输入、更新且保存的模型数据有关的设定的区域。在此，通过指定以给定的格式保存的存储区域来读入模型数据的学习条件设定部1203是进行与学习处理的学习条件有关的设定的区域。例如，作为学习必要与否判定s404，既可以指定学习次数，也可以指定作为使学习结束的基准的损失函数的值。
188.学习结果显示部1204是显示学习处理的中途经过或结束后的学习结果的区域。可以显示损失函数的时间变化的曲线图1205，也可以显示将使用学习中途或结束时的模型推定出的拍摄图像统计量可视化后的图像1206。
189.gui(1100)和gui(1200)既可以是单独的，也可以合并为与学习处理以及评价有关的gui。此外，gui(1100)或gui(1200)中示出的用于设定、显示或操作的区域是一个例子，gui中并不必须具有其全部，可以仅由一部分实现。进一步地，执行这些处理的装置也与程序同样，既可以由一个装置执行各处理，也可以由不同的装置执行各处理。
190.关于对图2、图3a以及图3b的拍摄图像统计量进行推定的处理、图4的学习处理以及图5的图案匹配处理，既可以由分别不同的程序来执行，也可以由单独的程序来执行各处理。进一步地，执行这些处理的装置也与程序同样，既可以由一个装置执行各处理，也可以由不同的装置执行各处理。
191.另外，本发明不限定于上述的实施例，包括各种变形例。例如，为了容易理解地说明本发明而详细地说明了上述的实施例，并不限定于必须具备说明的所有结构。
192.根据本实施例，能够基于试样的设计数据等基准图像、工序信息以及拍摄图像的对应关系，根据设计数据图像，将与工序信息相应的试样的形状的变形范围作为统计量来进行推定。能够使用推定出的统计量来进行针对试样的拍摄图像的图案匹配。
193.另外，本实施例作为评价对象还能够应用于半导体电路以外的对象。此外，能够使用图像以外的输入数据(基于雷达的形状测量)。
194.以下，对本发明效果进行总结说明。
195.根据本发明，能够基于试样的设计数据等基准数据、作为试样的制造工序或拍摄工序中设定的参数的工序信息和试样的拍摄图像的对应关系，根据任意的试样的基准数据及其工序信息，推定试样的变形或物性、试样的拍摄图像的画质的变动。
196.例如，能够使用对在进行测量、检查等的评价之前获取的电路的设计数据、电路的制造工序或拍摄工序中使用的工序信息的一部分或全部与拍摄图像的对应关系进行学习而构成的数理模型，根据任意的设计数据图像以及任意的工序信息，直接推定该条件下的
电路的变形范围。因此，若根据推定结果来制作图案匹配的模板图像来使用，则能够实现将由工序信息的差异引起的变形范围的差异考虑在内的高精度的图案匹配。
197.此外，由于使用设计数据、工序信息和拍摄图像来学习对应关系，因而能够通过在工序信息中将多个制造工序或拍摄工序(光刻工序、蚀刻工序、拍摄工序等)的参数复合地纳入考虑，从而将这些多个工序间的参数的依赖关系作为拍摄图像中映现的电路的形状变化或拍摄图像的画质变化来进行推定。在以往的工艺模拟的组合中处理时间长，因而本发明在速度上占优势。
198.进一步地，根据本发明，能够提供用于对与工序信息相应地产生的电路的变形或其拍摄图像的画质的变化进行预测的计算机程序以及使用了该计算机程序的半导体检查装置。
199.符号说明
200.101：设计数据图像，102、103：工序信息，104、105、504：拍摄图像，202：推定部，204：基准数据，205：工序信息，206、301：模型数据，207：拍摄图像统计量，303：平均图像，304：标准偏差图像，502：模板图像制作部，503：图案匹配处理部，901：概率密度函数，1100、1200：gui。