用于自动校正像散的方法

用于自动校正像散的方法
【专利摘要】该方法用于透镜系统的自动像散校正。在透镜组的第一消像散器设置下，提供未被聚焦的第一图像(96)。计算装置计算相应的第一傅立叶光谱图像(312)。通过计算第一矢量(132)和第二矢量(134)，确定傅立叶光谱图像(128，130，312)的像素的分布和方向。将第一矢量(132)与第二矢量(134)相比较。将透镜系统从第一消像散器设置改变为第二消像散器设置以提供第二图像(98)。计算相应的傅立叶光谱图像(314)。通过计算第三矢量和第四矢量来确定第二傅立叶光谱图像(314)的像素的分布和方向。将第三矢量与第四矢量相比较。选择具有最低的矢量比率的图像。
【专利说明】
用于自动校正像散的方法
技术领域
[0001 ]本发明涉及一种用于自动校正像散的方法，例如电子显微镜的透镜中的像散。更具体地说，本发明包括用于电子显微镜的基于图像的物镜像散自动校正。
【背景技术】
[0002]在电子显微镜中的高质量图像获取要求对电子束进行仔细对准和精确聚焦以得到优化的图像对比度和精细细节。在过去，电子显微镜的物理特征和特性是重要的并且用于执行对准。电子束是通过使用电磁装置被对准的。未对准的电子束导致伪影(波纹)、图像模糊，以及关于精细细节的信息丢失。

【发明内容】

[0003]本发明的重要特征是，该方法通过使用仅图像数据而不依赖于显微镜本身的复杂和繁琐的特征，在对准过程期间自动校正透镜像散。本发明的方法提供了对上面概述的问题的解决方案。更具体地说，该方法用于通过透镜组在一个方向上进行自动像散校正。当然，本发明不限于仅在一个方向上校正，因为校正也可以在许多方向上同时进行，例如在X和y两个方向上。在透镜的第一消像散器设置下提供第一图像。优选地，该图像是欠聚焦的。基于第一图像，计算装置计算第一傅立叶光谱图像。通过计算明亮像素的程度和主方向所对应的第一矢量、和垂直于第一矢量并且对应于该方向上的程度的第二矢量，确定傅立叶光谱图像的像素的分布和方向。比较第一矢量和第二矢量。透镜组从第一消像散器设置改变为第二消像散器设置以提供第二欠聚焦的图像。基于第二图像，计算相应的第二傅立叶光谱图像。通过计算第三矢量和第四矢量来确定第二傅立叶光谱图像的像素的分布和方向。比较第三矢量与第四矢量。当与第三矢量相对于第四矢量相比第一矢量更类似于第二矢量时，第一图像被选择为比第二图像更圆。当与第一矢量相对于第二矢量相比第三矢量更类似于第四矢量时，第二图像被选择为比第一图像更圆。提供具有最圆傅立叶光谱的傅立叶光谱的消像散器设置是努力和搜索的目标。
[0004]该方法进一步包括计算圆形傅立叶光谱图像的灰度加权矩的步骤，作为测量强度分布的程度和方向的手段。
[0005]在另一个实施例中，将第一傅立叶光谱图像的特征矢量的第一比率与第二傅立叶光谱图像的特征矢量的第二比率进行比较。
[0006]选择具有最低比率的图像。
[0007]X消像散器设置和y消像散器设置被改变为对应于具有最低比率的图像的消像散器设置。
[0008]X消像散器设置和y消像散器设置也可以同时改变。
[0009]在又一个实施例中，搜索使傅立叶光谱图像的伸长率的值最小化的消像散器设置。
[0010]第一和第二图像被设置为欠聚焦或过聚焦。
【附图说明】
[0011]图1是利用不同物镜X消像散器设置和y消像散器设置获取的图像的例子的示意图；
[0012]图2是图1的图像的对应傅立叶光谱的示意图；
[0013]图3是通过具有像散的透镜在几个微米欠聚焦的情况下所看到的图像的示意图；
[0014]图4是图3中的图像的对数(log)傅立叶光谱的示意图；
[0015]图5是图4的视图的圆形切出图像；
[0016]图6是包括圆圈内的灰度值的灰度加权矩的特征矢量的图5的视图，其中矢量的长度对应于特征矢量的大小；
[0017]图7是与图4相同的、但没有欠聚焦或者具有很少的欠聚焦的视图；以及
[0018]图8是本发明的方法步骤的信息流的示意图。
【具体实施方式】
[0019]图1-2是具有大致圆形形状的对象的像散图像100(参照图1)和对应的傅立叶光谱图像120(参照图2)的示意性图示。图像显示的内容不重要，重要的是在图1中描绘的对象是病毒样的颗粒。透镜系统中的像散导致波纹状的伪影和图像中的细节的丢失，对应于傅立叶光谱图像在与未对准的方向相关的方向上变得细长。图1示出了在不同方向上具有像散的图像的例子。更具体地，图1示出在不同的X消像散器设置和y消像散器设置下获取的样本图像。它示出了在具有不同的X消像散器设置和y消像散器设置的透射型电子显微镜中的同一视图的49个版本。由于设置不同，因此图像以不同的方式模糊并在不同方向上具有波状。本发明的一个目的是确定哪个版本是最好的图像(对应于具有最圆的像素分布的傅立叶光谱图像)。仅仅通过使用目前最常用的手动和可视化方法是很难这样做的。本发明的一个特征是，该方法通过仅使用图像数据来自动确定哪个图像是最圆的。然后将此用于自动调整显微镜中的透镜，使得图像变得去像散。
[0020]图2示出相应的傅立叶光谱图像120。源于消像散器设置，变换后的图像在与透镜的未对准的方向相关的方向上伸长。通常，傅立叶变换使得更容易地看到图像的像散效应，诸如图像的圆度和伸长率。图1中的49个版本在傅立叶变换之后，在图2被示为49个新版本(如白色伸长的形状/图形)。中心处的图像122具有非常小的像散(在傅立叶光谱中被示为圆形图像)。中心处的图像具有O的X消像散器设置和O的y消像散器设置。应该理解的是，SP使其会对应于其它X消像散器值和y消像散器值，这也将是解决方案，因为在这些设置下傅立叶光谱具有最为圆形的像素分布。进一步远离图2的中心，图像中存在更多的波纹和模糊，并且傅立叶光谱图像中出现更多的细长的像素分布。计算机因此以步进方式改变消像散器设置并且确定在消像散器设置改变之前图像是否更圆。如下面详细描述的，当作为在X或y方向上调整消像散器设置的结果，确定图像变得更圆时，计算机优选在相同的方向上再次改变显微镜的消像散器设置。当图像没有变得更圆时，计算机可能停止搜索或可能在相反方向上改变消像散器设置，然后比较圆度。
[0021]图3示出通过具有像散的透镜系统在一定的欠聚焦的情况下所看到的图像124。如下面所解释那样，为了避免创建具有复杂形状的傅立叶图像，使用欠聚焦是本发明的方法的重要特征。也可以利用透镜的过聚焦。本发明的另一个重要特征是，通过在傅立叶光谱中搜索形状的最小伸长率(或最佳环路)来校正像散。因而一个重要的目标是选择在傅立叶光谱中创建最为圆形的像素分布(即，其中没有像散或具有很小的像散)的X消像散器设置和y消像散器设置。
[0022]像散校正可以以至少两种不同的方式来完成。一种方式是每次在一个像散方向上使伸长率最小化，对应于一组电磁透镜即在一个方向上例如通过在研究y消像散器设置变化之前仅改变X消像散器设置。另一种方式是计算对应于X像散和y像散的比率的伸长方向，并且同时优化X消像散器设置和y消像散器设置两者。通过使用灰度加权矩来测量图2的傅立叶光谱中的图像的伸长率。这也可以用在一维的情况下，即仅在一个方向上调节设置的情况下。灰度加权矩是计算图像中的明亮像素的方向即明亮强度分布的方式。
[0023]下面对第一种方法进行逐步描述。X像散可以通过下述方式被校正:
[0024]I)获取图像并且计算相应的傅立叶光谱。图3是用于描述在透镜设置的欠聚焦下的病毒样的颗粒的合适图像124的例子。图4是示出相应的傅立叶光谱的图像126。从左上向右下通过图像的中心延伸的较亮的或者亮灰色的椭圆部分128指示透镜系统的像散。用虚线对该部分128进行了标记，使得更容易看见椭圆部分。对中心也进行了标记。椭圆部分的尺寸和长度部分依赖于图像中的内容和倍率。通常，当亮灰色的部分是圆的或者是更圆的时，则透镜系统的设置是正确的，以使像散最小化。
[0025]2)切出圆形图像129，圆形图像129例如具有图像侧一半的直径。只要计算出图像的感兴趣的部分的灰度加权矩，就不需要使用圆形图像。然而，采用圆形图像是优选的/推荐的，以便具有对所有方向上的分布有贡献的相同数量的像素。切出的尺寸应与透镜提供的倍率相匹配。图5示出图4所示的图像126的切出图像129。圆形图像是优选的，使得从图像的中心到周边的半径是相同的，并且使得从中心起在所有方向上存在相同量的距离和信息。较低的频率在傅立叶光谱的中心并与傅立叶光谱的中心非常接近，高频则距离中心非常远，就指示透镜系统的像散而言，携带的信息不那么重要。
[0026]3)通过例如使用圆形图像的灰度加权矩(如I阶和2阶)计算傅立叶光谱图像的强度分布。也可以使用如下方法:该方法依赖于，首先使得傅立叶光谱图像二值化(提取椭圆/圆形的明亮形状)，然后例如，执行主成分分析以计算并确定二值形状的分布和主方向。也可以使用取决于径向密度分布状况(profile)的方法。优选地，使用计算图像中的强度的分布和方向的数学方法。
[0027]计算灰度加权矩的合适的公式为:
[0028]mij = ΣXΣ YX1YjI (X.y).
[0029]其中X和y是图像中的像素位置(坐标)，I(x，y)是图像位置x、y处的强度(灰度值)。该矩的阶数是i+j，所以I阶有两个矩，moi和m1，2阶有3个矩，m2Q，mQ2和mil。
[0030]强度越高，图像变得越亮。图像像素越亮并且距离中心越远，当涉及计算用于确定像散的灰度加权矩时赋予更大的权重。换言之，每个像素的权重是基于每个像素的白色度和其到中心的距离，其中距离中心更远的明亮像素被赋予更大权重。但是注意，距离中心很远的像素(也在傅立叶光谱图像中的明亮细长形状的外部)不包含与像散有关的信息。
[0031 ]图6是与图5的视图129相同的视图130，但视图130包括圆圈内的灰度值的灰度加权矩的特征矢量132、134，其中矢量的长度对应于特征矢量的大小。灰度加权矩可用于计算围绕中心点138的强度分布。换言之，灰度加权矩被优选用来描述浅色部分128相对于中心138延伸的方向以及如何在方向上伸出。接着有可能确定浅色部分128椭圆的程度以及它非圆的程度。图像的非圆度指示透镜的像散水平，图像的方向包含关于如何校正像散的信息。这些矩因而被用来推导图像中的强度的主方向以及强度沿着相对于正交方向的主方向分布了多少。第二方向上的分布与主方向上的分布的比率是对分布如何伸长的测量。应该理解的是，该比率仅仅是说明性示例，可以使用诸如矢量之间的差异的其他比较参数，只要目标是确定引起傅立叶光谱图像中的更圆图形的消像散器设置的变化。
[0032]4)确定伸长率，其对应于归一化矩协方差矩阵=[m20/m00 ,ml 1/mOO ；ml 1/mOO，m02/m00]的特征矢量132和134的比率。特征矢量134示出了最长伸长(即发白的像素的分布是多长)，并沿着浅色椭圆形状的方向延伸。特征矢量132示出了第二最长伸长，其在二维图像中垂直于特征矢量134。最感兴趣的是特征矢量134的方向和长度。当特征矢量134具有与特征矢量132相同的或接近的长度时，消像散器设置已被正确地设置以补偿透镜系统的像散，即特征矢量之间的比率是I或接近于I。该比率与I相差越大，透镜的像散越大。
[0033]5)在搜索使伸长率的值最小化的消像散器设置的迭代优化算法中重复上述步骤1-4。由此进行调整以使该比率在实践上尽可能地接近I。
[0034]通过使X消像散器保持至此最佳确定的设置，可以对y像散进行与上述关于X像散的校正相同的校正，对于y消像散器重复如上述对X消像散器所进行的过程那样的过程。换句话说，可以通过使X消像散器保持在如上所确定的最佳设置来进行对y像散的校正，并仅对y消像散器重复上面的步骤1-5。代替手动确定沿着图1的X方向上的一行的所有图像中哪个图像是最圆的，本发明的方法因此通过分析每个图像的傅立叶光谱来自动进行该确定，并确定伸长量，并选择具有最小伸长率的图像，此后显微镜的消像散器被设置为相应的值。换句话说，一旦沿着X方向上的一行找到了最圆的图像，如图2所示，并且显微镜中对应的X消像散器值被设置，则该方法可沿着在X方向上的该行中找到的最圆图像的列在y方向上确定最圆的图像。
[0035]为了加快该校正过程并使其更鲁棒，可以对傅立叶光谱向下采样，并在计算矩之前用平滑过滤器(例如平均值、中值或高斯)进行滤波。
[0036]本发明的一个重要特征是，优选在相对大的欠聚焦(或过聚焦)下进行校正。当图像非常接近聚焦或被聚焦时，傅立叶光谱中的像散效果不那么容易被选出并测量，并且难以使用那些光谱来校正像散。由于像散，不同方向于是在稍微不同的欠聚焦(或过聚焦)下被聚焦。相对于确定透镜系统中的像散量和方向，这与来自清晰(sharp)图像细节的信息一起在傅立叶光谱中产生强干扰信号。换句话说，通过设置样品使得不被聚焦或不接近于聚焦，像散的错误不会太多地受到其他因素的干扰。图7示出具有图6中的例子那么多的像散的图像140，但相应的图像是聚焦的。通过将样品置于欠聚焦下，像散的问题首先被解决，而没有与透镜的焦点校正相关联的任何问题的任何干扰。通过使用欠聚焦，更容易确定当透镜系统的消像散器设置改变时傅立叶光谱的圆度是否改善。图像140清楚地示出了，因为没有显著的伸长，所以看到像散的方向和程度是多么困难。另外，傅立叶光谱还取决于图像内容。在一个非常不太可能的情况下，图像内容可在傅立叶光谱中产生强度，使得该方法在第一次不成功。可以通过在样本图像的另一地方重复优化过程以确保得到相同的答案来解决此。
[0037]在操作中，图8中概述了本发明的方法的某些步骤。在提供步骤200中，以X消像散器设置的第一值和y消像散器设置的第一值提供欠聚焦图像202(诸如图1中的第一图像96)。在计算步骤203中，通过计算装置，诸如计算机，计算对应的傅立叶光谱图像204(诸如图2中的图像312)。在确定步骤206中，通过计算机计算图像204的灰度加权矩207，以确定图像中的像素的分布和方向。在比较步骤208中，通过计算机比较特征矢量之间的比率209或差值，以确定图像204的圆度。在设置步骤210中，计算机将显微镜中的X消像散器(或y消像散器)211的设置从第一值变成第二值，其中，优选地，第二值与第一值相比顺序增加或减少，例如从-0.12变为-0.08，如图1所示，从而以X消像散器的第二值显示新图像。然后计算相应的傅立叶光谱图像。可以对计算机进行编程，使得只要矢量比率改善，就继续在相同方向上改变X消像散器，并且如果该比率增加，则改为在相反的方向上改变X消像散器设置。也可以在开始时使用消像散器设置的相对大的变化，然后在比率改善(即更接近I)或者确定可能已经经过了 X消像散器的最佳设置时，减少X消像散器设置的变化。例如，如果比率逐渐减小并然后开始增加，则消像散器设置的变化大小被减小并且方向被改变。优选地，y消像散器被保持在对应于图1-2中的第一行的诸如-0.12的第一值。图1-2示出了用于X消像散器和用于y消像散器的优选的示例值。不同系统的消像散器值可以不同。也可以使用其他值和间隔。在X消像散器被设置为第二值的情况下，计算机开始相同的迭代并进行计算步骤203和确定步骤206。在比较步骤208中，比较X消像散器设置的第二值的情况下的第二特征矢量的比率与X消像散器设置的第一值的情况下的第一特征矢量的比率。如果第一比率比第二比率更接近I，则计算机停止在X方向上的搜索。如果第二比率比第一比率更接近I，则在设置步骤210中，计算机将X消像散器的值设置从第二值改变为第三值，例如-0.04。此迭代对于第四、第五等值继续，直到计算机确定下一X值不会导致更圆的图像，即当新的特征矢量的比率与和先前的X消像散器值相关联的矢量比率相比不更接近I时。
[0038]当已经找到了最好的X消像散器值时，在设置步骤212中，计算机将y消像散器213设置从诸如图1-2所示的-0.12的第一值变为诸如-0.08的第二值。计算机进行与对于X-消像散器设置进行的迭代相同的迭代，直到找到了最好的y消像散器设置。然而，X消像散器被固定在第一迭代中确定的值，使得跳过设置步骤210，如图8中的虚线214所示。
[0039]代替于一次仅在一个方向上调整消像散器设置(诸如X消像散器)，也可以同时在X方向和y方向两者上调整消像散器设置。这如图2中所示，其中图像300可以是选择作为开始图像的图像。然后系统不仅调查图像302的特征矢量比率(通过仅在X方向上调整消像散器设置)，而且还调查作为围绕图像300的图像的消像散器设置的结果的比率，使得确定图像304、306、308、310、312、314和316的特征矢量比率。然后，如上述解释的，系统选择导致最低矢量比率的X消像散器设置和y消像散器设置，其与开始图像300相比较最有可能更接近中心，如图2所示。如在图8中所概述的，这些步骤被迭代，直到找到最低比率，并确定示出最圆图像的图像。这是优选的应该用于对透镜系统的像散进行最佳补偿的X消像散器设置和y消像散器设置。如在图6中最佳所示，因此可以使用两个特征矢量132、134的大小和椭圆形图像130的α角来指示哪个方向可能将是最好的。如前所述，只要比率改善，即更接近I，就还可以在同一方向上简单地继续，而不计算所有方向上的比率。当比率再次开始增加时，计算机随后可以开始调查所有方向，如上所述。
[0040]虽然本发明已经根据优选的组合和实施例进行了描述，但是应该理解的是，在不脱离下面的权利要求的精神和范围的情况下，可以对其进行某些替换和变更。
【主权项】
1.一种用于透镜系统的自动像散校正的方法，包括: 在透镜的第一消像散器设置下提供未被聚焦的第一图像(96)， 基于第一图像(96)，计算装置计算第一傅立叶光谱图像(312)， 通过计算第一矢量(132)和第二矢量(134)来确定图像(128，312)的像素的分布和方向， 将第一矢量(132)与第二矢量(134)进行比较， 将透镜从第一消像散器设置改变到第二消像散器设置，以提供未被聚焦的第二图像(98)， 基于第二图像(98)，计算装置计算第二傅立叶光谱图像(314)， 通过计算第三矢量和第四矢量来确定第二傅立叶光谱图像(314)的像素的分布和方向， 将第三矢量与第四矢量进行比较， 当与第三矢量相对于第四矢量相比第一矢量更类似于第二矢量时，选择第一图像(96)，以及 当与第一矢量相对于第二矢量相比第三矢量更类似于第四矢量时，选择第二图像(98)。2.根据权利要求1所述的方法，其中，所述方法进一步包括:计算圆形图像(129)的灰度加权矩的步骤。3.根据权利要求2所述的方法，其中，所述方法进一步包括:将第一傅立叶光谱图像(128，312)的强度分布的特征矢量的第一比率与第二傅立叶光谱图像(314)的强度分布的特征矢量的第二比率进行比较的步骤。4.根据权利要求3所述的方法，其中，所述方法进一步包括:选择具有最低比率的图像的步骤。5.根据权利要求1所述的方法，其中，所述方法进一步包括:改变X消像散器设置和y消像散器设置的步骤。6.根据权利要求5所述的方法，其中，所述方法进一步包括:同时改变X消像散器设置和y消像散器设置的步骤。7.根据权利要求1所述的方法，其中，所述方法进一步包括:搜索使第一傅立叶光谱图像(128，312)的伸长率的值最小化的消像散器设置。8.根据权利要求1所述的方法，其中，所述方法进一步包括:将第一图像和第二图像设置为欠聚焦。
【文档编号】H01J37/153GK106062917SQ201580006977
【公开日】2016年10月26日
【申请日】2015年6月17日
【发明人】I-M·斯滔恩, R·诺德斯特龙, G·卡尔伯格
【申请人】智能病毒成像公司