图像序列对齐系统和方法与流程

本文所公开的主题的实施例总体上涉及用于对齐物体的图像的时序的系统和方法。

背景技术：

使用电子束以对物体成像的一种类型的装置是透射电子显微镜(tem)。tem通常用于高分辨率透射电子显微术(hrtem)以对由周期性排列的原子组成的晶体固体成像。对物体(例如晶体固体)的hrtem研究通常涉及得到物体的图像的时序序列，每个图像经受非常短的曝光时间。作为hrtem研究的一部分而成像的一些物体(例如晶体固体)对电子束敏感并且能够被电子束破坏，因此在每个成像时间段期间施加到物体的电子辐射的量会非常低。一些材料可能被低于每10个电子的累积电子剂量所损坏，并且许多材料可能被范围在之间的累积剂量所损坏。损坏的类型包括撞击损坏、加热损坏和辐解。尽管能够使用低加速电压(例如60-120kv)来解决撞击损坏，但是低能量电子的使用导致差的图像分辨率和短的穿透深度。

使用短时间曝光来施加低量的电子辐射导致图像的序列中每个单独图像非常嘈杂，以至于通常难以在任何单个图像中对物体进行观察。因为噪声是随机的，因此在hrtem研究中通常将图像的序列求和以改进被检查的图像的整体信噪比。

在成像序列期间物体移动或漂移是非常常见的并且通常为不可避免的，因此在图像序列的不同图像中，物体会出现在不同位置。图像对齐通常用于解决这些平面偏移，使得当图像被组合时物体处于图像的集合中的共同位置中。常见的对齐技术包括相位相关和特征匹配。此外，由于低的信噪比，通常在傅里叶域中对图像序列中的图像应用频率滤波器，包括低通滤波器、高通滤波器和带通滤波器，并且随后将图像转换回其原始域以进行组合。尽管这些技术能够改进一些图像，但是这些技术仍不足以解决使用非常短的曝光时间和低剂量的电子束辐射来成像的对电子束敏感的材料的图像中的低信噪比。

因此，需要一种系统和方法，对使用很短的曝光时间和低剂量的电子束辐射得到的物体的图像序列进行对齐，从而能够对单独图像进行对齐和求和以用于进一步研究。

技术实现要素：

根据实施例，提供一种方法，所述方法涉及接收物体的图像序列，其中至少两个连续图像相对于彼此在空间上偏移。使用傅里叶变换将每个图像变换到傅里叶域以生成对应的多个傅里叶变换图像。基于多个傅里叶变换图像的振幅分量，在傅里叶域中计算经滤波的振幅图。使用经滤波的振幅图来确定图像序列中成对的连续图像的空间偏移。基于所确定的空间偏移对图像序列中的图像进行对齐，并且对经对齐的图像求和以形成经图像偏移校正的求和图像。

根据另一实施例，存在一种系统，所述系统包括存储处理器指令的存储器和耦合至存储器的处理器。处理器配置为执行存储在存储器中的处理器指令，这使处理器接收物体的图像序列，其中图像序列的至少两个连续图像相对于彼此在空间上偏移；使用傅里叶变换将图像序列中的每个图像变换到傅里叶域以生成对应的多个傅里叶变换图像；基于多个傅里叶变换图像的振幅分量在傅里叶域中计算经滤波的振幅图；使用经滤波的振幅图来确定图像序列中成对的连续图像的空间偏移；基于所确定的空间偏移对图像序列中的图像进行对齐；并且对经对齐的图像求和以形成经图像偏移校正的求和图像。

根据又一实施例，存在一种方法，所述方法包括由处理器基于图像序列的多个傅里叶变换图像的振幅分量来计算傅里叶域中的经滤波的振幅图。处理器利用振幅图替换多个傅里叶变换图像的振幅分量以形成多个经滤波的傅里叶变换图像。处理器对多个经滤波的傅里叶变换图像执行傅里叶逆变换以形成对应的多个经逆变换的滤波图像。处理器使用所述多个经逆变换的滤波图像来确定图像偏移信息。处理器将图像偏移信息应用于图像序列中的图像以形成多个对齐的图像。

附图说明

附图并入说明书中并构成说明书的一部分，所述附图连同解释了这些实施例的描述一起示出了一个或更多个实施例。在附图中：

图1是根据实施例的用于对齐图像的时序的系统的示意图；

图2示出了根据实施例的用于对齐图像的时序的方法的流程图；

图3示出了根据实施例用于对齐图像的时序的方法的流程图；

图4a-4d、图4f、图4g是根据实施例物体的用于对齐图像的时序的物体图像；

图4e示出了根据实施例的图像序列在x轴和y轴上的漂移图；

图5a和图5b示出了根据实施例用于对齐图像的时序的方法的流程图；

图6a、图6b和图6f是根据实施例的用于对齐图像的时序的物体图像，所述图像；

图6c示出了根据实施例的图像偏移圆；

图6d示出了根据实施例的从图像序列中所提取的相位图；以及

图6e示出了根据实施例图像序列在x轴和y轴上的漂移图。

具体实施方式

示例性实施例的以下描述参考附图。不同附图中相同的附图标记表示相同或相似的元件。以下详细的描述不限制本发明。反而本发明的范围由所附权利要求限定。为简单起见，以下实施例参照高分辨率透射电子显微镜(hrtem)的术语和结构被讨论。然而，下面要被讨论的实施例不限于hrtem，而可以应用于需要具有相对高的信噪比的图像的序列的对齐的任何类型的图像分析，包括用于其他类型的显微镜术、医学成像和计算机视觉的图像分析。

在整个说明书中，对“一个实施例”的引用意味着结合实施例所描述的特定特征、结构或特性被包括在所公开的主题的至少一个实施例中。因此，在整个说明书的各处出现的短语“在一个实施例中”不一定指代同一实施例。此外，在一个或更多个实施例中特定特征、结构或特性可以以任何合适的方式进行组合。

根据实施例，物体的图像序列被接收，其中图像序列的至少两个连续图像相对于彼此在空间上偏移。使用傅里叶变换将图像序列中的每个图像变换到傅里叶域以生成对应的多个傅里叶变换图像。基于多个傅里叶变换图像的振幅分量在傅里叶域中计算经滤波的振幅图。使用经滤波的振幅图来确定图像序列中成对的连续图像的空间偏移。基于所确定的空间偏移对图像序列中的图像进行对齐，并且求和经对齐的图像以形成经图像偏移校正的求和图像。

图1是根据实施例的tem的示意图。系统100包括电子枪102，将电子束104施加至位于保持器108中的物体106，物体能够为被研究的样品。穿过样品106的电子束110由成像检测器112接收，其可以为胶片或数字像素检测器，例如直接检测电子计数(ddec)相机(例如，gatank2summit)或电荷耦合装置(ccd)相机。ddec摄像机由于具有允许超低电子剂量的高量子检测效率(dqe)而特别有用。例如，ddec相机允许以至少55,000的放大倍率采集图像，以利用低至每像素2-4e^-的电子束剂量(即，剂量低至)实现原子分辨率(即的像素大小)。本领域技术人员将认识到，成像检测器表示用于获得样本106的图像的一类结构。

系统100还具有控制系统114，所述控制系统包括能够经由总线124彼此通信的处理器116、存储器118、输入/输出接口120和样本保持器定位控制器122。输入/输出接口120允许操作者与处理器116、存储器118和/或定位控制器122通信以操作tem。例如，输入/输出接口120能够包括用于显示由成像检测器112成像的样本的一个或更多个显示器，以及一个或更多个输入装置，所述输入装置用于手动控制tem的各个方面(例如，焦点、样本定位等)，并且用于发起下文更详细公开的图像序列对齐。

本领域技术人员将认识到，定位控制器122是指tem所使用的用于控制样品取向的一类结构。尽管为清楚起见未被示出，但是处理器116还经由总线124通信地耦合至电子枪102和成像检测器112以提供指令来控制这些装置以及接收来自这些装置的输出。

为了便于解释，tem的一些部件未被示出，然而这些附加部件对于理解所公开的实施例来说是不必要的。

所公开的图像序列对齐能够使用存储在存储器118中的处理器指令来执行，并且处理器116使用从成像检测器112获得的图像的序列来执行所述处理器指令。因此，这些处理器指令能够被加载入tem中以执行下面所讨论的方法。可替换地，图像序列对齐能够由tem外部的处理器执行，在这种情况下，图像序列由系统100经由输入/输出接口120提供给外部处理器。外部处理器能够与tem位于同一位置，或者能够位于不同的、远程的位置。因此，对处理器116的引用应该被理解为包括对内部处理器和外部处理器中的任何一个的引用。

图2示出了根据实施例的用于对齐图像的时序的方法的流程图。最初，处理器116从成像检测器112接收物体的图像序列(步骤205)。如上文所讨论，在成像序列期间不可避免地存在一些移动或漂移，因此，图像序列的至少两个连续图像在空间上相对于彼此偏移，即，在保持器108延伸的平面中偏移。处理器116使用傅里叶变换将图像序列(f1(x,y),(f2(x,y),…,(fn(x,y))中的每个图像(fi)变换到傅里叶域以生成对应的多个傅里叶变换图像(fi)(步骤210)。

然后处理器116基于多个傅里叶变换图像(fi)的振幅分量来计算傅里叶域中的经滤波的振幅图(h)(步骤215)。经滤波的振幅图包括振幅等于振幅阈值或在振幅阈值之上的像素，并且忽略振幅分量在该阈值之下的像素。使用经滤波的振幅图和多个傅里叶变换图像(fi)的相位分量来确定图像序列中的成对的连续图像的空间偏移(步骤220)。振幅滤波器基于振幅对像素进行滤波，这与采用频率滤波器的常规技术形成了对比。然后处理器116基于所确定的空间偏移来对齐图像序列中的图像(步骤225)，并求和经对齐的图像以形成经图像偏移校正的求和图像(步骤230)。然后，可以例如经由输入/输出接口120在显示器上输出经图像偏移校正的求和图像(步骤235)。

现将结合对剩余附图的描述来提供结合图2所描述的一些步骤的更多细节。

图3示出了根据实施例的用于对齐图像的时序的方法的流程图。所述流程图提供了根据实施例的图2的流程图中的步骤的附加细节。最初，处理器116控制电子枪102和成像检测器112，通过将电子束在多个不同的时间段施加到物体上以生成物体的图像序列(步骤302)。图4a是来自图像序列的一个单独图像的示例，其示出了单独图像非常嘈杂并且对比度接近噪声水平，这能够归因于用于捕获单独图像的非常短的曝光时间和/或施加以生成图像的低电子剂量。多个不同的时间段对应于图像的序列中的多个图像。

图4a中的图像和附图中所示的所有其他示例图像是使用配备有k2-iscmos相机(由gatan公司制造)的titanimagecs校正的立方透射电子显微镜(fei)来捕获的，每个图像曝光0.05s，总共120个图像，并且在每个单独图像中的平均计数约为每像素0.013e。所成像的物体是uio-66纳米尺寸的金属有机框架(mof)晶体。相比之下，常规技术需要大于每帧每像素0.67e^-的剂量来获得足够的信噪比以进行可靠的对齐。

处理器116从成像检测器112接收物体的图像的序列(f1(x,y),(f2(x,y),…,(fn(x,y))(步骤305)，如上文所讨论，包括至少两个相对于彼此在空间上偏移的图像序列的连续图像。然后处理器116使用傅里叶变换将图像序列(f1(x,y),(f2(x,y),…,(fn(x,y))中的每个图像(fi)变换到傅里叶域以生成对应的多个傅里叶变换图像(fi)(步骤310)。对于包含i个图像的图像序列(f1(x,y),(f2(x,y),…,(fn(x,y))，一个单独图像(fi(x,y))的傅里叶变换为：

fi(u，v)＝∫∫fi(x，y)e^-2πi(ux+vy)dxdy(1)

极形式的等式如下：

fi(u，v)＝|fi(u，v)|e^-iφ(u，v)(2)

其中|fi(u，v)|是振幅且φ(u，v)是fi(u，v)的相位。

处理器116通过对傅立叶变换图像(fi)的振幅分量求和以形成振幅图(fa)来计算傅立叶域中的经滤波的振幅图(步骤315a)，然后将振幅阈值应用于振幅图(fa)以生成经滤波的振幅图(h)(步骤315b)。经滤波的振幅图(h)包括振幅图(fa)中的振幅等于或大于振幅阈值的像素。具体地，来自图像序列中所有图像的傅立叶变换振幅分量形成振幅图(fa)，可以将其表示为：

在一个非限制性实施例中，振幅阈值it能够为以下范围内的值：

it＞2×imean-imin(4)

其中，imean和imin是振幅图(fa)中所有像素的平均值和最小值。等式(4)描述了一个如何计算振幅阈值it的示例，并且应该认识到还有许多其他计算振幅阈值it的方法。

经滤波的振幅图能够由下式表示：

其中iuv是振幅图fa(u,v)中在点(u,v)处的强度值。等式(5)描述如何计算经滤波的振幅图h(u,v)的示例，并且应该认识到存在许多其他计算经滤波的振幅图h(u,v)的方法。这些替代方案中的一个能够涉及如果iuv≥it则保留值iuv(而不是使用值iuv-it)。

如图4b中所示，振幅图(fa)降低了信噪比使得能够在噪声上观察到对应于所成像的物体的原子结构的振幅峰。图4c中的图像为经滤波的振幅图h(u,v)，所述经滤波的振幅图在保留了振幅图中振幅值高于振幅滤波器的振幅阈值的像素的同时，消除了所有振幅值低于振幅滤波器的振幅阈值的像素。图4c中的图像是利用这样的振幅阈值产生的，其消除了除去与在傅里叶变换的并求和的图像中具有最高振幅的约100个像素相对应的像素之外的所有像素。因此，例如，振幅阈值能够被设置为在经滤波的振幅图(h)中产生预定数量的像素。

接下来，处理器116利用经滤波的振幅图h(u,v)替换单独傅里叶变换图像fi(u,v)的振幅分量|fi(u,v)|以形成多个经滤波的傅里叶变换图像(gi)(步骤320a)，其能够由下式表示：

gi(u，v)＝h(u，v)e^-iφ(u，v)(6)

然后处理器116对多个经滤波的傅里叶变换图像(gi)中的每一个执行傅里叶逆变换以生成对应的多个经逆变换的、经滤波的图像(gi)，(步骤320b)。具体地，每个经滤波的图像gi(x,y)由下式表示：

gi(x,y)＝∫∫gi(u,v)e^2πi(ux+vy)dudv(7)

图4d示出了图4a中的图像在由经滤波的振幅图(h)替换振幅分量并随后变换回进入原始域之后的示例。如能够观察到的，成像的物体的晶格特征变得可见，而这些特征在图4a中所示的原始的单独图像中不可见。

然后处理器116将多个经逆变换的、经滤波的图像(gi)与多个经逆变换的、经滤波的图像中的连续的图像(gi+1)进行互相关以生成针对多个逆变换的经滤波的图像(gi)中的每一个的图像偏移信息(步骤320c)。因此，对于第一个图像(g1)不计算图像偏移信息，并且每个后续的图像(gi+1)的图像偏移信息基于序列中的先前的图像(即，g1用来计算第二个图像并且gi-1用来计算第二个图像之后的每个图像)。固定的图像不用于互相关，因为经滤波的图像gi(x,y)包含周期性晶格，且因此漂移的确定仅对周期性单元内的运动起作用。使用连续图像进行互相关解决了这个问题，因为两个连续图像之间的漂移不太可能超过晶胞长度。

图4e是由互相关所计算的漂移曲线的示例的图，其在x轴和y轴中示出了序列中的每个图像相对于先前的图像的漂移量。尽管这些示例漂移曲线是相对线性的，但这并不会发生在所有实现中，并且取决于物体在成像期间的运动，漂移曲线可能具有任何形式，包括呈现为包含随机偏移的形式。

然后处理器116通过将图像偏移信息应用到图像序列中的每个原始图像(fi)来对齐图像序列(f1(x,y),(f2(x,y),…,(fn(x,y))中的原始图像(fi)(步骤325)。因此，互相关的单个迭代循环包括图像序列中的所有图像的漂移确定操作和漂移校正操作。假设漂移校正确定包括m个循环，并且在迭代循环k上针对图像i(相对于图像1)所确定的漂移为rik＝[δxik,δyik]，则图像i相对于图像1的总漂移ri为：

因此，通过执行多个迭代循环来改进总对齐。在一个实施例中，迭代循环的数量为例如十个循环。

然后处理器116对经对齐的图像求和以形成经图像偏移校正的求和图像(步骤330)。然后，可以例如经由输入/输出接口120在显示器上输出该经图像偏移校正的求和图像(步骤335)。图4f示出了在不对图像序列中的图像进行任何对齐的情况下生成的求和图像，并且图4g示出了以结合图3所描述的方式对齐的求和图像。可以理解与图4f相比，图4g的求和图像中的晶格特征要清晰得多。

图5a和图5b示出了根据实施例的用于对齐图像的时序的方法的流程图，其提供了图2的方法的附加细节。该实施例采用振幅滤波器和基于相位的图像对齐技术，其中，使用傅里叶域中每个图像中某些像素的相位分量来对齐图像序列中的图像。

傅里叶变换将图像分解成组成所述图像的不同空间频率的分量，并产生空间频率的复值函数。每个函数具有振幅分量，其表示该频率在原始图像中的量；以及该频率的基本正弦波的相位差分量。被变换到傅里叶域的包含周期性特征的图像包含峰值矩阵，其表示实空间中的周期性排列。图像序列中的图像之间的平面偏移不影响振幅分量，而是引起对应于图像之间的平面偏移的相位分量的改变。

现转到图5a和图5b的方法的细节，类似于以上结合对图2和图3所示的方法的讨论，处理器116控制电子枪102和成像检测器112，以通过将电子束在多个不同的时间段施加到物体上来生成物体的图像序列(f1(x,y),(f2(x,y),…,(fn(x,y))(步骤502)，从成像检测器112接收物体的图像序列(f1(x,y),(f2(x,y),…,(fn(x,y))(步骤505)，并且使用傅里叶变换将图像的序列中的每个图像(fi)变换到傅里叶域以生成对应的多个傅里叶变换图像(fi)(步骤510)。

然后处理器116计算经滤波的振幅图：首先通过对傅里叶变换图像(fi)的振幅求和以形成振幅图(fa)(步骤515a)，然后将振幅阈值应用于振幅图(fa)以生成经滤波的振幅图(h)(步骤515b)。如上面所讨论，经滤波的振幅图包括振幅图(fa)中振幅等于或大于振幅阈值的像素，并且因此在该实施例中，识别出了适合于评估傅里叶变换图像(fi)中的相位变化的像素。因为傅里叶域中的噪声水平影响相位分析的准确度，这在信噪比较低时尤为关键，因此经滤波的振幅图允许将后续相位分析限制在傅里叶域中的信噪比最大的峰的中心。图6a是没有对齐的情况下经求和的图像序列的图像，并且图6b是作为步骤515a的结果的振幅图(fa)。可以理解，与图6a相比，在图6b中的求和图像中的噪声上能够更容易地观察到所关注的像素。

然后处理器116通过首先从多个傅里叶变换图像(fi)中的每一个中提取与经滤波的振幅图(h)中的多个像素相对应的相位分量来确定成对的连续图像的空间偏移(步骤520a)。多个像素对应于经滤波的振幅图(h)中振幅等于或大于振幅阈值的像素。然后处理器116从多个傅里叶变换图像(fi)的每个图像中的多个像素中选择至少一对像素(步骤520b)，并且基于针对所选择的至少一对像素所提取的相位分量来确定多个傅里叶变换图像(fi)的每个图像的图像偏移向量(步骤520c)。

所述实施例采用图像偏移圆(其示例在图6c中示出)来确定图像偏移向量，并且以这种方式采用图像偏移圆的方法在图5b中描述。在图6c中，of是傅里叶变换图像的中心、o是图像偏移圆的中心、v是图像偏移向量、以及vn是与所选择的像素相对应的偏移向量。尽管图像偏移圆的中心o和图像偏移向量v在处理中的这一点上未知，但傅里叶变换图像of的中心是已知的，并且因此仅再需要两个在图像偏移圆的圆周上的点以限定图像偏移圆，进而确定对应于从of到o的向量v的图像偏移。

因此，处理器116首先通过基于针对所选择的至少一对像素的所提取的相位信息确定图像偏移向量的至少两个非共线图像偏移分量向量(步骤520c1)来确定图像偏移向量(步骤520c)。然后处理器116将至少两个非共线图像偏移分量向量的模加倍(步骤520c2)。基于加倍的模，处理器116确定图像偏移圆，并且图像偏移向量对应于图像偏移圆的半径。

尽管能够仅使用一对像素来执行所述方法，但是通过使用多对像素能够增加偏移确定的准确度，其细节在步骤520c3-520c5中示出。本领域技术人员将认识到，所选择的像素对的数量是在增加准确度与增加处理器116上的负载之间的权衡，增加负载可能增加执行所公开的方法所需的总时间。因此，处理器116选择多个傅里叶变换图像(fi)的每个图像的多对像素，并针对多对所选择的像素中的每对确定多个图像偏移向量。

具体地，处理器116将多个图像偏移向量中偏移超过预定量的图像偏移向量从多个图像偏移向量中的其他图像偏移向量中识别出(步骤520c3)并由多个图像偏移向量形成图像偏移向量的集合(步骤520c4)。所识别出的图像偏移向量被认为是离群值，且因此不包括在图像偏移向量的集合中。最后，处理器116将统计计算应用于图像偏移向量的集合以生成所确定的空间偏移(步骤520c5)。能够应用任何类型的统计计算，包括均值、众数、中值等。图6d示出了使用每个图像的两个以上图像偏移向量的非共线图像偏移分量向量集合所确定的相位，并且图6e示出了最终计算的相位偏移。因此，在图6d中，针对每个图像计算多个相位偏移，对其进行统计计算以获得图6e中所示的最终相位偏移。

然后返回至图5a，处理器116基于所确定的空间偏移来对齐图像序列中的图像(步骤525)。最后，处理器将经对齐的图像求和以形成经图像偏移校正的求和图像(步骤530)。然后，例如经由输入/输出接口120在显示器上输出经图像偏移校正的求和图像(步骤535)。图6f示出了经图像偏移校正的求和图像的示例，其与图6a中未对齐的图像的求和序列相比，更有区别性地从图像噪声中示出了物体的晶体学细节。

尽管结合透射电子显微镜(tem)、高分辨率透射电子显微术(hrtem)和使用电子束对物体成像来对示例性实施例进行描述，但是本发明还能够与任何包含周期特征的物体的图像序列结合使用，无论所述图像序列是否使用透射电子显微镜、高分辨率透射电子显微术和电子束产生。

所公开的实施例提供了用于对齐图像序列的系统和方法。应当理解，该描述并非旨在限制本发明。相反，示例性实施例旨在涵盖包括在由所附权利要求所限定的本发明的精神和范围内的替代方案、修改和等同物。此外，在示例性实施例的详细描述中，阐述了许多具体细节以便提供对所要求保护的发明的全面理解。然而，本领域技术人员将理解，可以在没有此类具体细节的情况下实践各种实施例。

虽然在实施例中以特定组合描述了本示例性实施例的特征和元件，但是每个特征或元件能够在没有实施例的其他特征和元件的情况下单独使用，或者以各种具有或不具有本文所公开的其他特征和元件的组合来使用。

本书面描述使用公开的主题的示例以使本领域任何技术人员能够进行相同的实践，包括制造和使用任何装置或系统以及执行任何并入的方法。本主题的可获取专利的范围由权利要求限定，并且可以包括本领域技术人员想到的其他示例。此类其他示例旨在落入权利要求的范围内。