用于扫描电子显微镜图像的混合增强的系统和方法与流程

背景技术：

1、带电粒子显微镜领域正不断推动精度、清晰度和放大倍率的界限。随着带电粒子显微镜的放大能力的提高，被这种显微镜系统的带电粒子束照射的样本区域也变得更小。由于被照射的样本的特征已变得更小并且更易受到照射损伤的影响，因此由此类聚焦照射引起的样本损坏已成为处于带电粒子显微镜放大倍率水平的最前沿的研究样本的主要限制因素。

2、已采用多种策略来减轻此类样本损坏。例如，当前系统采用的第一种策略是在照射期间减小带电粒子束的射束强度。虽然这种射束强度的减小降低了由对样本的照射引起的损坏，但它也减少了由照射产生的发射。因此，在由照射产生的发射减少的情况下，样本损坏的减少极大地减少了检测器数据，从而减少由其生成的样本图像中的信息，该信息是利用较低功率射束而获得的。

3、当前系统采用的第二种解决方案是使用脉冲式带电粒子束来照射样本，其中在短时间窗口内利用离散射束部分来周期性地照射样本。虽然每个脉冲仅引起离散的样本数据量，但由于射束脉冲的简短，因此与传统的稳态射束照射技术相比，脉冲从样本中诱发出的发射极大地减少。这导致可从每个射束脉冲生成的检测器数据减少，从而导致图像具有非常少的样本信息和很差的信噪比。为了补偿这种数据减少，当前系统将来自跨多个脉冲所捕获的多个图像的信息组合在一起以获得最终图像。虽然这提高了当前带电粒子系统在其放大能力极限下研究样本的能力，但仍希望拥有能够进一步突破带电粒子显微镜研究极限的新的研究技术。

技术实现思路

1、本文公开了用于执行用于增强扫描电子显微镜(sem)图像的混合机器学习方法的方法和系统。方法包括以下步骤：采集样本的区域的多个图像，该多个图像各自通过用脉冲式带电粒子束照射该样本而生成；放大每个单独图像以生成该样本的该区域的多个放大图像；以及将该多个放大图像组合以形成该样本的该区域的降噪图像。

2、用于执行用于增强sem图像的混合机器学习方法的系统包括：脉冲式带电粒子源，该脉冲式带电粒子源被配置为朝向样本发射脉冲式带电粒子束；光学柱，该光学柱被配置为引导该脉冲式带电粒子束入射到该样本上；样本固持器，该样本固持器被配置为固持该样本；以及检测器系统，该检测器系统被配置为从来自样本的发射生成检测器数据，该发射由入射在该样本上的该脉冲式带电粒子束的一个或多个脉冲产生。该系统还包括一个或多个处理器，以及存储非暂态计算机可读指令的存储器，该指令当在一个或多个处理器上执行时使得该处理器进行以下操作：采集该样本的区域的多个图像，该多个图像各自通过用脉冲式带电粒子束照射该样本而生成；放大每个单独图像以生成该样本的该区域的多个放大图像；以及将该多个放大图像组合以形成该样本的该区域的降噪图像。

技术特征：

1.一种用于使用脉冲式带电粒子束从在带电粒子显微镜中获得的数据中采集样本的高分辨率、低噪声图像的方法，所述方法包括以下步骤：

2.根据权利要求1所述的方法，其中采集所述多个低分辨率图像包括：

3.根据权利要求1所述的方法，其中放大所述多个低分辨率图像中的每个图像包括改善下述中的一项或多项：由带电粒子系统所采集的图像的信噪比、对比度噪声比和均匀亮度。

4.根据权利要求1所述的方法，其中将所述多个放大超分辨率图像组合以形成所述样本的所述区域的高分辨率、高snr图像对应于将所述多个低分辨率图像中的信息组合以生成组合图像。

5.根据权利要求4所述的方法，其中将所述多个放大超分辨率图像组合以形成所述样本的所述区域的所述高分辨率图像对应于通过执行漂移校正来对准所述超分辨率图像以生成dcfi图像。

6.根据权利要求1所述的方法，其中放大每个单独的超分辨率图像以生成对应的放大超分辨率图像包括将图像放大算法应用于所述单独的超分辨率图像。

7.根据权利要求6所述的方法，其中所述图像放大算法包括将对比度、亮度、伽马值和灰度中的一者或多者调整到期望水平的自动调平滤波器。

8.根据权利要求6所述的方法，其中所述图像放大算法是经训练以非线性地增加所述低分辨率图像的大小的机器学习算法。

9.根据权利要求8所述的方法，其中所述机器学习算法使用下述项来训练：

10.根据权利要求9所述的方法，还包括使用缩小算法来缩小所述组合高分辨率图像，以生成具有期望尺寸的缩小的组合图像。

11.根据权利要求10所述的方法，其中非线性地放大所述单独的超分辨率图像和缩小所述组合高分辨率图像的处理带来最终图像的信噪比的净提高。

12.根据权利要求8所述的方法，其中增加所述低分辨率图像的大小对应于在不添加附加信息的情况下增加所述低分辨率图像的大小。

13.根据权利要求8所述的方法，其中使用深度学习自动编码器架构对所述组合高分辨率图像进一步进行降噪处理，以提高信噪比。

14.根据权利要求1所述的方法，包括利用放大算法进一步增强所述组合高分辨率图像，以生成具有比所述组合高分辨率图像更大尺寸的放大的组合高分辨率图像。

15.根据权利要求14所述的方法，其中所述图像放大算法是经训练以应用增加所述组合高分辨率图像的大小的一种或多种非线性变换的机器学习算法。

16.一种用于使用脉冲式带电粒子束采集样本的高分辨率、低噪声图像的带电粒子系统，所述带电粒子系统包括：

17.一种存储非暂态计算机可读指令的计算机可读介质，所述指令当由处理器执行时使得所述处理器发起根据权利要求1至15中任一项所述的步骤的执行。

技术总结
本文公开了用于执行用于增强扫描电子显微镜(SEM)图像的混合机器学习方法的方法和系统。方法包括以下步骤：采集样本的区域的多个图像，该多个图像各自通过用脉冲式带电粒子束照射该样本而生成；放大每个单独图像以生成该样本的该区域的多个放大图像；以及将该多个放大图像组合以形成该样本的该区域的降噪图像。

技术研发人员：U·阿迪加
受保护的技术使用者：FEI 公司
技术研发日：
技术公布日：2024/1/14