用于提供超分辨率成像的准确度的反馈并改进超分辨率成像的准确度的系统、装置和方法与流程

本公开涉及提供关于超分辨率成像的准确度的反馈并涉及改进超分辨率成像的准确度。

背景技术：

1、检查材料的一致性和检测异常在从制造到科学到生物学的各学科中都是重要的。检查通常采用显微镜检查系统来检验和测量样品。如本文所用的样品指检验对象(例如，晶片、基片等)，并且伪影指样品、样品的一部分、样品中的特征、样品中的异常和/或样品中的缺陷。例如，伪影可以是诸如晶体管、电阻器、电容器、集成电路、微芯片等的电子器件，诸如癌细胞的生物异常，或大块材料中的诸如裂纹、划痕、碎片等的缺陷。

2、显微镜检查系统可以用于增强肉眼可以看到的东西。具体地，显微镜检查系统可以通过增加人们可以看到的细节的量(例如，光学分辨率)来放大对象，例如，特征和异常。如本文所用，光学分辨率指样品上仍可被区分为两个单独点的两个点之间的最小距离，所述两个单独点仍可被人感知为单独点。光学分辨率可受物镜的数值孔径以及其他参数的影响。通常，物镜的数值孔径越高，则可以用该物镜获得的样品的分辨率越好。单个显微镜检查系统可以具有多于一个的物镜，其中每个物镜都具有不同的分辨能力。较高分辨率的物镜通常比较低分辨率的物镜捕获更多细节。然而，较高分辨率的物镜，例如由于它们较小的视场，通常比较低分辨率的物镜花费长得多的时间来扫描样品。

3、为了获得较高分辨率的图像(诸如根据较高分辨率的物镜捕获的图像或使用超分辨率技术创建的图像)而不牺牲速度，可以使用人工智能模型根据低分辨率图像推断和模拟超分辨率图像。可以实现这样的方法，而不是使用较高分辨率的物镜实际扫描样品，而是通过使用样品的低分辨率图像的全部或一部分，例如在低分辨率图像中检测到的伪影。这些方法在本文中将可交换地称为超分辨率、超分辨率模拟、超分辨率生成、高分辨率模拟，并且由这些方法产生的图像在本文中将可交换地称为超分辨率图像和例如使用高分辨率模拟来模拟的高分辨率图像。如本文所使用的超分辨率图像可以包括以大于显微镜系统的分辨率极限的分辨率创建的图像。具体地，超分辨率图像可以包括分辨率超过给定的显微镜系统的衍射极限的图像或以超过给定的显微镜系统的数字图像传感器的极限而创建的图像。如本文所使用的超分辨率图像还可以包括在给定的显微镜系统的分辨率极限内，但以比低分辨率图像高的分辨率模拟的图像(例如，超分辨率图像可以是以显微系统能够成像的最高分辨率模拟的图像)。

4、然而，并非所有在低分辨率下可检测的伪影都是用于生成准确的超分辨率图像的良好候选。例如，使用低分辨率放大率检测的伪影可以对应于通过高分辨率放大率检测的许多伪影，并且在没有附加信息(在伪影的低分辨率图像中可能缺少该附加信息)的情况下，可能无法例如使用高分辨率模拟来生成低分辨率图像的准确超分辨率图像。

5、因此，期望提供用于提供反馈的新机制，所述反馈关于在低分辨率放大率下发现的哪些伪影适于生成超分辨率图像或哪些伪影不适于生成超分辨率图像。此外，期望改进所生成的超分辨率图像的准确度。

技术实现思路

1、下面详细讨论本公开的各种实施例。尽管讨论了具体的实现，但是应当理解，这样做仅仅是为了说明的目的。相关领域的技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以使用其他组件和配置。因此，以下描述和附图是说明性的，而不应被解释为限制性的。描述了许多具体细节以提供对本公开的透彻理解。然而，在某些情况下，为了避免使描述模糊，没有描述公知或常规的细节。对本公开中的一个或多个实施例的引用可以是对相同实施例或任何实施例的引用；并且，这样的引用意味着实施例中的至少一个。

2、提及“一个实施例”或“实施例”意味着结合实施例描述的特定特征、结构或特性包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语“在一个实施例中”不必都指同一实施例，也不是与其它实施例互斥的单独或替代实施例。此外，描述了可由一些实施例而非其它实施例展现的各种特征。

3、在本公开的上下文中，以及在使用每个术语的特定上下文中，本说明书中使用的术语通常具有它们在本领域中的普通含义。替代语言和同义词可以用于本文讨论的术语中的任何一个或更多个，并且不应对术语是否在本文中详细描述或讨论给予特别的意义。在一些情况下，提供了某些术语的同义词。一个或更多个同义词的叙述不排除使用其他同义词。在本说明书中的任何地方使用的包括本文讨论的任何术语的示例的示例，仅是说明性的，并且不旨在进一步限制本公开或任何示例术语的范围和含义。同样，本公开不限于本说明书中给出的各种实施例。

4、在不旨在限制本公开的范围的情况下，下面给出根据本公开的实施例的仪器、设备、方法及其相关结果的示例。注意，在示例中可以使用标题或副标题以便于读者理解，这决不应限制本公开的范围。除非另有定义，否则本文所用的技术和科学术语具有本公开内容所属领域的普通技术人员通常理解的含义。在冲突的情况下，以包括定义的本文件为准。

5、本公开的附加特征和优点将在以下描述中阐述，并且部分地将从描述中显而易见，或者可以通过实践本文公开的原理来获知。本公开的特征和优点可以通过在所附权利要求中特别指出的仪器和组合来实现和获得。本公开的这些和其他特征将从以下描述和所附权利要求书变得更加完全显而易见，或者可以通过实践本文阐述的原理来获知。

6、一种方法可以包括使用显微镜检查系统的低分辨率物镜来获得样品的低分辨率图像。可以使用超分辨率模拟根据低分辨率图像生成样品的至少一部分的超分辨率图像。此外，可以基于超分辨率图像与使用模拟图像分类器识别的一个或更多个相关样品的至少一部分的一个或更多个实际扫描的高分辨率图像之间的一个或更多个等价程度，识别所生成的超分辨率图像的准确度评估。该方法还可以包括基于超分辨率图像的准确度评估来确定是否进一步处理超分辨率图像。随后，如果确定进一步处理超分辨率图像，则可以进一步处理超分辨率图像。

7、一种系统可以包括显微镜检查系统、一个或更多个处理器以及至少一个计算机可读存储介质，所述显微镜检查系统用于检查样品。显微镜检查系统可以包括低分辨率物镜和高分辨率物镜。计算机可读存储介质可存储指令，当该指令在由一或更多个处理器执行时，该指令使所述一个或更多个处理器使用显微镜检查系统的低分辨率物镜获得样品的低分辨率图像。该指令还可使一个或更多个处理器使用超分辨率模拟根据低分辨率图像生成样品的至少一部分的超分辨率图像。此外，该指令可以使一个或更多个处理器基于超分辨率图像与使用模拟图像分类器识别的一个或更多个相关样品的至少一部分的一个或更多个实际扫描的高分辨率图像之间的一个或更多个等价程度，生成所生成的超分辨率图像的准确度评估。一个或更多个处理器还可以根据存储在计算机可读存储介质中的指令的执行，基于超分辨率图像的准确度评估来确定是否进一步处理超分辨率图像。随后，如果确定进一步处理超分辨率图像，则可以由一个或更多个处理器进一步处理超分辨率图像。

8、一种非暂时性计算机可读存储介质可包含指令，当该指令在由一个或更多个处理器执行时，该指令使一个或更多个处理器执行用于基于样品的低分辨率图像生成样品的超分辨率图像的操作。具体来说，该指令可使一个或更多个处理器接收由显微镜检查系统的低分辨率物镜捕获的样品的低分辨率图像。该指令还可以使一个或更多个处理器使用超分辨率模拟根据样品的低分辨率图像生成样品的至少一部分的超分辨率图像。进一步地，该指令可以使一个或更多个处理器基于超分辨率图像与使用模拟图像分类器识别的一个或更多个相关样品的至少一部分的一个或更多个实际扫描的高分辨率图像之间的一个或更多个等价程度，识别超分辨率图像的准确度评估。所述指令还可以使一个或更多个处理器基于超分辨率图像的准确度来确定是否进一步处理超分辨率图像。因此，如果确定进一步处理超分辨率图像，则指令还可以使一个或更多个处理器进一步处理超分辨率图像。