用于多频谱成像的自动聚焦方法和系统的制作方法
【技术领域】
[0001] 本文所公开的技术涉及用于对显微镜载玻片进行成像的基于计算机的系统以及 自动聚焦技术。
【背景技术】
[0002] 数字病理学装备通常用于产生显微镜载玻片的数字图像。病理学家和血液化验设 备操作员通常在视觉上检查数字图像以获得关于组织样本的信息并识别最适当的治疗以 改进临床结果。为了产生彩色图像，自动化载玻片扫描仪通常在红色、绿色和蓝色（RGB)通 道中的每一个中获取图像并组合图像以产生RGB图像。扫描仪还获取具有不同频谱特性的 多个图像通道，像例如具有多节或可调谐滤波器的台架（bench)的荧光成像器，以获取图像 数据。为了得到合适的图像数据，自动化载玻片扫描通常包括：在大数目的不同Z平面处自 动扫描组织样本。许多所捕获的图像提供极少价值或不提供价值，因为图像数据通常在大 部分Z平面中失焦。该问题同样影响使用滤波器台架的荧光成像。
[0003] 此外，针对蓝色或绿色通道中的最佳聚焦的Z平面可能不是针对红色通道中的最 佳聚焦的Z平面，尤其是如果被成像的特征是小的(例如，小于光的波长的20倍)。一个彩 色通道中的图像模糊可能削弱总体彩色图像质量，造成针对解释、诊断和/或自动化图像 分析的严重问题。为了减少模糊，彩色载玻片扫描仪可以获取图像的完整Z堆叠(例如，针 对每一个彩色通道的图像的Z堆叠的集合）并使用复杂的自动聚焦算法来从Z堆叠创建单 个图像。不幸的是，这要求显著的Z堆叠获取时间、存储大量Z堆叠数据的存储器、和分析Z 堆叠数据并生成彩色图像的显著处理时间。可替换地，常规彩色载玻片扫描仪可以选择针 对一个通道的聚焦平面(或焦平面）且然后在所选聚焦平面处扫描其它通道。例如，聚焦平 面可以针对绿色通道的最佳聚焦而选择。载玻片扫描仪在该聚焦平面处获取红色和蓝色通 道中的图像以产生彩色或多频谱图像。不幸的是，用于所有通道的公共聚焦平面可能不是 针对每一个通道的最佳聚焦平面，造成针对由颜色主导的特征而不是主导了聚焦过程的特 征的复合图像中的不希望的图像模糊。
【发明内容】
[0004] 所公开的技术的至少一些实施例是成像系统，其通过在被选择以改进光学锐利 度、颜色可分离性和人类可读性之间的平衡的焦平面处捕获图像来增强复合图像的聚焦。 数字成像器设备的每一个通道(例如，彩色通道)或滤波器波段可以具有不同的焦平面。"对 焦的"焦平面可以被选择以捕获有限数目的图像(例如，每通道或滤波器波段一个图像）以 产生针对所有彩色通道最优地聚焦的复合图像而同时限制成像时间、数据存储等等。成像 系统可以通过组合在相应焦平面处获得的不同彩色通道中的各个图像来产生例如试样的 高度聚焦的彩色图像。
[0005] 焦平面或"对焦的"Z切片可以对应于具有最少量的模糊、最锐利的图像等的通道 (或滤波器波段)中的所捕获的图像。每一个彩色通道(或滤波器波段)是使用针对该彩色通 道(或滤波器波段)的最优焦平面或Z切片来捕获的以限制或相当大地减少在复合图像中观 察到的模糊和/或失真(例如色差)的量。成像系统可以对指示例如来自患者的组织样本的 组织特性的一个或多个校准显微镜载玻片(例如幻影载玻片、组织特定训练载玻片等）进行 成像。成像系统可以分析校准载玻片的所获取的图像以评估例如失真、色差或其它不希望 的问题。在一些校准过程中，确定针对所有彩色通道的单个自动聚焦平面与针对每一个彩 色通道的最佳单独焦平面之间的色差或失真的影响。
[0006] 成像系统可以使用模型拟合技术来处理相同组织样本或不同组织样本的后续视 场。模型拟合可以是涉及例如作为变量的试样定位和通道或波段焦平面的多项式拟合或其 它合适拟合的偏移或拟合技术。在一些校准过程中，可以获得一个或多个校准载玻片的图 像的Z堆叠。成像系统可以确定针对每一个通道或滤波器波段的焦平面并将焦平面与从自 动聚焦算法预测的焦平面进行比较。向在对像组织、细胞等那样的物体进行成像时应用的 聚焦方法提供该信息。信息以及因此自动聚焦算法可以基于比较而连续或周期性地更新以 提高自动聚焦算法的精确度。在一些实施例中，基于所预测的焦平面和实际对焦焦平面处 的图像的比较来更新自动聚焦算法。一个通道中的图像的比较可以用于选择其它通道中的 焦平面。因此，单个通道中的两个图像可以用于确定附加通道中的最优焦平面。此外，一个 通道的自动对焦算法可以基于另一通道的调节(例如聚焦)而调节。这可以减少总体处理时 间并增强图像质量。
[0007] 在一些实施例中，多频谱的基于计算机的系统获取显微镜载玻片的聚焦彩色图 像。在校准步骤中，系统确定相对于针对彩色数字成像器的一个或多个彩色通道的参考聚 焦平面的Z偏移。一个或多个参考聚焦平面可以是例如针对最终图像中的彩色通道的子集 中的每一个彩色通道单独选择的最佳聚焦平面。在扫描步骤中，系统可以确定针对彩色数 字成像器的视场的最佳聚焦平面。彩色数字成像器可以依照在校准步骤中确定的Z偏移来 在红色、绿色和蓝色通道中的一个或多个中的视场中获得图像数据。而且，可以执行不同例 程以单独自动聚焦每一个彩色通道，并且可以基于应用和手边的所成像的组织来选择用于 自动聚焦的方法。
[0008] 在一些实施例中，用于获取显微镜载玻片的聚焦图像的方法可以使用具有光学系 统和数字彩色相机的显微镜而执行。该方法包括：将存在于光学系统中的色差表征为相对 于数字彩色相机的红色、绿色和蓝色通道中的每一个中的最佳聚焦平面的Z偏移。显微镜 载玻片可以以通过依照Z偏移从红色、绿色和蓝色通道获得图像数据来减小所表征的色差 的效应的方式成像。多频谱系统可以包括存储可被执行以自动聚焦光学系统的指令的存储 器。
【附图说明】
[0009] 图1图示了依照所公开的技术的实施例的用于执行自动聚焦技术的基于计算机 的系统和环境。
[0010] 图2是图示了依照所公开的技术的实施例的用于增强自动聚焦例程的设施的框 图。
[0011] 图3是图示了依照所公开的技术的实施例的校准组件的处理的流程图。
[0012] 图4是图示了依照所公开的技术的实施例的Z校准组件的处理的流程图。
[0013] 图5是图示了依照所公开的技术的实施例的扫描组件的处理的流程图。
[0014] 图6是图示了依照所公开的技术的实施例的Z扫描组件的处理的流程图。
[0015] 图7是图示了依照所公开的技术的实施例的测试组件的处理的框图。
[0016]图8A-8E是依照所公开的技术的实施例的针对特定载玻片生成的各种Z切片或焦 平面处的显示图像。
【具体实施方式】
[0017] 所公开的技术的至少一些实施例是包括被配置成通过捕获针对不同彩色通道或 滤波器波段的不同焦平面和/或Z切片(例如，通过Z堆叠或焦平面合并过程而生成的Z平 面)处的图像改进所捕获的图像的"锐利度"的设施的成像系统。对于每一个彩色通道或滤 波器波段，该设施识别具有最少量的模糊的焦平面或Z切片（S卩，"最为对焦的"焦平面或Z 切片）并使用这些焦平面或Z切片以例如捕获聚焦图像。聚焦图像可以被组合以产生聚焦 复合图像。例如，聚焦红色通道图像、聚焦绿色通道图像和聚焦蓝色通道图像可以被组合以 产生聚焦彩色图像。由于该设施使用针对每一个彩色通道(或滤波器波段)的最优焦平面或 Z切片，因此可以减少在最终复合图像中观察到的色差的量。
[0018] 应当指出的是，尽管对于显微术和数字成像的领域的技术人员而言，说到图像的 "锐利度"或聚焦的锐利度是典型的，但是我们想要在本专利中强调的是，"最佳聚焦"不一 定是"最锐利的"。通常更好的是与光学或焦点锐利度形成某种组合地优化颜色可分离性或 人类可读性。因此，通过"更锐利"和"最锐利"，发明人意指在平衡光学锐利度、颜色可分离 性和人类可读性的意义上的"更优"或"最优"。"人类可读性"被包括，这是因为如果试样的 某个精细结构(与诊断不相关的组织结构）并不如此明显则通常图像更容易解释，并且这可 以被包括在本专利中所标识的模型中。
[0019] 本文所描述的技术可以用于增强已知自动聚焦和Z切片技术，诸如包括但不限 于相位检测自动聚焦技术、对比度检测自动聚焦技术等等的被动或主动式自动聚焦技术。 附加的自动聚焦、Z切片和载玻片成像技术由Bradley和Bamform描述在"AOne-pass ExtendedDepthofFieldAlgorithmBasedontheOver-completeDiscreteWavelet Transform'，；ImageandVisionComputing' 04NewZealand(IVCNZ'04),Akaroa,New Zealand,pp. 279-284(2004 年 11 月）;2011 年 5 月 4 日提交的题为"AutofocusImaging" 的美国非临时专利申请No. 13/697,681 ;2010年7月23日提交的题为"0