用于自动调节数字病理图像的焦平面的方法

用于自动调节数字病理图像的焦平面的方法
【专利摘要】本发明提供一种针对数字病理图像的智能自动聚焦方法和设备，所述方法和设备能够例如通过注视跟踪装置，将来自用户的行为的反馈耦合到图像的实际焦点表示，并且关于焦平面相应地调节成像设置。所述调节是以这样的方式被执行的，即所述焦平面被选择为优化并锐化先前确定的实际感兴趣对象。
【专利说明】用于自动调节数字病理图像的焦平面的方法
【技术领域】
[0001]本发明涉及自动聚焦技术。具体而言，本发明涉及用于自动调节数字病理图像的焦平面的方法，用于显示图像以及用于数字病理图像的自动焦平面调节的设备，程序单元以及计算机可读介质。
【背景技术】
[0002]在病理学中，组织样本或细胞涂片的图像是在显微镜下分析的。在组织病理学中，病理医师研究组织以做出诊断。组织样本为装载在两个载玻片之间的组织的薄切片。该组织并非完全平坦的，并且典型地并不完全与成像系统的焦平面对齐。除此之外，组织的细胞位于组织层中的不同高度。因此，在二维组织图像中，所述细胞的很大一部分可能在焦外。对于细胞病理图像来说也是同样，其中病理医师分析具有几个细胞核的松散细胞(loosecell)。这些细胞存在于两个载玻片之间的载片流体的薄层中。典型地，这些细胞将没有被定位在完全平坦的层中，并且所述层将没有与成像系统的焦平面完全对齐。
[0003]Y.Sun 等人在 “Autofocusing Algorithm Selection in Computer Microscopy”(Intelligent Robots and Systems, (2005))中描述了可以如何计算提供针对感兴趣目标的期望焦距的焦平面。
[0004]对细胞的粗略解读并不需要所有细胞的完美聚焦。然而，在需要研究细胞细节的分析的点，则要求考虑对细胞的恰当聚焦。病理医师使用模拟显微镜的精细聚焦旋钮，以导航到正确的焦平面。近期的趋势表明，病理在未来可能被数字化。这意味着，可以用数字扫描器获得图像数据并将其存储在服务器上。针对应用中的子集，将获得针对单一焦平面的图像数据。可以将以此方式获得的信息与使用去除了精细聚焦旋钮的普通显微镜的当前实践进行比较。在这种情形中，不再可能调节焦距情况。由于这些技术改变，将从监视器或由计算机分析数字病理数据。尽管聚焦调节的重要性仍然同等重要，但是改变焦距的手段可能大不相同。

【发明内容】

[0005]可以将本发明的目标视为提供用于数字病理成像的改进的自动聚焦。
[0006]可能需要提供针对数字病理成像的智能自动聚焦，本发明解决了该问题。
[0007]本发明的目标通过独立权利要求的主题得以解决。进一步的实施例和进一步的优点被并入从属权利要求中。
[0008]应注意，下文描述的本发明的实施例类似地涉及方法、设备、程序单元以及计算机可读介质。换言之，关于涉及本发明的方法实施例将要描述的特征应被理解为被对应的本发明的设备、程序单元和计算机可读介质所包括或由其实现，反之亦然。此外，本领域技术人员将从上文以及下文的描述获悉，除非另外指出，除了属于一种主题类型的任意组合外，涉及不同主题的特征之间，尤其是装置类型权利要求的特征与方法类型权利要求的特征之间的任意组合，也被认为由本申请公开。此外，可以将提供大于特征的简单加和的协同效应的所有特征进行组合。
[0009]根据本发明的示范性实施例，提供一种用于自动调节数字病理图像的焦平面的方法，所述数字病理图像包括多个诸如细胞或细胞的部分(如细胞核)的个体生物学对象。所述方法包括提供包括多个焦平面的三维数字病理数据以及将所述数字病理数据显示为图像的步骤，其中所显示的图像具有所述多个焦平面中的焦平面。此外，所提供的方法包括在所述图像中确定用户感兴趣的位置以及计算所述多个对象中的哪个个体生物学对象为所述感兴趣对象的步骤。此外，所述方法包括基于所计算的感兴趣对象，自动将所显示的图像的焦平面调节到经调节的焦平面。
[0010]在本发明的语境中，术语“在所述图像中确定用户感兴趣的位置”应被理解为在所述图像中确定所述用户目前感兴趣的位置。这可以通过，例如注视跟踪装置或跟踪鼠标指针的坐标的装置来完成。换言之，所述方法步骤在所显示的病理图像中选择所述用户感兴趣的坐标。
[0011]在本发明的语境中，术语“个体生物学对象”可以被视为生物学实体，例如细胞，或者细胞的部分，如细胞核、细胞的细胞膜和/或细胞质。其中所述细胞可以具有不同性质，例如脂肪细胞、肌细胞、血细胞、肿瘤细胞、组织细胞、器官细胞、皮肤细胞或任意其他细胞。术语“对象”在被用于本发明的语境中时，意指上文定义的“个体生物学对象”。此外，在例如乳腺癌图像的情况中，术语“个体生物学对象”可以被理解为具有一圈细胞的小管(tubili),即意指细胞的特殊聚合体。
[0012]所述感兴趣对象可以为最接近所述感兴趣位置的对象，但在所述感兴趣对象的确定中还可以考虑其他标准，例如所述对象的大小。在两个或多个感兴趣对象不具有到所述感兴趣位置的相同或大体相同的距离，并且一个对象在焦内而另一个对象不在焦内的情况中，本发明能提供调节所述焦平面，从而使在焦外的所述对象入焦。额外地如果期望的话，可以通过所述方法或由用户确定偏差阈值，在所述偏差阈值以下到大体等距的对象被本发明当作是等距的。
[0013]本发明与现有技术的第一个显著差别在于，本发明是基于经计算的感兴趣的个体生物学对象而不是基于图像数据的整体内容来调节用于向用户显示病理数据图像的焦平面的。所述感兴趣对象是通过计算被定义或确定的，并且为如上文以及在以下描述的个体生物学对象。
[0014]现有技术使用平均参数，这可能导致焦距调节中的妥协，以如下情形告终，其中图像中包括的对象中没有一个是被完全锐化或最大锐化地显示的。
[0015]与现有技术相反，本发明克服了所述缺点。由于基于先前确定的感兴趣位置确定所述感兴趣的个体生物学对象，根据本发明的所述方法基于不只一个个体生物学对象(例如个体细胞或细胞核)进行焦距调节的决定。本发明的所述方法还涉及基于先前确定的感兴趣的个体生物学对象来调节所述显示。例如，可以选择焦平面用于调节所述显示，该焦平面使所计算的感兴趣对象的锐度最大化。因此，所提供的方法确保在锐度方面以最优方式向用户显示至少一个个体生物学对象。
[0016]换言之，所提供的方法计算针对所计算的感兴趣的个体生物学对象的最佳焦平面，其明确地导致所述感兴趣对象的锐利光学表示。因此，通过本发明，避免了在数字病理图像中所显示的个体生物学对象的锐度方面的妥协。[0017]可以以各种方式执行计算所述多个对象中哪个个体生物学对象为感兴趣对象的所述步骤，这将在后文中进行解释。例如，对于图像中包括的至少两个个体生物学对象(如两个细胞或细胞核)，可以计算它们到已确定的感兴趣位置的相应距离。然后可以基于到所述感兴趣位置的最短距离，决定所述至少两个对象中的哪个为所述感兴趣对象。随后的焦距调节则基于所定义或计算的感兴趣对象。
[0018]根据本发明的另一个示范性实施例，计算所述感兴趣对象的步骤包括针对所述多个对象中的至少两个对象计算所述两个对象哪个具有到所确定的感兴趣位置的最小距离的步骤，其中，具有所述最小距离的所述对象为所述感兴趣对象。
[0019]换言之，本发明提供的方法用于自动调节数字病理图像的焦平面，呈现包括多个对象的所述图像。所述方法包括提供包括多个焦平面的三维数字病理图像数据的步骤，并且还包括将所述数字病理图像显示为图像的步骤。由此，所显示的图像具有属于所述多个焦平面中的焦平面。所述方法还包括在所述图像中确定感兴趣位置的步骤以及计算具有到所确定的感兴趣位置的最小距离的对象的步骤。其中，具有所述最小距离的所述对象为所述感兴趣对象。该实施例还包括将所显示的图像的焦平面自动调节到经调节的焦平面的步骤，这可以被视为聚焦所述个体生物学感兴趣对象的步骤。
[0020]如果期望的话，可以包括这样的步骤，其将搜索或计算区域限定到固定大小的区域，或者限定到具有递增焦距跨度的区域。即使所提供的图像数据示出或包括接近所述感兴趣位置的仅一个对象，该对象将被所提供的方法认为是所述感兴趣对象。换言之，在扫描所述感兴趣位置的局部环境的步骤中将对象认为是遇到的第一个对象可以是足够的。
[0021]因此，所提供的方法可以额外地包括这样的步骤，扫描所述感兴趣位置的局部环境可以是足够的。
[0022]换言之，可以用包括一个对象的数据执行所提供的方法，并且也能用包括多个对象的数据执行所提供的方法。这将在后文得以详细描述。
[0023]在本发明的语境中，术语“经调节的焦平面”应被理解为在关于所计算的感兴趣的个体生物学对象调节聚焦情况期间，由所述设备从所述多个焦平面中选择的最优焦平面。
[0024]其中，术语“感兴趣位置”应被理解为所述图像内这样的位置，所述位置是用户在看所述图像时实际感兴趣的位置。其中术语“用户看所述图像”在本发明的语境中也可以被理解为计算机程序或计算机算法，其以合适的焦平面在所述数据上运行。
[0025]此外，术语“最小距离”在本发明的语境中应被理解为在二维平面中测量的，或者可以在三维平面中测量的，从感兴趣位置到相应的对象的距离，包括关于到当前焦平面的距离的信息。这种距离测量，例如可以从以下图2中获悉。所述测量也可以考虑所述感兴趣位置到图2的第三个未知维度中的所述对象的距离。其中可以使用关于到当前焦平面的距离的信息。
[0026]此外应注意，并非针对所述图像包括的所述多个对象的每个对象，都必须需要计算相应的距离。本发明也应用于这样的模式，其中仅部分地计算一组对象中哪个对象距所述感兴趣位置的相应的距离是所述组中最小的。可以通过分离和选择步骤在之前选择这样的组，将在后文详细描述。
[0027]此外，可以运算所述“经调节的焦平面”以寻找、选择和/或定义最佳焦平面，所述最佳焦平面使所述感兴趣对象的锐度最大化，并因此改善所显示的关于用户感兴趣的图像的聚焦。在本发明的语境中，术语“锐度”因此可以被理解为“光学锐度”。
[0028]此外，所述多个对象中的每个可以被关联到所提供的数字病理数据集的所述多个焦平面中的一个焦平面。此外，所述对象与所述焦平面之间的所述关联为，使得在选择用于显示所关联的/对应的对象的焦平面时，以锐利且适当的方式显示该对象。换言之，所述对象位于被关联到所述相应对象的所述焦平面中。
[0029]此外，应理解所述图像包括所述对象的相应图像，然而在本发明的语境中，以对本领域技术人员而言清楚的方式使用术语“所述图像包括多个对象”。
[0030]尤其在组织病理图像数据(其为3D数据)的情况中，本发明实现其优点，因为通过三维描绘(例如)松散细胞，提供了改进的自动聚焦。所述优点将从以下描述变得更清楚。
[0031]通过执行所提供的方法，自动调节焦距，以获得针对用户指示的位置的最优聚焦。所述用户可以为，例如期望快速且容易地滚动所显示的数字病理学图像的病理医师。作为针对该感兴趣位置的指示符，例如可以使用鼠标指针。在所述情况中，所述病理医师使用所述鼠标指针，以指示所述感兴趣位置。在包括细胞的图像的情况中，以这样的方式调节焦距，使得最接近所述鼠标指针的细胞或多个细胞焦距对准。其中，所述细胞应被理解为由所述数字病理图像包括的对象。作为对鼠标指针的备选，作为针对所述感兴趣区域的指示符，可以使用在例如屏幕上观看的位置。用户观看的所述位置可以通过，例如自动注视跟踪步骤或系统得以确定。因此，提供与自动聚焦调节或数字病理图像组合的准确自动注视跟踪。分析(例如)包括多个细胞的图像的病理医师可能很大程度上依赖于对图像的焦距的恰当且精确的调节。这样的反馈或自动注视跟踪与对数字病理图像的自动焦距调节的组合对于用标准显微镜的分析而言是不可能的。然而，本发明克服了现有技术的该缺陷，如在上文中所描述。
[0032]这样提供的方法的优点在于，最优焦平面值的偏差被限制到病理医师感兴趣的位置。因此，需要较少的计算工作量并且实现较快的聚焦。
[0033]换言之，本发明可以被描述为:在图像中确定病理医师感兴趣的位置，识别对应的细胞或感兴趣对象，运算优化所述细胞或所述对象的聚焦的焦平面，并且在所运算的焦平面将所述图像可视化。其中，术语“运算(computing)”应被理解为计算(calculating)。
[0034]在本发明的语境中，所述三维数字病理图像数据可以在例如屏幕上以二维形式显示给用户。
[0035]所提供的方法由于实施了反馈，因而可以被视作用于自动调节数字病理图像的焦距的智能方法，所述反馈考虑了用户的实际期望的感兴趣位置。可以在所述用户从一个期望位置改变到另一个时，实时进行这种调节。所述反馈将在后文中得以详细描述。
[0036]在所述个体生物学对象被定义为具有到感兴趣位置的最小距离的一个的情况中，所提供的方法明确地决定必须从来自所述图像数据的所述多个焦平面选择哪个焦平面。所述决定能够确保不选择中间的焦平面。因此，本发明避免了焦距被调节到所述三维数据中这样的高度，其中所述对象中没有一个被恰当显示。与现有技术的该缺点相比，本发明明确地确定到所确定的感兴趣位置的最接近对象，并且通过选择对应的焦平面聚焦最接近的所述对象。其中，所选的焦平面使得显示期间所定义的感兴趣对象的锐度最大化。换言之，所选的焦平面对应于先前定义的感兴趣对象，或者与所定义的感兴趣对象相关联。
[0037]额外的或备选地，由用户手动改变焦平面的步骤可以作为所提供的方法的部分。其中，可以关于预先显示的焦平面向上或向下移动所述焦平面。其中“向上”和“向下”描述通过三维数据的方向并且指示所述对象内或所述三维数据内的高度。因此，例如由用户执行的精细调节的步骤可以被视作所提供的方法的额外的可能。
[0038]所述三维数字病理图像数据一般可以为病理图像数据或组织病理图像数据和/或尤其是分子病理数据。在所述情况中，用于自动调节焦平面的智能方法可以尤其有价值。
[0039]在又一实施例中，如果期望的话，可以额外地包括确定所述多个对象中的哪个对象对应于所确定的感兴趣位置的备选步骤。
[0040]此外，计算所述多个焦平面中的哪个焦平面优化所述感兴趣对象的锐度，用于显示的所述步骤也可以备选地被包括在所提供的方法中，作为另一个示范性实施例。这样的计算可以导致用于显示期望的感兴趣对象的最优焦平面。
[0041]根据本发明的另一个示范性实施例，所述方法还包括计算所提供的图像数据的多个对象中的至少两个对象的步骤，所述两个对象具有、示出或呈现到所确定的感兴趣位置的最小距尚。
[0042]换言之，所提供的三维数字病理数据包括或描绘针对其计算到所确定的感兴趣位置的相应距离的至少两个对象。基于两个结果，在所述两个结果之间进行比较。可以自动地做出决定，以决定两个对象中的哪一个为所述感兴趣对象，并且可以执行到所述对象上的自动聚焦。当然，这可以针对多于两个对象执行。
[0043]根据本发明的另一个示范性实施例，所述方法还包括计算至少两个对象的空间范围的步骤，其中，计算所述最小距离的所述步骤包括确定所述相应对象的所述空间范围与所述感兴趣位置之间的相应距离的步骤。
[0044]由此，术语所述相应对象的所述空间范围与所述感兴趣位置之间的距离应被视作
最小距离。
[0045]通过计算所述至少两个对象的空间边界的体积或空间范围或坐标，以快速且有效的方式执行计算到所确定的感兴趣位置的最小距离的所述步骤。例如，所述图像的像素可以被用于描述对象的空间边界，可以在到所述感兴趣位置的距离的计算期间使用所述像素。
[0046]根据另一个示范性实施例，所述方法还包括将最接近相应像素位置的对象分配到所显示的图像的像素位置，以及将相应焦平面分配到所述像素位置的步骤，所述焦平面优化最接近对象的锐度。
[0047]在另一个示范性实施例中，先前描述的实施例可以还包括以下步骤中的一个或几个:生成分配数据集，存储所述分配数据集，从所确定的感兴趣位置定义感兴趣的像素位置，针对所述感兴趣的像素位置从所述分配数据集检索所分配的焦平面，以及在自动调节的步骤期间将所检索的焦平面用作经调节的焦平面。如果期望的话，本领域技术人员可以使用所述步骤的任意组合。换言之，该实施例将相应焦平面分配到所有或几个像素位置，所述相应焦平面优化图像位置处的焦距，并将该信息存储在(例如)查找表中。大体上，这可以被视作分配数据集。此外，该实施例在所述图像中确定病理医师感兴趣的位置，该步骤对应于确定所述感兴趣位置。此外，该实施例从所述分配数据集(例如从所述查找表)检索最优焦平面，并在所检索的焦平面可视化所述图像。该实施例的优点可见于能离线完成那些计算。对所述数据的离线预处理能减少运行时间/可视化期间算法的计算负担。[0048]如例如可以从图4获悉，在分配数据集中建立或生成所显示的图像的像素、到每个像素的最接近对象与针对该最接近对象的最优焦平面之间的清楚关联。换言之，通过选择所述图像的一个像素，以及通过参阅先前确定的分配数据集，用户或者计算机系统也能够检索哪个对象为所述感兴趣对象，例如最接近对象，以及哪个焦平面要被用于以恰当且锐利的方式向诸如病理医师的用户显示所述感兴趣对象。
[0049]此外，本发明可以针对用于松散细胞分析的方法，其中所显示的数字病理图像包括细胞或细胞的部分(如细胞核)作为对象。
[0050]此外，应注意，针对上文和下文描述的本发明的实施例，提供自动聚焦调节，其是以这样的方式被执行的，即在显示的步骤期间使感兴趣对象的光学锐度最大化。换言之，在显示所述图像时提供反馈行，该反馈行被提供有关于最优焦平面的信息，所述信息是基于实际感兴趣位置计算的。这样的感兴趣位置是借助于，例如注视跟踪，来确定的。这可以被视作在图像中跟踪用户正在看的位置。此外，该确定能备选地基于分析屏幕上在所述图像上移动的鼠标指针的特性。
[0051]根据本发明的另一个示范性实施例，提供用于显示图像以及用于数字病理图像的自动焦平面调节的设备。所述设备包括被配置为接收三维数字病理图像数据的接收装置，所述图像数据包括多个焦平面。所述设备还包括显示装置，其被配置为将所述数字病理图像数据作为图像显示给例如像病理医师的用户。其中，所显示的图像具有一焦平面，其为所述多个焦平面中的焦平面。所述设备还包括确定装置，其被配置为确定所述图像中的感兴趣位置。作为范例，所述确定装置可以被实施为注视跟踪装置或被实施为运动跟踪装置，如将在后文被描述并且已在前文描述。所述设备还包括计算装置，其被配置为计算所述图像中包括或示出的哪个个体生物学对象为所述感兴趣对象。例如，可以考虑哪个对象具有到所确定的感兴趣位置的最小距离。此外，所述设备包括调节装置，其被配置为基于所计算的感兴趣对象，自动将所显示的图像的焦平面调节到经调节的焦平面。所述调节装置因此可以被配置为基于对所述感兴趣对象的所述计算的结果，聚焦所述感兴趣对象。
[0052]这样的设备可以被实施为，例如计算机或也可以为显示器或屏幕，其包括上面解释的装置。
[0053]根据本发明的另一个示范性实施例，一种用于自动调整包括多个对象的数字病理图像的焦平面的程序单元，所述程序单元在被处理器运行时，适于进行以下步骤:所述步骤为确定所述图像中的感兴趣位置。进一步地所述步骤为计算所述多个对象中的哪个个体生物学对象为所述感兴趣对象，以及基于所计算的感兴趣对象，将所显示的图像的焦平面自动调节到经调节的焦平面。在执行所述步骤时，执行对所述感兴趣对象的聚焦。
[0054]由此，术语“程序单元”可以被视为完整的计算机程序，或者也可以被视为计算机程序的部分。这样的计算机程序的部分可以被下载并被集成在已有计算机程序中，作为能够执行本发明的更新。
[0055]根据本发明的另一个示范性实施例，提供一种计算机可读介质，在其中存储用于自动调整包括多个个体生物学对象的数字病理图像的焦平面的程序单元，所述程序单元在被处理器运行时适于进行:确定所述图像中的感兴趣位置，计算所述多个对象中的哪个个体生物学对象为感兴趣对象，并基于所计算的感兴趣对象，将所显示的图像的焦平面自动调节到经调节的焦平面。在执行所述步骤时，执行对所述感兴趣对象的聚焦。[0056]所述计算机可读介质可以被视作存储介质，例如USB盘、CD、DVD、数据存储设备、硬盘，或者上文描述的程序单元能被存储于其上的任意其他介质。
[0057]本发明的主旨可以被视作提供一种能够将来自用户的行为的反馈(例如通过注视跟踪)，耦合到实际图像的焦距表示，并且关于焦平面相应地调节成像设置的智能自动聚焦方法与设备。所述调节是以这样的方式被执行的，即所述焦平面被选择为优化并锐化先前确定的实际感兴趣对象。
[0058]本发明的这些以及其他方面将从后文描述的实施例而变得明显，并且将参考所述实施例得以阐明。
【专利附图】

【附图说明】
[0059]将在以下附图中描述本发明的示范性实施例。
[0060]图1示意性示出了根据本发明的示范性实施例的方法的流程图。
[0061]图2示意性示出了数字病理图像，其中根据本发明的示范性实施例计算从感兴趣位置到所述图像的几个个体生物学对象的相应距离。。
[0062]图3示意性示出了根据本发明的示范性实施例的对两个个体生物学对象的空间范围的计算。
[0063]图4示意性示出了根据本发明的示范性实施例的分配过程。
[0064]图5示意性示出了根据本发明的示范性实施例的方法的流程图。
[0065]图6A和图6B示意性示出了根据本发明的方法的两个不同实施例。
[0066]图7示意性示出了根据本发明的示范性实施例的设备。
[0067]图8示意性示出了能结合本发明使用的数字病理图像。
【具体实施方式】
[0068]图1示出了根据本发明的示范性实施例的用于自动调节数字病理图像的焦平面的方法的流程图。用于所述方法的所述图像包括多个个体生物学对象。所描绘的方法包括提供包括:多个焦平面的数字病理图像数据的步骤Si，以及作为第二个步骤将所述数字病理图像数据显示为图像S2。由此，所显示的图像具有来自所述多个焦平面的焦平面。作为进一步的步骤，在所述图像中确定用户感兴趣的位置(S3)被描绘为步骤S3。步骤S4描述计算所述多个对象中的哪个个体生物学对象为感兴趣对象的步骤。该计算也可以被实施为决定所述多个对象中的哪个对象最接近所确定的感兴趣位置。例如，具有最小距离的对象可以被定义为所述感兴趣对象。也可以使用其他标准。此外，包括基于所计算的感兴趣位置，自动调节所显示的图像的焦平面到经调节的焦平面。换言之，在调节所述焦平面时执行聚焦所述感兴趣对象的步骤。在执行所述步骤时，执行聚焦所述感兴趣对象的步骤。
[0069]所述三维数字病理图像数据描述三维数字对象。该数据可以被视作通过(例如)医学成像装置或在病理学或组织病理学中使用的成像装置而生成的成像数据。
[0070]图1的所提供的方法克服了现有技术的几个缺点。由于基于所确定的感兴趣位置，确定感兴趣的个体生物学对象，根据本发明的所述方法在针对焦距调节的决定上仅基于一个个体生物学对象，例如个体细胞或个体细胞核。本发明的所述方法还针对基于所确定的感兴趣的个体生物学对象调节所述显示。例如，所述焦平面可以被选择用于调节所述显示，该焦平面使所计算的感兴趣对象的锐度最大化。结果，所提供的方法确保了以在锐度方面最优的方式，向用户显示至少一个个体生物学对象。换言之，所提供的方法实现针对所计算的感兴趣对象的对最佳焦平面的计算，其明确地导致所述感兴趣对象的锐利光学表示。因此，通过所提供的方法，避免了在数字病理中显示的个体生物学对象在锐度方面的妥协。
[0071]作为未被示出的额外的步骤，图1的所述方法可以包括将所述多个对象中具有最小距离的至少两个对象中的对象定义为感兴趣对象的步骤。
[0072]此外，自动调节的所述步骤S5可以被理解为选择所述多个焦平面中的一个焦平面，并由此使在(例如)屏幕上所显示的表示中所述感兴趣对象的锐度最大化。换言之，提供决定的步骤，其中自动地决定被存储在数字病理图像数据中的焦平面中的哪个以最锐利的方式图示所述感兴趣对象。可以自动地选择作为最优焦平面的该焦平面。结果，可以通过图1的所提供的方法，相应地调节所述数据的显示。
[0073]结果，图1中描绘的所述方法因实施了反馈而提供了一种用于自动调节数字病理图像的焦距的智能方法，该反馈考虑到用户的实际期望的感兴趣位置。由于关于感兴趣对象自动做出的决定，所提供的方法明确地决定必须要从来自所述图像数据的所述多个焦平面中选择哪个焦平面。所述决定能够确保没有选择中间的焦平面。因此，本发明避免了将焦距调节到所述三维图像数据内这样的高度，在该高度中，没有一个对象被恰当显示。与现有技术的该缺陷相比，本发明通过选择对应的焦平面，明确地确定了所述感兴趣对象以及到所述感兴趣对象的焦距。其中，所选择的焦平面在显示期间使所定义的感兴趣对象的锐度最大化。换言之，所选择的焦平面对应于先前定义的感兴趣对象，或者与所定义的感兴趣对象相关联。
[0074]并非针对所述多个对象中的每个对象，均强制计算相应的距离。本发明也可应用于这样的模式，其中对最优平面的计算或选择是基于对来自被包括在所述数据中的所述多个对象中仅一小组的对象所计算的距离。
[0075]换言之，借助于图1所提出的方法，使得正观察被显示图像的用户能够通过改变所述感兴趣位置，从一个焦深导航到另一个焦深。能够在改变所述感兴趣位置的同时，自动地实时为所述用户提供该导航。进一步地，这能由所述用户(例如)通过将他的注视指向另一个感兴趣对象从而相应地修正焦距调节而完成。形成这样的方法的设备在该情况中将提供注视跟踪装置。独立于被用于确定所述感兴趣位置的方法，本发明提供了基于作为所述感兴趣对象的实际期望的个体生物学实体来显示所述图像。
[0076]图1中描绘的所述方法可以在以下方面得以扩展。可以额外的执行从所述多个对象选择一组对象的步骤，所述组由减少的数量的对象组成。在图2中借助于新的步骤SlO描绘该步骤。可以由计算机自动执行该步骤。但由用户手动选择也是可能的。
[0077]作为第一种扩展可能，选择一组对象的步骤SlO可以包括以下步骤:定义组成员的最大数目X，检查所述感兴趣位置的最近周围，并且在该周围中确定X个对象。
[0078]作为第二种扩展可能，选择一组对象的步骤SlO可以包括以下步骤:将所述感兴趣位置周围的环形区域分成几个区段，在每个相应区段中确定最接近的对象，以及针对所有区段中的相应最接近的对象执行步骤S4或S6。
[0079]作为第三种扩展可能，选择一组对象的步骤SlO可以包括以下步骤:在所述感兴趣位置的周围定义具有预定义的第一尺寸的环形、矩形或角状区。
[0080]因此，在如上所述的每种可能中，针对该区中的对象分别执行步骤S4或S6。
[0081]在所述第一区中没有对象的情况中，可以执行自动增大所述尺寸到第二预定义尺寸的步骤。在该情况中，达到到所述感兴趣位置周围的第三、第四以及更多区的逐步增加，直到足够的对象落入或位于所述区中。此后，可以执行步骤S4或S6。然而，如果在尺寸定义的较早阶段，有足够的对象落入该区，则可以执行步骤S4或S6。
[0082]换言之，图1中提供的所述方法在所述图像中确定诸如病理医师的用户感兴趣的位置。也可以分析电脑鼠标的移动。所述位置信息可以为对鼠标指针的(x，y)坐标的简单且直接的解读。可以基于对鼠标移动、运动模式的分析或者通过考虑鼠标/键盘按钮进行更智能的解读。
[0083]可以借助于注视跟踪技术来自动识别监视器上病理医师正观看的位置。类似于鼠标指针，可以以简单直接的方式，或更为智能的方式解读注视跟踪数据的读出。
[0084]独立于如何确定所述位置，最优焦距可以取决于病理医师正观看的对象。所确定的位置可能经历测量不准确。例如，在需要分析核的染色质结构时，人们想要将焦点保持在核区域上。鼠标指针或注视到核的紧邻域的定位应足以在表示(即显示)的光学焦距方面锁定到所述核上。如果病理医师观看小管结构人可能只能从标示小管的核或从小管内部的核(如果所述小管结构扭曲)的获得恰当聚焦。
[0085]使所确定的位置围绕最近的感兴趣结构，将增加可视化的相关性和鲁棒性两者。对于大多数应用，在最近的核上聚焦将是足够的。然而，人们可能想要针对不同的应用实施不同的操作模式。
[0086]可以从在以多焦平面获得的感兴趣区域的图像数据，自动计算提供针对所述感兴趣对象的最优焦距的焦平面。
[0087]可以通过将新获得的所述焦平面的值解析到查看程序来完成在所计算的焦平面上对所述图像区域的可视化。这些方面可以被集成在图1中描绘的本发明的实施例中。
[0088]图2示意性示出了包括多个对象201a、201b、201c和202的数字病理图像109。感兴趣位置203由十字形指示，其例如可以为由正在屏幕上观看图像109的用户使用的电脑鼠标的鼠标指针。箭头204指示针对三个对象201a至201c，由本发明提供的实施例计算到感兴趣位置203的相应距离。在图2所示的范例中，因此将具有到感兴趣区域的最小距离的对象定义为最接近的对象，其在该情况中为对象201b。所述对象例如可以为细胞核。
[0089]对象201a至201c的组周围的虚线205指示，针对其排他地执行计算程序的一组对象。距感兴趣位置203更远的对象202被计算步骤S4排除。步骤S4已在之前描述的图1中得以解释。因此，由于需要更少的计算时间或计算步骤，对最优平面的计算以及对用于显示病理图像108的焦平面的调节得到改进。本文中描述了并且用步骤SlO描绘了对一组对象的这种选择，所述组由来自诸如细胞核的所述多个个体生物学对象的减少的数量的对象组成。该步骤可以由计算机自动执行。由用户手动选择也是可能的。
[0090]图3示意性示出了具有对象202的数字病理图像109，对象202未被用于计算距离。因此用于选择焦平面的决定仅基于对对象300a和300b的分析。所述对象被用于计算到感兴趣位置203的相应距离。箭头204指示所述相应距离。此外，可见计算对象300a和300b的空间范围，以执行计算到所述感兴趣位置的距离的步骤。作为其变型，可以通过例如将像素分配给定义相应对象的外表面的线301和302来计算对象300a和300b的空间边界。也有可能使用每个对象的相应中心来计算到所述感兴趣位置的相应距离。
[0091]上述对象201a、201b、201c，以及300a和300b应被理解为如权利要求和上文，以及之前描述的本发明的实施例中定义的所述多个对象中的至少两个对象。
[0092]图4示意性描绘了数字病理图像109，其中所述图像包括三个对象400、401和402。例如这些对象可以为松散细胞对象或细胞核。此外，还示范性示出了图像109的像素404至406。一般地所述像素为所述数据的光学表示的部分。此外，感兴趣位置203被象征性描绘为十字形。可以在之前已经通过注视跟踪或鼠标指针分析或某种不同方式确定所述感兴趣位置或区域。
[0093]此外，图4示意性示出了本发明的示范性实施例，其中一种方法包括将所述对象分配到所显示的图像108的像素位置，该对象被计算为到相应像素或像素位置的最接近对象。在该情况中，所述感兴趣位置为由所述用户定位在像素407处的十字形203。作为范例，在确定所述感兴趣位置之前，可以发生后文描述的分配过程。如可见，对象401最接近像素407。因此，通过所提出的方法执行在分配数据集408中的条目，在所述方法中将像素407与对象401和焦平面I相关联。其中，由于对象401使用焦平面I得以以最大聚焦的方式被显示，因而发现焦平面I为针对所述像素407的最优焦平面。分配数据集408包括针对焦平面的缩写FP。
[0094]可以针对几个像素或像素位置，或者也可以针对所述图像的所有像素或像素位置，完成该操作。分配数据集408可以额外地被存储在如将在下文解释的设备中的数据库中。在将所述图像显示给用户时，可以确定在这里用符号203示范性示出的感兴趣位置。可以通过本文中描述的示范性实施例的所述方法，执行对具有对应像素407的感兴趣位置203的识别。此后，执行检索步骤，在其中检索针对感兴趣的像素位置407的来自所述分配数据集的所分配的焦平面，作为对用于选择感兴趣位置的输入的反馈。因此，所检索的焦平面FPl被用于在如参考图1详细解释的自动调节的步骤S5期间，调节所述焦平面。
[0095]图5示意性地示出了本发明的另一个示范性实施例。描绘了一种流程图，在其中执行用于自动调节具有多个个体生物学对象的数字病理图像的焦平面的方法。在第一个步骤Si中，提供三维数字病理图像数据。随后，执行对所述感兴趣对象的计算或确定。该步骤是在图5的步骤S4中得以执行的。步骤S15描述了将最接近相应像素位置的对象分配到所显示的图像的像素位置，以及将优化或锐化最接近的所述对象的相应焦平面分配到所述像素位置。通过这么做，可以在步骤S20期间生成分配数据集，如果期望的话可以备选地在步骤S21中存储该数据集。然而，如果期望的话，也可以在步骤S4之前或步骤S2之后执行步骤S15、S20和S21。
[0096]当在步骤S2中将所述数字病理图像数据作为图像显示给用户时，可以在步骤S3中确定所述图像中的感兴趣位置。步骤S3可以包括几种技术实施例，例如注视跟踪或解读鼠标指针在数字病理图像的所显示的图像上的坐标X和I,分析鼠标指针在数字病理图像的所显示的图像上的运动模式，和/或它们的任意组合。
[0097]在知晓所述感兴趣位置时，可以在步骤S16中定义其感兴趣的像素位置。此后，可以在步骤S17中执行从已有的分配数据集检索针对感兴趣的像素位置所分配的焦平面。在所述方法执行所显示的图像的焦平面到经调节焦平面的自动调节S5从而聚焦所述感兴趣对象时，执行步骤S18。在步骤S18中，所检索的焦平面被用作经调节的焦平面，以在焦距方面优化所述感兴趣对象的显示。该实施例的优点可以视为可以离线完成那些计算(calculation)或运算(computation)。
[0098]图5中所描绘的方法的主旨可以被视作提供一种这样的自动聚焦方法，所述自动聚焦方法能够例如通过注视跟踪，将来自用户行为的反馈耦合到图像的实际焦距表示，并且关于焦平面相应地调节成像或显示设置。以这样的方式执行所述调节，使得选择这样的焦平面，该焦平面优化并锐化先前确定的实际感兴趣对象。
[0099]图6A和图6B分别描绘了根据本发明的方法的示范性实施例。前三个步骤SI至S3是针对在图6A和图6B中描述的两个方法共同执行的。这些步骤SI至S3已关于图1被详细描述，从其能从图1获悉。如图6A中描述的用于自动调节数字病理图像的焦平面的方法提供了在步骤S8中自动跟踪所述用户的注视的步骤。此后，执行对所述多个对象中哪个个体生物学对象为所述感兴趣对象S4的计算。此外，如关于图1所描述地执行步骤S5。
[0100]与图6A相比，图6B中所示的所述方法的示范性实施例包括步骤S9,在其中执行分析电脑鼠标的指针的移动的步骤。步骤S9可以还包括在所显示的所述数字病理图像数据的图像上解读所述鼠标指针的坐标X和y。备选地或额外地，S9可以包括分析鼠标指针在所显示的所述数字病理图像数据的图像上的运动模式。随后，执行如关于图1所描述的步骤S4和S5。
[0101]图7示意性示出了用于显示图像以及用于数字病理图像108的自动焦平面调节的设备100。该设备包括考虑了对用户的实际期望的感兴趣位置的反馈。因此，所提供的设备实现了执行自动调节数字病理图像的焦距的智能方式。示出的显示器包括接收装置101，其被配置为接收三维数字病理图像数据102。这样的接收装置可以被实现为例如设备100的母线、端口或连接器。例如，设备100可以包括USB端口作为接收装置101。接收装置101可以被视作设备100的接口，该接口提供对三维数字病理图像数据102的接收。所述图像数据包括多个焦平面。这里，所述数据被示出在计算机可读介质108上，计算机可读介质108被连接到所述设备的接收装置101。此外，还示出显示装置103，其可以被实现为，例如屏幕、显示器、液晶显示器(IXD)设备、发光二极管(LED)设备、有机发光二极管(OLED)设备或者例如投影机。示出了确定装置104，其被配置为在该图像中确定感兴趣位置。确定装置104可以被配置为例如注视跟踪装置(其被配置为自动跟踪所述用户的注视)，或者被配置为例如运动跟踪装置(其被配置为自动跟踪鼠标的指针)。可见，经由线将确定装置104与显示装置103以及与图像108连接。该线象征性地描述了确定装置104可以接收输入信号，确定装置104基于所述输入信号确定所述实际期望的感兴趣位置。换言之，确定装置104被配置为与显示装置103通信。这样的输入可以被提供为跟踪注视信号，或作为鼠标指针的坐标，或作为鼠标指针的运动路径。确定装置104也可以被配置为直接与调节装置106或与计算装置105通信。
[0102]计算装置105 (其可以被实现为处理器或CPU)被配置为针对所述多个对象中的至少两个对象计算所述两个对象中的哪个具有到所确定的感兴趣位置的最小距离。由此，可以将具有所述最小距离的所述对象定义为感兴趣对象。此外，所示出的调节装置106被配置为将所显示的图像的焦平面自动调节到经调节的焦平面，由此聚焦所述感兴趣对象。调节装置106也可以为计算装置105的部分，并且因此也可以被实现为处理器或CPU。例如计算装置105和调节装置106可以被实现为这样的处理器，其针对所述多个对象中的至少两个对象计算具有相对于所确定的感兴趣位置的最小距离的那个。此后，这样的处理器可以确定相应的焦平面(其使所计算的感兴趣对象的锐度最大化)，并且调节显示装置103以用所确定的焦平面显示所述图像。然而，调节装置106和计算装置105也可以如图7中所示的为分开的部件。换言之，设备101提供用于对图像的焦平面的调节的智能反馈回路，可以经由确定装置104馈送该反馈回路。确定装置104可以通过使用注视跟踪或通过分析鼠标指针在所显示的图像上的运动模式，基于对实际期望的感兴趣位置的实际测量，定期地或不定期地执行对所显示的图像关于焦距的更新。
[0103]图8示出了数字病理图像109，其可以被视作组织样本内的焦距变化的范例。在右手边示出以20倍放大观察的放大窗口。所描绘的细胞核700具有适当的焦距。换言之，焦平面针对对象700进行了正确的调节。然而，如从右手边的放大窗口可见，仅核701在焦内，并且相邻的核702严重脱焦。借助于观看核702，或者通过用鼠标点到核702上，根据本发明的所述方法和所述设备以这样的方式执行自动焦平面调节，即将锐利地且以恰当的焦距，自动且快速地显示核702。
【权利要求】
1.一种用于自动调节数字病理图像的焦平面的方法，所述图像包括多个个体生物学对象，所述生物学对象例如为细胞，所述方法包括以下步骤: 提供包括多个焦平面的三维数字病理图像数据(Si)， 将所述数字病理图像数据显示为一图像(S2)， 其中，所显示的图像具有属于所述多个焦平面中的一焦平面， 在所述图像中确定用户感兴趣的位置(S3)， 计算所述的多个对象中的哪个个体生物学对象为感兴趣对象(S4)，并且 基于所计算的感兴趣对象，将所显示的图像的所述焦平面自动调节至经调节的焦平面(S5)。
2.根据权利要求1所述的方法， 其中，计算所述感兴趣对象的所述步骤(S4)包括以下步骤: 针对所述的多个对象中的至少两个对象计算所述两个对象中的哪个具有到所确定的感兴趣位置的最小距离(S6)，并且 其中，具有所述最小距离的所述对象为所述感兴趣对象。
3.根据前述权利要求1或2中任一项所述的方法，所述方法还包括以下步骤: 从所述多个焦平面中确定 优化所述感兴趣对象的锐度的焦平面(S7)。
4.根据前述权利要求1至3中任一项所述的方法， 其中，在所述图像中确定感兴趣位置的所述步骤(S3)包括以下步骤: 自动跟踪所述用户的注视(S8 )。
5.根据前述权利要求1至4中任一项所述的方法， 其中，在所述图像中确定感兴趣位置的所述步骤(S3)包括以下步骤: 分析计算机鼠标的指针的移动(S9 )。
6.根据前述权利要求2至5中任一项所述的方法，所述方法还包括以下步骤: 选择一组对象(S10)，所述组包括所述多个对象中减少的数量的对象，并且 其中，仅针对所选的一组对象执行计算所述最小距离的所述步骤(S6)。
7.根据前述权利要求2至6中任一项所述的方法，所述方法还包括以下步骤: 计算至少两个对象的空间范围(S11)，并且 其中，计算所述最小距离的所述步骤(S6)包括以下步骤: 确定相应对象的空间范围与所述感兴趣位置之间的相应距离(S12 )。
8.根据前述权利要求1至7中任一项所述的方法，所述方法还包括以下步骤: 定义所述至少两个对象中每个的空间边界(S13)，并且 确定从相应空间边界到所述感兴趣位置的相应距离(S14)。
9.根据权利要求1所述的方法，还包括步骤: 为所显示的图像的像素位置分配最接近相应像素位置的对象，并且为所述像素位置分配优化最接近的所述对象的锐度的相应焦平面(S15)， 从所确定的感兴趣位置定义感兴趣像素位置(S16)， 针对所述感兴趣像素位置，从分配数据集检索所分配的焦平面(S17)，并且 在自动调节的所述步骤(S5)期间，使用所检索的焦平面作为经调节的焦平面(S18)。
10.根据前述权利要求1至9中任一项所述的方法，其中，所述方法针对松散细胞分析，并且所述对象为细胞的部分。
11.一种用于显示图像以及用于对数字病理图像(109)进行自动焦平面调节的设备(100)，所述图像包括多个个体生物学对象，所述生物学对象例如为细胞，所述设备包括: 接收装置(101 )，其被配置为接收三维数字病理图像数据(102)，所述图像数据包括多个焦平面， 显示装置(103)，其被配置为将所述数字病理图像数据显示为一图像， 其中，所显示的图像具有属于所述多个焦平面中的一焦平面， 确定装置(104)，其被配置为在所述图像中确定用户感兴趣的位置， 计算装置(105)，其被配置为计算所述多个对象中的哪个个体生物学对象为所述感兴趣对象，以及 调节装置(106)，其被配置为基于所计算的感兴趣对象，将所显示的图像的所述焦平面自动调节到经调节的焦平面。
12.根据权利要求11所 述的设备，还包括 注视跟踪装置，其被配置为自动跟踪所述用户的注视。
13.根据权利要求11或12所述的设备，还包括 运动跟踪装置，其被配置为自动跟踪鼠标的指针。
14.一种用于自动调整数字病理图像的焦平面的程序单元(107)，所述数字病理图像包括多个个体生物学对象，所述生物学对象例如为细胞核，所述程序单元在被处理器运行时，适于执行: 在所述图像中确定用户感兴趣的位置， 计算所述的多个对象中的哪个个体生物学对象为所述感兴趣对象，并且 基于所计算的感兴趣对象，将所显示的图像的所述焦平面自动调节到经调节的焦平面。
15.一种计算机可读介质(108)，在所述计算机可读介质中存储了用于自动调整数字病理图像的焦平面的程序单元，所述数字病理图像包括多个对象，所述程序单元在被处理器运行时适于执行: 在所述图像中确定用户感兴趣的位置， 计算所述多个对象中的哪个个体生物学对象为所述感兴趣对象，并且 基于所计算的感兴趣对象，将所显示的图像的焦平面自动调节到经调节的焦平面。
【文档编号】G06T5/50GK103649992SQ201280034302
【公开日】2014年3月19日 申请日期:2012年6月28日 优先权日:2011年7月13日
【发明者】M·B·范莱文, J·P·温克 申请人:皇家飞利浦有限公司