用于导航堆叠的显微图像的方法和设备的制作方法
【专利摘要】本公开内容涉及用于导航堆叠的显微图像的方法和设备。一种用于在显微成像中导航图像的方法，所述方法包括：减少样本的原始图像序列的维数以用于使用全对焦图像进行导航，并且将用于导航原始图像序列和全对焦图像的用户界面提供给用户。
【专利说明】用于导航堆叠的显微图像的方法和设备
【技术领域】
[0001]本发明的实施例大体上涉及管理数字显微图像，更具体地，涉及一种用于导航堆叠的显微图像的方法和设备。
【背景技术】
[0002]在数字显微术中，整个载片图像(whole-slide image)通常米取Z叠层(Z-stack)的形式(所述Z叠层是图像的集合)，每个图像以不同的焦深拍摄。数字显微术利用虚拟载片系统，所述虚拟载片系统具有创建整个玻璃载片的数字图像文件的自动化数字载片扫描器。数字图像文件被称为整个载片图像，在一些实施例中，所述整个载片图像具有大约100，000像素X 100，000像素的空间分辨率。因此，Z叠层通常为大型数据集。由于Z叠层的大小大，所以Z叠层的导航变得繁琐和费时。对于高倍率，捕捉样本的几个切片的图像对于确保样本的对焦捕捉可能是必要的。例如，可能需要32个至64个图像。浏览和分析示例性大小为100，000X100, 000X64个像素的3D数据集对于操作者变为繁琐的任务。
[0003]因而，需要一种用于导航堆叠的显微图像的方法和设备。
【发明内容】
[0004]一种用于在显微术中导航堆叠的图像的设备和/或方法基本上如与附图中的至少一个结合所示和/或描述的那样、如权利要求中更完整地阐述的那样。
[0005]从以下描述和附图中，本公开内容的各种优点、方面和新颖特征以及本公开内容的示出的实施例的细节将被更充分地理解。
【专利附图】
【附图说明】
[0006]为了本发明的以上陈述特征可被详细地理解，可参照实施例对以上简要总结的本发明进行更具体地描述，这些实施例中的一些在附图中示出。然而，要指出，附图仅仅示出了本发明的典型实施例，因此并不被认为是本发明的范围的限制，因为本发明可认可其他同样有效的实施例。
[0007]图1描绘根据本发明的示例性实施例的用于使用数字显微镜来导航堆叠的显微图像的设备的框图；
[0008]图2描绘根据本发明的示例性实施例的示例性Z叠层；
[0009]图3描绘根据本发明的示例性实施例的图2的数字图像的五个单个切片；
[0010]图4描绘根据本发明的示例性实施例的用于为当前正被查看的内容提供上下文的概览窗口的例子；
[0011]图5描绘根据本发明的示例性实施例的关于图2和图3中所示的快照的全对焦图像(all-focus image)的例子；
[0012]图6描绘根据本发明的示例性实施例的用于使用数字显微镜来在显微术中导航图像的方法的流程图；[0013]图7描绘根据本发明的示例性实施例的用户界面的第一表现形式(manifestation)的例子；
[0014]图8描绘根据本发明的示例性实施例的用户界面的第二表现形式的例子；
[0015]图9描绘根据本发明的示例性实施例的用户界面的第三表现形式的例子；
[0016]图10描绘根据本发明的示例性实施例的用户界面的第四表现形式的例子；
[0017]图11描绘根据本发明的示例性实施例的用户界面的第五表现形式的例子；和
[0018]图12描绘根据本发明的示例性实施例的用户界面的第六表现形式的例子。
【具体实施方式】
[0019]本发明的实施例针对基本上如与附图中的至少一个结合所示和/或描述的、如权利要求中更完整地阐述的、用于在显微成像中导航图像的设备和/或方法。根据实施例，用于在显微成像中导航图像的方法包括:使用样本的全对焦图像从而减少正被导航的数据的维数，以及使用快照到聚焦特征(snap to focus feature),所述快照到聚焦特征通过从原始载片的Z叠层示出最相关图像来达到聚焦于样本的用户指定部分。
[0020]图1描绘了根据本发明的示例性实施例的用于使用数字显微镜102来导航堆叠的显微图像的设备100的框图。设备100包括数字显微镜102和计算装置104。
[0021]数字显微镜102在不同深度处捕捉样本的数字图像，以创建图像序列，即，图像的Z叠层。为了说明的目的，数字图像序列用以下表达式表示:I(X，y，z)，其中，(x，y)是空间索弓I，X=O至X -1, y=0至Y -1, Z是深度索弓I, Z=O至Z -1 [表达式A]。
[0022]在某些实施例中，数字显微镜102通过I/O接口 112与计算装置104耦合。在其他实施例中，图像叠层可由显微镜102创建，并且例如经由记忆棒、光盘、网络连接等等被间接地传送到计算装置104。
[0023]计算装置104包括中央处理单元(或CPU)106、支持电路108、存储器110和I/O接口 112。CPU106可包括便于数据处理和存储的一个或多个市售的微处理器或微控制器。各种支持电路108便于CPU106的操作，并且包括一个或多个时钟电路、电源、高速缓存、输入/输出电路等等。存储器110包括只读存储器(ROM)、随机存取存储器(RAM)、盘驱动器储存器、光学储存器、可移动储存器等等中的至少一个。
[0024]存储器110包括操作系统(OS) 114和图像导航模块116。图像导航模块116包括全对焦图像产生器118和用户界面120。在某些实施例中，用户界面120可被呈现到与I/O接口 112耦合的外部显示器。
[0025]全对焦图像产生器118产生全对焦图像。如本文中所使用的，术语“全对焦图像”是指载片上的样本的图像序列的Z叠层从三维到两维的减少，以使得结果包含对焦的整个样本。根据一个实施例，如共同转让的美国专利申请代理人案号#201003513.01中所述的，通过根据特定测量对每个图像进行加权并相应地组合加权的图像来形成全对焦图像，该申请的全部内容特此通过引用并入。全对焦图像是Z叠层中的在每个焦深处对焦的图像的部分的合成。
[0026]在操作中，计算装置104实施图像导航模块116。图像导航模块116便于使用数字显微镜102捕捉的样本的显微图像的导航。图像导航模块116允许根据用户的需要链接回到原始图像序列。[0027]图2描绘了数字显微镜102产生的示例性Z叠层200。Z叠层中的每个图像在样本中的不同深度处聚焦。数字显微镜102在不同焦深处捕捉样本的数字图像，以创建图像序列。因而，在样本的整个深度上递增焦深，以在数字图像中的至少一个中捕捉对焦的整个样本。在Z叠层中，除了空间维度X和Y之外，数字图像序列还沿着与深度对应的Z维度堆叠。
[0028]图3描绘了根据本发明的示例性实施例的来自图2的Z叠层的五个单个图像。图3示出了具有不同对焦区域的每个图像。随着用户使数字显微镜102聚焦，来自Z叠层200的不同图像被示出给用户，所述不同图像表示样本中的特定焦深和在该深度处对焦的样本部分。
[0029]图4描绘了根据本发明的示例性实施例的用于为当前正被查看的内容提供上下文的概览窗口 402的例子。
[0030]由全对焦图像产生器118产生的全对焦图像表示Z叠层中存在的全部对焦信息而没有散焦模糊。视图402示出了被缩小以示出全部样本内容的整个载片视图。根据一个实施例，视图402的被选择部分404由用户界面120的用户确定。被选择部分404在视图406中被示为被选择部分的放大视图。
[0031]图5描绘了根据本发明的示例性实施例的关于图4中所示的404中的视图的全对焦图像500的例子。全对焦图像500由如图1所示的图像导航模块116的全对焦图像产生器118产生。
[0032]图6描绘了根据本发明的示例性实施例的、如由图1的CPU106执行的图像导航模块116所进行的、用于导航显微图像的方法600的流程图。该方法从步骤602开始，并前进到步骤604。
[0033]在步骤604，方法600将用户界面提供给用户来选择由形成Z叠层的图像集组成的全对焦图像的一部分。如上所述，数字显微镜102生成两维(2D)图像序列，每个2D图像具有X和Y分量。2D图像序列被收集，并且每个2D图像被分配“Z”维度，从而形成在数字显微镜102中被查看的样本的3D表示(又被称为Z叠层)。如相关的共同转让的、美国专利申请代理人案号#201003513.01中所述的，图5中所示的全对焦图像500表示混合在一起的Z置层。
[0034]在步骤606，方法600显示来自Z叠层的在全对焦图像的被选择部分处对焦的图像。在某些实施例中，图像导航模块116便于由全对焦图像产生器118产生的全对焦图像在I/O接口 112上的用于直接浏览的表现(或呈现)。在某些使用情况场景下，如果用户在所表现的全对焦图像或概览图像(其是包含样本的整个载片的所捕捉的图像)中找到感兴趣区域，则图像导航模块116的用户界面120允许切换到原始Z叠层的与该感兴趣区域相关联的视图。
[0035]根据一个实施例，结合全对焦图像与原始Z叠层之间的调换，用户界面120仅将全对焦图像的视图提供给用户以用于最初浏览。在替代实施例中，用户界面120将分屏视图提供给用户，在分屏视图中，屏幕的一部分示出全对焦图像的窗口，屏幕的另一部分示出原始Z叠层的窗口。分屏视图的这两个窗口可重叠或不重叠。原始Z叠层的窗口可持续存在，或者它可仅在被用户指示时才可见。在又一实施例中，原始Z叠层的窗口可持续存在，或者它可仅在被用户指示时才可见。[0036]在某些实施例中，用户界面120允许用户识别全对焦图像和原始Z叠层中的至少一个中的点(X，y)或者围绕点(X，y)的区域。当点(X，y)或者围绕点(x, y)的区域被识别时，在用户界面120上呈现的Z叠层视图中，显示的图像允许切换到在点(x，y)或者围绕点(x, y)的区域处对焦最多的图像。通过下述方式来知道图像在特定点处对焦最多，即，确定Z叠层之中的哪个图像被标记为了在该位置处聚焦。如果点(x，y)具有多于一个唯一聚焦深度，则图像导航模块116便于将来自原始Z叠层数据的多个切片表现给用户。
[0037]根据一个实施例，图像导航模块116的用户界面120允许随着用户选择区域而遍历不同的对焦图像循环。在其他实施例中，图像导航模块116便于将不同意义分配给不同输入选择方法。例如，鼠标左按钮点击事件触发最多对焦切片的选择，而右按钮点击事件触发第二多对焦切片的选择。在以上所有情况下，通过任何手段(比如，键盘、鼠标、触控板、轨迹球、触摸屏、控制器手柄、基于手势的用户接口等等)来控制浏览。在以上所有情况下，图像导航模块116的用户界面120呈现概览窗口来指示主窗口的上下文。
[0038]在涉及全对焦图像和Z叠层数据两者的显示的某些实施例中，这两个图像的视点被同步，即，用于全对焦图像显示的显示器示出与用于Z叠层数据的显示器所示出的空间区域相同的空间区域。
[0039]在某些实施例中，用户界面120允许用户浏览全对焦图像，并且确保所有细节(t匕如，对焦内容)对于用户同时可见。用户界面120允许用户在两个空间维度上浏览，而没有附加的浏览第三深度维度的复杂性。用户界面120允许用户找到感兴趣的对象或区域以及访问和查看原始Z叠层数据(如果需要的话)。方法600前进到步骤608，并且结束。
[0040]在图7-12中，公开了用户界面120的不同表现形式的几个例子，但是用户界面120不限于所描绘的表现形式。
[0041]图7是根据本发明的示例性实施例的用户界面的第一表现形式700的例子。如图7所示，全对焦图像的单个窗口可见。用户界面120允许浏览全对焦图像，并且当被用户指示时，全对焦图像的窗口被切换到原始Z叠层数据。用户界面120的第一表现形式允许用户快速地找到样本中感兴趣的区域(即，区)，其后可手动地调整细焦点。
[0042]图8是根据本发明的示例性实施例的用户界面的第二表现形式800的例子。如图8所示，全对焦图像802和Z叠层804都被同时示出在同一屏幕800上。屏幕800通过包括一对窗口的矩形框指示，该对窗口中的一个用于全对焦图像802，另一个用于Z叠层804。这对窗口的视图被同步，以使得即使当图像被空间地浏览时，相同内容在这对窗口中也是可见的。
[0043]图9是根据本发明的示例性实施例的用户界面的第三表现形式900的例子。如图9所示，全对焦图像902和Z叠层904被示出在采用多显示环境的分开的屏幕上。屏幕用一对矩形框指示。左矩形框包括用于全对焦图像902的窗口，而右矩形框包括用于Z叠层904的窗口。这对窗口的视图被同步，以使得当图像被空间地浏览时，相同内容在两个窗口中可见。
[0044]图10是根据本发明的示例性实施例的用户界面的第四表现形式1000的例子。如图10所示，鼠标光标1005悬停在显示窗口 1002中的全对焦图像上方。区1006处的全对焦图像上的鼠标点击事件触发全对焦图像中的点的选择。原始Z叠层中的对于被选点对焦最多的图像切片被自动地示出在显示窗口 1002中。用户选择的部分(即，区1006)是在显示窗口 1004中被示为对焦的区1008。
[0045]图11是根据本发明的示例性实施例的用户界面的第五表现形式1100的例子。如图11所示，代替于使用全对焦图像，在显示窗口 1102中直接浏览Z叠层。感兴趣区1104在显示窗口 1102中被选择。原始Z叠层中的对于被选点(在显示1102中被描绘为区1106)对焦最多的图像切片被自动地示出在显示窗口 1102中。
[0046]图12是根据本发明的示例性实施例的用户界面的第六表现形式1200的例子。显示窗口 1202 —开始示出样本的Z叠层图像。当初始位置选择1204时，用户界面120显示在该位置1206处图像的最多对焦切片。当用户进一步选择或者指示时，用户界面120切换到在1208处具有第二多对焦切片的第二视图。此外，鼠标点击或用户的其他指示向用户界面120发信号告知继续在被选位置1208处的不同对焦切片之中或之间循环。
[0047]出于解释的目的，参照具体实施例描述了前面的描述。然而，以上的说明性讨论并非意图是穷举的或者使本发明限于所公开的精确形式。鉴于以上教导，许多修改和变化是可能的。为了最好地解释本公开内容的原理及其实际应用，选择并描述了实施例，从而使得本领域的其他技术人员能够以可能适合于所设想的具体用途的各种修改最好地利用本发明和各种实施例。
[0048]尽管前面针对本发明的实施例，但是在不脱离本发明的基本范围的情况下，可设计本发明的其他和进一步的实施例，本发明的范围由所附的权利要求确定。
【权利要求】
1.一种用于在显微成像中导航图像的方法，所述方法包括: 提供用户界面以供用户选择由形成Z叠层的图像集组成的全对焦图像的一部分；以及 显示来自Z叠层的在全对焦图像的被选择部分处对焦的图像。
2.根据权利要求1所述的方法，还包括:通过减少样本的所述图像集的维数来形成全对焦图像。
3.根据权利要求2所述的方法，其中，减少维数包括: 将原始图像序列从三维减少到两维。
4.根据权利要求3所述的方法，其中，所述减少包括: 将原始图像序列与不同焦深组合以形成全对焦图像。
5.根据权利要求1所述的方法，其中，提供用户界面包括: 呈现全对焦图像和原始图像序列中的至少一个；以及 基于被选择部分在显示全对焦图像与原始图像序列之间交替。
6.根据权利要求5所述的方法，其中，提供用户界面进一步包括: 使用分屏视图在单个显示器上不同的第一窗口和第二窗口中同时呈现全对焦图像和Z置层， 使全对焦图像的视图和Z叠层的视图同步，以使得改变全对焦图像中的感兴趣区在Z叠层中创建对应的变化，反之亦然。
7.根据权利要求6所述的方法，其中，第一窗口和第二窗口重叠或不重叠，以及其中，Z叠层的窗口持续可见或者在用户请求时可见。
8.根据权利要求5所述的方法，其中，提供用户界面进一步包括: 在分开的显示器上不同的第一窗口和第二窗口中同时呈现全对焦图像和Z叠层；以及使全对焦图像的视图和Z叠层的视图同步，以使得改变全对焦图像中的感兴趣区在Z叠层中创建对应的变化，反之亦然。
9.根据权利要求5所述的方法，其中，提供用户界面允许同时在数字图像的单个切片中查看和聚焦整个样本以及在两个维度上浏览数字图像的所述单个切片。
10.根据权利要求1所述的方法，其中，提供用户界面还包括: 在全对焦图像和原始图像序列中的至少一个中识别点和围绕所述点的区域中的至少一个；以及 切换到原始图像序列中的以下图像，该图像相对于原始图像序列中的其他图像在所述点和围绕所述点的所述区域中的所述至少一个处对焦最多。
11.根据权利要求10所述的方法，其中，如果所述点位于样本具有多于一个唯一聚焦深度的地方，则代替于切换到所述该图像，在原始图像序列的多个图像之间发生切换。
12.一种用于在显微成像中导航图像的设备，所述设备包括: 计算装置，所述计算装置用于提供用户界面以供用户选择由形成Z叠层的图像集组成的全对焦图像的一部分；以及 显示来自Z叠层的在全对焦图像的被选择部分处对焦的图像。
13.根据权利要求12所述的设备，其中，所述计算装置进一步通过减少样本的所述图像集的维数来形成全对焦图像。
14.根据权利要求13所述的设备，其中，全对焦图像产生器进一步将原始图像序列从三维减少到两维。
15.根据权利要求14所述的设备，其中，所述全对焦图像产生器进一步包括: 将原始图像序列与不同焦深组合以形成全对焦图像。
16.根据权利要求12所述的设备，其中，提供用户界面包括: 使用所述计算装置来呈现全对焦图像和原始图像序列中的至少一个；以及 基于被选择部分在显示全对焦图像与原始图像序列之间交替。
17.根据权利要求16所述的设备，其中，提供用户界面进一步包括: 使用分屏视图在单个显示器上不同的第一窗口和第二窗口中同时呈现全对焦图像和Z置层， 使全对焦图像的视图和Z叠层的视图同步，以使得改变全对焦图像中的感兴趣区在Z叠层中创建对应的变化，反之亦然。
18.根据权利要求17所述的设备，其中，与所述计算装置耦合的显示器上的第一窗口和第二窗口重叠或不重叠，以及其中，Z叠层的窗口持续可见或者在用户请求时可见。
19.根据权利要求16所述的设备，其中，提供用户界面进一步包括: 在分开的显示器上不同的第一窗口和第二窗口中同时呈现全对焦图像和Z叠层；以及 使全对焦图像的视图和Z叠层的视图同步，以使得改变全对焦图像中的感兴趣区在Z叠层中创建对应的变化，反之亦然。
20.根据权利要求16所述的设备，其中，图像导航模块进一步提供用户界面以允许同时在数字图像的单个切片中查看和聚焦整个样本以及在两个维度上浏览数字图像的所述单个切片。
【文档编号】G06F3/0481GK103577038SQ201310285469
【公开日】2014年2月12日 申请日期:2013年7月9日 优先权日:2012年7月19日
【发明者】刘明昌, M·罗伯逊 申请人:索尼公司