本公开要求于2015年11月3日提交的美国临时专利申请号62/250,413的优先权，该申请通过引用结合在此。
发明领域
本说明书尤其涉及用于操作和/或分析组织样本的数字化图像的设备、系统和方法。本说明书还涉及用于查看包括来自相同或不同患者、动物或其他物种的两个或更多个图像的复合图像的计算机实施的设备、系统和方法，例如作为两个或更多个系列组织切片样本的复合图像来查看组织样本。本说明书还涉及用于将来自相同或不同患者、动物或其他物种的组织样本作为具有实时可调界面的复合图像进行比较的计算机实施的设备、系统和方法。
发明背景
数字病理是指在数字环境下管理和解释病理信息。使用扫描装置将组织切片的载片(可以被染色)成像，从而生成数字载片(如整体载片图像)。数字病理学软件使得数字载片能够储存在计算机存储器装置中、在计算机监视器上查看、进行分析以获取病理信息。然而，数字病理学的广泛采用及其所承诺的各种优点仍然面对许多阻碍，例如成像性能、可缩放性和管理。
下文将示出并描述某些新特征，这些特征的一部分或全部可能会在权利要求书中出现，但是，由于相关领域的普通技术人员能够理解可以在不以任何方式背离本公开精神的情况下可以对所展示的实施方案在形式和细节及其操作上做出各种省略、修改、替换和改变，本公开文本的设备、系统和方法并不意在受限于在此详述的细节。除非明确指出为“关键的”或“本质的”，否则本文描述的任何特征都不是关键的或本质的。
发明概述
本公开文本提供用于操作和/或分析组织样本的数字化图像的设备、系统和方法。例如，在一些实施方案中，本公开文本提供了用于作为包含两个或更多个数字图像的复合数字图像将组织样本可视化的计算机实施的设备、系统和方法。在进一步的实施方案中，每个复合数字图像，与该两个或更多个数字图像相比，是从使用不同成像模式(例如明场显微镜和荧光显微镜)的玻璃载片、或使用不同染色(例如he、ihc染色)制备组织切片的玻璃载片或两者生成的。
在一些实施方案中，该过程包括生成组织样本的单一输出数字图像显示，该显示是包含该样本的相邻组织切片的两个或更多个数字图像文件的复合体。在其他实施方案中，该两个或更多个数字图像文件来自两个至五个数字图像文件。在一些实施方案中，该两个或更多个数字图像文件是两个数字图像文件。在一些实施方案中，该数字图像显示是交互式的，包括可调界面。在仍另外的实施方案中，该数字图像显示包括两个或多个区域，其中每个区域都具有可以通过与该显示的互动来修改的尺寸，并且这些区域中的至少两个区域示出来自不同的相邻组织切片的图像数据。在又另外的实施方案中，通过与该显示的互动修改该单一输出数字图像造成执行局部图像对准过程，以将组织结构沿着被修改区域之间的界面进行匹配。在一些实施方案中，该复合图像以并排的帘状视图显示。在一些实施方案中，该复合图像以覆盖的手电光型视图显示。
在一些实施方案中，本公开文本提供了一种图像分析系统，包括：1)处理器，包含用于由该处理器执行的指令的存储器，当执行该指令时产生以下各项中的一项或多项：显示组织切片的数字复合图像，其中该复合图像包括两个或更多个区域，并且每个区域在可调的边界处终止并且是从来自一组相邻组织切片的载片中的不同载片的图像数据中得到的；修改一个或多个区域的尺寸、形状或两者；以及，修改区域的数量；2)客户端用户界面，用于触发该处理器来执行该指令；以及，3)监视器，该监视器可以显示该客户端用户界面、相邻组织切片的该一个或多个图像、结果及其组合。在一些实施方案中，使用者通过与该显示互动以移动该可调的边界来触发用于修改该区域的尺寸、形状或两者的指令。在另外的实施方案中，用于修改区域的尺寸、形状或两者的指令包括局部图像对准过程。
在一些实施方案中，本公开文本提供了用于将组织样本可视化的计算机程序产品，包括：实体的计算机可读存储介质，其中嵌入计算机可读程序代码，该计算机可读程序代码被配置为用于：1)产生和显示该组织样本的图像，该图像是在来自该样品的一组相邻组织切片数字图像中的一个或多个数字图像的复合体，其中该一个或多个数字图像中的每一个包括该复合图像的一定比例，并且该组相邻组织切片数字图像中的每个数字图像是使用不同的染色、不同的成像模式或两者而获得的；以及，b)修改该复合图像中的该数字图像中的一个或多个数字图像的比例。在一些实施方案中，产生该组织样本的复合图像和修改该复合图像中的一个或多个数字图像的比例包括在该复合图像中的数字图像之间的边界处实现局部图像对准。
此处的对准指用于对齐组织切片的数字图像的图像分析步骤。此步骤的目的在于提供对齐的数字图像，使得在创造组织切片前在组织块内空间上靠近的多个组织部分在从该组织块的切片取得的经对齐的数字图像中靠近。对于本领域技术人员来说，有许多已知的用于对准和对齐数字图像的方法，其中在出版物biomedicalimaging(isbi)，2014ieee11次国际研讨会，第762-765页，sarkara.、quanyuan和chukkasrinivas的“arobustmethodforinter-markerwholeslideregistrationofdigitalpathologyimagesusinglinesbasedfeatures(使用基于直线的特征用于数字病理图像的标记间完整载片对准的稳健方法)”，ieee，2014中描述了一种示例性实现方式，将其通过引用以其全文结合在此。本公开文本引用两种不同的对准。全局对准方法通过施加限制条件来将图像对齐，该限制条件提供对在组织块中靠近的组织切片的标识并且生成反映在对应的数字图像中的组织切片的靠近程度的完整图像。局部对准方法找到对于图像中的感兴趣区域而言最好地满足此限制条件时的解。在一些实施方案中，用于局部对准的感兴趣区域是在显示中将来自彼此相邻呈现的两个或更多个组织切片的图像数据分离的界面。
在一些实施方案中，本公开文本提供了用于数字式查看组织样本的方法，该方法包括：1)从一组相邻组织切片数字图像中选择第一图像，其中每个图像是从使用不同染色、不同成像模式或两者而获得的载片来产生的；2)从该组中选择一个或多个第二图像；3)指示计算机处理器执行指令，该指令造成将所选择的第一图像和一个或多个第二图像堆叠并对齐(如果这些图像此前未被对准)，以形成对齐的图像层；还可以涉及调整一个或多个所显示的图像的位置和取向；4)指示该计算机处理器执行指令，该指令造成揭示该第二图像中的一个或多个第二图像的一部分，从而造成显示该组织样本的复合图像。在一些实施方案中，该方法进一步包括指示该计算机处理器执行指令，该指令造成修改该一个或多个图像的所揭示的部分。在一些实施方案中，指示修改包括移动在相邻图像之间显示的边界；并且执行修改指令涉及执行局部图像对准过程以将组织结构沿着相邻图像之间的边界进行匹配。
虽然本公开文本提供了某些具体的实施方案，但本发明并不限于这些方案。本领域普通技术人员从本文的描述将理解，可以对在此描述的实施方案进行修改，并且因此本说明书覆盖的范围大于所描述的实施方案。因此，所有的例子都是非限制性的。
附图简要说明
图1是医疗成像工作站系统的实施方案的透视图片展示，在该医疗成像工作站系统中可以实现根据本公开文本的装置、系统和方法。
图2是展示联网的系统的实施方案的网络图，在该联网的系统中可以实现根据本公开文本的装置、系统和方法。
图3是包含互动菜单条和窗口的主屏幕的截屏，该主屏幕可以是与根据本公开文本的图像分析程序的实施方案相关联的窗口式图形客户端用户界面的一部分。
图4是图3的主屏幕的另一个截屏，其中选择了来自一个组织块的所有载片并且将菜单选项“对准载片”高亮。
图5是图3的主屏幕的另一个截屏，其中另一个菜单选项“观看器”高亮。
图6是在已经启动融合式观看模式之后的全部载片查看器的实施方案的流程图。
图7是融合式观看模块gui的实施方案的截屏，其中可以在帘状视图复合图像中查看两个或更多个数字载片，并且该gui可以从图3的主屏幕启动。
图8是在已经移动了不同数字图像之间的边界之后图7的融合式观看模块gui的另一个截屏。
图9是在已经再次移动了不同数字图像之间的边界之后图8的屏幕的另一个截屏。
图10是融合式观看模块gui的另一个实施方案的截屏，其中可以在帘状视图复合图像中查看两个或更多个数字载片，并且该gui可以从图3的主屏幕启动。
图11是融合式观看模块gui的实施方案的截屏，其中可以在手电光型复合图像中查看两个或更多个数字载片，并且该gui可以从图3的主屏幕启动。
图12是在已经移动了不同数字图像之间的边界之后图11的融合式观看模块gui的另一个截屏。
图13是在已经移动了不同数字图像之间的边界之后图11的融合式观看模块gui的另一个截屏。
图14是展示了由根据本公开文本的图像分析软件程序执行的方法的实施方案的流程图。
具体实施方式
本文中提供了一个或多个实施方案的具体描述。然而应理解，根据本公开文本的装置、系统和方法可以按各种形式实施。因此，本文公开的具体细节不应解释为限制性的，而是解释为用于权利要求书和用于教导本领域技术人员以任何适当的方式采用本装置、系统和方法的表述性基础。
除非另外定义，本文中使用的所有技术和科学术语具有与本公开文本所属的领域中的普通技术人员所通常理解的相同的含义。在本文中的术语存在多个定义的情况下，除非另外陈述，否则在本部分中的这些定义是优先的。
每当在本文中使用“例如”、“如”、“包括”等短语时，应理解为后面带有“并且没有限制地”，除非另有陈述。类似地，“例子”、“示例性”等应理解为是非限制性的。
术语“基本上”允许与修饰词存在不会负面影响预期目的的偏差。描述性术语应理解为是由术语“基本上”来修饰的，即使没有明确引用单词“基本上”。
术语“大约”是指考虑到由于实验误差造成的变化。所有测量值或数字都隐含地理解为由单词“大约”来修饰，即使测量值或数字并未明确地由单词“大约”来修饰。
术语“包含(comprising)”和“包括(including)”和“具有(having)”和“涉及(involving)”等可互换地使用并且具有相同的含义。类似地，术语“包含(comprises)”和“包括(includes)”和“具有(has)”和“涉及(involves)”等可互换地使用并且具有相同的含义。具体地，这些术语中的每一个与通常美国专利法中对“包括”的定义相一致地定义并且因此解释为是指“至少以下”的开放性术语并且也不应解释为排除另外的特征、限制、方面等。因而，例如“具有部件a、b和c的装置”是指该装置至少包括部件a、b和c。类似地，短语：“涉及步骤a、b和c的方法”是指该方法至少包括步骤a、b和c。
每当使用术语“一个(a/an)”时，应理解为“一个或多个”，除非另外明确陈述或者这样的解释在上下文中不合理。
术语“对齐(align)”和“对准(register)”以及其所有形式(例如“aligning”和“registering”)可替换地使用并且当与术语“图像”相关地使用时是指相同的意思。例如，短语“经对齐的图像”和“经对准的图像”可替换地用于描述已经经历图像对准过程的数字图像(例如粗对准和/或细对准过程)。
“组织样本的相邻组织切片”是指组织样本的已经准备用于载片上的切片。在本公开文本的上下文中，相邻的组织切片仅仅是指从相同样品上取得的组织切片；它并非是指该组织切片必须彼此相接。因而例如，如果本公开文本提到将两个数字图像融合，一个从第一组织切片得到且另一个从相邻的组织切片得到，或者一个从相邻的组织切片得到且另一个从第二相邻组织切片得到，仅意味着这两个切片是从相同组织样本得到的，但这两个切片不一定在组织样本中彼此相接。
如在本领域中所理解的，数字图像文件包括数据(图像数据)。相应地，对数字图像的指代也同样指代图像数据。例如，对一组数据图像的指代隐含地公开/指代包括一个或多个图像数据文件的一组图像数据。
用于诊断、确定疗法和后续治疗的病理载片分析通常检验生物结构如细胞、腺体、肿瘤等的染色响应的存在、形状、强度和其他特征。在许多情况下，在一个载片上可见的信息不足以用于当前的任务，并且可以用不同的化验物来染色相邻的组织切片以从组织中探询多种特性。从用多种化验物染色的多个载片可获得的信息典型地不完全用于分析连续的组织切片，因为对观察者而言，寻找、查看和分析匹配的组织区域是困难且单调的。在常规的显微镜中，一次只能查看一个载片，并且没有容易获得的工具来引导到不同载片上组织上的相同区域和位置。
本公开文本涉及数字病理，包括用于融合式视角的计算机实现的成像的装置、系统和方法。在一些实施方案中，该装置、系统、和方法在独立的工作站(可以包括用于访问国际互联网的调制解调器)上实现。在一些实施方案中，该装置、系统和方法可以在计算机网络上实现。
将两种不同的化验和用于病理数据的分析问题用于举例并且它们提供了本文中公开的融合式视角数字成像装置、系统和方法的背景。在一个实施方案中，为了检验对肿瘤的免疫响应，用ihc化验物将免疫细胞染色。例如，包含抗-cd3初级抗体的化验物染色t-淋巴细胞并且有助于检验在肿瘤、瘤周基质或瘤内基质中t-淋巴细胞的出现。为了更全面的分析，可以检验是否有以及有多少此类免疫细胞已经渗透了肿瘤或周围结构。典型地，免疫细胞用ihc染色是可见的，而肿瘤、瘤内基质、淋巴管都在用苏木精和伊红(h&e)染色的载片上更好地可见。相应地，一个例子涉及从使用cd3-ihc染色的组织切片制备的载片得到的数字图像与从使用h&e染色的相邻组织切片制备的载片得到的数字图像融合。在第二实施方案中，为了检验对肿瘤的免疫响应，用pd-l1/ihc化验物将pd-l1阳性的免疫细胞染色。因为肿瘤细胞还携带有pd-l1抗体，并且希望，如果pd-l1染色的细胞是肿瘤细胞或免疫细胞，则在相邻组织切片上使用h&e染色化验。因此，第二个例子涉及从使用pd-l1/ihc染色的组织切片制备的载片得到的数字图像与从使用h&e染色的相邻组织切片制备的载片得到的数字图像融合。然而，虽然这两个例子都涉及cd3和pd-l1ihc染色之一与h&e染色的组合，并且这两个例子都涉及两个载片的融合，但本公开文本涵盖从用不同ihc和特殊染色化验物染色的多个载片得到的数字图像的融合，该化验物也可以与从h&e染色的载片得到的数字图像组合或可以不与之组合。
无论在独立工作站上还是在网络上实现，根据本公开文本的系统都可以包括以下硬件组件中的至少一些：计算机，包括：用于显示图像和/或结果的输出装置，如监视器；以及一个或多个输入装置，如键盘和鼠标或轨迹球，用于与软件程序互动；以及处理器，用于执行软件程序。该系统还可以包括用于存储多组数据图像文件的存储装置，其中每组包括单一患者的相同组织的相邻组织切片的一个或多个完整载片图像。一组中的每个数字图像文件，与该组中的另一个数字图像相比，是从使用不同成像模式(例如明场显微镜和荧光显微镜)的玻璃载片、或使用不同染色(例如he、ihc染色)制备组织切片的玻璃载片或两者生成的。存储装置可以是计算机本身的一部分或者它可以是分开的装置，如可网络访问的存储装置。该系统还可以包括用于从玻璃载片产生数字图像文件的扫描仪。
在本公开文本的范围内的某些实施方案中，将生物样品(可以是或可以不是组织样品)放置在基底上，该基底可以是或可以不是玻璃或显微镜载片。在本公开文本的范围内的某些实施方案中，被成像和比较的生物样品(例如组织样品)可以不是来源于患者的相同切片或块。在本公开文本的范围内的某些实施方案中，被对准并且可根据本公开文本范围内的方法使用的数字图像可以是来自单一患者的非相邻组织切片的图像。在本公开文本的范围内的某些实施方案中，被对准并且可根据本公开文本范围内的方法使用的数字图像可以是来自不同患者的生物样品的图像。在本公开文本的范围内的某些实施方案中，该系统可以用于比较来自相同或不同患者、生物或其他物种的组织样品。用于此类实施方案的一个例子将允许并排查看和比较正常组织和患病组织或在疾病过程的不同阶段的组织，而同时对所查看的组织块的位于下方的解剖结构进行匹配。
无论在独立工作站上还是在网络上实现，该系统都还可以包括以下软件组件：图像分析程序，包括图像对准模块和融合视图成像模块(其自身可以包括任选的局部对准模块，以及任选的全局对准模块(具有粗对准模块和/或细对准模块))。
当由处理器执行时，该融合视图成像模块造成组织样本的图像，该图像是已经对准的两个或更多个所选择的数字图像的复合体，其中所选择的数字图像中的每一个是从组织样本的不同的相邻组织切片得到的。换言之，复合图像的不同区域示出来自不同的数字相邻组织切片载片图像的图像数据。该融合视图成像模块进一步使得用户能够使用客户端用户界面来确定和操作在复合图像上的哪些区域包含来自哪些所选择的数字图像的数据。在一个可能的实施方案中，作为来自两个或更多个数字组织图像的区域来获得具有与所显示的组合图像相同尺寸的两个或更多个所对准的视场(fov)。所选择的区域可以包含图像信息的子组或它们的整体可以是数字图像。将区域指定给显示区以展示来自fov图像中的第一、第二或任何其他的fov图像的图像内容。可以通过用户使用输入装置并且通过与所显示的图像互动来互动地修改该区域到该显示区的指定。在一些实施方案中，该显示是每当用户改变区域的指定时实时更新的。例如，在一些实施方案中，客户端用户界面以“帘状视图”实现，其中载片提供在相邻区域的边界处；载片使得用户能够增加从所选择的图像之一提供给复合图像的图像数据的比例，而同时减少从相接的数字图像提供给复合图像的图像数据的比例。在另一个或其他例子中，客户端用户界面以“手电光型视图”实现，其中数字图像的一部分以例如圆盘形状“被照亮”，以从该圆盘形状之内的所选择的次要数字图像来提供图像数据并且将来自所选择的主数字图像的图像数据留在该圆盘形状之外。对于这一实施方案，指定给第二图像的区域在组合式显示中是圆盘形状的，并且此圆盘的位置和尺寸可以通过该系统的用户来调整。然而，该区域并不受限于圆盘形，而可以是任何其他所希望的形状，如矩形或方形。所照亮的区可以被放大、减小和/或在图像周围移动以选择该图像的哪个部分是从所选择的次要载片(而非所选择的主载片)得到的。仍然对于此例，用户交互修改了在所显示的区中圆盘形区域的相应的指定。
“全局”对准模块，当由处理器执行时，造成一组相邻组织切片数字图像中的至少两个数字图像对齐，由此产生一组对齐的数字图像。对准可以通过本领域中任何已知的手段来完成，例如在2014年3月12日提交的名称为“wholeslideimageregistrationandcross-imageannotationdevices,systemsandmethods(完整载片图像对准和跨图像标注装置、系统和方法)”的pct申请号pct/ep2014/054781中描述的，该申请通过引用以其全文结合在此。
融合视图成像模块内的任选的“局部”对准过程在融合视图图像上进行，以在调制该界面时将组成该融合视图图像的两个或更多个数字图像沿着这两个或更多个数字图像之间的界面对齐。例如，在表示相邻图像之间界面的载片被移动以一个图像为代价来扩展另一个图像的视图的实施方案中，由于该图像是从相邻切片得到的并且可能不是完全相同的，所以这两个图像之间的覆盖可能是不完美的。局部对准旨在使在覆盖区域的边界处的视觉伪影最小化或减少，例如通过将组织结构沿着边界区域进行匹配。对于帘状视图、手电光型视图以及本发明的其他实施方案，界面区域被定义为在所显示的图像中区域对显示的指定发生变化的区。局部对准过程修改了所显示的fov中的一个或多个的位置和/或取向，使得来自在此界面区域中显示的两个或更多个fov的图像内容尽可能相似。局部对准可以通过确定图像的变形来实现，例如该图像中之一的平移和旋转，该平移和旋转使得在界面区中图像相似性的定量度量值最大化。例如，在界面区域中的两个或多个fov图像的相关性可以用作相似性度量。本领域技术人员可以看出，可以使用许多不同类型的图像变形和许多不同的图像相似性度量来实现这一任务。
在一些实施方案中，该计算机实现的方法还包括：计算机实现的“全局”对准过程，用于将来自单一患者的相同组织块、切片或样本的至少两个数字图像对齐，从而产生一组经对齐的数字图像，其中该组中的每个数字图像，与该组中的其他数字图像相比，可以是使用不同的染色、不同的成像模式或两者获得的图像。在本发明的一些实施方案中，使用全局图像对准步骤来从展示相同的组织区域的不同组织图像中选择fov，而局部对准应用于fov以改进在组合式显示的界面区域中所显示的组织的相似性。
虽然本文中描述的例子涉及使用某些染色或成像方法制备的载片的数字成像，但本说明书并不受限于那些染色或成像方法，而是涵盖所有可能的载片制品的数字成像。进一步地，虽然本文中描述的例子将某一图像作为主图像(例如h&e图像)描述并且另一图像为次要图像(例如ihc图像)，但本说明书也不受限于那些背景。例如，在某些实施方案中ihc染色可以是主要的而h&e是次要的。而且，虽然例子描述了“帘状”和“手电光型”视图，但本说明书再次并不受限于那些成像模式，而是涵盖通过查看来自复合图像的一个区域中的一个数字图像的图像数据和查看来自该载片的其他区域中的一个或多个另外的数字图像的图像数据来分析融合式视图图像的所有可能的方法。换言之，本说明书总体针对在组织样本的单一复合图像中将从该组织样本的任何两个或更多个载片得到的信息可视化(而不是典型的该组织样本的两个图像的并排查看)，从而提供分析在多个载片上用多种化验物染色的组织的功能，这是典型的并排查看方法无法实现的或是与之不同的。
现在参考附图，其中贯穿附图，相似的参考数字指代相似的部分，图1是医疗成像工作站系统的实施方案的透视图片展示，在该医疗成像工作站系统10中可以实现根据本公开文本的装置、系统和方法。如所示的，医疗成像工作站系统10包括计算机20，该计算机具有用于硬件组件30的外壳，该硬件组件如处理器(“cpu”)(未示出)、存储装置(未示出)、图形处理单元(“gpu”)(未示出)以及任选的调制解调器(未示出)；第一输出装置，在所示的例子中为监视器40；第一用户输入装置，在所示的例子中为键盘50；以及第二用户输入装置，在所示的例子中时用于与该显示互动的指点装置，如轨迹球或鼠标60。如在本领域中已知的，虽然计算机20、硬件组件30、监视器40和用户输入装置50、60展示为分开的部件，但它们可以集成在更少的零件中，例如它们可以全部集成在膝上计算机的形式中。医学成像工作站系统10还可以包括额外的外设，如第三输入装置，在所示的例子中为载片扫描仪70；第二输出装置，在所示的例子中为打印机80；备用电源90；以及外部存储装置(未示出)，还有已知与计算机实现的医疗成像系统相关联的其他装置。在一些实施方案中，医疗成像工作站系统10可以包括多于一个监视器40，以便于在多个屏幕上同时观察多个数字组织图像。如本领域技术人员理解的，具体的部件可以随技术改变而改变。例如，如果该屏幕可对使用者的手指或语音命令进行响应，则外设指点装置不是必需的。
医疗成像工作站系统10还包括软件部件，如包括融合视图成像模块的图像分析程序，该融合视图成像模块包括局部对准模块和任选的全局对准模块。软件组件可以是一个或多个文件，该文件存储在该存储装置(例如该软件组件可以存储在内部硬盘驱动器上)和/或该软件组件可以存储在存储器盘上，如dvd、cd或存储器卡，当该存储器盘通过存储器盘接收端口25插入到外壳30中时改存储器盘可以由处理器访问。
cpu可操作地连接到不同的外设和硬件组件，包括存储装置和gpu。存储装置可以暂时或永久地存储多组数字图像，这些数字图像可以例如通过扫描装置导入到系统中。该数字图像组包括单一患者的相邻组织切片的一个或多个数字图像，其中每个图像，与另一个图像相比，可以使用不同染色/标签/标记、不同的成像模式或两者来获得。gpu处理来自图像显示程序和图像分析程序(可以组合成单一程序)的指令。当例如由gpu执行时，图像显示程序可以在监视器40上提供具有多个窗口的窗口式图形用户界面(“gui”)，使得用户可以与gui互动以提供指令，该指令造成在处理器(例如该cpu)中执行该图像分析程序的一个或多个方面，和/或可以造成在监视器40中的一个或多个监视器上显示所存储的数字图像中的一个或多个，以其原本的(原始扫描的)格式或由图像分析程序修改的。如先前提及的，图像分析程序可以包括对准模块和融合式视图成像模块。当例如由cpu执行时，对准模块造成所存储的数字图像(甚至使用不同染色、不同成像模式或两者获得的所存储的数字图像)中的至少两个的对齐，从而创造一组经对齐的图像。当例如由cpu执行时，融合式视图成像模块造成显示组织样本的图像，该图像包括从相邻组织切片得到的两个或更多个数字图像并且该图像可以被修改以改变从一个数字图像或另一个数字图像中得到该复合图像的哪些部分。
图14展示了系统900，例如用于根据本发明的示例性实施方案的图像分析的成像系统。系统900包括用于生成多信道图像或多信道图像数据(例如rgb图像或rgb图像数据和/或多谱图像或多谱图像数据)的源901。例如，源901可以是或包括荧光显微镜、生成荧光图像的摄影机、光学扫描仪、ccd或成像系统，或者明场显微镜、生成rgb图像、多谱图像和/或rgb和多谱图像数据的摄影机、光学扫描仪或成像系统。成像系统的例子可以是例如具有光谱过滤轮的任何荧光或明场显微镜或者完整载片扫描仪。源901与存储器903通信，该存储器包括由耦合到计算机接口907的处理器905执行的多个处理模块或逻辑操作。例如样本(如生物样品)可以安装在载片或其他基底或装置上，用于通过耦合到存储器903的显微镜、摄影机、扫描仪、ccd或其他光学系统来成像的目的，其中样品的图像的分析通过处理器905进行，该处理器执行根据本公开文本存储在存储器903中的多个模块中的一个或多个。该分析可以用于辨识和研究样本的目的。例如，生物或病理系统可以研究样本以获得生物信息，如蛋白质、蛋白质碎片或指示癌症或其他疾病的其他标记物的存在，或者用于如染色体dna检测、信使rna检测、蛋白质检测、病毒检测、基因检测或其他的目的。
该样本(例如组织样本或细胞学样本)可以借助于应用一种或多种不同染色物来染色，该染色物可以包含一种或多种不同的量子点、荧光剂或其他染色物。例如，在荧光载片中，不同的染色可以对应于不同的量子点和/或荧光剂。荧光剂可以包括一种或多种纳米晶体半导体荧光剂(例如量子点)，它们各自产生在不同波长范围内的峰值冷光响应。量子点是已知的，并且可以从invitrogencorp.、evidenttechnologies以及其他公司商购。例如，样本可以用若干不同的量子点处理，这分别产生在565、585、605和655nm的峰值冷光响应。应用于样本的荧光剂中的一种或多种可以是有机荧光剂14(例如dapi，texasred)，它们是本领域已知的并且至少在共同拥有且被转让的美国专利8,290,236中描述，其内容通过引用全文结合在此。另外，典型的样本是采用染色/化验平台处理的，该平台可以是自动的、将染色物(例如含量子点和/或有机荧光剂的染色物)施加到样本。市场上存在许多适合用作染色/化验平台的商业产品。
在组织预备处理和染色之后，可以在源901处通过例如扫描仪、ccd阵列谱摄影机或用于将含有物质样品的载片成像的其他成像系统来捕捉该样品的一个或多个数字图像，并且生成载片上的样本的数字图像。(根据本发明，融合的图像包括至少两个不同载片的部分。)包含样本的载片暴露于光源，该光源用于在预期从应用于样品的染色物产生冷光响应的波长下照亮该样品。在量子点的情况下，光源可以是广谱光源。替代地，光源可以包括窄带光源，如激光器。可以捕捉rgb明场图像。该成像系统可以包括例如数字摄影机、显微镜或者具有一个或多个物镜和光源以及一组光谱过滤器的其他光学系统。也可以使用用于在不同波长下捕捉图像的其他技术。适合于对经染色的生物样品成像的摄影机平台是在本领域中已知的并且可以从如zeiss、canon、appliedspectralimaging及其他公司商购的，并且此类平台可容易地适配为用于本公开文本的系统、方法和设备中。可以经由无线或有线连接(例如源901与计算机907之间的线缆连接)、经由计算机网络、或适用通常用于在计算机之间传输数字信息的任何其他介质将图像供应给存储器或存储装置903。图像还可以通过网络供应到网络服务器或数据库，用于存储并稍后由计算机907调出。除了处理器905和存储器903，计算机907还包括用户输入和输出装置，如键盘、鼠标、触控笔和显示器/触摸屏。如将在下文的讨论中解释的，处理器905执行存储在存储器903上的模块，从而进行对图像、从此类图像得到的图像数据的分析、定量分析以及定量/图形结果向用户操作的计算机907的显示。
存储在存储器903上的模块可以包括图像对准模块902和融合式视图成像模块904，如在上文和下文中描述的。然而，通过这些模块进行的操作并不受限于本文中所描述的那些，并且模块的序列、排列和总数可以变化，而当前描述的实施方案仅仅用于示例的目的。软件模块可以经由客户端用户界面来访问，例如与计算机907相关联的用户界面。
一旦启动了该程序，用户可以选择数字图像921用于分析。在本文中描述的实施方案中，该用户从相邻系列切片的图像系列中选择图像，其中例如该切片中的至少一个已经用h&e染色并且其他切片已经用一种或多种不同的ihc染色物染色。然而，本发明并不受限于相邻系列切片的融合式视图成像。例如，在其他实施方案中，观看者可以从来自相同或不同患者、动物或其他物种的组织样品的图像中选择，以便查看和比较例如正常的和患病的组织或在疾病过程的不同阶段的组织。
通过客户端界面，用户就可以调用图像对准模块902，当例如由cpu或处理器905执行时，该模块例如通过将所观看的组织块的位于下方的解剖结构进行匹配来对齐所选择的图像。
通过客户端界面，用户还可以调用融合式视图成像模块904，当例如由cpu或处理器905执行时，该模块生成已经由图像对准模块对准的所选择的图像921的融合图像。例如，融合式视图成像模块904可以以并排的“帘状”视图(包括一个或多个帘)和/或“手电光型”视图来生成所选择的经对准的载片的复合图像，其中一个或多个次要载片的一个或多个部分显示为替代主要载片中的一个或多个部分。
图2是展示联网的系统的实施方案的网络图，在该联网的系统中可以实现根据本公开文本的装置、系统和方法。如所示，系统200包括数据库服务器210和可网络访问的存储装置215，它们各自连接到网络220。存储装置215存储多组数字图像，其中每个组包括单一患者的相邻组织切片的一个或多个数字图像。一组中的每个图像，与一组中的另一个图像相比，可以使用不同染色、不同的成像模式或两者来获得。一个或多个客户端计算机230也通过本领域中已知的任何手段(例如专用连接、dsl或线缆调制解调器、无线国际互联网连接、拨号调制解调器等)连接到网络220，该计算机可以具有相关联的输入和输出装置，如键盘232、鼠标(未示出)和打印机(未示出)。客户端计算机230包括用于访问存储装置215中的数字图像的网页浏览器。在本发明的示例性实施方案中，可以采用云存储来存储数字图像。
客户端计算机230包括被配置为用于执行与图像分析程序相关的指令的至少一个处理器。可以将图像分析程序从服务器210下载到客户端计算机230。图像分析程序可以包括图像查看器模块，该模块提供客户端用户界面，使得当执行该图像查看器模块时该模块可以提供窗口式gui(并且可以包括多个窗口)，该gui使得用户能够提供指令，该指令造成在处理器中执行该图像分析程序的一个或多个方面和/或可以造成显示所存储的数字图像中的一个或多个，以其原始扫描的格式或由图像分析程序修改的。如果所存储的图像先前尚未对准(或者如果用户希望使用第二种或不同的对准方法)，图像分析程序可以任选地允许用户从自单一患者的组织切片获得的一组图像中选择用于对准的图像，但是其中在该组中的至少一些图像，与该组中的其他图像相比，可能是使用不同的染色、不同的模式或两者制成的。图像分析程序还允许用户查看组织样本的数字图像，该数字图像是该组数字图像中的两个或更多个数字图像的复合体。在一些实施方案中，系统200还包括扫描仪240，用于扫描整个载片250并产生存储在存储装置215中的数字图像。
如技术人员理解的，在计算机化网络的背景下实现图像分析程序允许了在其他情况下可能受到独立工作站限制的某些活动。例如，不在一起并且实际上可能彼此相隔很远的病理医师(或者不考虑地点问题，可能暂时无法联系到正确的病理医师)可以在分析图像方面合作。
图1和2展示了可以在一个或多个计算机系统或网络拓扑中存在的某些元件。技术人员理解，可以实现根据本公开文本的装置和系统的计算机系统和网络可以涵盖其他计算机系统和网络拓扑并且在那些其他的计算机系统和网络拓扑中可以包括更多或更少的元件。换言之，图1和2的实施方案不是限制性的。例如，在一些实施方案中，可以将云存储用于存储数字图像。
相应地，用于根据本公开文本使用的计算机系统的示例性实施方案可以包括任何数量的计算机平台或多种类型的计算机平台，如工作站、个人计算机、服务器、手持设备、多处理器系统、基于微处理器的或可编程的消费者电子器件、网络pc、迷你计算机、主机计算机或任何其他现今或将来的计算机。
示例性实施方案还可以在分布式计算环境中实践，其中任务通过本地和/或远程的处理装置来进行，该装置连接(例如通过硬接线连接、无线连接或其组合)在通信网络中。在分布式计算环境中，程序模块可以定位在本地和远程计算机存储介质两者中，包括存储器存储装置。然而，本领域技术人员将理解的是，如本文所描述的上述计算机平台具体被配置为用于执行所描述的发明的专有操作并且不应认为是通用计算机。
计算机典型地包括已知的部件，如处理器、操作系统、系统存储器、存储器存储装置、输入-输出控制器、输入-输出装置、以及显示装置。相关领域的技术人员还将理解的是，存在许多可能的计算机配置和部件，并且还可以包括高速缓存存储器、数据备份单元和许多其他装置。
输入装置的例子包括键盘、光标控制装置(例如鼠标)、麦克风、扫描仪等等。
输出装置的例子包括显示装置(例如监视器或投影仪)、扬声器、打印机、网络卡等等。显示装置可以包括提供视觉信息的显示装置，此信息典型地可以在逻辑上和/或物理上作为像素阵列来组织。
还可以包括界面控制器，该界面控制器可以包括许多已知的或将来的用于提供输入和输出界面的软件程序中的任何一种。例如界面可以包括为用户提供一个或多个图形展示的所谓的“图形用户界面”(通常称为gui)。典型地启用界面以接收用户使用选择装置的输入或者相关领域技术人员已知的输入。界面还可以是触摸屏装置。
在相同或替代的实施方案中，计算机上的应用可以采用包括所谓的“命令行界面”(通常称为cli)。cli典型地在应用于用户之间提供基于文本的交互。典型地，命令行界面通过显示装置作为文本行来呈现输出并接收输入。例如，一些实现方式可以包括相关领域中技术人员已知的所谓的“壳(shell)”，如unixshell，或者采用面向对象类型的编程架构的微软视窗powershell，如微软.net架构。相关领域技术人员将理解，界面可以包括一个或多个gui、cli或其组合。
处理器可以包括可商购的处理器，如由英特尔公司制造的赛扬、酷睿、奔腾处理器，由sunmicrosystems制造的sparc处理器，由amd公司制造的速龙、闪龙、奕龙或皓龙处理器，或者可以是现在或将变得可用的其他处理器之一。处理器的一些实施方案可以包括所谓的多核处理器和/或允许在单核或多核配置中采用并行处理技术。例如，多核架构典型地包括两个或多个处理器“执行核心”。在此例中，每个执行核心可以如独立处理器地进行工作，这允许多个线程的并行执行。此外，相关领域技术人员将理解，处理器可以在通常所谓的32或64位架构中或者现在已知或将来可能开发出的其他架构配置中配置。
处理器典型地执行操作系统，该操作系统可以例如是来自微软公司的windows类操作系统；来自苹果计算机公司的macosx操作系统；从许多零售商或所谓的开源可得的unix或linux类操作系统；另外的或将来的操作系统；或其一些组合。操作系统以已知方式与固件或硬件相接并且在协调和执行不同计算机程序(可以用许多编程语言书写)的功能方面辅助处理器。典型地与处理器配合的操作系统协调并执行计算机的其他组件的功能。操作系统还提供调度、输入-输出控制、文件和数据管理、存储器管理、以及通信管理和相关服务，所有都是根据已知的技术。
系统存储器可以包括可以用于存储所希望的信息并且可以由计算机访问的许多已知的或将来的存储器存储装置中的任何一种。计算机可读存储介质可以包括在任何用于存储信息的方法或技术中实现的易失性和非易失性、可携带和不可携带的介质，如计算机可读指令、数据结构、程序模块、或其他数据。例子包括任何可商购的随机存取存储器(ram)、只读存储器(rom)、电子可擦除的可编程只读存储器(eeprom)、数字式多用途光盘(dvd)、磁介质(如驻留式硬盘或磁带)、光介质(如读写光盘)或其他存储器存储装置。存储器存储装置可以包括许多已知的或将来的装置中的任何一种，包括光盘驱动器、磁带驱动器、可携带硬盘驱动器、usb或闪存驱动器、或软盘驱动器。此类存储器存储装置典型地从程序存储介质(分别例如光盘、磁带、可携带硬盘、usb和闪存驱动器、或软盘)读取和/或向其写入。这些程序存储介质中的任何一种、或其他现在使用的或今后可能开发的介质可以认为是计算机程序产品。
如将理解的，这些程序存储介质典型地存储计算机软件程序和/或数据。计算机软件程序，也称为计算机控制逻辑，典型地存储在系统存储器中和/或与存储器存储装置相关使用的程序存储装置中。在一些实施方案中，计算机程序产品被描述为包括其上存储有控制逻辑(计算机软件程序，包括程序代码)的计算机可用介质。当由处理器执行时，控制逻辑致使处理器执行下文描述的功能。在其他实施方案中，一些功能主要使用例如硬件状态机在硬件中实现。相关领域技术人员清楚硬件状态机的实现(以便执行本文中描述的功能)。
输入-输出控制器可以包括用于接受和处理来自用户(无论是人类还是机器，无论是本地还是远程的)的信息的许多已知装置中的任何一种。此类装置包括例如调制解调器卡、无线卡、网络接口卡、声卡、或用于许多已知的输入装置中的任何一种的其他类型的控制器。输出控制器可以包括用于向用户(无论是人类还是机器，无论是本地还是远程的)呈现信息的许多已知装置中的任何一种。
在当前描述的实施方案中，计算机的功能元件经由系统总线彼此通信。计算机的一些实施方案可以使用网络或其他类型的远程通信而与一些功能元件通信。如相关领域技术人员可以看出的，如果在软件中实现，则仪器控制和/或数据处理应用可以被加载到系统存储器和/或存储器存储装置中并从其中执行。仪器控制和/或数据处理应用中的全部或部分也可以驻留在存储器存储装置的只读存储器或类似装置中，此类装置不要求首先通过输入-输出控制器来加载仪器控制和/或数据处理应用。相关领域技术人员将理解，仪器控制和/或数据处理应用或者其部分可以以已知方式由处理器加载到系统存储器或高速缓存存储器或两者中，如对于执行而言有利的。
另外，国际互联网客户端可以包括被启用以使用网络访问另一台计算机上的远程服务的应用并且可以例如包括通常所谓的“网页浏览器”。在当前例子中，一些通常使用的网页浏览器包括从微软公司可获得的微软internetexplorer、来自mozilla公司的mozillafirefox、来自苹果计算机公司的safari、来自google公司的googlechrome，或当前本领域已知或在将来开发的其他类型的网页浏览器。而且，在相同的另外的实施方案中可以包括国际互联网客户端或者可以是专用软件应用的元件，该专用软件应用被启用以经由网络访问远程信息，如用于生物应用的数据处理应用。
网络可以包括相关领域技术人员已知的许多不同网络类型中的一种或多种。例如，网络可以包括采用所谓的tcp/ip协议套件来进行通信的局域网或广域网。网络可以包括包含互联的计算机网络的全球系统的网络，通常称为国际互联网，或者还可以包括不同的内联网架构。相关领域技术人员还将理解，网络环境中的一些用户可能偏好使用所谓的“防火墙”(有时也称为分组过滤器或边境保护装置)以控制到硬件和/或软件系统以及来自硬件和/或软件系统的信息流量。
图3-5一起展示了用于与处理器互动以在融合视图格式中查看图像的客户端用户界面的实施方案。在所示的实施方案中，客户端用户界面在两个基础工具上实现，基于这两个基础工具呈现了融合视图成像架构。第一软件工具(图3)呈现可用组织图像的列表，该组织图像典型地按照从哪个组织块获得该组织切片而分组到一起。可以在此列表中选择载片并且触发如全局对准或查看载片的动作。例如，如在图4中所示，选择来自一个组织块的所有载片(即对于每个图像而言块id是相同的)并且高亮和/或选择菜单选项“对准载片”。作为另一个自理并且如图5中所示，选择来自组织块的某些经对准的载片并且高亮和/或选择不同的菜单选项“查看器”。第二软件工具(图7-13)提供在本公开文本中进一步公开的查看功能。然而，在本公开文本中提供的功能可以与其他标注/查看器gui工具和其他图像分析/管理工具集成在一起。例如，任何完整载片查看器可以用于实现本公开文本的产品和方法，包括ventanaimageviewer、ventanavirtuosoviewer和ventanavectorviewer。
还在图7中示出，例如查看器gui包括具有菜单条和多个图标以辅助用户与所显示图像(如缩放按钮340和平移按钮350)的互动的“查看器”窗口326。融合式视图可视化按钮，如帘状视图模式360和手电光模式370包括在查看工具之内。
在帘状视图中，如图7中所示，所选择的载片显示为彼此堆叠并且可以拖拽载片元素以确定从一个图像到另一个图像中得到了复合图像的哪个部分；也就是说，移动滑条按钮以揭示位于下方的次要图像，从而提供“帘状视图”融合式可视化的外观。在所示的实施方案中，屏幕的左侧的数字图像是从用h&e染色的组织切片的载片得到的，并且右侧的数字图像时从用ihc化验物(例如双功能ihc化验物)染色的相邻组织切片的载片得到的。
图7-9展示作为从左向右移动滑条按钮的结果的复合图像外观。如可以看到的，偏移滑条按钮使得每个图像对复合图像的贡献比例偏移。在一些实施方案中，局部对准调节图像中的至少一个，使得来自不同载片的图像数据在帘左右的边界区域中尽可能相似。也可以使用其他的查看器功能，包括平移、缩放和创造标注。
如在图10中示出的，帘状视图并不受限于相邻组织切片的仅两个数字图像的复合图像和滑条按钮的左右移动。在图10的例子中，将帘状视图应用于五个载片并且包括提供从上到下、从下到上、从左到右和从右到左的四个滑条按钮。在所示的帘状视图实施方案可视化中，中央的图像时从h&e染色的载片得到的，来自从相邻组织切片的ihc染色的载片得到的数字图像的图像数据通过对应的帘状视图(滑条按钮)控制而可见(或不可见)。
融合查看并不受限于帘状视图实现方式，而是涵盖可以将复合图像可视化和/或操作复合图像的任何方式。作为例子，图11展示了用于融合式查看样本的相邻组织切片的两个或更多个经对准的数字图像的另一个实施方案：“手电光”或“聚光灯”式融合查看，其中ihc数据覆盖在h&e数据上。在此，使用者可以选择看起来如同堆叠在主要(顶部)图像之下的次要图像的任何区域以替代主要图像的对应的图像数据。在一些实现方式中，来自次要载片的融合到主要载片之中的区域是圆盘形的，如同手电光或聚光灯照射在替代的区域上。然而本公开文本并不限于圆盘形。使用者可以通过客户端用户界面进一步与计算机互动以增大或减小区域的尺寸或修改区域的形状。并且，如在图11-13中所示，使用者可以使区域的位置偏移，例如通过移动鼠标指针(或任何其他交互手段，如语音控制)。在此可以将局部对准再次用在区域之间的边界，以调整区域之间的对齐。
虽然图11-13的例子是ihc数据覆盖在h&e数据上，但用户也可以选择哪个图像是主要的(顶部的)以及哪个图像是次要的(被堆叠/覆盖)。因此，例如h&e数据可以覆盖在ihc数据上。排序选择(也就是哪个图像被指定为主要图像以及位于下方的次要图像的层次)可以在选择用于融合式查看的图像时由使用者进行。替代地或者附加地，堆叠的顺序可以在查看过程中改变，例如通过将堆叠重新排序(例如通过指示顶部图像移动到堆叠的后部)。
进一步地，虽然图11-13的例子仅展示了一个融合(聚光)区域，但在一些实施方案中可以存在多个融合区域。该区域中的每一个可以提供来自单一次要载片的图像数据，或者该区域中的部分或全部可以提供来自不同次要载片的图像数据。
图14是展示了由根据本公开文本的图像分析软件程序的实施方案执行的方法的实现方式的流程图。图像分析软件程序允许用户指示处理器以融合式视图模式查看两个或更多个图像。在一些实施方案中，如果所选择的图像没有对齐，则程序也可以允许用户对准所选择的数字图像(例如组织切片的所扫描的载片的数字图像，包括完整载片图像、部分载片图像或部分载片图像的整体或部分的一部分)。
如图6中所示，方法600在开始框602起始。在框604，采集一组用于操作的图像数据或数字图像(例如扫描的或从数据库选择的或从源接收的)。每组图像数据包括对应于例如来自单一患者的一组相邻组织切片中的组织切片的图像数据。每个图像，与另一个图像相比，可以是从不同染色的、或使用不同成像模式数字化的或两者的组织切片得到的。在一些实施方案中，数字图像是通过扫描从相邻组织切片制备的载片(例如显微镜玻璃载片)而产生的。
在框606，用户在所选择的图像中指定作为主要(即顶部)图像的图像。如果仅有一个次要图像，则该程序继续到框612。否则，在框610，用户给次要图像指定顺序。
进行到框612，如果所选择的图像先前已经对齐，则该过程继续到框616。否则，在框614使用任何图像对准方法将图像对齐。在框616，所选择且对准的(对齐的)图像显示在共用的网格上，该图像覆盖在单一图像上并且显示在监视器(或若干监视器)上。在框618，客户端使用者选择融合式视图可视化工具，如帘状视图、多个帘状视图、手电光视图、多个手电光视图，从而造成正在显示的图像作为复合图像(具有互动特征，如滑条按钮或聚光)，其中将来自主要数字图像和一个或多个次要数字图像的信息组合，使得复合图像的不同区域展示来自不同数字图像的图像数据，例如如上与帘状视图、多个帘状视图、手电光视图和多个手电光视图相关地描述的。
在框620，客户端使用者可以与该显示互动以操作该复合图像来增大或减小图像数据由该主要数字图像和一个或多个次要数字图像所贡献的比例。例如，在帘状视图中，这可以通过以一个帘的尺寸为代价来增大另一个帘的尺寸而完成。作为另一个例子，在手电光视图中，这可以通过增大或减小聚光的尺寸和/或增大或减小聚光的数量而完成。
在一些实施方案中，在这个框620的过程中，在当互动元素(如滑条或聚光)被启动(例如移动)以修改复合图像时，在两个数字图像的界面处进行局部对准。局部对准用于减少对齐问题，对齐问题可能发生在不完全相同而是从相邻组织切片得到的两个图像的边界处。
客户端使用者然后可以决定终止该程序(继续到框622)或者可以决定通过修改对主要和次要图像的选择来修改复合图像。这可以通过将现有堆叠重排序(例如以将新图像标识为主要的)或者通过从数据库中选择新的(经对准的)图像并将其加入到堆叠中或用新选择的图像部分或完全替代堆叠中现有图像。再次，如果图像已经被对齐，那么显示新的复合图像，该复合图像可以使用融合查看工具中的任何一种来操作。或者，首先对齐图像，然后将其显示为准备好用于操作的复合图像。
已经描述了某些实施方案，但是技术人员理解，本公开文本仍涵盖其他的实施方案。本领域技术人员将理解的是，在不背离本发明的广义发明构思的情况下，可以对上文描述的实施例做出改变。例如，本公开文本并不受限于两个载片的融合；可以用例如不同ihc和特殊染色化验物来染色多个载片，并且将其融合到一起以进行显示。作为另一个例子，h&e染色的载片可以与ihc或其他方式染色的载片一起使用，但并非必需的。因此应理解，本公开文本和本发明的构思并不受限于所公开的具体实施方案，但是旨在覆盖包括所附权利要求书中限定的内容的本发明构思的精神和范围之内的修改。相应地，前述对不同实施方案的说明并不一定暗示排除。例如“一些”实施方案或“其他”实施方案可以包括本发明范围内的“一些”、“其他”、“另外”和“某些”实施方案中的全部或部分。