获取荧光原位杂交图像时的相机曝光控制的制作方法

1.本公开一般涉及荧光原位杂交(fish)，更具体涉及获取fish图像的方法和装置。


背景技术：

2.fish是一种广泛使用的细胞遗传学技术，其基于将荧光探针附接到染色体上来通过检测脱氧核糖核酸(dna)或核糖核酸(rna)的特定序列的存在检测、分析并定量核异常。fish有许多不同的实现方式，其中一些如下：(a)组织fish；(b)多光谱fish(m
‑
fish)；(c)点计数fish；(d)流式fish(即，在流式细胞仪中进行的fish)；以及(e)微流体辅助fish(ma
‑
fish)。fish的应用包括几种癌症类型的诊断、几种癌症类型的进展分析、以及染色体异常的标识。通常，除了获取fish探针图像(即，对用于标记感兴趣dna或rna的荧光标记敏感的图像)外，还通过使用染色剂(诸如dapi(4',6
‑
二脒基
‑2‑
苯基吲哚)染色核dna，从而标识样品中核的位置来获取复染剂图像。然后，fish探针图像和复染剂图像可以存储在一起并进行联合处理，例如，用于分析或显示。
3.以下以applied imaging公司(现在为leica biosystems公司的一部分)的名义的专利出版物描述了用于获取fish图像的方法和装置：us 5880473 a、us 6225636 b1、us 2002/081014 a1、us 2003/012420 a1、以及wo 98/52018 a1，其全部内容通过引用并入本文。
4.wo 2008/019299 a2公开了一种用于从样品的所有区域捕获可接受地曝光的图像的自动曝光方法。该方法具体地解决了图像传感器及相关电子器件的动态范围小于样品中不同区域的强度范围的情形，因此单个捕获的图像不能存储所有信号信息。为了解决该问题，拍摄了许多图像。即，在正确曝光的情况下，拍摄最明亮的图像区域的第一图像。然而，由于带有调光器信号的区域在第一图像中曝光不足，并且鉴于信号位于动态范围之外，可能根本不会记录，因此在更大曝光时拍摄第二图像以对这些调光器区域成像，同时遮蔽明亮区域。可以迭代该过程以按照需要在曝光相继减少的情况下拍摄其他图像，直到整个图像集合包括整个样品区域上正确曝光的图像部分为止。
5.ep 3021105 a1公开了用于从样品的所有区域捕获可接受地曝光的图像的另一自动曝光方法，其还解决了以下相同问题：当图像传感器及相关电子器件的动态范围小于样品中的不同区域的强度范围时，可能会丢失来自调光区域的显著信号。该方法基于使用预先定义的曝光时间集合，例如，0.1秒、1秒、4秒、以及40秒。使用这些曝光时间中的一个曝光时间来获取第一图像，该曝光时间要么是整个图像的最佳曝光，要么是集合的中间的曝光时间。然后按区域对第一图像进行处理，以确定每个区域的强度值。如果特定区域的强度值低于检测器的饱和度值且高于检测器的背景噪声水平，则确定针对该集合中的较长曝光时间的强度值会是何值。然后，软件选择集合中的特定曝光时间，预计该特定曝光时间给出低于饱和的最高强度值。然后，在该曝光值下拍摄另一图像，然后覆盖该特定区域的子图像“区块(tile)”就是用于后续图像处理的图像。因此，最终用于图像后处理的图像是具有不同曝光的子图像区块的复合拼接图，每个区块都具有已经为该区域选择的曝光。
6.获取fish探针图像的已知显微镜和其他系统使用自动曝光技术设置相机的曝光，该自动曝光技术依赖于图像直方图或诸如最小像素值和最大像素值之类的其他图像测量来确定fish探针图像的亮度，即，图像强度。根据整个fish探针图像或fish探针图像的选定部分创建用于确定适当曝光的直方图。在后一情况下，已知通过以下各项创建直方图：根据图像的一部分(诸如中心部分)，或将整个图像划分为多个区域并且从为每个区域确定的个体亮度值中读取共识读数，或通过应用图像阈值来标识fish信号所在的位置然后根据该阈值创建掩模以遮蔽低于阈值强度的区域，以便仅考虑高于阈值强度的区域进行曝光确定。通过示例，用于获取fish探针图像的具有自动曝光功能的已知显微镜系统是leica biosystems公司所供应的cytovision(rtm)。
7.然而，已经观察到，通过如刚刚描述的标准自动曝光设置方法获取的fish探针图像有时缺乏细节。特别地，经过更仔细调查，似乎在一些情况下，感兴趣图像中的fish探针所在的部分未得到最佳曝光，即，曝光不足或曝光过度。


技术实现要素：

8.根据本公开的一个方面，提供了一种控制图像获取装置的方法，该图像获取装置包括用以获取样品的荧光原位杂交fish探针图像的荧光显微镜装置，该样品使用fish探针标记，该方法包括：
9.将用于获取fish探针图像的曝光设置为初始值；
10.使用所述曝光的所设置的所述值获取fish探针图像；
11.通过应用至少一个形态学运算符对fish探针图像进行图像处理，以标识图像强度有所提高的位置周围的感兴趣区域，然后生成用于滤除感兴趣区域以外的所有区域的fish探针图像掩模；
12.将掩模应用于fish探针图像，以确定感兴趣区域中的图像强度；以及
13.如果该图像强度具有期望强度值，该期望强度值指示fish探针图像的正确曝光，则生成并保存fish记录，该fish记录包括经正确曝光的fish探针图像；否则，调整曝光值并且使用曝光的调整值迭代该方法。
14.掩模用于对fish探针图像进行图像处理，以确定掩模区域内(特别是细胞核处)的图像强度。然后，基于掩模区域内的图像强度来确定记录中保存的最终图像的曝光的调整值。
15.在一个实施例组中，通过相继增加曝光直到图像强度高于期望值为止，来凭经验确定经调整曝光，使得期望值用作需要被超过的阈值。即，曝光的初始值有意设置得太短，以使初始fish探针图像被曝光不足。通过从第一fish探针图像被曝光不足的情况开始获取，下一获取的曝光的调整值将大于初始值。对于有意曝光不足的初始fish探针图像，核区域中的信号几乎肯定会太低。根据曝光不足的fish探针图像中感兴趣区域的图像强度，可以确定较高曝光，其可以提供fish信号的足够明亮的成像。特别地，曝光可以从其初始值迭代增加，以便最终达到捕获足够亮的fish探针图像的曝光。然而，在没有已经通过fish荧光标记的特征(例如，核)或特征数目不足的情况下，则fish探针图像中可能没有信号或信号不足，所以细胞区域(即，掩模下的区域)永远不会发荧光或发出的荧光不够强，因此无论曝光如何，都应保持黑暗或太昏暗。由于不能先验得知是否存在任何fish信号或足够的fish
信号，所以在迭代导致已经达到或接近的最大曝光值之后优选地终止曝光的递增。当没有希望找出足够强的fish信号时，该措施避免不必要地重复fish探针图像的迭代获取。
16.特别地，在该实施例组中，确定曝光的调整值包括：在曝光从初始值相继增加的情况下获取后续fish探针图像并且对它们进行图像处理以确定它们的图像强度，直到达到在感兴趣区域中提供图像强度的曝光高于期望图像强度为止。而且，如上文所讨论的，一旦达到最大曝光值而没有获得具有高于阈值(above
‑
threshold)的图像强度的fish探针图像，则终止曝光的递增增加可能是有用的。在这种情况下，生成fish记录并且连同具有阈值以下(below
‑
threshold)图像强度的fish探针图像中的一个fish探针图像(诸如最新近获取的fish探针图像)以及元数据(诸如记录的标题中的文本标签)一起保存，该元数据指示fish探针图像最有可能没有fish信号或fish信号不足。
17.至少在理论上，基于曝光不足的初始fish探针图像的所提出的方法的反向方法是可能的。也就是说，可以在有意曝光过度，然后递减曝光直至达到合适图像强度的情况下，获取第一fish探针图像。然而，这并非一样的好，因为该方法将从最长曝光(例如，几秒)开始，并且因此与所要求保护的方法(在该方法中，初始曝光持续时间将通常可能为几毫秒，例如5ms)相比，执行所花费的时间要多几个数量级。
18.在另一实施例组中，通过基于初始获取的fish探针图像的图像强度和曝光应用公式来计算图像强度达到期望值所需的曝光量，从而以分析方式确定经调整的曝光。因此，期望图像强度用作针对该实施例组的目标值。例如，通过将基于初始fish探针图像的曝光与图像强度之间的比例的第一因子乘以基于期望图像强度的第二因子，可以确定曝光的调整值。在其他实施例中，确定曝光的调整值包括：获取至少一个后续fish探针图像，每个后续fish探针图像的曝光从初始值开始相继增加；并且还包括：对后续fish探针图像进行图像处理以确定它们的图像强度；以及通过以下各项确定曝光的调整值：将基于多个初始fish探针图像和后续fish探针图像的曝光与图像强度的比例之和的第一因子与基于期望图像强度的第二因子相乘；或将基于后续fish探针图像中的一个后续fish探针图像的曝光与图像强度之间的比例的第一因子与基于期望图像强度的第二因子相乘。
19.可选地，样品可以附加地用复染剂标记，在这种情况下，该方法还可以包括：获取样品的复染剂图像。然后，对复染剂图像进行图像处理以生成复染剂图像掩模，该复染剂图像掩模滤除除经复染区域以外或周围之外的所有区域。然后，对fish探针图像的后续图像处理可能受限于未被复染剂图像掩模滤除的区域，即，fish探针图像处理仅发生在被复染的样品区域或与经复染区域密切有关的区域上(例如，在膨胀运算符被应用于经复染像素，用以生成复染剂掩模的情况下)。以这种方式应用膨胀运算符可能有益于帮助避免复染剂图像与fish探针图像之间出现任何配准误差，这些配准误差导致复染剂掩模对fish探针图像中存在fish信号的区域的剪裁。对于用于fish的典型复染剂，由于复染剂会附接到样品中的核材料上，所以经复染特征位置将是细胞核位置。
20.本发明的另一方面提供了一种计算机程序产品，该计算机程序产品用于控制图像获取装置，以获取样品的荧光原位杂交fish探针图像、该样品使用fish探针和可选的复染剂进行标记，该计算机程序产品携载用于执行控制图像获取装置的上文所描述的方法的机器可读指令。
21.本发明的又一方面涉及一种图像获取装置，其用于获取样品的荧光原位杂交fish
探针图像、该样品使用fish探针标记。该图像获取装置包括荧光显微镜布置，该荧光显微镜布置可操作用于获取样品的fish探针图像；以及控制计算机，该控制计算机被配置为使用荧光显微镜布置确定用于获取fish探针图像的适当曝光。控制计算机以以下方式确定适当曝光：
22.将用于获取fish探针图像的曝光设置为初始值；
23.使用曝光的所设置的值获取fish探针图像；
24.通过应用至少一个形态学运算符标识图像强度提高的位置周围的感兴趣区域，并且然后生成用于滤除除感兴趣区域以外的所有区域的fish探针图像掩模，来对fish探针图像进行图像处理；
25.将掩模应用于fish探针图像，以确定感兴趣区域中的图像强度；以及
26.如果该图像强度具有期望强度值，该期望强度值指示fish探针图像的正确曝光，则生成并保存fish记录，该fish记录包括经正确曝光的fish探针图像；否则，调整曝光值并且使用曝光的经调整值迭代该方法。
27.该装置还可以包括显示器；以及显示器输出，该显示器输出可操作为访问fish记录并将fish探针图像以及可选的复染剂图像传输到显示器，使得fish探针图像以及可选的复染剂图像得以被显示。
28.本发明的另一方面涉及一种临床网络，包括：
29.计算机；
30.数据存储库，其被配置为存储fish记录，该fish记录包括fish探针图像以及可选的复染剂图像；
31.网络连接，其使得能够在计算机与数据存储库之间传送fish记录或其部分；以及
32.根据上述的图像获取装置，其可操作为生成fish记录并且将其保存到数据存储库。
附图说明
33.在下文中，通过示例仅参考附图中所图示的示例性实施例来对本发明进行进一步描述。
34.图1是适合于获取fish图像的示例荧光显微镜系统的示意图。
35.图2是示出了执行根据本发明的实施例的方法时所涉及的步骤的流程图。
36.图3a示出了在不受益于本发明的情况下拍摄的fish探针图像。
37.图3b示出了根据本发明的实施例的在曝光优化的情况下拍摄的与图3a相同的样品的fish探针图像。
38.图4是示出了执行根据备选实施例的方法时所涉及的步骤的流程图。
39.图5示出了可以与本发明的实施例结合使用的示例计算机网络。
40.图6是可以用于进行实现本发明所需的图像处理的计算装置的框图。
具体实施方式
41.在以下具体实施方式中，出于解释而非限制的目的，对具体细节进行阐述以便提供对本公开的更好理解。对于本领域技术人员而言，显而易见的是，可以在脱离这些具体细
节的其他实施例中实践本公开。
42.在本文档中，我们使用术语形态学运算符。该术语应当理解为意指用于形状分析的数学运算符，尤其是用于提取在形状的表示和描述中有用的图像分量的数学运算符。对于fish探针图像，这意指细胞或诸如核之类的细胞元素的形状。形态学运算符的示例如下：膨胀、腐蚀、打开、关闭。可以在以下各项找出更多细节：
43.·
冈萨雷斯(gonzalez)和伍兹(woods)的教科书“digital image processing)”的第9章，题为“morphological image processing”，第三版(2008年)，第627页至第688页，isbn 013168728；以及
44.·
理查德
·
沃顿(richard wootton)、戴维
·
斯普林加尔(david springall)和朱莉娅
·
波拉克(julia polak)编辑的教科书“image analysis in histology”的第14章，题为“edge detection in microscope images”，第241页至第261页，isbn 0521434823，1995。
45.以上书目的全部内容通过引用并入本文。
46.显微镜平台
47.图1是适用于获取样品10的fish图像的示例反射模式(即，epi)荧光显微镜系统5的示意图。显微镜系统5中的光学布置包括激发滤光器12(其被示为滤光器轮上的几个这样的滤光器中的一个滤光器)、二向色镜15、显微镜物镜17(如60x至100x图像放大倍率)、以及发射滤光器20(有时也称为屏障滤光器)。来自光源25的激发光穿过激发滤光器12，其一部分被二向色镜15反射，并且该部分继续通过显微镜物镜17到达样品10。朝向样品行进的激发光由空心箭头示意性地示出。从样品10发射的荧光辐射通过物镜17、二向色镜15和发射滤光器20返回，以在像平面30中形成图像。远离样品行进的荧光由实心黑色箭头示意性地示出。图像由诸如具有电荷耦合器件检测器的相机之类的相机32数字化，并且该数字化的图像被发送到计算机35以供后续处理。
48.如果滤光器具有单通带，则特定滤光器和二向色镜对于样品中的单个染料是特定的。样品中其他染料的图像通过替换光学元件来获取，该光学元件被配置用于每个其他染料的激发带和发射带。二向色镜和发射滤光器通常刚性地安装到通常被称为立方体的支撑结构40(以虚线示出)，后者具有从光路移入和移出的多个立方体。方向相对的箭头42表示合适机构，诸如可旋转转台或锁定滑动机构。多个激发滤光器通常部署在可旋转滤光器轮上(如所示出的)。该系统可以用于单色图像获取或彩色图像获取。对于彩色获取，ccd相机是彩色ccd相机，多带激发在具有相应源、或者宽带源和适当滤光器的三个色带中提供，并且提供仅在三个发射带中的一个发射带内透射的三个对应发射滤光器。用于fish的示例荧光染料包括dapi、fitc(异硫氰酸荧光素)、以及花青染料，诸如cy3、cy3.5、cy5、cy5.5、以及cy7。
49.图像获取
50.fish探针图像的图像获取包括：应用相机自动曝光方法。自动曝光方法被设想为：只要样品能够产生足够亮度的fish信号，则将相机曝光设置为用于获得fish探针图像的合适值，以使fish信号清晰可见。特别地，所提出的方法对于明亮的高度荧光碎片的存在具有鲁棒性，该碎片否则会导致fish荧光信号所处的细胞核区域的曝光不足。
51.图2是示出了在执行体现所提出的自动曝光方法的方法时所涉及的步骤的流程
图。
52.首先，如步骤s20所示，当然需要例如在载玻片上提供样品。样品已经使用fish探针和合适复染剂标记。样品装载在显微镜或具有显微镜成像能力的其他合适装置平台(诸如合适配备的流式细胞仪或微流体系统)下。复染剂通常会突出显示细胞核，但原则上复染剂可以附加地或替代地染色其他细胞特征，诸如细胞质或细胞质膜。在下文中，我们假设核复染剂。
53.在步骤s21中，该方法获取样品的复染剂图像并将其保存。
54.在步骤s22中，方法对复染剂图像进行图像处理，以生成定义感兴趣区域(即，核的区域)的掩模。例如，这可以通过施加图像强度阈值来进行，以产生标识细胞核位置的掩模。例如，可以确定每个连续像素组周围的闭合轮廓，每个连续像素组被标识为与核相对应。闭合轮廓可以直接用于掩模，或可以例如通过膨胀对轮廓进行进一步处理。另一备选方案是使用某种blob分析来定义掩模。核区域的一定量的膨胀或其他扩展可能有利于允许复染剂图像与fish探针图像之间的配准误差，随后使用掩模对这些配准误差进行分析。即，如果掩模正好与复染剂图像中的经染色核像素相对应，则任何配准误差都会导致一定比例的fish信号被排除在图像强度的确定之外，从而使所测量的图像强度低于真实图像强度。
55.在步骤s23中，该方法将图像获取装置的曝光设置为预计导致fish探针图像曝光不足的初始值。
56.在步骤s24中，该方法获取fish探针图像。
57.在步骤s25中，该方法通过应用至少一个形态学运算符以标识图像强度有所提高的位置周围的感兴趣区域，并且随后在感兴趣区域周围生成fish探针图像掩模，来对fish探针图像进行图像处理，以使掩模滤除除感兴趣区域以外的所有区域。在步骤s22中生成的复染剂掩模通过允许图像处理局限于如由复染剂掩模限定的感兴趣区域，来辅助进行步骤s25中的图像处理，从而减少了所需处理量并且避免了对没有位于感兴趣细胞材料区域中的伪像的处理。
58.步骤s25的示例计算(第一探针图像掩模生成)
59.a.通过复染剂掩模对fish探针图像进行滤波，以将复染剂掩模所遮蔽的所有像素的强度值设置为零。
60.b.应用中值滤波器以降低噪声。
61.c.应用白高帽滤波器以移除fish信号的任何背景环境光分量，从而保留比背景明亮的图像强度特征以及小于特定尺寸的对象，其中选取尺寸以免拒绝在当前图像捕获放大倍率(或可能图像捕获放大倍率范围)下可能会出现的任何特征。
62.d.应用区域最大值运算符来确定fish探针图像内最大值的位置。区域最大值可以被定义为连接像素的连续性集合，每个像素的强度值都高于阈值，其外部边界像素的值均小于阈值。
63.e.通过应用膨胀运算符来膨胀区域最大值，以避免掩模滤除过多。
64.f.通过对图像应用阈值滤波器来生成fish探针图像掩模，其中阈值被设置为使得具有高于阈值强度的像素与fish信号的位置相对应。
65.在步骤s26至s28中，该方法基于感兴趣区域中的图像强度来根据需要调整曝光。如果图像强度测量指示感兴趣区域中的亮度低于阈值，即，太暗，则该方法将曝光递增到e'
＝e+δe，除非所增加的曝光值将超过最大准许值(步骤s27的测试)。如果未超过最大曝光，则过程流程从步骤s27进行到步骤s28，然后进行到步骤s24，依此类推，以获得曝光有所增加的另一fish探针图像。由于最长准许曝光仍然会导致fish探测器图像在核所在的位置太暗，所以如果按照步骤s27中的测试，因增量而超过最大曝光，则这指示没有要测量的fish信号或该fish信号不足，在这种情况下该方法可以结束。另一方面，如果强度测量指示亮度足够高，则曝光ok，并且该方法的迭代部分可以在步骤s29中生成并保存记录后结束。
66.换句话说，步骤s26测试在步骤s25中获得的图像强度是否具有期望强度值，该期望强度值指示fish探针图像的正确曝光。如果为
‘
是’，则该方法可以通过生成并保存包括正确曝光的fish探针图像的fish记录来终止。将复染剂图像保存到记录中也很明智，尽管并非必须。如果为
‘
否’，则在步骤s27中测试使曝光值递增是否明智。
67.在步骤s27中，如果所递增的曝光值大于最大曝光值，则这很可能意味着样品不能发射足够强的fish信号，所以没有必要进一步迭代。因此，通过保存包含例如最新近获取的fish图像的记录来终止该方法。在这种情况下，添加一些元数据(诸如在记录标题中添加文本标签)也很明智，尽管并非必须，从而说明或指示fish探针图像最为可能没有明显的fish信号或该fish信号不足，即，这很可能是失败获取。
68.如果步骤s27准许使曝光递增，则这在步骤s28中进行，并且过程流程返回到步骤s24，以获取另一fish探针图像。
69.设想得到，调整曝光以找出适当值将包括：通过重复遍历步骤s24至s28的循环来在曝光递增的情况下重复获取fish探针图像，其中图像处理在每次迭代时确定感兴趣区域(例如，细胞核)处的fish图像强度，直至达到提供足够明亮的图像强度(步骤s26的测试)(即，高于较低的图像强度阈值)的曝光为止。
70.曝光增量可以例如是恒定的固定增量，或其大小发生变化的增量。变化增量的一个示例是遵循预先定义的进展，诸如以每次使曝光加倍的乘数因子(例如，2)增加。在这些实施例中，乘数因子的优选值介于1.5与2.5之间。另一示例是以交互方式使增量大小发生变化，该变化基于所确定的最后fish探针图像的强度水平低于期望强度水平的程度而定，其中随着接近期望强度水平，增量随之变小，这例如通过使用包括期望强度与当前强度之间的差异作为分量的乘数因子来实现。
71.通过步骤s29，该方法以将fish探针图像保存到记录中而结束。优选结果是当流程从步骤s26进行到步骤s29时，在这种情况下，所保存的fish探针图像在感兴趣区域中具有的强度值是期望值。记录优选地还保存复染剂图像。在已经达到最大曝光极限的情况下，所保存的fish探针图像可以是最新近获取的fish探针图像，其包括
‘
空(nul)的’黑暗图像(在从步骤s27到步骤s29的流程情况下)。可替代地，所保存的图像可以是作为步骤s29的一部分获取的附加fish探针图像。进行记录的额外获取可能是为了获得整体上更好的图像质量。例如，基于对通过步骤s24的不同遍历所获取的fish探针图像中的两个或更多个fish探针图像的联合分析，可以选取被认为是最佳的曝光，例如，通过对步骤s24至s28的循环的最新近的两个或三个迭代的图像强度进行插值所确定的曝光值。
72.优选的是，在上述获取过程期间对图像的处理要迅速进行，以使该方法是可接受的快速(例如，借助于图形处理单元(gpu))。而且，曝光增量δe优选地被设置为足够小以提供精细调整的值，但又不能设置得太小以至于迭代次数使整个过程变得不可接受地慢。另
外，应当指出，速度是方法从短曝光开始并增加这些曝光的原因，而不是进行反向操作，即，从长曝光开始然后缩短这些长曝光。
73.可以使用例如上文提及的教科书的章节中所描述的标准处理技术的任何组合，来产生根据fish探针图像生成的掩模和根据复染剂图像生成的掩模。fish探针图像或复染剂图像可以是彩色或灰度的。可以通过应用对比度增强滤波器来修改图像。掩模生成可能涉及到某种分割，以标识图像中的感兴趣区域。分割可能涉及到以下任何或所有图像处理技术：
74.1.用于标识种子区域的基于方差的分析
75.2.自适应阈值化
76.3.形态学操作(如上文所描述的)
77.4.轮廓标识
78.5.基于邻近启发式规则的轮廓合并
79.6.不变像矩的计算
80.7.边缘提取(例如，sobel边缘检测)
81.8.曲率流滤波
82.9.超像素聚类。
83.用于生成掩模的这些图像处理步骤通过示例进行了描述，并且不应将其解释为以任何方式限制本发明的范围。
84.对比示例
85.图3a示出了在不受益于本发明的情况下拍摄的fish探针图像。图像的底部边缘的、处于从左到右居中位置附近的可见明亮荧光碎片已经导致基于跨整个图像的亮度的自动曝光方法在感兴趣区域曝光不足，因此它们太暗。
86.图3b示出了根据本发明的一个实施例的在曝光优化的情况下拍摄的与图3a相同的样品的fish探针图像。从fish探针图像获得的掩模已经用于排除如上文描述所确定的明亮荧光碎片，以免影响曝光。结果，fish探针图像中的感兴趣区域被适当地曝光，并且细胞核中的细节可见。
87.备选图像获取实施例
88.作为上文所描述的初始有意曝光不足、然后逐步增加曝光直至图像强度高于阈值的经验方法的备选方案，可以替代地通过计算在最终fish探针图像的感兴趣区域中需要多少曝光，以使得图像强度达到期望图像强度。这种计算可以通过比较初始fish探针图像的图像强度与最终fish探针图像的期望图像强度，基于放大或缩小用于初始图像的曝光才进行。因此，最终fish探针图像的曝光可以直接根据从最初获取的初始fish探针图像所确定的图像强度进行设置，而无需迭代。即，如果给定fish探针图像中的图像强度是期望图像强度的某个分数，例如，在一个示例中，三分之一，则可以推断出正确曝光是获得该fish探针图像所用的曝光的该分数的倒数，即，在我们的示例中为3倍。即，可以通过将第一因子乘以第二因子来确定曝光的调整值e
final
，该第一因子基于用于获取初始图像的曝光e0与初始fish探针图像的图像强度i0之间的比例，该第二因子i
th
基于所期望的图像强度，即有：
[0089][0090]
图4是示出了在执行体现了这种自动曝光方法的方法时所涉及的步骤的流程图。
[0091]
步骤s40与图2的步骤s20相对应。该步骤提供了已经使用fish探针和合适复染剂标记的样品，并且将该样品加载到获取装置中。
[0092]
在与图2的步骤s21相对应的步骤s41中，该方法获取样品的复染剂图像并且将其保存。
[0093]
在与图2的步骤s22相对应的步骤s42中，方法对复染剂图像进行图像处理以生成定义感兴趣区域(即，核区域)的掩模。
[0094]
在与图2的步骤s23相对应的步骤s43中，该方法将图像获取装置的曝光设置为初始值，该初始值例如可以是预计生成曝光不足的fish探针图像的初始值或预计会正确曝光的初始值。
[0095]
在与图2的步骤s24相对应的步骤s44中，该方法获取fish探针图像。
[0096]
在与图2的步骤s25相对应的步骤s45中，该方法通过应用至少一个形态学运算符对图像强度有所提高的位置周围的感兴趣区域进行标识，来对fish探针图像进行图像处理，并且随后生成用于滤除除感兴趣区域以外的所有区域的fish探针图像掩模。然后，该掩模应用于fish探针图像，以确定感兴趣区域中的图像强度。
[0097]
在步骤s46中，根据下式计算适当曝光：
[0098][0099]
在步骤s47中，使用在步骤s46中计算出的曝光来获取最终fish探针图像。
[0100]
在与图2的步骤s29相对应的步骤s48中，生成fish记录，最终fish探针图像以及优选地还有复染剂图像保存在该记录中。与图2的实施例类似，如果需要，则可以通过应用与步骤s45的措施相同的措施来确定在步骤s47中获取的最终fish探针图像的图像强度，并且如果与期望值(其如借助于高于阈值或在上下限之间的期望范围内来量度)相比较，该图像强度太低(或太高)，则记录中可以保存有元数据，用以指示fish信号太弱(或太强)。
[0101]
应当领会，步骤s40至s45分别与步骤s20至s25基本相同，除了在图4的分析方案中，与图2有所不同的，初始fish图像的曝光不必被选取成故意使图像曝光不足。这在分析方法中并非是必需的，因为所应用的公式将在初始图像曝光不足或曝光过度的情况下同样很好地操作。
[0102]
还可以使用图2和图4的实施例之间的混合方案，其中两个或更多个fish探针图像在不同曝光的情况下进行获取，例如通过使曝光迭代递增两次或更多次，然后在这些图像的图像强度值之间进行插值，以确定用于最终获取的适当曝光。这种确定fish探针图像曝光的合适最终值的分析方式的示例包括：按照图2的流程获取至少一个后续fish探针图像，从而获取包括初始fish探针图像在内的至少两个fish探针图像，从中计算出最终fish探针图像的曝光。应当设想，一个或多个后续fish探针图像的曝光从前一图像相继增加，其从对第一后续fish探针图像的初始值的递增开始。最终曝光值e
final
例如根据如下公式通过将第
一因子乘以基于所期望的图像强度的第二因子来确定，该第一因子基于初始fish探针图像和后续fish探针图像的曝光与图像强度的比例之和：
[0103][0104]
其中
[0105]
n＝0与初始fish探针图像相对应，
[0106]
n≥1与该fish探针图像或每个后续fish探针图像相对应，以及
[0107]
n是后续fish探针图像的数目，其中n≥1。
[0108]
如果需要，则可以通过仅求和一些元素来对此进行修改(例如，丢弃与最低
‘
n’个数字有关的一个或多个迭代)。另一修改是以某种合理方式对求和元素进行加权，诸如为最新近获取的后续图像赋予更高加权，其中加权公式可能如下：
[0109][0110]
其中c
n
是加权因子。
[0111]
另一备选方案是在确定时仅使用后续fish探针图像中的一个后续fish探针图像，即：
[0112]
其中1≤n≤n
[0113]
即，将第一因子与基于所期望的图像强度的第二因子相乘，第一因子基于后续fish探针图像中的一个fish探针图像的曝光与图像强度之间的比例。
[0114]
可以容易领会关于该主题的其他变型。
[0115]
计算平台和网络环境
[0116]
所提出的图像处理可以在多种计算架构(特别是针对图像处理进行了优化的计算架构)上进行，其可以基于中央处理器(cpu)、gpu、现场可编程门阵列(fpga)和/或专用集成电路(asic)。在一些实施例中，图像处理软件在来自加利福尼亚州圣克拉拉的nvidia公司的nvidia gpu(诸如tesla k80 gpu)上运行。在其他实施例中，图像处理软件可以在通用cpu上运行。用于执行图像处理计算的专用处理器可以获得更快的处理。
[0117]
应当理解，用于运行图像处理软件的计算能力，无论其基于cpu、gpu还是某种其他处理器类型，都可以本地托管在临床网络(例如，下文所描述的网络)中，或远程托管在数据中心中。
[0118]
所提出的计算机自动化方法在实验室信息系统(lis)的背景下运行，而实验室信息系统通常又是更大的临床网络环境——诸如医院信息系统(his)或图片存档和通信系统(pacs)——的一部分。在lis中，图像数据文件将保留在数据库中，该数据库通常是包含个体患者的电子医疗记录的患者信息数据库。由于获取图像数据文件的显微镜配备有条形码读取器，所以这些图像数据文件将从安装在载玻片上的染色组织样品中获取，载玻片上携载打印的条形码标签，通过这些条形码标签，图像数据文件可以使用合适元数据进行标识。
从硬件的角度来看，lis将是传统计算机网络，诸如具有如所期望的有线连接和无线连接的局域网(lan)。
[0119]
图5示出了可以与本发明的实施例结合使用的示例计算机网络。网络150包括医院152中的lan。医院152配备有若干个工作站154，每个工作站经由局域网访问具有关联的存储设备158的医院计算机服务器156。lis、his或pacs档案存储在存储设备158上，以使可以从工作站154中的任何工作站访问档案中的数据。工作站154中的一个或多个工作站154可以访问图形卡以及用于生成如前所述的图像的计算机实现方法的软件。该软件可以本地存储在该工作站154或每个工作站154处，或可以远程存储并在需要时通过网络150下载到工作站154。在其他示例中，体现本发明的方法可以在具有作为终端操作的工作站154的计算机服务器上执行。例如，工作站可以被配置为接收定义期望fish图像数据集的用户输入，并且在系统中其他位置执行图像处理分析时显示结果图像。此外，若干个fish图像获取设备和其他医疗成像设备160、162、164、166连接到医院计算机服务器156。使用设备160、162、164、166收集的图像数据可以直接存储到存储设备156上的lis、his或pacs档案中。因此，在记录了对应fish图像数据之后，可以立即查看并处理fish图像。局域网通过医院互联网服务器170连接到互联网168，该医院互联网服务器170允许远程访问lis、his或pacs档案。这用于远程访问数据并在医院之间传送数据(例如，如果患者被移动)，或用于允许进行外部研究。
[0120]
图6是图示了可以与本文中所描述的各种实施例结合使用的示例计算装置500的框图。例如，计算装置500可以用作上文所提及的lis或pacs系统中的计算节点——例如，用作主机计算机，从该主机计算机，对fish图像的处理结合合适cpu或gpu来进行。
[0121]
计算装置500可以是服务器或任何传统个人计算机，或是能够进行有线数据通信或无线数据通信的任何其他处理器使能设备。对于本领域技术人员，显而易见的是，还可以使用其他计算装置、系统和/或架构，其包括不能进行有线数据通信或无线数据通信的设备。
[0122]
计算装置500优选地包括一个或多个处理器，诸如处理器510。处理器510可以是例如cpu或gpu或其阵列或组合，诸如cpu和gpu组合。可以提供附加处理器，诸如用于管理输入/输出的辅助处理器、用于执行浮点数学运算的辅助处理器(诸如张量处理单元(tpu))、具有适合于快速执行信号处理算法的架构的专用微处理器(例如，数字信号处理器、图像处理器)、从属于主处理系统的从处理器(例如，后端处理器)、用于双处理器系统或多处理器系统的附加微处理器或控制器、或协处理器。这样的辅助处理器可以是分立处理器，或可以与处理器510集成在一起。可以与计算装置500一起使用的cpu的示例是奔腾(pentium)处理器、酷睿i7(core i7)处理器、以及至强(xeon)处理器，所有这些都可以从加利福尼州亚圣克拉拉的英特尔公司(intel corporation)获得。可以与计算装置500一起使用的示例gpu是加利福尼亚州圣塔克拉拉的nvidia公司的tesla k80 gpu。
[0123]
处理器510连接到通信总线505。通信总线505可以包括数据通道，该数据通道用于促进存储装置与计算装置500的其他外围部件之间的信息传送。通信总线505还可以提供用于与处理器510通信的信号集合，包括数据总线、地址总线和控制总线(未示出)。通信总线505可以包括任何标准总线架构或非标准总线架构，诸如例如，符合以下各项的总线架构：工业标准架构(isa)、扩展工业标准架构(eisa)、微通道架构(mca)、外围部件互连(pci)本
地总线、或包括ieee 488通用接口总线(gpib)、ieee 696/s
‑
100等在内的电气和电子工程师协会(ieee)所颁布的标准。
[0124]
计算装置500优选地包括主存储器515，并且还可以包括辅助存储器520。主存储器515为在处理器510上执行的程序提供指令和数据的存储，诸如上文所讨论的功能和/或模块中的一个或多个功能和/或模块。应当理解，存储器中存储的并由处理器510所执行的计算机可读程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路系统的配置数据、或以一种或多种编程语言的任意组合编写和/或编译的源代码或目标代码，该一种或多种编程语言包括但不限于smalltalk、c/c++、java、javascript、perl、visual basic、.net等。主存储器515通常是基于半导体的存储器，诸如动态随机存取存储器(dram)和/或静态随机存取存储器(sram)。其他基于半导体的存储器类型包括例如同步动态随机存取存储器(sdram)、rambus动态随机存取存储器(rdram)、铁电随机存取存储器(fram)等，其包括只读存储器(rom)。
[0125]
计算机可读程序指令可以完全在用户计算机上，部分在用户计算机上，作为独立软件封装，部分在用户计算机上且部分在远程计算机上，或完全在远程计算机或服务器上执行。在后一情况下，远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户计算机，或可以与外部计算机建立连接(例如，通过使用互联网服务提供商的互联网)。
[0126]
辅助存储器520可以可选地包括内部存储器525和/或可移除介质530。可移除介质530以任何众所周知的方式被读取和/或写入。可移除存储介质530可以是例如磁带驱动器、光盘(cd)驱动器、数字多功能盘(dvd)驱动器、其他光盘驱动器、闪存驱动器等。
[0127]
可移除存储介质530是其上存储有计算机可执行代码(即，软件)和/或数据的非暂态计算机可读介质。可移除存储介质530上存储的计算机软件或数据被读入计算装置500以供通过处理器510执行。
[0128]
辅助存储器520可以包括其他类似元件，其用于允许将计算机程序或其他数据或指令加载到计算装置500中。这样的器件可以包括例如外部存储介质545和通信接口540，其允许软件和数据从外部存储介质545传送到计算装置500。外部存储介质545的示例可以包括外部硬盘驱动器、外部光学驱动器、外部磁光盘驱动器等。辅助存储器520的其他示例可以包括基于半导体的存储器，诸如可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除只读存储器(eeprom)、或闪存(与eeprom类似的面向块的存储器)。
[0129]
如上所述，计算装置500可以包括通信接口540。通信接口540允许在计算装置500与外部设备(例如，打印机)、网络或其他信息源之间传送软件和数据。例如，计算机软件或可执行代码可以经由通信接口540从网络服务器传送到计算装置500。通信接口540的示例包括内置网络适配器、网络接口卡(nic)、个人计算机存储卡国际协会(pcmcia)网卡、卡总线网络适配器、无线网络适配器、通用串行总线(usb)网络适配器、调制解调器、网络接口卡(nic)、无线数据卡、通信端口、红外接口、ieee 1394火线、或能够将系统550与网络或其他计算设备接口的任何其他设备。通信接口540优选地实现工业发布的协议标准，诸如以太网ieee 802标准、光纤通道、数字用户线路(dsl)、异步数字用户线路(adsl)、帧中继、异步传送模式(atm)、集成数字服务网络(isdn)、个人通信服务(pcs)、传输控制协议/互联网协议(tcp/ip)、串行线路网际协议/点对点协议(slip/ppp)等，而且还可以实现定制接口协议或
非标准接口协议。
[0130]
经由通信接口540传送的软件和数据通常采用电通信信号555的形式。这些信号555可以经由通信通道550提供给通信接口540。在一个实施例中，通信通道550可以是有线网络或无线网络，或任何其他各种通信链路。通信通道550携载信号555，并且可以使用多种有线通信器件或无线通信器件来实现，其包括电线或电缆、光纤、常规电话线、蜂窝电话链路、无线数据通信链路、射频(“rf”)链路或红外链路，仅举几个示例。
[0131]
计算机可执行代码(即，计算机程序或软件)存储在主存储器515和/或辅助存储器520中。计算机程序还可以经由通信接口540接收并存储在主存储器515和/或辅助存储器520中。这样的计算机程序当被执行时使得计算装置500能够执行如本文中其他地方所描述的所公开的实施例的各种功能。
[0132]
在本文中，术语“计算机可读介质”用于是指用于向计算装置500提供计算机可执行代码(例如，软件和计算机程序)的任何非暂态计算机可读存储介质。这样的介质的示例包括主存储器515、辅助存储器520(包括内部存储器525、可移除介质530和外部存储介质545)、以及与通信接口540通信耦合的任何外围设备(包括网络信息服务器或其他网络设备)。这些非暂态计算机可读介质是用于向计算装置500提供可执行代码、编程指令和软件的器件。在使用软件实现的实施例中，软件可以通过可移除介质530、i/o接口535或通信接口540存储在计算机可读介质上并加载到计算装置500中。在这种实施例中，软件以电通信信号555的形式加载到计算装置500中。软件当通过处理器510执行时，优选地使得处理器510执行本文中其他地方所描述的特征和功能。
[0133]
i/o接口535在计算装置500的一个或多个部件与一个或多个输入和/或输出设备之间提供接口。示例输入设备包括但不限于键盘、触摸屏或其他触敏设备、生物测定感测设备、计算机鼠标、轨迹球、基于笔的指向设备等。输出设备的示例包括但不限于阴极射线管(crt)、等离子显示器、发光二极管(led)显示器、液晶显示器(lcd)、打印机、真空荧光显示器(vfd)、表面传导电子发射器显示器(sed)、场发射显示器(fed)等。
[0134]
计算装置500还包括可选无线通信部件，该可选无线通信部件有助于通过话音网络和/或数据网络进行无线通信。无线通信部件包括天线系统570、无线电系统565、以及基带系统560。在计算装置500中，在无线电系统565的管理下，天线系统570通过空中传输并接收射频(rf)信号。
[0135]
天线系统570可以包括一个或多个天线以及一个或多个多路复用器(未示出)，其执行切换功能以向天线系统570提供传输并接收信号路径。在接收路径中，接收的rf信号可以从多路复用器耦合到低噪声放大器(未示出)，该低噪声放大器对所接收的rf信号进行放大并将经放大的信号发送到无线电系统565。
[0136]
无线电系统565可以包括一个或多个无线电，其被配置为通过各种频率进行通信。在一个实施例中，无线电系统565可以在一个集成电路(ic)中组合解调器(未示出)和调制器(未示出)。解调器和调制器还可以是单独部件。在传入路径中，解调器除去rf载波信号，从而留下基带接收音频信号，该基带接收音频信号从无线电系统565发送到基带系统560。
[0137]
如果所接收的信号包含音频信息，则基带系统560对该信号进行解码并将其转换为模拟信号。然后，信号被放大并发送到扬声器。基带系统560还从麦克风接收模拟音频信号。这些模拟音频信号被转换为数字信号，并且由基带系统560进行编码。基带系统560还对
数字信号进行编码以进行传输，并且生成基带传输音频信号，该基带传输音频信号被路由到无线电系统565的调制器部分。调制器将基带传输音频信号与rf载波信号混合，从而生成rf传输信号，该rf传输信号被路由到天线系统570并且可以通过功率放大器(未示出)。功率放大器放大rf传输信号并将其路由到天线系统570，在该天线系统570处，信号被切换到天线端口以供传输。
[0138]
基带系统560还与可以是cpu的处理器510通信耦合。处理器510可以访问数据存储区域515和520。处理器510优选地被配置为执行可以存储在主存储器515或辅助存储器520中的指令(即，计算机程序或软件)。计算机程序还可以从基带处理器560接收并且存储在主存储器510或辅助存储器520中，或在接收时执行。这样的计算机程序当被执行时，使得计算装置500能够执行所公开的实施例的各种功能。例如，数据存储区域515或520可以包括各种软件模块。
[0139]
计算装置还包括直接附接到通信总线505的显示器575，其可以作为上文所提及的连接到i/o接口535的任何显示器的替代或除这些之外而提供。
[0140]
各种实施例还可以使用诸如专用集成电路(asic)、可编程逻辑阵列(pla)或现场可编程门阵列(fpga)之类的部件主要以硬件实现。对于相关领域的技术人员而言，能够执行本文中所描述的功能的硬件状态机的实现方式也是显而易见的。还可以使用硬件和软件的组合来实现各种实施例。
[0141]
更进一步地，本领域技术人员应当领会，结合上文所描述的附图和本文中所公开的实施例所描述的各种说明性逻辑块、模块、电路和方法步骤通常可以被实现为电子硬件、计算机软件、或两者的组合。为了清楚说明硬件和软件的这种可互换性，上文已经大体上根据其功能描述了各种说明性部件、块、模块、电路和步骤。这种功能性实现为硬件还是软件取决于特定应用和施加在整个系统上的设计约束。技术人员可以针对每个特定应用以各种方式来实现所描述的功能性，但是这种实现决定不应被解释为导致背离本发明的范围。另外，模块、块、电路或步骤内的功能分组是为了易于描述。在没有背离本发明的情况下，特定功能或步骤从一个模块、块或电路移动到另一模块、块或电路。
[0142]
而且，结合本文中所公开的实施例所描述的各种说明性逻辑块、模块、功能和方法可以使用被设计为执行本文中所描述的功能的通用处理器、数字信号处理器(dsp)、asic、fpga、其他可编程逻辑设备、分立门或晶体管逻辑、分立硬件部件或其任何组合实现或执行。通用处理器可以是微处理器，但可替代地，处理器可以是任何处理器、控制器、微控制器或状态机。处理器还可以被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、与dsp核结合的一个或多个微处理器、或任何其他这种配置。
[0143]
附加地，结合本文中所公开的实施例所描述的方法或算法的步骤可以直接以硬件、以处理器所执行的软件模块或以两者的组合体现。软件模块可以驻留在ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移除盘、cd
‑
rom、或包括网络存储介质的任何其他形式的存储介质中。示例性存储介质可以耦合到处理器，使得处理器可以从该存储介质读取信息，并且可以向该存储介质写入信息。在备选方案中，存储介质可以与处理器集成在一起。处理器和存储介质还可以驻留在asic中。
[0144]
本文中所指代的计算机可读存储介质不应被解释为本身是瞬态信号，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤线缆
的光脉冲)、或通过电线传输的电信号。
[0145]
本文中所描述的软件部件中的任何软件部件可以采取多种形式。例如，部件可以是独立软件封装，还可以是作为“工具”并入到较大软件产品中的软件封装。它可以作为独立产品或附加封装从网络(例如，网站)上下载，用以安装在现有软件应用中。它还可以作为客户端服务器软件应用、web使能软件应用和/或移动应用使用。
[0146]
本文中参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图对本发明的实施例进行了描述。应当理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机可读程序指令来实现。
[0147]
计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，以产生机器，使得该指令当经由计算机的处理器或其他可编程数据处理装置执行时，创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的器件。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以引导计算机、可编程数据处理装置和/或其他设备以特定方式起作用，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
[0148]
计算机可读程序指令还可以加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
[0149]
所图示的流程图和框图图示了根据本发明的各个实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能性和操作。就这点而言，流程图或框图中的每个框可以表示指令的模块、片段或部分，其包括用于实现一个或多个指定逻辑功能的一个或多个可执行指令。在一些备选实现方式中，框中指出的功能可以不按图中指出的次序发生。例如，依据所涉及的功能性，实际上可以基本上同时执行相继示出的两个框，或有时可以按相反次序执行这些框。还应当指出，框图和/或流程图的每个框以及框图和/或流程图的框的组合可以由基于硬件的专用系统来实现，该专用系统执行指定功能或动作或进行特殊用途的硬件和计算机指令的组合。
[0150]
对于本领域的技术人员而言，显而易见的是，在没有背离本公开的范围的情况下，可以对前述示例性实施例做出许多改进和修改。