用于大视场显微扫描中嵌入图像的系统和方法与流程

背景技术：

在许多临床研究中，获取大视场显微图像是非常有益的。利用自动显微镜[1]或手动载物台显微镜[2]提出了许多技术。在该文献中，扫描被称为覆盖样本的大视场的大图像。扫描可以由许多较小的图像(诸如图1a中)组成，或者是诸如图1b中的样本的统一图像。在图1a中，较小的图像被称为关键帧。关键帧的相对位置是先验已知的。这可以利用自动扫描系统或基于图像的技术[2]来执行。在不失普遍性的情况下，对于该文献的其余部分，假设扫描由许多具有相同大小的关键帧组成。

附图说明

现在将仅作为示例，参考附图来描述本公开的各个实施例。

图1a是包括许多较小图像的样本的扫描的示意图；

图1b是包括单个统一图像的样本的扫描的示意图；

图2是具有嵌入扫描的扫描的示意图；

图3是根据本公开的实施例的系统的示意图；

图4a是利用具有小于原始扫描的放大倍率的物镜所捕获的新图像的第一扫描的示意图；

图4b是利用具有大于原始扫描的放大倍率的物镜所捕获的新图像的第一扫描的示意图；

图5是示出根据本公开的实施例的定位图像的过程的流程图；

图6是示出根据本公开的实施例的用于确定帧的定位信息过程的流程图；

图7是根据本公开的实施例的穷举搜索的各种迭代中的关键帧的选择的示意图；

图8是校正相对放大的过程的示意图；

图9a和图9b示出了根据本公开的实施例的多物镜扫描的用户界面；

图10是示出根据本公开的实施例用于手动记录z-堆叠的系统设置的示意图；

图11是根据本公开的实施例的用于查看z-堆叠的用户界面的示意图；

图12是根据本公开的实施例的用于观看扫描的用户界面的示意图；以及

图13是根据本公开的实施例的用于查看显示z-堆叠的位置的扫描的用户界面的示意图。

具体实施方式

引言

问题定义

鉴于常见的使用情况，对技术人员或者临床医生而言以更高分辨率观察样本的一些部分，或者探索z-轴上的一部分可能是有益的。换句话说，将利用不同放大倍率或深度所获取的其他图像嵌入到主扫描中将是有益的。该图像是通过在空间上移动载物台获取到的图像集合，或者通过改变显微镜的焦点获得的。对于本文的其余部分，前者被称为多物镜扫描，后者被称为z-堆叠(z-stack)。需要注意的是，这些功能的先决条件是在大视场扫描中通过任意物镜所获取的图像的准确定位。图2显示利用高倍放大物镜和z-堆叠所捕获的嵌入式扫描的扫描。如图2所示，原始扫描可以包含利用不同的物镜放大率所捕获的另一扫描，或者可以具有z-堆叠，其是利用不同焦点/深度所捕获的图像。

上述特征，连同图像的实时采集，被提供在具有机动化载物台的显微镜中，但在手动载物台显微镜中不可用。本文中所描述的一些实施例对于共同提供这些特征的系统进行评价。

在本公开文本中，假设从安装在手动显微镜上的相机获取图像流，从而提供样本的实时数字图像。相机的最新数字图像以下被称为当前图像帧。用户可以控制手动载物台和显微镜的聚焦。用户在切换物镜时通知系统。然后，系统自动定位已捕获的扫描中的实时图像。当他/她意图改变焦点以获取z-堆叠时，用户也可以通知系统。图3示出系统硬件的总览。如图3所示，将相机安装在向处理计算机流送实时图像的手动显微镜上。图像被实时处理，并且在显示器上执行可视化。

本公开文本将覆盖在此所公开的实施例的三个方面。首先，扫描中图像的定位，在“多物镜定位”节中呈现。第二个是用于在原始扫描中拼接和嵌入以不同物镜进行的这种扫描的所提出系统，在“多物镜扫描”节中呈现。第三个是用于存储和管理嵌入在扫描中的z-堆叠的所提出系统，如“z-堆叠”节所示。

多物镜定位

鉴于扫描，多物镜定位被定义为通过不同于在重建扫描中所使用的物镜的物镜所捕获的图像流的定位。图4a和图4b示出了两种不同的场景，其中利用较大放大倍率或较小放大倍率来捕获图像(用条带示出)。在图4a中，当前图像帧通过具有小于原始扫描的放大倍率的物镜来捕获的。在图4b中，当前图像帧通过具有大于原始扫描的放大倍率的物镜来捕获的。图像与扫描的一个或多个关键帧重叠。图像最初具有大小(sx，sy)，但可以通过相对放大倍率进行缩放到原始扫描。例如，如果原始扫描是通过10倍物镜捕获的，并且当前图像帧是通过40倍物镜捕获的，则可以将图像缩放0.25倍。在时间t捕获的当前帧的位置相对于原始扫描表示为pt。

通过一系列图像匹配来执行定位。在下一节中，说明匹配过程。

两帧的注册

特征检测

对于当前图像帧执行特征检测。这些特征用于图像注册(链接)。特征检测的结果是一组特征，其中每个特征可以包括一组属性：

·图像坐标中的位置(x，y)；

·尺度和方位等几何属性；

·用于描述特征周围的图像模式的图像属性。

匹配两帧

通过匹配其特征来执行帧的匹配。为此目的提出了许多技术[2][3]。假设在两个图像中检测到一长列特征，该节包含两个步骤(帧被称为参考和匹配帧)：

1.对于参考帧中的每个特征，找到匹配帧中最接近的特征。最接近的特征

应该具有最相似的属性。

2.基于匹配的特征共同找到位移。

跟踪、链接和定位的定义

鉴于图像流，本文中的术语跟踪是指将当前帧匹配到先前帧。假设匹配导致位移d，则当前帧的位置被估计为pt＝pt-1+d。如果当前帧被成功匹配到先前帧，则称为被跟踪。

在此所使用的术语“链接”是指当前图像帧与关键帧的匹配。如果当前图像帧被成功匹配到至少一个关键帧，则将该当前图像帧称为被链接。

在此所使用的术语“定位”是指基于跟踪和链接来确定当前帧位置是否正确。如果当前图像帧在扫描中的位置是正确的，则将该当前图像帧称为被定位。定位过程

定位过程是当前图像帧在利用不同目镜放大倍率获取到的关键帧内进行定位的过程，该过程在图5中示出并且概述如下：

1.对于当前图像帧进行预处理，并提取特征。

2.根据该帧和关键帧的放大倍率的差异，对于新帧中的特征的位置(xi，yi)和比例si进行缩放。假设新帧具有放大倍率mn，并且关键帧具有放大倍率mk。

因此，缩放位置和比例如下：

3.并且o估计

4.链接。接下来，将当前的图像帧匹配到相邻的关键帧，以校正其位置，

并消除跟踪导致的不准确匹配的累积可能性。

在多物镜匹配的情况下，链接可能不总是成功的。因此，跟踪信息与链接信息组合以确定当前帧的位置。该过程在下一节中描述。

将跟踪与链接结合用于准确定位

基于链接和跟踪信息来估计当前图像帧的位置。如果当前图像帧被链接或跟踪，并且先前的图像帧被定位，则当前图像帧被定位。该逻辑示于图6中，图6是描述将跟踪与链接信息组合用于当前图像帧的准确定位的示意图。物镜光学特性的差异可能会导致图像的变化。这些变化可能导致物镜之间图像的匹配失败。为了提高定位算法的鲁棒性，可以将跟踪作为图像定位的替代方法添加到算法中。

穷举搜索

如果当前图像帧在前一步骤中未定位，则算法进入穷举搜索状态。在此步骤中，关键帧根据其与当前图像帧的距离进行排序。与之前的步骤相反，在这一点上，不是将这些关键帧的所有而只是一部分都链接到帧。这是为了防止穷举搜索阻碍系统的实时性能。假设n个关键帧根据其与当前图像帧的距离进行排序：k0，k1，...，kn-1。在穷举搜索中第一次，只处理前m个元素(k0，...，km-1)。如果链接不成功，对于下一帧，处理第二m个元素(km，...，k2m-1)(参见图7)等等。图7示出了当前图像帧未定位在其相邻关键帧内的情况下的穷举搜索；所有关键帧相对于它们到当前图像帧的距离进行排序，并且在每次迭代中仅检查一部分关键帧用于当前图像帧的定位。由于当前图像帧在每次迭代时更新，所以参考帧不会保持不变。然而，可以假设它们不会移动太多，因为穷举搜索可以在几分之一秒内访问所有的关键帧。

相对放大倍率的校正

物镜上所指示的放大倍率可能不完全正确。例如，10倍物镜可能放大倍率为10.01。使用物理校准可以实现真实的放大倍率。然而，在没有这样的信息的情况下，可以在图像匹配过程中找到不同物镜之间的“相对”放大率。假设关键帧和当前图像中的某些功能彼此正确匹配。需要注意的是，每个特征都有一个位置，可以表示为一个点。参考帧中的匹配特征可以列为r1，...，rn，匹配帧中的匹配特征可以列为m1，...，mn。具有相同索引的特征匹配，即ri对应于mi。图8显示了这种对应关系，以及寻找两帧之间的位移的我们的先前方法。如图8所示，其示出相对放大倍率的校正，可以经由对于当前图像帧和匹配关键帧的匹配特征所执行的普鲁克分析(procrustesanalysis)[4]来执行。虽然帧在位移之后几乎匹配，但是两帧之间仍然存在相对比例。因此，应当适当重新计算两帧之间的相对比例。假设每个点都具有x和y分量：最初计算所有分量的平均值：

接下来，计算每个点集的比例：

然后计算真实的相对放大倍率为

其中s是最初基于物镜的先验知识计算出的相对放大倍率。例如对于10倍和40倍的物镜，s＝0.25。

多物镜扫描

链接多个扫描

用户可以选择将利用不同物镜捕获到的图像进行拼接并创建另一个扫描。针对这种拼接提出了许多技术[2]。在此情况下，在该扫描与原始扫描之间建立亲子关系。在两次扫描之间建立链接来关联对应的坐标空间。假设在子扫描中捕获n个帧。这些帧的拼接产生了位置(x1，y1)，...，(xn，yn)。此外，通过利用多物镜定位，发现这些帧在父扫描内的位置：为了关联这些坐标空间，可以使用普鲁克分析[4]，其中未知数是转译和比例。

用户界面

用户可以在任何时候切换到不同的物镜。用户也可以在选择的物镜开始扫描。此时，由父物镜捕获的先前扫描在背景中显示为半透明。这将为用户提供一种视觉辅助，以便将两次扫描相互关联。完成扫描后，用户可以切换回父物镜。此时，由不同物镜捕获的扫描显示为半透明且可点击。通过用户点击，扫描视图将切换为使得子扫描处于活跃状态。也就是说，40倍扫描变为不透明，而10倍扫描变为半透明。图9a和图9b示出了多物镜扫描的用户界面的总览，其中用户可以在物镜之间进行切换并分开修改每个扫描，而另一次扫描是半透明的。

记录多物镜扫描

利用他们自己的文件格式来保存父扫描及其子扫描。子扫描可以使用附加文件链接到父扫描。此文件中记录诸如到子扫描文件的路径和父扫描中子扫描的位置的信息。

z-堆叠

样本在显微镜中的数字化通常通过捕获大的2d扫描来实现。虽然该解决方案满足大多数情况，但它只允许捕获狭窄的景深，剥离有用信息用于分析某些样品。该技术问题的解决方案是捕获z-堆叠。z-堆叠被定义为在不同焦平面处呈现相同样本的图像堆叠。在理论上，可以捕获整个样本的z-堆叠，产生扫描堆叠。然而，由于构成扫描的图像的高分辨率，因为需要太多的存储空间，所以一叠扫描变得不切实际。

本节提出了一种通过记录覆盖样本的有限区域的z-堆叠并将该堆叠附接到覆盖整个样本的扫描来减少存储器使用的方法。该解决方案的优点是提供足够的扫描深度信息用于分析，同时保持内存使用量较低。

该节分为两部分。在第一部分中描述利用显微镜用于记录和可视化z-堆叠的工作流，并在第二部分中说明z-堆叠到扫描的附接。

z-堆叠记录

硬件设置

如图10所示，可以使用安装在显微镜上的数码摄像机来记录z-堆叠。在图10中，系统设置包括显微镜，在显微镜上安装当显微镜载物台在不同深度移动时拍摄图像的相机。当相机以固定的时间间隔拍摄放置在显微镜下的样品时，可以移动显微镜载物台，以便在不同深度观察样品。因此，可以重新组合由相机拍摄的图像以形成代表在深度范围内的样本相同位置的图像的堆叠，仅限于在记录期间发生的载物台移动量。需要注意的是，该方法不必限于深度信息的分析，能够用于在记录期间通过横向/空间上移动载物台来记录样本的区域。

z-堆叠可视化

如图11所示，z-堆叠一次可视化一帧，图11示出用于查看z-堆叠的用户界面。认真检查z-堆叠有不同的方式。第一个是以与播放视频相似的方式，以与记录速度相同的速度(或速度系数)从头到尾播放z-堆叠。第二种方法是利用鼠标滚轮滑动各帧或者利用鼠标拖动当前帧光标，允许沿z-堆叠后退或前进。最后的方法是利用图11所示的滑块在堆叠中选择任何随机帧来查看。

需要注意的是，用户界面可以具有其他特征，例如修整z-堆叠的开始和结束。例如，手动记录z-堆叠的用户点击软件中的“记录”按钮，花费一些时间在用户的显微镜上准备好，然后驱动聚焦旋钮或载物台来捕获焦平面和感兴趣区域。可以修整这些操作之间的捕获到的帧，以减小z-堆叠的大小。

由于z堆叠可以使用许多存储空间，所以难以保持将正在可视化的整个堆叠保存在存储器中。为了解决这个问题，可以将z-堆叠保存在硬盘上所保存的文件中，并且只加载当前显示的帧。然而，这假定用于保存z-堆叠的文件格式允许随机访问堆叠的帧。为了解决这个问题，在下节中提出了一种保存技术。

保存z-堆叠

包含高分辨率图像的z-堆叠在存储空间方面变得成本高。然后，压缩堆叠的图像成为记录z-堆叠的重要步骤。如上一节所述，z-堆叠的图像可以直接从文件中以任何顺序可视化。压缩算法允许对z-堆叠内的随机帧进行解码。因此，标准视频压缩过程的使用通常是合适的，因为这样的过程将以暂时方式压缩图像，产生z-堆叠中相邻图像之间的必要依赖性。虽然视频压缩算法提供了很大的压缩比，但z叠层中的任何图像n的解压缩需要先前图像n-1的解压缩，这反过来需要先前图像的解压缩直到到达z-堆叠的第一帧。这种解压缩方法只适用于以从头到尾的顺序读取视频。然而，它不适合在整个z-堆叠中的帧的随机访问。一个解决方案是将z-堆叠的帧单独作为分开的图像见压缩。这可能不会提供最佳压缩比，但它满足读取z-堆叠的要求。这些压缩图像然后能够以多层图像文件格式(诸如，tiff)进行保存。

将z-堆叠附加到扫描

由于z-堆叠覆盖样品的有限区域，所以其单独可能不提供足够的信息用于分析样品。然而，当在扫描中被定位时，它变为有力的特征。该节提出了一种用于将z-堆叠嵌入到利用显微镜和数码摄像机手动记录的样本扫描中的装置。

z-堆叠记录

本节假定我们有一个利用显微镜和数码相机用于手动扫描样本的系统。这种系统的用户界面包括如图12所示由相机捕获的当前图像帧的位置以及扫描视图。中心的框显示相机相对于扫描的当前位置。

当找到感兴趣的区域时，用户可以通过点击“z-堆叠记录”节所述的按钮来启动新的z-堆叠的记录。当进行记录时，利用手动扫描系统的定位算法，z-堆叠的位置是已知的。需要注意的是，由于用户自由横向地移动显微镜台，所以系统将整个z-堆叠的位置设置为所记录的第一帧的位置。通过用矩形注释后者，在z-堆叠与扫描之间建立链接。矩形位置和大小与z-堆叠中的一个匹配，并且可以单击以打开“z-堆叠可视化”节中所述的z-堆叠查看器(见图13)。在图13中，z-堆叠被定位在扫描中，并且被示为具有半透明图像的轮廓矩形。这些矩形是可点击的，这打开另一个窗口来查看z-堆叠。

在“多物镜定位”节中所描述的定位算法仅提供利用不同于扫描所使用的放大倍率的物镜来记录z-堆叠时的当前帧的位置的估计。这个估计不能保证所记录的z-堆叠的位置的准确性。解决该问题的方法是允许用户通过利用鼠标拖动扫描内表示z-堆叠的矩形注释来改进z-堆叠相对于扫描的位置。可以通过在矩形注释中绘制半透明的z-堆叠的一个图像来向用户提供视觉反馈。由于可以看到z-堆叠与扫描之间的重叠所以是有益的，但是它假定在矩形内所绘制的帧被记录在与扫描相同的焦平面。有几种方法可以确保选择的帧是如所描述的那样。如果扫描精心地由清晰图像构成，可以选择z-堆叠中最清晰的帧以最佳地匹配扫描。另一种可能性是总是选择所记录的第一帧，但是假设从与扫描相同的焦平面开始记录z-堆叠。

因为用户一旦找到要记录的感兴趣区域，就会开始录制，所以这是一个可以接受的假设。该区域只能通过浏览扫描来找到，浏览扫描是在与扫描保持在同一焦平面的同时移动相机。

保存z-堆叠和扫描之间的链接

扫描和z-堆叠都利用它们自己的文件格式进行保存。这个结构应保持灵活性。因此，应当创建附加文件来存储扫描和记录到该扫描中的z-堆叠之间的关系。此文件应包含到扫描文件和单独的z-堆叠的路径名。它也应该包含z-堆叠相对于扫描的位置。

在前面的描述中，为了解释的目的，公开许多细节以便提供对实施例的透彻理解。然而，本领域技术人员应当清楚的是这些具体细节不是必需的。在其他示例中，公知的电气结构和电路以框图的形式示出，以便不使理解模糊。例如，没有提供关于这里描述的实施例是否被实现为软件例程、硬件电路、固件或其组合的具体细节。

本公开的实施例可以呈现为机器可读介质(也称为计算机可读介质、处理器可读介质或其中具有计算机可读程序代码的计算机可用介质)中所存储的计算机程序产品。机器可读介质可以是任何合适的有形、非瞬态介质，包括磁盘、光盘只读存储器(cd-rom)、存储设备(易失性或非易失性)或类似的存储构件的磁、光或电存储介质。机器可读介质可以包含各种指令集、代码序列、配置信息或其他数据，当这些被执行时，它们使处理器执行根据本公开的实施例的方法中的步骤。本领域普通技术人员应当理解的是，实现所描述的实施方式所需的其他指令和操作也可以存储在机器可读介质上。存储在机器可读介质上的指令可以由处理器或其他合适的处理设备进行执行，并且可以与电路进行接口来执行所描述的任务。

上述实施例仅仅希望是示例性的。本领域技术人员所作出替换、修改和变化能够影响到特定实施例。权利要求的范围不应由本文所公开的特定实施例来限制，而应以与整个说明书一致的方式来进行解释。

参考文献

以下参考文献通过引用以其整体并入本文中：

[1]"bz-9000all-in-onefluorescencemicroscope(一体化荧光显微镜),"keyencecorporation,[在线].可获得：

http://www.keyence.com/products/microscope/fluorescence-microscope/bz-9000/index.jsp.

[2]h.a.l.l.a.c.b.a.a.m.a.l.s.lo,"apparatusandmethodfordigitalmicroscopyimaging(用于数字显微镜成像的装置和方法)".2013.

[3]d.g.lowe,"objectrecognitionfromlocalscale-invariantfeatures(从局域的尺寸无关的特征的对象识别),"intheproceedingsoftheseventhieeeinternationalconferenceoncomputervision(第七届ieee国际会议论文集计算机版),1999.

[4]g.d.j.c.gower,procrustesproblems(普罗克拉斯提斯难题),oxforduniversitypress(牛津大学出版社),2004.