分析装置、分析程序以及分析系统的制作方法

分析装置、分析程序以及分析系统的制作方法
【专利摘要】本发明涉及分析装置、分析程序以及分析系统，该分析装置包括：二维坐标检测单元和三维坐标确定单元。所述二维坐标检测单元被配置为对于通过在多个焦深捕获包括分析目标物的分析样本而获得的捕获图像组检测作为在每个捕获图像中的分析目标物的平面坐标候选的二维坐标候选。所述三维坐标确定单元被配置为基于捕获图像之间的平面坐标候选的位置关系来确定作为分析目标物的三维坐标候选的三维坐标候选。
【专利说明】分析装置、分析程序以及分析系统
[0001] 相关申请的交叉引用
[0002] 本申请要求于2013年4月9日提交的日本在先专利申请JP2013-081475的权益， 其全部内容通过引用结合于此。

【技术领域】
[0003] 本发明涉及分析装置、分析程序以及分析系统，通过该分析装置、分析程序以及分 析系统，从通过捕获分析样本获得的图像中检测出包括在分析样本中的分析目标物。

【背景技术】
[0004] 当用显微镜观察分析诸如细胞的目标物，例如，如果所述细胞在培养中漂浮，观察 者需要搜索它。然而，在显微镜的高放大倍数下视场小，因此，观察者需要搜索分析目标物 同时很大程度上移动视场范围。同时，如果在显微镜的低放大倍数下分析目标物的尺寸小 并且分析目标物迷失在气泡或类似物中，因此，所述搜索需要高的个人成本。
[0005] 例如，即使执行分析目标物随时间成像的延时成像，在捕获图像期间分析目标物 保持在相同位置的可能性低。因此，当每次捕获图像时观察者都需要搜索分析目标物。此 夕卜，担心由观察者搜索出的分析目标物不同于先前成像的对象。
[0006] 考虑到上述问题，用于分析目标物的自动搜索的技术已经开发。例如，日本专利申 请公开No. 2010-169823 (下文中称为专利文献1)描述通过运动预测模型预测先前发现的 细胞或类似物的运动并在细胞追踪中利用它的技术。


【发明内容】

[0007] 然而，在专利文献1中描述的技术是适用于先前发现的细胞或类似物的技术，而 不是在细胞培养皿或类似物的整个视场中用尽一切地搜索具有几微米的尺寸的细胞的技 术。观察者需要搜索的细胞或类似物的原始位置。
[0008] 在上述情况下，希望提供分析装置、分析程序以及分析系统，通过该分析装置、分 析程序以及分析系统可以自动地确定分析目标物的位置。
[0009] 根据本公开的实施方式，提供一种分析装置，其包括二维坐标检测单元和三维坐 标确定单元。
[0010] 二维坐标检测单元，被配置为对于通过在多个焦深捕获包括分析目标物的分析样 本而获得的捕获图像组，检测作为在每个捕获图像中的分析目标物的平面坐标候选的二维 坐标候选；以及
[0011] 三维坐标确定单元，被配置为基于捕获图像之间的平面坐标候选的位置关系来确 定作为分析目标物的三维坐标的候选的三维坐标候选。
[0012] 使用这种配置，分析装置能够通过对捕获图像组执行图像处理确定包括在分析样 本中的分析目标物的三维坐标候选。因此，用户不需要搜索分析目标物同时移动显微镜光 学系统的视场，因此，个人成本可以降低。
[0013] 所述分析装置可以进一步包括估算单元，该估算单元被配置为通过估算函数估算 分析目标物图像和位于三维坐标候选的物像之间的相似性。
[0014] 使用这种配置，分析装置能够将位于三维坐标候选的物像和分析目标物图像之间 的相似性呈现给用户。用户可以知道具有作为分析目标物的高度可能性的三维坐标候选。
[0015] 三维坐标确定单元可以被配置为基于在焦深方向上二维坐标候选的连续数目来 确定三维坐标候选。
[0016] 使用这种配置，三维坐标确定单元能够确定具有在预定范围内的连续数目的一个 作为分析目标物的三维坐标候选，并且从分析目标物的三维坐标候选中排除那些具有超出 预定范围的连续数目。因此，三维坐标确定单元能够根据焦深方向上的物像的尺寸确定分 析目标物的三维坐标候选。
[0017] 二维坐标检测单元可以被配置为通过将捕获图像的特征量与指示分析目标物的 特征量的模板相比较来检测二维坐标候选。
[0018] 使用这种配置，二维坐标检测单元能够判断分析目标物图像存在于与模板的特征 量具有最高相似性的捕获图像的图像的区域中，并且在此时检测模板的候选作为二维坐标 候选。
[0019] 二维坐标检测单元可以被配置为从捕获图像中提取第一特征量，基于所述第一特 征量检测初始二维坐标候选，在所述初始二维坐标候选周围设置比较范围，从包括在所述 比较范围中的捕获图像中提取第二特征量，并且将所述第二特征量与模板进行比较，从而 检测二维坐标候选。
[0020] 使用这种配置，二维坐标检测单元能够在使用所述第一特征量检测的初始二维坐 标候选周围设置的比较范围中执行与模板的比较，并且检测二维坐标候选。因此，二维坐标 检测单元不在全部捕获的图像中而只在比较范围内执行与模板的比较就足够了，因此，二 维坐标检测单元能够以高速度执行比较。
[0021] 所述第一特征量可以是第一像素数的像素之间的亮度差，并且所述第二特征量可 以是比第一像素数更大的第二像素数的像素之间的亮度差。
[0022] 使用这种配置，二维坐标检测单元从整个捕获图像中提取小像素数(第一像素数） 的像素之间的亮度差作为第一特征量，因此所述二维坐标能够以高速度执行提取。另一方 面，二维坐标检测单元从包括在比较范围中的捕获图像中提取大像素数(第二像素数）的像 素之间的亮度差作为第二特征量，因此，二维坐标能够以高准确度提取第二特征量。当从其 中提取亮度差异的像素数大时，花费很多时间来提取亮度差。然而，二维坐标检测单元仅从 比较范围中提取第二特征量是足够的。因此，二维坐标检测单元能够通过使用第一特征量 和第二特征量这两个特征量以高速度和高准确度检测二维坐标候选。
[0023] 分析装置可以进一步包括估算单元，该估算单元被配置为当所述第二特征量最接 近匹配模板时通过使用估算函数估算分析目标物图像和位于三维坐标候选的物像之间的 相似性，其中，估算函数使用包括在比较范围中的捕获图像的第二特征量和模板的特征量 之间的差。
[0024] 使用这种配置，估算单元能够将位于三维坐标候选的物像和分析目标物图像之间 的相似性呈现给用户。用户可以知道具有作为分析目标物的高度可能性的三维坐标候选。 估算单元能够通过使用先前提取的捕获图像的第二特征量和用于估算函数的模板的特征 量之间的差以高速度和高准确度执行相似性的估算。
[0025] 二维坐标检测单元可以被配置为当第二特征量最接近匹配模板时，计算包括在比 较范围中的捕获图像的中心部分和外围部分之间的亮度差，并通过使用所述亮度差验证所 述二维坐标候选。
[0026] 使用这种配置，所述二维坐标检测单元能够从位于检测到的二维坐标候选的物像 中排除不满足分析目标物的图像的亮度条件的那些。
[0027] 估算单元可以被配置为通过估算函数估算位于三维坐标候选的物像和分析目标 物图像之间的相似性，其中所述估算函数使用第二特征量和模板之间的差和亮度差。
[0028] 使用这种配置，估算单元能够通过使用估算函数执行相似性的估算，其中估算函 数使用述特征量的差以及在二维坐标候选的检测中使用的亮度差。
[0029] 根据本公开的另一实施方式，提供一种分析程序，该分析程序使信息处理装置用 作二维坐标检测单元和三维坐标确定单元。
[0030] 二维坐标确定单元被配置为对于通过在多个焦深捕获包括分析目标物的分析样 本而获得的捕获图像组，检测作为在每个捕获的图像中的分析目标物的平面坐标候选的二 维坐标候选。
[0031] 三维坐标确定单元被配置为基于捕获图像之间的平面坐标候选的位置关系来确 定作为分析目标物的三维坐标候选的三维坐标候选。
[0032] 根据本公开的又一实施方式，提供一种分析系统，其包括显微镜成像装置、分析装 置以及控制装置。
[0033] 所述分析装置包括二维坐标检测单元，二维坐标检测单元被配置为对于通过在多 个焦深捕获包括分析目标物的分析样本而获得的捕获图像组检测作为在每个捕获图像中 的分析目标物的平面坐标候选的二维坐标候选，以及三维坐标确定单元，被配置为基于捕 获图像之间的平面坐标候选的位置关系来确定作为分析目标物的三维坐标候选的三维坐 标候选。
[0034] 所述控制装置被配置为通过使用三维坐标候选来控制显微镜成像装置。
[0035] 如上所述，根据本公开的实施方式，可提供分析装置、分析程序以及分析系统，通 过该分析装置、分析程序以及分析系统可以自动地确定分析目标物的位置。
[0036] 本公开的这些和其他对象、特征和优点根据其中以下最佳模式实施方式的详细描 述将变得更明显，如在附图中示出的。

【专利附图】

【附图说明】
[0037] 图1是示出根据本公开实施方式的分析系统的配置的示意图；
[0038] 图2是示出由分析系统的显微镜成像装置捕获的捕获图像组的示意图；
[0039] 图3是示出分析系统的分析装置的配置的方框图；
[0040] 图4是示出分析系统的分析装置的操作的流程图；
[0041] 图5是由分析系统的分析装置使用的模板的实例；
[0042] 图6是由分析系统的分析装置的二维坐标检测单元检测的初始二维坐标候选的 示意图；
[0043] 图7是由分析系统的分析装置的二维坐标检测单元设置的比较范围的示意图；
[0044] 图8是示出由分析系统的分析装置的二维坐标检测单元的模板比较的示意图； [0045] 图9是由分析系统的分析装置的二维坐标检测单元检测的二维坐标候选的示意 图；
[0046] 图10是示出由分析系统的分析装置的二维坐标检测单元的二维坐标候选的验证 的不意图；
[0047] 图11是示出由分析系统的分析装置的三维坐标检测单元对三维坐标候选的确定 的不意图；
[0048] 图12是示出分析系统的操作的流程图；
[0049] 图13A和图13B是示出由分析系统的控制装置设置的显微镜视场范围的示意图；
[0050] 图14A和图14B是示出根据本公开的变型例的分析系统的分析装置的操作的示意 图；
[0051] 图15A，图15B和图15C示出根据本公开实例的捕获图像；以及
[0052] 图16示出根据本公开实例的比较结果。

【具体实施方式】
[0053] 在下文中，将要描述根据本公开的实施方式的分析系统。
[0054] [分析系统的配置]
[0055] 图1是根据本实施方式示出分析系统100的配置的示意图。如该图所示，分析系 统100包括显微镜成像装置110、分析装置120和控制装置130。进一步地，图1示出包含 在容器W中的分析样本S。分析样本S包括分析目标物B。分析目标物B是，例如，飘浮细 胞。分析样本S是，例如，细胞培养溶液。
[0056] 显微镜成像装置110包括显微镜光学系统111、XYZ载物台112,以及成像机构 113。显微镜光学系统111包括各种透镜，如物镜和调焦机构。分析样本S的显微镜放大后 的图像产生。XYZ载物台112被配置为能够在X方向、Y方向和Z方向的每个方向移动显微 镜光学系统111。应该注意，Z方向是显微镜光学系统111的焦深方向，并且X方向和Z方 向都与Z轴方向正交并且彼此正交。成像机构113包括诸如(XD (电荷耦合器件）和CMOS (互补金属氧化物半导体)的成像元件。成像机构113捕获由显微镜光学系统111产生的分 析样本S的显微镜放大的图像，并将显微镜放大图像供应给分析装置120。
[0057] 显微镜成像装置110在多个焦深对分析样本S成像，并产生包括多个捕获图像G 的捕获图像组。图2是捕获图像组的实例。当由调焦机构在Z方向移动焦深，显微镜成像 装置110可以导致成像机构113在容器中在多个焦深（Z叠加成像)对分析样本S成像并产 生捕获图像组（Z叠加图像)。进一步地，当由XYZ载物台112在Z方向移动显微镜光学系 统时，显微镜成像装置110可以使成像机构113在多个焦深对分析样本S成像。
[0058] 显微镜成像装置110的配置并不限定于此处所示的配置，并且只需要能够产生通 过在多个焦深对分析样本成像而获得的捕获图像组。捕获图像也不限于亮场图像。捕获图 像仅需要是可以光学地捕获的图像，例如，暗场图像、相衬图像、突光图像，或者偏光显微镜 图像。显微镜成像装置110可具有能够捕获这些图像的配置。
[0059][分析装置的配置和操作]
[0060] 分析装置120将捕获图像组呈交到图像处理。应该注意，由分析装置120处理的 捕获图像组并不限于从成像装置113供应的图像组，也可以是单独制备的捕获图像组。图 3是示出分析装置120的机械配置的方框图。图4是示出分析装置120操作的流程图。如 图3所示，分析装置120包括二维坐标检测单元121、三维坐标确定单元122,以及估算单元 123。它们的配置是通过用处理器或类似物的硬件和软件的合作实现的功能配置。每个配 置将与分析装置120的操作一起描述。
[0061] 预先，在分析装置120中对模板进行登记（StlOl)。图5是模板T的示意图。模板 T表示分析目标物的特征量。在模板T中，假定为分析目标物的图像的图像的特征量根据 分析目标物的形状和尺寸布置。特征量意味着表示图像的特征的量。特征量可以是每个像 素的亮度，相邻像素之间的亮度差异，或最大值、最小值、平均值，或亮度或亮度差异的方差 值。在图4中所示的模板表示灰阶中的特征量。
[0062] 分析装置120可以能够根据由用户指定的分析目标物(例如，具有直径约为10μ 的球形形状)上的信息选择适当的模板Τ。可替代地，用户可以直接指定模板Τ。如上所述， 模板Τ的尺寸依据分析目标物而不同。在下面的描述中，假设模板Τ是带有每侧具有L像 素的大小的侧的正方形。进一步地，分析装置120可以将分析目标物(将在后面描述）的分 析得到的信息反馈给模板。
[0063] 二维坐标检测单元121从包括在捕获图像组中的每个捕获图像中检测出分析目 标物的坐标的候选（以下，简称为二维坐标候选）（Stl02)。具体地，二维坐标检测单元121 可以以下面的方式检测所述二维坐标候选。
[0064] 首先，二维坐标检测单元121从所捕获的图像G中提取第一特征量（Stl021)。具体 地，所述二维坐标检测单元121将每个捕获图像转换成八位灰阶，并且提取预定像素数的 像素之间的亮度差（以下，简称为第一像素数）作为第一特征量。第一像素数可以是，例如， 与每个像素相邻的一个像素。二维坐标检测单元121提取比后面将要描述的第二像素数小 的第一像素数的像素之间的亮度差异，因此可以以高速度执行亮度差异的提取。应该注意， 二维坐标检测单元121可提取亮度或亮度差的最大值、最小值、平均值、方差值等作为第一 特征量。
[0065] 随后，二维坐标检测单元121通过使用第一特征量检测初始坐标候选（Stl022)。 二维坐标检测单元能够通过使用所述第一特征量执行边缘检测，并获得其中边缘检测为初 始坐标候选的坐标。各种算法可以用于边缘检测。如果噪声通过使用亮度的最大值、最小 值、平均值、方差值或类似物的阈值去除，该算法能够以高速度执行。图6示意性地示出在 捕获图像G中检测的初始坐标候选E。
[0066] 随后，二维坐标检测单元121围绕捕获图像G中的每个初始坐标候选E设置比较 范围（Stl023)。二维坐标检测单元121能够围绕初始坐标候选E设置四个方框作为具有为 一个方框的模板T的尺寸的比较范围。进一步地，二维坐标检测单元121可设置不同于此 范围的范围作为比较范围。图7示出设置比较范围H。
[0067] 随后，二维坐标检测单元121从包括在比较范围Η中的捕获图像G中提取第二特 征量（Stl024)。具体地，二维坐标检测单元121将每个捕获的图像G转换成八位灰阶，并且 提取预定像素数（以下，简称为第二像素数）的像素之间的每个亮度差作为第二特征量。应 该注意，第二像素数大于第一像素数。例如，第二像素数可以是每个像素周围的八个像素。
[0068] 二维坐标检测单元121提取大于第一像素数的第二像素数的像素之间的亮度差， 因此可以以高准确度提取第二特征量。然而，二维坐标检测单元121需要很多时间用于提 取每个像素，因为相对于每个像素，亮度差的提取目标的像素数大。然而，二维坐标检测单 元121不提取全部捕获图像而只是提取比较范围Η就足够了，并因此可以以高速度执行提 取。应该注意，二维坐标检测单元121可提取亮度或亮度差的最大值、最小值、平均值、方差 值，或类似物作为第二特征量。
[0069] 随后，二维坐标检测单元121相对于每个比较范围Η执行模板比较（Stl025)。图 8是示出模板比较的状态的示意图。如该图所示，当在比较范围Η中移动模板T时，在与模 板Τ重叠的范围中，二维坐标检测单元121将模板Τ的特征量与捕获图像G的第二特征量 进行比较。二维坐标检测单元121搜索模板Τ的具有模板的特征量和捕获图像G的特征量 之间的最高相似性的位置。具体地，二维坐标检测单元121能够计算模板Τ的每个像素和 与模板Τ重叠的捕获图像G的每个像素之间的特征量的差，并通过添加这种差来计算比较 结果Ρ。
[0070] 如果比较结果Ρ是最小的，二维坐标检测单元121能够确定在模板Τ的特征量和 捕获图像G的第二特征量之间的相似性是最高的。模板Τ的位置在这种情况下用来作为匹 配位置。然后，二维坐标检测单元121能够设置位于所述匹配位置的模板Τ的中心的位置 坐标作为二维坐标候选。图9示出由二维坐标检测单元121检测的二维坐标候选F。
[0071] 当多个初始坐标候选Ε被检测，二维坐标检测单元121相对于每个初始坐标候选 Ε设置比较范围H (St 1023)，提取第二特征量（St 1024)并执行模板比较（St 1025)。
[0072] 随后，二维坐标检测单元121验证检测的二维坐标候选F(Stl026)。图10是此验 证的示意图。二维坐标检测单元121能够相对于捕获图像G从与位于匹配位置的模板T重 叠的像素范围的外围部分(在图中阴影部分的内部部分）的亮度值中减去中心部分（图中阴 影部分）的亮度值，从而获得比较结果Q。二维坐标检测单元121能够通过使用比较结果Q 执行二维坐标候选F的验证。
[0073] 具体地，在分析目标物具有近球形的形状的情况下，例如，细胞，该图像的中心部 分的亮度为高(亮)并且外围部分的亮度低(暗)。然而，在第二特征量的提取步骤中，提取第 二特征量(亮度差等）并且关于亮度值的信息丢失。因此，在中心部分的亮度低并且外围部 分的亮度高的图像也可以与中心部分的亮度高并且外围部分的亮度低的图像一起检测。因 此，二维坐标检测单元121能够通过使用比较结果Q从候选中排除具有反向亮度的图像的 二维坐标候选F。
[0074] 二维坐标检测单元121能够对包括在捕获图像组中的每个捕获图像G执行上述步 骤（Stl021到Stl026)并且在各捕获图像G中检测二维坐标候选F。二维坐标检测单元121 将检测到的二维坐标候选F供应到三维坐标确定单元122。此外，二维坐标检测单元121将 在上述步骤计算出的比较结果P和比较结果Q供应给估算单元123。
[0075] 三维坐标确定单元122基于二维坐标候选F的捕获图像G之间的位置关系确定分 析目标物的三维坐标候选（Stl03)。图11是示出通过三维坐标确定单元122确定三维坐标 候选的示意图。具体地，三维坐标确定单元122在Z方向上对各捕获图像G的二维坐标候选 F的连续数目计数。在这时，即使捕获图像之间在X方向和Y方向二维坐标候选F不完全对 应于彼此，只要这种位移落在容许范围内，三维坐标确定单元122能够确定二维坐标候选F 是连续的。
[0076] 如果在Z方向上一组二维坐标候选（以下，简称为二维坐标候选组）的连续数目落 在预定范围内时，三维坐标确定单元122能够确定此二维坐标候选组是分析目标物的二维 坐标候选组。例如，图11示出在Z方向上二维坐标候选组F1的连续数目太大和在Z方向 上二维坐标候选组F3的连续数目太小的情况。
[0077] 在这个实例中，三维坐标确定单元122能够确定二维坐标候选组F2是分析目标物 的二维坐标候选组，因为二维坐标候选F2组的连续数目落入预定范围之内。在Z方向上连 续数目的预定范围根据分析目标物的尺寸、显微镜光学系统111的物镜的NA (数值孔径)、 捕获图像组的焦点间距等而不同。三维坐标确定单元122能够通过由用户指定或从模板T 获得适当范围的连续数目。
[0078] 如果连续数目落入预定范围内，三维坐标系确定单元122能够从包括二维坐标候 选组的多个捕获图像的G中确定位于Z方向中心的捕获图像G (图11中的Gc)。三维坐标 确定单元122能够确定三维坐标候选，其中该三维坐标候选具有捕获该捕获图像Gc的Z坐 标的焦深和在二维坐标候选组F2的捕获图像Gc中为X坐标和Y坐标的二维坐标候选。
[0079] 估算单元123通过估算函数估算分析目标物图像和位于三维坐标的物像之间的 相似性（Stl04)。估算函数可以是使用上述的比较结果P和比较结果Q的一个，并且具体 地，由以下[等式1]表达。
[0080] f=aXP+Q[等式 1]
[0081] 应该注意，"a"是任意的系数。
[0082] 当比较结果P变小，物像和模板T之间的相似性变高。当物像的中心部分的亮度 值大于外围部分的亮度值时，比较结果Q取负值。因此，当值f很小时，估算单元123能够 估算到该物像类似于分析目标物图像。应该注意，估算单元123可以只使用用于估算函数 的比较结果P，或使用不同于上述[等式1]的估算函数。
[0083] 例如，在单一分析目标物(细胞等）放入到单一容器中的单一分类的情况下，这是 有利的，分析目标物的单一的三维坐标候选从从单一容器获得的捕获图像组中确定。然而， 即使确定多个三维坐标候选，估算单元123通过使用估算函数执行估算，因此，可以执行分 析目标物图像和位于每个三维坐标候选的物像和之间的相似性的分级(参见实施方式)。 [0084] 进一步地，除了所述单一分类的情况，例如，同样在分析样本包括多个分析目标物 或分析样本包括各种形式的对象并且分析目标物从它们中确定的情况下，可以通过将阈值 应用到使用估算函数而获得的结果来确定分析目标物的三维坐标候选。
[0085] 如上所述，分析装置120能够通过对捕获图像组的图像处理确定分析目标物的三 维坐标候选。由此，无需搜索分析目标物，用户可控制显微镜光学系统111的视场以覆盖分 析目标物。进一步地，分析装置120能够在显示器上显示位于三维坐标候选的分析目标物 候选，使得用户可以选择分析目标物。此外，如后面将要描述的那样，控制装置130能够追 踪分析目标物并且通过使用所述三维坐标候选对分析目标物成像或进行分析。
[0086] [控制装置的配置和操作]
[0087] 控制装置130控制显微镜成像装置110。具体地，控制装置130可以控制显微镜光 学系统111、XYZ载物台112、成像机构113等，从而控制显微镜光学系统111的视场范围以 覆盖分析样本S并且使成像机构113经由显微镜光学系统111使观察样本成像。
[0088] 控制装置130能够使用分析装置120确定的分析目标物的三维坐标候选控制显微 镜成像装置110。图12是示出分析系统100的操作的流程图。
[0089] 首先，控制装置130使显微镜成像装置110以低放大倍数成像（Stl51)。具体地， 控制装置130以低放大倍数控制显微镜光学系统111的视场范围以覆盖分析样本。控制装 置130控制显微镜光学系统111和成像机构113以使分析样本在多个焦深成像，并产生捕 获图像组。图13A和13B是示出此时的显微镜光学系统111的视场范围的示意图。
[0090] 如果显微镜光学系统111的视场范围A不能覆盖分析样本S的整个区域，控制装 置130可在分析样本S中设置多个视场范围A，如图13的部分（a)所示，并使成像机构113 对每个视场范围A成像。进一步地，在预测分析目标物靠近分析样本S的中心的情况下，例 如，在使用高精确度的单一分类器的情况下，控制装置130可以如图13的部分（b)所示仅 在分析样本S的中心设置视场范围A，并且使成像机构113对视场范围A成像。
[0091] 分析装置120对以上述的低放大倍数成像产生的捕获图像组执行上述图像处理， 并且确定分析目标物的三维坐标候选（Stl52)。如果位于三维坐标候选的对象是分析目标 物，控制装置130可以执行将在后面描述的分析（Stl55)，或者可以增加显微镜光学系统 111的放大倍数,并使成像机构113以高放大倍数成像（Stl53)。当以高放大倍数执行成像 时，如果在图像处理步骤（Stl52)中确定三维坐标候选，控制装置130能够使成像机构113 通过使用此三维坐标候选来以高放大倍数执行成像。应该注意，在以高放大倍数执行成像 时，控制装置130也能够使显微镜光学系统111执行焦点检测并通过使用检测的焦点更新 三维坐标候选。
[0092] 分析装置120再次对通过以高放大倍数成像所产生的捕获图像组执行上述图像 处理，并确定分析目标物的三维坐标候选（Stl54)。如果位于三维坐标候选的对象是分析目 标物，控制装置130执行分析（Stl55)。当位于三维坐标候选的对象不是分析目标物时，控 制装置130使成像装置113执行上述图像处理步骤（St 152)。
[0093] 当位于由图像处理步骤（Stl52和Stl54)的任何一个确定的三维坐标候选的对象 是分析目标物时，控制装置130执行分析（Stl55)。具体地，在控制显微镜光学系统111的 视场以覆盖所确定的三维坐标候选之后，控制装置130能够使成像机构113对分析目标物 成像。例如，通过每当预定的一段时间过去时执行三维坐标候选的确定处理，每当预定的一 段时间过去时控制装置130能够使成像机构113对分析目标物成像。因此，控制装置130 能够使得=成像机构113执行延时成像。
[0094] 进一步地，当相衬成像机构或光谱(红外光谱、拉曼光谱等）机构连接到显微镜成 像装置110的显微镜光学系统111时，控制装置130也能够执行各种分析。在任何情况下， 显微镜光学系统111的视场范围被控制为覆盖自动确定的三维坐标候选。因此，不需要搜 索分析目标物，用户能够分析分析目标物。
[0095] [分析系统的变型例]
[0096] 将描述上述实施方式的分析系统变型例。
[0097] 分析装置120可通过不使用二维模板而使用三维模板或分析目标物的尺寸信息 确定最佳匹配的三维坐标。图14A和图14B是示出分析装置120的操作的示意图。如图 14A所示，分析装置120获取具有等于或大于阈值的亮度差的像素 pi的坐标。此时，分析装 置120能够将分离的像素 P2作为噪声去除。
[0098] 如图14B所示，分析装置120能够搜索像素 P3作为关键并从每个具有围绕每个像 素 P3的预定范围的体素 v中检测最类似于分析目标物的体素 v。具有预定范围的体素可以 是，例如，20体素。
[0099][实例]
[0100] 将要描述上述实施方式的实例。在这个实例中，由单一的分类器在每个细胞中种 的造血干细胞20 (分析目标物）用作分析样本。
[0101] 图15A-图15C根据本实例示出图像。图15A示出在物镜以放大倍数4x且光量是 固定的条件下由Z叠加成像产生的捕获图像组。成像的焦深是从0到420 μ m并且焦点间 距为20 μ m。分析装置通过根据上述实施方式的图像处理确定分析目标物的三维坐标候选。 图15A示出位于第一次序估算结果的三维坐标候选（X，y，z)的物像。
[0102] 图15B示出在物镜以放大倍数60x且光量是用作为中心的第一次序估算结果的三 维坐标候选（x，y，z)固定的条件下由亮场Z叠加成像捕获的捕获图像组。成像的焦深是从 三维坐标候选的z坐标到±20 μ m。对捕获图像执行焦点检测并且更新z坐标。更新的三 维坐标候选由（X，y，z'）表示。
[0103] 图15C示出在物镜以放大倍数60x且光量为最大的条件下由相衬成像在更新的三 维坐标候选（x，y，z'）捕获的捕获图像。光谱结构设置在捕获图像的中心部分。以这种方 式，分析装置确定分析目标物的三维坐标候选。因此，可通过使用三维坐标候选执行分析目 标物的分析(在此，以高放大倍数成像)。
[0104] 进一步地，图16示出由估算单元产生的示例性估算结果。在造血干细胞种于每个 细胞的单一细胞分类的情况下，结果是通过使用估算函数将位于从通过使分别的容器成像 获取的捕获的图像组确定的三维坐标候选的物像归类而获取的。对于每个容器，在估算函 数次序顶部的物像具有高的可能性作为种在所述容器中的分析目标物(造血干细胞）的图 像。实际上可以确认在估算次序的顶部的物像是通过使用荧光图像观测的造血干细胞。因 此，可以这样说，使用根据上述实施方式的分析装置，可确定分析目标物的三维坐标候选， 并估算位于三维坐标候选的物像作为分析目标物的可能性。
[0105] 应该注意，本公开也可以采取以下配置。
[0106] (1) 一种分析装置，包括：
[0107] 二维坐标检测单元，被配置为对于通过在多个焦深捕获包括分析目标物的分析样 本而获得的捕获图像组检测作为在每个捕获图像中的分析目标物的平面坐标候选的二维 坐标候选；以及
[0108] 三维坐标确定单元，被配置为基于捕获图像之间的平面坐标候选的位置关系来确 定作为分析目标物的三维坐标候选的三维坐标候选。
[0109] ( 2 )根据（1)所述的分析装置，进一步包括
[0110] 估算单元，被配置为通过估算函数估算分析目标物图像和位于三维坐标候选的物 像之间的相似性。
[0111] (3)根据（1)或（2)所述的分析装置，其中
[0112] 三维坐标确定单元被配置为基于在焦深方向上二维坐标候选的连续数目来确定 三维坐标候选。
[0113] (4 )根据（1)至（3 )中的任何一项所述的分析装置，其中
[0114] 所述二维坐标检测单元被配置为通过将捕获图像的特征量与指示分析目标物的 特征量的模板相比较来检测二维坐标候选。
[0115] (5 )根据（1)至（4 )中的任何一项所述的分析装置，其中
[0116] 所述二维坐标检测单元被配置为从捕获图像中提取第一特征量，基于所述第一特 征量检测初始二维坐标候选，在所述初始二维坐标候选周围设置比较范围，从包括在所述 比较范围中的捕获图像中提取第二特征量，并且将所述第二特征量与模板进行比较，从而 检测二维坐标候选。
[0117] (6)根据（1)至（5)中的任何一项所述的分析装置，其中
[0118] 所述第一特征量是第一像素数的像素之间的亮度差，并且
[0119] 所述第二特征量是比第一像素数更大的第二像素数的像素之间的亮度差。
[0120] (7)根据（1)至（6)中的任何一项所述的分析装置，进一步包括
[0121] 估算单元，被配置为当所述第二特征量最接近匹配模板时通过使用估算函数估算 位于分析目标物图像和三维坐标候选的物像之间的相似性，其中，估算函数使用包括在比 较范围中的捕获图像的第二特征量和模板的特征量之间的差。
[0122] (8)根据（1)至（7)中的任何一项所述的分析装置，其中
[0123] 二维坐标检测单元被配置为当第二特征量最接近匹配模板时，计算包括在比较范 围中的捕获图像的中心部分和外围部分之间的亮度差，并通过使用所述亮度差验证所述二 维坐标候选。
[0124] (9)根据（1)至（8)中的任何一项所述的分析装置，其中
[0125] 估算单元被配置为通过估算函数估算分析目标物图像和位于三维坐标候选的物 像之间的相似性，其中，估算函数使用第二特征量和模板之间的差和亮度差。
[0126] ( 10) -种分析程序，该分析程序使信息处理装置用作：
[0127] 二维坐标检测单元，被配置为对于通过在多个焦深捕获包括分析目标物的分析样 本而获得的捕获图像组，检测作为在每个捕获的图像中的分析目标物的平面坐标候选的二 维坐标候选；以及
[0128] 三维坐标确定单元，被配置为基于所述捕获图像之间的所述平面坐标候选的位置 关系来确定作为所述分析目标物的三维坐标的候选的三维坐标候选。
[0129] (11) 一种分析系统，其包括：
[0130] 显微镜成像装置；
[0131] 分析装置，包括
[0132] 二维坐标检测单元，被配置为对于通过所述显微镜成像装置在多个焦深捕获包括 分析目标物的分析样本而获得的捕获的图像组检测作为在每个捕获的图像中的分析目标 物的平面坐标候选的二维坐标候选，以及
[0133] 三维坐标确定单元，被配置为基于捕获的图像之间的平面坐标候选的位置关系来 确定作为分析目标物的三维坐标的候选的三维坐标候选；以及
[0134] 控制装置，被配置为通过使用三维坐标候选来控制所述显微镜成像装置。
[0135] 本领域技术人员应该理解，当其在所附权利要求或其中的等同物的范围内时，各 种修改、组合、子组合和改变可根据设计要求和其他因素的情况发生。
【权利要求】
1. 一种分析装置，包括： 二维坐标检测单元，被配置为对于通过在多个焦深捕获包括分析目标物的分析样本而 获得的捕获图像组检测作为在每个捕获图像中的所述分析目标物的平面坐标候选的二维 坐标候选；以及 三维坐标确定单元，被配置为基于所述捕获图像之间的所述平面坐标候选的位置关系 来确定作为所述分析目标物的三维坐标的候选的三维坐标候选。
2. 根据权利要求1所述的分析装置，进一步包括 估算单元，被配置为通过估算函数估算分析目标物图像与位于所述三维坐标候选的物 像之间的相似性。
3. 根据权利要求1所述的分析装置，其中 所述三维坐标确定单元被配置为基于在焦深方向上所述二维坐标候选的连续数目来 确定所述三维坐标候选。
4. 根据权利要求1所述的分析装置，其中 所述二维坐标检测单元被配置为通过将所述捕获图像的特征量与指示所述分析目标 物的特征量的模板相比较来检测所述二维坐标候选。
5. 根据权利要求4所述的分析装置，其中 所述二维坐标检测单元被配置为从所述捕获图像中提取第一特征量，基于所述第一特 征量检测初始二维坐标候选，在所述初始二维坐标候选周围设置比较范围，从包括在所述 比较范围中的捕获图像中提取第二特征量，并且将所述第二特征量与所述模板进行比较， 从而检测所述二维坐标候选。
6. 根据权利要求5所述的分析装置，其中 所述第一特征量是第一像素数的像素之间的亮度差，以及 所述第二特征量是比所述第一像素数更大的第二像素数的像素之间的亮度差。
7. 根据权利要求6所述的分析装置，进一步包括 估算单元，被配置为当所述第二特征量最接近匹配所述模板时，通过使用估算函数估 算分析目标物图像和位于所述三维坐标候选的物像之间的相似性，所述估算函数使用包括 在所述比较范围中的捕获图像的所述第二特征量和所述模板的特征量之间的差。
8. 根据权利要求7所述的分析装置，其中 所述二维坐标检测单元被配置为当所述第二特征量最接近匹配所述模板时，计算包括 在所述比较范围中的捕获图像的中心部分和外围部分之间的亮度差，并通过使用所述亮度 差验证所述二维坐标候选。
9. 根据权利要求8所述的分析装置，其中 所述估算单元被配置为通过估算函数估算所述分析目标物图像和位于三维坐标候选 的物像之间的相似性，其中，所述估算函数使用所述第二特征量和所述模板之间的差和所 述亮度差。
10. -种分析程序，所述分析程序使信息处理装置用作： 二维坐标检测单元，被配置为对于通过在多个焦深捕获包括分析目标物的分析样本而 获得的捕获图像组，检测作为在每个捕获的图像中的所述分析目标物的平面坐标候选的二 维坐标候选；以及 三维坐标确定单元，被配置为基于所述捕获图像之间的所述平面坐标候选的位置关系 来确定作为所述分析目标物的三维坐标的候选的三维坐标候选。
11. 一种分析系统，包括： 显微镜成像装置； 分析装置，包括 二维坐标检测单元，被配置为对于通过所述显微镜成像装置在多个焦深捕获包括分析 目标物的分析样本而获得的捕获图像组检测作为在每个捕获图像中的所述分析目标物的 平面坐标候选的二维坐标候选，以及 三维坐标确定单元，被配置为基于所述捕获图像之间的平面坐标候选的位置关系来确 定作为所述分析目标物的三维坐标的候选的三维坐标候选；以及 控制装置，被配置为通过使用所述三维坐标候选来控制所述显微镜成像装置。
12. -种分析方法，包括： 对于通过在多个焦深捕获包括分析目标物的分析样本而获得的捕获图像组，检测作为 在每个捕获图像中的所述分析目标物的平面坐标的候选的二维坐标候选；以及 基于所述捕获图像之间的所述平面坐标候选的位置关系来确定作为所述分析目标物 的三维坐标的候选的三维坐标候选。
13. 根据权利要求12所述的分析方法，进一步包括： 通过估算函数估算分析目标物图像与位于所述三维坐标候选的物像之间的相似性。
【文档编号】G01B11/00GK104101294SQ201410132589
【公开日】2014年10月15日 申请日期:2014年4月2日 优先权日:2013年4月9日
【发明者】大岛志织, 堂胁优, 松居惠理子 申请人:索尼公司