信息处理装置、信息处理方法和信息处理程序的制作方法
【技术领域】
[0001]本技术涉及拍摄在样本置于其上的载片以获取图像的数码显微镜装置。
【背景技术】
[0002]具有数字显微镜装置和使用显微镜装置的观察器，用于观察细胞组织切片(载片)将载玻片信息存储作为数字图像并使用数字图像的图像数据进行病理诊断等。
[0003]数字显微镜装置使用放大光学系统放大细胞组织载玻片以将细胞组织载玻片投影到图像传感器上、采集图像并拼接(合并)多个图像以形成单个巨大样本图像。
[0004]此时，由于显微镜装置的视野深度非常浅(约I μ m)，所以在拍摄厚细胞组织的情况下，拍摄应在光轴方向上对焦状态变得最佳的位置(Z位置)处进行。由于载玻片上的细胞组织具有不规则波纹，所以最佳聚焦位置根据细胞组织的部分而不同。因此，理想的是在每次进行拍摄时调整焦点位置。
[0005]为了自动调整焦点位置，数字显微镜装置包括采用对比度自动聚焦(以下简称为AF)系统的显微镜装置和采用相差AF系统的显微镜装置。
[0006]例如，在专利文献I中示出的AF系统的特征在于，当搜索对比度为最大的点时，使用前次对比度值和当前对比度值之间的差将差值的幅度设置为阈值，并使用阈值指定对焦位置。此外，在专利文献2中所示的AF系统，表示对比度的特征量的定义包括色调信息。在专利文献3中示出的AF系统中，表示对比度的特征量的定义采用高通分量的量。
[0007]专利文献1:日本专利申请公开号2007-86596
[0008]专利文献2:日本专利申请公开号2009-59326
[0009]专利文献3:日本专利申请公开号Hei 03-258171
【发明内容】
[0010]技术问题
[0011]在采用对比度AF系统的显微镜装置中，重复进行用于搜索和对比度比较的拍摄，直到对焦位置根据用于搜索而采集的图像中的对比度的峰值确定。因此，需要花费大量的时间来调整焦点位置。
[0012]由于这个原因，在实际使用中，在每次拍摄的每个拍摄位置处调整焦点位置的同时来进行拍摄是不现实的。在这方面，使用的是拍摄系统，其中焦点位置在选定的代表点处被先搜索来基于搜索的结果在拍摄区域的每个点处估计焦点位置。
[0013]在使用该拍摄系统的情况下，会产生误差，例如，由于使用代表点进行的估计而在各拍摄位置产生与最佳对焦位置的误差，以及由于与温度变化相关联的热膨胀等产生的误差，这是因为在各自点的先前测量需要时间来在各自拍摄位置进行实际拍摄。因此，每个拍摄位置的对焦状态变得不确定。
[0014]如果依次重复用于搜索的拍摄和对比度的确认，则对比度AF系统被认为是高度精确的，但它需要相当长的时间，如上所述。因此，已知一种方法来将进行多次用于搜索的拍摄次数抑制到最小，并使用曲线拟合来估计对焦位置。
[0015]在过去使用曲线拟合的对焦位置确定中，已经使用了具有以下性质的特征量:随着聚焦逐渐获得，值增加。例如，使用一个布伦纳梯度(Brenner Gradient)，邻接像素的差的和的一个方法，是众所周知的。
[0016]此外，为了限制图像的显著部分，已经使用了通过使用高通滤波器或低通滤波器的空间频率来选择特征的方法。
[0017]在这些方法中，认为，通过绘制特征量而获得的曲线显示类似于对焦位置附近的洛伦兹(Lorentz)函数的特征，并且因此使用其倒数可提供曲线拟合作为简单二次函数。
[0018]然而，实际上，在许多情况下，该曲线并未显示作为洛伦兹函数的特征，例如，在样本仅占据载片上的拍摄区域的一半区域或更少的情况下，在由于染色的类型引起染色较弱进而特征不明确的情况下，和在尘埃中发现多个特征的情况下。因此，仅在样本和染色的类型确实受限的条件下，才能够使用数字显微镜装置。特别而言，在NA(数值孔径)增大以便增加分辨率的情况下，这个问题变得突出。
[0019]在另一方面，在采用相位差AF系统的情况下，对焦速度快，但根据样本的染色的类型，在某些情况下，图像中的特征差可能未由用于相位差AF的低分辨率的成像装置捕捉。在这样的情况下，存在不能正确地获得对焦位置的问题。
[0020]作为混合AF系统，也有使用上述两个自动对焦系统组合的数字显微镜装置。在这个系统中，发现一种方法，其中比较由两个AF系统计算的对焦位置(具体地，通过确认差值是否小于预定阈值)，以获得对焦位置的确定性。然而，不总是通过比较低精度的聚焦位置而获得好结果。在其中与两个系统不相容的对象被拍摄的情况下，存在一个问题:尽管离焦，两个系统也具有确定目标处于焦点的高可能性。
[0021]此外，作为另一问题，为了缩短整个时间来尽可能多获取图像，还有另一种方法，其中首先拍摄俯视图像，其中通过使用俯视图像来预先检测存在样本的区域，并且仅对于存在样本的区域进行实际拍摄。
[0022]然而，由于以低分辨率拍俯视图像，所以不可能检测样本的所有部分。因此，这种方法具有在实际拍摄中不可避免地产生未拍摄的部分的问题。
[0023]与未拍摄部分的产生相反，还有一个问题，不包括样本或包括载片的表面上的尘埃的部分被错误地检测为其中存在样本的部分，且进行了无用的实际拍摄。这个问题导致了拍摄时间的增加和最终样本图像的膨胀的问题。
[0024]如上所述，在过去，没有以高速获得适当聚焦位置并有效地进行拍摄的数字显微镜装置。
[0025]鉴于如上所述的情况，本技术的目的是提供信息处理装置、信息处理方法，和信息处理程序以用于以高速获得适当聚焦位置并有效地进行拍摄。
[0026]技术方案
[0027]为了实现上述目的，根据本技术的实施方式，提供了一种信息处理装置，包括:搜索图像获取单元，在彼此不同的焦点位置处获取放大图像；第一特征量计算单元，基于每个块的像素值的直流分量和交流分量的动态范围针对拍摄的多个所述放大图像中的每个放大图像获得第一特征量，其中，所述块形成所述放大图像；和对焦位置确定单元，基于所述第一特征量确定所述放大图像的对焦位置。
[0028]在本技术中，为了获得所拍摄图像的对比度的特征量，不是使用例如过去使用的布伦纳梯度(Brenner Gradient)，在包括具有相同颜色的邻接像素的块(例如，其是具有相同颜色的一系列八个像素的块)中获得像素值的交流分量和直流分量。然后交流分量和直流分量的动态范围由阈值进行滤波，仅针对具有满足条件的动态范围和直流分量的块获得预定单位特征量，且在拍图像时基于第一特征量获得对焦位置，第一特征量是一个图像的单位特征量之和的值。因此，可以高精确度获得对焦位置。
[0029]第一特征量计算单元可根据根据满足第一条件和第二条件的所述块获得所述第一特征量，其中，所述第一条件中预定所述交流分量的所述动态范围，所述第二条件中预定所述直流分量。
[0030]第一特征量计算单元可针对满足所述第一条件和所述第二条件的所述块通过预定方法计算并相加单位特征量，并基于所述相加的结果获得每个所述放大图像的第一特征量。
[0031]信息处理装置还可包括曲线拟合单元，基于三个以上焦点位置处的所述第一特征量的倒数的组合在预定曲线上进行曲线拟合，并计算所述倒数在所述预定曲线上变得最小的焦点位置，其中对焦位置确定单元将由所述曲线拟合单元计算的焦点位置设置为对焦位置。
[0032]预定曲线可以是二次曲线。
[0033]第一特征量计算单元可基于每个所述块的像素值的最小值以及最大值与最小值之间的差值计算所述第一特征量。
[0034]第一特征量计算单元可使用所述动态范围作为所述单位特征量。
[0035]搜索图像获取单元可在以第一间隔彼此分离的三个以上焦点位置处获取粗略搜索放大图像以用于粗略搜索对焦位置，第一特征量计算单元可以获得每个粗略搜索放大图像的第一特征量，对焦位置确定单元可获得用于粗略搜索的对焦位置，搜索图像获取单元可在以第二间隔彼此分离的三个以上焦点位置处获取精细搜索放大图像以用于精细搜索对焦位置，其中用于粗略搜索的对焦位置被设置为中心，第二间隔比第一间隔窄，第一特征量计算单元可获得每个精细搜索放大图像的第一特征量，而且对焦位置确定单元可获得用于精细搜索的对焦位置并将用于精细搜索的对焦位置设置为最终对焦位置。
[0036]搜索图像获取单元可在彼此不同的三个以上焦点位置处获取所述放大图像，第一特征量计算单元可将获取的多个所述放大图像中的每个放大图像分割为mXn个第一区域，并获得每个所述第一区域的所述第一特征量，m和η是2以上的整数，并获得每个所述第一区域的对焦位置，获得样本与每个所述区域的所述对焦位置的倾斜，并基于所述倾斜选择最终对焦位置。
[0037]当所述相加的结果小于预定值时，所述第一特征量计算单元获得每个所述放大图像的布伦纳梯度并将所述布伦纳梯度加到所述相加的所述结果上以获得所述第一特征量。
[0038]信息处理装置还可包括相位差自动聚焦(AF)处理单元，使相位差AF检测单元检测相位差对焦位置，所述相位差AF检测单元以相差AF方式检测对焦位置，其中搜索图像获取单元可在彼此不同的三个以上焦点位置处获取放大图像，在所述三个以上焦点位置中包含所述相位差对焦位置。
[0039]当满足以下至少一项时，对焦位置确定单元可将所述相位差对焦位置设置为最终对焦位置:所述相位差对焦位置处的所述第一特征量是最大，所述焦点位置处的所述第一特征量的倒数满足预定关系。
[0040]信息处理装置还可包括:相位差AF处理单元使相位差AF检测单元检测相位差对焦位置，所述相位差AF检测单元以相差AF方式检测对焦位置；和放大图像捕捉单元，针对分割包括载玻片上的样本的区域的多个小区域，拍摄所述小区域的放大图像，其中搜索图像获取单元在所述多个小区域中的第一小区域中在以第一间隔彼此分离的三个以上焦点位置处获取粗略搜索放大图像，用于粗略搜索对焦位置，第一特征量计算单元可获得用于每个所述粗略搜索放大图像的所述第一特征量，对焦位置确定单元获得获得用于粗略搜索的对焦位置，搜索图像获取单元以所述用于粗略搜索的对焦位置为中心，在以第二间隔彼此分离的三个以上焦点位置处获取精细搜索放大图像以用于精细搜索对焦位置，所述第二间隔比所述第一间隔窄，第一特征量计算单元可获得用于每个所述精细搜索放大图像的所述第一特征量，对焦位置确定单元可获得用于精细搜索的对焦位置并将所述用于精细搜索的对焦位置设置为最终对焦位置，相位差AF处理单元可计算每个第二小区域的所述相位差焦点位置，所述第二小区域是除所述多个小区域中的所述第一小区域之外的一个或多个小区域中的每个小区域，搜索图像获取单元可在彼此不同的三个以上焦点位置处获取放大图像，在所述三个以上焦点位置中包含所述相位差对焦位置，第一特征量计算单元可获得用于每个所述放大图像的所述第一特征量，而且当满足以下至少一项时，所述对焦位置确定单元将所述相位差对焦位置设置为最终对焦位置:所述相位差对焦位置处的所述第一特征量是最大，所述第一特征量的倒数和所述焦点位置满足预定关系。
[0041]当获得用于每个所述粗略搜索放大图像的所述第一特征量时，所述第一特征量计算单元设置所述第一条件，在所述第一条件中所述第一特征量超过由所述放大图像捕捉单元输出的最大值的平方根值。
[0042]信息处理装置还可包括:第二特征量计算单元，将每个所述放大图像分割为PXq个第二区域，P和q是预定的正整数，针对每个所述第二区域获得每个块的像素值的直流分量和交流分量的动态范围，所述块形成所述第二区域，计数满足第一条件和第二条件的所述块，所述第一条件中所述交流分量的动态范围是预定的，所述第二条件中所述直流分量是预定的，并且获得所述计数的结果作为每个所述第二区域的第二特征量；和白图像确定单元，如果第二特征量没有超过所获得的所述第二特征量的预定值，则所述白图像确定单元将所述放大图像确定为其中未显现样本的白图像。
[0043]信息处理装置还可包括:放大图像捕捉单元，针对分割包括载玻片上的样本的区域的多个小区域，拍摄所述小区域的放大图像；第二特征量计算单元，将每个所述放大图像的周边部分分割为P个第二区域，P是2或更大的预定整数，针对每个所述第二区域获得每个块的像素值的直流分量和交流分量的动态范围，所述块形成所述第二区域，计数满足第一条件和第二条件的所述块，所述第一条件中所述交流分量的动态范围是预定的，所述第二条件中所述直流分量是预定的，并且获得所述计数的结果作为每个所述第二区域的第二特征量；和继续确定单元，当获得的所述第二特征量超过预定值时，所述继续确定单元将邻接所述第二区域的其他所述小区域的所述放大图像确定为显现所述样本的图像。
[0044]为了实现上述目的，根据本技术的实施方式，提供了一种信息处理方法，其包括:由搜索图像获取单元在彼此不同的焦点位置处获取放大图像；由第一特征量计算单元基于每个块的像素值的直流分量和交流分量的动态范围针对拍摄的多个所述放大图像中的每个放大图像获得第一特征量，其中，所述块形成所述放大图像；和由对焦位置确定单元基于所述第一特征量确定所述放大图像的对焦位置。
[0045]为了实现上述目的，根据本技术的实施方式，提供了一种信息处理程序，使计算机用作:搜索图像获取单元，在彼此不同的焦点位置处获取放大图像；第一特征量计算单元，基于每个块的像素值的直流分量和交流分量的动态范围针对拍摄的多个所述放大图像中的每个放大图像获得第一特征量，其中，所述块形成所述放大图像；和对焦位置确定单元，基于所述第一特征量确定所述放大图像的对焦位置。
[0046]技术效果
[0047]如上所述，根据本技术，能够以高速获得适当对焦位置并有效地进行拍摄。
【附图说明】
[0048]图1是示出根据本实施方式的数字显微镜装置100的整体构造的功能框图。
[0049]图2是示出用于实现集成控制单元51中的控制的功能的功能框图。
[0050]图3是用于描述本实施方式的数字显微镜装置100中的整个处理流程的流程图。
[0051]图4是用于描述校正处理的流程的流程图。
[0052]图5是用于描述第一特征量H计算处理的流程的流程图。
[0053]图6是示出一个块的实例的图。
[0054]图7是示出一个块的实例的图。
[0055]图8是示出在红色平面获得特征量时使用的像素的实例的图。
[0056]图9是示出在拜耳(Bayer)阵列中获得红色特征量时使用的像素的实例的图。
[0057]图10是示出其中获得直流分量DC和动态范围DR的实例的图。
[0058]图11是示出可被采用作为第一特征量H的值的实例的图。
[0059]图12是用于描述对焦位置计算处理的流程的流程图。
[0060]图13是示出其中三个点，点A(ZA、HA)、点B(ZB、HB)和点C(ZC、HC)被绘制在二维平面上的状态的图，其中Z位置被设置为水平轴且第一特征量H的倒数被设置为垂直轴。
[0061]图14是用于描述白图像确定处理的流程的流程图。
[0062]图15经受HE染色(苏木精-曙红染色)的样本SPL的图像。
[0063]图16是示出其中通过白色确定处理针对图15中所示的经受HE染色(苏木精-曙红染色)的样本SPL的图像而计算各个区域的第二特征量E的状态的示图。
[0064]图17是经受HE染色的不同样本SPL的图像。
[0065]图18是示出其中通过白色确定处理针对图17中所示的经受HE染色的不同样本SPL的图像而计算各个区域的第二特征量E的状态的示图。
[0066]图19是用于描述继续确定处理的流程的流程图。
[0067]图20是示出其中通过继续确定处理针对图15中所示的样本SPL的图像而计算各个区域的第二特征量E的状态的示图。
[0068]图21是示出其中通过继续确定处理针对图17中所示的不同样本SPL的图像而计算各个区域的第二特征量E的状态的示图。
[0069]图22是示出在曲线拟合的具体实例中使用的图像和图象的部分放大的小区域的图。
[0070]图23是图22中所示的小区域的图，其中在Z方向所采集的多个图像的特征量的倒数基于拍摄位置而绘制，由相关技术的系统获得特征量。
[0071]图24是图22中所示的小区域的图，其中在Z方向所采集的多个图像的特征量的倒数基于拍摄位置而绘制，由本系统获得特征量。
[0072]图25是由相关技术的系统的对焦位置的图，这基于图23中绘制的曲线通过进行曲线拟合而获得。
[0073]图26是由本系统的对焦位置的图，这基于图24中绘制的曲线通过进行曲线拟合而获得。
[0074]图27是示出在曲线拟合的具体实例中使用的另一图像和图象的部分放大的小区域的图。