数字显微镜装置、信息处理方法以及信息处理程序的制作方法
【专利摘要】本发明公开了数字显微镜装置、信息处理方法以及信息处理程序，该数字显微镜装置包括：照明光学系统，被配置为发出照明光；平台，具有能够从中传输照明光的开口，在该平台上，允许根据开口的位置放置标本；包括物镜和成像器件的放大成像单元，所述物镜被配置为放大图像并且被布置为使得利用布置在其间的平台面对照明光学系统，和成像器件被配置为摄取由物镜放大的图像；白色图像获取单元，被配置为打开开口，以便引起系统在系统的像点与透镜的焦点排成一行的状态下发出光，并且作为白色图像获得形成在设备的成像表面上的图像；以及计算单元，被配置为使用摄取的白色图像计算阴影校正系数。
【专利说明】数字显微镜装置、信息处理方法以及信息处理程序
[0001]相关申请的交叉引用
[0002]本申请要求于2013年3月14日提交的日本优先权专利申请JP2013-051274的权益，通过引用将其全文结合于本文中。
【技术领域】
[0003]本公开内容涉及数字显微镜装置中的阴影校正。
【背景技术】
[0004]在数字显微镜装置中，当从病理载片(标本PRT)获得病理图像时，恰当地进行阴影校正是重要的。为了恰当地进行阴影校正，为阴影校正恰当地摄取未拍摄的生物样本SPL的图像(在下文中，称作全部白色图像或者白色图像)是重要的。
[0005]作为在进行阴影校正时摄取全部白色图像的一种方法，公开了获得全部白色图像的方法，在该方法中，通过摄取全部白色图像无需在平台上布置样本将光源、照明光学系统以及成像光学系统的所有不规则因素重叠(参见，例如，日本专利申请公开N0.2011-124948)。
[0006]此外，为了防止数字显微镜装置摄取的病理载片的病理图像的对比度不恰当地减少，照明光学系统应当恰当地聚焦。
[0007]鉴于此，存在一种技术，其中，使用相位差自动聚焦(AF)自动地并且恰当地允许照明光学系统聚焦(参见，例如，日本专利申请公开N0.2012-008450)。
【发明内容】
[0008]然而，在数字显微镜装置中，已经要求以尽可能快的速度获取具有高品质的大量的样本的图像，但是这一要求未充分满足。
[0009]鉴于上述情况，希望提供一种能够以尽可能快的速度获取具有高品质的大量样本的图像的数字显微镜装置、信息处理方法、以及信息处理程序。
[0010]根据本公开内容的实施方式，提供一种数字显微镜装置，包括照明光学系统，被配置为发出照明光，平台，具有能够通过其传输照明光的开口，在该平台上，允许根据所述开口的位置放置标本，放大成像单元，包括物镜，即被配置为放大图像并且被布置为使得利用布置在其间的所述平台面对所述照明光学系统，和成像器件，被配置为摄取由所述物镜放大的图像，白色图像获取单元，被配置为打开平台的开口，引起照明光学系统在照明光学系统的像点与放大成像单元的物镜的焦点排成一行的状态下发出照明光，作为白色图像获得形成在放大成像单元的成像器件的成像表面上的图像，以及计算单元，被配置为使用摄取的白色图像计算阴影校正系数。
[0011]数字显微镜装置可以进一步包括离焦检测单元，被配置为检测有关放大成像单元的离焦的信息，调节单元，被配置为在光轴方向上调节照明光学系统的位置，其中，白色图像获取单元可能引起调节单元操作使得基于离焦信息在放大成像单元的成像器件的成像表面上形成照明光的视野光阑的图像。
[0012]在数字显微镜装置中，调节单元通过在平台上放置标本的状态下将照明光学系统的位置移动至与平台的侧面具有预定距离进行调节。
[0013]在数字显微镜装置中，当移动照明光学系统时，白色图像获取单元在平台上放置预定距离的标本的状态下在与照明光学系统的移动方向相同的方向上移动平台的位置。
[0014]在数字显微镜装置中，预定距离可以满足d (n-1) /n给出的关系(其中，d表示标本的厚度和η表不标本的折射率)。
[0015]在数字显微镜装置中，白色图像获取单元在标本被放置在平台上的状态下在摄取放大图像时将照明光的强度设置为第一强度，并且在摄取白色图像时将照明光的强度设置为第二强度，第二强度低于第一强度。
[0016]根据本公开内容的实施方式，提供一种信息处理方法，包括通过白色图像获取单元引起，调节单元，被配置为调节照明光的焦点位置以便操作，使得在具有能够通过其传输照明光的开口的平台上未放置标本的状态下在放大成像单元的成像器件的成像表面上形成照明光的视野光阑的图像，和放大成像单元摄取形成在成像器件的成像表面上的视野光阑的图像作为白色图像，以及通过计算单元使用摄取的白色图像计算阴影校正系数。
[0017]根据本公开内容的实施方式，提供信息处理程序，其引起计算机起白色图像获取单元的作用，该白色图像获取单元被配置为引起，调节单元，被配置为调节照明光的焦点位置以便操作，使得在具有能够通过其传输所述照明光的开口的平台上未放置标本的状态下在放大成像单元的成像器件的成像表面上形成照明光的视野光阑的图像，和放大成像单元摄取形成在成像器件的成像表面上的视野光阑的图像作为白色图像，以及计算单元，被配置为使用摄取的白色图像计算阴影校正系数。
[0018]如上所述，根据本公开内容，可以尽可能快速地获得具有高质量的大量样本的图像。
[0019]本公开的这些和其他目标、特征和优点根据在附图中示出的其最优模式实施方式的以下详细描述将变得更加清晰。
【专利附图】
【附图说明】
[0020]图1是示出了根据本公开内容的实施方式的数字显微镜装置100的整个构造的方框图；
[0021]图2是示出了对集成控制器51进行控制的功能的功能框图；
[0022]图3是用于说明根据该实施方式的数字显微镜装置100中的直到用于阴影校正的校正系数的计算的处理流程和从单独的放大图像的摄取至阴影校正的处理流程的流程图；
[0023]图4是示出了 X方向的白色图像的亮度上的信息分布的曲线图；
[0024]图5是示出了白色图像的每一个像素的RGB亮度值乘以阴影校正系数LR、LG以及LB，使得每一个像素的亮度值等于目标亮度值L的状态的曲线图；
[0025]图6是示出了 X方向摄取的放大图像的亮度分布的实例的曲线图；
[0026]图7是示出了通过在图6中示出的亮度分布上进行阴影校正得到的结果的曲线图；以及
[0027]图8是示出了与摄取放大图像(具有标本，图8的右侧)时相比较，当摄取白色图像(没有标本PRT，图8的左侧)时，聚光透镜22a、光源21以及Z轴方向的平台40的位置向物镜23的侧面移动Λ Z的状态的示图。
【具体实施方式】
[0028]在下文中，将参考附图描述根据本公开内容的实施方式。
[0029](第一实施方式)
[0030]图1是示出了根据本公开内容的第一实施方式的数字显微镜装置100的整个构造的方框图。
[0031](概述)
[0032]在该实施方式中，在显微镜的平台的开口上未放置标本的状态下摄取到用于阴影校正的白色图像。在没有标本的情况下，因为组成标本的载玻片不存在，所以从光源至成像器件的光径长度改变。因此，在平台上未放置标本的情况下，调节照明光学系统的焦点位置以便聚焦。因此，在照明光学系统聚焦的状态下可以适当地摄取白色图像，并且可以基于适当摄取的白色图像恰当地进行阴影校正。
[0033](整个构造)
[0034]数字显微镜装置100包括俯瞰图像摄取单元10、放大图像摄取单元(成像单元)
20、相位差图像摄取单元30、平台40、以及控制器50。
[0035]俯瞰图像摄取单元10摄取其上布置生物样本SPL的整个标本PRT的图像(在下文中，图像被称作“俯瞰图像”)。
[0036]放大图像摄取单元20摄取生物样本SPL以预定放大倍率被放大的图像(在下文中，该图像被称作“放大图像”)。
[0037]相位差图像摄取单元30检测在放大图像摄取单元20的物镜23的焦点与标本PRT上的生物样本SPL之间的光轴方向上的位移的量和方位作为离焦量。此外，相位差图像摄取单元30检测聚光透镜22a在光轴方向上的位移量和方位作为离焦量。
[0038]平台40将放置在其上的标本PRT移动至利用俯瞰图像摄取单元10成像的位置以及利用放大图像摄取单元20成像的位置。平台40被配置为能够在放大图像摄取单元20的物镜23的光轴(Z轴方向)上以及与光轴的方向正交的方向(X轴方向和Y轴方向)上由平台传动机构41移动。
[0039]应注意，通过使用预定的固定方法将样本SPL固定至载玻片来得到标本PRT。样本SPL是包括诸如血液、上皮组织、以及包含以上两种组织等的组织的组织切片或者包括涂抹细胞(smear cell)的生物样本。组织切片或者涂抹细胞根据需要受到各种类型的染色。染色的实例不仅包括以HE (苏木精-曙红)染色、吉姆萨染色、巴氏染色、尼氏染色和革兰氏染色为代表的普通染色法还包括诸如FISH (荧光原位杂交)的荧光染色法和酶抗体技术。
[0040]数字显微镜装置100另外配有存储均包含样本SPL的标本PRT并逐一将所存储的标本PRT加载到平台40上的标本库存转载器70。应注意，可以将标本库存转载器70集成至数字显微镜装置100中。
[0041]接着，将描述如上所述的俯瞰图像摄取单元10、放大图像摄取单元20、相位差图像获取单元30的细节。
[0042](俯瞰图像摄取单元10)
[0043]如图1中所示，俯瞰图像摄取单元10包括光源11、物镜12和成像器件13。
[0044]光源11设置在平台40的表面上，该表面位于其上布置标本的表面的相对侧。
[0045]在俯瞰图像摄取单元10中，可单独设置标签光源(未示出)，该标签光源施加用于对附着于标本PRT的标签上描述的附加信息成像的光。
[0046]物镜12被布置在平台40的布置标本PRT的表面的一侧(以下简称标本PRT布置表面)，同时俯瞰图像摄取单元10在标本PRT布置表面上的参考位置的法线为光轴SR。通过放置在平台40上的标本PRT传输的透射光由物镜12收集并将图像形成在设置于物镜12后方(即，在照明光的传播方向)的成像器件13上。
[0047]覆盖成像范围(其中包括放置在平台40的标本PRT布置表面上的整个标本PRT)的光(换言之，穿过整个标本PRT传输的透射光)被聚焦到成像器件13上以便形成图像。形成在成像器件13上的图像是整个标本PRT的显微镜图像的俯瞰图像。
[0048](放大图像摄取单元)
[0049]如图1所示，放大图像摄取单元20包括光源21、聚光透镜(照明光学系统)22a、物镜23、成像器件24以及聚光透镜传动机构25。
[0050]光源21施加照明光。光源21被设置在平台40的标本布置表面的相对侧的表面上。
[0051]聚光透镜22a是收集从光源21施加的照明光来将光引导至平台40上的标本PRT的透镜。聚光透镜22a布置在光源21与平台40之间，同时放大图像摄取单元20在标本PRT布置表面上的参考位置的法线作为光轴ER。
[0052]应注意，尽管图1中未示出，在光源21和聚光透镜22a之间设置收集从光源21发出的照明光的光收集光学系统22c、视野光阑22b等。
[0053]在下文中，上述光收集光学系统22c、视野光阑22b以及聚光透镜22a被称作“照明光学系统”。
[0054]聚光透镜传动机构25通过沿着光轴ER的方向驱动聚光透镜22a来改变聚光透镜22a在光轴ER上的位置。
[0055]物镜23被布置在平台40的标本PRT布置表面侧上，同时放大图像摄取单元20在标本PRT布置表面上的参考位置的法线作为光轴ER。在放大图像摄取单元20中，物镜23被适当地取代，因此能够放大并以不同的放大倍率来摄取生物样本SPL的图像。穿过放置在平台40上的标本PRT传输的透射光由物镜23收集并将图像形成在设置于物镜23后的成像器件24 (即，在照明光的传播方向)上。
[0056]在物镜23和成像器件24之间的光轴ER上设置分束器31。分束器31将已通过物镜23传输的一部分透射光引导至相位差图像摄取单元30。
[0057]在成像器件24上，根据成像器件24的像素大小以及物镜23的放大倍率形成在平台40的标本PRT布置表面上具有预定的水平的和垂直的宽度的成像范围(在下文中，被称作小区域)的图像。应注意，因为通过物镜23放大一部分生物样本SPL，所以上述成像范围比成像器件13的成像范围足够窄。
[0058]应注意,尽管在图1中未不出，在光源21和聚光透镜22a之间设置将光源21应用的照明光的范围限制为平台40上的标本PRT的视野光阑22b (参见图8)。通过使用视野光阑22b的边缘部分作为引导使得聚光透镜22a聚焦。
[0059](相位差图像摄取单元)
[0060]如图1中所示，相位差图像摄取单元30包括分束器31、场透镜32、分离器透镜33以及成像器件34。
[0061]如上所述，在放大图像摄取单元20的物镜23和成像器件24之间的光轴ER上设置分束器31，并且分束器31反射已通过物镜23传输的一部分透射光。换言之，已经通过物镜23传输的光被分光成进行至成像器件24的反射光以及进行至相位差图像摄取单元30中的场透镜32的透射光。
[0062]在由分束器31分光的透射光的传播方向侧上设置场透镜32。场透镜32收集已经通过分束器31分光的透射光并将透射光引导至设置在场透镜32之后的分离器透镜33(在透射光的传播方向侧上)。
[0063]分离器透镜33将由场透镜32引导的光束分成两个光束。分开的光束在设置在分离器透镜33之后的成像器件34的成像面上(在透射光的传播方向侧上)形成一组主题图像。
[0064]在成像器件34上，由已通过分离器透镜33传输的光形成图像。因此，在成像器件34的成像表面上形成一组主体图像。应注意，虽然已由两个分离器透镜33传输的光束被单个的图像传感器34摄取，但是已由两个分离器透镜33传输的光束可能被两个成像器件34摄取。因为从场透镜32发出的在不同方向的光束进入分离器透镜33，所以该组形成的主题图像之间存在相位差。在以下描述中将该组主题图像称为“相位差图像”。
[0065]应注意，在上文的描述中分束器31设置在物镜23与成像器件24之间，但是将光束分支的光束分支单元不限于分束器。可将可移动反射镜等用作分束器。可替换地，可以使用在放大图像摄取单元20的透镜镜筒和相位差图像摄取单元30的透镜镜筒之间转换的机构。
[0066]此外，在上文的描述中，示出包括供场透镜32、分离器透镜33以及成像器件34的构造作为相位差图像摄取单元30中的相位差自动对光(AF)光学系统，但是本公开不限于此类实例。只要类似的功能可以实现，此类相位差AF光学系统可以是另一种光学系统。例如，聚光透镜和双镜头可以代替场透镜和分离器透镜使用。
[0067]此外，设置在俯瞰图像摄取单元10上的成像器件、放大图像摄取单元20以及相位差图像摄取单元30均可以是一维的成像器件或者二维的成像器件。
[0068]此外，在上文的描述中，在物镜23的光轴ER上布置相位差图像摄取单元30，并且在其上反射光容易由分束器31分光的位置处布置放大图像摄取单元20的成像器件24。相反地，可在物镜23的光轴ER上布置放大图像摄取单元20的成像器件24，并且可在其上反射光容易由分束器31分光的位置处布置相位差图像摄取单元30。
[0069][控制器50]
[0070]控制器50包括集成控制器51、照明控制器52、平台控制器53、聚光透镜驱动控制器54、相位差图像摄取控制器55、俯瞰图像摄取控制器56、放大图像摄取控制器57、存储单元58、显影处理单元59以及图像编码单元60。
[0071]集成控制器51由计算机的硬件元件包括，例如，CPU (中央处理器)、ROM (只读存贮器)以及RAM (随机存取存储器)组成。可选地，集成控制器51可以由专用IC诸如FPGA(字段可编程门阵列)组成。集成控制器51与照明控制器52、平台控制器53、聚光透镜驱动控制器54、相位差图像摄取控制器55、俯瞰图像摄取控制器56、放大图像摄取控制器57、存储单元58、显影处理单元59、图像编码单元60以及通信单元61交换各种信号，并且执行各种类型的算术处理以及控制以便获得样本的放大图像。照明控制器52根据样本SPL的照明方法中的指令控制光源11和21。指令是由集成控制器51发出的。例如，照明控制器52根据来自集成控制器51的指令选择光源的类型，诸如光源11和21的照明光的强度、明视场的光源、暗场的光源等。例如，将应用可见光等的光源假定为用于明视场的光源。用于暗视场的光源的实例包括光源以便应用具有可以激发用于特殊染色的荧光标记的波长的光。
[0072]例如，当接收来自集成控制器51的摄取俯瞰图像的指令时，平台控制器53驱动平台传动机构41在平台表面方向(X轴和Y轴方向)上移动平台40，以此方式，使得整个标本PRT落入成像器件13的成像范围。平台控制器53驱动平台传动机构41以便在Z轴方向上移动平台40，以此方式，使得物镜12在整个标本PRT上聚焦。
[0073]此外，当接收来自集成控制器51的摄取放大图像的指令时，平台控制器53驱动平台传动机构41在平台表面方向(X轴和Y轴方向)上移动平台40，以此方式，使得样本SPL的指示的成像范围(小区域)落入成像器件24的成像范围。平台控制器53驱动平台传动机构41在Z轴方向上移动平台40，以此方式，使得物镜23在样本SPL上聚焦。
[0074]聚光透镜驱动控制器54基于有关来自集成控制器51的来自光源21的照明光的视野光阑的离焦量的信息控制聚光透镜传动机构25以使聚光透镜22a聚焦并且调节来自光源21的照明光使其仅应用于样本SPL的观察区域。有关视野光阑的信息包括离焦量和离焦的方位。基于相位差图像摄取单元30生成的一组相位差图像之间的距离获得这些信肩、O
[0075]相位差图像摄取控制器55获得该组相位差图像的信号并且提供该信号至集成控制器51，其中，在提供至相位差图像摄取单元30的成像器件34的成像表面上形成该组相位差图像。基于从相位差图像摄取控制器55获得的该组相位差图像之间的距离，集成控制器51根据加载至集成控制器51的主存储器的程序计算放大图像摄取单元20相对于样本SPL的物镜23的焦点的离焦量和离焦的方位。
[0076]基于这些信息，集成控制器51生成用于平台40的控制信息并且将控制信息提供至平台控制器53。基于来自集成控制器51的控制信息，平台控制器53驱动平台传动机构41在Z轴方向上移动平台40。因此，进行相位差的自动聚焦(AF)，其中，放大图像摄取单元20的物镜23在样本SPL上聚焦。
[0077]基于对应于形成在俯瞰图像摄取单元10的成像器件13的成像表面上的俯瞰图像的信号，俯瞰图像摄取控制器56生成对应于俯瞰图像的数据并且将数据提供至集成控制器51。集成控制器51根据加载至集成控制器51的主存储器的程序进行诸如从由俯瞰图像摄取控制器56获得的俯瞰图像识别存在样本SPL的区域的处理。在下文中，该区域称作“小区域”。
[0078]相位差图像摄取控制器55基于对应于形成在放大图像摄取单元20的成像器件24的成像表面上的每个小区域的观察图像的信号产生对应于每个小区域的观察图像的RAW数据并且将RAW数据提供至集成控制器51。集成控制器51将已从相位差图像摄取控制器55获得的每个小区域的RAW数据提供至显影处理单元59，使得显影处理单元59执行显影过程。集成控制器51连接已由显影过程单元59显影的各个小区域的放大图像的数据以生成用于每个样本SPL的大的图像，并且进行诸如将用于每个样本SPL的生成的大的图像分为预定的分辩率的单元(即平铺)的处理及其他处理。此外，该集成控制器51将每个生成的平铺提供至图像编码单元60并且引起图像编码单元60生成预定压缩编码格式的图像数据和存储单元58以便存储该图像数据。
[0079]存储单元58存储各种类型的设置信息或者程序用于控制数字显微镜装置100、预定的压缩编码格式的平铺组等。
[0080]显影处理单元59使已由放大图像摄取单元20摄取的每个小区域的观察图像的RAW数据显影。
[0081]图像编码单元60为每个预定的图像压缩格式的平铺编码图像数据。这里，例如，采用JPEG (联合图像专家组)作为图像压缩格式。照例，可以采用除JPEG以外的压缩编码格式。
[0082]通过通信单元61，存储在存储单元58中的平铺通过网络62积聚在图像管理服务器63中。响应于来自观看者端64的要求，图像管理服务器63向观看者端64传输一个或多个适当的平铺。观看者端64生成通过使用从图像管理服务器63获得的一个或多个平铺的用于显示的观察图像并且在观看者端64的显示器上显示观察图像。
[0083][放大图像摄取单元的物镜的自动聚焦]
[0084]在根据该实施方式的数字显微镜装置100中，相位差自动聚焦和对比度自动聚焦被实现为放大图像摄取单元20的物镜23的自动聚焦。
[0085]在相位差自动聚焦中，该集成控制器51指示相位差图像摄取控制器55摄取相位差图像。当接收指令时，相位差图像摄取控制器55从相位差图像摄取单元30采用在成像器件34的成像表面上并排地形成一组相位差图像的信号，并且获得这些相位差图像之间的相位差。
[0086]这里，在放大图像摄取单元20中，因为物镜23的焦点比适当的表面远，所以移动两个相位差图像上的观察表面的相同区域，使得朝向成像器件24的向外的方向彼此分离。相反地，因为物镜23的焦点比适当的表面近，所以移动两个相位差图像上的观察表面的相同的区域，使得朝向成像器件24的向内的方向彼此接近。集成控制器51获得两个相位差图像上的观察表面的相同的区域之间的距离作为相位差。
[0087]集成控制器51基于获得的相位差获得相对于用作观察目标的样本SPL的物镜23的焦点的离焦量和离焦的方位。集成控制器51基于获得的离焦量和方位生成用于平台40的控制信息并且将该控制信息提供至平台控制器53。平台控制器53基于来自集成控制器51的控制信息驱动平台传动机构41在Z轴方向上移动平台40。因此，进行相位差的自动聚焦，其中，使放大图像摄取单元20的物镜23在样本SPL上聚焦。
[0088]与此相反，对比度自动聚焦是一种通过利用放大图像摄取单元20在爬山法中搜索焦点的方法。在对比度自动聚焦中，集成控制器51使物镜23的焦点位置位移预定距离并且引起放大图像摄取单元20在样本SPL的成像范围中进行成像。当摄取的图像中具有最高对比度的图像被摄取时，集成控制器51将焦点位置确定为最佳焦点位置。
[0089]随后，将描述根据该实施方式的在数字显微镜装置100的集成控制器51中执行的阴影校正的功能。
[0090]在根据该实施方式的数字显微镜装置100中，希望在标本未放置在平台上的状态下令人满意地进行阴影校正。
[0091]这是因为存在在标本中保存有诸如灰尘的杂质的可能性，以及灰尘在摄取白色图像时与摄取标本PRT的放大图像时之间变化的状态，该状态使阴影校正受到不利的影响。通过在标本未放置在平台上的状态下进行阴影校正，可以令人满意地进行阴影校正，并且不会受到由于诸如灰尘的杂质的影响。然而，在这种情况下，出现照明光学系统聚焦的问题。
[0092]具体地，因为白色图像的亮度分布取决于照明光学系统的聚焦状态，如果在照明光学系统没有恰当地聚焦的状态中摄取白色图像，那么由于标本PRT的不同聚焦，不能恰当地进行阴影校正。
[0093](关于集成控制器51)
[0094]随后，将描述上述集成控制器51的细节。图2是示出了在集成控制器51中用于获得使照明光学系统聚焦的功能构造的方框图。
[0095]如图2中所示，集成控制器51包括白色图像摄取控制器(白色图像获取单元)514、校正系数计算单元(计算单元)515、以及阴影校正单元516。当集成控制器51中的CPU执行加载至RAM的程序时，实现这些功能。
[0096]白色图像摄取控制器514进行控制以便在标本PRT未放置在平台40上的状态下摄取进行阴影校正所必需的白色图像。这里，在标本PRT未放置在平台40上的状态下摄取白色图像表示由放大图像摄取单元20的成像器件24通过开口 40a直接摄取来自光源21的照明光的视野光阑22b的图像，因为标本PRT的开口 40a未被标本PRT覆盖，所以可以直接进行摄取。以这种方法摄取的图像是“白色图像”。
[0097]更具体地，白色图像摄取控制器514指示在标本PRT未放置在平台40上的状态下，相位差图像摄取控制器55摄取相位差图像。相位差图像摄取控制器55引起相位差图像摄取单元30摄取图像。因此，相位差图像摄取单元30获得相对于由聚光透镜22a形成的照明光学系统的视野光阑22b的图像的相位差图像，并且该相位差图像被提供给白色图像摄取控制器514。白色图像摄取控制器514基于相位差图像计算相位差，根据相位差生成离焦信息，并且输出对应于离焦信息的控制信息至聚光透镜驱动控制器54。聚光透镜驱动控制器54基于控制信息驱动聚光透镜传动机构25。因此,物镜23被聚焦在由聚光透镜22a形成的照明光学系统的视野光阑22b的图像上。然后，白色图像摄取控制器514指示照明控制器52开启光源21并且指示放大图像摄取控制器57摄取放大图像。以这种方法，摄取白色图像。
[0098]校正系数计算单元515基于由白色图像摄取控制器514摄取的白色图像计算阴影校正系数。计算白色图像的阴影校正系数的方法与在标本PRT放置在平台40上的状态下摄取的图像的阴影校正系数的方法相同。因为本公开内容不具有计算阴影校正系数的方法的特征，所以省略计算方法的细节。
[0099]阴影校正单元516基于由校正系数计算单元515计算出的阴影校正系数在由放大图像摄取控制器57摄取的样本SPL的放大图像上进行阴影校正。
[0100]应注意，例如，在控制器50的存储单元58中存储由校正系数计算单元515计算出的阴影校正系数。实际上，阴影校正单元516在摄取到样本SPL的放大图像时从存储单元58读取阴影校正系数并且在由该放大图像摄取控制器57摄取的样本SPL的放大图像上进行阴影校正。
[0101]在上文，已经描述集成控制器51的细节。
[0102](关于处理的全部流程)
[0103]随后，将描述根据该实施方式的数字显微镜装置100中的直到用于阴影校正的校正系数的计算的处理流程和从单独的放大图像的摄取至阴影校正的处理流程。图3是用于说明根据该实施方式的数字显微镜装置100中的直到用于阴影校正的校正系数的计算的处理流程和从单独的放大图像的摄取至阴影校正的处理流程的流程图。
[0104]首先，将描述直到获得白色图像的处理流程以便计算阴影校正的校正系数。应注意，较好地以预定的频率或更多进行直到获得白色图像以便计算阴影校正的校正系数的处理。这是因为从白色图像获得的亮度分布由于温度、漫射光的影响等变化。
[0105]如果上述处理在标本库存转载器70取代标本PRT时定时进行，不必从摄取白色图像的平台40去除标本PRT。因此，有效地并且可以提高摄取效率。
[0106]作为第一步骤，平台控制器53移动平台40使得平台40的开口 40a (其上未放置标本PRT)直接位于低于物镜23 (步骤ST1)。
[0107]只要从光源21发出的、通过聚光透镜22a传输、并且入射在物镜23上的光未被标本PRT或者载玻片阻断，开口 40a在成像标本PRT时用于应用成像的光至标本PRT上的样本SPL，这里描述的开口不限于开口 40a。
[0108]因为下一个步骤，白色图像摄取控制器514指示相位差图像摄取控制器55摄取相位差图像。根据该指令，相位差图像摄取控制器55引起相位差图像摄取单元30摄取图像。因此，获得相对于由聚光透镜22a形成的照明光学系统的视野光阑22b的图像的相位差图像。相位差图像摄取控制器55提供相位差图像至白色图像摄取控制器514。白色图像摄取控制器514基于相对于照明光学系统的视野光阑22b的图像的相位差图像计算相位差，根据该相位差生成离焦信息，并且输出对应于该离焦信息的控制信息至聚光透镜驱动控制器54。基于控制信息,聚光透镜驱动控制器54控制聚光透镜传动机构25使得聚光透镜22a在光轴方向上移动。因此，照明光学系统聚焦。换言之，聚光透镜22a使物镜23的焦点与照明光学系统的视野光阑22b的图像的像点排成一行(步骤ST2)。
[0109]虽然这里将相位差AF用作使照明光学系统聚焦的方法，对比度AF可以被用于使照明光学系统聚焦。
[0110]应注意，如上所述，因为在摄取白色图像时，聚光透镜22a和物镜23之间不存在由玻璃形成的具有比空气高的折射率的标本PRT或者载玻片，所以缩短了从光源21发出并且入射在成像器件24上的光的光径。因此，与当标本PRT成像时相比较，包括光源21的照明光学系统需要向物镜23的方向移动预定距离ΛΖ。随后将描述预定距离ΛΖ。
[0111]随后，白色图像摄取控制器514控制照明控制器52开启光源21 (步骤ST3)。
[0112]因为下一个步骤，白色图像摄取控制器514指示放大图像摄取控制器57摄取白色图像(步骤ST4)。
[0113]作为最后的步骤，校正系数计算单元515基于在步骤ST4中获得的白色图像计算用于阴影校正的校正系数(步骤ST5 )。
[0114]一般而言，白色图像的亮度值分布为如图4中所示。图4示出了 X轴方向上的白色图像的信息的亮度分布。红色、绿色以及蓝色的颜色亮度分布彼此分离。每一个像素坐标(X，y)的红色、绿色以及蓝色的颜色的亮度值分别由Wr(x, y)、Wg(x, y)以及Wb(x,y)表
/Jn ο
[0115]这里，当阴影校正之后的目标亮度值被假定为L时，用于红色、绿色以及蓝色的阴影校正系数LR、LG以及LB通过下列计算表达式计算。
[0116]LR (x, y) =L/ffr (x, y)
[0117]LG (x, y) =L/ffg (x, y)
[0118]LB (x, y) =L/ffb (x, y)
[0119]如图5所示，通过使白色图像的每一个像素的红色、绿色以及蓝色的亮度值分别乘以阴影校正系数LR、LG、LB获得目标亮度值L，并且因此可以进行阴影校正。应注意，计算校正系数的方法不限于上述方法，并且可以使用任何方法。
[0120]在上文，已经描述直到计算用于阴影校正的校正系数的处理流程。
[0121]随后，将描述从摄取单独的放大图像至阴影校正的处理流程。在接下来的处理中，使用在步骤ST5中计算出的阴影校正系数LR、LG以及LB。
[0122]作为第一步骤，标本库存转载器70将标本PRT放置在平台40上(步骤ST6)。
[0123]平台控制器53移动平台40使得放置的标本PRT直接位于低于物镜23。
[0124]作为下一个步骤，集成控制器51基于来自相位差图像摄取控制器55的输出指示聚光透镜驱动控制器54使聚光透镜22a聚焦(步骤ST7)。
[0125]通过使聚光透镜22a聚焦于此，可以防止由于聚光透镜22a的离焦引起的亮度的不规则的波动。
[0126]作为下一个步骤，平台控制器53移动平台40以便摄取生物样本SPL的任意位置的放大图像(步骤ST8)。
[0127]作为下一个步骤，照明控制器52开启光源21 (步骤ST9)。
[0128]作为下一个步骤，放大图像摄取控制器57在标本PRT上摄取生物样本SPL的放大图像(步骤STlO)。
[0129]图6中示出X轴方向上的摄取的放大图像的亮度分布的实例。当在成像器件24的成像表面上拍摄生物样本SPL的图像时，在对应于图像的像素位置接收的光的量减少。因此，获得图6中示出的亮度分布。
[0130]应注意，在图6中示出的亮度分布中，由于生物样本SPL的拍摄的图像以及图像的外围部分的亮度值减小的影响，在X轴方向上的亮度分布曲线的中心部分的亮度值减小。这是由于图4中示出的白色图像的亮度分布中的图像的外围部分的亮度值的减少。
[0131]作为最后步骤，阴影校正单元516在步骤STlO中获得的放大图像上进行阴影校正(步骤 STlI)。
[0132]通过使放大图像中的每一个像素的红色、绿色及蓝色的亮度值分别与阴影校正系数LR、LG及LB相乘进行阴影校正。图7是示出通过在图6中示出的亮度分布上进行阴影校正获得的结果。如图7所示，生物样本SPL未被拍摄的图像的外围部分的亮度值被校正，并且因此获得目标亮度值L。向显影处理单元59输出已经进行阴影校正的放大图像。
[0133]在上文，已经描述从摄取单独的放大图像至阴影校正的处理流程。(关于光源21的光量的调节)
[0134]随后，将描述当摄取白色图像而未在平台40上放置标本PRT时光源21的光量的调节。
[0135]在光被应用于来自光源21的标本PRT组成的普通的载玻片的情况下，大约4%的光被反射在载玻片的前后表面上。因此，在未进行光源21的光量的调节的情况下，当摄取白色图像而未在平台40上放置标本PRT时，与标本PRT放置在平台40上的情形相比较，强光入射在成像器件24上。
[0136]作为防范措施，在本公开内容中，当摄取白色图像而未在平台40上放置标本PRT时，光源21的光量减少约92%。应注意，可以通过减少光源21或者开口(未示出)的光量来减小光。
[0137]由于光减少，无论在平台40上是否存在标本PRT，可以得到白色图像和放大图像(两者具有差不多相同的信号强度)。
[0138]在上文，已经描述当摄取白色图像而未在平台40上放置标本PRT时光源21的光量的调节。
[0139](关于当摄取白色图像时聚光透镜22a和平台40的位置的调节)
[0140]将描述上述的当在平台40上未放置标本PRT的状态下摄取白色图像时，照明光学系统和光源21向物镜23的方向移动距离ΛΖ。
[0141]与放置具有折射率η和厚度d的标本PRT的情形相比较，在包括聚光透镜22a的传输照明光学系统是在物镜23的侧面的远心镜头的情况下，例如，当聚光透镜22a(没有标本PRT)聚焦时，聚光透镜22a和光源21必须向物镜23移动d(n_l)/n (距离Λ Z的具体值)。公式的理由是基于日本专利申请公开N0.2012-008450。
[0142]一般而言，在显微镜中难以确保物镜23和平台40之间和平台40和聚光透镜22a之间的足够距离。
[0143]因此，当照明光学系统和光源21向物镜23的侧面移动距离ΛΖ时，希望平台40也向物镜23的侧面移动距离Λ Z以便确保预定距离或更多，使得聚光透镜22a不会碰撞平台40。
[0144]图8是示出与摄取放大图像(具有标本PRT，图8的右侦彳)相比较，当摄取白色图像(没有标本PRT，图8的左侧)时，聚光透镜22a、光收集光学系统22c、视野光阑22b、光源21以及Z方向的平台40的位置向物镜23的侧面移动距离Λ Z的示图。
[0145]如上所述，当摄取白色图像时，无论标本PRT是否存在，通过将平台40向物镜23的侧面移动距离Λ Z可以确保聚光透镜22a和平台40之间的距离。
[0146]应注意，虽然当摄取白色图像时在物镜23上使平台40闭合距离ΛΖ，因为没有标本PRT而生成空间，所以便于确保平台40和物镜23之间的距离。
[0147]在上文，已经描述当在平台40上未放置标本PRT的状态下摄取白色图像时，照明光学系统和光源21向物镜23的方向移动距离ΔΖ。
[0148](关于本公开内容获得的效果)
[0149]本公开内容不仅可以提供上述效果而且可以提供以下效果。
[0150](I)在本公开内容中，在平台40上未放置标本PRT的状态下摄取用于阴影校正的白色图像。因此，在如该实施方式中的数字显微镜装置100包括存储多个标本PRT的标本库存转载器70的情况下，可以在替换标本PRT期间的任意时间生成用于阴影校正的校正系数。通过同时进行替换标本PRT和计算校正系数，可以提高获得病理载片的图像的生产量。
[0151](2)在本公开内容中，当摄取用于阴影校正的白色图像时和当摄取在标本PRT上的生物样本SPL的放大图像时聚光透镜22a定时聚焦。因此，可以生成用于阴影校正的校正系数，从中去除亮度分布的位移由于聚光透镜22a的离焦的影响。
[0152](附带声明)
[0153]照例，本公开内容不限于上述实施方式，并且在不偏离本公开内容要旨的情况下可以进行各种修改。
[0154](本公开内容的另一种构造)
[0155]应注意，本公开也可以采用以下构造。
[0156](I) 一种数字显微镜装置，包括:
[0157]照明光学系统，被配置为发出照明光；
[0158]平台，具有能够通过其传输照明光的开口，在该平台上，允许根据开口的位置放置标本；
[0159]包括物镜的放大成像单元，即被配置为放大图像并且被布置为使得利用布置在其间的平台面对照明光学系统，和成像器件，被配置为摄取由物镜放大的图像；
[0160]白色图像获取单元，被配置为
[0161]打开平台的开口，
[0162]弓丨起照明光学系统在照明光学系统的像点与放大成像单元的物镜的焦点排成一行的状态下发出照明光，以及
[0163]作为白色图像获得形成在放大成像单元的成像器件的成像表面上的图像；以及
[0164]计算单元，被配置为使用摄取的白色图像计算阴影校正系数。
[0165](2)根据上述(I)的数字显微镜装置，进一步包括:
[0166]离焦检测单元，被配置为检测有关放大成像单元的离焦的信息；以及
[0167]调节单元，被配置为在光轴方向上调节照明光学系统的位置，其中
[0168]白色图像获取单元使调节单元操作以便基于离焦信息在放大成像单元的成像器件的成像表面上形成照明光的视野光阑的图像。
[0169](3)根据上述(2)所述的数字显微镜装置，其中，
[0170]调节单元通过在平台上放置标本的状态下将照明光学系统的位置移动至与平台的侧面具有预定距离进行调节。
[0171]( 4 )根据上述(3 )所述的数字显微镜装置，其中
[0172]当移动照明光学系统时，白色图像获取单元在平台上放置预定距离的标本的状态下在与照明光学系统的移动方向相同的方向上移动平台的位置。
[0173]( 5 )根据上述(2 )或者(3 )所述的数字显微镜装置，其中
[0174]预定距离满足d(n_l)/n给出的关系，其中，d表示标本的厚度和η表示标本的折射率。
[0175](6)根据上述(I)至(5)的任一项所述的数字显微镜装置，其中，
[0176]白色图像获取单元在标本被放置在平台上的状态下在摄取放大图像时将照明光的强度设置为第一强度，并且当在摄取白色图像时将照明光的强度设置为第二强度，第二强度低于第一强度。
[0177](7) 一种信息处理方法，包括:
[0178]通过白色图像获取单元引起，
[0179]调节单元，被配置为调节照明光的焦点位置以便操作，使得在具有能够通过其传输照明光的开口的平台上未放置标本的状态下在放大成像单元的成像器件的成像表面上形成照明光的视野光阑的图像，以及
[0180]放大成像单元摄取形成在成像器件的成像表面上的视野光阑的图像作为白色图像；以及
[0181]计算单元使用摄取的白色图像计算阴影校正系数。
[0182](8) 一种使计算机用作以下项的信息处理程序:
[0183]白色图像获取单元，被配置为使
[0184]调节单元被配置为调节照明光的焦点位置以便操作，使得在具有能够从中传输照明光的开口的平台上未放置标本的状态下在放大成像单元的成像器件的成像表面上形成照明光的视野光阑的图像，以及
[0185]放大成像单元摄取形成在成像器件的成像表面上的视野光阑的图像作为白色图像；以及
[0186]计算单元，被配置为使用摄取的白色图像计算阴影校正系数。
[0187]本领域的技术人员应理解的是，只要在所附权利要求书或其等同物的范围内，根据设计要求和其他因素，可进行各种修改、组合、次组合以及变更。
【权利要求】
1.一种数字显微镜装置，包括: 照明光学系统，被配置为发出照明光； 平台，具有能够从中传输所述照明光的开口，在所述平台上，允许根据所述开口的位置放置标本； 放大成像单元，包括物镜和成像器件，所述物镜被配置为放大图像并且被布置为面对所述照明光学系统，同时所述平台被布置在所述放大成像单元与所述照明光学系统之间，所述成像器件被配置为摄取由所述物镜放大的图像； 白色图像获取单元，被配置为 打开所述平台的所述开口， 使所述照明光学系统在所述照明光学系统的像点与所述放大成像单元的所述物镜的焦点对准的状态下发出所述照明光，以及 获取形成在所述放大成像单元的所述成像器件的成像表面上的图像作为白色图像；以及 计算单元，被配置为使用摄取的所述白色图像计算阴影校正系数。
2.根据权利要求1所述的数字显微镜装置，还包括: 离焦检测单元，被配置为检测有关所述放大成像单元的离焦的信息；以及调节单元，被配置为在光轴方向上调节所述照明光学系统的位置，其中所述白色图像获取单元基于所述离焦的信息使所述调节单元操作，以便在所述放大成像单元的所述成像器件的所述成像表面上形成所述照明光的视野光阑的图像。
3.根据权利要求2所述的数字显微镜装置，其中 所述调节单元通过将所述照明光学系统在所述平台上放置有所述标本的状态下的位置移动预定距离至所述平台的一侧来执行所述调节。
4.根据权利要求3所述的数字显微镜装置，其中 当移动所述照明光学系统时，所述白色图像获取单元将所述平台在所述标本放置在所述平台上的状态下的位置在与所述照明光学系统的移动方向相同的方向上移动所述预定距离。
5.根据权利要求4所述的数字显微镜装置，其中 所述预定距离满足d(n-l)/n给出的关系，其中，d表示所述标本的厚度和η表示所述标本的折射率。
6.根据权利要求1所述的数字显微镜装置，其中 所述白色图像获取单元当在所述标本被放置在所述平台上的状态下摄取所述放大图像时将所述照明光的强度设置为第一强度，并且当在摄取所述白色图像时将所述照明光的所述强度设置为第二强度，所述第二强度低于所述第一强度。
7.根据权利要求1所述的数字显微镜装置，其中，所述数字显微镜装置还配备有存储均包含样本的所述标本并逐一将所存储的标本加载到所述平台的标本库存转载器。
8.—种信息处理方法,包括: 由白色图像获取单元使得 调节单元被配置为调节所述照明光的焦点位置以便操作，使得在具有能够通过其传输所述照明光的开口的平台上未放置标本的状态下在放大成像单元的成像器件的成像表面上形成所述照明光的视野光阑的图像，以及 所述放大成像单元摄取形成在所述成像器件的所述成像表面上的所述视野光阑的图像作为白色图像；以及 计算单元使用所述摄取的白色图像计算阴影校正系数。
9.一种信息处理程序，使计算机用作以下项: 白色图像获取单元，被配置为使 调节单元被配置为调节照明光的焦点位置进行操作，以便在具有能够从中传输所述照明光的开口的平台上未放置标本的状态下在放大成像单元的成像器件的成像表面上形成所述照明光的视野光阑的图像，以及 所述放大成像单元摄取形成在所述成像器件的所述成像表面上的所述视野光阑的所述图像作为白色图像；以及 计算单元，被配置为使用所述摄取的白色图像计算阴影校正系数。
【文档编号】G02B21/36GK104049352SQ201410084243
【公开日】2014年9月17日 申请日期:2014年3月7日 优先权日:2013年3月14日
【发明者】田部典宏, 成泽龙, 林信裕, 山腰隆道, 山本隆司 申请人:索尼公司