信息处理装置、成像控制方法、程序、数字显微镜系统、显示控制装置、显示控制方法和程序的制作方法
【专利摘要】用于允许利用较少的精力和时间对图像进行重新成像。提供了一种信息处理装置，该信息处理装置包括：检测单元，该检测单元通过评估使用数字显微镜所捕获的图像以检测需要与图像相关的重新成像的失败；以及生成单元，用于当通过检测单元检测到失败时生成用于设置在重新成像时的成像条件的设置信息。
【专利说明】信息处理装置、成像控制方法、程序、数字显微镜系统、显示控制装置、显示控制方法和程序
【技术领域】
[0001]本公开涉及信息处理装置、成像控制方法、程序、数字显微镜系统、显示控制装置、显示控制方法和程序。
【背景技术】
[0002]过去，已经使用了利用显微镜来捕获样本的数字图像的数字显微镜系统。例如，在病理诊断领域，通过利用数字显微镜系统来捕获生物样本的数字图像，可以在任何地方执行基于生物样本的病理诊断，而不用长期的保留关于生物样本的信息或者运送生物样本本身。专利文献I公开了一种用于通过捕获生物样本的局部图像并且组合这些局部图像来生成高分辨率的合成图像数据的技术。
[0003]引用列表
[0004]专利文献
[0005]专利文献I JP2OlO-23CM95A
【发明内容】
[0006]技术问题
[0007]如在专利文献I中所示，在一般的数字显微镜系统中，从利用显微镜所捕获的多个局部图像生成一个样本图像。在从图像捕获到生成的过程中，经常发生失败。例如，当连续地自动捕获多个样本时，样本的所有图像捕获都成功是很罕见的。尽管如此，在与数字显微镜系统相关的先前技术中，例如，当已经获得了将会在将样本图像用于病理诊断等时引起问题的图像时，即，当存在需要重新成像的失败时，从发现该失败到重新成像要花费大量的时间和精力。例如，该失败可能仅能通过在屏幕上确认图像才能发现。因此，对将要重新成像的样本进行搜索，重新插入该样本，重新设置成像条件以避免另一个失败，并且执行重新成像。因此，重新成像花费大量的时间和精力。
[0008]因此，期望提供一种能够更快速且更省力地执行重新成像的方法。
[0009]问题的解决方案
[0010]根据本公开，提供了一种信息处理装置，该信息处理装置包括:检测单元，被配置为通过评估使用数字显微镜所捕获的图像来检测需要与图像相关的重新成像的失败；以及生成单元，被配置为如果通过检测单元检测到失败，则生成用于设置在重新成像时的成像条件的设置信息。
[0011]根据本公开的另一个实施方式，提供了一种成像控制方法，包括:通过评估使用数字显微镜捕获的图像来检测需要与图像相关的重新成像的失败；以及如果通过检测单元检测到失败，则生成用于设置在重新成像时的成像条件的设置信息。
[0012]根据本公开的另一个实施方式，提供了一种程序，其使得计算机起到以下功能:检测单元，被配置为通过评估使用数字显微镜捕获的图像来检测需要与图像相关联的重新成像的失败；以及生成单元，被配置为如果检测单元检测到失败，则生成用于设置在重新成像时的成像条件的设置信息。
[0013]根据本公开的另一个实施方式，提供了一种数字显微镜系统，包括数字显微镜和信息处理装置，信息处理装置包括检测单元，被配置为通过评估使用数字显微镜捕获的图像来检测需要与图像相关的重新成像的失败；以及生成单元，被配置为如果通过检测单元检测到失败，则生成用于设置在重新成像时的成像条件的设置信息。
[0014]根据本公开的另一个实施方式，提供了一种显示控制装置，包括:获取单元，被配置为获取当通过评估使用数字显微镜捕获的图像来检测到需要与图像相关的重新成像的失败时生成的、用于设置重新成像时的成像条件的设置信息；以及显示控制单元，被配置为将通过获取单元获取的设置信息显示在显示面上。
[0015]发明的有益效果
[0016]根据本公开的信息处理装置、成像控制方法、程序、数字显微镜系统、显示控制装置、显示控制方法和程序可以更快速且更省力地执行重新成像。
【专利附图】
【附图说明】
[0017][图1]是示出了根据本公开实施方式的数字显微镜系统的示意性配置的实例的说明图。
[0018][图2]是示出了根据第一实施方式的扫描仪的配置的实例的框图。
[0019][图3]是通过数字显微镜成像的实例的说明图。
[0020][图4]是示出了组合图像的实例的说明图。
[0021][图5A]是示出了成像遗漏的实例的说明图。
[0022][图5B]是示出了成像遗漏的检测的实例的说明图。
[0023][图6]是示出了在组合失败时在合成图像中出现边缘的实例的说明图。
[0024][图7]是示出了根据第一实施方式的服务器的配置的实例的框图。
[0025][图8]是示出了根据第一实施方式的观测仪(viewer)的配置的实例的框图。
[0026][图9]是示出了根据第一实施方式的成像控制处理的示意性流程的实例的流程图。
[0027][图10]是示出了与成像遗漏有关的单个图像评估处理的流程的实例的流程图。
[0028][图11]是示出了与组合失败有关的单个图像评估处理的流程的实例的流程图。
[0029][图12]是示出了根据第二实施方式的扫描仪的配置的实例的框图。
[0030][图13]是示出了根据第二实施方式的服务器的配置的实例的框图。
[0031][图14]是示出了根据第二实施方式的在服务器侧的成像控制处理的示意性流程的实例的流程图。
[0032][图15]是示出了与成像遗漏有关的合成图像评估处理的流程的实例的流程图。
[0033][图16]是示出了与组合失败有关的合成图像评估处理的流程的实例的流程图。
[0034][图17]是示出了根据第二实施方式的在扫描仪侧的成像控制处理的示意性流程的实例的流程图。
【具体实施方式】
[0035]在下文中，将参照附图详细描述本发明的优选实施方式。应注意的是，在该说明书和附图中，使用相同的参考标号表示基本上具有相同功能和结构的元件，并且省略了重复描述。
[0036]应注意的是，将按以下顺序进行描述。
[0037]1.数字显微镜系统的示意性的配置
[0038]2.第一实施方式
[0039]2.1扫描仪的配置
[0040]2.2服务器的配置
[0041]2.3观测仪的配置
[0042]2.4处理的流程
[0043]3.第二实施方式
[0044]3.1扫描仪的配置
[0045]3.2服务器的配置
[0046]3.3处理的流程
[0047]4.总结
[0048]〈1.数字显微镜系统的示意性配置>
[0049]首先，将参照图1描述根据本公开实施方式的数字显微镜系统I的示意性配置。图1是示出了根据本公开实施方式的数字显微镜系统的示意性配置的实例的说明图。如在图1中所示，数字显微镜系统I包括扫描仪100、服务器200以及观测仪300。
[0050]扫描仪100是具有数字显微镜或者被连接至数字显微镜的信息处理装置。扫描仪100使用数字显微镜捕获样本的图像。例如，将于其上固定了样本的预制玻片(slide)插入数字显微镜中。当将预制玻片插入数字显微镜中时，扫描仪100确定成像条件并将所确定的成像条件设置在数字显微镜中。此外，扫描仪100使用数字显微镜捕获预制玻片上的样本的图像。更具体地，扫描仪100确定样本的成像区域作为成像条件，并且在数字显微镜中设置所确定的成像区域。然后，扫描仪100将成像区域分成多个单个区域，确定这些多个单个区域的成像顺序，并且将所确定的成像顺序设置在数字显微镜中。接下来，扫描仪100使数字显微镜在每个单独的区域捕获样本的图像。然后，扫描仪100通过组合作为局部图像的多个捕获到的单独区域的图像来生成合成图像。因此，通过扫描仪100生成了一个样本图像，即，合成图像。
[0051]服务器200是管理由扫描仪100生成的样本图像的信息处理装置。例如，服务器200将通过扫描仪100生成的合成图像与关于样本的标识信息相关联并存储在数据库中。
[0052]观测仪300是显示控制装置的实例。例如，观测仪300在显示面上显示由扫描仪100生成的或者由服务器200存储的样本的合成图像。此外，例如，观测仪300提供了用于能够基于用户操作来指定扫描仪100的成像条件的用户界面。即，用户可以经由在观测仪300上进行的操作来指定扫描仪100的成像条件。
[0053]在根据本公开的实施方式中，可以使用较少的时间和精力在数字显微镜系统I中执行重新成像。现在将在下文描述〈2.第一实施方式〉和〈3.第二实施方式〉的特定主题。
[0054]<2.第一实施方式>
[0055]首先，将描述根据本公开的第一实施方式。根据本公开的第一实施方式，通过扫描仪100自动地检测到需要重新成像的失败，并且基于该失败来执行重新成像。
[0056]<2.1扫描仪的配置>
[0057]现在将参照图2至图6描述根据第一实施方式的扫描仪100-1的配置的实例。图2是示出了根据第一实施方式的扫描仪100-1的配置的实例的框图。如在图2中所示，扫描仪100-1包括成像控制单元110、数字显微镜120、组合单元130、失败检测单元140、设置信息生成单元150和通信单元160。
[0058](成像控制单元110)
[0059]成像控制单元110控制使用数字显微镜120的成像。例如，成像控制单元110在数字显微镜120中设置用户指定的或者其自动确定的成像条件，并且使得数字显微镜120基于这些成像条件来捕获样本的图像。例如，成像控制单元110将成像区域、成像顺序、照明亮度、白平衡系数等作为整个样本的成像条件。进一步地，例如，成像控制单元110将焦点位置设置作为用于每个单独区域的成像条件。
[0060]此外，当设置信息生成单元150已经生成了用于设置重新成像时的成像条件的设置信息时，成像控制单元110将数字显微镜120中的上述成像条件中的至少一些进行重新设置。然后，成像控制单元110使数字显微镜120基于重新设置的成像条件重新捕获样本的图像。
[0061]成像控制条件110将关于设置或重新设置的成像条件的信息(下文中，称之为“成像条件信息”)输出至通信单元160。
[0062](数字显微镜120)
[0063]数字显微镜120基于通过成像控制单元110所设置的成像条件来捕获图像。例如，数字显微镜120捕获示出了在所设置的成像区域中的每个单个区域的图像(在下文中，称之为“单个图像”)。下面将参照图3更详细地描述这一点。
[0064]图3是示出了通过数字显微镜120的成像的实例的说明图。如在图3中所示，为了捕获生物样本10的图像，设置了包括整个生物样本10的成像区域20。该成像区域20被分成多个单个区域21。可以以任意顺序设置单个区域21的成像顺序，例如，以从生物样本10的中心朝外侧的螺旋形顺序、或者以从顶部到底部或者从底部到顶部通过每列交替移动的Z字形的顺序。基于由此设置的成像顺序，数字显微镜120捕获示出了每个单个区域21的单个图像。这里，数字显微镜120捕获包括单个区域21的扩展区域23作为单个图像，使得可以顺序地组合相邻的单个图像。
[0065]数字显微镜120将所捕获的单个图像输出至组合单元130和失败检测单元140。
[0066]应注意的是，例如，数字显微镜120包括光学系统、图像传感器、图像处理电路以及驱动电路。例如，光学系统可以包括物镜。例如，图像传感器可以是CM0S(互补金属氧化物半导体)图像传感器或CCD(电荷耦合器件)图像传感器。图像处理电路执行诸如去马赛克处理和白平衡校正的显影处理。驱动电路基于所设置的成像区域和成像顺序在每次捕获单个图像时移动物镜和样本的相对的位置。
[0067](组合单元130)
[0068]组合单元130通过组合由数字显微镜120捕获的单个图像来生成合成图像。下面将参照图4更详细地描述这一点。
[0069]图4是示出了组合图像的实例的说明图。图4示出了在相邻的单个区域21捕获的单个图像30a和30b。如已经参照图3所描述的，单个图像30是包括单个区域21的区域23的图像。因此，单个图像30具有与单个区域21相对应的部分31以及其中图像重叠的部分33 (在下文中，称之为“重叠部分”)。组合单元130通过将重叠部分33b适当地叠加在重叠部分33a上来组合单个图像30a和单个图像30b。这里，组合单元130利用重叠部分33a的亮度值和重叠部分33b的亮度值来将重叠部分33b叠加在重叠部分33a上。作为实例，例如，组合单元130将重叠部分33b叠加在重叠部分33a上，计算重叠部分33a的每个像素与相对应的重叠部分33b的像素之间的亮度值的差，并且将多个像素之间的这些差的绝对值相加。组合单元130在改变重叠部分33b的位置的同时，计算每个位置的亮度值的差的绝对值的这种总值。此外，在组合时，组合单元130确定其中计算的最小的总值的重叠位置33b的位置作为重叠位置33b的最佳位置。组合单元130以此方式顺序组合相邻的单个区域的单个图像以最终生成整个样本的一个合成图像。
[0070]组合单元130将生成的合成图像输出至通信单元160。此外，组合单元130将关于组合相应的单个图像的上述最小的总值输出至失败检测单元140。应注意的是，组合单元130还可以将生成的合成图像输出至失败检测单元140。
[0071](失败检测单元140)
[0072]失败检测单元140通过评估使用数字显微镜120捕获的图像检测需要与该图像有关的重新成像的失败。“评估图像”的表述包括评估单个图像中的每一个以及评估由单个图像形成的合成图像。下面将利用特定失败检测的第一实例至第五实例来描述由失败检测单元140进行的失败检测。应注意的是，在失败检测的第一实例和第二实例中，失败检测单元140检测与通过组合多个单个图像生成的合成图像有关的失败作为上述失败。
[0073]在第一实例中，失败检测单元140检测应当被包括在合成图像中的区域的成像遗漏作为与合成图像有关的失败。将参照图5A和图5B更详细地描述这一点。
[0074]图5A是示出了成像遗漏的实例的说明图。与图3A类似，图5A示出了生物样本10、成像区域20、多个单个区域21以及作为单个图像的成像区域并且包括单个区域21的区域23。这里，虽然成像区域20包括生物样本10的整个深色部分11，但成像区域20不包括生物样本10的浅色部分13。即，即使其是应当被包括在合成图像中的区域，但样本10的一部分没有被捕获。例如，当通过使用整个生物样本的图像检测生物样本的边缘来确定成像区域时，浅色部分13因此会从成像区域遗漏。因此，如果存在成像遗漏，则将变得难以(例如，在病理诊断中)正确地利用样本。
[0075]因此，例如，失败检测单元140通过评估其中在图像中的纹理存在的方向来检测应当被包括在合成图像中的区域的成像遗漏。更具体地，例如，失败检测单元140评估其中被定位在成像区域20的周缘部分的区域的单个图像中(即，在形成合成图像的周缘部分的单个图像中)的纹理存在的方向。将参照图5B更详细地描述这一点。
[0076]图5B是示出了成像遗漏的检测的实例的说明图。图5B示出了形成合成图像的周缘部分35的单一的单个图像30。因为单个图像30是包括单个区域21的区域23的图像，故单个图像30包括从合成图像突出的突出部分37。换句话说，该突出部分37示出了位于成像区域20的外侧的区域。因此，如果在单个图像30的突出部分37中存在某些类型的纹理，则可以说，在从成像区域20遗漏的突出部分37的方向上存在也应被捕获的样本。因此，失败检测单元140可以通过确定在单个图像30的突出部分37中是否存在纹理作为对其中纹理存在的方向的评估来确定是否存在成像遗漏。应注意的是，失败检测单元140例如可以通过使用边缘检测滤波器检测突出部分37中的边缘、计算检测到的边缘量以及确定该边缘量是否超过预定阈值来检测突出部分37中是否存在纹理。
[0077]此外，失败检测单元140可以使用合成图像而不是单个图像来检测成像遗漏。在该情况下，失败检测单元140通过评估其中在被包括在合成图像中的单个图像中纹理存在的方向来检测上述成像遗漏。例如，因为单个图像30的突出部分37没有被包括在合成图像中，故失败检测单元140确定在周缘部分35而不是单个图像30的突出部分37中是否存在纹理。如果在周缘部分35中存在某些类型的纹理，则可以假设在与周缘部分35相对应的方向上，在成像区域20的外侧有很大的可能性存在应当被捕获的样本。因此，失败检测单元140可以通过确定在周缘部分35中是否存在纹理作为对纹理存在的方向的评估，来检测是否存在成像遗漏。应注意的是，例如，失败检测单元140可以确定周缘部分35的边缘方向或者与此组合，而不是确定在周缘部分35中是否存在纹理。即，因为可以假设如果在合成图像的外部方向上存在边缘(在图5B中，在垂直方向上的边缘)，边缘还在突出部分37中延伸，则可以假设在与周缘部分35相对应的方向上，在成像区域的外侧有很大的可能性也存在应当被捕获的样本。
[0078]因此，失败检测单元140例如通过评估在单个图像中纹理存在的方向来检测应当被包括在合成图像中的区域的成像遗漏。
[0079]在第二实例中，失败检测单元140检测在生成上述合成图像时的组合失败作为与合成图像有关的失败。如参照图4所描述的，虽然通过组合所捕获的单个图像来生成合成图像，但是存在其中没有适当地组合单个图像的情况。因此，在整个合成图像中或者在合成图像的一部分中可能会发生不自然的移位，这会阻碍正确地确认样本。
[0080]因此，作为实例，失败检测单元140通过评估生成合成图像时重叠部分的亮度值来检测上述组合失败。如已经参照图4所描述的，当组合单个图像30a和单个图像30b时，组合单元130计算重叠部分33a中的每一个像素与重叠部分33b相对应的像素之间的亮度值的差，并且将多个像素之间的这些差的绝对值相加。此外，在组合期间，组合单元130确定其中将计算的最小的总值的重叠位置33b的位置作为重叠位置33b的最佳位置。因此，可以说上述最小总值是最终指示组合的适宜水平的值。即，如果最小总值小，则可以说组合是成功的，而如果最小总值很大，则可以说组合是失败的。因此，失败检测单元140可以通过确定最小总值是否超过了预定阈值来检测组合失败。应注意的是，失败检测单元140从组合单元130获取最小总值。
[0081]此外，作为另一个实例，失败检测单元140还可以通过评估出现在合成图像中的预定方向上的边缘来检测上述组合失败。以下将参照图6更详细地描述这一点。
[0082]图6是示出了在组合失败时出现在合成图像中的边缘的实例的说明图。在图6中，示出了合成图像40。如果当生成合成图像40时，在组合时发生了失败，则因为单个图像在组合边界上相互偏移，故在组合边界处出现边缘。例如，出现了水平方向上的边缘41a和垂直方向上的边缘41b。因此，例如，失败检测单元140检测合成图像中出现在预定方向(例如，水平方向和垂直方向)上的边缘，并且评估所检测的边缘的长度或强度。例如，如果所检测到的边缘的长度大于单个区域21的一侧长度的预定比，则可以假设该边缘是作为组合失败的结果而产生的边缘。此外，如果所检测到的边缘的强度大于可以预计的样本的特殊边缘的强度，则也可以假设该边缘是因为组合失败而产生的边缘。在该情况下，失败检测单元140检测到上述组合失败。
[0083]因此，例如，失败检测单元140通过评估重叠部分或在合成图像中的预定方向上出现的边缘的亮度值来检测组合失败。
[0084]在第三实例中，失败检测单元140检测焦点位置中的的缺陷作为需要与单个图像或合成图像有关的重新成像的失败。当数字显微镜120捕获单个图像时，成像控制单元110设置数字显微镜120中的焦点位置。然而，如果焦点位置的设置是不正确的，则会捕获到模糊的图像。因此，会难以正确地确认样本。
[0085]因此，作为实例，失败检测单元140通过评估单个图像的对比度来检测焦点位置中的缺陷。模糊的图像具有较低的对比度。因此，失败检测单元140可以通过计算单个图像的对比度、并且确定所计算的对比度是否超过预定阈值来检测焦点位置的缺陷。应注意的是，可以使用任意方法作为对比度计算方法。作为实例，失败检测单元140计算每四个相邻像素之间的亮度值的差，并且将这些差的绝对值相加。另外，失败检测单元140还可以将计算的整个单个图像的每个像素的总值相加。例如，因此计算出的总值可以被用作单个图像的对比度。这样，失败检测单元140检测焦点位置中的缺陷。
[0086]在第四实例中，失败检测单元140检测白平衡上的缺陷作为需要与单个图像或合成图像有关的重新成像的失败。虽然在单个图像的显影处理期间在数字显微镜120中执行白平衡校正，但是错误的白平衡会导致待显影的单个图像的颜色是不同于实际样本的颜色。因此，这会使得难以正确地确认样本的颜色。
[0087]因此，作为实例，数字显微镜120捕获其中不存在样本的区域的图像(即，没有示出任何东西)。然后，失败检测单元140将关于图像的颜色信息与提前准备作为模板的颜色信息相比较。如果它们之间的差大于预定阈值，则失败检测单元140检测到白平衡上的缺陷。以这种方式，失败检测单元140检测到白平衡上的缺陷。
[0088]在第五实例中，失败检测单元140检测亮度上的缺陷作为需要与单个图像或和合成图像有关的重新成像的失败。虽然在数字显微镜120中的成像期间调节了照明亮度，但是错误的亮度会导致单个图像太亮或太暗而不能被捕获。因此，这会使得难以正确地确认样本。
[0089]因此，作为实例，与白平衡上的缺陷类似，数字显微镜120捕获了其中不存在样本的区域的图像(即，没有示出任何东西)。然后，失败检测单元140将关于图像的亮度信息与提前准备作为模板的亮度信息相比较。如果它们之间的差大于预定阈值，则失败检测单元140检测亮度中的缺陷。这样，失败检测单元140检测到亮度上的缺陷。
[0090]上面，利用特定的失败检测的第一实例至第五实例描述了通过失败检测单元140进行的失败检测。基于这种失败检测，在没有让用户确认屏幕上的图像的情况下可以自动检测需要重新成像的失败。
[0091]在第一实施方式中，每当捕获多个单个图像中的每一个时，失败检测单元140评估每个图像以检测需要重新成像的失败。基于这种评估，可以在捕获单个图像的点上检测失败，其能够在检测到失败之后立即执行重新成像。即，为了执行重新成像，没有必要将样本重新插入数字显微镜120或者改变不需要重新设置的项目的设置。因此，在该情况下，执行重新成像所需的工作是非常有限的，并且充分地减少了重新成像花费的时间。
[0092]失败检测单元140将与检测到的失败有关的信息输出至设置信息生成单元150。
[0093](设置信息生成单元150)
[0094]当通过失败检测单元140检测到失败时，设置信息生成单元150生成用于设置重新成像时的成像条件的设置信息。下面将利用失败检测的上述第一实例至第五实例来描述通过设置信息生成单元150进行的设置信息的生成。
[0095]首先，将描述检测到成像遗漏时的设置信息的生成。当通过失败检测单元140检测到上述成像遗漏时，例如，设置信息生成单元150生成用于重新设置成像区域以包括将被新捕获的追加区域的成像区域信息的成像区域。该成像区域信息是一条设置信息。更具体地，例如参照图5A和图5B所描述的，当评估其中在单个图像中存在纹理的方向时，失败检测单元140知道单个区域21 (或者单个图像30)和成像遗漏所在的方向(例如，左、右、上、下)。因此，设置信息生成单元150从失败检测单元140获取单个区域21坐标和成像遗漏方向的组合作为与该成像遗漏有关的信息，并且生成包括该组合的信息作为区域信息。基于这种成像区域信息，成像控制单元110可以重新设置成像区域以包括成像遗漏区域。因此，在重新成像时可以避免相同的成像遗漏。
[0096]应注意的是，成像区域信息可以包括简单地指示扩大成像区域的信息。在该情况下，成像控制单元110改变用于确定成像区域的参数，使得成像区域更宽。作为实例，成像控制单元110通过检测在整个样本的图像中出现的样本的边缘来确定成像区域。在该情况下，成像控制单元110减小边缘检测中的阈值。因此，因为还检测到了较弱的边缘，故在数字显微镜120中确定并重新设置了较宽的成像区域。此外，作为另一个实例，成像控制单元110将整个样本的图像分成块，计算每个块的亮度值上的变化，并且将具有超过阈值的变化的块区域确定为成像区域。在该情况下，成像控制单元110减小用于与该变化相比较的阈值。因此，因为多个块区域被确定为成像区域，故在数字显微镜120中重新设置了更宽的成像区域。
[0097]另外，例如，如果成像区域被重新设置，设置信息生成单元150还生成用于重新设置单个图像的成像顺序的成像顺序信息。该成像顺序信息是一条设置信息。例如，该成像顺序信息包括指示成像顺序被重新设置的信息。通常，连续地捕获相邻单个区域21的单个图像。通过这样连续地捕获相邻的单个图像并且将它们按顺序组合，减小了组合失败的可能性。另一方面，在重新成像时，如果首先以最初的成像顺序捕获单个图像，并且追加捕获了扩展区域的单个图像，则没有以原始成像区域的单个图像的顺序捕获扩展区域的单个图像。因此，增加了组合失败的可能性。因此，当重新设置成像区域时，通过追加生成成像顺序信息并且重新设置成像顺序可以在重新成像时避免组合失败。
[0098]其次，将描述在生成合成图像期间检测到组合失败时设置信息的生成。当通过失败检测单元140检测到上述组合失败时，设置信息生成单元150生成用于设置单个图像的成像顺序的成像顺序信息。该成像顺序信息是指示将被设置的成像顺序的信息，该成像顺序不同于检测到组合失败时的成像顺序。表述“不同的成像顺序”可以是其中不同于成像的开始位置的成像顺序，或者是其中不同于扫描模式(螺旋形顺序、Z字形顺序等)的成像顺序。组合失败的发生很大程度上取决于设置了何种成像顺序。如参照图4所描述的，利用重叠部分33的亮度值来执行单个图像30的组合。例如，当从其中在重叠部分33的像素中几乎没有亮度变化的单个图像30成像时，在组合时发生偏差，使得在成像区域中组合失败的可能性增加。因此，组合失败的发生取决于成像顺序。因此，如果已经发生了组合失败，通过以不同的成像顺序执行重新成像，将会减小发生组合失败的可能性。应注意的是，成像顺序信息可以包括指示检测到组合失败时的成像顺序本身的信息。
[0099]第三，将描述检测到焦点位置中的缺陷时的设置信息的生成。当检测到焦点位置中的缺陷时，设置信息生成单元150生成用于重新设置焦点位置的焦点位置信息。该焦点位置信息是一条设置信息。例如，该焦点位置信息是包括与检测到的其焦点位置中的缺陷的单个图像相对应的单个区域的坐标和设置的焦点位置的信息。基于这种焦点位置信息，成像控制单元110可以改变具体用于在其焦点位置具有缺陷的单个区域的焦点位置。因此，在重新成像期间，可以避免相同的焦点位置中的缺陷。
[0100]应注意的是，当确定在成像区域中的每个单个区域上的焦点位置时，成像控制单元110例如通过在若干单独区域上独立地测量焦点位置并且通过使用测量的焦点位置执行插补，确定另一单个区域的焦点位置。在该情况下，基于该焦点位置，成像控制单元110可以改变单独地测量焦点位置的单个区域，或者可以改变插补方法。在该情况下，焦点位置信息可以包括简单地指示改变焦点位置的信息。
[0101]第四，将描述检测到白平衡上的缺陷时的设置信息的生成。当检测到白平衡上的缺陷时，设置信息生成单元150生成用于重新设置白平衡的白平衡信息。该白平衡信息是一条设置信息。例如，该白平衡信息包括关于在检测到白平衡上的缺陷时其中不存在样本的区域的图像的颜色信息(即，与模板颜色信息相比的颜色信息)。基于这种白平衡信息，成像控制单元110可以将白平衡(例如，白平衡校正中的RGB系数)调节到适当值。因此，在重新成像期间，可以避免相同的白平衡缺陷。应注意的是，设置信息生成单元150还可以确定应当如何改变RGB系数(例如，将R乘以因子0.8等)，并且从关于其中不存在样本的图像的颜色信息以及被预先准备作为模板的颜色信息生成包括这种信息的白平衡信息。
[0102]第五，将描述在检测到亮度中的缺陷时设置信息的生成。当检测到亮度中的缺陷时，设置信息生成单元150生成用于重新设置照明亮度的亮度信息。该亮度信息是一条设置信息。例如，该亮度信息包括关于当检测到亮度的缺陷时其中不存在样本的区域的图像的亮度信息(即，与模板亮度信息相比的亮度信息)。基于这种亮度信息，成像信息控制单元110可以将照明亮度调节到适当值。因此，在重新成像期间可以避免相同的亮度缺陷。应注意的是，设置信息生成单元150还可以确定应当如何调整照明亮度(例如，将亮度R乘以因子1.2等)，并且从关于其中不存在样本的图像的亮度信息以及被预先准备作为模板的亮度信息生成包括这种信息的亮度信息。
[0103]以上，已经通过利用特定失败检测的第一实例至第五实例描述了设置信息生成单元150的设置信息的生成。基于这种设置信息，扫描仪100在用户无须单独重新考虑用于避免另一失败的成像条件的情况下可以自动设置用于重新成像的成像条件。
[0104]设置信息生成单元150将生成的设置信息输出至成像控制单元110和通信单元160。
[0105](成像控制单元110)
[0106]因此，通过组合单元130检测到了需要重新成像的失败，并且设置信息生成单元150基于该失败生成了设置信息。另一方面，例如，成像控制单元110基于失败检测单元140所检测到的上述失败的类型，确定是否使数字显微镜120重新捕获单个图像中的每一个或者重新捕获多个单个图像的全部。即，确定是执行局部重新成像还是整体重新成像。例如，成像控制单元110如下所述来执行确定。
[0107][表1]
[0108]
【权利要求】
1.一种信息处理装置，包括: 检测单元，被配置为通过评估使用数字显微镜捕获的图像来检测需要与所述图像相关的重新成像的失败；以及 生成单元，被配置为如果通过所述检测单元检测到所述失败，则生成用于设置在重新成像时的成像条件的设置信息。
2.根据权利要求1所述的信息处理装置，其中，所述检测单元被配置为将与通过组合多个图像生成的合成图像相关的失败检测作为所述失败。
3.根据权利要求2所述的信息处理装置，其中，与所述合成图像相关的所述失败包括应当被包括在所述合成图像中的区域的成像遗漏。
4.根据权利要求3所述的信息处理装置，其中，所述检测单元被配置为通过评估在所述图像中纹理存在的方向来检测所述成像遗漏。
5.根据权利要求2所述的信息处理装置，其中，所述生成单元被配置为如果通过所述检测单元检测到所述成像遗漏，则生成用于重新设置成像区域以包括将被新捕获的追加区域的成像区域信息。
6.根据权利要求5所述的信息处理装置，其中，所述生成单元被配置为如果所述成像区域将被重新设置，则进一步生成用于重新设置所述图像的成像顺序的成像顺序信息。
7.根据权利要求2所述的信息处理装置，其中，与所述合成图像相关的所述失败包括生成所述合成图像时的组合失败。
8.根据权利要求7所述的信息处理装置，其中，所述检测单元被配置为通过评估被包括在所述合成图像的预定方向上的边缘来检测所述组合失败。
9.根据权利要求7所述的信息处理装置，其中，所述检测单元被配置为通过评估当生成所述合成图像时的重叠部分的亮度值来检测所述组合失败。
10.根据权利要求7所述的信息处理装置，其中，所述生成单元被配置为如果通过所述检测单元检测到所述组合失败，则生成用于重新设置所述图像的成像顺序的成像顺序信肩、O
11.根据权利要求2所述的信息处理装置，其中，所述检测单元被配置为进一步将焦点位置、白平衡或者亮度上的缺陷检测作为所述失败。
12.根据权利要求2所述的信息处理装置，进一步包括: 成像控制单元，被配置为基于通过所述检测单元检测到的所述失败的类型来确定是使所述数字显微镜重新捕获各个图像还是重新捕获所述多个图像的全部。
13.根据权利要求2所述的信息处理装置，其中，所述检测单元被配置为每当捕获所述多个图像中的每一个时评估用于检测所述失败的各个图像。
14.根据权利要求2所述的信息处理装置，其中，所述检测单元被配置为在生成了所述合成图像之后评估所述合成图像或者所述合成图像的局部图像。
15.根据权利要求1所述的信息处理装置，进一步包括: 显示控制单元，被配置为能够在执行重新成像之前将通过所述生成单元生成的所述设置信息呈现给用户或者由所述用户进行编辑。
16.一种成像控制方法，包括: 通过评估使用数字显微镜捕获的图像来检测需要与所述图像相关的重新成像的失败；以及 如果通过检测单元检测到所述失败，则生成用于设置在重新成像时的成像条件的设置信息。
17.一种程序，使计算机起到以下功能: 检测单元，被配置为通过评估使用数字显微镜捕获的图像来检测需要与所述图像相关联的重新成像的失败；以及 生成单元，被配置为如果所述检测单元检测到所述失败，则生成用于设置在重新成像时的成像条件的设置信息。
18.—种数字显微镜系统,包括: 数字显微镜；以及 信息处理装置，所述信息处理装置包括: 检测单元，被配置为通过评估使用数字显微镜捕获的图像来检测需要与所述图像相关的重新成像的失败；以及 生成单元，被配 置为如果通过所述检测单元检测到所述失败，则生成用于设置在重新成像时的成像条件的设置信息。
19.一种显示控制装置，包括:获取单元，被配置为获取当通过评估使用数字显微镜捕获的图像而检测到需要与所述图像相关的重新成像的失败时生成的、用于设置重新成像时的成像条件的设置信息；以及显示控制单元，被配置为将通过所述获取单元获取的所述设置信息显示在显示面上。
20.一种信息处理装置，包括: 检测单元，被配置为通过评估图像来检测与通过将利用数字显微镜捕获的多个图像组合所生成的合成图像相关的失败；以及 生成单元，被配置为如果通过所述检测单元检测到所述失败，则生成用于设置在重新成像时的成像条件的设置信息。
【文档编号】H04N5/225GK104081248SQ201280066139
【公开日】2014年10月1日 申请日期:2012年12月7日 优先权日:2012年1月11日
【发明者】渡边真司, 林信裕 申请人:索尼公司