信息处理设备、信息处理方法和信息处理程序的制作方法
【专利摘要】信息处理设备、信息处理方法和信息处理程序。信息处理设备包括：显示处理单元、设置单元和自动平移单元。显示处理单元配置为在显示单元上显示至少一部分病理图像作为显示区域。设置单元配置为至少接收由用户设置的、关于所述病理图像中的显示区域的位置的信息和关于移动所述显示区域的方法的信息，作为移动所述显示区域以扫描所述病理图像所需的信息。自动平移单元配置为基于设置信息顺序地移动所述显示区域。
【专利说明】信息处理设备、信息处理方法和信息处理程序
【技术领域】
[0001]本公开涉及在诸如医学、病理学、生物学和材料学之类的领域中控制由显微镜获得的图像的显示的信息处理设备、信息处理方法和信息处理程序。
【背景技术】
[0002]在诸如医学和病理学之类的领域中，已经提出如下系统:其中将由光学显微镜获得的活体的细胞、组织、器官等的图像数字化，并且医生、病理学家等基于如此获得的数字图像来检查该组织等或诊断病人。
[0003]例如，在日本专利申请特开第2009-037250号中公开的方法中，由在其上安装了电荷耦合器件(CCD)的摄像机数字化通过显微镜光学获得的图像，并且将数字信号输入到控制计算机系统并且在监视器上可视化。病理学家在查看监视器上显示的图像的同时进行检查等(参见，例如，日本专利申请特开第2009-037250的段落[0027]和[0028]，以及图5)。这样的系统通常称为虚拟显微镜，并且被检查的图像称为虚拟玻片(slide)。
[0004]应当注意，作为协助图像诊断的技术，例如，在日本待审查专利申请公开第2000-501184号中，公开了如下设备:以低倍率扫描样本，基于细胞核的形状自动提取异常细胞，以高倍率拍摄包括所提取的细胞的区域，存储图像，因此病理学家等可以基于该图像评估所提取的异常细胞。
[0005]此外，在日本待审查专利申请公开第2004-517349号中，公开了如下设备:存储通过扫描样本自动提取的异常细胞的X-Y坐标对，并且可以通过在装备有电子镜台的显微镜下重现该坐标对来检查该异常细胞。
【发明内容】
[0006]顺便提及，在日本专利申请特开第2009-037250号中公开的现有虚拟显微镜中，例如，在用户移动图像的显示范围或缩放图像的情况下，用户需要重复拖动鼠标或旋转滚轮的操作。
[0007]然而，由虚拟显微镜使用的虚拟玻片图像是例如具有50X50k像素大尺寸的图像，并且对于用户充分检查这样的图像而言已经是难以应付的任务了。
[0008]在用户通过使用现有虚拟显微镜进行诊断的情况下，用户需要操作诸如鼠标和控制器之类的输入设备，并且充分检查高分辨率图像。在此情况下，尽管操作的自由度高，但是需要对每一图像进行类似操作，而这花费时间和精力。
[0009]特别是，因为病理学家整天进行这样的操作，所以繁重的操作使得他/她倍感压力，并且可能错过期望被发现的病理组织中的改变，而这导致误诊。
[0010]鉴于上述情形，期望提供能够通过减小在虚拟显微镜中移动图像的显示范围所需的用户操作负担而使得检查更有效的信息处理设备、信息处理方法和信息处理程序。
[0011]( I)根据本公开的实施例，提供信息处理设备，包括显示处理单元，配置为在显示单元上显示至少一部分病理图像作为显示区域；设置单元，配置为至少接收(由用户设置的)关于病理图像中的显示区域的位置的信息和关于移动显示区域的方法的信息，作为移动显示区域以扫描病理图像所需的信息；以及自动平移单元，配置为基于设置信息顺序地移动显示区域。
[0012]在本公开中，基于由设置单元接收的、在显示单元上显示的显示区域的位置，以及移动显示区域以扫描病理图像的方法，自动平移单元自动且顺序地移动显示区域。因而，当用户检查病理图像时，病理图像自动且顺序地显示在显示单元上，即使他/她不进行任何操作。其结果是，可以通过减少在虚拟显微镜中移动图像的显示范围所需的用户的操作负担来使得检查更有效。
[0013](2)根据本公开的实施例，提供信息处理设备，进一步包括切换单元，配置为响应于来自用户的指令，在由自动平移单元顺序地移动的显示区域中的病理图像的显示和由用户从整个病理图像中选择的显示区域中的病理图像的显示之间切换。
[0014]在本公开中，当恰当地切换时，使用其中自动平移单元自动且顺序地移动显示区域由此显示病理图像的自动检查模式和其中用户在整个病理图像中选择显示区域的位置由此显示病理图像的手动检查模式。因此，用户在最优地组合自动检查模式和手动检查模式的同时可以检查病理图像。
[0015](3)根据本公开的实施例，提供信息处理设备，进一步包括生成单元，配置为从用户接收与所述显示区域对应的至少一个病理图像的选择，所述显示区域由所述自动平移单元顺序地移动，并且生成显示所选择的至少一个病理图像所需的信息作为场景信息；以及重现单元，配置为基于场景信息在显示单元上显示该至少一个病理图像，该至少一个病理图像由用户选择。
[0016]在本公开中，当用户对顺序地显示在显示单元上的病理图像进行具体操作时，生成再次在显示单元上显示在操作时正在显示的病理图像所需的信息作为场景信息。重现单元使用场景信息重现图像显示，从而用户使得显示单元再次显示已经在操作时显示的病理图像。因此，用户可以使得信息处理设备存储由自动平移单元自动显示的图像，并且稍后读取图像从而用户可以检查所读取的图像。因而，可以使得检查更有效。
[0017](4)根据本公开的实施例，提供信息处理设备，进一步包括路径确定单元，配置为确定用于自动平移单元顺序地移动显示区域的路径。
[0018]在本公开中，因为路径确定单元计算并确定用于顺序地移动显示区域的路径，所以可以防止用户错失图像，而这在由用户选择移动显示区域时极可能发生。
[0019](5)根据本公开的实施例，提供信息处理设备，其中，可以通过拍摄放置样本的载玻片而获得病理图像，并且路径确定单元可以配置为对于通过空间地划分病理图像而获得的各个区域，获得具有存在样本的可能性的存在地图，并且使用存在地图确定用于移动显示区域的路径。
[0020]在本公开中，将放置样本的载玻片的图像分割为多个区域，并且具有拍摄(存在)样本的可能性的、对各个区域通过图像识别等用数值表示的存在地图被用来确定用于移动显示区域的路径。因此，根据本公开的实施例的信息处理设备能够自动地仅显示在病理图像中拍摄样本的区域。
[0021](6)根据本公开的实施例，提供信息处理设备，其中，路径确定单元可以配置为从用户接收自动平移单元顺序地移动显示区域的范围的指定，并且确定在该指定范围内移动显示区域的路径。
[0022]在本公开中，确定路径从而在由用户明确指定的区域内移动显示区域。因此，可以通过消除用户认为不必要的区域的显示来使得病理图像的检查更有效。
[0023](7)根据本公开的实施例，提供信息处理设备，其中，路径确定单元可以配置为在病理图像中识别样本的边缘，并且沿着边缘确定路径。
[0024]在本公开中，因为沿着由图像识别等识别的样本的边缘移动显示区域，所以可以使得病理图像的检查更加有效而不麻烦用户，即使样本的边缘具有复杂形状。
[0025](8)根据本公开的实施例，提供信息处理方法，包括由显示处理单元在显示单元上显示至少一部分病理图像作为显示区域；由设置单元至少接收由用户设置的、关于病理图像中的显示区域的位置的信息和关于移动显示区域的方法的信息，作为移动显示区域以扫描病理图像所需的信息；以及由自动平移单元基于设置信息顺序地移动显示区域。
[0026](9)根据本公开的实施例，提供信息处理程序，其使得计算机用作显示处理单元，配置为在显示单元上显示至少一部分病理图像作为显示区域；设置单元，配置为至少接收由用户设置的、关于病理图像中的显示区域的位置的信息和关于移动显示区域的方法的信息，作为移动显示区域以扫描病理图像所需的信息；以及自动平移单元，配置为基于设置信息顺序地移动显示区域。
[0027]如上所述，根据本公开，可以使得虚拟显微镜中的图像的检查更为有效。
[0028]如附图所示，考虑本公开的最优实施例的以下详细描述，其这些及其他目标、特征和优势将变得更为显然。
【专利附图】
【附图说明】
[0029]图1是示出基于通过摇摄(panning)操作逐渐且平滑地移动在取景器的显示区域中显示的一部分虚拟玻片进行显示的方法来显示虚拟玻片并且扫描整个虚拟玻片的示例的示图；
[0030]图2是示出基于通过摇摄操作逐渐且平滑地移动在取景器的显示区域中显示的一部分虚拟玻片进行显示的方法来显示虚拟玻片并且扫描整个虚拟玻片的另一示例的示图；
[0031]图3是示出基于通过摇摄操作逐渐且平滑地移动在取景器的显示区域中显示的一部分虚拟玻片进行显示的方法来显示虚拟玻片并且扫描整个虚拟玻片的再一示例的示图；
[0032]图4是示出存在地图M的示例的示图；
[0033]图5是示出仅扫描存在样本的区域作为取景器的显示区域的状态的示图；
[0034]图6是示出在开始自动检查模式之前在表示整个虚拟玻片的地图上预先在用户选择的范围内进行通过自动检查的扫描的状态的示图；
[0035]图7是示出在自动检查模式下仅检查样本边缘的状态的示图；
[0036]图8是示出在取景器从左向右方向进行扫描的同时用户已经两次进行指令操作以向下方向移动显示区域的状态的示图；
[0037]图9是示出当取景器的显示区域移动到样本的边缘并且用户尝试进一步向右方向或向下方向移动显示区域时，取景器已经向左下调节移动方向的状态的示图；[0038]图10是示出根据本公开实施例的取景器500的典型使用环境的示图；
[0039]图11是示出根据此实施例的取景器500的硬件配置的框图；
[0040]图12是示出数字病理服务器400的功能块的示图；
[0041]图13是示出取景器500的功能块的示图；
[0042]图14是示出由取景器500进行的处理的整个流程的流程图；
[0043]图15是示出当选择特定场景时的处理的流程的流程图；
[0044]图16是示出与自动检查模式有关的处理的流程的流程图；以及
[0045]图17是示出与自动检查模式的范围的限制有关的处理的流程的流程图。
【具体实施方式】
[0046]以下，将参考附图描述本公开的实施例。
[0047]<第一实施例>
[0048][关于本公开的概述]
[0049]当用户(病理学家)检查虚拟玻片时，他/她通常主要在取景器上进行摇摄和缩放操作。在本公开中，自动进行部分操作以减小用户的负担。
[0050]在本公开中，除了取景器响应于用户进行的任何操作进行摇摄或缩放操作并且改变虚拟玻片的显示的手动检查模式之外，还提供自动检查模式。在自动检查模式中，因为取景器自动地切换图像显示，所以用户可以更多地关注诊断而不是操作。此外，在自动检查模式中，因为完全显示虚拟玻片中的整个样本，所以可以防止用户错过一部分图像。
[0051]在以下应当注意，尽管使用术语“自动检查模式”和“手动检查模式”，但是它们也可以分别称为“自动观看模式”和“手动观看模式”。
[0052][关于在本公开中的图像诊断方法]
[0053]在使用显微镜的诊断中，例如细胞诊断中，进行诊断如下。首先，检查者通过使用相对低倍率的物镜(例如，IOx)筛选整个样本来搜索恶性细胞或异常细胞。
[0054]这里，在找到了可疑细胞的情况下，为了更详细地检查该细胞的结构，以高倍率物镜(例如，40x)替代，在改变焦点位置的同时详细地检查该细胞，因此确定该细胞是否是期望的细胞。
[0055]如上所述，作为图像诊断方法，存在以低倍率在图像显示中检查整个虚拟玻片之后以高倍率显示并且详细检查期望详细确认的一部分虚拟玻片的诊断方法。
[0056]本公开支持使得这样的诊断方法更为有效。具体地，通过在以低倍率的图像显示中检查整个虚拟玻片时使得显示自动化，减小了进行摇摄操作的用户的负担，并且防止图像的错过。
[0057][关于自动检查模式中的显示方法]
[0058]存在以自动检查模式显示虚拟玻片的两种方法。在第一显示方法中，通过摇摄操作逐渐且平滑地移动在取景器的显示区域中显示的一部分虚拟玻片并扫描整个虚拟玻片来进行显示。
[0059]图1是取景器基于该方法显示虚拟玻片的示例的示图。图1示出了显示区域首先位于虚拟玻片的左上端，然后移动到右端，并且在移动到左端之前当到达右端时略微向下方向移动，由此扫描整个图像的状态。[0060]图2是取景器基于该方法显示虚拟玻片的示例的示图。在图2中，显示区域首先位于虚拟玻片的中间位置，并且螺旋形地以逆时针方向移动。
[0061]在以自动检查模式显示虚拟玻片的第二方法中，具有与用户选择的显示倍率对应的分辨率的虚拟玻片的整个图像由取景器的显示区域的大小分割，并且依次切换并且显示通过分割获得的各个图像。
[0062]图3也是示出取景器基于该方法显示虚拟玻片的示例的示图。图3的左侧示出将分割整个虚拟玻片以匹配取景器的显示区域的大小的状态。图3的右侧示出了随着时间的经过，通过分割整个虚拟玻片以匹配取景器的显示区域的大小而获得的图像依次从位于左上端的图像到在右侧方向上的图像切换并且显示。
[0063][关于在自动检查模式和手动检查模式之间的切换]
[0064]当使用取景器检查虚拟玻片时，用户可以在自动检查模式和手动检查模式之间随意切换。例如，当用户以手动检查模式检查虚拟玻片时，通过从下拉菜单选择自动检查模式来启动自动检查模式。此外，例如，当取景器处于自动检查模式并且用户进行缩放操作时，临时释放自动检查模式，并且以手动检查模式进行缩放操作。在自动检查模式和手动检查模式之间的切换在稍后描述的处理的整个流程的描述中详细描述。
[0065][关于在自动检查模式中设置的条目]
[0066]用户需要在启动自动检查模式之前设置用于在自动检查模式中指定由取景器进行的显示操作的条目。条目如下:
[0067](I)显示倍率(用于以自动检查模式在取景器的显示区域中显示虚拟玻片的倍率，例如，I到40x倍率的任一个)
[0068](2)显示开始点(首先要在取景器的显示区域中显示的虚拟玻片的位置的指定，例如，玻片的左上、左下、右上和右下以及图像的中心)
[0069]( 3)扫描方向(例如从玻片的左上向右下、从右上向左下、从左下向右上、从右下向左上、以顺时针方向螺旋形地从中心部分以及以逆时针方向螺旋形地从中心部分在虚拟玻片上移动取景器的显示区域的方向)
[0070](4)显示切换方法(在自动检查模式中切换显示的方法，例如，在扫描方向上逐渐移动显示范围的方法以及切换和显示通过分割而获得的图像的方法，如上所述)
[0071](5)显示的切换速率或显示的移动速率(例如，以每y秒(s) X mm的速率移动取景器的显示区域的规定((x[mm]/y[s]),或者每秒显示z巾贞的规定(z[fps]))
[0072](6)使用存在地图(稍后描述)(例如，存在地图用来确定用于在虚拟玻片上移动取景器的显示区域的路径)
[0073]应当注意，上述条目可以预先设置，或者可以当用户启动自动检查模式时设置。
[0074]此外，取景器可以配置为学习手动检查模式中由一个用户或多个用户进行的多个操作，以存储对上述条目频繁使用的值，或最优值，并且在自动检查模式中自动设置这些值。
[0075][关于存在地图]
[0076]最初制作存在地图，用于当拍摄放置样本的载玻片以创建虚拟玻片时确定显微镜拍摄了载玻片的哪个部分。在存在地图中，将由放置样本的载玻片的微距拍摄而获得的图像分割为多个区域，并且通过图像识别等确定是否在各个区域中拍摄了样本以数字化结果O
[0077]图4是示出存在地图M的示例的示图。在图4中，将由微距拍摄获得的图像等分为25个区域，并且向每一个区域分配O到2的数字。O表示样本在该区域存在的概率最低，2表示样本在该区域存在的概率最高，而I表示样本在该区域存在的概率在这些概率之间。
[0078]因为存在地图提供与拍摄了样本的虚拟玻片的图像的哪个部分有关的信息，所以当在自动检查模式中显示虚拟玻片时，可以通过使用存在地图仅显示拍摄了样本的区域，如上所述。
[0079][关于场景的设置]
[0080]在以低倍率检查整个虚拟玻片之后以高倍率检查关注的一部分玻片的诊断方法中，自动检查模式使得以低倍率检查整个虚拟玻片的操作自动化，如上所述。如果在低倍率检查期间存在关注部分，则便于存储该部分，并且在稍后的高倍率检查期间立即检查该部分。
[0081]在本公开中，在用户以自动检查模式在检查期间找到关注部分的情况下，可以通过进行特定操作来将该部分存储为场景并且当稍后切换到手动检查模式时容易地跳到该场景。作为内部操作，取景器在将该部分存储为场景时存储坐标位置和场景的显示倍率，并且当跳到该场景时基于所存储的坐标位置和显示倍率重现该场景。
[0082]应当注意，取景器可以配置为能够存储关于一个虚拟玻片的多个场景。因此，用户可以从多个场景选择期望的场景并且在切换到手动检查模式之后跳到该期望的场景。
[0083][关于场景的应用]
[0084]在场景的上述设置中，在自动检查模式中存储的场景用在切换到手动检查模式之后。当从手动检查模式返回到自动检查模式时，可以使用类似的想法。
[0085]在自动检查模式中在检查期间找到关注部分并且期望立即详细检查该部分的情况下，如果用户进行缩放操作等，则自动检查模式切换到手动检查模式，并且取景器在停止自动检查模式的时候存储状态(坐标位置和在自动检查模式中设置的条目)。如果在用户以手动检查模式进行检查之后进行到自动检查模式的切换，则取景器基于在自动检查模式停止时存储的状态，重现在自动检查模式停止时的显示，并且从停止自动检查模式的时间起恢复自动检查模式。
[0086][关于自动检查模式的有效使用(与存在地图组合)]
[0087]现在，将描述更有效地使用自动检查模式的功能的方法。
[0088]首先，将描述与存在地图组合的自动检查模式。通过使用存在地图，如果可以在虚拟玻片的整个图像中知道存在样本的区域，则取景器仅需要显示仅作为显示区域的区域。因此，可以使得自动检查更为有效。图5是示出仅扫描存在样本的区域作为取景器的显示区域的状态。
[0089][关于自动检查模式的有效使用(用户的区域指定)]
[0090]在上述配置中，通过存在地图提供关于虚拟玻片的图像中存在样本的区域的信息。然而，取代使用存在地图，用户可以指定要由取景器扫描的区域。图6是示出在开始自动检查模式之前，在表示整个虚拟玻片的地图上预先在用户选择的范围内通过自动检查进行扫描的状态的示图。借助此配置，用户可以明确地从扫描目标中排除明显不需要检查的区域。[0091][关于自动检查模式的有效使用(与另一系统组合)]
[0092]自动检查模式可以与另一系统组合使用。例如，与在日本未审查专利申请公开第2000-501184号或日本未审查专利申请公开第2004-517349号中公开的医学诊断支持系统合作，可以由该系统呈现期望被检查的部分，并且可能可以自动地仅检查作为目标的该部分。此外，检查目标不限于该部分，并且可能可以优选地检查该部分并且在优选检查之后检
查另一部分。
[0093]相反，由组合系统呈现的部分可以首先在手动检查模式中检查，并且在自动检查模式中可以仅将尚未检查的区域作为目标来检查。
[0094][关于自动检查模式的有效使用(作为目标的样本的边缘的检查)]
[0095]在虚拟玻片中仅样本的部分边缘可以通过图像识别提取，并且仅该边缘可以被自动检查。此外，检查目标不限于边缘，可以优选并自动地检查边缘，并且之后，可以自动检查另一区域。图7是示出在自动检查模式中仅检查样本的边缘的状态的示图。
[0096]应当注意，取决于样本的部分或情况可以改变通过自动检查的扫描的方法，例如，在胃癌的情况下优选并自动检查样本的边缘。
[0097][关于自动检查模式的补充使用(协助用户操作)]
[0098]自动检查模式的功能可以用作协助用户操作。
[0099]在以上描述中，例如，在图1的情况下，在玻片的横向上以及之后在玻片的纵向上，交替进行在自动检查模式中的虚拟玻片上移动取景器的显示区域的扫描，由此扫描整个玻片。
[0100]然而，这里，因为自动检查模式用作用户操作的协助，所以例如在自动检查模式中可以进行仅在玻片的横向上的扫描。在此情况下，用户在垂直方向上进行操作。因为即使在自动检查模式中也可以接收用户的操作，所以可以对用户增加与虚拟玻片的图像的显示关联的自由度。此外，因为取景器进行横向上的扫描，所以相比于手动检查模式可以减少用户的操作负担。
[0101]图8是示出在取景器从左向右方向进行扫描的同时用户已经两次进行指令操作以移动显示区域到向下方向的状态的示图。
[0102]如图8所示，用户进行操作，而这可以生成未显示的区域。在此情况下，在完成一系列自动检查之后，仅尚未显示的区域可以继续显示。
[0103][关于自动检查模式的补充使用(用户操作的便利性的改进)]
[0104]在以上示例中，类似地，尽管自动检查模式用作用户操作中的协助，但是当用户在手动检查模式中检查虚拟玻片时，可以引导用户的操作以改进对用户的便利性。
[0105]图9是示出当取景器的显示区域被移动到样本的边缘并且用户尝试进一步向右方向或向下方向移动显示区域时，取景器已经将移动方向调节到左下的状态的示图。
[0106]如图9所示，在当取景器显示样本的边缘时取景器具有关于存在样本的区域的信息(例如，从存在地图获得)或知道在由用户操作的方向(向右或向下)上不存在样本的情况下，取景器限制向该方向的移动。此外，取景器从向下到左下地调节显示区域的移动方向。取景器支持这样的用户操作，而这改进了当使用取景器检查虚拟玻片的时候的可操作性。
[0107][在自动检查模式的检查期间的设置值的动态改变]
[0108]在以上描述中，尽管有关自动检查模式的各种设置值在启动自动检查模式之前设置，但是这些值可以在自动检查模式的检查期间动态地改变。借助此配置，可以在自动检查模式的检查期间以更高自由度进行检查。
[0109]例如，如果在自动检查模式的检查期间进行具体操作，则显示的移动或切换速率可以加速或减速。
[0110][通过学习的设置值的生成或改变]
[0111]在上述配置中，当自动检查模式启动时或在自动检查模式启动之前由用户明确地设置用于自动检查模式的设置值，或者在自动检查模式的检查期间由用户明确地改变这些设置值。取代该配置，取景器可以学习手动检查模式中的用户操作，并且用于自动检查模式的设置值可以基于所学而设置或更新。根据该配置，可以减少对自动检查模式明确设置设置值的用户负担。
[0112][关于取景器的使用环境]
[0113]将描述其中病理学家使用通过在病理诊断中用显微镜拍摄样本而获得的虚拟玻片(病理图像)进行诊断的环境的整体图片。病理学家使用取景器检查虚拟玻片并且进行图像诊断。图10是示出根据本公开的实施例的取景器500的典型使用环境的示图。
[0114]将包括显微镜10和扫描仪计算机20的数字病理学扫描仪100安装在医院的组织实验室HL中。显微镜10拍摄RAW图像。扫描仪计算机20处理RAW图像。图像处理的示例包括处理过程、描影处理、色彩平衡校正、伽马校正和8位处理。之后，将处理后的图像分割为瓦片(tile)。瓦片的尺寸是例如256像素x256像素。将分割为瓦片的图像转换为JPEG(联合图像专家组)图像，并且压缩。之后，将压缩后的图像存储在硬盘HDl中。
[0115]扫描仪计算机20的硬盘HDl存储JPEG图像。接着，JPEG图像通过网络300上载到硬盘HD2。硬盘HD2在数字病理服务器400中。数字病理服务器400是相同医院中的数据中心DC。
[0116]作为观察者的病理学家位于医院中的病理室PR或医院之外的建筑EX中。病理学家通过使用取景器500检查在数字病理服务器400的硬盘HD2中存储的JPEG图像。取景器500通过网络300连接到数字病理服务器400。
[0117]替代地，作为观察者的病理学家指示取景器500将在取景器的屏幕上显示的图像记录为场景。
[0118][关于取景器500的配置]
[0119]接着，将描述取景器500的硬件配置。
[0120]图11是示出根据此实施例的取景器500的硬件配置的框图。
[0121]取景器500包括CPU (中央处理单元)2UR0M (只读存储器)22,RAM (随机存取存储器)23以及操作输入单元24。CPU21进行算术控制。RAM23是用于CPU21的工作存储器。在操作输入单元24中输入取决于用户的操作的指令。取景器500还包括接口单元25、输出单元26 (显示单元)、存储器27、网络接口单元28和连接它们的总线29。
[0122]用于执行各种处理的程序被存储在R0M22中。控制器30连接到接口单元25。控制器30装备有各种按钮或摇杆，并且可以从用户接收各种输入。
[0123]此外，控制器30包括加速度传感器或倾斜传感器。当用户倾斜或摇动控制器30时，控制器30可以从用户接收指令。
[0124]网络300连接到网络接口单元28。液晶显示器、EL (电致发光)显示器、等离子显示器等应用于用于图像显示的输出单元26。由HDD (硬盘驱动器)、半导体存储器、光盘等代表的磁盘应用于存储器27。
[0125]在RAM23中，CPU21从在R0M22、存储器27等中存储的多个程序中扩展与来自操作输入单元24的指令对应的程序。CPU21基于展开后的程序任意地控制输出单元26和存储器27。
[0126]CPU21实现将在后面描述的功能块。CPU21执行在R0M22、存储器27等中存储的程序。在必要时，CPU21控制上述单元。正因为如此，取景器500能够实现各种功能块。取景器500能够使各个单元用作取景器500。
[0127][关于数字病理服务器400的配置]
[0128]接着，将描述数字病理服务器400的硬件配置。
[0129]除了控制器30不连接到接口单元25之外，数字病理服务器400的硬件配置基本上与取景器500的硬件配置相同。鉴于此，省略数字病理服务器400的硬件配置的详细描述。
[0130][关于数字病理服务器400的功能块]
[0131]接着，将描述数字病理服务器400的功能块。数字病理服务器400的第一主功能是响应于来自取景器500的请求而提供病理学图像。
[0132]图12是示出数字病理服务器400的功能块的示图。
[0133]数字病理服务器400包括以下功能块，即，图像存储器41和图像提供单元42。
[0134]图像存储器41存储了被分割为瓦片并且以JPEG格式压缩的病理学图像。图像提供单元42响应于来自取景器500的请求而将所存储的病理学图像提供给取景器500。
[0135]图像提供单元42通过网络300从图像存储器41获得与从取景器500发送的图像请求对应的病理学图像，并且通过该网络300将所获得的图像发送到取景器500。
[0136]应当注意，因为数字病理服务器400和取景器500构成了客户端-服务器系统，所以确定在客户端侧执行哪个功能而在服务器侧执行哪个功能是设计项。因而，在哪里执行各个功能块不限于数字病理服务器400，并且可以在作为客户端侧的取景器500上执行各个功能块。
[0137][关于取景器500的功能块]
[0138]接着，将描述取景器500的功能块。首先，取景器500的主功能是在手动检查模式中从作为病理学家的用户接收操作指令，以获得与来自数字病理服务器400的指令对应的病理图像，并且对用户显示该图像。第二，取景器500的主功能是在自动检查模式中从数字病理服务器400自动接收病理图像并且对用户自动显示图像。
[0139]第三，取景器500的主功能是将关于由用户指定的显示图像的信息存储为场景，并且响应于例如来自用户的指令而重现所存储的场景。图13是示出取景器500的功能块的示图。
[0140]取景器500包括以下功能块，即，图像获得单元51 (显示处理单元)、自动检查模式设置单元52 (设置单元)、自动平移单元53 (自动平移单元)、路径确定单元54 (路径确定单元)、模式切换单元55 (切换单元)、场景信息生成单元56 (生成单元)、场景表57和场景重现单元58 (重现单元)。
[0141]图像获得单元51通过网络300从数字病理服务器400获得与来自作为病理学家的用户的指令对应的病理图像，而该指令在手动检查模式下从操作输入单元24输入，并且经由输出单元26向用户呈现所获得的病理图像。
[0142]此外，图像获得单元51在自动检查模式下通过网络300从数字病理服务器400获得与来自自动平移单元53的指令对应的病理图像，并且经由输出单元26向用户呈现所获得的病理图像。
[0143]自动检查模式设置单元52经由操作输入单元24接收由用户设置的、用于自动检查模式的设置值，并且进行设置。应当注意，用于自动检查模式的设置值可以由用户设置或由在手动检查模式下学习了用户操作的自动检查模式设置单元52自动设置。自动检查模式设置单元52向自动平移单元53提供对于自动平移单元53在自动检查模式下自动显示病理图像所需的设置值。
[0144]当取景器500处于自动检查模式时，自动平移单元53在整个病理图像中设置在取景器500的屏幕上显示的显示区域，并且自动而顺序地移动该显示区域，由此自动显示病理图像。作为进行自动显示的参数的设置值从自动检查模式设置单元52提供。
[0145]路径确定单元54对于自动平移单元53确定用以在病理图像上平移和移动显示区域的路径。该路径取决于诸如使用存在地图的情况、用户指定显示范围的情况和仅显示样本边缘的情况之类的情况而改变。
[0146]模式切换单元55响应于由用户进行的取景器的具体操作而在自动检查模式和自动检查模式之间切换。
[0147]场景信息生成单元56响应于当向用户呈现病理图像时来自用户输入的指令而将正在呈现的图像的坐标和显示倍率存储在场景表57中作为场景信息。
[0148]场景表57从场景信息生成单元56接收每一个场景的场景信息并且存储它。在场景表57中存储的场景信息由场景重现单元58使用以重现每一个场景。
[0149]场景重现单元58基于在场景表57中存储的场景信息重现每一个场景。
[0150]以上是取景器500的各功能块的描述。应当注意，因为数字病理服务器400和取景器500构成了客户端-服务器系统，所以确定在客户端侧执行哪个功能而在服务器侧执行哪个功能是设计项。因而，在哪里执行各个功能块不限于取景器500，并且可以在作为客户端侧的数字病理服务器400上执行各个功能块。
[0151][处理的(整个)流程]
[0152]接着，将描述处理的整个流程。应当注意，稍后将详细描述流程的一部分。图14是示出由取景器500进行的处理的整个流程的流程图。
[0153]首先，自动检查模式设置单元52对自动检查模式设置各种设置值(步骤SI)。用于设置的值可以直接由用户输入，或者可从学习了手动检查模式中进行的用户操作的自动检查模式设置单元52获得。
[0154]接着，自动检查模式设置单元52确认对于自动检查模式设置的值是否期望改变(步骤S2)。在值期望改变的情况下，处理返回到步骤SI，并且改变设置值。
[0155]接着，在不期望改变设置值的情况下(在步骤S2中的“否”)，取景器500选择特定场景(步骤S3)。选择特定场景的处理将在后面详细描述。在选择特定场景之后，用户选择一种模式(步骤S4 )，或取景器500启动手动检查模式(步骤S6 )。在用户选择了 一种模式(步骤S4)的情况下，模式切换单元55接收用户明确的操作并且选择自动检查模式(步骤S5中的“否”，步骤S8中的“是”)和手动检查模式(步骤S5中的“是”)中的一种模式。
[0156]在选择手动检查模式的情况下，取景器500对于手动检查而显示病理图像直到停止检查为止(步骤S7 )。此外，在选择自动检查模式的情况下，取景器500启动自动检查模式(步骤S9)。
[0157]以上是由取景器500进行的处理的整个流程。
[0158][处理的流程(特定场景的选择)]
[0159]接着，将描述在选择特定场景时的处理的流程。图15是示出选择特定场景时的处理的流程的流程图。
[0160]首先，场景重现单元58确定是否存储了将要重现的一个或多个场景或是否跳转到特定场景(重现特定场景)。
[0161]在没存储场景(在步骤S31中的“否”)或不重现特定场景(步骤S32中的“否”)的情况下，处理前进到由用户选择模式的步骤(步骤S4 )。
[0162]在重现特定场景的情况下(步骤S31中的“是”和步骤S32中的“是”)，首先，场景重现单元58使用户选择要被重现的场景(步骤S33)，并且随后将要在屏幕上显示的病理图像的位置设置为所选择的场景的坐标(步骤S34)。
[0163]在重现特定场景之后，由取景器500进行的处理前进到启动手动检查模式的步骤(步骤S6)。
[0164]以上是有关特定场景的选择的处理的流程。
[0165][处理的流程(自动检查模式)]
[0166]接着，将描述与自动检查模式相关的处理的流程。图16是示出与自动检查模式相关的处理的流程的流程图。
[0167]首先，如果在图14中所示的步骤S8选择了切换到自动检查模式(在步骤S8中的“是”)，则启动或恢复自动检查模式中的处理(步骤S91)。
[0168]在重新启动自动检查模式的情况下，因为未将上次停止自动检查模式的时候的状态存储为场景(步骤S92中的“否”)，所以，首先，启动限制自动检查模式的范围的处理(步骤S93)。限制自动检查模式的范围的处理将在后面详细描述。
[0169]在将上次停止自动检查模式的时候的状态存储为场景(步骤S92中的“是”)的情况下，基于场景信息重现状态(步骤S94)。
[0170]在完成新启动自动检查模式的情况下和恢复自动检查模式的情况下的处理之后，自动平移单元53开始自动检查模式中的自动显示(步骤S95)。
[0171]如果期望要在自动检查模式下显示的全部区域的显示完成(步骤SlOO中的“是”)，则自动平移单元53终止自动检查模式(步骤SlOl )。
[0172]此外，在通过用户进行的特定操作来停止自动检查模式的情况下(步骤S96中的“是”)，场景信息生成单元56将显示的当前状态存储为一个场景(步骤S97)。
[0173]之后，如果用户提供指令以返回到手动检查模式(步骤S98中的“是”)，则取景器500停止自动检查模式(步骤S99 )。
[0174]如果用户提供指令以不返回到手动检查模式(步骤S98中的“否”)，则由取景器500进行的处理返回到步骤S94，并且从所存储的场景状态恢复自动检查模式。该处理表示暂时从自动检查模式切换到手动检查模式并且在手动检查模式结束后返回到自动检查模式的处理的上述流程。
[0175]以上是与自动检查模式相关的处理的流程。
[0176][处理的流程](自动检查模式的限制范围)]
[0177]接着，将描述与自动检查模式的范围限制相关的处理的流程。图17是示出与自动检查模式的范围限制相关的处理的流程的流程图。
[0178]处理的流程大致分为三种情况，即，使用存在地图限制显示范围的情况(步骤S931中的“是”)、将显示范围限制到由用户指定的范围的情况(步骤S935中的“是”)以及没有限制地显示整个区域的情况(步骤S935中的“否”)。另外，在使用存在地图的情况下，显示范围可以被限制到由用户指定的范围(步骤S933中的“是”)。
[0179]在各个情况下，路径确定单元54将显示区域限制到与存在地图或用户的指定对应的区域，并且设置显示范围(步骤S932、S936、S937和S934)。
[0180]接着，路径确定单元54取决于在每一步骤中设置的范围而确定移动并显示区域的路径(步骤S938)。之后，由取景器500进行的处理前进到进行自动检查的步骤(步骤S95)。
[0181]以上是与自动检查模式的范围限制有关的处理的流程。
[0182][本公开的其他配置]
[0183]应当注意，本公开还可以采用以下配置。
[0184](I) 一种信息处理设备，包括:
[0185]显示处理单元，配置为在显示单元上显示至少一部分病理图像作为显示区域；
[0186]设置单元，配置为至少接收由用户设置的、关于所述病理图像中的显示区域的位置的信息和关于移动所述显示区域的方法的信息，作为移动所述显示区域以扫描所述病理图像所需的信息；以及
[0187]自动平移单元，配置为基于设置信息顺序地移动所述显示区域。
[0188](2)根据(I)的所述信息处理设备，进一步包括
[0189]切换单元，配置为响应于来自所述用户的指令，在由所述自动平移单元顺序地移动的显示区域中的病理图像的显示和由所述用户从整个病理图像中选择的显示区域中的病理图像的显示之间切换。
[0190](3)根据(I)或(2)所述的信息处理设备，进一步包括:
[0191]生成单元，配置为
[0192]从所述用户接收与所述显示区域对应的至少一个病理图像的选择，所述显示区域由所述自动平移单元顺序地移动，并且
[0193]生成显示所选择的至少一个病理图像所需的信息作为场景信息；以及
[0194]重现单元，配置为基于所述场景信息在所述显示单元上显示所述至少一个病理图像，所述至少一个病理图像由所述用户选择。
[0195](4)根据(I)到(3)的任一个所述的信息处理设备，进一步包括
[0196]路径确定单元，配置为确定用于所述自动平移单元顺序地移动所述显示区域的路径。
[0197]( 5 )根据(4 )所述的信息处理设备，其中，
[0198]通过拍摄放置样本的载玻片而获得所述病理图像，并且[0199]所述路径确定单元配置为
[0200]对于通过空间划分所述病理图像而获得的各个区域，获得具有存在所述样本的可能性的存在地图，并且
[0201]使用所述存在地图确定用于移动所述显示区域的路径。
[0202](6)根据(4)所述的信息处理设备，其中，
[0203]所述路径确定单元配置为
[0204]从所述用户接收所述自动平移单元顺序地移动所述显示区域的范围的指定，并且
[0205]确定在所述指定范围内移动所述显示区域的路径。
[0206](7)根据(4)所述的信息处理设备，其中，
[0207]路径确定单元配置为
[0208]在所述病理图像中识别样本的边缘，并且
[0209]沿着所述边缘确定路径。
[0210](8) 一种信息处理方法，包括:
[0211]由显示处理单元在显示单元上显示至少一部分病理图像作为显示区域；
[0212]由设置单元至少接收由用户设置、关于所述病理图像中的显示区域的位置的信息和关于移动所述显示区域的方法的信息，作为所述移动显示区域以扫描所述病理图像所需的信息；以及
[0213]由自动平移单元基于设置信息依次移动所述显示区域。
[0214](9) 一种信息处理程序，使得计算机用作:
[0215]显示处理单元，配置为在显示单元上显示至少一部分病理图像作为显示区域；
[0216]设置单元，配置为至少接收由用户设置的、关于所述病理图像中的显示区域的位置的信息和关于移动所述显示区域的方法的信息，作为移动所述显示区域以扫描所述病理图像所需的信息；以及
[0217]自动平移单元，配置为基于设置信息依次移动所述显示区域。
[0218]本公开包含涉及公开在于2012年8月29日向日本专利局提交的日本优先专利申请JP2012-188749的主题的主题，其整体内容通过引用并入于此。
[0219]本领域的技术人员应当理解，只要在所附权利要求或其等同的范围之内，取决于设计要求和其他因素可以发生各种变型、组合、部分组合和变更。
【权利要求】
1.一种信息处理设备,包括: 显示处理单元，配置为在显示单元上显示至少一部分病理图像作为显示区域； 设置单元，配置为至少接收由用户设置的、关于所述病理图像中的显示区域的位置的信息和关于移动所述显示区域的方法的信息，作为移动所述显示区域以扫描所述病理图像所需的信息；以及 自动平移单元，配置为基于设置信息顺序地移动所述显示区域。
2.根据权利要求1所述的信息处理设备，进一步包括 切换单元，配置为响应于来自所述用户的指令，在由所述自动平移单元顺序地移动的显示区域中的病理图像的显示和由所述用户从整个病理图像中选择的显示区域中的病理图像的显示之间切换。
3.根据权利要求1所述的信息处理设备，进一步包括: 生成单元，配置为 从所述用户接收与所述显示区域对应的至少一个病理图像的选择，所述显示区域由所述自动平移单元顺序地移动，并且 生成显示所选择的至少一个病理图像所需的信息作为场景信息；以及重现单元，配置为基于所述场景信息在所述显示单元上显示所述至少一个病理图像，所述至少一个病理图像由所述用户选择。
4.根据权利要求1所述的信息处理设备，进一步包括 路径确定单元，配置为确定用于所述自动平移单元顺序地移动所述显示区域的路径。
5.根据权利要求4的信息处理设备，其中， 通过拍摄放置样本的载玻片而获得所述病理图像，并且 所述路径确定单元配置为 对于通过空间地划分所述病理图像而获得的各个区域，获得具有存在所述样本的可能性的存在地图，并且 使用所述存在地图确定用于移动所述显示区域的路径。
6.根据权利要求4所述的信息处理设备，其中， 所述路径确定单元配置为 从所述用户接收所述自动平移单元顺序地移动所述显示区域的范围的指定，并且 确定在所述指定范围内用于移动所述显示区域的路径。
7.根据权利要求4所述的信息处理设备，其中， 所述路径确定单元配置为 在所述病理图像中识别样本的边缘，并且 沿着所述边缘确定路径。
8.—种信息处理方法,包括: 由显示处理单元在显示单元上显示至少一部分病理图像作为显示区域； 由设置单元至少接收由用户设置的、关于所述病理图像中的显示区域的位置的信息和关于移动所述显示区域的方法的信息，作为移动所述显示区域以扫描所述病理图像所需的/[目息;以及 由自动平移单元基于设置信息顺序地移动所述显示区域。
9.一种信息处理程序，使得计算机用作: 显示处理单元，配置为在显示单元上显示至少一部分病理图像作为显示区域； 设置单元，配置为至少接收由用户设置的、关于所述病理图像中的显示区域的位置的信息和关于移动所述显示区域的方法的信息，作为移动所述显示区域以扫描所述病理图像所需的信息；以及 自动平移单元，配置为 基于设置信息顺序地移动所述显示区域。
【文档编号】G06F19/00GK103678863SQ201310369560
【公开日】2014年3月26日 申请日期:2013年8月22日 优先权日:2012年8月29日
【发明者】山口浩司, 山根健治, 高桥正弘 申请人:索尼公司