图像处理装置、图像处理方法、图像显示装置的制造方法
【专利摘要】本发明提供一种图像处理装置、图像处理方法、图像显示装置，推定观察图像的操作者接下来要观察的图像上的位置来作为下个位置候补。图像处理装置(110)具备：下个观察推定部(101)，其将利用表示操作记录的参数以及至少当前时刻的推定结果的信息，基于由预定的概率分布得到的概率值从多个位置之中选择出的位置推定为下个位置候补；以及显示图像生成部(102)，其生成用于至少将下个位置候补以能够视觉辨认的方式显示的图像。
【专利说明】
图像处理装置、图像处理方法、图像显示装置
技术领域
[0001] 本公开设及变更图像的倍率的处理。
【背景技术】
[0002] W往，病理诊断是通过病理医师利用显微镜来进行的。但是，随着诊断数量的增加 和/或病理医师的短缺，多数情况下病理医师很难在现场直接使用显微镜进行观察。因此， 需要进行将病理检验标本信息数字化并将所获得的图像的信息向远程地点发送的远程病 理诊断。但是，由于需要W高分辨率对病理图像进行拍摄，因此图像尺寸必然变大。因此，难 W将图像整体一次性传送。
[0003] 例如，专利文献1提出了没有病理医师的医院的检查技师与病理医师相互指定图 像中的意欲观察的检验标本区域的位置和/或倍率并进行传送的显微镜静态图像传送系统 的方案。
[0004] 专利文献1:日本特开平6-3601号公报
【发明内容】
[0005] 在专利文献1中，检查技师与病理医师需要合作且W手动的方式指定观察位置和 倍率。因此，在病理医师观察期间，检查技师需要介入。
[0006] 本公开的非限定性且例示的一个方式提供自动地推定病理医师所希望的观察位 置与倍率，并将该区域自动提示给病理医师的图像处理技术。本公开的一个方式所附带的 好处及优点基于本说明书W及附图得到明确。该好处和/或优点可通过本说明书W及附图 所公开的各种方式及特征分别独立地提供，并不是为了得到一个W上的好处和/或优点而 所有方式及特征都是必需的。
[0007] 本公开的一个方式的图像处理装置推定观察图像的操作者接下来要观察的图像 上的位置来作为下个位置候补，具备:下个观察推定部，其针对上述图像上的多个位置的各 个位置，将利用表示操作记录的参数W及至少当前时刻的推定结果的信息，基于由预定的 概率分布得到的概率值从多个位置之中选择出的、使用高斯函数计算条件概率而得到了最 大的条件概率的位置推定为上述下个位置候补；W及显示图像生成部，其生成用于至少将 上述下个位置候补W能够视觉辨认的方式显示的图像。
[000引此外，运些总括或者具体的方式可W通过系统、方法、集成电路、计算机程序或者 计算机可读取的记录介质实现，也可W通过对装置、系统、方法、集成电路、计算机程序W及 计算机可读取的记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM (Compact Disc-Read Only Memory;光盘只读存储器)等非易失性的记录介质。
[0009]根据本公开，通过使用病理医师所希望的观察位置自动地推定，可W推定病理医 师的动向，将该区域提示给病理医师。即，即使检查技师不介入，也可W预测病理医师所希 望的观察位置，使病理医师能够观察该区域。
【附图说明】
[0010] 图1为表示实施方式1的图像显示装置100的构成的框图。
[0011] 图2为表示图像处理装置110的处理的顺序的流程图。
[0012] 图3A为表示推定结果保持部105所保持的、更新前的推定结果200的图。
[0013] 图3B为表示推定结果保持部105所保持的、更新后的推定结果201的图。
[0014] 图4为对观察特征量保持部106的保持内容进行说明的图。
[0015] 图5为表示像素观察必要度的计算方法的流程图。
[0016] 图6A为示意性示出为了计算小区域观察必要度而不允许重复地分割的图像的图。
[0017] 图6B为示意性示出为了计算小区域观察必要度而允许重复地分割的图像的图。
[0018] 图7为表示Bag-of-feaUires的处理的流程的图。
[0019] 图8为表示下个观察推定部101的处理内容的流程图。
[0020] 图9为对下个位置推定的结果、在图像上进行非线性的推定的情况进行说明的图。 [0021 ]图10A为表示图像金字塔保持部108的数据构造的示意图。
[0022] 图10B为表示图像金字塔保持部108的图像金字塔的概念的示意图。
[0023] 图11A为对W某个恒定的动向预测进行说明的图。
[0024] 图11B为对W某个恒定的动向预测进行说明的图。
[0025] 图11C为对W某个恒定的动向预测进行说明的图。
[0026] 图12为表示实施方式2的图像显示装置120的构成的框图。
[0027] 图13为表示超分辨率处理部901的处理内容的流程图。
[0028] 图14为表示实施方式3的图像显示装置140的构成的框图。
[0029] 图15A为表示结果显示控制部1101的显示例的示意图。
[0030] 图15B为表示对未实施超分辨率处理的区域根据输入部104的输入信息实施了超 分辨率处理时的结果显示控制部1101的显示例的示意图。
[0031] 图16为表示具有不具有观察特征量保持部的图像处理装置110a的图像显示装置 100a的构成的框图。
[0032] 图17为表示仅利用位置的信息求取条件概率的处理的顺序的流程图。
[0033] 图18为表示实施方式1~3的图像显示装置的硬件构成的框图。
[0034] 图19为表示使用数据服务器1401W及多台计算机1402、1403实现图像显示装置的 构成例的图。
[0035] 图20为用于说明图像处理方法的图。
[0036] (附图标记的说明）
[0037] 100图像显示装置；101下个观察推定部；102显示图像生成部；103图像显示部；104 输入部；105推定结果保持部；106观察特征量保持部；107参数保持部；108图像金字塔保持 部;109生成图像保持部;901超分辨率处理部;1101结果显示控制部;1102放大操作判定部。
【具体实施方式】
[0038] (作为本公开的基础的见解）
[0039] 医疗诊断业务的目的为对于病名与病情的把握。根据所把握的病名或者病情来确 定治疗方针。为了确定病名或者病情而进行从病变部取出检验标本并w细胞等级进行状态 观察的病理诊断。在病理诊断中，通过将取出的检验标本切片成可由显微镜进行观察的厚 度来制作标本。近年来，标本隔着显微镜由数字照相机或者扫描仪进行拍摄，并作为数字图 像被保存W及被参照。
[0040] 另一方面，随着近些年诊断数量的增加和/或病理医师的短缺，多数情况下病理医 师很难在现场直接使用显微镜进行观察。在该情况下，需要进行远程病理诊断，即由不是病 理医师的人±进行拍摄并将病理检验标本的图像的信息向病理医师所在的场所发送，供病 理医师在远程地点进行诊断。但是，由于需要W高分辨率(高像素数)拍摄病理图像，因此图 像尺寸必然变大。很难将全部的图像的信息一次性向病理医师传送。因此，需要传送将检验 标本图像按部分进行分割而得的部分检验标本图像的信息。
[0041] 在上述的专利文献1中，检查技师与病理医师合作且W手动的方式指定观察位置 与倍率。因此，在病理医师观察期间，需要检查技师介入。检查技师的介入的必要性成为了 病理诊断的限制事项。
[0042] 通常，病理医师并不详细观察整个检验标本，而首先俯廠观察整个检验标本，对应 详细观察的部位进行推测，然后放大显示该部位来进行观察。此外，在一边变更显示位置， 一边使关屯、的部位显示的情况下，放大或缩小来进行观察。
[0043] 本申请发明人出于W下观点不断地进行了研究:若基于上述的病理医师的工作模 式使被利用于进行病理诊断的设备工作，则有可能无需检查技师的介入。结果，开发出由设 备预测病理医师意欲观察的检验标本的位置等，并将推定为病理医师所希望的部分区域提 示给病理医师的技术。
[0044] 本公开的一个方式的概要如下。
[0045] 本公开的一个方式的图像处理装置推定观察图像的操作者接下来要观察的图像 上的位置来作为下个位置候补，具备:下个观察推定部，其将利用表示操作记录的参数W及 至少当前时刻的推定结果的信息，基于由预定的概率分布得到的概率值从多个位置之中选 择出的位置推定为上述下个位置候补；W及显示图像生成部，其生成用于至少将上述下个 位置候补W能够视觉辨认的方式显示的图像。
[0046] 在某一实施方式中，上述预定的概率分布为高斯分布，上述下个观察推定部针对 上述图像上的多个位置的各个位置，计算使用上述高斯分布得到的条件概率的概率值，将 得到最大的概率值的位置推定为上述下个位置候补。
[0047] 在某一实施方式中，上述表示操作记录的参数至少包括表示观察到的图像的位置 的信息，上述下个观察推定部将上述多个位置的各个位置作为接下来要观察的图像上的位 置的候补，针对上述多个位置的各个位置计算上述概率值。
[004引在某一实施方式中，上述表示操作记录的参数还包括表示倍率的信息，上述下个 观察推定部针对上述多个位置的各个位置，计算与接下来要观察的图像上的位置W及倍率 有关的上述概率值。
[0049]在某一实施方式中，上述下个观察推定部利用按上述图像的各像素预先准备的、 表示观察各像素的必要性的大小的像素观察必要度的信息，计算包括上述多个位置的各个 位置的小区域的图像观察必要度，利用上述预定的概率分布和与上述多个位置的各个位置 对应地计算出的上述图像观察必要度来计算上述概率值。
[0050] 在某一实施方式中，上述下个观察推定部针对上述图像上的多个位置的各个位 置，进一步利用预先计算出的图像特征量的信息计算上述概率值。
[0051] 在某一实施方式中，上述显示图像生成部生成用于显示依次求出的多个推定结果 的图像。
[0052] 在某一实施方式中，上述图像处理装置还具备超分辨率处理部，上述超分辨率处 理部判定是否针对包含由上述下个观察推定部推定的上述下个位置候补的部分区域进行 超分辨率处理，在判定为进行上述超分辨率处理的情况下，基于改变照明光的照射方向而 拍摄到的、所给予的病理检验标本的多个图像的数据构建像素数更多的放大图像，针对上 述放大图像中的、与上述部分区域对应的小区域进行基于反卷积运算的超分辨率处理。
[0053] 本公开的一个方式的图像显示装置具备上述的任一个图像处理装置；W及图像显 示部，其显示由上述显示图像生成部生成的上述图像。
[0054] 本公开的另一个方式的图像显示装置具备：图像处理装置，其计算设及上述的倍 率的上述概率值；图像显示部，其显示由上述显示图像生成部生成的上述图像；W及结果显 示控制部，其进行控制W显示由上述下个观察推定部推定的位置W及倍率的信息。
[0055] 在某一实施方式中，上述图像显示装置的图像处理装置还具备超分辨率处理部， 上述超分辨率处理部判定是否针对包含由上述下个观察推定部推定的上述下个位置候补 的部分区域进行超分辨率处理，在判定为进行上述超分辨率处理的情况下，基于改变照明 光的照射方向而拍摄到的、所给予的病理检验标本的多个图像的数据构建像素数更多的放 大图像，针对上述放大图像中的、与上述部分区域对应的小区域进行基于反卷积运算的超 分辨率处理。
[0056] 在某一实施方式中，上述图像显示部将由上述超分辨率处理部实施超分辨率处理 后的区域W能够视觉辨认的方式显示。
[0057] 在某一实施方式中，上述图像显示装置还具备输入部，上述输入部接受来自操作 者的对于上述图像中的部位的选择，在上述输入部接受了上述图像中的部位的选择的情况 下，上述结果显示控制部使上述下个观察推定部重新从所选择的上述部位推定上述下个位 置候补。
[0058] 在某一实施方式中，在上述输入部接受了上述图像中的部位的选择且未针对所选 择的上述部位实施上述超分辨率处理的情况下，上述结果显示控制部使上述超分辨率处理 部实施针对所选择的上述部位的上述超分辨率处理。
[0059] 在某一实施方式中，上述图像显示装置还具备放大操作判定部，上述放大操作判 定部判定上述操作者是否针对上述图像显示部所显示的上述图像的部位进行了连续预定 的次数W上的放大操作，在判定为进行了上述放大操作的情况下，上述放大操作判定部使 上述超分辨率处理部实施针对上述部位的上述超分辨率处理。
[0060] 本公开的一个方式的方法推定观察图像的操作者接下来要观察的图像上的位置 来作为下个位置候补，将利用表示操作记录的参数W及至少当前时刻的推定结果的信息， 基于由预定的概率分布得到的概率值从多个位置之中选择出的位置推定为上述下个位置 候补，生成用于至少将上述下个位置候补W能够视觉辨认的方式显示的图像。
[0061] 本公开的一个方式的记录介质是具有用于使具备处理器的设备执行推定观察图 像的操作者接下来要观察的图像上的位置来作为下个位置候补的处理的程序的记录介质， 上述记录介质为非易失性且可供计算机读取，上述程序使上述设备将利用表示操作记录的 参数W及至少当前时刻的推定结果的信息，基于由预定的概率分布得到的概率值从多个位 置之中选择出的位置推定为上述下个位置候补，生成用于至少将上述下个位置候补W能够 视觉辨认的方式显示的图像。
[0062] 本公开的一个方式的图像处理方法为:获得相对于第1区域所含的第1位置的多个 候补位置，上述多个候补位置包含第1候补位置，上述多个候补位置包含于与上述第1区域 不同的第2区域，上述第1区域与上述第2区域包含于第1图像，上述第2区域包含含有第3区 域的多个区域，上述多个区域与上述多个候补位置分别对应，上述多个区域的各个区域包 含上述对应的候补位置，上述第3区域与上述第1候补位置对应，上述第3区域包含上述第1 候补位置，确定上述多个区域的各个区域所含的多个像素值的图像特征信息，获得表示针 对与上述第1图像不同的一个或者多个图像的观察位置的变更记录的记录信息，基于上述 图像特征信息与上述记录信息确定上述多个候补位置所含的一个候补位置，使用与上述第 1图像的种类对应的分类方法，将上述多个区域的各个区域所含的多个像素值分类，基于上 述分类结果，确定上述多个区域的各个区域所含的多个像素值的图像特征信息，使用与上 述第1图像的种类对应的分类方法，将上述第1多个像素值分类而得到第1分类结果，基于上 述第1分类结果，确定上述第3区域所含的第1多个像素值的图像特征信息。
[0063] 在某一实施方式中，当上述第1多个像素值的个数为(pXr) X (qXs)(p、q、r、s为 自然数），并使用与上述第1图像的种类对应的分类方法将上述第1多个像素值分类时，上述 分类按各个r X S个像素值的组来进行，获得P X q个分类结果，所获得的上述P X q个分类结 果被作为上述第1多个像素值各自的图像特征信息。
[0064] (用语的定义）
[0065] 在本说明书中，W下述方式定义用语。
[0066] 分辨率:与构成所拍摄的图像的像素的数目对应的图像的精细度。在图像为矩形 形状的情况下，也存在使用图像的横向的像素数PW及纵向的像素数Q而称为"分辨率PXQ 的图像"的情况。在利用红、绿W及蓝运3种类子像素(子像素组）显示一个像素的颜色的彩 色图像中，并不由子像素的总数，而是由利用子像素组表示的该一个像素的总数表示分辨 率。此外，关于显示装置，例如可W使用DPKDots Per Inch;每英寸点数）等来定义"分辨 率"。然而，为了避免混乱，在本申请说明书中，"分辨率"与图像的像素数相关联地定义。
[0067] 倍率:将所拍摄的图像显示于显示装置(显示器)时的放大率或者缩小率。在本说 明书中，将构成图像的各像素与显示装置的各像素对应地显示时所谓的点对点方式显 示时）的倍率设为1倍（100%)。倍率为用于调整显示图像的大小的参数。对于图像的纵向W 及横向可分别设定倍率。不过，即便增减倍率，显示的图像的分辨率也不会改变。
[0068] 与上述的定义相关联地对分辨率与倍率的关系进行说明。
[0069] 首先，考虑将图像的某个区域WR倍放大显示的情况。如果只是将原始图像放大为 R倍，则会感觉到图像的精细度降低至例如1/R倍。运是由于将原始图像放大显示所致，尽管 空间频率并未发生变化。在运样的情况下，在W下进行说明的实施方式中，利用WR倍的分 辨率拍摄相同的被拍摄对象而得的图像显示该区域。在不存在刚好为R倍的分辨率的图像 的情况下，选择例如比R倍大的、具有S倍的分辨率的图像，再将该图像形成为R/S倍、即缩 小。或者，选择例如具有仅次于R倍而偏小的S倍的分辨率的图像，再将该图像形成为S/R倍、 即放大。由此，作为结果，可W得到R倍的分辨率的图像。图像的缩小处理可W使用公知的任 意的算法。上述的处理在W下的实施方式中不再次说明。如果求得倍率，则选择与该倍率对 应的分辨率的图像，并根据需要进行放大处理或者缩小处理。
[0070] (实施方式1)
[0071] 在本实施方式中，对于基于至少内含图像特征的特征量推定病理医师接下来要观 察的图像上的位置与图像的倍率，并将图像的该位置W该倍率显示的图像显示装置进行说 明。
[0072] 图1为表示实施方式1的图像显示装置100的构成的框图。
[0073] 图像显示装置100具备图像处理装置110、图像显示部103、输入部104。此外，图像 处理装置110具有下个观察推定部101、显示图像生成部102、推定结果保持部105、观察特征 量保持部106、参数保持部107、图像金字塔保持部108、生成图像保持部109。
[0074] W下，对于图像显示装置100的工作、特别是图像处理装置110的工作进行概略说 明。与该工作的说明相关联地，也对于图像处理装置110的各构成要素的功能和/或保持(存 储)的信息的内容进行说明。
[0075] 图2为表示图像处理装置110的处理的顺序的流程图。
[0076] 在步骤S11中，下个观察推定部101从参数保持部107读取表示操作记录的参数(V '，Σ)。表示操作记录的参数是预先汇总的、表示操作者的操作的记录的参数。上述操作者 可W是各种病理医师，也可W是当前正在操作的病理医师。W下，W各种病理医师的操作记 录为例进行说明。
[0077] 在本说明书中，参数"ν'"(读作"V hat"。在下述的数学式中标在V'之上。W下 相同）为各种病理医师观察时的操作"V"的平均值。操作V'包含确定各病理医师或者同一 病理医师所指定的图像的观察位置的信息W及观察时指定的倍率的信息。通过将图像的观 察位置的信息W及倍率的信息排列记述，能够将操作V'作为矢量来掌握。即可W将V'称 为"操作矢量"。
[0078] 举例进行说明。将进行观察的图像上的位置表示为(a,b)，将观察时的倍率表示为 Z。位置(a，b)为病理医师使用例如鼠标指定的、显示于显示器的图像中的像素的位置。倍率 Z同样为使用鼠标或者键盘指定的显示倍率。操作矢量V'表现为v=(a，b，z)。将表示n(n: 自然数)次的操作的操作矢量分别设为V1、V2、…、Vk、一Vn。此外，关于Vk，如果将进行观察的 图像上的位置表示为(ak，bk)，观察时的倍率表示为zk，贝可W表现为vk= (ak，bk，zk)。通过 使用上述符号，作为操作矢量V的平均的矢量V'可W如下式1那样表现。
[0079] 试1)
[0080] V =(a ,h ,ζ )
[0081] 其中，a = 1/n · sum(￡ik)(k: 1~η)
[0082] b = 1/n · sum(bkKk: 1 ~η)
[0083] z = 1/n · sum(zkKk: 1 ~η)
[0084] "s皿(ak)"是指使k按照1~η变化而得到的数列ak的加法运算。
[0085] 此外，在本实施方式中含有倍率的信息，但也可W不含该信息。可W只是病理医师 指定的观察位置的信息。
[0086] 参数"Σ"为上述的V'的协方差矩阵，可如下式2那样定义。
[0087]试2]
[008引
[0089] 如果将式2的协方差矩阵的各要素一般化表示为Spq，则Spq可如下定义。
[0090] 试3]
[0091]
[0092] P hat(p-似及q hat(q-)为pW及q的平均。T表示转置。
[OOW]如果W式帥的矩阵5：的Sxy元素为例，贝鹏作矢量νι、ν2、···νη所含的ai、a2、一an分 别与式3中的ρ?、Ρ2、···、Ρη对应。另外，操作矢量ν?、ν2、···νη所含的bl、b2、'''bn分别与式3中的 qi、Q2、· · ·、qn对应。另外，如果W式帥的矩阵Σ的Sya元素为例，贝鹏作矢量VI、V2、· · · Vn所含的 bl，b2,…山分别与式3中的P1、P2、···、pn对应。另外，操作矢量ν?、ν2、···νη所含的Ζ1、Ζ2、···Ζη分 别与式3中的qi、q2、'''、qn对应。
[0094]参数保持部107预先保持表示操作记录的参数(V'，S )。
[00M]在步骤S12中，下个观察推定部101选择多个位置作为下个位置候补(χ^)ι、···、（χ? +1)1、···。此处，将当前的位置表示为xt。运表示病理医师进行第t次的选择。接下来要选择的 位置表示为xt+i。上标的（t+1)是指在第t+1次选择的下个位置候补。此外，添加字i是为了区 分各个下个位置候补而标注的，W便于理解。在图2中，未对位置xW标示出添加字i，运是处 于记载的方便。随后的图2的各步骤同样为了记载的方便而省略添加字i。下述的倍率(zt +1)1也同样如此。运样，分别选择各个下个位置候补。如下所述，经由步骤S13~S16的处理， 下个观察推定部101从多个位置候补之中选择一个。该位置为病理医师接下来要观察的位 置的最终候补。
[0096] 此外，含有位置xt的区域与各个下个位置候补xt+i所存在的区域不同。不过，所有 区域都包含于对相同的病理检验标本进行拍摄的图像。另外，位置及各个下个位置候 补xt+i具有固有的像素值。也即是，如果位置W及位置候补被确定，则能够确定与它们分别 一对一对应的像素值。
[0097] 在步骤S13中，下个观察推定部101按各个下个位置候补(χ^)ι，从观察特征量保 持部106读取像素观察必要度(w(I(a，b) I (χ^)ι))。像素观察必要度在图2所示的处理的开 始之前被求出，如果像素的位置被确定，则求出与该像素对应的像素观察必要度。也即是， 对于各个下个位置候补(χ^)ι，可唯一地确定像素观察必要度(w(I(a，b)|(xt+i)i))。
[0098] 像素观察必要度是与各个像素"I(a，br建立对应的数值，该数值越大，表示观察 该像素的必要性越高（下述的图4)。此外，上述的"I(a，br表示图像上的坐标位置(a,b)处 的像素。
[0099] 在步骤S14中，下个观察推定部101利用所读取的像素观察必要度，计算各个下个 位置候补的图像观察必要度(巧(1"1|^"1)1心"1)1))。图像观察必要度(巧(（1"1)1|^"1)1， (Z"1)1))表示观察在W倍率(Z"1)1观察位置(X"l)拥显示的图像0-")ι的必要性的高度。 图像(1"1)功包含上述的位置(χ"ι)ι且W倍率(ζ"ι)ι显示的部分图像。作为一个例子，图像 观察必要度可W作为将属于包含上述的位置(Χ^)1且W倍率(Ζ^)1显示的图像的范围的所 有位置的像素观察必要度相加后的值求出。
[0100] 在步骤S15中，下个观察推定部101利用参数与图像观察必要度，计算各个下个位 置候补的条件概率。（（1"1)1，片")1|訂）。条件概率通过下述的式4求出。此外，式4中记载 为省略添加字i。
[0101] 在步骤S16中，下个观察推定部101选择条件概率最大的下个位置候补，将其结果 作为新的推定结果并更新推定结果保持部105。此外，选择方法除此之外还有根据概率值随 机选择的方法等。在概率选择的情况下，概率值大的容易被选择，概率值小的不易被选择。 也即是，除概率最大的W外也可W被选择。该选择方法在病理医师的操作记录的收集数量 少的情况下，也即是表示操作记录的参数的计算不足的情况下可被利用。W下，W选择概率 值最大的下个位置候补的情况为例进行说明。
[0102] 图3A表示推定结果保持部105所保持的推定结果200。图3B表示经推定结果保持部 105更新后的推定结果201。
[0103] 下个观察推定部101生成至少包含观察时刻栏202、与各时刻对应的坐标栏203和 倍率栏204的推定结果200。观察时刻栏202保持距当前时刻与"T"时刻的量对应的推定结 果，"T"最小为仅1时刻前，最大为从开始时刻起被保持。此外，"1时刻"是指"次数"，不过也 可W为固定值或者变化值的时间长度。
[0104] 如果下个观察推定部101计算新的推定结果，则推定结果保持部105更新时刻并保 持，删除最早时刻的结果。结果，变更为图3B所示的推定结果201。
[0105] 在坐标栏203保持推定为病理医师要观察的显示部位的中屯、坐标，在倍率栏204保 持推定的显示倍率。保持于坐标栏203的坐标为保持于图像金字塔保持部108的基准图像内 的坐标。另外，倍率栏204将基准图像的像素等倍显示设为1.0,在放大至2倍观察的情况下 记为2.0，在0.5倍的情况下记为0.5。
[0106] 再次参照图2。
[0107] 在步骤S17中，显示图像生成部102根据所选择的下个位置候补，从保持于图像金 字塔保持部108的、分辨率不同的各种图像组中选择预定的分辨率的图像。选择的图像的分 辨率为基于计算上述的图像观察必要度时的倍率"zt+i"确定的分辨率。依据倍率求取分辨 率的方法如在"用语的定义"栏中所述。
[0108] 显示图像生成部102在步骤S18中，从所选择的图像中生成显示用图像，在步骤S19 中，将显示用图像存储于生成图像保持部109。
[0109] 通过W上的处理，图像处理装置110能够基于预先获得的各种病理医师的操作的 信息，推定认为当前操作中的病理医师接下来要观察的位置W及倍率。
[0110] W下，对于本实施方式的图像显示装置100的构成要素进行说明。
[0111] 再次参照图1。与各构成要素的说明相关联地适当参照图3AW后的附图。
[0112] 下个观察推定部101W保持于推定结果保持部105的当前的位置与倍率、保持于参 数保持部107的参数、保持于观察特征量保持部106的特征量作为输入，并如式4所示计算条 件概率"ρ(Ι"ι，χ"?|。"。
[0113] 试4]
[0114]
[011引式4所含的符号的意思如下。V"表示保持于推定结果保持部105(图3)的时亥Ijt的 图像上的推定位置表示下个时刻的推定位置矢量(a"i，b"i)。^'表示归一化 系数。V为作为u = v"i-vt得到的、包含第t次的位置与第(t+1)次的推定位置的差W及第t 次的倍率与第(t+1)次的推定倍率Z的差的矢量。"V"'表示将时刻的图像上的推定位置(aS bt)与推定倍率"z"'（Z为小写文字)并排而得的矢量(at，bt，zt)，V""表示将下个时刻的推 定位置与倍率并排而得的矢量(a"l，b"l，z"l)。运样，为u=(a"l-at，b"l-bt，z"l-zt)。V' W及为依据各时刻t = l、2、…、η中的V求出的平均W及协方差矩阵。ιΓ与式1中的V'相 同，通过计算各时刻的U的相同的元素的值的平均而求出。另外，Σ根据式2W及式3的定义， 利用各时刻的U的元素而求出。
[0116] 如上所述，"ν'" W及"Σ"利用预先汇总的病理医师的操作在处理开始前获得，被 保持于参数保持部107,可W说是表示与操作相关的记录的参数。运些值在图2的步骤S11中 被读取。另外，Vi"i|x"i，z"T表示在W倍率V""观察V""的位置时显示的图像 的图像观察必要度。
[0117] 通过式4的运算，得到条件概率^(1"1，义"1|訂"。为了求出式4所含的图像观察必 要度，需要下个图像特征量1"1、下个位置候补及下个倍率z"i。得到的条件概率可W 说是表示接下来发生上述各值的组合的概率。下个观察推定部101输出所得到的条件概率 值、给出该概率值的下个位置候补下个倍率及下个图像特征量
[0118] 下个观察推定部101如图2的步骤S12~S15所示，对于多个下个位置候补的各个候 补计算由上述的式4求出的条件概率。然后，下个观察推定部101选择给出其中最大的概率 值的下个位置候补xW(在本实施方式中，包含倍率值)作为推定结果。
[0119] 接下来，对用于求解像素观察必要度w(I(a，b)|xW)和使用像素观察必要度求出 的图像观察必要度w(lt+i|xW，zW)所需的、像素观察必要度进行说明。此外，到目前为止， 为了明确是对多个候补位置中的每一个求解其必要度，使用添加字i记为(χ^)ι等，但W下 一般化而省略添加字i的记载。附图中也同样如此。
[0120] 图4表示保持于观察特征量保持部106的、每个坐标的像素观察必要度302。像素观 察必要度302为在图2的步骤S13中，通过下个观察推定部101从观察特征量保持部106读取 的信息。
[0121] 观察特征量保持部106针对每个图像尺寸(W像素）X化像素）的图像的坐标301，保 持通过下述的方法计算出的像素观察必要度302。在本实施方式中，下个观察推定部101使 用被预先保持于观察特征量保持部106的像素观察必要度302如式5所示计算图像观察必要 度 νι"?|χ"ι，ζ"ι)"。
[0122] 试5]
[0123]
[0124] 其中，"w(I(a，b)|xt")"表示像素"l(a，b)"的像素观察必要度，"护表示在W倍率 "z"i"观察时显示在画面上的区域。
[0125] 图5为表示像素观察必要度的计算方法的流程图。此外，为了方便说明，W下，对于 下个观察推定部101计算像素观察必要度的情况进行说明，但运不过为一个例子。像素观察 必要度可W通过与图像显示装置100不同的装置生成。
[01%]下个观察推定部101按照如下的顺序求解像素观察必要度"w(I(a，b)|xt+i)"。此 处，原本的图像为W像素 XH像素的集合。
[0127] 首先，在步骤S101中，下个观察推定部101将图像分割为(W像素）X化像素)尺寸的 Μ个小区域"Ri"。
[0128] 图6A表示被分割为(W像素）X化像素)尺寸的Μ个小区域的图像。该图像包含所拍 摄的病理检验标本501。在图6Α中，小区域被无重复地设置。另一方面，图6Β表示另一例的、 被分割为(W像素）X化像素)尺寸的Μ个小区域的图像。在相邻的小区域间有一部分的像素 重复。可W为图6AW及图6Β中的任意的分割方法。
[0129] 接下来，下个观察推定部101在步骤S102中，选择第Κ? = 1、2、···、Μ)个的小区域， 在步骤S103中，求出所选择的小区域内的图像特征量。在本实施方式中，作为图像特征量， 为了将各部位的色调与局部的形状作为特征量编入，利用特征包(bag-〇f-features;W下 用字母表述。）。基于bag-of-f ea化res的处理参照图7在下文中叙述。
[0130] 在步骤S104中，下个观察推定部101根据在步骤S103中求出的图像特征量计算小 区域观察必要度"w(Ri|xt+i)"。对于小区域观察必要度的计算，在本实施方式中利用SVR (suppo;rt vector regression;支持向量回归）。"w(Ri I yt+i)"的值高越高，表示是病理医师 越应该观察的部位。R嗦示被分割为Μ个的小区域，X"堪多个下个位置候补的各自的位置。
[0131] 之后，在步骤S105中，下个观察推定部101判定是否在所有部位计算了小区域观察 必要度。当存在未计算的小区域的情况(是）下，处理作为i = i+l返回步骤S102。当计算在所 有小区域中均完毕的情况下（否），处理前进至步骤S106。在处理前进至步骤S106的时刻，会 对所有小区域计算小区域观察必要度。
[0132] 在步骤S106中，下个观察推定部101选择用于根据小区域观察必要度"w(Ri|xt+i)" 计算像素观察必要度"w(I(a，b)|xWr的像素。作为用于选择像素观察必要度的像素，选择 下个位置候补xt+i。此处的I(a，b)表示是下个位置候补xW的像素。
[0133] 随后，在步骤S107中，下个观察推定部101计算像素观察必要度"w(I(a，b)|xt+i)"。 在如图6A那样无重复地进行分割的情况下，第j个的坐标(a,b)的像素观察必要度如式6所 示。另一方面，在如图6B那样重复的情况下，例如式7所示。
[0134] 试6]
[013引 w(I(a，b) |x"i)=w(Ri|x"i)
[0136] [式 7]
[0137] w(I(a，b) |x"i)=meam(w(Ri|x"i))
[013引此处，meam(.)表示利用坐标(a, b)的小区域间的平均。此外，在重复区域中，除此 之外也可W取最大值和/或最小值。
[0139]接下来，在步骤S108中，下个观察推定部101判定是否在所有的像素中像素观察必 要度的计算均完毕。当在所有的像素中计算都已完成的情况下（否），处理前进至步骤S109， 下个观察推定部101将像素观察必要度保持于观察特征量保持部106并结束。
[0140]另一方面，在未在所有像素中完成像素观察必要度的计算的情况下(是），作为j = j+1使处理前进至步骤S106,直至所有的像素都完成像素观察必要度的计算为止，重复步骤 S106W 及 S107。
[0141 ] 此处，参照图7对上述的Bag-〇f-f ea1:ur e S的一个例子进行说明。Bag-〇f-f eatur e s 首先计算第i个小区域1501内的局部特征量。作为局部特征量，利用将从第i个小区域1501 内切出的比(W像素）X化像素)小的图像尺寸(r像素 ）X (S像素)的局部图像排成1列的(r X S)维的矢量1502。对从第i个的小区域内切出的多个局部图像实施上述的处理，据此从第i 个的小区域内计算多个矢量。此时，由于图像一般由RGB运3色表现，因此按照各色实施上述 的局部特征量的计算，通过将它们全部排列而生成(3XrXs)维的矢量，据此计算基于各部 位的色调的局部特征量。另外，由于该方法将局部图像本身作为特征量，因此小区域内的局 部的形状也作为特征被保持。将运些各局部特征量分别同预先依据学习用的图像的信息计 算出的代表性的局部特征量作比较，计算最接近各局部特征量的代表性的局部特征量。作 为代表性的局部特征量的计算方法，可W按照每种疾病来收集各疾病图像，利用从各图像 计算出的局部特征量的平均或者利用从所有学习用图像(假定的多个种类的病理检验标本 的图像)的信息生成的全部的局部特征量进行k-means聚类，将表示各聚类的中屯、的矢量利 用为代表性的局部特征量。最后，对代表性的局部特征量中的某个特征量被判定为与从第i 个小区域内计算出的各局部特征量A~Η最接近的次数进行计数，并将所有代表性的局部特 征量的计数数量排列为一列而形成矢量，进而将此作为表示第i个小区域的图像特征量。在 图7的情况下，作为代表性的局部特征量，计算出"A"、"B"、"C"、"护、巧"、Τ'、"G"、运8 种。此外，矢量1502与Τ'最接近。此时，使与"F"对应的频度加1。在对所有的局部图像实施 后，第i个小区域1501的频度成为频度1503。此时，第i个小区域1501的图像特征量成为排列 频度1503的值而成的矢量1504。该方法不直接利用将图像尺寸(r像素）X(s像素）的局部图 像排成1列而成的（rXs)维的矢量，因此计算出可对抗小区域图像内的噪声的特征量。此 夕h局部特征量的计算并不局限于上述情况，例如也可W利用计算对于物体的大小不变的 特征量的SIFT(Scale Invariant Fea1:ure Transform;尺度不变特征变换）等。
[0142] 上述的图5中的步骤S103的图像特征计算W及步骤S104的观察必要程度计算也可 W利用上述W外的方法。例如，可W代替bag-of-feaUires，转而使用deep-learning(深度 学习）从大量的图像的数据中学习有效的特征量本身，也可W代替SVR，转而利用random forest(随机森林)。
[0143] 接下来，参照图8的流程图对式4的计算方法进行说明。图8为表示下个观察推定部 101的处理内容的流程图。该处理与图2的步骤S11~S16的处理对应，由下个观察推定部101 进行。
[0144] 首先，在步骤S201中，下个观察推定部101从参数保持部107中读取参数与 。接下来，在步骤S202中，下个观察推定部101基于式4的"exp(. Γ的值对下个位置候补 进行N点采样。在采样过程中利用Box-Muller法。Box-Muller法为根据高斯分布进行采样的 方法。首先，从-1~+1之间随机生成2个值"曰1"、"曰2"，判定曰12+曰22的值是否为m下。然后，当 ai2+a22的值为下的情况下，使用下式计算V"。得到的V"基于平均0、方差1的高斯分 布。
[0145] 试17]
[0146]
[0147] 其中，"ai"表示"ai"或V'，可W利用任意一方计算。另外，V"为r2 = ai2+a22。
[0148] 接下来，利用由上式生成的基于平均0、方差1的高斯分布的随机数生成随机数矢 量a = (a'，b'，z')。此外，V"、V"也是利用式17生成的值。
[0149] 接下来，将与式4的"exp(.r内的逆矩阵"Σ-1"对应的协方差矩阵"Σ"分解，获得 成为S=LLT的矩阵"L"。凭此计算作为y = v'+La得到的矢量。得到的y=(a/，b/，z^)为基于 平均矢量"ν'"、协方差矩阵"Σ"的高斯分布。通过将该矢量内的(a/，b/ )作为下个位置候补 点，在得到N点之前实施上述计算，据此对下个位置候补点进行N点采样。
[0150] 作为其他方法，也可W采用位于W当前位置为中屯、的N个方位W及预定的距离的 像素作为下个位置候补。或者，可W考虑图像的病理检验标本的展开来确定N个下个位置候 补点。
[0151] 接下来，在步骤S203中，下个观察推定部101从观察特征量保持部106读取第i个下 个位置候补的像素观察必要度。
[0152] 随后，在步骤S204中，下个观察推定部101判定是否在所有下个位置候补读取像素 观察必要度。当存在未读取的下个位置候补的情况下（是），作为i = i + l将处理返回步骤 S203。当在所有下个位置候补都完成读取的情况下（否），前进至步骤S205。在步骤S205中， 下个观察推定部101按各个下个位置候补，基于像素观察必要度的值，求解式4的条件概率， 从中选择最终的下个位置候补。
[0153] 在本实施方式中，下个观察推定部101选择通过式4的运算得到的条件概率最大的 位置作为最终的下个位置候补。例如图9示出依次求出的、下个位置的推定结果701、702、 703。如果用线704连结下个位置的推定结果701、702、703，则可看出在图像整体中推定的下 个位置W非线性推移。
[0154] 进而，图9中的四边框705、706、707表示在各时刻的显示画面区域。显示画面区域 与倍率对应地变化，倍率越高，显示图像的越狭小的区域。当实际显示四边框705、706、707 的情况下，与该倍率对应的分辨率的图像从图像金字塔保持部108中被选择。
[0155] 显示图像生成部102在病理医师刚开始观察后，作为初始信息从图像金字塔保持 部108读取包含图像整体的、低分辨率图像的数据，并保持于生成图像保持部109。随后，显 示图像生成部102基于下个观察推定部101输出的下个推定位置与下个推定倍率从图像金 字塔保持部108读取与该位置/该倍率对应的分辨率的图像。
[0156] 如上所述，显示画面区域与倍率相关联，越想要详细地观察图像，倍率就越高，显 示的病理检验标本的区域越小。在本实施方式中，显示图像生成部102在高倍率时读取保持 于图像金字塔保持部108的高分辨率图像的数据，在低倍率时读取低分辨率图像的数据。此 夕h基于推定位置将显示所需的区域从所读取的图像中切出，并作为显示图像向生成图像 保持部109输出。
[0157] 图10A示出图像金字塔保持部108中的、图像的数据文件的储存构造的例子。在图 像金字塔保持部108中，首先在根文件夹（"ROOT")中设置图像文件夹（"IMAGES")，在其下紧 接着设置子文件夹（"IMGlOOr、"IMG1002")。子文件夹例如可W设置为受检者单位，也可W 设置为病理检验标本单位。
[0158] 在各子文件夹中存储图像的数据文件（图像文件）。例如在子文件夹801中存储5个 图像文件801-1~801-5。它们是例如W不同分辨率拍摄共同的病理检验标本形成的图像。
[0159] 在本实施方式中，分辨率依次变大或者变小的多个图像类似金字塔那样被设置， 因此有时表现为"图像金字塔"。
[0160] 图10B示出图像金字塔的概念。在各图像中含有共同的病理检验标本501。关于图 像尺寸(分辨率），最上部的图像802最小，最下部的图像803最大。通过保持多个分辨率的图 像文件，不再需要进行基于图像处理的依次放大/缩小。因此，下述的、生成显示用的图像的 速度提高。
[0161] 图像显示部103为所谓的显示器。图像显示部103将保持于生成图像保持部109的 图像提示给病理医师。该图像为基于病理医师经由下述的输入部104输入的信息由显示图 像生成部102生成的图像。
[0162] 输入部104从用户（病理医师)接受用于操作图像显示装置100的命令。输入部104 具备用于供病理医师输入位置与倍率的机构，并将输入信息向图像显示部103输出。此外， 输入部104在输入有与由下个观察推定部101推定的结果(位置W及倍率)不同的位置W及 倍率的情况下，将临时停止推定的命令向下个观察推定部101输出。在接收到该命令后，下 个观察推定部101将当前的位置与倍率变更为病理医师所输入的值，并重新开始下个观察 推定。然后，下个观察推定部101在推定结果保持部105中保存输入值W及输出值。
[0163] 根据本实施方式，能够根据图像特征量自动推定病理医师的接下来要观察的位置 与倍率并进行提示。因此，在病理医师观察期间，无需检查技师的介入。此外，能够根据输入 部104的输入信息，依次修正下个位置推定。
[0164] 下个观察推定部101和/或观察特征量保持部106的工作并不局限于本实施方式的 情况。例如，式4的exp(.)的部分可W是利用混合高斯分布和/或t分布、贝塔分布等的运算。 此时，在图2的步骤S12中，并不基于条件概率进行选择，而是首先对候补位置与倍率进行多 个采样，并基于从该多个候补计算的概率值选择下个位置候补。除此之外，观察特征量保持 部106也可W仅判定当前的位置是否在检验标本上。进而，下个观察推定部101可W使用输 入部104供病理医师输入行进方向，从而固定倍率W恒定的速度向所希望的方向预测。另 夕h当病理医师进行放大或缩小操作时，可W固定位置将倍率向所希望的方向变更。
[0165] 图11A~图11C为说明按照某个恒定的动向进行预测的图。如图11A~图11C所示， 可W从病理医师指定的位置1601起W预定的动向预测。例如，如图11A所示，可W从病理医 师指定的位置1601起呈螺旋状1602预测。或者如图11B所示，可W沿直线1603预测，也可W 如图11C所示，描画N(N = 2、3、···）次函数曲线1604而进行预测。进而，可W将运些内容组合 后来实施。例如，可W仅在判定为观察特征量保持部106在检验标本上的情况下，执行上述 的下个观察推定部101的处理。
[0166] (实施方式2)
[0167] 本实施方式的图像显示装置与实施方式1的图像显示装置的不同之处在于具有超 分辨率处理部。由此，能够将保持于图像金字塔保持部108的分辨率W上的图像提示给病理 医师。
[0168] 图12示出本实施方式的图像显示装置120的框图。图像显示装置120具有图像处理 装置130、图像显示部103、输入部104。图像处理装置130除了具有超分辨率处理部901之外， 与图像处理装置11〇(图1)相同。W下，利用图12对本实施方式进行说明。此外，在图12中，对 于与图1相同的构成要素标注相同的符号，并省略详细的说明。
[0169] 在前述的实施方式1中，同样根据下个观察推定部101的推定结果，在显示图像生 成部102中生成向病理医师提示的图像。此时，当推定倍率为必须对最高分辨率的图像803 (图10B)进行放大处理的倍率的情况下，如果通过线性插值和/或spline插值(样条插值)等 图像插值处理实施放大处理，则倍率提高，而分辨率没有提高。因此，尽管提高倍率进行观 察，却仍无法把握病理检验标本的详细的形状。为了应对运样的情况，在本实施方式中，在 超分辨率处理部901中实施超分辨率处理。
[0170] 超分辨率处理是指用于提高分辨率的图像处理方法。对超分辨率处理的一个例子 进行说明。改变照明光的照射方向，拍摄多张病理检验标本的图像。将运些图像机械地组 合，构建出具有多张图像的总数的像素数的放大图像(所谓的拼凑图像）。该放大图像不过 将多张图像进行简单组合，因此姑且不能说是高精细的图像。随后，针对放大图像中的、与 预定的部分区域对应的小区域进行反卷积运算，得到高精细的图像。运就是超分辨率处理。
[0171] 在本实施方式中，实施用W除去基于在拍摄时利用的镜头和/或病理检验标本的 厚度和/或封入剂的量等的偏差的PSF(point spread function;点扩散函数）的影响的反 卷积处理。
[0172] 反卷积处理是指式8的逆变换处理。
[0173] [式 8]
[0174] 重:::沒-.1:，';
[0175] 其中，表示卷积运算，"Γ'表示想要求解的高分辨率图像，"r表示保持于图 像金字塔保持部108的最高分辨率的图像803，"护表示与在反卷积时利用的PSF对应的滤波 器。在本实施方式中，滤波器"护的值使用式9所示的高斯滤波器而设定。此外，滤波器"护如 式10所示可设定为任意的值。
[0176] 试9]
[0177]
[017引[式 10]
[0179] D = Dg*(W+A)
[0180] 其中，为表示方差的参数，"D(a，b)"示出第a行b列的滤波值。另外，"Dg"与式9 相同表示高斯滤波器，基于拍摄元件的数值孔径与分辨率的上升率确定，表示实际 的值与设定值的偏差。例如，当利用数值孔径25%的拍摄元件想要使分辨率提高至3倍时， 只要如式11那样设定即可。此外，的各值通过随机数和/或白噪声等设定。
[0181] 试 11]
[0182]
[0183] 在本实施方式中，为了求解式8的"Γ'，如式12所示在使用维纳滤波器的频率区域 实施运算。
[0184] 试12]
[0185]
[0186] 其中，巧（.r表示向频率区域的变换，巧(D)-i"如式13所示求解。
[0187] 试13]
[018 引
[0189] 其中，"Γ"为表示SN比的参数。在本实施方式中，作为反卷积处理，利用在使用维 纳滤波器的频率区域的运算。然而，该处理不过为一个例子。反卷积处理并不局限于此，可 W使用任意的处理方法。例如，可W利用式14的更新式进行反卷积处理。
[0190] 试14]
[0191]
[0192] 其中，"la,^1"表示第r次的反复运算时的坐标(a,b)的像素值，V'表示更新时的 参数。另外，吧'表示下式的误差函数，式14通过用"la,b"对式15进行微分而得到。另外，考虑 图像中的噪声，也可W利用对在式15中加入L2范数和/或L1范数而得的式进行微分而得到 的更新式。
[0193] 试15]
[0194]
[01M]图13为表示超分辨率处理部901的处理内容的流程图。
[0196] 首先，在步骤S301中，超分辨率处理部901读取下个观察推定部101的输出信息亦 即下个推定倍率。接下来，在步骤S302中，超分辨率处理部901读取显示图像生成部102输出 的显示图像的数据。接下来，在步骤S303中，超分辨率处理部901判定读取的图像是否为最 高倍率的图像803。在为最高倍率的图像803的情况下(是），处理前进至步骤S304。
[0197] 在不同的情况下（否），处理前进至步骤S306。超分辨率处理部901将最高倍率的图 像803作为显示图像向图像显示部103输出。
[0198] 接下来，在步骤S304中，超分辨率处理部901判定是否需要超分辨率处理。如果下 个推定倍率比最高倍率的图像803高(是），则前进至步骤S305,超分辨率处理部901实施上 述的超分辨率处理。如果下个推定倍率比最高倍率的图像803低（否），则前进至步骤S306， 超分辨率处理部901将超分辨率处理结果作为显示图像向图像显示部103输出。
[0199] 根据本实施方式，能够将保持于图像金字塔保持部108的分辨率W上的图像提示 给病理医师。因此，为了获得高分辨率的图像，无需再次实施图像的获取。
[0200] (实施方式3)
[0201] 本实施方式的图像显示装置与实施方式及实施方式2的图像显示装置的不同 之处在于:具备对图像整体中由下个观察推定部推定的位置和倍率W及是否实施超分辨率 处理的显示进行控制的结果显示控制部;并且具备判定在输入部中是否连续进行了预定的 次数W上的放大操作的放大操作判定部，并具有在连续进行了放大操作的情况下，在该区 域实施超分辨率处理的功能。根据该构成，能够对图像的哪个区域W多大的倍率显示W及 在哪个部位实施超分辨率处理进行视觉辨认。另外，当经由结果显示控制部选择了未通过 下个位置推定而推定的区域的情况下，可W从该区域中重新实施下个位置推定。进而，由于 具有放大操作判定部，因此对于在超分辨率处理部中判断为不需要超分辨率处理的情况 下，也可W实施超分辨率处理。
[0202] 图14示出本实施方式的图像显示装置140的框图。图像显示装置140具有图像处理 装置150、图像显示部103、输入部104、结果显示控制部1101。图像处理装置150除了具有放 大操作判定部1102之外与图像处理装置130(图12)相同。W下，利用图14对于本实施方式进 行说明。此外，在图14中，对于与图1相同的构成要素标注相同的符号，省略详细的说明。
[0203] 结果显示控制部1101控制成接受超分辨率处理部901与下个观察推定部101的输 出信息，在显示图像整体的俯廠图像上显示下个观察推定部101将哪个部位推定为下个位 置，对哪个部位实施超分辨率处理。
[0204] 进而，当由病理医师经由输入部104确定显示在图像显示部103上的某个部位时， 结果显示控制部1101使用于输入显示倍率的输入标记显示。然后，结果显示控制部1101经 由输入部104使病理医师输入显示倍率。另外，结果显示控制部1101将经由输入部104由病 理医师确定的部位(区域)的信息向显示图像生成部102发送。
[0205] 如果经由输入部104指定了倍率和/或区域，则输入部104将临时停止推定的命令 向下个观察推定部101输出。接收到该命令后，下个观察推定部101临时停止推定。随后，下 个观察推定部101将当前的位置与倍率变更为病理医师所输入的值，重新开始下个观察推 定。然后，在推定结果保持部105中保存输入值与输出值。
[0206] 图15A不出由结果显不巧制部1101巧制的显不例1201。该图从位置1202 W及显不 区域1203起开始推定，沿U字的形状进行多次推定，最终在位置1204W及显示区域1205结束 推定。
[0207] 虚线所示的显示区域1206表示实施了超分辨率处理的部位。此时，设定为病理医 师利用输入部104选择显不区域1207。结果显不巧制部1101显不输入显不倍率的柄;记1208。 病理医师利用输入部104输入想要W多大的倍率观察显示区域1207。随后，利用输入至标记 1208的信息，超分辨率处理部901判定是否需要超分辨率处理，在需要的情况下实施超分辨 率处理。在不需要的情况下，通过显示图像生成部102选择分辨率不同的图像并显示。
[0208] 放大操作判定部1102当在图像显示部103上从输入部104连续进行预定的次数W 上的放大显示操作，并且超分辨率处理未被实施的情况下，将对显示图像实施超分辨率处 理的命令向超分辨率处理部901输出。
[0209] 此外，输入部104与图像显示部103形成为一体化，可作为触控面板显示器来实现。 当病理医师用2根W上的手指触摸显示在该显示器的病理检验标本的部位，在预先设定好 的时间内连续进行了预定次数W上的所谓的扩大动作的情况下，放大操作判定部1102将对 该部位的图像实施超分辨率处理的命令向超分辨率处理部901输出。
[0210] 接下来，示出使用图15A与图15B的结果显示控制部1101的显示控制工作例。当观 察未实施超分辨率处理的显示区域1209时，假设病理医师连续实施预定的次数W上的放大 显示操作。此时，在显示区域1209中实施超分辨率处理。图15B表示进一步实施超分辨率处 理后的图像上的部位1209a。
[0211] 根据本实施方式，能够对图像中的哪个部位W多大的倍率显示W及在哪个部位实 施了超分辨率处理进行视觉辨认。另外，在结果显示控制部1101上，选择未通过下个观察推 定部101推定的区域，由此能够从该区域重新实施下个位置推定。进而，利用在区域选择后 使病理医师输入倍率的功能或放大操作判定部1102,对于超分辨率处理部901判断为不需 要超分辨率处理的情况下，也能够实施超分辨率处理。
[0212] 至此，对本公开的实施方式的图像获得装置进行了说明，不过本公开并不局限于 上述的实施方式。W下，对于变形例进行说明。
[0213] (变形例）
[0214] 在上述的实施方式1中，对于式4的V'所含的"V"'为将时刻t的图像上的推定位置 与推定倍率并列而得的矢量进行了说明。然而矢量的要素不过为一个例子。
[0215]例如，"V"'可W进一步包含图像特征量。式16为使用V'的情况下的概率分布，上 述V'是利用将时刻t的图像上的推定位置、图像特征量W及推定倍率并列而得的矢量"V"' 来定义的。
[0216] 试16]
[0217]
[021引 vt=[坐标图像特征量倍率]T。例如，可W如vt=[at，bt，f^z叩那样表现。vt的上标 文字"t"表示第t次选择的位置。将此时的像素的坐标记作(aSbt)，图像特征量记作ft,倍率 记作zt。
[0219] 由于将图像特征量ft包含于vt中，因此针对每个观察位置，不仅需要提取倍率，还 需要提取图像特征量。例如对于作为病理检验标本的图像，可W按每个像素或者按每个含 有多个像素的区域(病理检验标本的部位)分配表示操作者是否有必要观察的观察等级，并 将该观察等级用作图像特征量。观察等级例如通过将从要观察的状态到不要观察的状态分 成多个类别而定义。对于从要观察等级到不要观察等级，可W通过颜色来使之渐变，并将含 有该颜色的变化的图像的信息保持作为表示图像特征量的信息。将观察等级分成从要观察 的状态到不要观察的状态的5个阶段。将病理检验标本的图像可采用的颜色的彩度按照彩 度由低至高的顺序分为C1~巧运5个阶段。此外，如果含有属于彩度最高的巧的图像，则在 该图像中出现的组织为要观察等级。另一方面，如果含有属于彩度最低的C1的图像，则出现 于该图像的组织为不要观察等级。作为图像特征量ft可W采用彩度，用作修正上述的vt的要 素。
[0220] 除了坐标W及倍率之外，进一步使图像特征量作为矢量V的要素，据此，协方差矩 阵成为4X4矩阵。由于此内容对于本领域技术人员显而易见，因此省略具体的记载。
[0221] 当使用式16的情况下，由于在VW及"ιΓ"的定义中使用的V"含有图像特征量的 要素，因此式4中的图像观察必要度"w(r+i|xt+i，zt+ir不再为必须。也即是，条件概率能够 使用式16右边所示的高斯分布(高斯函数)求出。此外，式16也可W利用混合高斯分布和/或 t分布、贝塔分布等高斯函数W外的函数。在运种情况下，并不基于由式16求出的条件概率 选择下个候补位置，而首先对多个候补采样，计算该多个候补位置的概率值，根据该值进行 选择。
[0222] 下个观察推定部101W保持于推定结果保持部105的当前的推定位置、倍率和保持 于参数保持部107的参数作为输入，计算式16的条件概率"9(1^，^^^1)"，并根据计算结 果输出下个位置、下个倍率和下个图像特征量。
[0223] 作为其他的变形例，在式4W及式16中，可W不考虑倍率W及图像特征量的信息， 转而使用包含只有坐标的信息的vt。也即是，为vt=[坐标]。此外，vt可为二维矢量，不过如 果使用使位置W外的倍率等不必要的要素为0的矢量vS则可直接利用式16。
[0224] 当利用仅包含位置的信息的vt求解条件概率的情况下，可W使图2的处理简略化。
[0225] 图16示出利用仅含有位置的信息的vt求解条件概率的图像显示装置lOOaW及图 像处理装置110a的构成例。图像处理装置110a与图1的图像处理装置110的不同之处在于： 图像处理装置110a不具有观察特征量保持部106。
[0226] 图17示出利用仅包含位置的信息的vt求解条件概率的处理的顺序。图17与图2的 不同之处在于:在图17中，删除了图2的步骤S13W及S14W及将图2的步骤S15变更为步骤 S15a。^下，只对步骤S15a进行说明，关于其他的处理的说明，将援引图2的说明。
[0227] 在步骤S15a中，倍率的信息未被利用。下个观察推定部101会利用参数iTW及Σ来 求解各个下个位置候补的条件概率。
[0228] 此外，由于不含推定倍率的处理，因此在步骤S17中的图像的选择处理中无需选择 分辨率不同的图像。因此，图像金字塔保持部108可W不必保持分辨率不同的图像组，只要 保持至少1张的图像即可。显示图像生成部102可W将例如图9所示的四边框705~707那样 的、可视觉辨认下个候补位置的辅助图像等生成为显示图像。
[0229] 不过，如果保持分辨率不同的图像组并且下个位置候补进入到相距当前的推定位 置的预定的范围内，则下个观察推定部101可W选择更高的分辨率。下个位置候补进入到相 距当前的推定位置的预定的范围内是指推测为病理医师想要细致地观察病变部。因此，认 为显示含有下个位置候补的、分辨率的更高的图像较为恰当。
[0230] 在上述的实施方式W及变形例的说明中，主要利用图1、图12W及图14的框图对图 像显示装置W及图像处理装置进行说明。运些装置实际可使用计算机实现。W下，W图1的 图像显示装置100W及图像处理装置110为例进行说明，不过即便是图12W及图14的图像显 示装置W及图像处理装置，也同样可适用。
[0231] 图18为用于实现图像处理装置110(图1)的计算机的构成图。通过使运样的计算机 包含显示器，能够得到图像显示装置100。即，图像显示装置100包括:作为图像处理装置110 的计算机1301、供操作者对计算机1301给出指示用的键盘1302W及鼠标1303、用于提示计 算机1301的运算结果等信息的显示器1304、用于读取由计算机1301执行的程序的CD-ROM (Compact Disc-Read Only Memory;光盘只读存储器)装置1305W及通信调制解调器1306。
[0232] 键盘1302 W及鼠标1303与输入部104对应。显示器1304与图像显示部103(图1等） 对应。
[0233] 图像处理装置110所执行的程序被存储在可供计算机读取的存储介质亦即CD-ROM 1307中，由CD-ROM装置1305读取。或者，通过计算机网络由通信调制解调器1306读取。
[0234] 该程序记载用于使CPU 1308执行本申请所含的流程图所示的工作的处理。也即 是，CPU1308可作为下个观察推定部101W及显示图像生成部102发挥功能。根据执行的处理 的内容W及时刻，CPU 1308可作为下个观察推定部101工作，作为显示图像生成部102工作。 此外，CPU 1308可作为超分辨率处理部901 (图12)、结果显示控制部1101 (图14)和/或放大 操作判定部1102(图14)发挥功能。可W设置与各构成要素分别对应的CPU。
[02；35]计算机 1301 包括:CPU(Cen1:ral Processing Unit;中央处理单元）1308、R0M(Read Only Memo巧；只读存储器）1309、RAM(Random Access Memo巧；随机存取存储器）1310、硬盘 1311、通信调制解调器1306与总线1312。
[0236] CPU 1308执行经由CD-ROM装置1305或者通信调制解调器1306读取的程序。ROM 1309存储计算机1301的工作所需的程序和/或数据。RAM 1310存储程序执行时的参数等数 据。
[0237] 硬盘1311存储程序和/或数据等。硬盘1311可作为观察特征量保持部106、参数保 持部107、图像金字塔保持部108和/或生成图像保持部109发挥功能。
[0238] 通信调制解调器1306经由计算机网络与其他计算机进行通信。总线1312将CPU 1308、R0M 1309、RAM 1310、硬盘1311、通信调制解调器1306、显示器1304、键盘1302、鼠标 1303 W及CD-ROM装置1305相互连接。
[0239] 此外，连接于计算机1301的键盘1302、鼠标1303 W及CD-ROM装置1305可W在例如 显示器为触控面板的情况下和/或利用通信调制解调器的情况下取下。
[0240] 另外，本公开可W为上述所示的方法。另外，可W含有由计算机实现上述的方法的 计算机程序，也可W含有由计算机程序构成的数字信号。
[0241] 进而，本公开可W包括将上述计算机程序或者上述数字信号存储于可供计算机读 取的非临时的存储介质、例如软盘、硬盘、CD-ROM、M0、DVD、DVD-ROM、DVD-RAM、BD (B1 u-r ay Disc(注册商标））、半导体存储器等的形式。另外，也可W包含记录于运些非临时的存储介 质的上述数字信号。
[0242] 另外，本公开也可W将上述计算机程序或者上述数字信号经由电通信线路、无线 或者有线通信电路、W互联网为代表的网络、数据传播等传送。
[0243] 另外，也可W将上述程序或者上述数字信号记录于上述非临时的存储介质并移 送，或者将上述程序或者上述数字信号经由上述网络等移送，据此，由独立的其他计算机系 统实施。
[0244] 另外，如图19所示，图像显示装置100可W利用多个计算机与数据服务器实现。本 公开可W构建单独的数据服务器1401，并在该服务器上存储推定结果保持部105和/或观察 特征量保持部106和/或参数保持部107和/或图像金字塔保持部108等的应该保存的数据， 经由网络等由计算机A1402读出该信息。另外，也可在计算机A1402上安装与上述的图 像处理装置相当的构成要素(例如下个观察推定部101、显示图像生成部102、超分辨率处理 部901)，并在计算机B1403上安装图像显示部103和/或生成图像保持部109和/或结果显示 控制部1101和/或放大操作判定部1102和/或输入部104的方式将图像显示装置100的各功 能块分割而安装。另外，从数据服务器1401读出信息的计算机A1402无需为1台，可W为多 台。同样，计算机B1403也可W为多个。
[0245] 进而，本公开也可W是含有W下所示的处理的图像处理方法。
[0246] 首先，将第1区域所含的"当前的位置X"'设为"第1位置"。关于图像处理方法，选择 并取得相对于"第1位置"的"下个位置候补片")1、一心"1)1、一"亦即多个候补位置(图2的 S12)。
[0247] 图20为用于对图像处理方法进行说明的图。图20包含多个与图7相同的部分。W 下，主要对图7的说明中未记载的事项进行如下叙述。例如，在图20中，第1区域2000为记作 编号"7"的矩形区域，第1区域2000包含病理医师当前观察的位置亦即第1位置2010。多个候 补位置包含第1候补位置2020、第2候补位置2030、第3候补位置2040。此外，第2区域在该例 子中为包含3个矩形区域(记载编号8的矩形区域、记载编号9的矩形区域、记载编号10的矩 形区域)的区域。即，第2区域含有包括记载编号9的矩形区域亦即第3区域在内的多个区域 (记载编号8的矩形区域、记载编号9的矩形区域、记载编号10的矩形区域）。多个区域与多个 候补位置分别对应，多个区域分别包含对应的候补位置。即，记载编号8的矩形区域与第3候 补位置2040对应，记载编号9的矩形区域与第1候补位置2020对应，记载编号10的矩形区域 与第2候补位置2030对应。另外，记载编号8的矩形区域包含第3候补位置2040,记载编号9的 矩形区域包含第1候补位置2020,记载编号10的矩形区域包含第2候补位置2030。
[0248] 第3区域为记载编号9的矩形区域，第3区域与第1候补位置2020对应，第3区域包含 第1候补位置2020。第2区域为与第1区域2000相邻的区域，并且是不含例如病理医师已经观 察过的区域(此处为记载编号0~6的区域)的区域。多个候补位置被包含于与第1区域2000 不同的第2区域。第1区域2000与上述第2区域被包含于相同的图像亦即第1图像(包含1化X lOw的像素值的图像）中。
[0249] 多个候补位置包含第1候补位置2020。第1候补位置2020例如为下个位置候补(xt ")1。
[0250] 第1多个像素值与第1候补位置对应。即，包含第1候补位置2020的区域亦即记载编 号9的区域包含多个像素(6Xr)X(6Xs)个的像素值亦即第1多个像素值。当将图像分类为 lOwXlOh的四边区域的情况下，作为多个候补位置的每一个的候补位置为预测为用户接下 来要选择的矩形区域(wXh个像素）所含的任意的位置，例如为四边区域的左上的位置的 点。与候补位置对应的多个像素值是包含候补位置的矩形区域所包含的wXh( = (6Xr)X (6 Xs))个像素的像素值。
[0251] 在图像处理方法中，确定多个区域的每一个中所包含的多个像素值的图像特征信 息。即，确定包含第1候补位置2020的标注编号9的矩形区域所含的第1多个像素值的"图像 特征量"亦即"图像特征信息"，确定包含第2候补位置2030的标注编号10的矩形区域所含的 多个像素值的"图像特征量"亦即"图像特征信息"，确定包含第3候补位置2040的标注编号8 的矩形区域所含的多个像素值的"图像特征量"亦即"图像特征信息"。（图2的S13、图5的 S103等）。此外，"多个区域的每一个中所包含的多个像素值的图像特征信息"也可W表现为 "多个区域的每一个的图像特征信息"。运是由于：因为多个区域的任意一个区域的图像特 征信息是唯一地确定的，因此该一个区域所含的多个像素值的各个的图像特征信息为该唯 一确定的图像特征信息。即，确定包含第1候补位置2020的标注编号9的矩形区域的"图像特 征量"亦即"图像特征信息"，确定包含第2候补位置2030的标注编号10的矩形区域的"图像 特征量"亦即"图像特征信息"，确定包含第3候补位置2040的标注编号8的矩形区域的"图像 特征量"亦即"图像特征信息"（图2的S13、图5的S103等）。
[0252] 获得包含表示针对与第1图像不同的一个或者多个图像的观察位置的变更记录的 信息的信息、即表示操作记录的参数(ν'，Σ)(图2的S11)。
[0253] 基于图像特征信息与记录信息确定多个候补位置所含的一个(图2的S16)。
[0254] 第1多个像素值与第3区域所含的多个位置一对一对应。即，记载编号9的区域为第 3区域，第3区域所含的化X6S个像素值为第1多个像素值。
[02W]第2区域包含第3区域。也即是，在图20中，第2区域为包含记载编号8的区域、记载 编号9的区域、记载编号10的区域的区域，另外，记载编号9的区域为第3区域。
[0256] W下示出使用与第1图像的种类对应的分类方法将记载编号9的区域亦即第3区域 所含的第1多个像素值分类，得到分类结果亦即第1分类结果，并基于第1分类结果确定第3 区域所含的第1多个像素值的图像特征信息的例子。也可W使用与之相同的方法，确定记载 编号8的区域所含的多个像素值的图像特征信息，确定记载编号10的区域所含的多个像素 值的图像特征信息。
[0257] 首先，使用与第1图像的种类对应的分类方法将第1多个像素值分类。即，根据图像 的种类确定使用哪个局部特征量(在图7的例子中，确定为使用"A"、"B"、"C"、"护、?"、"F"、 共计8个局部特征量），评价rXs个像素的像素值与该8个局部特征量中的哪个局部 特征量相近似。该评价针对36组的"r X S个像素"的每组进行，得到图像特征量1504。
[0258] 例如，设定第1图像为某种脏器、例如为肺的图像。肺的图像使用图7所示的局部特 征量"A"、"B"、"C"、"护、?"、甲'、"护、，而在不为肺的图像的情况、例如为屯、脏的图像的 情况下，可W使用与局部特征量"A"、"B"、"C"、"D"、巧"、"F"、"G"、不同的局部特征量 "Γ、、"K"、"L"、、"N"、"0"、甲'对像素值分类。
[0259] 基于分类结果，确定第1多个像素值的图像特征信息。
[0260] 使用图7所示的局部特征量"A"、"B"、"C"、"护、"护、"F"、"护、，如图7所示得到 局部特征量A的频率=7、局部特征量B的频度=4、…运一分类结果，得到图像特征量1504。
[0261] 在第3区域中含有作为（6Xr)X(6Xs)个像素值的第1多个像素值，将此设为 ail、…、aij、---、amn(i、j、n、m分别为自然数、1 y如= 6Xr、l幻·如= 6Xs)，将第3区域所 含的多个位置设为bll、…、bu、…，bmn。另外，将与像素值ail对应的像素的位置设为bll、···， 将与像素值au对应的像素的位置设为bu、···，将与像素值对应的像素的位置设为上述bmn (参照图20、图7)。
[0262] 当使用与第1图像的种类对应的分类方法，也即是使用局部特征量"A"、"B"、"C"、 "护、"护、TV'G"、将第1多个像素值ail、…、au、…、amn分类时，分类按各个r X S个像素 值组进行，并获得6X6 = 36个分类结果。然后，将该获得的36个分类结果作为第1多个像素 值的各个图像特征信息（参照图7)。此外，虽然在第3区域中包含作为(6Xr)X (6XS)个像 素值的第1多个像素值，不过也可W在第3区域中包含作为(pXr)X(qXs)个像素值的第1 多个像素值(9、9^、3为自然数）。
[0263] 进而，也可W将上述实施方式W及上述变形例分别组合。
[0264] 本次公开的实施方式在所有的内容上都为例示，而不应理解为是限制性的内容。 本说明书的实施方式中所示的数值、形状、材料、构成要素、构成要素的配置位置W及连接 方式、步骤、步骤的顺序等不过为一个例子，并非旨在对本公开进行限定。另外，关于实施方 式中的构成要素之中、在表示最上位概念的独立权利要求中未予记载的构成要素，作为任 意的构成要素进行了说明。本公开的范围并不通过上述的说明来表示，而是通过权利要求 书来表示，意在包含与权利要求书等同的意思W及范围内的所有的变更。
[0265] 本公开的技术能够利用于根据病理检查标本计算阳性率的图像检测装置等。
【主权项】
1. 一种图像处理装置，推定观察图像的操作者接下来要观察的图像上的位置来作为下 个位置候补，具备： 下个观察推定部，其将利用表示操作记录的参数以及至少当前时刻的推定结果的信 息，基于由预定的概率分布得到的概率值从多个位置之中选择出的位置推定为所述下个位 置候补；以及 显示图像生成部，其生成用于至少将所述下个位置候补以能够视觉辨认的方式显示的 图像。2. 根据权利要求1所述的图像处理装置， 所述预定的概率分布为高斯分布， 所述下个观察推定部针对所述图像上的多个位置的各个位置，计算使用所述高斯分布 得到的条件概率的概率值，将得到最大的概率值的位置推定为所述下个位置候补。3. 根据权利要求1所述的图像处理装置， 所述表示操作记录的参数至少包括表示观察到的图像的位置的信息， 所述下个观察推定部将所述多个位置的各个位置作为接下来要观察的图像上的位置 的候补，针对所述多个位置的各个位置计算所述概率值。4. 根据权利要求3所述的图像处理装置， 所述表示操作记录的参数还包括表示倍率的信息， 所述下个观察推定部针对所述多个位置的各个位置，计算与接下来要观察的图像上的 位置以及倍率有关的所述概率值。5. 根据权利要求1~4中任意一项所述的图像处理装置， 所述下个观察推定部利用按所述图像的各像素预先准备的、表示观察各像素的必要性 的大小的像素观察必要度的信息，计算包括所述多个位置的各个位置的小区域的图像观察 必要度， 利用所述预定的概率分布和与所述多个位置的各个位置对应地计算出的所述图像观 察必要度来计算所述概率值。6. 根据权利要求1~5中任意一项所述的图像处理装置， 所述下个观察推定部针对所述图像上的多个位置的各个位置，进一步利用预先计算出 的图像特征量的信息计算所述概率值。7. 根据权利要求1~6中任意一项所述的图像处理装置， 所述显示图像生成部生成用于显示依次求出的多个推定结果的图像。8. 根据权利要求1~7中任意一项所述的图像处理装置， 还具备超分辨率处理部，所述超分辨率处理部判定是否针对包含由所述下个观察推定 部推定的所述下个位置候补的部分区域进行超分辨率处理，在判定为进行所述超分辨率处 理的情况下，基于改变照明光的照射方向而拍摄到的、所给予的病理检验标本的多个图像 的数据，构建像素数更多的放大图像，针对所述放大图像中的、与所述部分区域对应的小区 域进行基于反卷积运算的超分辨率处理。9. 一种图像显示装置，具备： 权利要求1~8中任意一项所述的图像处理装置；以及 图像显示部，其显示由所述显示图像生成部生成的所述图像。10. -种图像显不装置，具备： 权利要求4所述的图像处理装置； 图像显示部，其显示由所述显示图像生成部生成的所述图像；以及 结果显示控制部，其进行控制以显示由所述下个观察推定部推定的位置以及倍率的信 息。11. 根据权利要求9所述的图像显示装置， 所述图像处理装置还具备超分辨率处理部，所述超分辨率处理部判定是否针对包含由 所述下个观察推定部推定的所述下个位置候补的部分区域进行超分辨率处理，在判定为进 行所述超分辨率处理的情况下，基于改变照明光的照射方向而拍摄到的、所给予的病理检 验标本的多个图像的数据，构建像素数更多的放大图像，针对所述放大图像中的、与所述部 分区域对应的小区域进行基于反卷积运算的超分辨率处理。12. 根据权利要求11所述的图像显示装置， 所述图像显示部将由所述超分辨率处理部实施超分辨率处理后的区域以能够视觉辨 认的方式显示。13. 根据权利要求12所述的图像显示装置， 还具备输入部，所述输入部接受来自操作者的对于所述图像中的部位的选择， 在所述输入部接受了所述图像中的部位的选择的情况下，所述结果显示控制部使所述 下个观察推定部重新从所选择的所述部位推定所述下个位置候补。14. 根据权利要求13所述的图像显示装置， 在所述输入部接受了所述图像中的部位的选择且未针对所选择的所述部位实施所述 超分辨率处理的情况下，所述结果显示控制部使所述超分辨率处理部实施针对所选择的所 述部位的所述超分辨率处理。15. 根据权利要求14所述的图像显示装置， 还具备放大操作判定部，所述放大操作判定部判定所述操作者是否针对所述图像显示 部所显示的所述图像的部位进行了连续预定的次数以上的放大操作， 在判定为进行了所述放大操作的情况下，所述放大操作判定部使所述超分辨率处理部 实施针对所述部位的所述超分辨率处理。16. -种图像处理方法，推定观察图像的操作者接下来要观察的图像上的位置来作为 下个位置候补， 将利用表示操作记录的参数以及至少当前时刻的推定结果的信息，基于由预定的概率 分布得到的概率值从多个位置之中选择出的位置推定为所述下个位置候补， 生成用于至少将所述下个位置候补以能够视觉辨认的方式显示的图像。17. -种图像处理方法， 获得相对于第1区域所含的第1位置的多个候补位置， 所述多个候补位置包含第1候补位置， 所述多个候补位置包含于与所述第1区域不同的第2区域， 所述第1区域与所述第2区域包含于第1图像， 所述第2区域包含含有第3区域的多个区域， 所述多个区域与所述多个候补位置分别对应，所述多个区域的各个区域包含所述对应 的候补位置， 所述第3区域与所述第1候补位置对应，所述第3区域包含所述第1候补位置， 确定所述多个区域的各个区域所含的多个像素值的图像特征信息， 所述图像特征信息的确定包含所述第3区域所含的第1多个像素值的图像特征信息的 确定， 获得表示针对与所述第1图像不同的一个或者多个图像的观察位置的变更记录的记录 信息， 基于所述图像特征信息与所述记录信息确定所述多个候补位置所含的一个候补位置， 使用与所述第1图像的种类对应的分类方法，将所述多个区域的各个区域所含的多个 像素值分类， 基于所述分类结果，确定所述多个区域的各个区域所含的多个像素值的图像特征信 息， 使用与所述第1图像的种类对应的分类方法，将所述第1多个像素值分类而得到第1分 类结果， 基于所述第1分类结果，确定所述第3区域所含的第1多个像素值的图像特征信息。18.根据权利要求17所述的图像处理方法， 当所述第1多个像素值的个数为(pXr)X(qXs)，其中，p、q、r、S为自然数，并使用与所 述第1图像的种类对应的分类方法将所述第1多个像素值分类时， 所述分类按各个r X s个像素值的组来进行，获得p X q个分类结果， 所获得的所述P X q个分类结果被作为所述第1多个像素值各自的图像特征信息。
【文档编号】G06T7/00GK105825041SQ201511017508
【公开日】2016年8月3日
【申请日】2015年12月29日
【发明人】泽田好秀, 佐藤太, 佐藤太一, 本村秀人
【申请人】松下知识产权经营株式会社