专利名称：图像处理设备、图像处理方法、记录介质和程序的制作方法
图像处理设备、图像处理方法、记录介质和程序技术领域
本公开涉及图像处理设备、图像处理方法、记录介质和程序，更具体地，涉及能够利用简单操作可靠地观察图像的图像处理设备、图像处理方法、记录介质和程序。
背景技术：
在检查病人疾病的情况下,病人的病理组织(pathological tissue)通过针吸活检(needle biopsy)进行采集、固定在制备好的玻片上、并在显微镜下进行观察。但是,只有一个人员能够在显微镜下进行观察，因此，在多个医生之间进行讨论的情况下有所不便。
因此，已知的是，将在显微镜下观察的图像加载到计算机中，并在显示部(display section)上进行显示(例如JP 2006-228185A)。以这种方式，有可能卷动(scroll)和缩放 (scale)图像。发明内容
但是，病理组织不一定是线性的。即使其为线性的，也存在其方向和卷动方向不对应的情况。在这种情况下，例如，当通过在垂直方向上卷动组织来对其进行观察时，组织的图像跑到屏幕以外，因此，有必要在左或右方向上额外地执行卷动操作。结果，存在受卷动操作干扰变得难以专心地观察组织图像的情况。
鉴于以上问题，人们期望能够利用简单操作可靠地观察图像。
根据本技术的一个方面，提供了一种图像处理设备，其包括移动部，其在屏幕上卷动医学图像；以及显示控制部，其在医学图像被在屏幕上卷动的情况下对显示部进行控制以便以医学图像的诊断区域的观察基准位置通过屏幕的显示区域的显示基准位置的方式来显示医学图像。
观察基准位置可以在与医学图像的卷动方向垂直的方向的中心附近，并且显示基准位置可以在显示区域的中心附近。
卷动以自动模式执行时，可以以医学图像的诊断区域的观察基准位置通过屏幕的显示区域的显示基准位置的方式来显示医学图像。
在自动模式卷动被停止的情况下，可以执行手动模式卷动，并且可以沿由用户指示的方向执行手动模式卷动。
在暂停自动模式卷动之后，在沿由用户指示的方向执行手动模式卷动的状态下自动模式卷动的指令被再次发出的情况下，可以从停止自动模式卷动的位置处再次开始自动模式卷动。
在诊断区域的异常部分，移动部可以限制卷动的速度。
诊断区域中的异常部分可以被突出显示。
异常部分可以被以预先确定的颜色标记。
当沿着卷动方向到达诊断区域的末端部分时，可以显示到达末端部分的实际情况。
所述的图像处理设备还可以包括检测部，其从医学图像检测诊断区域。
可以执行对包括在一个医学图像中的多个诊断区域的分组，并且可以卷动一个组的诊断目标图像。
可以屏蔽(mask)医学图像的除观察目标以外的诊断区域。
所述的图像处理设备还可以包括缩放部，其在与诊断区域的卷动方向垂直的方向上的宽度大于基于显示区域的宽度设置的缩小阈值时缩小与诊断区域的卷动方向垂直的方向上的宽度，以使与诊断区域的卷动方向垂直的方向上的宽度小于显示区域的宽度。
当和诊断区域的卷动方向垂直的方向上的宽度小于基于显示区域的宽度设置的放大阈值时，缩放部可以在小于显示区域的宽度的范围内放大和诊断区域的卷动方向垂直的方向上的宽度。
根据本技术的另一个方面，诊断区域被从医学图像检测，在屏幕上卷动医学图像， 并且，在医学图像被在屏幕上卷动的情况下以诊断区域的观察基准位置通过屏幕的显示区域的显示基准位置的方式来显示医学图像。
根据本技术的一种方法、记录介质和程序是均对应于上面描述的本技术的一个方面的图像处理设备的一种方法、记录介质和程序。
根据上面描述的本技术的方面，能够利用简单操作可靠地观察图像。
图I是示出了本技术的图像处理设备的实施例的配置的框图2是示出了 CPU的功能配置的框图3是不出输入部的配置不例的图4是示出显示处理的流程图5是示出显示处理的流程图6是示出显示处理的流程图7是示出显示处理的流程图8是示出显示处理的流程图9是示出针吸活检图像的示例的图10是示出诊断区域的图11是示出分组的图12A、图12B和图12C均为示出旋转校正的图13A、图13B和图13C均为示出卷动路线的图14是示出病理图像的显示示例的图15A、图15B和图15C均为示出屏蔽的图16是示出卷动的图17A和图17B均为示出卷动的图18是示出卷动的图19是示出速度调整处理的流程图20A和图20B均为示出突出显示的示例的图21是示出宽度调整处理流程图22是示出宽度调整处理的图23是示出卷动完成的显示的示例的图24是示出卷动的图25A和图25B均为示出缩放处理的图26是示出病变进展标记(lesion progression label)的图
图27是示出识别病变进展程度的图28是示出学习样本的图29是示出生成字典的图30是示出学习机的功能配置的框图31是示出学习处理的流程图32是示出识别阈值和学习阈值的图33是示出选择部的功能配置的框图34是示出由弱分类器执行的选择处理的流程图；以及
图35是示出阈值的移动的图。
具体实施方式
此后将描述用于执行所述技术的实施例(此后称为实施例)。注意将按下列顺序给出描述。
I.图像处理设备的配置
2.显示处理
3.病变进展(Lesion progression)标记
4.生成字典
5.学习方法
6.把本技术应用于程序
7.其他
[图像处理设备的配置]
图I是示出了图像处理设备的配置示例的框图。例如，图像处理设备I被配置为来自个人计算机。
图像处理设备I包括CPU (中央处理单元)21、R0M (只读存储器)22和RAM (随机访问存储器)23，它们通过总线24相互连接。
输入/输出接口 25连接到总线24。输入部26、输出部27、存储部28、通信部29 和驱动器30连接到输入/输出接口 25。
输入部26包括键盘、鼠标、麦克风等。输出部27包括显示部、扬声器等。存储部 28包括硬盘、非易失存储器等。通信部29包括网络接口等。驱动器30驱动可移动介质31， 例如磁盘、光盘、磁光盘，或者半导体存储器。
在如上配置的图像处理设备I中，例如，CPU 21通过输入/输出接口 25和总线24 把存储在存储部28中的程序加载到RAM 23中，并执行该程序，从而执行预先确定的处理。
例如，在图像处理设备I中，通过把可移动介质31作为程序包介质(package medium)等装入驱动器30，程序可通过输入/输出接口 25被安装在存储部28中。此外，通过有线或无线传输介质，程序可被通信部29接收，并能被安装在存储部28中。此外，程序可被预先安装在ROM 22或存储部28中。
接着将描述CPU 21的功能配置。图2是示出CPU 21的功能配置的框图。如图中所示，CPU 21包括获取部51、检测部52、分组部53、校正部54、提取部55、显示控制部56、确定部57、移动部58、缩放部59和设置部60。每一部均具有按需要传送/接收信息的功能。
获取部51获取各种类型的图像、模式等的信息。检测部52检测区域。此外，检测部52识别肿瘤(tumour)，并且也识别病变进展的程度。分组部53执行图像的分组。校正部54校正图像。提取部55提取卷动路线。显示控制部56对显示部进行控制以便显示图像、预先确定的消息等。确定部57执行各种类型的确定处理。移动部58卷动图像并把图像移动到预先确定的位置。缩放部59放大或缩小图像。设置部60设置速度。
图3是示出输入部26的配置示例的图。即，输入部26至少具有按钮71U、71D、71L、 71R、72、73、74、75和76。按钮71U、71D、71L和71R被操作分别用于向上、向下、向左、向右移动图像。注意，在不必将按钮71U、71D、71L和71R彼此区分的情况下，它们均被简单地称为按钮71。这同样适用于其他结构元件。当放大图像时，按钮72被向上操作，并且当缩小图像时被向下操作。只有当相应按钮71和72被操作时才发出指令，并且当操作停止时，相应指令被终止。
当把模式设置为自动模式时操作按钮73，并且当把模式设置为手动模式时操作按钮74。一旦操作按钮73和74，则即使操作被释放(release)，相应的指令也继续。当输入例如图像号码的数字时，操作按钮75。当确定图像的选择等时，操作按钮76。
[显示处理]
接着，将描述由图像处理设备I执行的显示处理。图4到图8均为示出显示处理的流程图。例如，为用户(例如医生)执行该处理以便观察病人的医学图像。
在步骤SI中，获取部51获取图像。例如，如图9中所示，在执行病人的针吸活检的情况下，把所获得的样本放置在制备好的玻片上，并且获取了通过使用显微镜观察所获得的图像。
图9是示出针吸活检的图像的示例的图。在这个示例中，针吸活检被执行了三次, 并且在各针吸活检中获得的蜂窝组织样本的图像82-1到82-3被包括在图像81中。
在步骤S2中，检测部52检测诊断区域。例如，诊断区域检测为如图10中所示。
图10是示出诊断区域的图。图10示出了从图9中所示的图像81检测诊断区域的示例。在图10中所示的示例中，区域83-1到83-3均被检测为诊断区域，并且区域83-1 到83-3分别对应于图9中所示的蜂窝组织的图像82-1到82-3。换句话说，通过执行该处理，图像81内的除了蜂窝组织的图像82-1到82-3之外的区域(即背景区域)被从诊断区域排除。
在步骤S3中，分组部53执行在步骤S2的处理中获得的一个医学图像中所包括的多个诊断区域的分组。以这种方式，每次通过针吸活检获得的蜂窝组织的图像被作为不同的图像提供。作为其结果，防止发生下列情况不同的蜂窝组织被错误地识别为相同的蜂窝组织。
组的数量可以是一个或者两个或更多个。由于该数量代表要被卷动的目标的数量，所以该数量根据诊断场景被设置为适当的值，在稍后描述的步骤S14中执行卷动。当其为肺的图像时，由于存在左右两个肺，所以组的数量被设置为两个，当其为大肠的图像时， 由于其数量为一个，所以组的数量被设置为一个，以这种方式，优选的是基于要诊断的对象的属性来确定组的数量。在本实施例的情况中，由于针吸活检的数量是三并且存在三个蜂窝组织，所以组的数量被设置为三个。
在按活检的数量执行病理图像的分组的情况下，一般地，在产生制备好的玻片时已经知道活检的数量，因此，其为聚类(cluster)数量已知的聚类问题。此后，将描述使用谱聚类(spectral clustering)技术的分组方法。
这里，诊断区域的像素的数量由η代表，并且用于分组的目标类数量由C代表。亲和度(affinity)矩阵Aij如等式(I)所定义，其中，(Iij代表像素i和像素j的坐标值的欧氏距离。
'A zrexP(1^f) O ^ j)O.* (I)Ay =0
在等式(I)中，σ代表缩放参数，并且对于对象设置适当的值，例如O.1。
此外，定义对角矩阵D，如等式(2)中所示，并且使 用等式(I)和等式(2)运算等式(3)中所示的矩阵L。_o] Dy = ZAij…(2)j=l[_] L = D2 AD2…(3)
按矩阵L的本征值的降序确定本征向量(eigenvector)X1, x2, . . . , x。，本征向量的数量为C，并生成等式(4)中所示的矩阵X。
X= [x1； X2, , Xc] (4)
确定下面等式(5)中所示的矩阵Y，其中，矩阵X针对每一行进行归一化。XijY>| _Lt…(5)(ΣχΙΓ^ j 1
当矩阵Y中的每一行被用作单元向量并经过K平均聚类(K-means clustering) 到数量C时，矩阵Y的行号i的聚类对应于像素i的聚类。
注意，在上面使用了谱聚类，但是例如通过把K平均方法直接应用于输入数据，也可以使用其他的聚类技术。优选的是，根据输入数据的特性使用适当的聚类方法。
图11是示出分组的图。图11示出了通过对图10中所示的区域83-1到83-3执行分组获得的结果。在图11中，图10中所示的区域83-1到83-3被分组为不同的组，分别为区域84-1到84-3。
在步骤S4中，如图12中所示，校正部54在步骤S3中经过分组的每一区域上执行旋转校正。具体来说，针对每一组确定区域84的惯性主轴(the principal axis ofinertia)。每一区域84经过旋转校正以使其惯性主轴平行于垂直方向(即y轴方向)。惯性主轴Θ由等式(6)代表，其中，围绕区域84的重心的力矩由Um代表。在该等式中，P代表X轴力矩的阶(order), q代表y轴力矩的阶。
权利要求
1.一种图像处理设备，其包括 移动部，其在屏幕上卷动医学图像；以及 显示控制部，其在医学图像被在屏幕上卷动的情况下对显示部进行控制，以便以医学图像的诊断区域的观察基准位置通过屏幕的显示区域的显示基准位置的方式来显示医学图像。
2.如权利要求I所述的图像处理设备， 其中，观察基准位置在与医学图像的卷动方向垂直的方向的中心附近，并且 其中，显示基准位置在显示区域的中心附近。
3.如权利要求2所述的图像处理设备， 其中，卷动以自动模式执行时，以医学图像的诊断区域的观察基准位置通过屏幕的显示区域的显示基准位置的方式来显示医学图像。
4.如权利要求3所述的图像处理设备， 其中，在自动模式卷动被停止的情况下，能够执行手动模式卷动，并且，沿由用户指示的方向执行手动模式卷动。
5.如权利要求4所述的图像处理设备， 其中，在暂停自动模式卷动之后，在沿由用户指示的方向执行手动模式卷动的状态下自动模式卷动的指令被再次发出的情况下，从停止自动模式卷动的位置处再次开始自动模式卷动。
6.如权利要求5所述的图像处理设备， 其中，在诊断区域的异常部分，移动部限制卷动的速度。
7.如权利要求6所述的图像处理设备， 其中，诊断区域中的异常部分被突出显示。
8.如权利要求7所述的图像处理设备， 其中，异常部分被以预先确定的颜色标记。
9.如权利要求6所述的图像处理设备， 其中，当沿着卷动方向到达诊断区域的末端部分时，显示到达末端部分的实际情况。
10.如权利要求9所述的图像处理设备，还包括 检测部，其从医学图像检测诊断区域。
11.如权利要求10所述的图像处理设备， 其中，执行对包括在一个医学图像中的多个诊断区域的分组，并且卷动一个组的诊断目标图像。
12.如权利要求11所述的图像处理设备， 其中，屏蔽医学图像的除观察目标以外的诊断区域。
13.如权利要求12所述的图像处理设备，还包括 缩放部，其在与诊断区域的卷动方向垂直的方向上的宽度大于基于显示区域的宽度设置的缩小阈值时缩小与诊断区域的卷动方向垂直的方向上的宽度，以使与诊断区域的卷动方向垂直的方向上的宽度小于显示区域的宽度。
14.如权利要求13所述的图像处理设备， 其中，当与诊断区域的卷动方向垂直的方向上的宽度小于基于显示区域的宽度设置的放大阈值时，缩放部在小于显示区域的宽度的范围内放大与诊断区域的卷动方向垂直的方向上的宽度。
15.一种图像处理方法，其包括 在屏幕上卷动医学图像；以及 对于显示部进行控制，以便在医学图像被在屏幕上卷动的情况下，以医学图像的诊断区域的观察基准位置通过屏幕的显示区域的显示基准位置的方式来显示医学图像。
16.一种其中记录了程序的计算机可读记录介质，所述程序用于使计算机执行以下步骤 在屏幕上卷动医学图像的移动步骤；以及 用于对显示部进行控制的控制步骤，以便在医学图像被在屏幕上卷动的情况下，以医学图像的诊断区域的观察基准位置通过屏幕的显示区域的显示基准位置的方式来显示医学图像。
17.一种程序，用于使计算机执行以下步骤 在屏幕上卷动医学图像的移动步骤；以及 用于对显示部进行控制的控制步骤，以便在医学图像被在屏幕上卷动的情况下，以医学图像的诊断区域的观察基准位置通过屏幕的显示区域的显示基准位置的方式来显示医学图像。
全文摘要
提供了一种图像处理设备，包括移动部，其在屏幕上卷动医学图像；以及显示控制部，其在医学图像被在屏幕上卷动的情况下对显示部进行控制以便以医学图像的诊断区域的观察基准位置通过屏幕的显示区域的显示基准位置的方式来显示医学图像。
文档编号G06F19/00GK102981731SQ20121016596
公开日2013年3月20日 申请日期2012年5月25日 优先权日2011年6月3日
发明者大桥武史, 横野顺, 成平拓也 申请人:索尼公司, 公益财团法人癌研究会