专利名称：图像处理装置以及图像处理方法
技术领域：
本发明涉及对拍摄被检者活体内而得到的活体内图像进行处理的图像处理装置以及图像处理方法。
背景技术：
以往作为导入患者等被检者体内，观察管腔内部的医用观察装置，内窥镜得到广泛普及。近些年来还开发出了吞入型内窥镜(胶囊型内窥镜)，其在胶囊型壳体内部收纳摄像装置和通信装置等，将由摄像装置拍摄的图像数据无线发送到体外。由这种医用观察装置所拍摄的一系列活体内图像(消化道内图像)呈现出庞大的数量(几万张以上)，而且为对各消化道内图像进行观察和诊断需要较多的经验。因此希望有辅助医师诊断的医疗诊断辅助功能。作为实现这种功能的图像识别技术之一，提出了根据消化道内图像自动检测病变等异常部分，示出应重点诊断的图像的技术。然而在消化道内图像中，除了在诊断中作为观察对象的粘膜区域之外，有时还会拍摄到残渣那样的观察中不需要的内容物。作为判别这种粘膜区域与内容物区域(即区域的类别)的技术，例如在日本特开2010-115413号公报中公开了如下的图像处理方法从一系列消化道内图像中选择多个图像，计算出所选择的多个图像的每个像素或每个小区域的颜色特征量，根据这些颜色特征量判别构成一系列消化道内图像的各图像内的粘膜区域。另外，作为判别图像中拍摄到的彼此不同的区域的技术，还已知有基于使用灰度共生矩阵的纹理特征量的方法(例如奥富正敏等人所著《于^ ”夕 > 画像処理》、CG-ARTS 协会、参见第194 195页)。灰度共生矩阵指的是设像素i与距离像素i偏移了一定的相对位置δ = (d，θ ) (d是距离、θ是角度)的像素j的像素值为别为LpLj的情况下，以产生像素值的对(LyLj)的概率Ps (LpLj)作为要素的矩阵。通过使用该矩阵，能求出表示像素值的均勻性、方向性以及对比度等性质的特征量。然而，当使用颜色特征量判别在活体内图像中拍摄的各区域的类别的情况下，有时会受到摄像条件(照明条件等)的影响。另外，在应用使用了灰度共生矩阵的纹理特征量的情况下，必须使用考虑到对象物的参数，因而难以制作出处理时间较快的算法。因此， 当对消化道内图像那样的图像数量非常多的活体内图像来判别区域的情况下，处理时间会变长。
发明内容
本发明就是鉴于上述情况而完成的，其目的在于提供一种能够在不受到摄像条件影响的情况下，通过比现有技术更快的算法恰当判别活体内图像中包含的各区域的类别的图像处理装置以及图像处理方法。本发明一个方面涉及的图像处理装置具有评价区域设定部，其在活体内图像中设定作为类别判别对象的评价区域；纹理分量取得部，其从上述评价区域内的活体内图像获得纹理分量；评价值计算部，其计算表示上述纹理分量的均质性的评价值；以及判别部，其根据上述评价值判别上述评价区域的类别。本发明的另一方面涉及的图像处理方法包括评价区域设定步骤，在活体内图像中设定作为类别判别对象的评价区域；纹理分量取得步骤，从上述评价区域内的活体内图像获得纹理分量；评价值计算步骤，计算表示上述纹理分量的均质性的评价值；以及判别步骤，根据上述评价值判别上述评价区域的类别。对照附图并阅读以下的本发明详细说明，能够进一步理解上述内容以及本发明的其他目的、特征、优点及技术和产业方面的意义。
图1是表示本发明第1实施方式涉及的图像处理装置的构成的框图。图2是说明基于形态学的开处理的纹理分量取得方法的图。图3是表示对于以粘膜区域为主的评价区域的纹理分量的取得处理的模拟结果的图。图4是表示对于以残渣区域为主的评价区域的纹理分量的取得处理的模拟结果的图。图5是表示图1所示图像处理装置的动作的流程图。图6是表示在图1的图像处理装置中进行处理的消化道内图像的一例的示意图。图7是表示在消化道内图像上设定的评价区域的一例的示意图。图8是示出表示纹理分量的评价值的计算处理的流程图。图9是表示本发明第2实施方式涉及的图像处理装置的构成的框图。图10是表示图9所示的图像处理装置的动作的流程图。图11是说明根据粘膜区域的连续分布的纹理分量生成离散分布数据的方法的图。图12是说明根据残渣区域中的连续分布的纹理分量生成离散分布数据的方法的图。图13是通过最邻近距离法算出平均最邻近距离的方法的图。图14是表示评价区域中的离散点的偏离与评价值的关系的图。图15是说明基于K-函数法的评价值的计算方法的图。图16是说明基于X2检定的评价值的计算方法的图。图17是表示本发明第3实施方式涉及的图像处理装置的构成的框图。图18是表示粘膜分量的纹理分量和直方图的一例的图。图19是表示残渣分量的纹理分量和直方图的一例的图。图20是表示本发明第3实施方式涉及的图像处理装置的构成的框图。图21是表示将第1 第3实施方式涉及的图像处理装置应用于计算机系统的例子的系统构成图。图22是表示图21所示的主体部的构成的框图。
具体实施例方式下面参照
本发明实施方式涉及的图像处理装置。并且，本发明不限于这些实施方式。而且在各附图的描述中，对相同部分赋予相同标号进行表示。以下说明的实施方式涉及的图像处理装置例如对通过内窥镜或胶囊型内窥镜等医用观察装置拍摄的被检者的活体内图像(消化道内图像)进行处理，具体进行判别在消化道内图像中拍摄到的区域的类别(即识别在诊断中作为观察对象的粘膜区域和观察所不需要的残渣区域)的处理。另外，在以下实施方式中，由医用观察装置所拍摄的消化道内图像例如为各像素具有对于R(红)、G (绿)、B (蓝)的各颜色分量的像素水平(像素值) 的彩色图像。第1实施方式图1是表示本发明第1实施方式涉及的图像处理装置的构成的框图。如图1所示， 图像处理装置1具有图像取得部11、输入部12、显示部13、记录部14、运算部15、控制图像处理装置11整体动作的控制部10。图像取得部11获得由医用观察装置所拍摄的消化道内图像的图像数据。图像取得部11可按照包含医用观察装置在内的系统的规格而适当构成。例如医用观察装置是胶囊型内窥镜，当将可移动型记录介质用于与医用观察装置之间的图像数据的收发时，图像取得部11通过以可自由拆装的方式安装该记录介质，读出所保存的消化道内图像的图像数据的读取器装置来实现。另外，当设置预先保存由医用观察装置拍摄的消化道内图像的图像数据的服务器的情况下，图像取得部11通过与服务器连接的通信装置等实现，与服务器之间进行数据通信，获得消化道内图像的图像数据。或者还可以通过经由电缆从内窥镜等医用观察装置输入图像信号的接口装置等构成图像取得部11。输入部12例如通过键盘、鼠标、触摸面板、各种开关等输入设备实现，将通过用户操作这些输入设备而输入的输入信号输出给控制部10。显示部13通过IXD或EL显示器等显示装置实现，在控制部10的控制之下显示包含消化道内图像在内的各种画面。记录部14通过能更新记录的闪速存储器等ROM或RAM这样的IC存储器、内置或通过数据通信端子连接的硬盘或CD-ROM等信息记录介质及其读取装置等实现。记录部14 除了储存由图像取得部11获得的消化道内图像的图像数据之外，还储存用于使图像处理装置1进行动作并使图像处理装置1执行各种功能的程序、该程序的执行中所用的数据等。 具体而言，记录部14储存用于判别消化道内图像中所包含的粘膜区域与残渣区域的图像处理程序141。运算部15通过CPU等硬件和读取到该硬件中的图像处理程序141来实现，对消化道内图像的图像数据进行处理，进行用于判别粘膜区域与残渣区域的各种运算处理。运算部15具有评价区域设定部16、纹理分量取得部17、计算表示评价区域中的纹理分量的均质性的评价值的作为评价值计算单元的偏斜评价值计算部18、判别部19。评价区域设定部16根据消化道内图像设定作为判别粘膜区域与残渣区域的对象的评价区域。纹理分量取得部17从评价区域内的消化道内图像中去除结构分量，从而获得纹理分量。作为纹理分量的取得方法，例如可使用形态学(形态)的开处理(小畑秀文著、「^
才口夕一」、- α f社、参见第82 85页)。图2是说明通过形态学的开处理获得纹理分量的方法的图。在形态学的开处理中，首先使被称作结构要素的基准图形化相对于将构成2维图像的xy平面上的各像素的像素值视作高度(ζ轴)的3维空间中的图像G(图2(a))，从图像G的像素值小的位置处起一边外切一边移动，获得基准图形化的外周的最大值所通过的轨迹SC(图2(b))。该轨迹SC 相当于原图像G所包含的结构分量。进而，通过从图像G减去轨迹(结构分量)SC，从而能获得纹理分量TC (图2(c))。图3表示从粘膜区域获得纹理分量的模拟结果。如图3所示，从粘膜区域的图像 Gm(图3(a))减去通过开处理获得的结构分量SCM(图3(b))，从而获得粘膜区域的纹理分量 TCm(图3(c))。如图3(c)所示，粘膜区域的纹理分量TCm为较为均质的性状。另一方面，图4表示从残渣区域中获得纹理分量的模拟结果。如图4所示，从粘膜区域的图像(图4 (a))中减去通过开处理获得的结构分量SCk (图4 (b))，从而获得残渣区域的纹理分量TCk(图4(c))。如图4(c)所示，残渣区域的纹理分量较多凹凸的非均质性状。并且，作为纹理分量的取得方法，除了上述说明之外还能使用已知的各种方法。例如对消化道内图像实施傅利叶变换，进行高通滤波处理以截止低频分量。也可以对如上获得的图像实施逆傅利叶变换，获得纹理分量。偏斜评价值计算部18计算表示坐标空间上的纹理分量的均质性的评价值。具体而言，偏斜评价值计算部18具有坐标重心距离计算部181。坐标重心距离计算部181将在评价区域的内部坐标重心与通过纹理分量的像素值(亮度)加权后的坐标重心之间的距离作为表示均质性的评价值计算出来。判别部19根据由偏斜评价值计算部18计算出的评价值，判别评价区域的类别。具体而言，当评价值表示纹理分量的均质性的情况下，判别部19判别为评价区域是粘膜区域 (参见图3(c))。另一方面，当评价值未表示纹理分量的均质性的情况下，判别部19判别为评价区域是残渣区域(参见图4(c))。评价值是否表示纹理分量的均质性是根据该评价值是否包含于预定范围内来判定的。控制部10通过CPU等硬件实现，读入储存于记录部14中的各种程序，从而按照由图像取得部11输入的图像数据和由输入部12输入的操作信号等，进行对于构成图像处理装置1的各部分的指示和数据传送等，统一控制图像处理装置1的动作。接着参照图5说明图像处理装置1的动作。图5是表示图像处理装置1判别粘膜区域与残渣区域的图像处理的动作的流程图。而且在以下内容中以对图6所示的消化道内图像的图像处理为例进行说明。如图6所示，在包含消化道内图像100在内的一系列消化道内图像组中以粘膜区域101为主，时而出现残渣区域102、病变区域103等。当取入到图像处理装置1的消化道内图像组的图像数据被储存到记录部14中时， 运算部15从记录部14读取出处理对象的消化道内图像100(步骤Si)。在步骤S2中，评价区域设定部16对消化道内图像100设定评价区域。具体而言， 评价区域设定部16如图7所示将消化道内图像100分割为多个矩形区域，将各区域依次设定为评价区域105。并且在图7中，将消化道内图像100分割为16个区域，而分割数和各区域的大小和形状不限于此，可按照希望设定。例如既可以将1个或多个像素组成的区域设定为1个评价区域，也可以将消化道内图像100整体(即不进行分割)设定为1个评价区域。
在步骤S3中，纹理分量取得部17接受表示消化道内图像100和评价区域105的信息(例如坐标信息)，从评价区域105内的消化道内图像去除结构分量106，从而获得纹
理分量。在步骤S4中，坐标重心距离计算部181计算评价区域105内部的坐标重心与通过纹理分量的像素值对评价区域105内部进行加权后的坐标重心之间的距离即坐标重心距离，作为表示评价区域105的纹理分量的均质性的评价值(以下简称为“评价值”)。图8是表示示出纹理分量的均质性的评价值的计算处理的流程图。首先在步骤 Sll中，坐标重心距离计算部181从评价区域设定部16获得表示评价区域105的信息(例如坐标信息)，并且从纹理分量取得部17获得评价区域105的纹理分量。步骤S12中，坐标重心距离计算部181使用式(1)计算评价区域105内所包含的像素的坐标重心(gx，g￥)。
权利要求
1.一种图像处理装置，其特征在于，具有评价区域设定部，其在活体内图像中设定作为类别判别对象的评价区域；纹理分量取得部，其从上述评价区域内的活体内图像获得纹理分量；评价值计算部，其计算表示上述纹理分量的均质性的评价值；以及判别部，其根据上述评价值判别上述评价区域的类别。
2.根据权利要求1所述的图像处理装置，其特征在于，上述活体内图像是消化道内图像，当上述评价值包含于表示上述纹理分量为均质的预定范围内的情况下，上述判别部判别为上述评价区域的类别是粘膜区域。
3.根据权利要求1所述的图像处理装置，其特征在于，上述评价值计算部具有计算表示坐标空间上的纹理分量的均质性的评价值的偏斜评价值计算部。
4.根据权利要求3所述的图像处理装置，其特征在于，上述偏斜评价值计算部计算上述评价区域的坐标重心与通过上述纹理分量的像素值对包含于上述评价区域中的像素进行了加权后的加权坐标重心之间的距离。
5.根据权利要求4所述的图像处理装置，其特征在于，上述偏斜评价值计算部通过上述纹理分量的像素值对上述评价区域的一部分像素进行加权，从而计算上述加权坐标重心。
6.根据权利要求5所述的图像处理装置，其特征在于，上述偏斜评价值计算部对相对于上述纹理分量的像素值的最大值具有预定比例以上的像素值的像素进行加权，从而计算上述加权坐标重心。
7.根据权利要求3所述的图像处理装置，其特征在于，上述偏斜评价值计算部具有离散分布计算部，其根据由连续分布表现的上述纹理分量，生成由多个离散点构成的离散分布数据；以及均质性评价值计算部，其根据上述多个离散点的坐标信息计算上述评价值。
8.根据权利要求7所述的图像处理装置，其特征在于，上述离散分布计算部提取出相对于上述纹理分量的像素值的最大值具有预定比例的像素值的像素，作为上述多个离散点。
9.根据权利要求7所述的图像处理装置，其特征在于，上述均质性评价值计算部根据上述多个离散点之间的距离解析上述多个离散点的分布，从而计算上述评价值。
10.根据权利要求9所述的图像处理装置，其特征在于，上述均质性评价值计算部使用各离散点与最接近各离散点的其他离散点之间的距离， 计算上述评价值。
11.根据权利要求9所述的图像处理装置，其特征在于，上述均质性评价值计算部使用各离散点和包含于距各离散点为预定距离的范围内的离散点的个数，计算上述评价值。
12.根据权利要求7所述的图像处理装置，其特征在于，上述均质性评价值计算部将上述评价区域分割成形状和面积彼此相等的多个区域，根据多个区域各自包含的离散点数量，计算上述评价值。
13.根据权利要求12所述的图像处理装置，其特征在于， 上述均质性评价值计算部使用χ2检定来计算上述评价值。
14.根据权利要求12所述的图像处理装置，其特征在于，上述均质性评价值计算部使用多样度指数来计算上述评价值，该多样度指数表示群集中包含的种类的多样度。
15.根据权利要求1所述的图像处理装置，其特征在于，上述评价值计算部根据上述纹理分量的像素值的频度分布的变形，计算上述评价值。
16.一种图像处理方法，其特征在于，包括评价区域设定步骤，在活体内图像中设定作为类别判别对象的评价区域； 纹理分量取得步骤，从上述评价区域内的活体内图像获得纹理分量； 评价值计算步骤，计算表示上述纹理分量的均质性的评价值；以及判别步骤，根据上述评价值判别上述评价区域的类别。
全文摘要
本发明提供一种图像处理装置以及图像处理方法。图像处理装置具有评价区域设定部，其在活体内图像中设定作为类别判别对象的评价区域；纹理分量取得部，其从上述评价区域内的活体内图像获得纹理分量；评价值计算部，其计算表示上述纹理分量的均质性的评价值；以及判别部，其根据上述评价值判别上述评价区域的类别。
文档编号A61B1/04GK102567988SQ20111038660
公开日2012年7月11日 申请日期2011年11月29日 优先权日2010年11月29日
发明者北村诚, 弘田昌士, 河野隆志, 神田大和 申请人:奥林巴斯株式会社