专利名称：图像处理装置以及图像处理方法
技术领域：
本发明涉及对拍摄活体而得的图像实施图像处理的图像处理装置以及图像处理方法。
背景技术：
近年来，作为能够对患者的管腔内进行非侵入观察的医用观察装置，内窥镜得到广泛普及。最近，导入被检体内、在通过蠕动运动在管腔内行进的同时进行摄像的胶囊型内窥镜也正在普及。
另一方面，使用了这种医用观察装置的诊断对于用户(医生等)而言需要较多的经验，并且也是负担较大的作业。尤其是，在使用了胶囊型内窥镜的检查中，例如在8小时左右的范围内取得几万张的管腔内图像，因此根据大量的管腔内图像识别病变部等的作业非常困难。因此，期望辅助诊断的各种医疗诊断支援功能，作为实现支援功能的图像识别技术之一，提出了从管腔内图像自动检测异常部(关注区域)，示出应重点诊断的图像的技术。
例如，在日本特开2005-192880号公报中，公开了如下图像处理方法计算基于所输入的图像中的色调的特征量，并根据该特征量决定上述图像中的异常观察结果区域。
但是，从管腔内图像检测出的异常部是由于某些特性与周围不同而被检测出的部分，不一定限于病变部。因此，在异常部中存在医生在诊断时应该优先确认的部分和不用优先确认的部分。在判断这种优先度时的异常部的分类中，例如异常部的面积和颜色深浅是准则之一。但是，在以往的使用图像处理装置的异常部的检测方法中，有时只能检测到显现在图像内的异常部内部的一部分，因此图像处理装置不能仅凭检测到的部分的信息，判定用户是否应该优先确认该异常部并显示给用户，用户基本要确认检测到的所有异常部。发明内容
本发明正是鉴于上述问题而作出的，其目的在于提供图像处理装置以及图像处理方法，能够判定从图像检测出的关注区域是否为应优先确认的关注区域。
本发明的一个方式的图像处理装置将图像内所包含的关注区域分类为多个分类项目，该图像处理装置具有初始区域检测部，其检测所述关注区域的至少一部分并设定为初始区域；扩展区域检测部，其通过对所述初始区域进行扩展来检测扩展区域；以及区域判定部，其计算所述初始区域和所述扩展区域的特征量，并根据该特征量判定所述关注区域对应于所述多个分类项目中的哪一个。
本发明的另一个方式的图像处理方法将图像内所包含的关注区域分类为多个分类项目，在该图像处理方法中，包含初始区域检测步骤，检测所述关注区域的至少一部分并设定为初始区域；扩展区域检测步骤，通过对所述初始区域进行扩展来检测扩展区域; 以及区域判定步骤，计算所述初始区域和所述扩展区域的特征量，并根据该特征量判定所述关注区域对应于所述多个分类项目中的哪一个。
如果将以下本发明的详细说明与附图对照着进行阅读，则能够进一步理解以上所述的情况以及本发明的其它目的、特征、优点和技术及产业上的意义。
图I是示出本发明实施方式I的图像处理装置的结构的框图。
图2是示出异常部的分类项目与优先确认度之间的关系的表。
图3是示出图I所示的图像处理装置的动作的流程图。
图4是示出图I所示的初始区域检测部执行的详细处理的流程图。
图5A和图5B是示意性示出对从管腔内图像检测到的初始区域进行扩展的概念的图。
图6是示出图I所示的扩展区域检测部执行的详细处理的流程图。
图7是示出图I所示的区域判定部执行的详细处理的流程图。
图8A是示出扩展区域局限在异常部的内部的情况的示意图。
图8B是示出图8A所示的情况下的颜色特征量的变化的曲线图。
图9A是示出扩展区域超过异常部进行了扩展的情况的示意图。
图9B是示出图9A所示的情况下的颜色特征量的变化的曲线图。
图10是示出本发明实施方式2的图像处理装置的结构的框图。
图11是示出图10所示的扩展区域检测部执行的详细处理的流程图。
图12是示出本发明实施方式3的图像处理装置的结构的框图。
图13是示出图12所示的区域判定部执行的详细处理的流程图。
图14A是示出扩展区域局限在异常部的内部的情况的示意图。
图14B是示出图14A所示的情况下的颜色特征量的变化的曲线图。
图15A是示出扩展区域超过异常部进行了扩展的情况的示意图。
图15B是示出图15A所示的情况下的颜色特征量的变化的曲线图。
具体实施方式
以下，参照
本发明的实施方式的图像处理装置以及图像处理方法。另外， 本发明不受这些实施方式限定。另外，在各附图的记载中，对相同部分标注相同标号来示出。
在以下的实施方式中，作为一例，说明对管腔内图像(以下简称作图像)的处理，该管腔内图像通过使用胶囊内窥镜等医用观察装置拍摄被检体的管腔内而取得。该管腔内图像例如是在各像素位置处具有针对R (红)、G (绿)、B (蓝)的各颜色成分的像素级(像素值) 的彩色图像。
另外，本发明不限于管腔内图像，还可广泛应用于通过其他的一般图像取得装置取得的图像。
实施方式I
图I是示出本发明实施方式I的图像处理装置的结构的框图。图I所示的图像处理装置I具有控制部10，其控制图像处理装置I整体的动作；图像取得部20，其取得与通过胶囊内窥镜等医用观察装置拍摄的一系列的图像对应的图像数据；输入部30，其受理从外部输入的输入信号；显示部40，其进行各种显示；记录部50，其存储由图像取得部20取得的图像数据和各种程序；以及运算部100，其对图像数据执行预定的图像处理。
控制部10由CPU等硬件来实现，其通过读入存储在记录部50中的各种程序，根据从图像取得部20输入的图像数据和从输入部30输入的操作信号等，向构成图像处理装置 I的各个部分进行指示或者数据传送等，对图像处理装置I整体的动作进行统一控制。
图像取得部20根据包含医用观察装置的系统的方式适当构成。例如，在医用观察装置是胶囊型内窥镜、且使用可与医用观察装置之间交换图像数据的可移动型记录介质的情况下，图像取得部20由拆装自如地安装该记录介质并读出记录在记录介质中的图像数据的读出装置构成。另外，在设置预先保存由医用观察装置所拍摄的图像的图像数据的服务器的情况下，图像取得部20由与服务器连接的通信装置等构成，并与服务器进行数据通信来取得图像数据。或者，还可以由经由电缆从内窥镜等医用观察装置输入图像信号的接口装置等构成图像取得部20。
输入部30通过例如键盘、鼠标、触摸面板及各种开关等输入设备来实现，其将所受理的输入信号输出到控制部10。
显示部40由IXD或EL显示器等显示装置来实现，在控制部10的控制下，显示包含管腔内图像在内的各种画面。
记录部50由可更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或者利用数据通信端子连接的硬盘、CD-ROM等信息记录介质及其读取装置等来实现。记录部50除了存储由图像取得部20所取得的图像数据以外，还存储用于使图像处理装置I动作并使该图像处理装置I执行各种功能的程序、以及在该程序的执行中使用的数据等。具体而言，记录部50从管腔内图像检测某些特性与周围不同的关注区域(以下称作异常部)，并记录图像处理程序51，该图像处理程序51判定该异常部被分类到预定的多个分类项目中的哪一个。
图2是示出异常部的分类项目、与用户在诊断时应确认的图像的优先度(确认优先度)之间的关系的表。此处，作为一例，能够根据面积的大小以及与周围的颜色(例如红色)的浓度差的大小对异常部进行分类。其中，面积大的异常部的确认优先度不论浓度差的大小如何都较高。另一方面，关于面积小的异常部，浓度差大(颜色比周围明显深或浅)的异常部的确认优先度高，而浓度差小的异常部的确认优先度比前者低。因此，在本实施方式中，将从管腔内图像检测出的异常部分类为面积大的异常部、面积小且与周围的浓度差大的异常部以及面积小且与周围的浓度差小的异常部三个项目。另外，根据用户的经验等设定面积的大/小的阈值、以及浓度差的大/小的阈值。
运算部100由CPU等硬件来实现，通过读入图像处理程序51，对与管腔内图像对应的图像数据实施图像处理，进行用于将从图像内检测出的异常部分类为上述三个分类项目的各种运算处理。
接着，对运算部100的详细结构进行说明。
如图I所示，运算部100具有检测与图像内的异常部对应的区域作为初始区域的初始区域检测部110 ;通过扩展初始区域来检测扩展区域的扩展区域检测部120 ;以及根据初始区域和扩展区域的特征量，判定包含上述异常部的关注区域与分类项目中的哪一个相当的区域判定部130。
扩展区域检测部120具有相邻区域确定部121，其设定初始区域作为合并区域的初始状态，并确定与该合并区域相邻的相邻区域；合并判定部122，其根据合并区域和相邻区域的特征量，判定是否应该将相邻区域合并到合并区域中；以及结束判定部123，其根据合并区域的面积，判定是否结束上述相邻区域向上述合并区域的合并。更详细地说，合并判定部122包含计算合并区域与相邻区域之间的边缘强度的边缘强度计算部122a、以及计算合并区域与相邻区域之间的颜色特征量的差分的颜色特征量差分计算部122b，根据边缘强度和颜色特征量的差分判定是否应该将相邻区域合并到合并区域中。
区域判定部130具有计算初始区域中的特征量(以下称作初始区域特征量)的初始区域特征量计算部131、计算扩展区域中的特征量(以下称作扩展区域特征量)的扩展区域特征量计算部132和计算初始区域特征量与扩展区域特征量的差分的差分计算部133，根据由差分计算部133计算出的差分，判定关注区域与分类项目中的哪一个相当。其中，初始区域特征量计算部131包含计算初始区域中的颜色特征量的平均值(以下也称作平均颜色特征量)的平均颜色特征量计算部131a。此外，扩展区域特征量计算部132包含计算扩展区域中的颜色特征量的平均值(以下也称作平均颜色特征量)的平均颜色特征量计算部132a。
接着，说明图I所示的图像处理装置I的动作。图3是示出图像处理装置I的动作的流程图。
首先，在步骤SlO中，图像取得部20取得通过医用观察装置拍摄的一系列管腔内图像的图像数据并存储到记录部50中。运算部100从记录部50中依次读入与实施图像处理的图像对应的图像数据。
在接下来的步骤Sll中，初始区域检测部110从图像检测异常部，并将检测出的异常部设定为初始区域。此处检测的异常部可以是显现在图像中的整个异常部，也可以仅是显现在图像中的异常部内部的一部分。能够利用公知的各种方法作为异常部的检测方法。 以下，作为一例，对根据管腔内图像所包含的各像素的特征量检测异常部的方法进行说明。
图4是示出步骤Sll中的详细处理的流程图。
首先，在步骤SllO中，初始区域检测部110取得或计算管腔内图像所包含的各像素的特征量。作为特征量，能够使用各像素的R、G、B成分的值，和根据这些成分二次计算的亮度、色差、色泽、颜色饱和度、明度、色比等的值。在本实施方式I中，使用色度CK=r/ (r+g+b)和Ce=g/ (r+g+b)作为特征量(r、g、b分别是像素的R、G、B各成分的值)。此处,通常管腔内图像的色调变化最依赖于光的吸收变动，具体而言最依赖于血液中的血红蛋白的吸收频带(波长)。因此，如果管腔内图像中的粘膜色调是红色调，则前者Ck的值相对变大， 后者Ce的值变小。此外，如果粘膜色调由于褪色等而为白色调，则后者Ce的值相对上升。
在接下来的步骤Slll中，初始区域检测部110将各像素投影到以特征量C1^PCe 为成分的特征空间，对特征量分布进行聚类。
在步骤S112中，初始区域检测部110从作为聚类的结果生成的群组中检测反映出异常的色调的群组(异常部群组)。例如能够通过将各群组的重心坐标与预定阈值进行比较来进行异常部群组的检测。
在步骤S113中，初始区域检测部110检测由异常部群组所包含的像素构成的图像上的区域，并将其设为初始区域。图5A是示出从图像处理对象的图像GO检测出的初始区域D的示意图。
另外，关于异常部的检测方法的详细情况，例如想参考日本特开2005-192880号公报。
之后处理返回主例程。
在步骤S12中，如图5B所示，合并判定部122通过根据预定的合并条件针对初始区域D合并相邻的像素，检测对初始区域D进行了扩展的扩展区域E。
图6是示出步骤S12中的详细处理的流程图。
最初，在步骤S120中，扩展区域检测部120将初始区域D设定为合并区域的初始状态。
接着，扩展区域检测部120对与所设定的合并区域相邻的所有像素(以下也称作相邻像素)执行循环A的处理。
首先，在步骤S121中，相邻区域确定部121搜索合并区域的相邻像素。
在步骤S122中，边缘强度计算部122a计算搜索出的相邻像素与合并区域之间的边缘强度。在实施方式I中，将相邻像素、与合并区域内的像素的R成分的值的差分设为边缘强度，所述合并区域内的像素即与相邻像素相邻的像素。
在步骤S123中，颜色特征量差分计算部122b计算相邻像素与合并区域之间的颜色特征量的差分。在实施方式I中，使用R成分和G成分的比率即G/R值作为颜色特征量， 计算相邻像素的G/R值、与合并区域所包含的像素的平均G/R值的差分。
在步骤S124中，合并判定部122判定在步骤S122中计算出的边缘强度是否为预定阈值Th_edge以下，并且在步骤S123中计算出的颜色特征量的差分是否为预定阈值Th_ ch以下。此处，例如考虑在作为判定对象的相邻像素与合并区域之间存在结构性边界的情况，作为边缘强度大于阈值Th_edge的状况。此外，例如考虑在作为判定对象的相邻像素与合并区域之间存在颜色深的区域和颜色不深的区域的边界的情况，作为颜色特征量的差分大于阈值Th_ch的状况。由于夹着这种结构的边界和颜色的边界的相邻像素不包含在合并区域中而进行步骤S124的判定。
在判定为边缘强度和颜色特征量的差分均为阈值以下的情况下(步骤S124 :是)， 扩展区域检测部120将判定对象的相邻像素合并到合并区域中，生成新的合并区域(步骤 S125)。
在步骤S126中，结束判定部123判定合并区域的面积是否为预定阈值Th_area以下。从为容易观察的大小这一观点出发，根据用户的经验决定该阈值Th_area。
在判定为合并区域的面积为阈值Th_area以下的情况下(步骤S126 :是),扩展区域检测部120对新的合并区域的相邻像素内的、未变为判定对象的相邻像素反复循环A的处理。
另一方面，在判定为合并区域的面积大于阈值Th_area的情况下(步骤S126 :否)， 扩展区域检测部120结束扩展区域的检测处理，将新生成的合并区域设定为扩展区域(步骤S127)。之后处理返回主例程。
此外，在步骤S124中判定为边缘强度和颜色特征量的差分内的任意一个、或两方均大于阈值的情况下(步骤S124 :否)，扩展区域检测部120不合并作为判定对象的相邻像素，而对未判定的相邻像素反复循环A的处理。并且，在对包围合并区域的所有相邻像素的处理结束时，结束扩展区域的检测处理，将当前的合并区域设定为扩展区域(步骤S128)。之后处理返回主例程。
在步骤S13中，区域判定部130根据扩展区域E的面积、以及初始区域D和扩展区域E的颜色特征量，判定从图像检测出的异常部的分类(参照图2)。
图7是示出步骤S13中的详细处理的流程图。
首先，在步骤S130中，区域判定部130判定步骤S12中的合并区域扩展处理(循环 A内的处理)结束时的结束条件。
在通过结束对合并区域的所有相邻像素的判定而退出循环A的情况下(步骤 S130 :针对所有的相邻像素完成判定)，区域判定部130将包含初始区域D的异常部判定为面积小、且与周围的差异明显(即与周围的浓度差大)的异常部(步骤S131)。这是因为在合并区域的面积变宽到阈值Th_area之前合并处理结束，根据合并区域与相邻区域之间的颜色特征量的差分或边缘强度大于阈值的判定(步骤S124 :否)划定合并区域的轮廓。因此， 判断为该异常部的确认优先度高。
另一方面，在根据合并区域的面积大于阈值Th_area的判定(步骤S126 :否)而退出循环A的情况下(步骤S130 :合并区域的面积大于阈值)，区域判定部130执行步骤S132 以后的处理。
此处，在合并区域的面积大于阈值Th_area的情况下，考虑以下两个状况。第一， 如图8A所示，是如下状况从初始区域D1开始扩展的扩展区域E1局限在本来存在于图像Gl 内的异常部Q1内，正在扩展中。第二，如图9A所示，是如下状况从初始区域D2开始扩展的扩展区域E2超过本来存在于图像G2内的异常部Q2而继续扩展。因此，区域判定部130执行判别上述第I和第2状况的处理。另外，图SB是示出图像Gl的A1 - A1线的颜色特征量的变化的曲线图。另外，图9B是示出图像G2的A2 - A2线的颜色特征量的变化的曲线图。
在步骤S132中，初始区域特征量计算部131计算G/R值的平均值作为初始区域内的平均颜色特征量。此外，在步骤S133中，扩展区域特征量计算部132计算G/R值的平均值作为扩展区域内的平均颜色特征量。
在步骤S134中，差分计算部133分别计算初始区域内的平均颜色特征量、和扩展区域内的平均颜色特征量的差分。
在步骤S135中，区域判定部130判定初始区域内和扩展区域内的平均颜色特征量的差分是否在预定阈值以上。此处，在如图8A所示那样扩展区域E1局限在异常部Q1内的情况下，可以说初始区域D1和扩展区域E1具有相同的颜色特征量，因此如图SB所示，两者之间的平均颜色特征量的差分AC1F太大。另一方面，在如图9A所那样扩展区域^超过异常部Q2进行了扩展的情况下，如图9B所示，预测异常部Q2内的初始区域D2和异常部Q2外的扩展区域E2中的平均颜色特征量的差分AC2变大的情况。因此，能够通过将差分ACp Δ C2与预定阈值进行比较，判定扩展区域Ep E2相对于异常部Qp Q2处于哪种状况。
在平均颜色特征量的差分小于阈值的情况下(步骤S135 :否)，区域判定部130将包含初始区域的异常部判定为面积大的异常部(步骤S136)。这与图8A和图SB所示的状况相当。
另一方面，在平均颜色特征量的差分在阈值以上的情况下(步骤S135 :是)，区域判定部130将包含初始区域的异常部判定为面积小、且与周围的差异不明显(即与周围的浓度差小)的异常部(步骤S137)。这是因为与图9A和图9B所示的状况相当，并且扩展了合并区域而不适合于步骤S124中的判定。因此，判断为该异常部的确认优先度相对较低。
之后处理返回主例程。
在步骤S14中，运算部100将表示步骤S13中的判定结果的标志附加到与判定对象的图像对应的图像数据上并记录到记录部50中。
如以上所说明那样，根据实施方式1，能够通过对从管腔内图像检测出的初始区域进行扩展来检测扩展区域，并根据扩展区域的面积以及初始区域和扩展区域的平均颜色特征量，判定管腔内图像所包含的异常部相当于由面积的大小和与周围的浓度差的大小构成的分类项目中的哪一个。因此，能够根据这种分类，从一系列的管腔内图像中仅提取确认优先度高的管腔内图像并显示在显示部40上，并从确认优先度高的管腔内图像起依次将管腔内图像显示在显示部40上。
另外，在实施方式I中，使用G/R值对异常部进行了分类，但是当然能够使用G/R 值以外的颜色特征量。
变形例I
在实施方式I中，使用了各区域整体的颜色特征量(G/R值)的平均值作为初始区域和扩展区域的特征量，但是只要是能够判定扩展区域是否超过了本来的异常部的边界的量，则也可以使用其他的量。具体而言，可以使用初始区域内的像素具有的最小的颜色特征量(最小G/R值)作为初始区域的特征量。此外，还可以使用扩展区域的轮廓部所包含的像素的颜色特征量的平均值(轮廓的平均G/R值)作为扩展区域的特征量。或者，还可以从扩展区域提取除初始区域以外的区域，并使用提取出的区域中的颜色特征量的平均值作为扩展区域的特征量。
实施方式2
接着，说明本发明的实施方式2。
图10是示出实施方式2的图像处理装置的结构的框图。实施方式2的图像处理装置2替代图I所示的运算部100而具有运算部200。
运算部200替代图I所示的扩展区域检测部120而具有扩展区域检测部210，该扩展区域检测部210具有图像内边缘强度计算部211、区域分割部212、相邻区域确定部213、 包含边缘强度计算部214a和颜色特征量差分计算部214b的合并判定部214、以及结束判定部215。图像内边缘强度计算部211计算作为处理对象的图像内的各像素中的边缘强度。 区域分割部212将边缘强度的脊部作为边界将管腔内图像分割为多个区域(以下称作边缘区域)。相邻区域确定部213 结束判定部215不以像素为单位，而以区域分割部212所分割的边缘区域为单位扩展从图像内检测出的初始区域。
接着，对实施方式2的图像处理装置的动作进行说明。本实施方式2的图像处理装置整体的动作与图3所示的动作相同，步骤S12中的处理内容与实施方式I不同。
图11是示出步骤S12中的详细处理的流程图。
首先，在步骤S220中，图像内边缘强度计算部211计算处理对象的图像所包含的各像素的边缘强度。在边缘强度的计算时，使用索贝尔滤波器等的微分滤波处理等公知的方法即可。
在接下来的步骤S221中，区域分割部212将边缘强度的脊部作为边界将图像分割为多个边缘区域。更详细地说，根据在步骤S220中计算出的边缘强度生成边缘强度图像， 取得边缘强度图像的各像素中的边缘强度的梯度方向。将此时的梯度方向设为边缘强度的值变小的方向。并且，搜索从各像素出发并沿着梯度方向移动时到达的最小值的像素，分割图像使得到达彼此相邻的最小值的像素的出发点的像素包含在同一区域中(参考日本国际公开第2006/080239号)。
另外，作为图像的分割方法，除此以外，还可以使用分水岭(watershed)算法(参考Luc Vincent and Pierre Soille, “Watersheds in Digital Spaces An Efficient Algorithm Based on Immersion Simulations”，IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 13, No. 6, pp. 583-598，Junel991)等公知的方法。
在步骤S222中，扩展区域检测部210选择与在步骤Sll中检测出的初始区域重复的边缘区域，并将该边缘区域设定为合并区域的初始状态。
接着，扩展区域检测部210对与所设定的合并区域相邻的所有边缘区域(以下也称作相邻区域)执行循环B的处理。
首先，在步骤S223中，相邻区域确定部213搜索与合并区域相邻的边缘区域(以下也称作相邻区域)。
在步骤S224中，边缘强度计算部214a计算搜索出的相邻区域与合并区域之间的边缘强度。在实施方式2中，计算在相邻区域与合并区域的边界相邻的像素彼此(合并区域内的轮廓像素、和与其相邻的相邻区域内的轮廓像素)间的R成分值的差分的平均值作为边缘强度。
在步骤S225中，颜色特征量差分计算部214b计算相邻区域与合并区域之间的颜色特征量的差分。在实施方式2中，使用R成分和G成分的比率即G/R值作为颜色特征量， 计算相邻区域内的G/R值的平均值、与合并区域内的G/R值的平均值的差分。
在步骤S226中，合并判定部214判定在步骤S224中计算出的边缘强度是否为预定阈值Th_edge以下，并且在步骤S225中计算出的颜色特征量的差分是否为预定阈值Th_ ch以下。
在判定为边缘强度和颜色特征量的差分均为预定阈值以下的情况下(步骤S226 是)，扩展区域检测部210将判定对象的相邻像素合并到合并区域中，生成新的合并区域(步骤 S227)。
进而，在步骤S228中，结束判定部215判定合并区域的面积是否为预定阈值Th_ area以下。在判定为合并区域的面积为阈值Th_area以下的情况下(步骤S228 :是),扩展区域检测部210对新的合并区域的相邻区域内的、未变为判定对象的相邻区域反复循环B 的处理。
另一方面，在判定为合并区域的面积大于阈值Th_area的情况下(步骤S228 :否)， 扩展区域检测部210结束扩展区域的检测处理，将新生成的合并区域设定为扩展区域(步骤S229)。之后处理返回主例程。
此外，在步骤S226中判定为边缘强度和颜色特征量的差分内的任意一个、或两方均大于阈值的情况下(步骤S226 :否)，扩展区域检测部210不合并作为判定对象的相邻区域，而对未判定的相邻区域反复循环B的处理。并且，在对包围合并区域的所有相邻区域的处理结束时，结束扩展区域的检测处理，将当前的合并区域设定为扩展区域(步骤S230)。之后处理返回主例程。
如以上所说明那样，根据实施方式2，以汇总了多个像素的边缘区域为单位扩展合并区域，因此能够生成反映了每个边缘区域的特征的扩展区域，并且能够提高运算速度。
实施方式3
接着，说明本发明的实施方式3。
图12是示出实施方式3的图像处理装置的结构的框图。如图12所示，实施方式 3的图像处理装置3替代图I所示的运算部100而具有运算部300。
运算部300替代图I所示的区域判定部130而具有区域判定部310，该区域判定部310具有计算在扩展区域的内部设定的区域(内部区域)中的特征量(扩展区域内特征量) 的扩展区域内特征量计算部311、计算在扩展区域的外部设定的区域(外部区域)中的特征量(扩展区域外特征量)的扩展区域外特征量计算部312、和计算扩展区域内特征量与扩展区域外特征量之间的差分的差分计算部313。
扩展区域内特征量计算部311包含距离图像生成部311a，其生成表示图像内的各像素到扩展区域的轮廓的距离的距离图像；阈值处理部311b，其对距离图像内的与扩展区域内部相当的区域进行阈值处理；以及平均颜色特征量计算部311c，其计算内部区域中的颜色特征量的平均值。
扩展区域外特征量计算部312包含距离图像生成部312a，其生成表示图像内的各像素到扩展区域的轮廓的距离的距离图像；阈值处理部312b，其对距离图像内的与扩展区域外部相当的区域进行阈值处理；以及平均颜色特征量计算部312c，其计算外部区域中的颜色特征量的平均值。
接着，说明图像处理装置3的动作。图像处理装置3的整体动作与图3所示的动作相同，步骤S13中的内容与实施方式I不同。即，在实施方式I中，在判别异常部的面积大小时，使用了初始区域的颜色特征量与扩展区域的颜色特征量的差分，与此相对，在实施方式3中，使用扩展区域内部的颜色特征量与扩展区域外部的颜色特征量的差分。
图13是示出步骤S13中的详细处理的流程图。
首先，在步骤S330中，区域判定部310判定步骤S12中的合并区域扩展处理(循环 A内的处理)结束时的结束条件。
在通过结束对合并区域的所有相邻像素的判定而退出循环A的情况下(步骤 S330 :针对所有的相邻像素完成判定)，区域判定部310将包含初始区域D的异常部判定为面积小、且与周围的差异明显(即与周围的浓度差大)的异常部(步骤S331)。这是因为在合并区域的面积变宽到阈值Th_area之前合并处理结束，根据合并区域与相邻区域之间的颜色特征量的差分或边缘强度大于阈值的判定(步骤S124 :否)划定合并区域的轮廓。
另一方面，在根据合并区域的面积大于阈值Th_area的判定(步骤S126 :否)而退出循环A的情况下(步骤S330 :合并区域的面积大于阈值)，区域判定部310执行步骤S332 以后的处理。
此处，在合并区域的面积大于阈值Th_area的情况下，考虑以下两个状况。第一， 如图14A所示，是如下状况从初始区域D3开始扩展的扩展区域E3还局限在本来存在于图像G3内的异常部Q3内，正在扩展中。第二，如图15A所示，是如下状况从初始区域D4开始扩展的扩展区域E4超过本来已经存在于图像G4内的异常部Q4而继续扩展。因此，区域判定部310执行判别上述第I和第2状况的处理。另外，图14B是示出图像G3的A3 — A3上的沿着X方向的颜色特征量的变化的曲线图。此外，图15B是示出图像G4的A4 - A4上的沿着X方向的颜色特征量的变化的曲线图。
在步骤S332中，距离图像生成部311a生成距离图像，该距离图像中将对应于图像内的各像素与扩展区域轮廓的距离的值设为各像素的像素值。另外，可使用公知的方法(参考平田富夫、加藤敏洋、“二一々'J y卜''距離変換^ 情報処理学会研究報告， AL, y ^ 3·' <；文Λ研究会報告、94 (82)、25-31、1994年9月21日)作为距离图像的生成方法。此外，该处理可以由距离图像生成部312a执行。
在步骤S333中，阈值处理部311b在距离图像上，在扩展区域内提取像素值为预定阈值以下的像素的区域，并将提取出的区域设定为扩展区域的内部区域。
在步骤S334中，阈值处理部312b在距离图像上，在扩展区域外提取像素值为预定阈值以下的像素的区域，并将提取出的区域设定为扩展区域的外部区域。
在步骤S335中，平均颜色特征量计算部311c计算扩展区域的内部区域中的平均颜色特征量。在实施方式3中，计算内部区域所包含的各像素的G/R值的平均值作为平均颜色特征量。
同样，在步骤S336中，平均颜色特征量计算部312c计算外部区域所包含的各像素的G/R值的平均值作为外部区域中的平均颜色特征量。
在步骤S337中，差分计算部313计算内部区域的平均颜色特征量和外部区域的平均颜色特征量的差分。
在步骤S338中，区域判定部310判定平均颜色特征量的差分是否在预定阈值以下。此处，如图14所示，在扩展区域E3局限在异常部Q3内的情况下，假定扩展区域E3的边界存在于异常部Q3的边界附近。该情况下，认为扩展区域^的内部区域ΛχΙΝ3的平均颜色特征量与外部区域Λ Χαιτ3的平均颜色特征量的差分Λ C3变大一定程度。另一方面，如图15 所示，在扩展区域E4超过异常部Q4进行了扩展的情况下，假定扩展区域E4的边界远离异常部Q4的边界。该情况下，认为扩展区域E4附近的颜色特征量的变化较小、且扩展区域E4的内部区域Axin4的平均颜色特征量与外部区域Axott4的平均颜色特征量的差分AC4比图 14的情况小。因此，能够通过将差分Λ C3、AC4与预定阈值进行比较，判定扩展区域^、E4 相对于异常部Q3、Q4处于哪种状况。
在平均颜色特征量的差分大于阈值的情况下(步骤S338 :否)，区域判定部310将包含初始区域D的异常部判定为面积大的异常部(步骤S339)。这与图14所示的状况相当。
另一方面，在平均颜色特征量的差分在阈值以下的情况下(步骤S338 :是)，区域判定部310将包含初始区域D的异常部判定为面积小、且与周围的差异不明显(即与周围的浓度差小)的异常部(步骤S340)。这是因为与图15所示的状况相当，并且扩展了合并区域而不适合于步骤S124中的判定。
之后处理返回主例程。
如以上所说明那样，根据实施方式3，根据扩展区域内部和外部的颜色特征量的差分判定异常部的面积，因此能够进行反映了扩展区域的轮廓附近的信息的分类。
变形例2
在实施方式3中，通过对距离图像进行阈值处理来设定了扩展区域的内部区域和外部区域，但是可以利用其它方法在扩展区域的内部和外部设定区域。例如，可以在距离图像中，在距离图像内的与扩展区域内部(外部)对应的区域中，检测具有特定范围内的像素值(即与距扩展区域的距离对应的值)的像素的区域，并将该像素的区域设定为内部(外部)区域。
如以上所说明那样，根据实施方式I 3，检测图像内所包含的关注区域中的至少一部分并设定为初始区域，并且检测通过对该初始区域进行扩展而得到的扩展区域，根据初始区域和扩展区域的特征量，判定包含上述异常部的关注区域与多个分类项目中的哪一个相当，因此用户能够容易地判断是否应该优先观察该关注区域。
另外，本发明不直接限定为各实施方式I 3及它们的变形例，可通过适当组合各实施方式或变形例所公开的多个结构要素来形成各种发明。例如，可从各实施方式或变形例所示的全部结构要素中去除几个结构要素来形成，也可适当组合不同实施方式或变形例所示的结构要素来形成。
权利要求
1.一种图像处理装置，其将图像内所包含的关注区域分类为多个分类项目，该图像处理装置具有 初始区域检测部，其检测所述关注区域的至少一部分并设定为初始区域； 扩展区域检测部，其通过对所述初始区域进行扩展来检测扩展区域；以及区域判定部，其计算所述初始区域和所述扩展区域的特征量，并根据该特征量判定所述关注区域对应于所述多个分类项目中的哪一个。
2.根据权利要求I所述的图像处理装置，其中， 所述扩展区域检测部将所述初始区域设定为合并区域的初始状态，并进行将所述合并区域与预定相邻区域合并的合并处理，该预定相邻区域与该合并区域相邻， 所述扩展区域检测部具有 相邻区域确定部，其确定与所述合并区域相邻的相邻区域； 合并判定部，其计算所述合并区域和所述相邻区域的特征量，并根据该特征量判定是否将所述相邻区域合并到所述合并区域中；以及 结束判定部，其根据所述合并区域的面积，判定是否结束所述合并处理。
3.根据权利要求2所述的图像处理装置，其中， 所述合并判定部具有计算所述合并区域与所述相邻区域之间的边缘强度的边缘强度计算部， 所述合并判定部根据所述边缘强度，判定是否将所述相邻区域合并到所述合并区域中。
4.根据权利要求2所述的图像处理装置，其中， 所述合并判定部具有计算所述合并区域与所述相邻区域之间的颜色特征量的差分的颜色特征量差分计算部， 所述合并判定部根据所述颜色特征量的差分，判定是否将所述相邻区域合并到所述合并区域中。
5.根据权利要求2所述的图像处理装置，其中， 所述结束判定部在所述合并区域的面积为预定大小以上的情况下，结束所述相邻区域向所述合并区域的合并处理。
6.根据权利要求I所述的图像处理装置，其中， 所述扩展区域检测部具有 边缘强度计算部，其计算所述图像所包含的各像素处的边缘强度；以及 区域分割部，其将所述边缘强度的脊部作为边界将所述图像分割为多个区域， 所述扩展区域检测部以所述区域分割部所分割的所述区域为单位进行扩展。
7.根据权利要求I所述的图像处理装置，其中， 所述区域判定部具有 初始区域特征量计算部，其计算所述初始区域中的特征量； 扩展区域特征量计算部，其计算所述扩展区域中的特征量；以及 差分计算部，其计算所述初始区域特征量与所述扩展区域特征量的差分， 所述区域判定部根据所述差分判定所述关注区域的分类项目。
8.根据权利要求7所述的图像处理装置，其中，所述初始区域特征量计算部计算所述初始区域中的颜色特征量的平均值。
9.根据权利要求7所述的图像处理装置，其中， 所述初始区域特征量计算部计算所述初始区域中的颜色特征量的最小值。
10.根据权利要求7所述的图像处理装置，其中， 所述扩展区域特征量计算部计算所述扩展区域中的颜色特征量的平均值。
11.根据权利要求7所述的图像处理装置，其中， 所述扩展区域特征量计算部提取所述扩展区域内的所述初始区域以外的区域，并计算该区域中的颜色特征量的平均值。
12.根据权利要求7所述的图像处理装置，其中， 所述扩展区域特征量计算部计算所述扩展区域的轮廓部中的颜色特征量的平均值。
13.根据权利要求I所述的图像处理装置，其中， 所述区域判定部具有 扩展区域内特征量计算部，其计算所述扩展区域的内部区域中的特征量； 扩展区域外特征量计算部，其计算所述扩展区域的外部区域中的特征量；以及 差分计算部，其计算所述扩展区域内特征量与所述扩展区域外特征量的差分， 所述区域判定部根据所述差分判定所述关注区域的分类项目。
14.根据权利要求13所述的图像处理装置，其中， 所述扩展区域内特征量计算部具有距离图像生成部，该距离图像生成部生成距离图像，该距离图像中将与从所述图像内的各像素到所述扩展区域的轮廓的距离对应的值作为所述各像素的像素值， 所述扩展区域内特征量计算部根据所述距离图像设定所述内部区域。
15.根据权利要求14所述的图像处理装置，其中， 所述扩展区域内特征量计算部具有阈值处理部，该阈值处理部以预定阈值对所述距离图像内的与所述扩展区域内部对应的区域进行阈值处理， 所述扩展区域内特征量计算部将通过所述阈值处理提取出的区域设定为所述内部区域。
16.根据权利要求14所述的图像处理装置，其中， 所述扩展区域内特征量计算部在所述距离图像内的与所述扩展区域内部对应的区域中，检测具有特定范围内的像素值的像素的区域，并将该像素的区域设定为所述内部区域。
17.根据权利要求13所述的图像处理装置，其中， 所述扩展区域内特征量计算部具有平均颜色特征量计算部，该平均颜色特征量计算部计算所述内部区域中的颜色特征量的平均值。
18.根据权利要求13所述的图像处理装置，其中， 所述扩展区域外特征量计算部具有距离图像生成部，该距离图像生成部生成距离图像，该距离图像中将与从所述图像内的各像素到所述扩展区域的轮廓的距离对应的值作为所述各像素的像素值， 所述扩展区域外特征量计算部根据所述距离图像设定所述外部区域。
19.根据权利要求18所述的图像处理装置，其中， 所述扩展区域外特征量计算部具有阈值处理部，该阈值处理部以预定阈值对所述距离图像内的与所述扩展区域外部对应的区域进行阈值处理， 所述扩展区域外特征量计算部将通过所述阈值处理提取出的区域设定为所述外部区域。
20.根据权利要求18所述的图像处理装置，其中， 所述扩展区域外特征量计算部在所述距离图像内的与所述扩展区域外部对应的区域中，检测具有特定范围内的像素值的像素的区域，并将该像素的区域设定为所述外部区域。
21.根据权利要求13所述的图像处理装置，其中， 所述扩展区域外特征量计算部具有平均颜色特征量计算部，该平均颜色特征量计算部计算所述外部区域中的颜色特征量的平均值。
22.根据权利要求I所述的图像处理装置，其中， 所述图像为拍摄被检体的管腔内而得的管腔内图像， 所述多个分类项目是所述关注区域的面积大于预定阈值的区域、以及所述关注区域的面积在所述预定阈值以下的区域。
23.根据权利要求I所述的图像处理装置，其中， 所述图像为拍摄被检体的管腔内而得的管腔内图像， 所述多个分类项目是所述关注区域的颜色特征量与该关注区域周围的颜色特征量的差大于预定阈值的区域、以及所述关注区域的颜色特征量与该关注区域周围的颜色特征量的差在预定阈值以下的区域。
24.一种图像处理方法，将图像内所包含的关注区域分类为多个分类项目，在该图像处理方法中，包含 初始区域检测步骤，检测所述关注区域的至少一部分并设定为初始区域； 扩展区域检测步骤，通过对所述初始区域进行扩展来检测扩展区域；以及区域判定步骤，计算所述初始区域和所述扩展区域的特征量，并根据该特征量判定所述关注区域对应于所述多个分类项目中的哪一个。
全文摘要
本发明提供图像处理装置以及图像处理方法。图像处理装置将图像内所包含的关注区域分类为多个分类项目。图像处理装置具有初始区域检测部，其检测关注区域中的至少一部分并设定为初始区域；扩展区域检测部，其通过对初始区域进行扩展来检测扩展区域；以及区域判定部，其计算初始区域和扩展区域的特征量，并根据该特征量判定关注区域与多个分类项目中的哪一个相当。
文档编号A61B1/00GK102973231SQ20121026289
公开日2013年3月20日 申请日期2012年7月26日 优先权日2011年7月29日
发明者弘田昌士, 神田大和, 北村诚, 松田岳博, 河野隆志 申请人:奥林巴斯株式会社