图像处理装置、图像处理方法以及图像处理程序的制作方法
【专利摘要】提供图像处理装置等，能够精度良好地识别异常部和具有与该异常部相同种类颜色信息的其他对象。图像处理装置(1)具有：异常部候选区域判别部(110)，其从对活体的管腔内摄像得到的图像中判别异常部的候选区域；周边区域确定部(120)，其确定候选区域的周边区域；形状信息计算部(130)，其计算候选区域和周边区域在在画面的深度方向上的形状信息；以及异常部区域判定部(140)，其根据候选区域的形状信息与周边区域的形状信息的相关性，判定候选区域是否为异常部。
【专利说明】图像处理装置、图像处理方法以及图像处理程序
【技术领域】
[0001]本发明涉及从对活体的管腔内进行摄像得到的图像中判别异常部区域的图像处理装置、图像处理方法以及图像处理程序。
【背景技术】
[0002]作为对于通过内窥镜或胶囊型内窥镜等医用观察装置对活体的管腔内进行摄像得到的图像(以下，称之为管腔内图像或简称为图像)的图像处理，在专利文献I中公开了根据图像的色调信息检测异常部区域的技术。更具体而言，在专利文献I中，将图像内的各像素的像素值映射于基于颜色特征量的特征空间上，在该特征空间内聚类(Clustering)后，根据各集群(Cluster)的大小和重心坐标等信息确定正常粘膜集群和异常部集群，将属于异常部集群的像素区域检测作为异常部区域。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献I日本特开2005-192880号公报
【发明内容】
[0006]发明欲解决的课题
[0007]然而，在通过医用观察装置拍摄到的管腔内图像中，有时存在具有与异常部相同种类的颜色信息的其他对象。具体地，对于口疮性病变或溃疡等白色类的异常部而言，白色调的残渣就是相同种类的颜色。因此，根据现有的仅基于颜色信息的异常部的检测方法，无法精度良好地识别这种其他对象与异常部。
[0008]本发明就是鉴于上述情况而完成的，其目的在于提供一种能够精度良好地识别异常部和具有与该异常部相同种类的颜色信息的其他对象的图像处理装置、图像处理方法以及图像处理程序。
[0009]用于解决课题的手段
[0010]为了解决上述课题，达成目的，本发明的图像处理装置的特征在于，其具有:异常部候选区域判别部，其从对活体的管腔内摄像得到的图像中判别异常部的候选区域；周边区域确定部，其确定所述候选区域的周边区域；形状信息计算部，其计算所述候选区域和所述周边区域在画面的深度方向上的形状信息；以及异常部区域判定部，其根据所述候选区域的形状信息与所述周边区域的形状信息的相关性，判定所述候选区域是否为异常部。
[0011]本发明的图像处理方法的特征在于，其具有:异常部候选区域判别步骤，从对活体的管腔内摄像得到的图像中判别异常部的候选区域；周边区域确定步骤，确定所述候选区域的周边区域；形状信息计算步骤，计算所述候选区域和所述周边区域在画面的深度方向上的形状信息；以及异常部区域判定步骤，根据所述候选区域的形状信息与所述周边区域的形状信息的相关性，判定所述候选区域是否为异常部。
[0012]本发明的图像处理程序的特征在于，使计算机执行如下步骤:异常部候选区域判别步骤，从对活体的管腔内摄像得到的图像中判别异常部的候选区域；周边区域确定步骤，确定所述候选区域的周边区域；形状信息计算步骤，计算所述候选区域和所述周边区域在画面的深度方向上的形状信息；以及异常部区域判定步骤，根据所述候选区域的形状信息与所述周边区域的形状信息的相关性，判定所述候选区域是否为异常部。
[0013]发明的效果
[0014]根据本发明，对于异常部的候选区域及其周边区域，计算在画面的深度方向上的形状信息，根据各自的形状信息的相关性判定候选区域是否为异常部，因此能够精度良好地识别异常部和具有与该异常部相同种类的颜色信息的其他对象。
【专利附图】
【附图说明】
[0015]图1是表示本发明的第I实施方式的图像处理装置的结构的框图。
[0016]图2是表示图1所示的图像处理装置的动作的流程图。
[0017]图3是表不处理对象图像的一例的不意图。
[0018]图4是表示周边区域的确定处理的流程图。
[0019]图5是表示候选区域和周边区域的形状信息的计算处理的流程图。
[0020]图6是说明候选区域的形状信息的计算处理的示意图。
[0021]图7是说明周边区域的形状信息的计算处理的示意图。
[0022]图8是说明候选区域的判定处理的示意图。
[0023]图9是说明候选区域的判定处理的示意图。
[0024]图10是表示候选区域的判定处理的流程图。
[0025]图11是表示第I实施方式的变形例I的周边区域确定部的结构的框图。
[0026]图12是表示图11所示的周边区域确定部的动作的流程图。
[0027]图13是表示第I实施方式的变形例2的周边区域确定部的结构的框图。
[0028]图14是表示图13所示的周边区域确定部的动作的流程图。
[0029]图15是表示第I实施方式的变形例3的周边区域确定部的结构的框图。
[0030]图16是表示图15所示的周边区域确定部的动作的流程图。
[0031]图17是表示第I实施方式的变形例4的周边区域确定部的结构的框图。
[0032]图18是表示图17所示的周边区域确定部的动作的流程图。
[0033]图19是表示本发明的第2实施方式的图像处理装置的结构的框图。
[0034]图20是表示本发明的第3实施方式的图像处理装置的结构的框图。
[0035]图21是表示图20所示的图像处理装置的动作的流程图。
[0036]图22是表示基于形状信息的异常部区域判定的可靠性的判定处理的流程图。
[0037]图23是表示候选区域的判定处理的流程图。
【具体实施方式】
[0038]以下，参照【专利附图】
【附图说明】本发明的实施方式的图像处理装置、图像处理方法以及图像处理程序。另外，本发明不限于这些实施方式。此外，在各附图的描述中，对相同部分赋予同一符号表不。
[0039]在以下的实施方式中，作为一例，说明对于通过内窥镜或胶囊型内窥镜等的医用观察装置对活体的管腔内摄像而取得的管腔内图像(以下，简称为图像)的处理。在以下的说明中，被实施了图像处理的图像是例如在各像素位置上对于R (红)、G (绿)、B (蓝)的各颜色成分(波长成分)例如具备256等级的像素级别(Pixel level)(像素值)的彩色图像。另外，本发明不限于管腔内图像，还能广泛应用于从通过其他的一般的图像取得装置取得的图像中提取特定的区域的情况。
[0040](第I实施方式)
[0041]图1是表示本发明的第I实施方式的图像处理装置的结构的框图。图1所示的图像处理装置I具有:控制部10，其控制图像处理装置I整体的动作；图像取得部20，其取得与通过医用观察装置摄像得到的图像对应的图像数据；输入部30，其受理从外部输入的输入信号；显示部40，其进行各种显示；记录部50，其储存通过图像取得部20取得的图像数据和各种程序；以及运算部100，其对图像数据执行规定的图像处理。
[0042]控制部10通过CPU等硬件实现，通过读入记录于记录部50中的各种程序，按照从图像取得部20输入的图像数据和从输入部30输入的操作信号等，进行对于构成图像处理装置I的各部分的指示和数据的转发等，总括地控制图像处理装置I整体的动作。
[0043]根据包含医用观察装置的系统的方式适当构成图像取得部20。例如，在医用观察装置为胶囊型内窥镜，并且使用移动式记录介质用于与医用观察装置之间的图像数据的交换的情况下，图像取得部20由以拆装自由的方式安装该记录媒体并读出所保存的管腔内图像的图像数据的读出装置构成。此外，在设置了预先保存由医用观察装置摄像得到的管腔内图像的图像数据的服务器的情况下，图像取得部20由与服务器连接的通信装置等构成，与服务器进行数据通信并取得管腔内图像的图像数据。或者，还可以利用从内窥镜等医用观察装置经由缆线输入图像信号的接口装置等构成图像取得部20。
[0044]输入部30例如通过键盘、鼠标、触摸面板、各种开关等输入设备而实现，将所受理的输入信号输出到控制部10。
[0045]显示部40通过IXD或EL显示器等显示装置而实现，在控制部10的控制下显示包含管腔内图像的各种画面。
[0046]记录部50由可更新记录的闪存等ROM或RAM等各种IC存储器、内置或通过数据通信端子连接的硬盘或CD-ROM等信息记录装置及其读取装置等而实现。记录部50储存通过图像取得部20取得的管腔内图像的图像数据，此外还储存用于使图像处理装置I进行动作并使图像处理装置I执行各种功能的程序以及在该程序的执行中使用的数据等。具体而言，记录部50储存用于从图像内检测口疮性病变和溃疡等白色调的异常部的图像处理程序51以及在该程序的执行中使用的各种信息等。
[0047]运算部100通过CPU等硬件而实现，通过读入图像处理程序51从而对与管腔内图像对应的图像数据实施图像处理，执行用于检测口疮性病变和溃疡等的白色调的异常部的各种运算处理。
[0048]接着，说明运算部100的详细结构。
[0049]如图1所示，运算部100具有:异常部候选区域判别部110，其从管腔内图像中判别异常部的候选区域；周边区域确定部120，其确定候选区域的周边区域；形状信息计算部130，其计算候选区域和周边区域在画面的深度方向上的形状信息；以及异常部区域判定部140，其根据候选区域的形状信息与周边区域的形状信息的相关性，判定候选区域是否为异常部。
[0050]周边区域确定部120具有判别图像内包含的粘膜区域的粘膜区域判别部121，以使得周边区域仅包含粘膜区域的方式确定周边区域的范围。
[0051]形状信息计算部130具有近似形状计算部131，该近似形状计算部131根据在候选区域和周边区域内分别包含的多个像素的像素值，将候选区域和周边区域在画面的深度方向上的形状分别近似为规定的形状。在本第I实施方式中，近似形状计算部131具有:线近似形状计算部131a，其将候选区域和周边区域的形状近似为I条以上的直线或曲线；以及近似对象选择部131b，其根据与候选区域和周边区域中包含的像素有关的信息，选择近似形状的计算对象。
[0052]接着，说明图像处理装置I的动作。图2是表示图像处理装置I的动作的流程图。
[0053]首先，在步骤SlO中，图像取得部20取得管腔内图像并记录于记录部50。运算部100从记录部50读入与作为处理对象的图像对应的图像数据。图3是表示由运算部100读入的处理对象图像的一例的示意图。
[0054]在接下来的步骤S20中，异常部候选区域判别部110根据图像Ml内的像素的颜色特征量，判别存在于图像Ml内的异常部的候选区域。这里，口疮性病变和溃疡等异常部表示为白色调的特定颜色。因此，异常部候选区域判别部110根据事先确定的白色调的异常部区域的判别基准的颜颜色范围，判定图像Ml内的各像素是否示出被视作异常部的特定颜色。这里，异常部区域的判别基准是根据预先收集的异常部区域的R、G、B各成分的像素值以及根据这些像素值通过公知的转换2次计算出的颜色特征量而确定的，并事先记录于记录部50。作为颜色特征量，可举出通过YCbCr转换而计算出的色差、色相、通过HSI转换计算出的彩度、色比(G/R、B/G等)这样的值。
[0055]通过该判别处理判别为异常部的像素区域作为异常部的候选区域被提取出来。图3所示的区域ml表示候选区域的一例。
[0056]另外，作为候选区域的判别方法，不限于上述方法，只要能够从图像内检测特定颜色的区域即可，可使用任何方法。例如，可使用对异常部的代表性的颜色特征量与各像素的颜色特征量的颜色特征空间上的距离进行阈值处理的方法(k近邻法，参考:专利第4266920号公报，CG-ARTS协会“ r ^夕夕^画像処理”，p.228 (NN法和kNN法))等公知的各种检测方法。此外，还可以取代使用各像素的颜色特征量的情况，而是根据边缘信息等将图像内分割为多个小区域后，使用小区域单位的颜色特征量检测候选区域。
[0057]在接下来的步骤S30中，周边区域确定部120将与候选区域相同的粘膜面确定为候选区域的周边区域。在本第I实施方式中，将候选区域和位于近距离的粘膜区域作为周边区域。
[0058]图4是表示周边区域的确定处理的流程图。
[0059]首先，在步骤S301中，粘膜区域判别部121根据事先确定的粘膜区域的判别基准的颜色范围，判定图像Ml内的各像素是否为粘膜区域。其中，粘膜区域的判别基准是根据预先收集的粘膜区域和粘膜以外的区域(非粘膜区域)内的各像素的R、G、B各成分的像素值以及根据这些像素值通过公知的转换2次计算出的颜色特征量而确定的，并事先记录于记录部50。作为颜色特征量，可举出通过YCbCr转换计算出的色差、色相、通过HSI转换计算出的彩度、色比(G/R、B/G等)这样的值。
[0060]在步骤S302中，周边区域确定部120对被判别为粘膜区域的像素实施标记处理(7^' 'J >夕''処理)(参考:CG-ARTS协会，“宁^ '7'夕 > 画像処理”，ρ.181?川2 (2值图像的基本处理和计测/标记))。
[0061]在步骤S303中，周边区域确定部120在图像Ml内提取与候选区域内的各像素相距规定距离的范围内的粘膜区域。
[0062]在接下来的步骤S304中，周边区域确定部120将提取出的粘膜区域所属的标记区域确定为周边区域。然后，处理返回主进程。
[0063]在接着步骤S30之后的步骤S40中，形状信息计算部130针对候选区域和周边区域分别计算在画面的深度方向上的形状信息。在本第I实施方式中，将候选区域和周边区域的形状近似为线，取得与所近似的线的形状有关的信息。
[0064]图5是表示候选区域和周边区域的形状信息的计算处理的流程图。
[0065]首先，在步骤S401中，近似形状计算部131对在步骤S20中判别出的候选区域实施标记处理。图6是表示所标记的候选区域之I的示意图。以下，作为一例，说明对图6所示的候选区域al的处理。
[0066]在接下来的步骤S402中，近似形状计算部131计算所标记的候选区域al的坐标重心(以下,简称为重心)gl。
[0067]在步骤S403中，线近似形状计算部131a在候选区域al内，提取通过重心gl的多个方向dl、d2、…上的线段上的像素。例如在图6的情况下，提取出从各方向dl?d3的线段与候选区域的轮廓相交的后端到前端的区域的像素。另外，在图6中，举例示出了3个方向dl?d3，然而对于所设定的线段的方向和数量不做特别限定。
[0068]在步骤S404中，近似对象选择部131b根据对各方向dl、d2、…提取的像素的数量，选择近似形状的计算对象。具体而言，近似对象选择部131b仅对所提取的像素数为规定值以上的方向计算近似形状。其原因在于，像素数不足规定值的方向可能在近似的可靠性上产生问题。
[0069]在步骤S405中，线近似形状计算部131a按照每个方向dl、d2、…，根据所提取的像素的像素值和坐标，通过最小2乘法等公知的方法，估计表示在画面的深度方向上的距离的变化的直线。作为表示在深度方向上的距离的量，例如可使用像素值中的R值。其原因在于，R值在R、G、B各成分之中波长最长，在活体内较难吸收.散射，因而能够在抑制了照明光和反射光的吸收、散射的状态下将从管腔内图像的近景到远景的范围图像化。另外，作为表示在深度方向上的距离的变化的量，除了 R值之外，还可以使用G值、B值或根据像素值(R、G、B各成分的值)计算的亮度等。
[0070]以下，设针对方向dl、d2、…估计出的直线的斜率为α1、α2、…。这些直线的斜率α 1、α 2、…可用作候选区域al的形状信息。
[0071]在步骤S406中，线近似形状计算部131a从各周边区域中提取通过候选区域的重心gl的多个方向dl、d2、…上的线段的前端区域和后端区域的像素。例如图7所示，对于候选区域al的周边区域bl，分别针对方向dl、d2、…提取从前端区域的起点到终点以及从后端区域的起点到终点的像素的像素值和坐标。这里，前端区域的起点和后端区域的终点是与候选区域al接触的位置。另外，此时，对于在步骤S404中未被作为近似形状的计算对象的方向不进行像素的提取。
[0072]在步骤S407中，近似对象选择部131b根据从周边区域bl中针对各方向dl、d2^..提取的像素的数量，选择周边区域的近似形状的计算对象。具体而言，近似对象选择部131b仅对所提取的像素数为规定值以上的方向计算近似形状。其原因在于，像素数不足规定值的方向可能在近似的可靠性上产生问题。
[0073]在步骤S408中，线近似形状计算部131a按照每个方向dl、d2、…，根据从周边区域中提取的像素的像素值和坐标，通过最小2乘法等公知的方法，估计表示在画面深度方向上的距离的变化的直线。另外，关于表示此时所使用的距离的变化的量，如在步骤S405中说明的内容。以下,设针对方向dl、d2、…估计的直线的斜率为β1、β2、…。这些直线的斜率β1、β2、…可用作周边区域bl的形状信息。此后，处理返回主进程。
[0074]在接在步骤S40之后的步骤S50中，异常部区域判定部140根据候选区域的形状信息与周边区域的形状信息的相关性，判定候选区域是否为异常部。
[0075]其中，如图8(a)所示，在从图像Ml中检测的候选区域ml为如口疮性病变和溃疡那样存在于粘膜面上的异常部的情况下，如图8(b)所示，候选区域ml的形状信息(直线的斜率)成为与周围的粘膜面(周边区域)的形状信息类似的状态。另一方面，如图9(a)所示，在从图像M2中检测的候选区域m2为在管腔内浮游的残渣的情况下，如图9(b)所示，候选区域m2的形状信息与周围的粘膜面的形状信息没有关系。因此，异常部区域判定部140在候选区域的形状信息与周边区域的形状信息类似的情况下，将该候选区域判定为异常部，而两者不类似的情况下，将该候选区域判定为浮游的残渣。
[0076]图10是表示候选区域的判定处理的详细的流程图。以下，说明对图6所示的候选区域al和图7所示的周边区域bl进行的处理。
[0077]在步骤S501中，异常部区域判定部140根据在候选区域的各方向dl、d2、…上的斜率α1、α2、…和在周边区域的各方向dl、d2、…上的斜率β1、β2、…，如下按照每个方向判别候选区域al和周边区域bl的区域种类。
[0078]斜率为规定的阈值Tl以上且低于规定的阈值T2时:平坦区域
[0079]斜率为规定的阈值T2以上时:正方向的斜率区域
[0080]斜率低于规定的阈值Tl时:负方向的斜率区域
[0081]其中，各阈值被设定为满足Tl < T2的值。
[0082]在接下来的步骤S502中，异常部区域判定部140计算相同方向上的候选区域al的区域种类与周边区域bl的区域种类的一致率。例如，在某个方向dl上，若候选区域al被判别为正方向的斜率区域，而周边区域bl被判别为平坦区域或负方向的斜率区域，则判定为两者不一致。或者，在某个方向dl上，若候选区域al和周边区域bl都被判别为平坦区域(或者都为正或负方向的斜率区域)，则判定为两者一致。异常部区域判定部140如上按照每个方向判定候选区域al的区域种类与周边区域bl的区域种类是否一致。然后，计算在计算出形状信息的所有方向dl、d2、…之中候选区域al的区域种类与周边区域bl的区域种类一致的方向的数量的比例(一致率)。
[0083]在步骤S503中，异常部区域判定部140判定在步骤S502中计算的一致率是否在规定值以上。在一致率为规定值以上的情况下(步骤S503 是”)，异常部区域判定部140判定为该候选区域是异常部(步骤S504)。另一方面，在一致率低于规定值的情况下(步骤S503 否”)，异常部区域判定部140判定为该候选区域是残渣(步骤S505)。此后，处理返回主进程。
[0084]在接在步骤S50后的步骤S60中，运算部100输出步骤S50的判定结果。据此，控制部10将异常部的判定结果记录于记录部50。此时，控制部10可以将异常部的判定结果显示于显示部40等。此后，图像处理装置I的处理结束。
[0085]如上所述，根据第I实施方式，从处理对象的图像中根据像素的颜色特征量检测异常部的候选区域，然后计算候选区域及其周边区域的深度方向上的形状信息，比较候选区域的形状信息与周边区域的形状信息，从而能够精度良好地识别异常部和具有与该异常部相同种类的颜色信息的其他对象。
[0086](变形例I)
[0087]接着，说明第I实施方式的变形例I。
[0088]图11是表示变形例I的图像处理装置具有的周边区域确定部的结构的框图。变形例I的图像处理装置具有图11所示的周边区域确定部120-1以代替图1所示的周边区域确定部120。除了周边区域确定部120-1以外的图像处理装置的结构都与图1所示的内容相同。
[0089]周边区域确定部120-1具有梯度强度计算部122和闭区域提取部123，将内包从图像中检测的候选区域、且不包含沟槽等梯度强度较高的区域的闭区域确定为周边区域。
[0090]图12是表示周边区域确定部120-1的动作的流程图。另外，变形例I的图像处理装置整体的动作与图2所示的内容相同。
[0091]首先，在步骤S311中，梯度强度计算部122根据处理对象的图像内的各像素的像素值(R、G、B各成分的值)或由这些像素值计算出的亮度等的值，来计算梯度强度。梯度强度能够通过拉普拉斯(Laplacian)滤波处理或索贝尔(Sobel)滤波处理等公知的方法进行计算(参考=CG-ARTS协会，“ r ^ ''J夕 >画像処理”，p.114- 121 (边缘提取))。
[0092]在接下来的步骤S312中，闭区域提取部123将候选区域设定为闭区域的初始状态。
[0093]进而，在步骤S313中，闭区域提取部123以在内部不包含梯度强度为规定的值以上的像素的区域的方式设定能量函数，根据该能量函数的值将闭区域从初始状态起进行扩展，提取闭区域(参考=CG-ARTS协会，“ r ^ ''J夕^画像処理”，p.197?198)。
[0094]作为能量函数，例如可使用与通过闭区域的像素的梯度强度确定的能量相当的边缘内包能量、与通过闭区域的外形确定的能量相当的内部能量和外部能量、与通过闭区域的像素的梯度强度确定的能量相当的图像能量这4个能量的加权和。其中，边缘内包能量是闭区域内的梯度强度越大越示出较大值的能量。内部能量表示闭区域的边界的平滑度，是闭区域的形状越平滑越示出较小值的能量。外部能量是闭区域的大小越大越示出较小值的能量。图像能量是闭区域的边界上的梯度强度的值越大越示出较小值的能量。
[0095]闭区域提取部123在初始状态的闭区域的边界上配置多个控制点，根据各控制点的位置及该位置上的梯度强度、各控制点与重心之间的距离、内部像素的梯度强度等按照每个控制点计算上述边缘内包能量、内部能量、图像能量和外部能量，以使得这4个能量的加权和成为最小的方式移动控制点，从而使其在闭区域扩大的方向上变形。周边区域确定部120-1将这样提取出的闭区域确定为周边区域。
[0096](变形例2)
[0097]接着，说明第I实施方式的变形例2。
[0098]图13是表示变形例2的图像处理装置具有的周边区域确定部的结构的框图。变形例2的图像处理装置具有图13所示的周边区域确定部120-2，以取代图1所示的周边区域确定部120。周边区域确定部120-2以外的图像处置装置的结构都与图1所示的内容相同。
[0099]周边区域确定部120-2具有距离信息计算部124和区域分割部125，将存在于与从图像中检测的候选区域临近的位置且图像内的距离信息(深度信息)与候选区域类似的区域确定为周边区域。
[0100]图14是表示周边区域确定部120-2的动作的流程图。另外，变形例2的图像处理装置整体的动作都与图2所示的内容相同。
[0101]首先，在步骤S321中，距离信息计算部124取得图像内的各像素的距离信息。作为距离信息，可使用在体内难以吸收、散射的波长成分即R值或根据像素值(R、G、B各成分的值)计算的亮度等。
[0102]在接下来的步骤S322中，区域分割部125根据距离信息将图像内分割为多个区域。在本变形例2中，通过将距离信息用作特征量的区域统合法(参考=CG-ARTS协会，
^夕夕 >画像処理”，P.196(区域分割处理))，将具有彼此类似的距离信息且彼此相邻的像素统合，从而进行区域分割。另外，只要能够根据距离信息将图像分割为多个区域即可，可使用上述区域统合法以外的手法。
[0103]在步骤S323中，周边区域确定部120-2计算在步骤S20中检测的候选区域和在步骤S322中分割的各分割区域的距离信息的平均值。
[0104]在步骤S324中，周边区域确定部120-2将存在于从候选区域内的各像素起规定的范围内、且与候选区域的距离信息的平均值之差在规定范围内的分割区域确定为周边区域。
[0105](变形例3)
[0106]接着，说明第I实施方式的变形例3。
[0107]图15是表示变形例3的图像处理装置具有的周边区域确定部的结构的框图。变形例3的图像处理装置具有图15所示的周边区域确定部120-3，以取代图1所示的周边区域确定部120。周边区域确定部120-3以外的图像处理装置的结构都与图1所示的内容相同。
[0108]周边区域确定部120-3具有颜色特征量计算部126和区域分割部127，将存在于与从图像中检测的候选区域临近的位置、且颜色特征量与候选区域类似的区域确定为周边区域。
[0109]图16是表示周边区域确定部120-3的动作的流程图。另外，变形例3的图像处理装置整体的动作都与图2所示的内容相同。
[0110]首先，在步骤S331中，颜色特征量计算部126计算图像内的各像素的颜色特征量。作为颜色特征量，可举出通过像素值的YCbCr转换而计算出的色差、色相、通过HSI转换而计算出的彩度、色比(G/R、B/G)等。
[0111]在接下来的步骤S332中，区域分割部127根据颜色特征量将图像内分割为多个区域。在本变形例3中，通过将颜色特征量用作特征量的区域等合法，将具有彼此类似的颜色特征量、且彼此相邻的像素统合，从而进行区域分割。另外，只要能够根据颜色特征量将图像分割为多个区域即可，可使用上述区域等合法以外的手法。
[0112]在步骤S333中，周边区域确定部120-3计算在步骤S20中检测的候选区域和在步骤S332中分割的各分割区域的颜色特征量的平均值。
[0113]在步骤S334中，周边区域确定部120-3将存在于从候选区域内的各像素起规定的范围内、且与候选区域的颜色特征量的平均值之差在规定范围内的分割区域确定为周边区域。
[0114](变形例4)
[0115]接着，说明第I实施方式的变形例4。
[0116]图17是表示变形例4的图像处理装置具有的周边区域确定部的结构的框图。变形例4的图像处理装置具有图17所示的周边区域确定部120-4，以取代图1所示的周边区域确定部120。周边区域确定部120-4以外的图像处理装置的结构都与图1所示的内容相同。
[0117]周边区域确定部120-4具有纹理特征量计算部128和区域分割部129，将存在于与从图像中检测的候选区域临近的位置、且纹理特征量与候选区域类似的区域确定为周边区域。
[0118]图18是表示周边区域确定部120-4的动作的流程图。另外，变形例4的图像处理装置整体的动作与图2所示的内容相同。
[0119]首先，在步骤S341中，纹理特征量计算部128计算图像内的纹理特征量。作为纹理特征量，例如，可使用通过离散余弦转换(DCT)、离散傅里叶转换(DFT)、加博(Gabor)滤波处理等计算出的特定频率成分的大小。
[0120]在接下来的步骤S342中，区域分割部129根据纹理特征量将图像内分割为多个区域。在本变形例4中，通过将纹理特征量用作特征量的区域统合法，将具有彼此类似的纹理特征量、且彼此相邻的像素统合，从而进行区域分割。另外，只要能够根据纹理特征量将图像分割为多个区域即可，可使用上述区域统合法以外的手法。
[0121]在步骤S343中，周边区域确定部120-4计算在步骤S20中检测的候选区域和在步骤S342中分割的各分割区域的纹理特征量的平均值。
[0122]在步骤S344中，周边区域确定部120-4将存在于从候选区域内的各像素起规定的范围内、且与候选区域的纹理信息的平均值之差在规定范围内的分割区域确定为周边区域。
[0123](变形例5)
[0124]接着，说明第I实施方式的变形例5。
[0125]在第I实施方式中，形状信息计算部130将候选区域和周边区域在深度方向上的形状近似为I条以上的直线。然而，也可以将候选区域和周边区域在深度方向上的形状近似为I条以上的曲线。例如，可以近似为通过下式所示的2次函数表现的抛物线形状。
[0126]z = ax2+by+c
[0127]在上式中，X表示在通过候选区域的重心的各方向(参照图6)上的像素的坐标，z示出表示该像素在深度方向上的距离的值(例如，R值和亮度等)。此外，a、b和c是系数(常数)。
[0128]这种情况下，异常部区域判定部140可以将2次的系数a用作形状信息，根据在候选区域和周边区域中系数a的差分是否在规定范围内，判断候选区域与周边区域的一致率。
[0129](变形例6)
[0130]接着，说明第I实施方式的变形例6。
[0131]在第I实施方式中，异常部区域判定部140判别在各方向上的候选区域和周边区域的区域种类，然后计算候选区域和周边区域的区域种类的一致率。然而，也可以按照每个方向直接比较候选区域和周边区域的斜率，计算两者的一致率。
[0132]具体而言，以图6所示的候选区域al和图7所示的周边区域bl为例进行说明，首先，按照通过候选区域的重心gl的方向dl、d2、...，计算近似候选区域的直线的斜率与近似周边区域的直线的斜率的差分I α1-β?|、I α2_β2|、…。接下来，将各差分I α1_β?|、
α2_β2|、…与规定的阈值比较，在差分为该阈值以下的情况下，判断为在候选区域与周边区域中斜率一致。然后，计算在计算出候选区域和周边区域的形状信息的所有方向dl、d2、…之中的斜率在候选区域al与周边区域bl上一致的方向的数量的比例(一致率)。
[0133](第2实施方式)
[0134]接着，说明本发明的第2实施方式。
[0135]图19是表示本发明的第2实施方式的图像处理装置的结构的框图。如图19所示，第2实施方式的图像处理装置2具有运算部200，以取代图1所示的运算部100。
[0136]运算部200具有形状信息计算部210和异常部区域判定部220，以取代图1所示的形状信息计算部130和异常部区域判定部140。另外，形状信息计算部210和异常部区域判定部220以外的运算部200和图像处理装置2的各部分的结构都与第I实施方式相同。
[0137]形状信息计算部210具有近似形状计算部211，该近似形状计算部211根据从处理对象的图像中检测出的候选区域及其周边区域内的像素的像素值，将候选区域和周边区域在画面的深度方向上的形状分别近似为规定的形状。在本第2实施方式中，近似形状计算部211包含面近似形状计算部211a，该面近似形状计算部211a分别针对候选区域和周边区域，将在深度方向上的形状近似为2维的面。
[0138]异常部区域判定部220根据通过形状信息计算部210近似为2维的面的候选区域和周边区域的近似形状，进行候选区域是否为异常部的判定。
[0139]接着，说明图像处理装置2的动作。图像处理装置2的动作整体与图2所示的内容相同，候选区域和周边区域的形状信息的计算处理(步骤S40)和候选区域的判定处理(步骤S50)的详细动作与第I实施方式不同。
[0140]在步骤S40中，面近似形状计算部211a根据在候选区域和周边区域中分别包含的像素的像素值，求出近似各区域的函数。在本第2实施方式中，通过下式(I)所示的2次函数近似各区域。
[0141]【式I】
[0142]Z = ax2+by2+cxy+dx+ey+f…(I)
[0143]在式(I)中，(x，y)是图像内的各像素的坐标。此外，z是表示在画面的深度方向上的距离的量，优选使用各像素的R值。此外，作为z的值，可以使用各像素的G值和B值或根据各像素的像素值(R、G、B各成分的值)2次计算的亮度等。以下，将这些值一并称为像素值。
[0144]此外，a?f是系数(常数)，例如可通过最小2乘法求解使用图像内的第i个(i=1、2、…)像素的坐标(Xi，yi)和该像素的像素值Zi给出的下式(2)而求出。
[0145]【式2】
嚼棚
I
bΓζ3
[0146]C =㈧ XA.) Wx I 但 U K K X*y>f
d:? X ； y,' x.y, X1 y? I —C2)
A = j ~ - —.—
flfcI*.maI.^TiI *.**■*
? -? ,
/」L( y_* x,y? x- y-1
[0147]这样取得的近似函数可用作形状信息。
[0148]在接下来的步骤S50中，异常部区域判定部220根据候选区域的形状信息与周边区域的形状信息的相关性，判定候选区域是否为异常部。更具体而言，异常部区域判定部220首先计算将通过候选区域的近似函数表现的2维区域和通过周边区域的近似函数表现的2维区域归一后的彼此为相同尺寸的图像区域。然后在这些图像区域中，预测对应的像素的像素值，求出像素值间的相关性。
[0149]具体地，计算通过下式(3)给出的像素值的差的平方和SSD。
[0150]【式3】
[0151]SSD = sZ(P,(k,(^y)-P,Ili(X^y))" …⑶
\ -.11 χ-?!
[0152]在式(3)中，PI(J) (X，y)表示将候选区域的近似函数归一化的图像区域I (j)的坐标(x，y)的像素值，PI(k)表示将该候选区域的周边区域的近似函数归一化的图像区域I (k)的坐标(x，y)的像素值。此外，X表示图像区域I (j)和I(k)在X方向上的尺寸，Y表示图像区域I (j)和I (k)在y方向上的尺寸。
[0153]异常部区域判定部220在平方和SSD的值为规定值以下的情况下，判定为候选区域的形状信息与周边区域的形状信息的相关性较高(即，类似度较高)，候选区域为口疮性病变和溃疡等的异常部。反之，异常部区域判定部220在平方和SSD大于规定值的情况下，判定为候选区域的形状信息与周边区域的形状信息的相关性较低(即，类似度较低)，候选区域为浮游的残渣。
[0154]另外，异常部区域判定部220可以计算下式(4)所示的像素值的差的绝对值之和SAD,以取代计算平方和SSD，根据该和SAD判定候选区域的形状信息与周边区域的形状信息的相关性。
[0155]【式4】
Y --1X-11I
[0156]
\ =(|
[0157]此外，进行异常部的判定的方法不限于使用上述平方和SSD或差的绝对值的和SAD的方法，只要能够计算候选区域的形状信息与周边区域的形状信息的相关性(类似度)即可，可使用任何方法。例如，可以使用归一化相互相关(参考=CG-ARTS协会，夕>画像処理”，p.203?204 (图形检测))等。
[0158](第3实施方式)
[0159]接着，说明本发明的第3实施方式。
[0160]图20是表示本发明的第3实施方式的图像处理装置的结构的框图。如图20所示，第3实施方式的图像处理装置3具有运算部300，以取代图1所示的运算部100。
[0161]运算部300还具有可靠性判定部310，该可靠性判定部310对图1所示的运算部100判定基于形状信息的异常部区域判定的可靠性，此外，运算部300还具有异常部区域判定部320，以取代图1所示的异常部区域判定部140。另外，可靠性判定部310和异常部区域判定部320以外的运算部300和图像处理装置3的各部分的结构都与第I实施方式相同。
[0162]可靠性判定部310具有根据周边区域的形状信息判定上述可靠性的周边区域形状信息判定部311。周边区域形状信息判定部311具有包含方差值计算部31 Ia-1的平坦区域判定部311a，根据周边区域是否为平坦区域，判定上述可靠性。
[0163]异常部区域判定部320具有根据上述可靠性的判定结果，切换判定候选区域是否为异常部时的判定方法的判定方法切换部321，通过与可靠性的判定结果相应的判定方法，进行对异常部的判定。
[0164]接着，说明图像处理装置3的动作。
[0165]图21是表示图像处理装置3的动作的流程图。另外，图21所示的步骤SlO?S40和S60对应于图2所示的内容。
[0166]在接在步骤S40后的步骤S70中，可靠性判定部310判定基于形状信息的异常部区域判定的可靠性。其中，在作为粘膜面的周边区域为平坦区域的情况下，即使在其上有残渣浮游，也难以在残渣和粘膜面的形状上产生差异。这种情况下，若单纯根据候选区域和周边区域的形状信息判定候选区域是否为异常部，则判定的精度可能会降低。于是，在本第3实施方式中，根据周边区域的形状信息进行可靠性的判定，按照该结果进行对于候选区域的判定。
[0167]图22是表示基于形状信息的异常部区域判定的可靠性的判定处理的详细情况的流程图。
[0168]首先，在步骤S701中，周边区域形状信息判定部311取得在步骤S30中确定的在周边区域的深度方向上的距离信息。作为距离信息，可使用在体内难以吸收、散射的波长成分即R值或根据像素值(R、G、B各成分的值)计算的亮度等。
[0169]在接下来的步骤S702中，方差值计算部31 Ia-1计算周边区域的距离信息的方差值。
[0170]在步骤S703中，平坦区域判定部311a判定所计算的距离信息的方差值是否为规定的阈值以上。而且，在方差值为阈值以上的情况下(步骤S703:“是”)，判定为该周边区域是平坦区域(步骤S704)。据此，可靠性判定部310在对与该周边区域临近的候选区域进行基于形状信息的异常部区域的判定的情况下，判定为判定的可靠性较低(步骤S705)。
[0171]另一方面，平坦区域判定部311a在所计算的距离信息的方差值小于阈值的情况下(步骤S703:“否”)，判定为该周边区域并非平坦区域(非平坦区域)(步骤S706)。据此，可靠性判定部310在对与该周边区域临近的候选区域进行基于形状信息的异常部区域的判定的情况下，判定为判定的可靠性较高(步骤S707)。此后，处理返回主进程。
[0172]另外，在步骤S80中，只要能够判定周边区域是否为平坦区域即可，可使用上述使用方差值的方法以外的方法。例如，可以将作为周边区域的形状信息计算的线段的斜率的绝对值与规定的阈值比较，在斜率的绝对值小于阈值的情况下，将该周边区域判断为平坦区域。
[0173]在接在步骤S70后的步骤S80中，异常部区域判定部320根据步骤S70的判定结果，进行候选区域是否为异常部的判定。图23是表示该处理的详细情况的流程图。
[0174]异常部区域判定部320在基于形状信息的判定的可靠性较高的情况下(步骤S801 是”)，根据候选区域和周边区域的形状信息(即，在通过重心的各方向上的线段的斜率)，进行候选区域是否为异常部的判定(步骤S802)。另外，该判定处理的详细情况与图2的步骤S50的处理相同。
[0175]另一方面，异常部区域判定部320在基于形状信息的判定的可靠性较低的情况下(步骤S801 否”)，将候选区域的判定方法切换为基于形状信息的方法以外的方法进行判定(步骤S803)。此后，处理返回主进程。
[0176]另外，在步骤S803中，可使用基于候选区域内部的纹理特征量的判定方法等各种方法。以下，作为一例，说明基于纹理特征量的候选区域的判定方法。
[0177]首先，异常部区域判定部320例如计算通过离散余弦转换(DCT)、离散傅里叶转换(DFT)、加博(Gabor)滤波处理等计算的特定的频率成分的大小,作为候选区域内的纹理特征量。
[0178]接下来，异常部区域判定部320判定候选区域内的纹理特征量是否示出均质性。纹理特征量的均质性例如可通过候选区域的坐标重心与通过纹理特征量对候选区域内的各像素进行加权得到坐标重心之间的距离(以下，称作坐标重心距离)进行评价。更具体而言，作为通过纹理特征量对候选区域内的各像素进行加权得到的坐标重心(Gx，Gy)，可使用候选区域的坐标重心(gx，gy)、候选区域内的第i个像素的坐标(Xi, Yi)和第i个像素的纹理特征量Ti并通过下式(5)给出。
[0179]【式5】
fN
I 二 I
■ 董^3333333s.*
' P
[0180]緣:*“*(S)
Σχ.Γ_
一 j I
%J =..…\
j
Ikι~1
[0181]在式(5)中，N是候选区域内的像素数，i = I?N。
[0182]由此，坐标重心距离D可通过下式(6)给出。
[0183]【式6】
[0184]D=-g ) +(G - g )-.::6;
y X Ox/\ y Oy /' *
[0185]这里，在纹理特征量为均质的情况下，加权后的坐标重心(Gx，Gy)与坐标重心(gx，gy)大致一致，因而坐标重心距离D的值变小。另一方面，在纹理特征量非均质的情况下，力口权后的坐标重心(Gx，Gy)离开坐标重心(gx，gy)，因而坐标重心距离D的值变大。因此，异常部区域判定部320将坐标重心距离D与规定的阈值比较，在坐标重心距离D为阈值以下的情况下，判定为纹理特征量为均质，该候选区域是粘膜面上的异常部。另一方面，异常部区域判定部320在坐标重心距离D大于阈值的情况下，判定为纹理特征量非均质，候选区域是浮游的残渣。
[0186]以上说明的第I至第3实施方式以及它们的变形例I?6的图像处理装置能够通过个人计算机或工作站等的计算机系统执行记录于记录装置的图像处理程序来实现。此夕卜，还可以将这种计算机系统经由局域网、广域网(LAN/WAN)或因特网等共用线路与其他的计算机系统和服务器等的设备连接使用。这种情况下，第I至第3实施方式的图像处理装置可以经由这些网络取得管腔内图像的图像数据，或者向经由这些网络连接的各种输出设备(观察器或打印机等)输出图像处理结果，或者在经由这些网络连接的存储装置(记录装置及其读取装置等)中储存图像处理结果。
[0187]另外，本发明不限于第I至第3实施方式和它们的变形例I?6，通过适当组合在各实施方式和变形例中公开的多个结构要素，能够形成各种发明。例如，既可以从在各实施方式和变形例所示的所有结构要素中删除某几个结构要素后形成，也可以适当组合在不同实施方式和变形例所示的结构要素形成。
[0188]符号说明
[0189]I?3图像处理装置
[0190]10控制部
[0191]20图像取得部
[0192]30输入部
[0193]40显示部
[0194]50记录部
[0195]51图像处理程序
[0196]100，200，300 运算部
[0197]110异常部候选区域判别部
[0198]120周边区域确定部
[0199]121粘膜区域判别部
[0200]122梯度强度计算部
[0201]123闭区域提取部
[0202]124距离信息计算部
[0203]125区域分割部
[0204]126颜色特征量计算部
[0205]127区域分割部
[0206]128纹理特征量计算部
[0207]129区域分割部
[0208]130形状信息计算部
[0209]131近似形状计算部
[0210]131a线近似形状计算部
[0211]131b近似对象选择部
[0212]140异常部区域判定部
[0213]210形状信息计算部
[0214]211近似形状计算部
[0215]211a面近似形状计算部
[0216]220异常部区域判定部
[0217]310可靠性判定部
[0218]311周边区域形状信息判定部
[0219]311a平坦区域判定部
[0220]31 Ia-1方差值计算部
[0221]320异常部区域判定部
[0222]321判定方法切换部
【权利要求】
1.一种图像处理装置，其特征在于，该图像处理装置具有: 异常部候选区域判别部，其从对活体的管腔内摄像得到的图像中判别异常部的候选区域； 周边区域确定部，其确定所述候选区域的周边区域； 形状信息计算部，其计算所述候选区域和所述周边区域在相对于画面的进深方向上的形状信息；以及 异常部区域判定部，其根据所述候选区域的形状信息与所述周边区域的形状信息的相关性，判定所述候选区域是否为异常部。
2.根据权利要求1所述的图像处理装置，其特征在于， 所述周边区域确定部具有判别在所述图像内包含的粘膜区域的粘膜区域判别部， 从所述粘膜区域内确定所述周边区域。
3.根据权利要求1所述的图像处理装置，其特征在于， 所述周边区域确定部具有根据所述图像内的多个像素的像素值计算梯度强度的梯度强度计算部， 从所述梯度强度为规定值以下的区域中确定所述周边区域。
4.根据权利要求1所述的图像处理装置，其特征在于， 所述周边区域确定部具有: 特征量计算部，其根据所述图像内的各像素的像素值计算所述各像素的特征量；以及区域分割部，其将所述特征量的差在规定的范围内的像素作为I个区域，来对所述图像进行区域分割， 按照区域分割后得到的每个区域确定所述周边区域。
5.根据权利要求4所述的图像处理装置，其特征在于， 所述特征量计算部包含根据所述各像素的像素值计算距离信息的距离信息计算部。
6.根据权利要求4所述的图像处理装置，其特征在于， 所述特征量计算部包含根据所述各像素的像素值计算颜色特征量的颜色特征量计算部。
7.根据权利要求4所述的图像处理装置，其特征在于， 所述特征量计算部包含根据所述各像素的像素值计算纹理特征量的纹理特征量计算部。
8.根据权利要求1所述的图像处理装置，其特征在于， 所述形状信息计算部具有近似形状计算部，该近似形状计算部根据所述候选区域和所述周边区域中各自包含的多个像素的像素值，将所述候选区域和所述周边区域在所述深度方向上的形状分别近似为I维形状或2维形状。
9.根据权利要求8所述的图像处理装置，其特征在于， 所述近似形状计算部具有线近似形状计算部，该线近似形状计算部根据所述多个像素的像素值，将所述候选区域和所述周边区域在所述深度方向上的形状分别近似为至少I条直线或曲线。
10.根据权利要求8所述的图像处理装置，其特征在于， 所述近似形状计算部具有面近似形状计算部，该面近似形状计算部根据所述多个像素的像素值，将所述候选区域和所述周边区域在所述深度方向上的形状分别近似为2维形状。
11.根据权利要求8所述的图像处理装置，其特征在于， 所述近似形状计算部还具有近似对象选择部，该近似对象选择部根据与所述候选区域和所述周边区域中包含的像素有关的信息，选择近似形状的计算对象。
12.根据权利要求1所述的图像处理装置，其特征在于， 所述图像处理装置还具有可靠性判定部，该可靠性判定部根据所述周边区域的形状信息判定异常部区域判定的可靠性， 所述异常部区域判定部具有判定方法切换部，该判定方法切换部根据所述可靠性的判定结果，切换判定所述候选区域是否为异常部的判定方法。
13.根据权利要求12所述的图像处理装置，其特征在于， 所述可靠性判定部包含周边区域形状信息判定部，该周边区域形状信息判定部根据所述周边区域的形状信息判定所述可靠性。
14.根据权利要求13所述的图像处理装置，其特征在于， 所述周边区域形状信息判定部包含判定所述周边区域是否为平坦区域的平坦区域判定部，在所述周边区域为平坦区域的情况下判定为可靠性低。
15.根据权利要求14所述的图像处理装置，其特征在于， 所述平坦区域判定部包含计算所述周边区域内的多个像素的像素值的方差值的方差值计算部，根据所述方差值进行判定。
16.一种图像处理方法，其特征在于，该图像处理方法包含: 异常部候选区域判别步骤，从对活体的管腔内摄像得到的图像中判别异常部的候选区域； 周边区域确定步骤，确定所述候选区域的周边区域； 形状信息计算步骤，计算所述候选区域和所述周边区域在相对于画面的进深方向上的形状信息；以及 异常部区域判定步骤，根据所述候选区域的形状信息与所述周边区域的形状信息的相关性，判定所述候选区域是否为异常部。
17.一种图像处理程序，其特征在于，使计算机执行如下步骤: 异常部候选区域判别步骤，从对活体的管腔内摄像得到的图像中判别异常部的候选区域； 周边区域确定步骤，确定所述候选区域的周边区域； 形状信息计算步骤，计算所述候选区域和所述周边区域在画面的深度方向上的形状信息；以及 异常部区域判定步骤，根据所述候选区域的形状信息与所述周边区域的形状信息的相关，判定所述候选区域是否为异常部。
【文档编号】A61B1/00GK104244802SQ201380021072
【公开日】2014年12月24日 申请日期:2013年4月12日 优先权日:2012年4月23日
【发明者】北村诚, 神田大和, 河野隆志, 弘田昌士 申请人:奥林巴斯株式会社