专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及处理拍摄管腔内而得到的管腔内图像的图像处理装置和图像处理方法。
背景技术：
以往，作为导入到患者等被检者的体内而非侵入地观察管腔内的医用观察装置，内窥镜已经广泛普及。近年来，在胶囊型的框体内部收纳摄像装置和通信装置等，将由摄像装置拍摄到的图像数据无线发送到体外的吞服式内窥镜(胶囊内窥镜)也已经开发出来。由这样的医用观察装置拍摄到的一系列图像(管腔内图像)上升到巨大的数量(几万幅以上)，并且，针对各个管腔内图像的观察和诊断需要较多的经验。因此，期望辅助医生进行诊断的医疗诊断支援功能。作为实现该功能的图像识别技术之一，提出了从管腔内图像中自 动检测异常部分，指示应该重点诊断的图像的技术。但是，在通过图像识别检测异常部分时，作为预处理，重要的是去除显现出残渣等的不需要观察的区域(不需要区域)来提取粘膜区域。例如，在日本特开2006-166939号公报中公开了一种图像处理方法，在对拍摄活体粘膜而得到的图像设定的预定的处理对象区域中，根据像素的色调特征量检测特定的活体粘膜的存在。但是，在仅使用颜色信息检测不需要区域的情况下，对于如白色病变部分那样颜色与残渣等类似的区域，尽管其是粘膜区域，有时也会被作为不需要区域而去除。
发明内容
本发明正是鉴于上述问题而完成的，其目的在于，提供一种图像处理装置和图像处理方法，能够在管腔内图像中更高精度地判别粘膜区域和残渣等非粘膜区域。本发明的一个方式的图像处理装置用于判别管腔内图像中包含的粘膜区域和非粘膜区域，该图像处理装置具有候选区域检测部，其根据构成管腔内图像的各个像素的特征量，检测作为是否是粘膜区域的判别对象的候选区域；构造边缘检测部，其检测所述管腔内图像中包含的构造边缘；以及区域判别部，其根据所述构造边缘与所述候选区域的相对位置关系，判别所述候选区域是否是粘膜区域。本发明的另一个方式的图像处理方法用于判别管腔内图像中包含的粘膜区域和非粘膜区域，该图像处理方法具有候选区域检测步骤，根据管腔内图像中的各个像素的特征量，检测作为是否是粘膜区域的判别对象的候选区域；构造边缘检测步骤，检测所述管腔内图像中包含的构造边缘；以及区域判别步骤，根据所述构造边缘与所述候选区域的相对位置关系，判别所述候选区域是否是粘膜区域。如果参照附图阅读以下本发明的详细说明，则以上所述的和本发明的其它目的、特征、优点以至技术上、产业上的意义将变得更加清楚。
图I是示出本发明的实施方式I的图像处理装置的结构的框图。图2是示出图I所示的图像处理装置的动作的流程图。图3是示出管腔内图像的一例的示意图。图4是示出管腔内图像内的构造边缘的检测处理的流程图。图5是示出残渣候选区域与近似构造边缘线的位置关系的图。图6A 图6C是示出近似构造边缘线的计算方法的一例的图。图7是示出本发明的实施方式2的图像处理装置的结构的框图。图8是示出图7所示的图像处理装置执行的残渣候选区域的判别处理的流程图。 图9是说明近似构造边缘线与残渣候选区域的交叉状态的判定方法的图。图10是示出本发明的实施方式3的图像处理装置的结构的框图。图11是示出图10所示的图像处理装置执行的残渣候选区域的判别处理的流程图。图12是说明近似构造边缘线与残渣候选区域的交叉状态的判定方法的图。图13是示出本发明的实施方式4的图像处理装置的结构的框图。图14是示出图13所示的图像处理装置的动作的流程图。图15是示出作为处理对象的管腔内图像的一例的示意图。图16是示出图13所示的图像处理装置执行的残渣候选区域周边的构造边缘的检测处理的流程图。图17是示出对归一化后的周围相似曲线进行投影而得到的特征空间的示意图。图18是说明在特征空间中提取出的边缘坐标的连续性的判定方法的图。图19是示出将具有连续性的边缘坐标转换成管腔内图像上的坐标的例子的示意图。图20是示出图13所示的相似曲线计算部执行的多个周围相似曲线的计算处理的流程图。图21是示出图13所示的连续性判定部执行的具有连续性的边缘坐标的检测处理的流程图。图22是说明在具有连续性的边缘坐标的检测处理中设定的搜索范围的变形例的图。
具体实施例方式以下，参照
本发明的实施方式的图像处理装置。另外，本发明并非受这些实施方式限定。此外，在各个附图的记载中，对同一部分标注相同的标号示出。以下说明的实施方式的图像处理装置用于处理利用例如内窥镜或胶囊内窥镜等医用观察装置拍摄被检者的体内(管腔内)而得到的管腔内图像，具体地说，对管腔内图像进行作为观察(诊断)对象的粘膜区域和不是观察对象的非粘膜区域(例如残渣区域)的判别处理。此外，在以下的实施方式中，被实施图像处理的管腔内图像例如是在各个像素中具有针对R(红)、G(绿)、B(蓝)的各色成分的像素级别(像素值)的彩色图像。在本申请中，非粘膜区域是指在管腔内图像的画面中与粘膜区域重叠(即与粘膜区域相比位于前面侧)映现出的粘膜以外的区域。具体地说，包含附着于粘膜上的残渣区域、离开粘膜浮游的残渣(也称作浮游残渣)区域等。在本申请中，设这样的残渣区域为不是观察对象的不需要区域。实施方式I图I是示出本发明的实施方式I的图像处理装置的结构的框图。如图I所示，图像处理装置I具有控制图像处理装置I整体的动作的控制部10、图像取得部11、输入部12、显示部13、记录部14以及运算部15。 图像取得部11取得由医用观察装置拍摄到的管腔内图像的图像数据。图像取得部11按照包含医用观察装置的系统的方式而适当构成。例如，在医用观察装置是胶囊内窥镜、与医用观察装置之间的图像数据的接收发送使用可移动的记录介质的情况下，图像取得部11由拆装自如地安装该记录介质，读出所保存的管腔内图像的图像数据的读出装置构成。此外，在设置预先保存由医用观察装置拍摄到的管腔内图像的图像数据的服务器的情况下，图像取得部11由与服务器连接的通信装置等构成，与服务器进行数据通信而取得管腔内图像的图像数据。或者，也可以利用经由电缆从内窥镜等医用观察装置输入图像信号的接口装置等构成图像取得部11。输入部12例如由键盘或鼠标、触摸面板、各种开关等实现，将输入信号输出到控制部10。显示部13由IXD或EL显示器等显示装置实现，在控制部10的控制下显示包含管腔内图像在内的各种画面。记录部14由可更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或者利用数据通信端子连接的硬盘、或者CD-ROM等信息记录介质及其读取装置等来实现。记录部14除了存储由图像取得部11取得的管腔内图像的图像数据以外，还存储用于使图像处理装置I动作并且使图像处理装置I执行各种功能的程序和在执行该程序的过程中使用的数据等。具体地说，存储用于从管腔内图像识别非粘膜区域的图像处理程序141。运算部15由CPU等硬件来实现，通过读入图像处理程序141，处理管腔内图像的图像数据，进行用于识别非粘膜区域的各种运算处理。运算部15具有残渣候选区域检测部16、构造边缘区域检测部17、作为残渣区域判别部的近似构造边缘线运算部18以及交叉判定部19。残渣候选区域检测部16根据颜色特征量检测作为是否是残渣区域的判别对象的候选区域。详细地说，残渣候选区域检测部16首先按照每个类似的颜色对管腔内图像进行区域分割，并且，对各个像素计算R值、G/R值、B/G值。然后，对分割而得到的各个区域，计算平均R值、平均G/R值以及平均B/G值。接着，将这些平均R值、平均G/R值以及平均B/G值投影到由R值-G/R值-B/G值的3轴构成的特征空间。残渣候选区域检测部16通过在该特征空间内对这些平均值进行阈值处理，检测候选区域。另外，作为候选区域的检测方法，不限于上述说明的方法，只要是例如将R值、G值、B值投影到HIS颜色空间对H值(色相值)进行阈值处理等根据颜色特征量进行检测的方法即可，可以采用已知的各种方法。构造边缘区域检测部17检测管腔内图像中包含的构造边缘区域。在此，管腔内图像中存在由粘膜之间的槽等引起的、根据摄像对象物的立体形状而产生的边缘即构造边缘以及由吸光特性与粘膜面不同的血管区域等引起的颜色边缘。构造边缘区域检测部17根据每个颜色成分的微分强度的相对关系提取其中的构造边缘。构造边缘区域检测部17具有第I微分强度计算部171，其使用构成管腔内图像的各个像素的第I颜色成分(例如R成分)计算第I微分强度；第2微分强度计算部172，其使用各个像素的第2颜色成分(例如G成分)计算第2微分强度；归一化处理部173，其根据第I颜色成分与第2颜色成分的强度比对第2微分强度进行归一化；以及阈值处理部174，其判别第I微分强度和归一化后的第2微分强度是否在预定的阈值以上。作为残渣区域判别部的近似构造边缘线运算部18以及交叉判定部19根据残渣候选区域与构造边缘的相对位置关系判别该残渣候选区域是否是残渣区域。近似构造边缘线运算部18计算检测到的构造边缘的近似线(近似构造边缘线)。近似构造边缘线运算部18包含标记处理部181，其标记在残渣候选区域附近( 例如与残渣候选区域部分交叉或相接的程度)中检测到的构造边缘；以及函数近似部182，其对被标记的各个构造边缘计算近似函数。交叉判定部19判定近似构造边缘线是否与残渣候选区域交叉，根据两者的交叉状态判别残渣候选区域是否是残渣区域。控制部10由CPU等硬件来实现，通过读入存储在记录部14中的各种程序，按照从图像取得部11输入的图像数据和从输入部12输入的操作信号等，进行向构成图像处理装置I的各部的指示或数据的传输等，统一地控制图像处理装置I整体的动作。接着，参照图2和图3说明图像处理装置I的动作。图2是示出图像处理装置I的动作的流程图。此外，图3是示出由胶囊内窥镜拍摄，由图像处理装置I处理的管腔内图像的一例的示意图。首先，在步骤SlO中，图像处理装置I从外部接收管腔内图像组的输入，存储于记录部14。运算部15从记录部14读出取得处理对象的管腔内图像100。在步骤Sll中，残渣候选区域检测部16根据颜色特征量，从管腔内图像100检测作为是否是残渣区域的判别对象的残渣候选区域。在检测到残渣候选区域101的情况下(步骤S12 :是)，构造边缘区域检测部17接着检测管腔内图像100内的构造边缘(步骤S13)。另一方面，在没有检测到残渣候选区域的情况下(步骤S12 :否)，判断为不存在残渣区域，结束图像处理装置I的动作。在步骤S14中，近似构造边缘线运算部18计算检测到的构造边缘102 104中残渣候选区域101周围的构造边缘103、104的近似构造边缘线。详细地说，首先，标记处理部181标记残渣候选区域101附近的构造边缘103、104。接着，函数近似部182根据构成被标记的构造边缘103、104的像素(构造边缘像素)的坐标，采用函数近似法计算近似构造边缘线。作为函数近似法，例如可采用使用最小平方法的一次函数近似或二次函数近似等已知的各种方法。图5是图3所示的残渣候选区域101附近的放大图。例如如图5所示，在计算出与构造边缘103近似的近似构造边缘线105的情况下(步骤S15 :是)，交叉判定部19根据残渣候选区域101与近似构造边缘线105的位置关系，判别残渣候选区域101是否是残渣区域(步骤S16)。详细地说，交叉判定部19扫描残渣候选区域101内，检测在近似构造边缘线105的坐标上存在的像素。然后，在存在近似构造边缘线105上的像素的情况下，交叉判定部19判定为近似构造边缘线105与残渣候选区域101交叉，判别为该残渣候选区域101是遮蔽构造边缘103的残渣区域。另一方面，在不存在近似构造边缘线105上的像素的情况下，交叉判定部19判定为近似构造边缘线105与残渣候选区域101不交叉，判别为该残渣候选区域101不是残渣区域(即是粘膜区域)。此外，在没有计算出近似构造边缘线的情况下(步骤S15 :否)，交叉判定部19判别为该残渣候选区域101不是残渣区域(步骤S17)。然后，在存在尚未执行判别处理的残渣候选区域的情况下(步骤S18 :否)，动作转移到步骤S14，进行针对下一残渣候选区域的处理。另一方面，在针对从管腔内图像100检测到的全部残渣候选区域的判别处理结束时(步骤S18 :是)，运算部15输出判别结果使显示部13显示,并且,使记录部14记录(步骤S19)。
·
接着，参照图4详细说明图2的步骤S13所示的构造边缘的检测处理。图4是示出步骤S13中的构造边缘区域检测部17的动作的流程图。首先，在步骤S131中，第I微分强度计算部171对构成管腔内图像100的I个像素，通过使用了例如索贝尔(Sobel)滤波器等的一次微分处理，计算R成分的微分强度。此夕卜，在步骤S132中，第2微分强度计算部172对相同的像素同样地计算G成分的微分强度。在步骤S133中，归一化处理部173根据R成分与G成分的强度比对R成分与G成分的微分强度进行归一化。进行这样的处理的理由在于，一般构成管腔内图像的各个像素的各个颜色成分(R、G、B)的强度是R值>6值>8值，相应地具有R成分的微分强度比G成分的微分强度高的倾向，因此，使G成分的微分强度与R成分的微分强度相符。在实施方式I中，通过对G成分的微分强度乘以R成分相对于G成分的强度比来进行归一化。在接下来的步骤S134中，阈值处理部174对归一化后的微分强度进行阈值处理。例如，在血管区域的边界那样的颜色边缘区域，R成分的微分强度低，G成分的微分强度高，因而按照每个颜色成分产生微分强度的差。另一方面，在构造边缘区域中，R成分和G成分都按照相同的倾向而变化，因而每个颜色成分的微分强度不怎么存在差异。因此，阈值处理部174提取R成分和G成分的微分强度都在阈值以上的像素作为构造边缘像素。构造边缘区域检测部17对管腔内图像100内的全部像素反复进行这样的处理(步骤S135 :否、步骤S131)。当对管腔内图像100内的全部像素执行了阈值处理时(步骤S135 :是)，构造边缘区域检测部17对提取出的构造边缘像素进行标记，并且，进行细线化处理(参照=CG-ARTS協会、r ^ -7'夕斤画像処理、p. 185 p. 190)(步骤S136)。由此，检测出图3所示的构造边缘102 104。然后，动作返回主程序。如以上说明的那样，在实施方式I中，根据颜色特征量检测残渣候选区域，根据该残渣候选区域与构造边缘的相对位置关系(即该残渣候选区域是否遮蔽构造边缘)，判别该残渣候选区域是否是残渣区域。因此，能够以比仅使用颜色特征量确定残渣区域时高的精度，提取残渣区域。因此，通过设提取出的残渣区域为不需要区域从管腔内图像中预先排除，能够提高读影效率。变形例1-1作为构造边缘的检测方法，除了上述基于第I颜色成分和第2颜色成分的微分强度的检测方法以外，还可采用已知的各种方法。例如，还能够使用至少I个颜色成分的微分强度来检测构造边缘。具体地说，使用最远离管腔内的吸光频带的颜色成分(R、G、B内的R成分)即可。这是因为R成分在3个颜色成分内波长最长，被血液(血红蛋白)吸光的吸光成分少，因而能够得到最能反映活体组织的表面构造的信息。在该情况下，通过使用索贝尔(Sobel)滤波器等的一次微分处理、使用了拉普拉斯算子(Laplacian)等的二次微分处理等公知的边缘提取技术，根据各个像素的 R成分计算边缘强度。变形例1-2作为近似构造边缘线的计算方法，除了上述基于函数近似的方法以外，还可使用已知的各种方法。作为一例，如图6A所示，说明根据构成被标记的构造边缘110的构造边缘像素111计算近似构造边缘线的方法。首先，函数近似部182对各个构造边缘像素111在X方向和y方向应用索贝尔滤波器，取得各个构造边缘像素111的梯度方向。接着，函数近似部182如图6B所示，计算与各个构造边缘像素111的梯度方向正交的向量(正交向量)112。并且，函数近似部182计算这些正交向量112的平均值(平均正交向量)和构成构造边缘110的全部构造边缘像素111的重心位置113。然后，函数近似部182如图6C所示，将具有与平均正交向量相同的斜率且通过重心位置113的一次函数设为近似构造边缘线 114。变形例1-3说明近似构造边缘线的计算方法的别的例子。首先，函数近似部182如图6A所示，在构成被标记的构造边缘110的各个构造边缘像素111(坐标(x，y))中，求出海森矩阵(Hessian matrix)。在此,海森矩阵是指将多变量标量函数(本变形例1_3中的像素值f(x,y))的二阶偏微分作为元素的正方矩阵。这样的海森矩阵的第2固有向量朝向为沿着将像素值f(x，y)视为高度时的山谷或山脊的方向(即与图6B所示的正交向量112相同的方向)。函数近似部182计算各个构造边缘像素111中的海森矩阵的第2固有向量的平均向量和构造边缘110的重心位置113，计算具有与平均向量相同的斜率并通过重心位置113的一次函数，将其作为近似构造边缘线。实施方式2接着，说明本发明的实施方式2的图像处理装置。如图7所示，实施方式2的图像处理装置2具有运算部20。其它结构与图I所示的相同。运算部20具有残渣候选区域检测部16、构造边缘区域检测部17、作为残渣区域判别部的近似构造边缘线运算部18以及交叉判定部21。其中，残渣候选区域检测部16、构造边缘区域检测部17以及近似构造边缘线运算部18的结构和动作与在实施方式I中说明的相同。交叉判定部21包含计算近似构造边缘线与残渣候选区域的轮廓线的类似度的类似度计算部211，根据计算出的类似度判定近似构造边缘线与残渣候选区域的交叉关系，并且，根据其判定结果，判别残渣候选区域是否是残渣区域。接着，参照图2、图8以及图9说明图像处理装置2的动作。图像处理装置2的动作整体上与图2所示的相同，步骤S16所示的残渣候选区域的判别处理中的详细动作与实施方式I不同。图8是示出图像处理装置2执行的残渣候选区域的判别处理的流程图。此外，图9是说明近似构造边缘线与残渣候选区域的交叉状态的判定方法的图，放大示出从管腔内图像100检测出的残渣候选区域101、构造边缘103、104以及近似构造边缘线105。在步骤S21中，交叉判定部21扫描残渣候选区域101内，检测在近似构造边缘线105的坐标上存在的像素(在此称作“近似线上像素”)。在此，在存在近似线上像素的情况下，可认为构造边缘103被残渣候选区域101遮蔽。在该情况下，作为遮蔽构造边缘103的区域，有可能是残渣区域，或者是例如白色病变区域那样尽管是粘膜区域但根据颜色特征量被检测作残渣候选区域的区域。这是因为这样的病变区域有时与周围的粘膜区域相比隆起，因而由于拍摄的方向而被拍摄得如遮蔽构造边缘103那样。但是，由于粘膜区域的隆起而看上去遮蔽构造边缘的区域有时仅仅略微跨过构造边缘。因此，这样的遮蔽区域的轮廓线存在于构造边缘的附近。因此，在实施方式2中，根据近似构造边缘线105与残渣候选区域101的轮廓线106的类似度，判定残渣候选区域101是残渣区域，还是由于隆起而看上去遮蔽构造边缘103的粘膜区域。在步骤S22中检测到近似线上像素的情况下(步骤S22 :是)，类似度计算部211 计算各个近似线上像素的坐标P处的近似构造边缘线105的法线方向(步骤S23)。此外，类似度计算部211计算该法线方向上的坐标P与轮廓线106之间的距离(步骤S24)。此时，在法线方向上存在2个方向，因而计算距离dsmKT和距离(Iumj这2个值。类似度计算部211采用其中较短的距离dSHQKT(即靠近轮廓线106 —侧的距离)。在步骤S25中，类似度计算部211根据对在步骤S21中检测出的全部像素计算出的距离dsmKT计算平均值dAVE。在步骤S25中，交叉判定部21判定平均值dAVE是否在预定的阈值以上。在平均值dAVE在阈值以上的情况下(步骤S26 :是)，交叉判定部21判别为近似构造边缘线105与轮廓线106不类似，该残渣候选区域101是残渣区域(步骤S27)。然后，动作返回到主程序。另一方面，在平均值dAVE小于阈值的情况下(步骤S26 :否)，交叉判定部21判别为近似构造边缘线105与轮廓线106类似，该残渣候选区域101不是残渣区域(步骤S28)。 此外，在步骤S22中没有检测到存在于近似构造边缘线105上的像素的情况下(步骤S22 否)，交叉判定部21也判别为该残渣候选区域101不是残渣区域(步骤S28)。如以上说明的那样，根据实施方式2，根据近似构造边缘线与残渣候选区域的轮廓线的类似度，判别残渣候选区域的种类。因此，能够将根据颜色特征量而被提取为残渣候选区域并遮蔽构造边缘的粘膜区域与残渣区域相区别。因此，能够从管腔内图像中更正确地仅提取残渣区域。实施方式3接着，说明本发明的实施方式3的图像处理装置。如图10所示，实施方式3的图像处理装置3具有运算部30。其它结构与图I所示的相同。运算部30具有残渣候选区域检测部16、构造边缘区域检测部17、作为残渣区域判别部的近似构造边缘线运算部18以及交叉判定部31。其中，残渣候选区域检测部16、构造边缘区域检测部17以及近似构造边缘线运算部18的结构和动作与在实施方式I中说明的相同。交叉判定部31包含计算近似构造边缘线与残渣候选区域的轮廓线的角度差的角度差计算部311，根据计算出的角度差判定近似构造边缘线与残渣候选区域的交叉关系，并且，根据其判定结果，判别残渣候选区域是否是残渣区域。
接着，参照图2、图11以及图12说明图像处理装置3的动作。图像处理装置3的动作整体上与图2所示的相同，步骤S16所示的残渣候选区域的判别处理中的详细动作与实施方式I不同。图11是示出图像处理装置3执行的残渣候选区域的判别处理的流程图。此外，图12是说明近似构造边缘线与残渣候选区域的交叉状态的判定方法的图，放大示出从管腔内图像100检测出的残渣候选区域101、构造边缘103、104以及近似构造边缘线105。在步骤S31中，交叉判定部31通过对残渣候选区域101进行轮廓跟踪(参照CG-ARTS協会、〒i '7'夕斤画像処理、p. 178 p. 179)，检测坐标与近似构造边缘线105 —致的轮廓像素(在此称作“近似线上轮廓像素”)。在检测到近似线上轮廓像素的情况下(步骤S32 :是)，角度差计算部311计算在近似线上轮廓像素的坐标Q中，残渣候选区域101的轮廓线106的法线向量V(步骤S33)，并且，计算相同坐标Q处的近似构造边缘线105的切线向量u (步骤S34)。 并且，在步骤S35中，角度差计算部311计算切线向量u与法线向量V的向量积的值|uXv| = u V sin 0。该向量积的值|uXv|按照切线向量u与法线向量v所成的角度0 (OS 0 < 180° )而变化。换言之，向量积的值IuXvI表示近似构造边缘线105的方向与轮廓线106的方向的类似关系。即，在向量积的值|uXv|大的情况下(例如sin 0 =1,0 =90° ),近似构造边缘线105与轮廓线106成为方向类似的交叉关系。另一方面，在向量积的值|uXv|小的情况下(例如sin0 =0, 0 =0° ),近似构造边缘线105与轮廓线106成为方向不类似的交叉关系。在步骤S36中，交叉判定部31判定计算出的向量积的值|uXv|是否在预定的阈值以下。在向量积的值IuXvI在阈值以下的情况下(步骤S36:是)，交叉判定部31判别为近似构造边缘线105与轮廓线106不类似，该残渣候选区域101是残渣区域(步骤S37)。然后，动作返回主程序。另一方面，在向量积的值IuXvI大于阈值的情况下(步骤S36 :否)，交叉判定部31判别为近似构造边缘线105与轮廓线106类似，该残渣候选区域101不是残渣区域(步骤S38)。此外，在步骤S32中没有检测到近似线上轮廓像素的情况下(步骤S32:否)，也判别为该残渣候选区域101不是残渣区域(步骤S38)。如以上说明的那样，根据实施方式3，使用近似线上轮廓像素中的向量，因此，能够以更少的运算量正确地判定近似构造边缘线与残渣候选区域的交叉关系。实施方式4接着，说明本发明的实施方式4的图像处理装置。如图13所示，实施方式4的图像处理装置4具有运算部40。其它结构与图I所示的相同。运算部40具有残渣候选区域检测部16、构造边缘区域检测部41、作为残渣区域判别部的近似构造边缘线运算部42以及交叉判定部19。其中，残渣候选区域检测部16和交叉判定部19的动作与在实施方式I中说明的相同。构造边缘区域检测部41具有相似曲线计算部411，其在残渣候选区域周边(包围残渣候选区域的管腔内图像的部分区域)，针对与残渣候选区域的轮廓之间的各个距离，计算多个相似曲线(以下称作周围相似曲线)，所述相似曲线由与残渣候选区域的轮廓等距离的像素构成，且具有与残渣候选区域的轮廓相似的形状；边缘位置检测部412，其提取各个周围相似曲线与边缘交叉的位置的坐标即边缘坐标；以及连续性判定部413，其判定各个周围相似曲线之间的边缘坐标的连续性，构造边缘区域检测部41检测残渣候选区域周边的构造边缘区域。近似构造边缘线运算部42包含通过函数近似法计算近似构造边缘线的函数近似部421，提取被判定为在各个周围相似曲线之间连续的边缘坐标，根据这些边缘坐标计算近似构造边缘线。接着，说明图像处理装置4的动作。图14是示出图像处理装置4的动作的流程图。另外，图14所示的步骤SlO S12以及S19的动作与在实施方式I中说明的相同。此外，图15是示出由图像处理装置4处理的管腔内图像的一例的示意图。在图15所示的管腔内图像200中示出在步骤Sll中检测到的残渣候选区域201。在步骤S41中，构造边缘区域检测部41检测残渣候选区域201周边的构造边缘。
图16是示出步骤S41中的构造边缘区域检测部41的动作的流程图。首先，在步骤S401中，相似曲线计算部411计算与残渣候选区域201之间的距离彼此不同的多个周围相似曲线。图15所示的周围相似曲线202 204是与残渣候选区域201的轮廓的距离分别为dl d3的位置上的周围相似曲线。这些周围相似曲线202 204的周长彼此不同。因此，在步骤S402中，相似曲线计算部411将与残渣候选区域201之间的距离最短的第I周围相似曲线(在图15中是周围相似曲线202)的长度作为基准长度，将与残渣候选区域201之间的距离比基准长度长的第2个及第2个之后的周围相似曲线(在图15中是周围相似曲线203、204)的周长根据其与基准长度之间的比率进行归一化。由此，周围相似曲线202 204的周长得到统一。在步骤S403中，相似曲线计算部411将归一化后的周围相似曲线202 204投影到图17所示的特征空间。图17所示的特征空间由表示周围相似曲线上的位置(与预定的基准位置之间的距离)的归一化坐标、其它周围相似曲线203、204相对于作为基准的周围相似曲线202的相对距离以及周围相似曲线202 204上的像素的像素值这3个轴构成。表示图17所示的特征空间内的归一化坐标下的像素值的像素值曲线301 303对应于管腔内图像200上的周围相似曲线202 204。在步骤S404中，边缘位置检测部412计算各个像素值曲线301 303的微分强度，提取微分强度在预定的阈值以上的归一化坐标作为边缘坐标。例如在图18所示的特征空间的情况下，从第I像素值曲线301提取边缘坐标al、bl、Cl，从第2像素值曲线302提取边缘坐标a2、c2，从第3像素值曲线303提取边缘坐标a3、c3。在步骤S405中，连续性判定部413对检测出的边缘坐标al a3、bl、cl c3，判定在相邻的像素值曲线之间是否具有连续性，提取具有连续性的边缘坐标。通过对例如像素值曲线301上的坐标al搜索在预定的搜索范围As内是否存在别的像素值曲线上的坐标来进行该连续性的判定。另外，对于连续性的判定处理将在后面详细说明。在此，假定提取边缘坐标al a3以及边缘坐标cl c3作为具有连续性的边缘坐标。在步骤S406中，连续性判定部413将提取出的边缘坐标al a3、cl c3转换成实际图像空间上的坐标。由此，如图19所示,得到对应于边缘坐标al a3的坐标Al A3、对应于边缘坐标Cl c3的坐标Cl C3。并且，在步骤S407中，构造边缘区域检测部41从这些坐标Al A3、C1 C3中分别提取任意数量的坐标，提取通过提取出的坐标的直线或者曲线作为构造边缘205、206。然后，动作返回主程序。在进行这样的处理后结果检测到构造边缘时(步骤S42 :是)，近似构造边缘线计算部42通过例如函数近似法计算与检测到的构造边缘205、206近似的近似构造边缘线(步骤S43)。在步骤S44中，交叉判定部19判定计算出的近似构造边缘线与残渣候选区域201是否交叉，根据其判定结果，判别残渣候选区域201是否是残渣区域。另外，残渣候选区域201的判别方法与在实施方式I中说明的相同。或者，交叉判定部19也可以与实施方式2或者3相同地，根据近似构造边缘线与残渣候选区域201的轮廓的交叉关系，进行残渣候选区域201的判别。此外，当在步骤S42中没有检测到构造边缘的情况下(步骤S42 :否)，交叉判定部19判别为该残渣候选区域201不是残渣区域(步骤S45)。
然后，在存在尚未执行判别处理的残渣候选区域的情况下(步骤S46 :否)，动作转移到步骤S41，进行针对下一个残渣候选区域的处理。另一方面，在针对从管腔内图像200检测到的全部残渣候选区域的判别处理结束时(步骤S46 :是)，动作转移到步骤S19。接着，参照图20详细说明图16的步骤S401所示的多个周围相似曲线的计算处理。图20是示出步骤S401中的相似曲线计算部411的动作的流程图。首先，在步骤S411中，相似曲线计算部411将管腔内图像200内的各个像素的值转换成表示与残渣候选区域201之间的距离的值，由此生成距离图像。作为距离图像的生成方法，可采用公知的各种方法(例如参照平田富夫、加藤敏洋、「二一々')'y卜''距離変換7 A 3 U < A」(情報処理学会研究報告、T A 3 ^研究会報告第94卷、第82号、第25-31 頁、1994 年 9 月 21 日))。在接下来的步骤S412中，相似曲线计算部411设定从残渣候选区域201的轮廓到第n个周围相似曲线的距离dn。在此，n(n= 1、2、3、...)是识别各个周围相似曲线的编号。此外，距离dn可以采用期望的方法设定。例如也可以通过预先设定相邻的周围相似曲线之间的间隔Ad，将编号n和间隔Ad相乘，由此设定距离dn。在步骤S413中，相似曲线计算部411将设定的距离cU乍为阈值对距离图像进行2值化。然后，对与残渣候选区域201的轮廓之间的距离在dn以下的区域进行轮廓跟踪，按照顺序取得与该残渣候选区域201的轮廓之间的距离在阈值(距离dn)以下的区域的轮廓上的像素的像素值。由此，生成周围相似曲线(步骤S414)。相似曲线计算部411在还生成与残渣候选区域201的轮廓之间的距离不同的周围相似曲线的情况下(步骤S415 :是)，将编号n增加l(n = n+1，步骤S416)。然后，动作转移到步骤S412。此外，在生成了期望数量的周围相似曲线的情况下(步骤S415:否)，动作返回主程序。接着，参照图21详细说明检测图16的步骤S405所示的在相邻的像素值曲线之间具有连续性的边缘坐标的处理。图21是示出步骤S405中的连续性判定部413的动作的流程图。首先，在步骤S421中，连续性判定部413将从第I像素值曲线检测到的边缘坐标设定成基点坐标。例如在图18的情况下，像素值曲线301的边缘坐标al、bl、cl为基点坐标。接着，连续性判定部413设定进行连续性判定的基点坐标(步骤S422)。以下，从基点坐标(边缘坐标)al起开始连续性的判定。在步骤S423中，连续性判定部413设定在第n个(n = 2、3、...)像素值曲线上搜索与基点坐标连续的边缘坐标的搜索范围。作为该搜索范围，设定以第I像素值曲线上的基点坐标为中心的任意宽度。或者，作为搜索范围，也可以设定以在搜索I个内侧(第n-1个)像素值曲线时检测到的边缘坐标为中心的任意宽度。例如，在n = 3的情况下，可以搜索以基点坐标al为中心的搜索范围A s，也可以搜索以在搜索像素值曲线302时检测到的边缘坐标a2为中心的搜索范围A s'。在步骤S424中，连续性判定部413判定在第n个像素值曲线的搜索范围内是否存在边缘坐标。在其结果是存在边缘坐标的情况下(步骤S424:是)，如果还存在外侧(第n+1个)像素值曲线(步骤S425 :是)，则在将编号n增加l(n = n+1，步骤S426)之后转移 到步骤S423，进行针对I个外侧的像素值曲线的搜索。例如在图18的情况下，当从第2个像素值曲线302的搜索范围A s检测到边缘坐标a2时，进行针对第3个像素值曲线303的搜索。连续性判定部413在最外侧的像素值曲线上的边缘坐标的搜索结束时(步骤S425 :否)，提取在各个像素值曲线中检测到的边缘坐标作为具有连续性的边缘坐标(步骤S427)。例如,对基点坐标al提取边缘坐标a2、a3。另一方面，连续性判定部413在针对第n个像素值曲线的搜索结果为在搜索范围内不存在边缘坐标的情况下(步骤S424 :否)，提取在第I个 第n-1个像素值曲线中检测到的边缘坐标作为连续的边缘坐标(步骤S428)。然后，在存在尚未进行边缘坐标的连续性判定的基点坐标的情况下(步骤S429 否)，动作转移到步骤S422，进行针对别的基点坐标的处理。另一方面，在对全部基点坐标进行了边缘坐标的连续性判定时(步骤S429 :是)，动作返回主程序。在进行了这样的搜索处理的结果是在图18所示的特征空间中，提取边缘坐标al a3以及边缘坐标cl c3作为连续的坐标。如以上说明的那样，在实施方式4中，针对每个残渣候选区域检测其周围的构造边缘，因此能够降低用于检测构造边缘的运算量，高效地进行残渣候选区域的判定。变形例4-1作为检测在像素值曲线之间具有连续性的边缘坐标时的搜索范围的设定方法，不限于上述方法。例如，如图22所示，也可以根据在内侧的像素值曲线301、302中判定为连续的边缘坐标al、a2，计算归一化坐标-相对距离的二维空间中的近似线L，将该近似线L的周围作为搜索范围As。变形例4-2作为检测在像素值曲线之间具有连续性的边缘坐标的方法，不限于上述方法。例如，也可以将全部周围相似曲线图像化，根据图像上的边缘特征量判别边缘的连续性。详细地说，生成设周围相似曲线的编号n为纵轴，设归一化坐标为横轴，设周围相似曲线上的像素值为浓度的图像。然后，通过对构成该图像的各个像素的微分强度进行阈值处理而进行2值化，由此生成2值图像。并且，对该2值图像进行标记。如果由此得到的标记区域的主轴长度在预定的阈值以上，则判定为属于该标记区域的边缘坐标连续。变形例4-3作为检测残渣候选区域周围的局部构造边缘的方法，不限于上述使用周围相似曲线的方法。例如，也可以将残渣候选区域周围的预定范围设定成为构造边缘的检测对象区域，对该区域内部进行与实施方式I相同的处理，由此检测构造边缘。如以上说明的那样，根据实施方式I 4及其变形例，从管腔内图像中根据像素值检测非粘膜区域的候选区域，根据管腔内图像中包含的构造边缘与上述候选区域的相对位置关系，判别该候选区域是否是粘膜区域，因此，与仅使用颜色信息的情况相比，能够以更高的精度判别粘膜区域和非粘膜区域。以上说明的实施方式I 4的图像处理装置可通过由个人计算机、工作站等计算机系统执行记录于记录介质中的图像处理程序来实现。此外，也可以经由局域网、广域网(LAN/WAN)或者互联网等公众线路与其它计算机系统或服务器等设备连接来使用这样的计 算机系统。在该情况下，实施方式I 4的图像处理装置也可以经由这些网络取得管腔内图像的图像数据，或者向经由这些网络连接的各种输出设备(浏览器或打印机等)输出图像处理结果，或者向经由这些网络连接的存储装置(记录介质及其读取装置等)存储图像处理结果。另外，本发明不限于实施方式I 4及其变形例，通过适当组合各个实施方式或变形例公开的多个构成要素，能够形成各种发明。例如，可以从各个实施方式或变形例所示的全部构成要素中去除若干构成要素而形成，也可以适当组合不同的实施方式或变形例所示的构成要素而形成。
权利要求
1.ー种图像处理装置，其判别管腔内图像中包含的粘膜区域和非粘膜区域，该图像处理装置具有 候选区域检测部，其根据构成管腔内图像的各个像素的特征量，检测作为是否是粘膜区域的判别对象的候选区域； 构造边缘检测部，其检测所述管腔内图像中包含的构造边缘；以及区域判别部，其根据所述构造边缘与所述候选区域的相对位置关系，判别所述候选区域是否是粘膜区域。
2.根据权利要求I所述的图像处理装置，其中，所述非粘膜区域是与所述粘膜区域重叠的残渣区域。
3.根据权利要求I所述的图像处理装置，其中，所述候选区域检测部根据所述各个像素的顔色特征量检测所述候选区域。
4.根据权利要求I所述的图像处理装置，其中，所述构造边缘检测部使用构成所述管腔内图像的多个颜色成分中最远离管腔内的吸光频带的I个颜色成分，来检测所述构造边缘。
5.根据权利要求I所述的图像处理装置，其中， 所述构造边缘检测部具有 第I微分強度计算部，其使用所述各个像素的第I顔色成分计算各个像素的第I微分強度； 第2微分強度计算部，其使用所述各个像素的第2顔色成分计算各个像素的第2微分強度； 归ー化部，其根据所述第I顔色成分和第2顔色成分的強度比，对所述第2微分强度进行归ー化；以及 阈值处理部，其在所述第I微分強度和归ー化后的所述第2微分強度都在预定的阈值以上的情况下，判别为相应像素表示构造边缘。
6.根据权利要求I所述的图像处理装置，其中，所述构造边缘检测部在包围所述候选区域的周围区域中检测所述构造边缘。
7.根据权利要求6所述的图像处理装置，其中， 所述构造边缘检测部具有 相似曲线计算部，其计算多个相似曲线，所述相似曲线由与所述候选区域的轮廓等距离的像素构成，且具有与所述候选区域的轮廓相似的形状，并且所述多个相似曲线与所述候选区域的轮廓之间的距离彼此不同； 边缘位置检测部，其分别检测所述多个相似曲线上的边缘位置；以及 连续性判定部，其判定所述多个相似曲线中的相邻的相似曲线之间的边缘位置的连续性。
8.根据权利要求I所述的图像处理装置，其中， 所述区域判别部具有 近似构造边缘线计算部，其计算所述构造边缘的近似线即近似构造边缘线；以及 交叉判定部，其判定所述近似构造边缘线与所述候选区域是否交叉， 所述区域判别部根据所述交叉判定部的判定结果判别所述候选区域是否是粘膜区域。
9.根据权利要求8所述的图像处理装置，其中，所述近似构造边缘线计算部对在所述候选区域附近检测到的多个所述构造边缘进行标记，对被标记的所述构造边缘分别计算近似构造边缘线。
10.根据权利要求8所述的图像处理装置，其中，所述近似构造边缘线计算部具有对所述构造边缘进行函数近似的函数近似部。
11.根据权利要求10所述的图像处理装置，其中，所述函数近似部计算与位于所述构造边缘上的像素处的像素值梯度方向正交的向量，根据该向量进行函数近似。
12.根据权利要求10所述的图像处理装置，其中，所述函数近似部根据位于所述构造边缘上的像素的像素值，计算海森矩阵的固有向量，根据该固有向量进行函数近似。
13.根据权利要求10所述的图像处理装置，其中，所述函数近似部根据位于所述构造边缘上的像素的坐标进行函数近似。
14.根据权利要求8所述的图像处理装置，其中，所述交叉判定部在所述近似构造边缘线与所述候选区域的轮廓线的坐标一致的位置上，根据所述轮廓线的法线与所述近似构造边缘线所成的角度进行判定。
15.根据权利要求8所述的图像处理装置，其中，所述区域判别部还具有计算所述候选区域的轮廓线与所述近似构造边缘线的类似度的类似度计算部，所述区域判别部根据所述类似度判别所述候选区域是否是粘膜区域。
16.ー种图像处理方法，用于判别管腔内图像中包含的粘膜区域和非粘膜区域，该图像处理方法具有 候选区域检测步骤，根据管腔内图像中的各个像素的特征量，检测作为是否是粘膜区域的判别对象的候选区域； 构造边缘检测步骤，检测所述管腔内图像中包含的构造边缘；以及 区域判别步骤，根据所述构造边缘与所述候选区域的相对位置关系，判别所述候选区域是否是粘膜区域。
全文摘要
本发明提供一种图像处理装置和图像处理方法。图像处理装置用于判别管腔内图像中包含的粘膜区域和非粘膜区域，该图像处理装置具有残渣候选区域检测部，其根据构成管腔内图像的各个像素的特征量，检测作为是否是粘膜区域的判别对象的残渣候选区域；构造边缘区域检测部，其检测管腔内图像中包含的构造边缘；以及近似构造边缘线计算部和交叉判定部，其根据构造边缘与残渣候选区域的相对位置关系，判别残渣候选区域是否是粘膜区域。
文档编号A61B1/04GK102697446SQ20121000746
公开日2012年10月3日 申请日期2012年1月11日 优先权日2011年1月11日
发明者北村诚, 弘田昌士, 河野隆志, 神田大和 申请人:奥林巴斯株式会社