图像处理装置、图像处理方法和图像处理程序的制作方法

图像处理装置、图像处理方法和图像处理程序的制作方法
【专利摘要】提供在一个图像内包含与被摄体之间的摄像距离不同的区域的情况下也能够高精度地判别有无异常软毛的图像处理装置等。图像处理装置(1)具有：关注区域设定部(110)，其在图像内设定关注区域；线形状凸区域提取部(120)，其在关注区域中提取像素值比周围高的像素连续规定像素数以上的线形状的区域；区域内曲率特征量计算部(130)，其基于沿着线形状的区域的一个以上的圆弧的曲率计算曲率特征量；以及异常判别部(140)，其根据曲率特征量的分布来判别在关注区域内是否存在异常部。
【专利说明】
图像处理装置、图像处理方法和图像处理程序
技术领域
[0001] 本发明涉及判别对活体的管腔内进行摄像而得到的图像中有无异常部的图像处 理装置、图像处理方法和图像处理程序。
【背景技术】
[0002] 作为针对利用放大内窥镜观察大肠的粘膜而取得的管腔内图像（以下简称为图 像)的图像处理，例如在专利文献1中公开了将粘膜表面的腺管开口（pit)的形态(称为大肠 腺管开口形态(pit pattern))分类为多个类型的技术。具体而言，针对图像内设定的关注 区域的各像素，应用基于m个频率和k个相位方向的伽柏(Gabor)滤波器，计算m X k维的特征 向量，计算这些特征向量的平均和方差。然后，根据特征向量的平均和方差对大肠 Pit pattern进行分类，判别该大肠 pit pattern是否异常。
[0003] 现有技术文献 [0004] 专利文献
[0005] 专利文献1:日本特开2007-236956号公报

【发明内容】

[0006] 发明要解决的课题
[0007] 但是，近年来，作为取得管腔内图像的手段，还利用导入到被检体内、通过蠕动运 动进行移动并进行摄像的胶囊型内窥镜。在该胶囊型内窥镜的情况下，很难控制胶囊内窥 镜的摄像部相对于被摄体(例如小肠的粘膜表面)的相对姿势，所以，无法如一般的内窥镜 那样始终得到正对着被摄体进行摄像而得到的图像。因此，例如在向被摄体的摄像方向（摄 像部的角度)倾斜的情况下，与一个管腔内图像中映出的被摄体之间的进深方向的距离(摄 像距离)根据图像内的区域而不同。
[0008] 另一方面，作为粘膜表面的微细构造的软毛、特别是膨胀状态的异常软毛的外形 (形状)根据摄像距离而不同。因此，针对由胶囊型内窥镜取得的管腔内图像，当不考虑图像 内的摄像距离的差异而统一实施上述这种图像处理时，图像内映出的异常软毛的形状根据 摄像距离而变化，很难区分气泡区域或粘膜的轮廓(沟)等和异常软毛，存在产生异常部的 过检测这样的问题。
[0009] 本发明是鉴于上述情况而完成的，其目的在于，提供在一个图像内包含有与被摄 体之间的摄像距离不同的区域的情况下也能够高精度地判别有无异常软毛的图像处理装 置、图像处理方法和图像处理程序。
[0010]用于解决课题的手段
[0011]为了解决上述课题并实现目的，本发明的图像处理装置的特征在于，所述图像处 理装置具有:关注区域设定部，其在图像内设定关注区域;线形状凸区域提取部，其在所述 关注区域中提取像素值比周围高的像素连续规定像素数以上的线形状的区域;区域内曲率 特征量计算部，其计算曲率特征量，该曲率特征量基于沿着所述线形状的区域的一个以上 的圆弧的曲率；以及异常判别部，其根据所述曲率特征量的分布来判别在所述关注区域内 是否存在异常部。
[0012] 本发明的图像处理方法的特征在于，所述图像处理方法包括以下步骤:关注区域 设定步骤，在图像内设定关注区域;线形状凸区域提取步骤，在所述关注区域中提取像素值 比周围高的像素连续规定像素数以上的线形状的区域；区域内曲率特征量计算步骤，基于 沿着所述线形状的区域的一个以上的圆弧的曲率计算曲率特征量；以及异常判别步骤，根 据所述曲率特征量的分布来判别在所述关注区域内是否存在异常部。
[0013] 本发明的图像处理程序的特征在于，所述图像处理程序使计算机执行以下步骤： 关注区域设定步骤，在图像内设定关注区域;线形状凸区域提取步骤，在所述关注区域中提 取像素值比周围高的像素连续规定像素数以上的线形状的区域;区域内曲率特征量计算步 骤，基于沿着所述线形状的区域的一个以上的圆弧的曲率计算曲率特征量；以及异常判别 步骤，根据所述曲率特征量的分布来判别在所述关注区域内是否存在异常部。
[0014] 发明效果
[0015] 根据本发明，提取像素值比周围高的像素连续规定像素数以上的线形状的区域， 基于沿着该线形状的区域的一个以上的圆弧的曲率计算曲率特征量，根据该曲率特征量的 分布来判别有无异常软毛，所以，在一个图像内包含与被摄体之间的摄像距离不同的区域 的情况下，也能够高精度地判别有无异常软毛。
【附图说明】
[0016] 图1是示出本发明的实施方式1的图像处理装置的结构的框图。
[0017] 图2是示出图1所示的图像处理装置的动作的流程图。
[0018] 图3是详细示出图1所示的关注区域设定部执行的处理的流程图。
[0019] 图4是详细示出图1所示的粘膜区域提取部执行的处理的流程图。
[0020] 图5是示出色相平均值的度数的柱状图的生成例。
[0021] 图6是说明将柱状图的谷作为边界而划分为多个聚簇的聚类方法的示意图。
[0022]图7是示出对图5所示的柱状图进行聚类的结果的曲线图。
[0023]图8是详细示出图1所示的线形状凸区域提取部执行的处理的流程图。
[0024]图9是说明顶帽变换的不意图。
[0025] 图10是示出细线化滤波处理中用于图像的搜索的图案的图。
[0026] 图11是详细示出图1所示的区域内曲率特征量计算部执行的处理的流程图。
[0027] 图12是详细示出图1所示的尺寸特征量计算部执行的处理的流程图。
[0028] 图13是示出线形状区域的区间的示意图。
[0029] 图14是说明圆弧的曲率的计算方法的示意图。
[0030]图15是说明图1所示的曲率计算部执行的处理的示意图。
[0031]图16A是示出正常软毛模型的示意图。
[0032]图16B是示出与正常软毛模型对应的凸区域的示意图。
[0033] 图17A是示出异常软毛模型的示意图。
[0034] 图17B是示出与异常软毛对应的线形状区域的示意图。
[0035] 图17C是示出沿着与异常软毛对应的线形状区域的圆弧的曲率的分布的曲线图。
[0036] 图18A是示出气泡模型的示意图。
[0037] 图18B是示出与气泡区域对应的线形状区域的示意图。
[0038] 图18C是示出沿着与气泡区域对应的线形状区域的圆弧的曲率的分布的曲线图。
[0039] 图19是示出由圆弧的曲率和距离信息的双轴构成的频度分布的示意图。
[0040] 图20是示出实施方式1的变形例1-1的图像处理装置的框图。
[0041]图21是示出图20所示的线形状凸区域提取部执行的处理的详细情况的流程图。 [0042]图22是示出Hilditch细线化算法中使用的图案的示意图。
[0043]图23是示出Hilditch细线化算法中使用的图案的示意图。
[0044]图24是示出本发明的实施方式2的图像处理装置的结构的框图。
[0045]图25是示出图24所示的区域内曲率特征量计算部执行的处理的流程图。
[0046]图26是示出图24所示的形状特征量计算部执行的处理的流程图。
[0047] 图27A是示出异常软毛模型的示意图。
[0048] 图27B是示出沿着与异常软毛对应的线形状区域的圆弧的曲率的示意图。
[0049] 图27C是示出针对与异常软毛对应的线形状区域计算出的曲率的标准偏差的曲线 图。
[0050] 图28A是示出气泡模型的示意图。
[0051]图28B是示出沿着与气泡区域对应的线形状区域的圆弧的曲率的示意图。
[0052]图28C是示出针对与气泡区域对应的线形状区域计算出的曲率的标准偏差的曲线 图。
[0053]图29是示出本发明的实施方式3的图像处理装置的结构的框图。
[0054]图30是示出图29所示的区域内曲率特征量计算部执行的处理的流程图。
[0055]图31是示出图29所示的方向特征量计算部执行的处理的流程图。
[0056]图32A是示出异常软毛模型的示意图。
[0057]图32B是示出与异常软毛对应的线形状区域的示意图。
[0058]图32C是示出沿着与异常软毛对应的线形状区域的圆弧的曲率中心方向的示意 图。
[0059 ]图32D是示出异常软毛中的不同梯度方向的曲率中心方向的频度的曲线图。
[0000]图33A是示出气泡模型的示意图。
[0061] 图33B是示出与气泡区域对应的线形状区域的示意图。
[0062] 图33C是示出沿着与气泡区域对应的线形状区域的圆弧的曲率中心方向的示意 图。
[0063 ]图33D是示出气泡区域中的不同梯度方向的曲率中心方向的频度的曲线图。
[0064] 图34是示出本发明的实施方式4的图像处理装置的结构的框图。
[0065] 图35是示出图34所示的关注区域设定部执行的处理的流程图。
[0066] 图36是示出实施方式4的变形例4-1的图像处理装置的动作的流程图。
【具体实施方式】
[0067]下面，参照附图对本发明的实施方式的图像处理装置、图像处理方法和图像处理 程序进行说明。另外，本发明不被这些实施方式限定。并且，在各附图的记载中，对相同部分 标注相同标号示出。
[0068] (实施方式1)
[0069] 图1是示出本发明的实施方式1的图像处理装置的框图。作为一例，本实施方式1的 图像处理装置1是如下的装置:针对由胶囊型内窥镜对活体的管腔内进行摄像而取得的管 腔内图像（以下简称为图像），实施判别有无作为粘膜表面的微细构造的软毛膨胀的病变部 (异常部）的图像处理。管腔内图像通常是在各像素位置处针对R(红）、G(绿）、B(蓝）的波长 成分(颜色成分)具有规定(例如256灰度的)像素级别(像素值)的彩色图像。
[0070] 如图1所示，图像处理装置1具有对该图像处理装置1整体的动作进行控制的控制 部10、取得与通过内窥镜进行摄像而得到的图像对应的图像数据的图像取得部20、受理从 外部输入的输入信号的输入部30、进行各种显示的显示部40、存储由图像取得部20取得的 图像数据和各种程序的记录部50、以及对图像数据执行规定的图像处理的运算部100。
[0071] 控制部10由CPU等硬件实现，通过读入记录部50中记录的各种程序，根据从图像取 得部20输入的图像数据和从输入部30输入的操作信号等，对构成图像处理装置1的各部进 行指示和数据的传输等，总括地控制图像处理装置1整体的动作。
[0072]根据包含内窥镜的系统的方式适当构成图像取得部20。例如，在与胶囊型内窥镜 之间的图像数据的交换中使用移动型记录介质的情况下，图像取得部20由以拆装自如的方 式安装该记录媒体并读出所记录的图像的图像数据的读出装置构成。并且，在设置了预先 保存由内窥镜进行摄像而得到的图像的图像数据的服务器的情况下，图像取得部20由与服 务器连接的通信装置等构成，与服务器进行数据通信而取得图像数据。或者，还可以利用从 内窥镜经由缆线输入图像信号的接口装置等构成图像取得部20。
[0073]输入部30例如由键盘和鼠标、触摸面板、各种开关等输入设备实现，将所受理的输 入信号输出到控制部10。
[0074] 显示部40由LCD或EL显示器等显示装置实现，在控制部10的控制下，显示包含管腔 内图像的各种画面。
[0075] 记录部50由可更新记录的闪存等ROM或RAM这样的各种1C存储器、内置或通过数据 通信端子连接的硬盘、或者CD-ROM等信息记录装置及其读取装置等实现。记录部50除了存 储由图像取得部20取得的图像数据之外，还存储用于使图像处理装置1进行动作并使图像 处理装置1执行各种功能的程序、在该程序的执行中使用的数据等。具体而言，记录部50存 储判别有无粘膜表面中的软毛的异常部的图像处理程序51、该程序的执行中使用的各种信 息等。
[0076]运算部100由CPU等硬件实现，通过读入图像处理程序51而对管腔内图像实施图像 处理，执行用于判别有无粘膜表面中的软毛的异常部的各种运算处理。
[0077]接着，对运算部100的结构进行说明。
[0078]如图1所示，运算部100具有在处理对象的管腔内图像中设定关注区域的关注区域 设定部110、提取像素值比周围高的像素连续规定像素数以上的线形状的区域（以下称为线 形状区域)的线形状凸区域提取部120、基于沿着线形状区域的一个以上的圆弧的曲率计算 特征量（以下称为曲率特征量）的分布的区域内曲率特征量计算部130、根据曲率特征量来 判别在关注区域内是否存在异常部的异常判别部140。
[0079]其中，关注区域设定部110具有将残渣或暗部这样的粘膜以外的区域从图像中排 除来提取粘膜区域的粘膜区域提取部111，将提取出的粘膜区域设定为关注区域。
[0080] 线形状凸区域提取部120具有凸形状高频成分计算部121、孤立点排除部122、细线 化部123。
[0081] 凸形状高频成分计算部121针对像素值比周围高的像素区域，计算空间频率为规 定值以上的成分（以下称为高频成分)的强度。另外，下面，将像素值比周围高的像素区域称 为凸形状区域或简称为凸形状，将凸形状且高频成分的强度为规定值以上的像素区域称为 凸形状高频区域。并且，将凸形状高频区域中的高频成分的强度称为凸形状高频成分。
[0082] 孤立点排除部122根据由凸形状高频成分计算部121计算出的凸形状高频成分，将 孤立点作为正常软毛排除。这里，孤立点是指凸形状高频区域中的、该凸形状高频区域的周 围的全部方向中连续的像素数少于规定阈值的区域。
[0083]细线化部123对凸形状高频区域进行细线化。
[0084] 区域内曲率特征量计算部130具有尺寸特征量计算部131，其计算沿着线形状区域 的一个以上的圆弧的曲率和对应于与该圆弧之间的摄像距离的距离信息作为圆弧的尺寸 特征量;生成圆弧的尺寸特征量的频度分布的频度分布生成部132。其中，尺寸特征量计算 部131具有根据线形状区域计算一个以上的圆弧的曲率的曲率计算部131a、根据计算出的 一个以上的圆弧的曲率计算代表值的曲率代表值计算部131b、计算从管腔内图像的摄像位 置(即胶囊型内窥镜的位置)到呈线形状的凸区域的距离信息的距离信息计算部131c。
[0085] 接着，对图像处理装置1的动作进行说明。图2是示出图像处理装置1的动作的流程 图。
[0086] 首先，在步骤S10中，运算部100通过读入记录部50中记录的图像数据，取得处理对 象的管腔内图像。
[0087] 在接下来的步骤S20中，关注区域设定部110针对管腔内图像设定关注区域。图3是 详细示出关注区域设定部110执行的处理的流程图。
[0088] 在步骤S201中，粘膜区域提取部111根据管腔内图像内的各像素的边缘强度，将管 腔内图像分割成多个小区域。参照图4对将该管腔内图像分割成多个小区域的处理进行详 细说明。首先，在步骤S2011中，粘膜区域提取部111使用管腔内图像内的各像素的像素值中 的G成分生成G成分图像。这里，使用G成分的理由是，由于G成分接近血液的吸光频带，所以， 最良好地表现粘膜的隆起或残渣的边界这样的被摄体的构造。另外，在本实施方式1中使用 G成分，但是，取而代之，也可以使用其他颜色成分、对像素值(R、G、B各成分)进行转换而得 到的亮度值、色差(YCbCr转换）、色相、彩度、明度(HSI转换）、色比等。
[0089]在步骤S2012中，粘膜区域提取部111对该G成分图像实施滤波处理并计算边缘强 度，生成设边缘强度为各像素的像素值的边缘图像。作为用于计算边缘强度的滤波处理，使 用普瑞维特滤波器、索贝尔滤波器这样的1次微分滤波器、拉普拉斯滤波器、L0G(Laplacian of Gaussian:高斯调和量算子)滤波器这样的2次微分滤波器等(参考:CG-ARTS协会、"数字 图像处理"、第114~121页）。
[0090]进而，粘膜区域提取部111根据边缘图像中的边缘强度进行区域分割。作为区域分 割的方法的一例，在本实施方式1中，使用国际公开第2006/080239号所公开的方法。即，在 步骤S2013中，针对边缘图像实施平滑化处理以去除噪声。在接下来的步骤S2014中，在边缘 图像内的各像素位置处取得边缘强度的梯度最大的方向（最大梯度方向）。然后，在步骤 S2015中，从各像素（出发像素)起沿着最大梯度方向搜索边缘图像，取得像素值(边缘强度） 成为极值的像素位置。进而，在步骤S2016中，生成将在同一像素位置处成为极值的出发像 素彼此作为一个区域赋予标签后的标签图像。这里，标签图像是指设通过赋予标签而得到 的标签编号（1~n，n为标签数)为各像素的像素值的图像。在该标签图像中具有同一像素值 的像素区域相当于对管腔内图像进行区域分割而得到的各小区域。然后，处理返回主进程。
[0091] 另外，作为对管腔内图像进行区域分割的方法，也可以使用上述方法以外的公知 方法。具体而言，可以使用分水岭（watershed)算法（参考：Luc Vincent and Pierre Soi1le，"Watersheds in digital spaces：An efficient algorithm based on immersion simulations"，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol · 13，No · 6，pp· 583-598 June 1991)。分水岭算法是如下的方法:在将图 像的像素值信息视为高度的地形中灌满水时，以使不同凹处中滞留的水之间出现边界的方 式对图像进行分割。
[0092] 并且，在本实施方式1中，以减轻孤立像素噪声产生的影响、通过沿着粘膜或残渣 等的边界的区域分割而容易执行后级的异常判别为目的，进行基于边缘的区域分割，但是， 作为其他区域分割的方法，也可以将管腔内图像分割成规定尺寸的矩形区域。该情况下，不 需要进行边缘图像的生成和基于边缘强度的区域分割这样的处理，能够缩短处理时间。或 者，也可以不进行区域分割，将各像素作为以下说明的各步骤中的处理单位。该情况下，能 够省略步骤S201的处理。
[0093]在接着步骤S201的步骤S202中，粘膜区域提取部111针对通过区域分割而得到的 各小区域计算特征量的平均值。更详细地讲，粘膜区域提取部111根据小区域内的各像素的 像素值计算R、G、B各成分的平均值。然后，通过对这些平均值实施HSI转换(参考:CG-ARTS协 会、"数字图像处理"、第64页(HSI转换和逆转换）），计算小区域的色相平均值。这里，计算色 相平均值是因为，关于粘膜或管腔内的内容物等被摄体，根据它们的成分即血液或胆汁等 的吸光特性的差异，能够通过色相等颜色特征量进行某种程度的判别。基本上，胃粘膜、肠 粘膜、内容物的色相依次从红色系的色相朝向黄色系变化。
[0094] 另外，也可以在对小区域内的各像素的像素值(R、G、B各成分)实施HSI转换并计算 色相后，计算各像素的色相的平均值，由此求出各小区域的色相平均值。并且，代替色相，例 如，也可以计算色差、色比(G/R、B/G)等特征量的平均值。
[0095] 在步骤S203中，粘膜区域提取部111针对各小区域，根据特征量的平均值来判别是 否是暗部区域。更详细地讲，首先，粘膜区域提取部111生成各小区域的判别结果列表。这 里，判别结果列表是把将管腔内图像分割成多个小区域时的标签图像中的标签编号和与各 标签编号对应的标志信息关联起来的列表。另外，判别结果列表的尺寸对应于标签数η。接 着，粘膜区域提取部111对判别结果列表进行初始化，针对全部小区域赋予粘膜区域的标志 (〇:粘膜区域）。然后，使用对粘膜的隆起或残渣的边界这样的被摄体的构造进行最良好地 表现的G成分作为特征量，针对该特征量的平均值为规定阈值以下的小区域赋予暗部区域 的标志（1:暗部区域）。另外，在小区域的色相平均值等的变化相对于明度的变化保持线性 的范围内决定此时的阈值。这是因为，在暗部区域中，由于噪声等影响而使线性崩溃。
[0096]在步骤S204中，粘膜区域提取部111对步骤S202中计算出的特征量的平均值(色相 平均值)的分布进行聚类。这里，聚类是根据数据间的相似性将特征空间内的数据分布划分 成被称为聚簇的块的方法，能够通过层次法、k-means法等公知的各种方法来执行（参考： CG-ARTS协会："数字图像处理"、第231~232页(聚类））。在本实施方式1中，为了在后级使用 色相空间中的数据的柱状图进行处理，设特征空间为色相的一维空间，示出基于数据的柱 状图的聚类的顺序。另外，聚类不需要限于此，也可以使用其他方法。
[0097] 下面，参照图5~图7详细说明对色相平均值的分布进行聚类的处理。首先，生成设 横轴为色相平均值的等级区间、设纵轴为与各等级区间相当的色相平均值的度数的柱状 图。此时，从判别结果列表中赋予了粘膜区域的标志(0:粘膜区域）的小区域取得色相平均 值。并且，以事前确定的规定间隔对充分包含管腔内图像的色相分布范围的黄色系~红色 系的色相范围进行分割，由此设定等级区间。图5是柱状图的生成例。另外，在图5中，进行归 一化以使得度数的总和成为1。
[0098] 接着，将柱状图的谷作为边界而将色相平均值的分布划分为多个聚簇。图6是说明 聚类方法的示意图。图6所示的度数数据的曲线图利用折线简易地示出柱状图的度数变化。 并且，这里，为了便于说明，利用坐标示出柱状图的横轴所示的等级区间。另外，为了限制聚 类后的聚簇数，可以对柱状图的等级区间的宽度进行变更，也可以在聚类之前对柱状图实 施平滑化处理。
[0099] 针对这种度数数据，求出各坐标处的梯度方向。这里，梯度方向是根据关注坐标处 的度数数据和与关注坐标相邻的坐标处的度数数据之差决定的方向，利用箭头示出度数的 值增加的方向。另外，显示为"极"的坐标是度数高于相邻的任何坐标的极值(极大值)坐标。
[0100] 进而，从各坐标起沿着梯度方向搜索极值坐标。在图6中，从出发坐标(n = 0的各坐 标)的位置朝向下方向，利用坐标的数值示出搜索极值坐标时的坐标的变化。例如，在从坐 标1开始搜索的情况下，由于在坐标1处梯度方向成为右方向，所以，在第1次的搜索步骤(η =1)中得到右侧相邻的坐标2。接着，由于在坐标2处梯度方向也成为右方向，所以，在第2次 的搜索步骤(η = 2)中得到坐标2的右侧相邻的坐标3。然后，当依次沿着梯度方向继续进行 搜索时，最终到达极值坐标即坐标5(η = 4)。接着，当从坐标2开始搜索时，最终还是到达极 值坐标即坐标5的极值坐标(η = 3)。同样，当从全部坐标起进行同样的搜索时，在设坐标1~ 9为出发坐标的情况下，到达坐标5,在设坐标10~15为出发坐标的情况下，到达坐标12。
[0101] 这种搜索的结果，通过设得到坐标5作为极值坐标的坐标1~9为第1聚簇，设得到 坐标12作为极值坐标的坐标10~15为第2聚簇，能够将柱状图的谷作为边界而将数据分布 划分为聚簇。
[0102] 图7是示出将上述聚类方法应用于图5所示的柱状图的结果的曲线图。在图5的情 况下，将柱状图的谷作为边界，能够将色相平均值分类为聚簇1~3这3个聚簇。
[0103] 在接着步骤S204的步骤S205中，粘膜区域提取部111根据特征量平均值的分布来 判别残渣等不要区域。这里，在管腔内，一般情况下，根据胆汁与血液的吸光特性的差异，残 渣等不要区域成为黄色系的颜色。因此，将步骤S204中得到的聚簇中的、色相靠近黄色系的 聚簇估计为由不要区域即小区域的色相平均值数据构成的聚簇（以下称为不要区域聚簇）， 确定不要区域聚簇。
[0104] 更详细地讲，首先，使用聚簇a内的色相平均值的总和〇^和属于聚簇a的数据的数 量(即小区域的数量)ma，通过下式（1)计算各聚簇a(a为聚簇编号，在图7的情况下，a=l、2、 3)的重心ω 3拔(拔表示在ω上记载了表示平均的记号。
[0110]并且，记号i表示小区域的标签编号。记号η表示标签数、即图像内的小区域的数 量。记号lu表示小区域i的色相平均值。记号a_min表示聚簇a中的色相平均值的最小值，记 号a_max表示聚簇a中的色相平均值的最大值。进而，
[0114] 在图7所示的色相平均值的柱状图中，越接近色相轴(横轴）的左侧，黄色系越强。 因此，根据预先取得的示教数据计算表示残渣的色相的范围的残渣判定阈值，将与该残渣 判定阈值相比重心位于曲线图的左侧的聚簇判别为不要区域聚簇。例如，在图7中，将聚簇1 判别为不要区域聚簇。
[0115] 进而，粘膜区域提取部111针对判别结果列表中赋予了粘膜区域的标志(0:粘膜区 域)的小区域中的、属于不要区域聚簇的小区域，赋予不要区域的标志(2:不要区域）。
[0116]另外，在不要区域的判别时，也可以使用色相以外的特征量的平均值进行同样的 处理。
[0117] 在接下来的步骤S206中，关注区域设定部110根据标签图像和判别结果列表的标 志信息取得图像内的粘膜区域(不要区域以外的区域)的坐标信息，输出该粘膜区域的坐标 信息作为关注区域。然后，处理返回主进程。
[0118] 在接着步骤S20的步骤S30中，线形状凸区域提取部120从图像内的关注区域中提 取像素值高于周围的像素连续规定像素数以上的线形状区域。图8是详细示出线形状凸区 域提取部120执行的处理的流程图。
[0119] 在步骤S301中，凸形状高频成分计算部121计算凸形状高频成分的强度。更详细地 讲，首先，凸形状高频成分计算部121使用管腔内图像内的各像素的像素值中的G成分生成G 成分图像。使用G成分的理由是，如上所述，由于G成分接近血液的吸光频带，所以，最良好地 表现被摄体的构造。另外，在本实施方式1中使用G成分，但是，取而代之，也可以使用其他颜 色成分、对像素值(R、G、B各成分)进行转换而得到的亮度值、色差(YCbCr转换）、色相、彩度、 明度(HSI转换）、色比等。
[0120]接着，凸形状高频成分计算部121针对G成分图像执行基于浓淡形态学（壬少7才 口、2-）的顶帽变换(参考:小畑秀文著、"形态学"、科罗纳公司、第103~104页）。这里，如图 9所示，顶帽变换是指从原来的信号输出f(x)中去除对原来的信号输出y = f(x)实施了低通 滤波处理后的输出y = fg(x)的处理，赋予高通滤波处理的输出y = f (x)-fg(x)。并且，作为此 时的低通滤波处理，执行形态学的开处理。开处理相当于通过图9所示的球形的构造要素从 下侧起追溯所赋予的信号f(x)的处理。此时，在信号平缓变化的地方，信号输出y = f(x)被 准确地描绘，但是，在存在正脉冲的地方，由于球(构造要素)不能完全进入而脱离可追溯范 围。因此，通过开处理，得到去除了正脉冲的输出y = fg(x)。通过从原来的信号输出y = f(x) 中减去该输出y = fg(x)，其结果，能够取得正脉冲的输出即凸形状区域中的高频成分。
[0121 ] 另外，除此之外，也可以使用基于傅立叶空间的高通滤波处理、DoG(Difference of Gaussian:高斯差分)等来计算凸形状高频成分的强度。
[0122] 在接下来的步骤S302中，孤立点排除部122根据步骤S301中计算出的凸形状高频 成分的强度提取孤立点，将该孤立点作为正常软毛而排除。
[0123] 详细地讲，首先，孤立点排除部122通过对凸形状高频成分的强度实施阈值处理， 生成二值化图像。此时，孤立点排除部122对凸形状高频成分的强度为规定阈值以下的像素 赋予0,对该阈值以上的像素赋予1。另外，作为阈值，例如，针对根据关注区域内的凸形状高 频成分的强度计算出的一个代表值(最大值或平均值)设定规定比例的值。或者，作为阈值， 也可以设定大于〇的固定值。后者的情况下，能够省略针对凸形状高频成分的代表值的计算 和基于该代表值的阈值的计算处理。另外，通过该处理而生成的二值化图像成为提取出凸 形状高频区域的图像。
[0124] 接着，孤立点排除部122执行粒子分析，将孤立点从二值化图像中排除。在本实施 方式1中，作为粒子分析，根据二值化图像内的对象区域(粒子)的面积进行分析。具体而言， 孤立点排除部122通过针对二值化图像对具有像素值1的区域赋予标签，生成分配了标签编 号1~s(s为标签数)的标签图像。然后，扫描标签图像，按照标签编号对像素数进行计数，生 成面积列表。这里，面积列表由标签编号和与各标签编号对应的面积构成，面积列表的尺寸 对应于标签数s。进而，孤立点排除部122利用规定阈值对与各标签编号对应的标签区域的 面积进行阈值处理，将具有面积为阈值以下的标签编号的标签区域判定为孤立点。判定为 孤立点的标签区域的标签编号设定为0。
[0125] 另外，在进行孤立点的排除处理时，除了对象区域的面积以外，还可以使用对象区 域的周长、费雷特直径(最大费雷特直径）、表示对象区域的轮廓线上的任意两点间的距离 的最大值的绝对最大长度、表示具有与对象区域相等的面积的圆的直径的圆相当直径等进 行粒子分析。
[0126] 在步骤S303中，细线化部123对凸形状高频区域进行细线化。更详细地讲，细线化 部123在通过孤立点排除部122将孤立点排除后的标签图像中，针对具有1以上的标签编号 的区域执行细线化处理。因此，首先，细线化部123针对标签图像，对标签编号为0的区域赋 予像素值〇,对标签编号为1以上的区域赋予像素值1，由此生成二值化图像。接着，细线化部 123对二值化图像实施细线化滤波处理。细线化滤波处理是指从二值化图像内依次搜索图 10所示的由3X3像素构成的局部区域的图案Ml~M8并删除中心像素的处理(参考:东京大 学出版社、"图像分析手册"、第577~578页(细线化和退缩化））。具体而言，首先，从二值化 图像内搜索图案M1，将中心像素的像素值变更为0。另外，图10所示的*表示可以不考虑的像 素。接着，从二值化图像内搜索图案M2,将中心像素的像素值变更为0。在图案M8之前反复进 行这种处理，作为一个循环。反复进行该循环，直到不存在要删除的点为止。
[0127] 进而，在步骤S304中，线形状凸区域提取部120输出实施了细线化处理后的二值化 图像（以下称为线形状图像）。然后，处理返回主进程。
[0128] 在接着步骤S30的步骤S40中，区域内曲率特征量计算部130基于沿着线形状区域 的圆弧的曲率计算曲率特征量。图11是详细示出区域内曲率特征量计算部130执行的处理 的流程图。
[0129] 在步骤S401中，尺寸特征量计算部131计算沿着线形状图像中观察到的线形状区 域的圆弧的曲率和与从摄像位置(胶囊型内窥镜)到圆弧的摄像距离对应的距离信息，作为 圆弧的尺寸的特征量。参照图12对该尺寸特征量计算部131执行的处理进行详细说明。 [0130]在步骤S4011中，尺寸特征量计算部131对线形状图像内的连续的线形状区域赋予 标签。在本实施方式1中，进行与8连结的连结成分有关的标签赋予。具体而言，首先，尺寸特 征量计算部131对线形状图像进行光栅扫描，搜索具有像素值1的像素中的未赋予标签编号 的像素。然后，在发现未赋予标签编号的像素时，将该像素作为关注像素。
[0131] 尺寸特征量计算部131在关注像素的上侧相邻或左上侧的像素具有标签编号时， 对关注像素赋予该上侧相邻或左上侧的像素中的任意一方的标签编号。然后，在关注像素 的左侧相邻的像素的标签编号与关注像素的标签编号不同的情况下，在预先准备的一览表 中记录关注像素及其左侧相邻的像素的标签编号属于同一连结成分的情况。
[0132] 并且，在关注像素的上侧相邻和左上侧的像素的标签编号为0(没有标签编号）、且 左侧相邻的像素具有标签编号时，对关注像素赋予左侧相邻的像素的标签编号。
[0133] 进而，尺寸特征量计算部131在关注像素的上侧相邻、左侧相邻和左上侧的像素中 的任意一方均未赋予标签编号的情况下，对该关注像素赋予新的标签编号。
[0134] 尺寸特征量计算部131对线形状图像内的全部像素执行这些处理。然后，最后再次 进行光栅扫描，参照一览表，针对属于同一连结成分的像素组，选择对这些像素组赋予的标 签编号中的最小的标签编号并重新赋予(参考:CG-ARTS协会、"数字图像处理"、第181~182 页)。
[0135] 在步骤S4012中，如图13所示，曲率计算部131a根据由线形状图像G1内的线形状区 域L的端点Pt和/或线形状区域L彼此的交点P。划分的线形状区域L的各区间（即端点间、交点 间或端点与交点之间），计算一个以上的圆弧的曲率。
[0136] 更详细地讲，曲率计算部131a对线形状图像进行扫描，检测线形状区域的端点Pt或线形状区域彼此的交点P。的像素。然后，如图14所示，将检测到的端点Pt或交点P。的像素 设定为始点像素 M(xs，ys)。进而，将从始点像素 M(Xs，ys)起在线形状区域L上（即，赋予了相 同标签编号的像素上)追溯规定像素数As而到达的像素设定为终点像素 N(Xe3，ye3)。
[0137] 接着，曲率计算部131a计算始点像素 Μ的切线的斜率和终点像素 N的切线的斜率。 在本实施方式中，用与X轴所成的角度DEGs、DEGe表示各切线的斜率。设定沿着线形状区域L 从始点像素 Μ(或终点像素 N)起前后分开规定像素数的2个像素(坐标(xa，ya)、（xb，yb))，使 用下式(2)计算各切线与X轴所成的角度DEGi(i = s、e)。
[0138]
[0139] 另外，将线形状图像的左上侧设定为坐标(0,0)，在从左上侧起在右方向上扫描各 行的情况下，坐标(Xa，ya)设为始点像素 Μ(或终点像素 N)的前方坐标，坐标(xb，yb)设为始点 像素 Μ (或终点像素 N)的后方坐标。但是，在从始点像素 Μ (或终点像素 N)分开规定像素数时 偏离线形状区域L的情况下(超过端点Pt或交点Ρ。的情况下），将线形状区域L的端点Pt或交 点P。的坐标设定为上述坐标(xa，ya)、（ xb，yb)中的任意一方。
[0140] 接着，曲率计算部131a计算始点像素 Μ与终点像素 N之间的圆弧的中心角α。该中心 角α相当于角度DEGS与角度DEGe的角度之差DEGe-DEG s。
[0141 ]进而，曲率计算部13la计算始点像素 Μ与终点像素 N之间的圆弧的曲率κ。这里，曲 率κ是圆弧的曲率半径R的倒数，由于与圆弧的长度对应的像素数As能够近似为RXaX(V 180)，所以，曲率κ由下式(3)给出。
[0142]
[0143] 如图15所示，曲率计算部131a使线形状区域L上的始点像素 mM^Ms、···）和终点像 素 WN^Ns、···）偏移，并反复进行曲率κ(κι、κ2、··_)的计算处理。然后，曲率计算部131a在终 点像素 N超过线形状区域L的端点Pt或线形状区域L彼此的交点P。时，结束曲率κ的计算处理， 针对计算出曲率κ的线形状区域L赋予从1起依次增加的标签编号。
[0144] 曲率计算部131a针对从图13所示的线形状图像G1中检测到的全部线形状区域L执 行这种曲率κ的计算和标签编号的赋予。图13所示的带括弧的数字表示对各线形状区域L赋 予的标签编号。
[0145] 在接下来的步骤S4013中，曲率代表值计算部131b按照由曲率计算部131a赋予了 相同标签编号的每个线形状区域，计算圆弧的曲率的代表值。另外，在本实施方式1中，计算 中央值作为代表值，但是，也可以计算曲率的平均值、最大值、最小值等作为代表值。
[0146] 在接下来的步骤S4014中，距离信息计算部131c计算从摄像位置到线形状区域的 进深方向上的距离信息。具体而言，距离信息计算部131c从与原来的管腔内图像内的关注 区域对应的部分取得各像素的像素值中的基于血红蛋白的吸光较少、最良好地表现粘膜的 表层的形状的R成分值，生成R成分图像。
[0147] 另外，在本步骤S4014中，如果是对粘膜上的软毛的微细构造造成的影响较少的图 像，则也可以从通过其他方法生成的图像取得距离信息。例如，也可以使用凸形状高频成分 计算部121的处理中说明的实施了基于浓淡形态学的开处理后的图像。
[0148] 接着，距离信息计算部131c计算通过曲率代表值计算部131b计算出曲率的各圆弧 的位置处的距离信息。具体而言，取得圆弧上的像素位置处的R成分值，按照每个圆弧取得R 成分值的平均值、中央值、最小值、最大值这样的代表值。在本实施方式1中，使用该R成分值 的代表值作为与摄像距离对应的距离信息。另外，该情况下，距离信息的值越大，则摄像距 离越短，距离信息的值越小，则摄像距离越长。并且，也可以使用圆弧的曲率中心的像素位 置、由圆弧的曲率中心和曲率半径构成的圆形状区域或扇状区域的内部区域中的R成分值 作为该圆弧的距离信息。
[0149] 进而，在步骤S4015中，尺寸特征量计算部131输出圆弧的曲率和距离信息作为圆 弧的尺寸的特征量。然后，处理返回主进程。
[0150] 在接着步骤S401的步骤S402中，频度分布生成部132生成从尺寸特征量计算部131 输出的特征量的频度分布。更详细地讲，生成由圆弧的曲率和距离信息的双轴构成的频度 分布。此时，频度分布生成部132还根据所生成的频度分布一并计算方差等统计量。
[0151] 进而，在步骤S403中，区域内曲率特征量计算部130输出由圆弧的曲率和距离信息 的双轴构成的频度分布作为曲率特征量。然后，处理返回主进程。
[0152] 在接着步骤S40的S50中，异常判别部140根据曲率特征量判别在关注区域内是否 存在异常部。
[0153] 这里，作为管腔内图像中看到的圆弧形状的区域，举出粘膜表面的软毛膨胀的异 常部、管腔内的液体成为气泡状的气泡区域、粘膜的沟这样的构造物的轮廓（以下称为粘膜 轮廓)等。下面，将膨胀的软毛称为异常软毛。
[0154] 图16A是示出正常软毛模型的示意图。关于正常软毛，通常，从粘膜表面的法线方 向观察的平面形状为圆形、整体呈中心部突出的形状，所以，在管腔内图像中，软毛的中心 部及其附近的亮度最高。因此，当从映出正常软毛的管腔内图像中提取亮度值高于周围像 素的凸区域时，如图16B所示，得到与软毛的中心部对应的点状的凸区域PR1。这种点状的凸 区域PR1作为孤立点而预先从线形状图像中排除。
[0155] 图17A是示出异常软毛模型的示意图。从粘膜表面的法线方向观察异常软毛而得 到的平面形状呈椭圆这样的扁平状，所以，在管腔内图像中，与软毛相对于摄像方向的朝向 对应的轮廓部分（曲率较高的轮廓部分或曲率较低的轮廓部分）的亮度较高。因此，当从映 出异常软毛的管腔内图像中提取凸区域时，如图17B所示，得到呈与摄像方向对应的曲率的 圆弧状的线形状区域PR2。因此，如图17C所示，沿着线形状区域PR2的圆弧的曲率的分布收 敛于某种程度的较窄范围内。并且，在采用曲率的最小值作为沿着各线形状区域PR2的圆弧 的曲率代表值的情况下，曲率偏向值较小的一侧进行分布(参照实线）。另一方面，在采用曲 率的最大值作为曲率代表值的情况下，曲率偏向值较大的一侧进行分布(参照虚线）。
[0156] 图18A是示出气泡模型的示意图。在气泡区域中，一个一个的气泡呈大致球形状。 并且，由于气泡的表面整体成为高反射区域，所以，在管腔内图像中，气泡的轮廓部分的亮 度较高。因此，当从映出气泡区域的管腔内图像中提取凸区域时，如图18B所示，得到呈大致 圆形状的各种大小的线形状区域PR3。因此，如图18C所示，沿着线形状区域PR3的圆弧的曲 率的分布大幅波动。
[0157] 并且，与异常软毛或气泡区域相比，沿着粘膜轮廓的圆弧的曲率一般取较小的值。
[0158] 图19是示出由圆弧的曲率和距离信息的双轴构成的频度分布的示意图。沿着表示 粘膜轮廓的线形状区域的圆弧的曲率大致与摄像距离无关，值较小，且分布在较窄范围内。 并且，沿着表示气泡区域的线形状区域的圆弧的曲率与摄像距离无关，分布在较宽范围内。 与此相对，沿着表示异常软毛的线形状区域的圆弧的曲率的分布范围根据摄像距离而变 化。具体而言，当摄像距离较长时(摄像信息的值较小时），曲率分布在值较大的一方（圆弧 的弯曲较强的一方），当摄像距离较短时(摄像信息的值较大时），曲率分布在值较小的一方 (圆弧的弯曲较缓的一方）。
[0159] 因此，异常判别部140如下进行判别。
[0160]首先，在某个距离信息Larb中的曲率的方差大于根据距离信息Larb而预先确定的规 定阈值(方差阈值)1?的情况下，在该关注区域中映出气泡区域，异常判别部140判别为不 存在异常部。
[0161] 并且，在距离信息Larb中的曲率的方差为上述方差阈值1?以下的情况下，在曲率 分布在小于规定阈值（曲率阈值)TH2的范围内的情况下，在该关注区域中映出粘膜轮廓，异 常判别部140判别为不存在异常部。
[0162] 另一方面，在距离信息Larb中的曲率的方差为上述方差阈值Tm以下的情况下，在 曲率分布在上述曲率阈值TH2以上的范围内的情况下，在该关注区域中映出异常软毛，异常 判别部140判别为存在异常部。
[0163] 在接下来的步骤S60中，运算部100输出步骤S50中进行判别后的有无异常部的判 别结果。与其对应地，控制部10使显示部40显示判别结果，并且，与处理对象的管腔内图像 的图像数据关联起来记录在记录部50中。
[0164] 如以上说明的那样，根据实施方式1，设定从管腔内图像中提取出的粘膜区域作为 关注区域，从该关注区域中提取由像素值高于周围像素的像素组构成的凸区域中的高频成 分。然后，针对对该高频成分进行细线化后的线形状区域，计算曲率和距离信息作为曲率的 特征量，根据这些特征量的频度分布识别关注区域中映出的被摄体。因此，能够抑制粘膜轮 廓或气泡等的误检测(过检测），能够应对与软毛的微细构造的摄像距离对应的尺寸的变化 和与软毛相对于摄像方向的朝向对应的形状的变化，高精度地识别异常软毛，能够判别有 无异常部。
[0165] (变形例1-1)
[0166] 在上述实施方式1中，设定从管腔内图像中去除不要区域后的剩余区域整体作为 一个关注区域，但是，也可以分别设定对剩余区域进行分割后的多个区域作为关注区域。该 情况下，能够确定在管腔内图像内的哪个位置存在异常部。分割方法没有特别限定，例如， 可以简单地将去除不要区域后的剩余区域分割成矩阵状。或者，可以从去除不用区域后的 剩余区域内的各像素的像素值取得与摄像距离对应的距离信息，按照对距离信息进行分层 后的每个层级对区域进行分割。该情况下，能够省略图12所示的步骤S4014的处理。
[0167] (变形例1-2)
[0168] 接着，对实施方式1的变形例1-2进行说明。
[0169] 图20是示出变形例1 -1的图像处理装置的框图。如图20所示，变形例1 -1的图像处 理装置1-2中，代替图1所示的运算部100而具有运算部100-2。
[0170] 运算部100-2中，代替图1所示的线形状凸区域提取部120而具有线形状凸区域提 取部150。该线形状凸区域提取部150具有提取像素值呈脊形状变化的像素组作为脊形状的 区域的脊形状提取部151、从提取出的脊形状的区域中将相对于周围孤立的像素组作为孤 立点而排除的孤立点排除部152、对将该孤立点排除后的脊形状的区域进行细线化并提取 线形状凸区域的细线化部153。
[0171]运算部100-2的动作整体与图2所示的动作相同，仅步骤S30中由线形状凸区域提 取部150执行的处理的内容不同。图21是示出线形状凸区域提取部150执行的处理的详细情 况的流程图。
[0172]首先，在步骤S311中，脊形状提取部151从关注区域中提取脊形状的区域。更详细 地讲，脊形状提取部151在关注区域内依次设定关注像素，求出各关注像素中的像素值的梯 度的最大方向（以下称为最大梯度方向）和最小方向（以下称为最小梯度方向）。然后，针对 最大梯度方向和最小梯度方向分别计算像素值变化的形状的曲率，根据这些曲率的比来检 测脊区域。
[0173] 因此，首先，脊形状提取部151针对关注像素求解下式(4)所示的基于黑塞矩阵Η的 固有方程式，由此计算作为固有值的最大梯度方向中的曲率h和最小梯度方向中的曲率k2。
[0174] det(H-AE)=0---(4)
[0175] 在式(4)中，黑塞矩阵Η由下式(5)给出。
[0176]
[0177] 并且，记号Ε是单位矩阵，λΕ如下式(6)所示。
[0178]
[0179] 接着，根据曲率lu、k2计算由下式(7-1)和(7-2)给出的高斯曲率Kc和平均曲率Ak。
[0180] KG = kiXk2."(7-l)
[0181] Ak=(ki+k2)/2---(7-2)
[0182] 此时，判别为Ak〈0且Kg与0的像素组、即绝对值I Kg I为规定阈值以下的像素组是脊 形状的区域。脊形状提取部151对判别为脊形状的区域的像素组赋予像素值1，对其他像素 赋予像素值〇,由此生成二值化图像。
[0183] 另外，在计算出曲率ki、k2后，例如也可以如形状指数和曲度（Shape index and Curvedness)那样使用识别任意的三维表面形状的公知技术进行脊形状的区域的判别（参 考：Chitra Dorai,Αη?Ι Κ·Jain，"C0SM0S-A Representation Scheme for Free-Form Surfaces"）。
[0184] 在接下来的步骤S312中，孤立点去除部152从步骤S311中提取出的脊形状的区域 中提取孤立点，将该孤立点作为正常软毛而排除。更详细地讲，针对步骤S311中生成的二值 化图像，提取连续的像素的数量为规定值以下的像素组（即规定值以下的尺寸的区域)作为 孤立点。然后，对作为孤立点提取出的像素组赋予像素值0。
[0185] 在接下来的步骤S313中，细线化部153对将孤立点排除后的脊形状的区域进行细 线化。更详细地讲，细线化部153对步骤S312中生成的二值化图像实施使用图10所示的图案 Ml~M8的细线化滤波处理。另外，细线化滤波处理的详细内容与实施方式1相同。
[0186] 进而，在步骤S314中，线形状凸区域提取部150输出实施了细线化处理后的二值化 图像。然后，处理返回主进程。
[0187] (变形例1-3)
[0188] 在实施方式1中，作为对从关注区域中提取出的凸形状高频区域进行细线化的处 理(参照图8的步骤S303)，除了上述方法以外，可以应用各种公知技术。下面，对作为公知技 术之一的Hilditch细线化算法进行说明。
[0189] 首先，作为第1步骤，针对提取出凸形状高频区域的二值化图像，逐次删除细线化 对象即像素 Pk中的满足以下所示的6个条件的像素作为边界像素。这里，k是二值化图像内 的像素的像素编号(k是自然数）。并且，将像素 pk的像素值表示为B(Pk)(B(Pk) = l)。该情况 下，第1步骤相当于将像素值B(Pk)从1置换为-1的处理。另外，细线化的非对象像素的像素 值是 B(Pk)=0。
[0190] 条件1:关注像素是细线化的对象像素。即，满足下式(al)。
[0191] B(Pk) = l---(al)
[0192] 条件2:与关注像素纵、横相邻的像素中的任意一个为0。即，满足下式(a2)。
[0193]
[0194] 条件3:不是端点。即，满足下式(a3)。
[0195]
[0196] 条件4:不是孤立点。即，满足下式(a4)。这里，将通过逐次处理而得到的结果表示 为B(Pk)、将前一个光栅操作完成时的结果表示为B'（Pk)以进行区分。另外，像素值B'（P k)不 取_1〇
[0197]
[0198] 条件5:保持连结性。即，适用于图22所示的图案Mil~M14中的任意一方。另外，在 图22中，*所示的像素取像素值1或-1。当利用条件式表示该条件时，成为下式(a5)。
[0199]
[0200] 条件6:针对线宽度为2的线段，仅删除其一方。即，前一个光栅操作完成时的结果 B'（Pk)适用于图23所示的图案M21~M24中的任意一方。当利用条件式表示该条件时，成为 下式("aft) "
[0201
[0202]接着，作为第2步骤，将作为边界像素而逐次删除的像素（即，像素值B(Pk)从1置换 为-1的像素)的像素值置换为非对象区域的像素值B (Pk) = 0。
[0203]反复进行这些第1步骤和第2步骤，直到不再进行针对非对象区域的像素值的置换 为止。由此，进行了对象区域的细线化。
[0204](实施方式2)
[0205]接着，对本发明的实施方式2进行说明。
[0206]图24是示出实施方式2的图像处理装置的结构的框图。如图24所示，实施方式2的 图像处理装置2代替图1所示的运算部100而具有运算部200。该运算部200具有关注区域设 定部110、线形状凸区域提取部120、区域内曲率特征量计算部210、异常判别部220。另外，关 注区域设定部110和线形状凸区域提取部120的结构和动作与实施方式1相同。并且，运算部 200以外的图像处理装置的各部的结构和动作也与实施方式1相同。
[0207]区域内曲率特征量计算部210具有形状特征量计算部211和生成特征量的频度分 布的频度分布生成部212,该形状特征量计算部211计算沿着由线形状凸区域提取部120提 取出的线形状区域的一个以上的圆弧的曲率，并且计算这些曲率的波动作为特征量。更详 细地讲，形状特征量计算部211具有根据由线形状区域的端点和/或线形状区域彼此的交点 划分的线形状区域的各区间计算一个以上的圆弧的曲率的曲率计算部211a、以及计算根据 各区间计算出的一个以上的圆弧的曲率的标准偏差的曲率标准偏差计算部211b。
[0208] 异常判别部220根据上述曲率的波动来判别有无异常部。
[0209] 接着，对图像处理装置2的动作进行说明。
[0210] 图像处理装置2的动作整体与图2所示的动作相同，步骤S40中由区域内曲率特征 量计算部210执行的处理以及步骤S50中由异常判别部220执行的处理的内容与实施方式1 不同。
[0211] 图25是示出区域内曲率特征量计算部210执行的处理的流程图。首先，在步骤S421 中，形状特征量计算部211计算沿着线形状区域的圆弧的曲率的波动作为表示步骤S30中提 取出的线形状区域的形状的特征量。参照图26对该形状特征量计算部211执行的处理进行 详细说明。另外，图26所示的步骤S4211和S4212对应于图12所示的步骤S4011和S4012。其 中，代替曲率计算部131a(参照图1)而由曲率计算部211a执行步骤S4012的处理。
[0212] 在接着步骤S4212的步骤S4213中，曲率标准偏差计算部211b按照线形状区域的每 个区间计算一个以上的圆弧的曲率的标准偏差。具体而言，曲率标准偏差计算部211b根据 针对具有由曲率计算部21 la赋予的相同标签编号的圆弧计算出的m个曲率ici(i = l~m)，计 算由下式(8)给出的标准偏差〇。
[0213]
[0214] 在式(8)中，在κ上附加了拔的κ拔是曲率^的平均值，由下式(9)给出。
[0215] f
[0216] 在接下来的步骤S4214中，形状特征量计算部211输出针对线形状区域的各区间计 算出的标准偏差作为表示线形状区域的形状的特征量。然后，处理返回主进程。
[0217] 在接着步骤S421的步骤S422中，频度分布生成部212生成从形状特征量计算部211 输出的标准偏差的频度分布，作为特征量的频度分布。
[0218] 进而，在步骤S423中，区域内曲率特征量计算部210输出标准偏差的频度分布作为 曲率特征量。然后，处理返回主进程。
[0219] 接着，对异常判别部220执行的处理进行说明。
[0220] 异常判别部220根据作为曲率特征量的标准偏差的频度分布来判别在关注区域内 是否存在异常部。
[0221] 这里，在关注区域内存在异常软毛的情况下，如图27A所示，在根据该关注区域生 成的线形状图像中出现扁平的线形状区域PR4。如图27B所示，沿着这种线形状区域PR4的圆 弧的曲率根据线形状区域PR4内的位置而取各种值。因此，曲率的波动比较大。另外，图27B 所示的向量vi(i = l、2、…）是表示圆弧的曲率的大小的向量。因此，如图27C所示，针对线形 状区域PR4计算出的曲率的标准偏差分布在值比较大的范围内。
[0222] 另一方面，在关注区域内存在气泡区域的情况下，如图28A所示，在根据该关注区 域生成的线形状图像中出现圆形的线形状区域PR5。如图28B所示，在这种线形状区域PR5 中，圆弧的曲率大致成为固定值，曲率的波动较小。因此，如图28C所示，针对线形状区域PR5 计算出的曲率的标准偏差分布在值较小的范围(0或其附近）内。
[0223] 因此，异常判别部220根据标准偏差的频度分布判别有无异常部。具体而言，在标 准偏差的频度分布偏向大于规定阈值的范围的情况下，判别为在该关注区域内存在异常 部。
[0224] 如以上说明的那样，根据实施方式2,设定从管腔内图像中提取出的粘膜区域作为 关注区域，从该关注区域中提取由像素值高于周围像素的像素组构成的凸区域中的高频成 分。然后，针对对该高频成分进行细线化后的线形状区域，计算沿着线形状区域的圆弧的曲 率的标准偏差的频度分布，根据该标准偏差的频度分布来判别关注区域中有无异常部。因 此，能够高精度地识别异常软毛和气泡区域，能够提高异常部的判别精度。
[0225] 并且，根据实施方式2,由于不使用关注区域内的与被摄体之间的摄像距离(距离 信息)来进行判别，所以，能够简化运算处理。
[0226] (实施方式3)
[0227] 接着，对本发明的实施方式3进行说明。
[0228]图29是示出实施方式3的图像处理装置的结构的框图。如图29所示，实施方式3的 图像处理装置3代替图1所示的运算部100而具有运算部300。该运算部300具有关注区域设 定部110、线形状凸区域提取部120、区域内曲率特征量计算部310、异常判别部320。另外，关 注区域设定部110和线形状凸区域提取部120的结构和动作与实施方式1相同。并且，运算部 300以外的图像处理装置3的各部的结构和动作也与实施方式1相同。
[0229] 区域内曲率特征量计算部310具有方向特征量计算部311和生成曲率特征量的频 度分布的频度分布生成部312,该方向特征量计算部311计算表示沿着由线形状凸区域提取 部120提取出的线形状区域的一个以上的圆弧的中心方向的曲率特征量。其中，方向特征量 计算部311具有计算从各圆弧朝向曲率中心的方向（以下称为曲率中心方向）的曲率中心方 向计算部311 a、以及计算各圆弧的位置处的被摄体的梯度方向的梯度方向计算部311 b。这 里，被摄体的梯度方向是指被摄体(具体而言为粘膜构造)向图像的进深方向倾斜的方向。
[0230] 异常判别部320根据粘膜构造的梯度方向和曲率中心方向的分布来判别有无异常 部。
[0231] 接着，对图像处理装置3的动作进行说明。
[0232]图像处理装置3的动作整体与图2所示的动作相同，步骤S40中由区域内曲率特征 量计算部310执行的处理以及S50中由异常判别部320执行的处理的内容与实施方式1不同。
[0233] 图30是示出区域内曲率特征量计算部310执行的处理的流程图。首先，在步骤S431 中，方向特征量计算部311计算圆弧的曲率中心方向和梯度方向作为表示圆弧的中心方向 的特征量。参照图31对该方向特征量计算部311执行的处理进行详细说明。
[0234] 在步骤S4311中，曲率中心方向计算部311a计算沿着线形状区域的圆弧的曲率中 心方向。具体而言，首先，与图12所示的步骤S4012同样，计算各圆弧的曲率，进而，计算作为 曲率的倒数的曲率半径R。
[0235] 接着，曲率中心方向计算部311a通过使用该圆弧上的位置坐标(x，y)和曲率半径R 执行哈夫(hough)变换，生成近似圆（参考:CG-ARTS协会、"数字图像处理"、第213~214页）。 这里，关于基于哈夫变换的近似圆的检测，在由圆的中心坐标(a，b)和半径R构成的参数空 间内对穿过圆弧上的位置坐标(x，y)的半径R的圆进行投票，通过调查该投票结果，能够生 成近似圆。
[0236] 进而，曲率中心方向计算部311a计算从圆弧上的任意点（例如中心点）朝向近似圆 的中心的方向向量，输出该方向向量作为曲率中心方向。
[0237] 在接下来的步骤S 4 312中，梯度方向计算部311 b计算沿着线形状区域的圆弧的位 置处的被摄体的梯度方向。具体而言，梯度方向计算部311b从与原来的管腔内图像中的作 为处理对象的关注区域对应的部分取得各像素的像素值中的基于血红蛋白的吸光较少、最 接近粘膜的表层的形状的R成分值，生成R成分图像。
[0238] 另外，在本步骤S4312中，如果是对粘膜上的软毛的微细构造造成的影响较少的图 像，则也可以从通过其他方法生成的图像取得梯度方向。例如，也可以通过凸形状高频成分 计算部121的处理中说明的基于浓淡形态学的开处理来使用图像。
[0239] 接着，梯度方向计算部311b根据R成分图像，计算通过曲率中心方向计算部311a计 算出曲率中心方向的圆弧的位置处的梯度方向。具体而言，执行用于计算边缘强度的滤波 处理(参考:CG-ARTS协会、"数字图像处理"、第114~117页）即1次微分滤波处理(普瑞维特 滤波器、索贝尔滤波器等）。
[0240]在步骤S4313中，方向特征量计算部311输出圆弧的曲率中心方向和梯度方向作为 特征量。然后，处理返回主进程。
[0241]在接着步骤S431的步骤S432中，频度分布生成部312生成从方向特征量计算部311 输出的特征量的频度分布。具体而言，按照圆弧的梯度方向而生成圆弧的曲率中心方向的 频度分布。
[0242]在步骤S433中，区域内曲率特征量计算部310输出圆弧的曲率中心方向的频度分 布作为曲率特征量。
[0243] 接着，对异常判别部320执行的处理进行说明。
[0244] 异常判别部320根据作为曲率特征量的曲率中心方向的频度分布来判别在关注区 域内是否存在异常部。
[0245] 这里，在关注区域内存在异常软毛的情况下，如图32A所示，当从一个摄像方向对 被摄体(粘膜构造)的梯度进行摄像时，如图32B所示，得到线形状区域PR6大致朝向一个方 向的线形状图像。该情况下，如图32C所示，曲率中心方向d大致朝向固定的方向。因此，如图 32D所示，在不同梯度方向的曲率中心方向的分布中产生失衡。
[0246] 另一方面，在关注区域内存在气泡区域的情况下，如图33A所示，当从一个摄像方 向对被摄体(粘膜构造）的梯度进行摄像时，如图33B所示，得到线形状区域PR7呈与气泡区 域的轮廓对应的圆形状的线形状图像。该情况下，如图33C所示，曲率中心方向朝向所有方 向。因此，如图33D所示，不同梯度方向的曲率中心方向在宽范围内、大致均匀地分布。
[0247] 因此，在不同梯度方向的曲率中心方向的频度分布中，在曲率中心方向失衡的情 况下、即曲率中心方向的方差为规定阈值以下的情况下，异常判别部320判别为在该关注区 域内存在异常部。
[0248] 如以上说明的那样，根据实施方式3,设定从管腔内图像中提取出的粘膜区域作为 关注区域，从该关注区域中提取由像素值高于周围像素的像素组构成的凸区域中的高频成 分。然后，针对对该高频成分进行细线化后的线形状区域，计算沿着线形状区域的圆弧的曲 率中心方向和梯度方向，根据不同梯度方向的曲率中心方向的频度分布来判别关注区域中 有无异常部。因此，能够根据随摄像方向而变化的软毛的朝向来高精度地识别异常软毛和 气泡区域，能够提高异常部的判别精度。
[0249] (实施方式4)
[0250] 接着，对本发明的实施方式4进行说明。
[0251] 图34是示出实施方式4的图像处理装置的结构的框图。如图34所示，实施方式4的 图像处理装置4中，代替图1所示的运算部100而具有运算部400。该运算部400具有关注区域 设定部410、线形状凸区域提取部120、区域内曲率特征量计算部420、异常判别部430。另外， 线形状凸区域提取部120的结构和动作与实施方式1相同。并且，运算部400以外的图像处理 装置4的各部的结构和动作也与实施方式1相同。
[0252]关注区域设定部410具有将残渣或暗部这样的粘膜以外的区域从处理对象的管腔 内图像中排除而提取粘膜区域的粘膜区域提取部111、以及进一步将提取出的粘膜区域分 割成多个区域的区域分割部411，将分割后的各区域设定为关注区域。另外，粘膜区域提取 部111的动作与实施方式1相同。
[0253]区域内曲率特征量计算部420具有尺寸特征量计算部421和频度分布生成部132， 该尺寸特征量计算部421具有曲率计算部131a和曲率代表值计算部131b。另外，曲率计算部 131a、曲率代表值计算部131b和频度分布生成部132的动作与实施方式1相同。
[0254]异常判别部430根据由区域内曲率特征量计算部420计算出的曲率特征量来判别 在各关注区域内是否存在异常部。
[0255] 接着，对图像处理装置4的动作进行说明。
[0256] 图像处理装置4的动作整体与图2所示的动作相同，步骤S20~S60中分别执行的处 理的内容与实施方式1不同。
[0257] 图35是示出步骤S20中由关注区域设定部410执行的处理的流程图。另外，图35中 的步骤S201~S205对应于图3。
[0258] 在接着步骤S205的步骤S241中，关注区域设定部410将去除不要区域后剩余的粘 膜区域分割成分别为规定尺寸以下的多个区域。分割方法没有特别限定，在本实施方式4 中，将粘膜区域分割成矩形状的区域。并且，被分割的一个区域的尺寸预先设定为在分割后 的区域内与被摄体之间的摄像距离的差收敛在规定范围内的尺寸。
[0259]在接下来的步骤S242中，关注区域设定部410输出分割后的各区域的坐标信息作 为关注区域。
[0260] 在步骤S30中，线形状凸区域提取部120从步骤S20中输出的关注区域中分别提取 线形状区域。
[0261] 在步骤S40中，区域内曲率特征量计算部420按照步骤S20中输出的每个关注区域， 基于沿着线形状区域的圆弧的曲率计算曲率特征量。另外，作为曲率特征量，与实施方式1 同样，计算根据线形状区域的各区间计算出的一个以上的圆弧的曲率的代表值的频度分 布，但是，与实施方式1不同，不计算摄像信息。
[0262] 在步骤S50中，异常判别部430按照每个关注区域，根据作为曲率特征量的圆弧的 曲率的代表值的频度分布来判别在该关注区域内是否存在异常部。具体而言，首先，在曲率 小于规定阈值（曲率阈值)的情况下，在该关注区域内映出粘膜轮廓，判别为不存在异常部。
[0263] 并且，在曲率大于上述曲率阈值、且曲率的方差大于规定阈值(方差阈值）的情况 下，在该关注区域内映出气泡区域，异常判别部430判别为不存在异常部。这是因为，即使摄 像距离固定，本来在气泡区域内也包含各种曲率的气泡。
[0264] 另一方面，在曲率大于上述曲率阈值、且曲率的方差为规定阈值(方差阈值）以下 的情况下，在该关注区域内映出异常软毛，异常判别部430判别为存在异常部。这是因为，本 来，由于附近区域内的异常软毛具有相互相似的形状，所以，在关注区域的尺寸较小、能够 无视一个关注区域内的摄像距离的差的情况下，与异常软毛的轮廓对应的圆弧的曲率一 致。
[0265] 在步骤S60中，运算部400与关注区域的坐标信息一起输出步骤S50中针对各关注 区域进行判别后的判别结果。与其对应地，控制部10使显示部40显示判别结果，并且，与处 理对象的管腔内图像的图像数据关联起来记录在记录部50中。此时，控制部10也可以针对 显示部40中显示的管腔内图像重叠显示表示判别为存在异常部的关注区域的位置的标记 等。
[0266] 如以上说明的那样，根据实施方式4,通过对从管腔内图像中提取出的粘膜区域进 行分割而设定多个关注区域，从各关注区域中提取由像素值高于周围像素的像素组构成的 凸区域中的高频成分。然后，针对对该高频成分进行细线化后的线形状区域，计算曲率的频 度分布作为曲率的特征量，根据该特征量来判别关注区域中映出的被摄体。因此，能够高精 度地识别异常软毛与气泡区域和粘膜轮廓，能够判别有无异常部。
[0267] 并且，根据实施方式4,以能够无视与被摄体之间的摄像距离的差的程度对从管腔 内图像中提取出的粘膜区域进行分割，在将分割后的各区域设定为关注区域后进行用于判 别有无异常部的各处理，所以，能够省略距离信息的计算处理和与距离信息对应的异常部 的判别处理，能够简化运算处理。
[0268] 并且，根据实施方式4,由于按照每个关注区域进行有无异常部的判别，所以，能够 确定管腔内图像中的异常部的存在范围。
[0269] (变形例4-1)
[0270] 接着，对实施方式4的变形例4-1进行说明。
[0271] 关注区域设定部410设定的关注区域的尺寸可以是可变的。下面，对设关注区域的 尺寸为可变的情况下的图像处理装置4的动作进行说明。图36是示出变形例4-1的图像处理 装置4的动作的流程图。
[0272] 在步骤S20中，关注区域设定部410设定去除不要区域后的剩余的粘膜区域作为一 个关注区域。
[0273] 接下来的步骤S30~S50中的处理内容与实施方式4相同。
[0274] 在接着步骤S50的步骤S71中，运算部400判定是否得到在所设定的关注区域中的 任意一方内存在异常部这样的判别结果。另外，在第1轮，关注区域为一个。
[0275] 在得到了存在异常部这样的判别结果的情况下（步骤S71:是），处理转移到步骤 S60。另外，步骤S60中的处理内容与实施方式4相同。
[0276] 另一方面，在未得到存在异常部这样的判别结果的情况下（步骤S71:否），运算部 400判定当前设定的关注区域的尺寸是否为规定尺寸以下(步骤S72)。另外，作为此时的规 定尺寸，设定能够无视与关注区域内的被摄体之间的摄像距离的差的程度的尺寸。
[0277] 在关注区域的尺寸为上述规定尺寸以下的情况下(步骤S72:是），处理转移到步骤 S60〇
[0278] 另一方面，在关注区域的尺寸大于上述规定尺寸的情况下（步骤S72:否），关注区 域设定部410减小当前设定的关注区域的尺寸，针对粘膜区域再次设定关注区域（步骤 S73)。然后，处理转移到步骤S30。
[0279] 如以上说明的那样，根据本变形例4-1，逐渐减小关注区域的尺寸，并进行各关注 区域内的有无异常部的判别处理。这里，通过减小关注区域的尺寸，各关注区域内的与被摄 体之间的摄像距离的差减小，所以，每当进行一轮步骤S30~步骤S73的处理时，针对各关注 区域的异常部的判别精度提高。这样，通过使针对管腔内图像的异常部的判别精度从较低 变化为较高，能够使异常部的判别处理实现效率化，并且能够抑制异常部的漏判别。
[0280]通过由个人计算机或工作站等计算机系统执行记录装置中记录的图像处理程序， 能够实现以上说明的实施方式1~4和这些变形例的图像处理装置。并且，也可以经由局域 网、广域网（LAN/WAN)或因特网等公共线路与其他计算机系统或服务器等设备连接来使用 这种计算机系统。该情况下，实施方式1~4的图像处理装置也可以经由这些网络取得管腔 内图像的图像数据，并对经由这些网络连接的各种输出设备(观测仪或打印机等)输出图像 处理结果，并且在经由这些网络连接的存储装置(记录装置及其读取装置等）中存储图像处 理结果。
[0281] 另外，本发明不限于实施方式1~4和它们的变形例，通过适当组合各实施方式或 变形例所公开的多个结构要素，能够形成各种发明。例如，可以从各实施方式或变形例所示 的全部结构要素中删除若干个结构要素而形成，也可以适当组合不同实施方式或变形例所 示的结构要素而形成。
[0282] 标号说明
[0283] 1、1-2、2~4:图像处理装置；10:控制部；20:图像取得部;30:输入部;40:显示部； 50:记录部；51:图像处理程序；100、100-2、200、300、400 :运算部；110、410:关注区域设定 部；111:粘膜区域提取部；120:线形状凸区域提取部；121:凸形状高频成分计算部；122、 152:孤立点排除部；123、153:细线化部；130、210、310、420:区域内曲率特征量计算部 ；131: 尺寸特征量计算部；131a、211a:曲率计算部；131b:曲率代表值计算部；131c:距离信息计算 部；132、212、312 :频度分布生成部；140、220、320、430:异常判别部；150:线形状凸区域提取 部；151:脊形状提取部;211:形状特征量计算部;211b:曲率标准偏差计算部;311:方向特征 量计算部;31 la:曲率中心方向计算部;31 lb:梯度方向计算部;411:区域分割部;421:尺寸 特征量计算部。
【主权项】
1. 一种图像处理装置，其特征在于，所述图像处理装置具有： 关注区域设定部，其在图像内设定关注区域； 线形状凸区域提取部，其在所述关注区域中提取像素值比周围高的像素连续规定像素 数以上的线形状的区域； 区域内曲率特征量计算部，其计算曲率特征量，该曲率特征量基于沿着所述线形状的 区域的一个以上的圆弧的曲率；以及 异常判别部，其根据所述曲率特征量的分布来判别在所述关注区域内是否存在异常 部。2. 根据权利要求1所述的图像处理装置，其特征在于， 所述区域内曲率特征量计算部具有计算所述一个以上的圆弧的曲率和距离信息的尺 寸特征量计算部， 在所述曲率分布在小于根据所述距离信息决定的规定阈值的范围内的情况下，所述异 常判别部判别为在所述关注区域内存在异常部。3. 根据权利要求2所述的图像处理装置，其特征在于， 所述尺寸特征量计算部具有： 曲率计算部，其根据由所述线形状的区域的端点和/或所述线形状的区域彼此的交点 划分的所述线形状的区域的各区间，计算一个以上的圆弧的曲率； 曲率代表值计算部，其根据所述一个以上的圆弧的曲率计算代表值；以及 距离信息计算部，其计算从所述图像的摄像位置到所述线形状的区域的距离信息。4. 根据权利要求1所述的图像处理装置，其特征在于， 所述区域内曲率特征量计算部具有计算所述一个以上的圆弧的曲率的波动的形状特 征量计算部， 在所述波动大于规定值的情况下，所述异常判别部判别为在所述关注区域内存在异常 部。5. 根据权利要求4所述的图像处理装置，其特征在于， 所述形状特征量计算部具有： 曲率计算部，其根据由所述线形状的区域的端点和/或所述线形状的区域彼此的交点 划分的所述线形状的区域的各区间，计算沿着所述线形状的区域的一个以上的圆弧的曲 率；以及 曲率标准偏差计算部，其按照每个所述区间计算所述一个以上的圆弧的曲率的标准偏 差， 所述异常判别部根据所述标准偏差进行判定。6. 根据权利要求1所述的图像处理装置，其特征在于， 所述区域内曲率特征量计算部具有梯度方向特征量计算部，该梯度方向特征量计算部 计算分别从所述一个以上的圆弧朝向曲率中心的方向、以及在所述一个以上的圆弧各自的 位置处被摄体向所述图像的进深方向倾斜的方向， 在按照所述被摄体倾斜的方向而生成的朝向所述曲率中心的方向的频度的方差为规 定阈值以下的情况下，所述异常判别部判别为在所述关注区域内存在异常部。7. 根据权利要求1所述的图像处理装置，其特征在于， 所述关注区域设定部在针对所设定的关注区域判别为不存在异常部的情况下，减小关 注区域的尺寸，再次设定关注区域。8. -种图像处理方法，其特征在于，所述图像处理方法包括以下步骤： 关注区域设定步骤，在图像内设定关注区域； 线形状凸区域提取步骤，在所述关注区域中提取像素值比周围高的像素连续规定像素 数以上的线形状的区域； 区域内曲率特征量计算步骤，基于沿着所述线形状的区域的一个以上的圆弧的曲率计 算曲率特征量;以及 异常判别步骤，根据所述曲率特征量的分布来判别在所述关注区域内是否存在异常 部。9. 一种图像处理程序，其特征在于，所述图像处理程序使计算机执行以下步骤： 关注区域设定步骤，在图像内设定关注区域； 线形状凸区域提取步骤，在所述关注区域中提取像素值比周围高的像素连续规定像素 数以上的线形状的区域； 区域内曲率特征量计算步骤，基于沿着所述线形状的区域的一个以上的圆弧的曲率计 算曲率特征量;以及 异常判别步骤，根据所述曲率特征量的分布来判别在所述关注区域内是否存在异常 部。
【文档编号】A61B1/04GK105828691SQ201380081721
【公开日】2016年8月3日
【申请日】2013年12月19日
【发明人】河野隆志, 神田大和, 北村诚, 上山都士也
【申请人】奥林巴斯株式会社