图像处理装置、图像处理方法以及图像处理程序与流程

本发明涉及对拍摄有活体的管腔内的图像进行图像处理的图像处理装置、图像处理方法以及图像处理程序。

背景技术：

已知有针对通过使用内窥镜或胶囊型内窥镜等医用观察装置来拍摄活体的管腔内而取得的管腔内图像判定是否存在拍摄有肿瘤等的异常区域的技术。例如在专利文献1中公开了以下技术：计算将管腔内图像的特定空间频率成分二值化而获得的区域的形状特征量，根据该形状特征量来判别血管延伸的状况，由此，判定异常区域的有无。另外，以下，将血管延伸的状况称作血管的走向方式。此外，在专利文献2中公开了以下技术：对管腔内图像中的G成分的图像设定关心区域(ROI)，通过对该ROI应用加博(Gabor)滤波器来计算特征量，通过对该特征量应用线性判别函数来判别异常。

现有技术文献

专利文献

专利文献1：日本特许第2918162号公报

专利文献2：日本特开2002-165757号公报

技术实现要素：

发明所要解决的问题

但是，在管腔内产生的早期表面型肿瘤是很难在内窥镜检査中发现的异常之一。作为医生发现该早期表面型肿瘤时的线索，已知有血管透视像的局部的消失。血管透视像是拍摄有能够透过看到在管腔内的粘膜的表面附近存在的血管网的区域的像。在该血管透视像中，在部分地难以看到血管网的区域或者局部消失的区域中存在肿瘤的可能性大。

对此，在上述专利文献1、2中未公开以下技术：仅根据血管的走向形态等在图像中明确表现出来的血管的特征来提取异常区域，并提取血管透视像局部消失的区域。

本发明正是鉴于上述问题而作出的，其目的在于提供能够提取管腔内图像中血管透视像局部消失的区域的图像处理装置、图像处理方法以及图像处理程序。

用于解决问题的手段

为了解决上述问题，并达成目的，本发明的图像处理装置的特征在于，具有：血管锐利度计算部，其计算血管锐利度，该血管锐利度表示管腔内图像中的拍摄有管腔内的粘膜的区域即粘膜区域的血管透视像的锐利度；异常候选区域提取部，其提取所述血管锐利度低下的区域即锐利度低下区域，作为血管透视像局部地消失的区域即异常区域的候选区域；以及异常区域判定部，其根据所述候选区域的形状，判定该候选区域是否是所述异常区域。

本发明的图像处理方法是由对管腔内图像实施图像处理的图像处理装置执行的图像处理方法，其特征在于，包含以下步骤：血管锐利度计算步骤，计算血管锐利度，该血管锐利度表示所述管腔内图像中的拍摄有管腔内的粘膜的区域即粘膜区域的血管透视像的锐利度；异常候选区域提取步骤，提取所述血管锐利度低下的区域即锐利度低下区域，作为血管透视像局部地消失的区域即异常区域的候选区域；以及异常区域判定步骤，根据所述候选区域的形状，判定该候选区域是否是所述异常区域。

本发明的图像处理程序的特征在于，使计算机执行以下步骤：血管锐利度计算步骤，计算血管锐利度，该血管锐利度表示所述管腔内图像中的拍摄有管腔内的粘膜的区域即粘膜区域的血管透视像的锐利度；异常候选区域提取步骤，提取所述血管锐利度低下的区域即锐利度低下区域，作为血管透视像局部地消失的区域即异常区域的候选区域；以及异常区域判定步骤，根据所述候选区域的形状，判定该候选区域是否是所述异常区域。

发明效果

根据本发明，由于根据粘膜区域的血管透视像的锐利度，提取血管透视像局部消失的区域即异常区域的候选区域，根据候选区域的形状，判定该候选区域是否是异常区域，所以能够高精度地检测管腔内图像中的血管透视像局部地消失的区域。

附图说明

图1是示出本发明实施方式1的图像处理装置的结构的框图。

图2是示出图1所示的图像处理装置的动作的流程图。

图3是示出图1所示的血管锐利度计算部执行的血管锐利度的计算处理的流程图。

图4是示出管腔内图像的示意图。

图5是沿着图4的A-A’线的血管锐利度的变化的曲线图。

图6是示出图1所示的异常候选区域提取部执行的异常候选区域的提取处理的流程图。

图7是示出图1所示的异常区域判定部执行的异常区域的判定处理的流程图。

图8是用于说明结构要素的设定方法的其他例子的示意图。

图9是示出本发明实施方式1的变形例1-1的图像处理装置具备的锐利度低下区域提取部的结构的框图。

图10是示出具有图9所示的锐利度低下区域提取部的异常候选区域提取部执行的异常候选区域的提取处理的流程图。

图11是示出本发明实施方式1的变形例1-2的图像处理装置具备的锐利度低下区域提取部的结构的框图。

图12是示出具有图11所示的锐利度低下区域提取部的异常候选区域提取部执行的异常候选区域的提取处理的流程图。

图13是示出本发明实施方式2的图像处理装置具备的血管锐利度计算部的结构的框图。

图14是示出图13所示的血管锐利度计算部执行的血管锐利度的计算处理的流程图。

图15是示出本发明实施方式3的图像处理装置具备的异常候选区域提取部的结构的框图。

图16是示出图15所示的异常候选区域提取部执行的异常候选区域的提取处理的流程图。

图17是示出针对图5所示的血管锐利度的变化的概略形状计算出的血管锐利度的局部变化量的曲线图。

图18是示出应用了图1所示的图像处理装置的内窥镜系统的概略结构的图。

具体实施方式

以下，参照附图说明本发明的实施方式的图像处理装置、图像处理方法以及图像处理程序。另外，本发明不受这些实施方式限定。另外，在各个附图的记载中，对相同部分标注相同标号来示出。

(实施方式1)

图1是示出本发明实施方式1的图像处理装置的结构的框图。实施方式1的图像处理装置1是以下装置：针对通过由内窥镜等医用观察装置拍摄活体的管腔内而取得的管腔内图像进行图像处理，由此从管腔内图像中检测具有特定的特征的关注区域即异常区域。管腔内图像通常是在各个像素位置处具有针对R(红)、G(绿)、B(蓝)的波长成分的像素级(像素值)的彩色图像。

如图1所示，图像处理装置1具有：控制部10，其控制该图像处理装置1整体的动作；图像取得部20，其取得由医用观察装置拍摄管腔内而生成的图像数据；输入部30，其向控制部10输入与来自外部的操作对应的信号；显示部40，其进行各种信息和图像的显示；记录部50，其存储由图像取得部20取得的图像数据和各种程序；以及运算部100，其对图像数据执行规定的图像处理。

控制部10由CPU等硬件来实现，其通过读入记录在记录部50中的各种程序，根据从图像取得部20输入的图像数据和从输入部30输入的信号等，向构成图像处理装置1的各个部分进行指示或者数据传送等，统一控制图像处理装置1整体的动作。

图像取得部20根据包含医用观察装置的系统的方式适当构成。例如，在将医用观察装置与图像处理装置1连接的情况下，图像取得部20由取入在医用观察装置生成的图像数据的接口构成。另外，在设置预先有保存由医用观察装置生成的图像数据的服务器的情况下，图像取得部20由与服务器连接的通信装置等构成，并与服务器进行数据通信来取得图像数据。或者，可以使用可移动型的记录介质来交接由医用观察装置生成的图像数据，在该情况下，图像取得部20由读取装置构成，该读取装置装卸自如地对可移动型的记录介质进行安装，并读出被记录的图像的图像数据。

输入部30通过例如键盘、鼠标、触摸面板及各种开关等输入器件来实现，其将根据针对这些输入器件的来自外部的操作而产生的输入信号输出到控制部10。

显示部40由LCD或EL显示器等显示装置来实现，在控制部10的控制下，显示包含管腔内图像在内的各种画面。

记录部50由可更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或者利用数据通信端子连接的硬盘、或者CD-ROM等信息记录装置及其读取装置等来实现。记录部50除了存储由图像取得部20所取得的管腔内图像的图像数据以外，还存储用于使图像处理装置1动作并使该图像处理装置1执行各种功能的程序、以及在该程序的执行中使用的数据等。具体而言，记录部50存储从管腔内图像提取血管透视像局部消失的区域来作为异常区域的图像处理程序51、或在该图像处理中使用的阈值的表等。

运算部100由CPU等硬件来实现，通过读入图像处理程序51，进行以下图像处理：提取血管透视像从管腔内图像中局部消失后的区域作为异常区域。

接着，对运算部100的结构进行说明。如图1所示，运算部100具有：血管锐利度计算部110，其计算血管锐利度，该血管锐利度表示管腔内图像中的拍摄有管腔内的粘膜的区域即粘膜区域的血管透视像的锐利度；异常候选区域提取部120，其提取血管锐利度低下的区域即锐利度低下区域，作为血管透视像局部消失的区域即异常区域的候选区域；以及异常区域判定部130，其根据候选区域的形状，判定该候选区域是否是异常区域。以下，将异常区域的候选区域称作异常候选区域。

这里，在管腔内的粘膜中，能够透视看到在粘膜的表面附近存在的血管。这样的血管的像被称作血管透视像。血管锐利度是表示能够以何种程度清晰、清楚或者高对比度地看到该血管透视像的尺度。在本实施方式1中，将血管锐利度设定为越清晰地看到血管透视像，值越大。此外在本说明书中，“局部消失”意味着“局部难以看到”或者“局部地完全看不到”的任意一个的情况。

血管锐利度计算部110具有：区域设定部111，其设定管腔内图像中的作为处理对象的区域；以及局部吸光变化量计算部112，其计算该区域设定部111设定的区域中的局部吸光变化量。

区域设定部111将从管腔内图像中去除了拍摄有至少粘膜轮廓、暗部、镜面反射、泡、残渣中的任意一方的区域后的区域设定为成为局部吸光变化量的计算对象的粘膜区域。

局部吸光变化量计算部112根据由区域设定部111设定的粘膜区域内的各个像素的像素值，计算管腔内的粘膜中的吸光波长成分的局部的吸光变化量，设该吸光变化量为血管锐利度。在本实施方式1中，根据各个像素的像素值中的表示管腔内的吸光波长成分即G成分的强度的G值，计算局部的吸光变化量。局部吸光变化量计算部112具有：拍摄距离关联信息取得部112a、吸光波长成分归一化部112b和参照范围设定部112c。

拍摄距离关联信息取得部112a取得与粘膜区域内的各个像素的拍摄距离相关的信息即拍摄距离关联信息。这里，拍摄距离是指从在管腔内图像中所拍摄到的粘膜等被摄体至拍摄了该被摄体的拍摄单元的拍摄面之间的距离。

吸光波长成分归一化部112b根据拍摄距离关联信息，将粘膜区域内的各个像素中的吸光波长成分的值归一化。

参照范围设定部112c根据拍摄距离关联信息，设定在计算吸光变化量时参照的像素的范围，作为参照范围。具体来说，在管腔内图像中，越是近景，血管越容易表现得粗，所以越是近景，将参照范围设定得越大。

异常候选区域提取部120具有：锐利度变化概略形状计算部121，其计算由血管锐利度计算部110计算出的血管锐利度的变化的概略形状；以及锐利度低下区域提取部122，其根据该血管锐利度的变化的概略形状提取血管透视像中的血管锐利度低下的区域即锐利度低下区域。其中的锐利度变化概略形状计算部121具有形态处理部121a，通过对血管锐利度实施处理深浅图像的深浅形态处理，计算该血管锐利度的变化的概略形状。另一方面，锐利度低下区域提取部122通过对血管锐利度的变化的概略形状进行阈值处理，提取锐利度低下区域。输出该锐利度低下区域，作为异常候选区域。

异常区域判定部130取入由异常候选区域提取部120提取出的异常候选区域，根据该异常候选区域的圆形程度，判定异常候选区域是否是异常区域。具体来说，在异常候选区域近似圆形的情况下，判定为异常候选区域是异常区域。

接着，说明图像处理装置1的动作。图2是示出图像处理装置1的动作的流程图。首先，在步骤S10中，图像处理装置1通过图像取得部20来取得管腔内图像。在本实施方式1中，取得管腔内图像，该管腔内图像是通过内窥镜向管腔内照射包含R、G、B各个波长成分的照明光(白色光)并进行拍摄而生成的，并在各个像素位置具有与这些波长成分对应的像素值(R值、G值、B值)。图4是示出在步骤S10中取得的管腔内图像的一例的示意图。

在接下来的步骤S11中，运算部100取入管腔内图像，计算该管腔内图像的血管锐利度。能够将血管锐利度表示为血管区域的吸光变化量。因此，在本实施方式1中，计算管腔内图像内的各个像素的像素值的黑塞(ヘッセ)矩阵的第一固有值(最大固有值)，作为吸光变化量。

图3是示出血管锐利度计算部110执行的血管锐利度的计算处理的流程图。在步骤S111中，区域设定部111将从管腔内图像中去除了拍摄有粘膜轮廓、暗部、镜面反射、泡、残渣中的任意一方的区域后剩下的区域、即粘膜区域设定为处理对象区域。具体来说，针对管腔内图像内的各个像素计算G/R值，将G/R值为阈值以下的区域、即带红色的区域设定为处理对象区域。

另外，处理对象区域的设定方法不限定于上述的方法，可以使用公知的各种方法。例如，可以如日本特开2007-313119号公报所公开地那样，通过进行根据在泡的轮廓部和泡的内部存在的由照明反射形成的弧形的凸边缘这样的泡图像的特征而设定的泡模型与从管腔内图像提取出的边缘之间的匹配，检测泡区域。此外，可以如日本特开2011-234931号公报所公开地那样，根据基于各个像素值(R值、G值、B值)的颜色特征量来提取黑色区域，根据该黑色区域的周围的像素值变化的方向，判别黑色区域是否是暗部。此外，可以根据基于各个像素值的颜色特征量来提取白色区域，根据该白色区域的边界附近的像素值的变化，判别白色区域是否是被镜面反射的区域。并且，可以根据基于各个像素值的颜色特征量来检测被视作非粘膜区域的残渣候选区域，根据该残渣候选区域与从管腔内图像提取出的边缘之间的位置关系，判别残渣候选区域是否是粘膜区域。

在接下来的步骤S112中，局部吸光变化量计算部112针对在步骤S111中设定的处理对象区域内的各个像素，计算G/R值。这里，由于照明光的R成分是对于血红蛋白的吸光非常少的波段，所以可以说管腔内的R成分的衰减量与照明光在管腔内通过的距离对应。因此，在本实施方式1中，使用管腔内图像内的各个像素的R值，作为该像素位置的拍摄距离关联信息。拍摄距离越短，即被摄体越是近景，R值越大，拍摄距离越长，即被摄体越是远景，R值越小。因此，能够将G/R值视作是根据拍摄距离将管腔内的吸光波长成分即G成分归一化后的值。

接着，局部吸光变化量计算部112通过针对处理对象区域内的各个像素执行循环A的处理，计算各个像素的局部的吸光变化量。

在步骤S113中，参照范围设定部112c根据处理对象的像素的R值，设定在计算局部的吸光变化量时参照的像素的范围即参照范围。这里，在管腔内图像中，由于越是近景，血管越容易表现得粗，所以需要根据拍摄距离，适应性地设定参照范围。因此，参照范围设定部112c根据与拍摄距离存在相关的R值进行设定，使得处理对象的像素中的被摄体越是近景，参照范围越大。作为实际的处理，事先生成将R值和参照范围关联起来的表并记录在记录部50中，参照范围设定部112c参照该表，按照每个像素设定与R值对应的参照范围。

在接下来的步骤S114中，局部吸光变化量计算部112使用针对处理对象的像素及其周边的参照范围内的像素计算出的G/R值，计算下式(1)所示的黑塞矩阵的第一固有值(最大固有值)。

式1

式(1)所示的I(x₀，y₀)表示管腔内图像内的位于坐标(x₀，y₀)的像素的G/R值。

上述黑塞矩阵H(x₀，y₀)的第一固有值表示处理对象的像素的周边的最大主曲率(Curvedness)。因此，能够将该第一固有值视作局部的吸光变化量。局部吸光变化量计算部112输出该局部的吸光变化量，作为该像素位置的血管锐利度。另外，虽然在本实施方式1中，计算黑塞矩阵的第一固有值，作为血管锐利度，但是本发明不限定于此，也可以通过公知的MTF(Modulation Transfer Function：调制传递函数)或CTF(Contrast Transfer Function：对比度传递函数)来计算血管锐利度。

在针对处理对象区域内的全部像素完成循环A的处理后，运算部100的动作返回到主例程。

在接着步骤S11的步骤S12中，异常候选区域提取部120根据在步骤S11中计算出的血管锐利度，换言之局部的吸光变化量，提取异常候选区域。

图5是沿着图4的A-A’线的血管锐利度的变化的曲线图。在本实施方式1中，异常候选区域是指怀疑为血管透视像局部地消失的区域。如图4和图5所示，对于这样的区域，在管腔内图像将其表现为血管锐利度低的区域。因此，异常候选区域提取部120通过检测血管锐利度低下的区域，提取异常候选区域。

图6是示出异常候选区域提取部120执行的异常候选区域的提取处理的流程图。在步骤S121中，锐利度变化概略形状计算部121设定在计算血管锐利度的变化的概略形状时使用的各个像素的结构要素的尺寸。这里，由于越是近景，血管透视像消失的区域容易显现得越大，所以需要根据拍摄距离，适应性地设定结构要素的尺寸。因此，锐利度变化概略形状计算部121取得与拍摄距离具有相关的R值，以该R值越大，即拍摄距离越短，结构要素的尺寸越大的方式，设定结构要素的尺寸。

在接下来的步骤S122中，形态处理部121a通过使用根据各个像素的R值而设定的尺寸的结构要素来对在步骤S11中计算出的血管锐利度进行形态的闭处理，计算该血管锐利度的变化的概略形状(参照图5)。

在接下来的步骤S123中，锐利度低下区域提取部122对在步骤S122中计算出的血管锐利度的变化的概略形状进行阈值处理，提取血管锐利度为规定的阈值Th1以下的区域，作为异常候选区域。之后运算部100的动作返回到主例程。

在接着步骤S12的步骤S13中，异常区域判定部130根据在步骤S12中提取的异常候选区域的形状，进行异常区域的判定。这里，在异常候选区域中除了包含血管锐利度由于血管透视像的消失而变得低下的区域以外，还包含仅难以看到血管的正常粘膜区域。这样的粘膜区域与血管透视像局部地消失的异常区域不同，具有面积容易变大等形状特征。因此，异常区域判定部130根据这样的形状特征，判定异常候选区域是否是异常区域。

图7是示出异常区域判定部130执行的异常区域的判定处理的流程图。在步骤S131中，异常区域判定部130对从管腔内图像提取出的异常候选区域进行标示。

接着，异常区域判定部130对在步骤S131中被标示的各个区域进行循环B的处理。

首先，在步骤S132中，计算处理对象的区域、即异常候选区域的面积。具体来说，对该区域中包含的像素数进行计数。

在接下来的步骤S133中，异常区域判定部130判定在步骤S132中计算出的面积是否为用于判别面积的阈值(面积判别阈值)以下。在计算出的面积大于面积判别阈值的情况下(步骤S133：否)，异常区域判定部130判定为当该区域不是异常区域，即为非异常区域(步骤S137)。

另一方面，在面积为面积判别阈值以下的情况下(步骤S133：是)，接着，异常区域判定部130计算处理对象的区域的圆形度(步骤S134)。这里，圆形度是指表示区域的形状在何种程度上近似于圆形的尺度，在设该区域的面积为S、周长为L的情况下，利用4πS/L²来赋予。圆形度的值越接近1，表示越接近真圆。另外，如果是表示异常候选区域的圆形近似度的尺度，则可以使用除了上述圆形度以外的尺度。

在接下来的步骤S135中，异常区域判定部130判定在步骤S134中计算出的圆形度是否为用于判定圆形度的阈值(圆形度判别阈值)以上。在圆形度小于圆形度判别阈值的情况下(步骤S135：否)、异常区域判定部130判定为该区域不是异常区域，即为非异常区域(步骤S137)。

另一方面，在圆形度为圆形度判别阈值以上的情况下(步骤S135：是)，异常区域判定部130判定为处理对象的区域是异常区域(步骤S136)。

在针对在步骤S131中被标示的全部区域完成循环B的处理后，运算部100的动作返回到主例程。

在接着步骤S13的步骤S14中，运算部100输出步骤S13中的判定结果。与此相应，控制部10使显示部40显示被判定为异常区域的区域。被判定为异常区域的区域的显示方法未特别限定。作为一例，可以举出如下这样的显示方法：在管腔内图像上使重叠用来指示被判定为异常区域的区域的标记；对被判定为异常区域的区域标注与其他区域不同的颜色或阴影以进行显示。同时，可以将步骤S13中的异常区域的判定结果记录在记录部50中。然后，图像处理装置1的动作结束。

如以上所说明那样，根据本发明的实施方式1，由于从管腔内图像提取吸光变化量局部地低下的区域作为异常候选区域，并根据异常候选区域的形状，判定该异常候选区域是否是异常区域，所以，能够高精度地提取血管透视像局部地消失的区域。

另外，虽然在上述实施方式1中，计算黑塞矩阵的第一固有值，作为吸光变化量，但是吸光变化量的计算方法不限于此。例如，可以针对管腔内图像内的各个像素的像素值使用带通滤波器。此外，在该情况下，根据处理对象的像素的R值，适应性地设定滤波器尺寸即可。具体来说，优选R值越小，即拍摄距离越长，越增大滤波器尺寸。

此外，虽然在上述实施方式1中，关于在形态处理中使用的结构要素，根据拍摄距离设定了尺寸，但是，同时，可以设定结构要素的形状或朝向。图8是用于说明结构要素的设定方法的其他例子的示意图。

这里，在通过内窥镜拍摄管腔内的情况下，拍摄方向相对于被摄体即粘膜面倾斜的情况较多。与从正面拍摄相同的被摄体的情况相比，在这样的情况下从内窥镜观察时进深方向上的被摄体的尺寸在图像中表现得较小。因此，通过将结构要素的形状和朝向设定为在粘膜面相对于拍摄面的斜率成为最大的方向、即实际的拍摄距离相对于管腔内图像上的距离的变化较大的方向上尺寸变小，在与该拍摄距离的变化较大的方向垂直的方向上尺寸变大，能够进行适当的形态处理。作为具体例，如图8所示的图像M1那样，在朝向管腔的进深方向进行拍摄的情况下，将结构要素m1的形状和朝向设定为从图像内的各个位置朝向管腔的进深m2的方向成为椭圆形的短轴方向，与朝向深处m2的方向垂直的方向成为椭圆形的长轴方向。

此外，虽然在上述实施方式1中，通过依次将异常候选区域的面积和圆形度与阈值进行比较来进行异常区域的判定，但是只要是根据异常候选区域的面积和圆形度来进行判定，则判定方法不限于此。例如，可以首先进行针对圆形度的判定。或者，可以事先生成能够参考面积和圆形度的双方的表，通过参照该表，同时对针对异常候选区域计算出的面积和圆形度进行评价。

(变形例1-1)

接着，对本发明的实施方式1的变形例1-1进行说明。图9是示出本变形例1-1的图像处理装置的运算部具备的锐利度低下区域提取部的结构的框图。在本变形例1-1的图像处理装置的运算部100(参照图1)中，异常候选区域提取部120替代锐利度低下区域提取部122而具有图9所示的锐利度低下区域提取部123。另外，除锐利度低下区域提取部123以外的运算部100的各个部的结构和动作以及图像处理装置1的各个部的结构和动作与实施方式1相同。

锐利度低下区域提取部123具有：拍摄距离关联信息取得部123a和距离适应阈值设定部123b。拍摄距离关联信息取得部123a取得各个像素的R值，作为与在管腔内图像上拍摄到的被摄体与拍摄了该被摄体的拍摄单元的拍摄面之间的拍摄距离相关的信息。距离适应阈值设定部123b根据该R值，适应性地设定在根据血管锐利度的变化的概略形状提取锐利度低下区域时使用的阈值(参照图5)。

本变形例1-1的图像处理装置的动作整体上与实施方式1相同，图2所示的异常候选区域的提取处理(步骤S12)的详细内容与实施方式1不同。图10是示出具有锐利度低下区域提取部123的异常候选区域提取部执行的异常候选区域的提取处理的流程图。另外，图10所示的步骤S121和S122与实施方式1相同。

在接着步骤S122的步骤S151中，锐利度低下区域提取部123根据在管腔内图像中设定的处理对象区域(参照图3的步骤S111)内的各个像素的R值，适应性地设定用于提取血管锐利度低下的区域的阈值。

这里，在拍摄管腔内时，在从拍摄单元的景深偏离的区域中，即使不是异常区域，血管锐利度也比其他区域低下。因此，锐利度低下区域提取部123取得与拍摄距离具有相关的R值，R值越从规定的范围内、具体来说与景深对应的范围内脱离，将阈值设定得越小。作为实际的处理，事先生成根据景深将R值与阈值关联起来的表并记录在记录部50中，距离适应阈值设定部123b参照该表，按照每个像素设定与R值对应的阈值。

在接下来的步骤S152中，锐利度低下区域提取部123使用在步骤S151中按照每个像素所设定的阈值，对血管锐利度的变化的概略形状进行阈值处理，由此，提取阈值以下的区域，作为异常候选区域。之后运算部100的动作返回到主例程。

如以上所说明那样，根据本变形例1-1，由于根据拍摄距离适应性地设定在提取锐利度低下区域时使用的阈值，所以能够抑制管腔内图像中的从景深偏离的区域中的锐利度低下区域的错误检测。

(变形例1-2)

接着，对本发明的实施方式1的变形例1-2进行说明。图11是示出本变形例1-2的图像处理装置的运算部具备的锐利度低下区域提取部的结构的框图。在本变形例1-2的图像处理装置的运算部100(参照图1)中，异常候选区域提取部120替代锐利度低下区域提取部122而具有图11所示的锐利度低下区域提取部124。另外，除锐利度低下区域提取部124以外的运算部100的各个部的结构和动作以及图像处理装置1的各个部的结构和动作与实施方式1相同。

锐利度低下区域提取部124具有像差适应阈值设定部124a，通过使用由该像差适应阈值设定部124a设定的阈值来进行阈值处理，提取锐利度低下区域。像差适应阈值设定部124a是根据拍摄管腔内的内窥镜等具备的光学系统的特性来适应性地设定阈值的光学系统适应阈值设定部。在本变形例1-2中，为了减少作为光学系统的特性的一例的光学系统的像差的影响，像差适应阈值设定部124a根据管腔内图像内的各个像素的坐标来设定阈值。

本变形例1-2的图像处理装置的动作整体上与实施方式1相同，图2所示的异常候选区域的提取处理(步骤S12)的详细内容与实施方式1不同。图12是示出具有锐利度低下区域提取部124的异常候选区域提取部执行的异常候选区域的提取处理的流程图。另外，图12所示的步骤S121和S122与实施方式1相同。

在接着步骤S122的步骤S161中，锐利度低下区域提取部124根据在管腔内图像中设定的处理对象区域(参照图3的步骤S111)内的各个像素的坐标，适应性地设定用于提取血管锐利度低下的区域的阈值。

这里，在管腔内图像中存在由于内窥镜等具备的光学系统的影响而容易产生模糊的区域。具体来说，在球面像差、彗形像差、非点像差、像面弯曲这样的像差较大的区域，即管腔内图像的周缘区域中，容易产生模糊。在这样的区域中，即使不是异常区域，血管锐利度也相比其他区域低下，所以锐利度低下区域有可能被过检测。

因此，像差适应阈值设定部124a根据管腔内图像的各个像素的坐标，越是像差的影响大的区域，将阈值设定得越小。作为实际的处理，事先生成将管腔内图像的各个像素的坐标与阈值关联起来的表并记录在记录部50中，像差适应阈值设定部124a参照该表，按照每个像素设定与坐标对应的阈值。

在接下来的步骤S162中，锐利度低下区域提取部124使用在步骤S161中按照每个像素设定出的阈值，对血管锐利度的变化的概略形状进行阈值处理，由此，提取阈值以下的区域，作为异常候选区域。之后运算部100的动作返回到主例程。

如以上所说明那样，根据本变形例1-2，由于根据像素的坐标适应性地设定在提取锐利度低下区域时使用的阈值，所以在像差的影响大的区域等中，也能够提高锐利度低下区域的检测精度。

(变形例1-3)

接着，对本发明的实施方式1的变形例1-3进行说明。在提取锐利度低下区域时使用的阈值可以根据与管腔内图像内的各个像素对应的拍摄距离和坐标双方进行设定。作为实际的处理，事先生成将拍摄距离和像素的坐标与阈值关联起来的表并记录在记录部50中即可。

在该情况下，对于从景深偏离且光学系统的像差的影响大的区域，也能够提高锐利度低下区域的检测精度。

在提取锐利度低下区域时使用的阈值除了根据这些以外，还可以根据各种要素进行设定。例如，在使用能够进行光学系统的焦距的切换的内窥镜的情况下，可以根据与焦距相应地变化的景深，设定阈值。作为实际的处理，根据景深，与可切换的焦距相应地预先准备多种将作为拍摄距离关联信息的R值与阈值关联起来的表(参照变形例1-1)。而且，根据处理对象的管腔内图像的拍摄时的焦距信息来选择表，使用所选择的表，按照每个像素来设定阈值。另外，焦距信息可以从内窥镜等直接输入到图像处理装置，也可以将拍摄时的焦距信息与管腔内图像的图像数据关联起来，在图像处理装置1取得管腔内图像时，一同取入焦距信息。

(实施方式2)

接着，对本发明的实施方式2进行说明。图13是示出本实施方式2的图像处理装置具备的血管锐利度计算部的结构的框图。在本实施方式2的图像处理装置中，运算部100(参照图1)替代血管锐利度计算部110而具有图13所示的血管锐利度计算部210。另外，除血管锐利度计算部210以外的运算部100的结构和动作以及图像处理装置1的结构和动作与实施方式1相同。

血管锐利度计算部210除了区域设定部111和局部吸光变化量计算部112以外，还具有管状区域提取部211。管状区域提取部211根据管腔内图像内的各个像素的像素值，从该管腔内图像提取呈管状的管状区域。

接着，说明本实施方式2的图像处理装置的动作。本实施方式2的图像处理装置的动作整体上与实施方式1相同(参照图2)，步骤S11中的血管锐利度的计算处理的详细内容与实施方式1不同。

图14是示出血管锐利度计算部210执行的血管锐利度的计算处理的流程图。另外，图14所示的步骤S111和S112与实施方式1相同(参照图3)。

在接着步骤S112的步骤S211中，管状区域提取部211根据在步骤S111中设定的处理对象区域内的像素的像素值，从该处理对象区域内提取管状区域。详细来说，管状区域提取部211根据处理对象区域内的各个像素的像素值，计算形状指数(Shape Index)，通过对该形状指数进行阈值处理，提取管状区域。形状指数SI使用黑塞矩阵的第一固有值eVal_1和第二固有值eVal_2(eVal_1>eVal_2)，利用下式(2)赋予。

式2

作为一例，提取利用式(2)赋予的形状指数SI为-0.4以下的区域、即具有凹陷的形状的区域，作为管状区域。

接着，血管锐利度计算部210通过对处理对象区域内的各个像素执行循环C的处理，计算各个像素的局部的吸光变化量。

在步骤S212中，血管锐利度计算部210判定处理对象的像素是否是管状区域内的像素。即，判定该像素是否包含在血管区域中。在处理对象的像素是管状区域内的像素的情况下(步骤S212：是)，参照范围设定部112c根据处理对象的像素的R值，设定在计算局部的吸光变化量时参照的像素的范围(参照范围)(步骤S213)。具体来说，以R值越大，即拍摄距离越短，参照范围越大的方式进行设定。

在接下来的步骤S214中，局部吸光变化量计算部112使用针对处理对象的像素及其周边的参照范围内的像素计算出的G/R值，计算黑塞矩阵的第一固有值(最大固有值)，设该第一固有值为局部的吸光变化量、即血管锐利度。

另一方面，在步骤S212中，在处理对象的像素不是管状区域内的像素的情况下(步骤S212：否)，转移到针对下一个像素的处理。通过这样的循环C的处理，仅针对处理对象区域的像素中的管状区域内的像素，计算血管锐利度。

在针对处理对象区域内的全部像素完成循环C的处理后，运算部100的动作返回到主例程。

如以上所说明那样，根据本实施方式2，由于仅针对管状区域、即血管区域内的像素计算血管锐利度，不针对非血管区域进行血管锐利度的计算，所以能够进一步缩小异常候选区域，并能够提高异常区域的检测精度。

(实施方式3)

接着，对本发明的实施方式3进行说明。图15是示出本实施方式3的图像处理装置具备的异常候选区域提取部的结构的框图。在本实施方式3的图像处理装置中，运算部100替代异常候选区域提取部120而具有图15所示的异常候选区域提取部310。另外，除异常候选区域提取部310以外的运算部100的结构和动作以及图像处理装置1的结构和动作与实施方式1相同。

异常候选区域提取部310替代图1所示的锐利度低下区域提取部122而具有锐利度低下区域提取部311。锐利度低下区域提取部311具有锐利度局部低下区域提取部311a，该锐利度局部低下区域提取部311a计算相对于由锐利度变化概略形状计算部121计算出的血管锐利度的变化的概略形状的局部的变化，根据该局部的变化，提取锐利度低下区域，该锐利度低下区域提取部311提取该血管锐利度局部低下的区域，作为异常候选区域。

接着，说明本实施方式3的图像处理装置的动作。本实施方式3的图像处理装置的动作整体上与实施方式1相同(参照图2)，步骤S12中的异常候选区域的提取处理的详细内容与实施方式1不同。

图16是示出异常候选区域提取部310执行的异常候选区域的提取处理的流程图。另外，图16所示的步骤S121和S122与实施方式1相同(参照图6)。

在接着步骤S122的步骤S311中，锐利度局部低下区域提取部311a针对在步骤S122中计算出的血管锐利度的变化的概略形状，计算局部的变化量即局部变化量。局部变化量的计算方法未特别限定于此，能够使用公知的各种计算方法。作为一例，在本实施方式3中，使用带通滤波器来计算局部变化量。图17是示出针对图5所示的血管锐利度的变化的概略形状计算出的血管锐利度的局部变化量的曲线图。

在接下来的步骤S312中，锐利度低下区域提取部311对在步骤S311中计算出的血管锐利度的局部变化量进行阈值处理，提取局部变化量为规定的阈值Th2以下的区域，作为异常候选区域。这里，如图4所示，在血管透视像的消失区域的周围存在普通的血管。所以，如图17所示，血管透视像的消失区域容易表现为血管锐利度局部低下的区域。因此，通过对血管锐利度的局部变化量进行阈值处理，容易检测血管透视像的消失区域。

如以上所说明那样，根据本实施方式3，由于针对血管锐利度的变化的概略形状计算局部变化量，所以能够仅提取如血管透视像的消失区域那样地产生锐利度的局部的变化的区域，作为异常候选区域。因此，能够提高异常区域的检测精度。

另外，在本实施方式3中，可以与变形例1-1同样地根据像素的R值、即拍摄距离关联信息，按照每个像素设定在针对血管锐利度的局部变化量的阈值处理中使用的阈值(参照步骤S312)。或者，可以与变形例1-2同样地根据管腔内图像的像素的坐标，按照每个像素设定该阈值。

图18是示出应用了本发明的实施方式1的图像处理装置(参照图1)的内窥镜系统的概略结构的图。如图18所示，内窥镜系统3具有：图像处理装置1；内窥镜4，其生成通过将前端部插入到被检体的管腔内而拍摄被摄体的体内后所得的图像；光源装置5，其产生从内窥镜4的前端射出的照明光；以及显示装置6，其显示由图像处理装置1实施了图像处理后的体内图像。图像处理装置1对由内窥镜4生成的图像实施规定的图像处理，并对内窥镜系统3整体的动作进行统一控制。另外，可以替代图像处理装置1而使用在变形例1-1～1-3或者实施方式2、3中所说明的图像处理装置。

内窥镜4具有：插入部41，其呈具有挠性的细长形状；操作部42，其与插入部41的基端侧连接，受理各种操作信号的输入；以及通用缆线43，其从操作部42向与插入部41延伸的方向不同的方向延伸，并内置与图像处理装置1和光源装置5连接的各种缆线。

插入部41具有：前端部44，其内置有摄像元件；弯曲自如的弯曲部45，其由多个弯曲块构成；以及长条状的挠性针管46，其与弯曲部45的基端侧连接，并具有挠性。

摄像元件接收来自外部的光并光电转换为电信号，实施规定的信号处理。摄像元件使用例如CCD(Charge Coupled Device；电荷耦合元件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor；互补性金属氧化膜半导体)图像传感器来实现。

在操作部42与前端部44之间连接有与图像处理装置1之间进行电信号的收发的多条信号线被捆扎的集合缆线。多条信号线中包含：向图像处理装置1传输由摄像元件输出的影像信号的信号线和向摄像元件传输由图像处理装置1输出的控制信号的信号线等。

操作部42具有：弯曲旋钮421，其使弯曲部45在上下方向和左右方向上弯曲；处置器械插入部422，其插入活检针、活体钳子、激光切刀以及检查探头等处置器械；以及作为操作输入部的多个开关423，其除了输入图像处理装置1、光源装置5的操作指示信号，还输入送气单元、送水单元、送雾单元等周围设备的操作指示信号。

通用缆线43至少内置有光导和集合缆线。此外，在与通用缆线43的操作部42相连的一侧不同侧的端部设置有：连接器部47，其在光源装置5上装卸自如；电连接器部48，其经由呈线圈状的线圈缆线470与连接器部47电连接，相对于图像处理装置1装卸自如。

图像处理装置1根据从前端部44输出的图像信号，生成由显示装置6显示的管腔内图像。图像处理装置1进行例如白平衡调整处理、增益调整处理、γ校正处理、D/A转换处理、格式变更处理等，还进行从上述的管腔内图像提取异常区域的图像处理。

光源装置5例如具有：光源、旋转滤波器和光源控制部。光源使用白色LED(Light Emitting Diode：发光二极管)或疝灯等构成，在光源控制部的控制下产生白色光。光源产生的光经由光导从前端部44的前端照射。

显示装置6具有如下功能：经由影像缆线从图像处理装置1接收并显示由图像处理装置1生成的体内图像。显示装置6使用例如液晶或者有机EL(Electro Luminescence：电致发光)构成。

以上所说明的实施方式1～3以及它们的变形例能够通过在个人计算机或工作站等计算机系统中执行记录装置所记录的图像处理程序来实现。此外，也可以经由局域网(LAN)、广域网(WAN)或互联网等的公共线路，将这种计算机系统连接到其他计算机系统或服务器等设备上进行使用。此时，实施方式1～3以及这些变形例的图像处理装置也可以经由这些网络取得管腔内图像的图像数据，并且将图像处理结果输出到经由这些网络连接的浏览器或打印机等各种输出设备，还将图像处理结果存储到经由这些网络连接的存储装置、例如能够通过与网络连接的读取装置读取的记录介质等中。

另外，本发明不直接限定为各实施方式1～3及它们的变形例，可通过适当组合各实施方式或变形例所公开的多个结构要素来形成各种发明。例如，可从各实施方式或变形例所示的全部结构要素中去除几个结构要素来形成，也可适当组合不同实施方式或变形例所示的结构要素来形成。

标号说明

1：图像处理装置；3：内窥镜系统；4：内窥镜；5：光源装置；6：显示装置；10：控制部；20：图像取得部；30：输入部；40：显示部；50：记录部；51：图像处理程序；100：运算部；110、210：血管锐利度计算部；111：区域设定部；112：局部吸光变化量计算部；112a、123a：拍摄距离关联信息取得部；112b：吸光波长成分归一化部；112c：参照范围设定部；120、310：异常候选区域提取部；121：锐利度变化概略形状计算部；121a：形态处理部；122、123、124、311：锐利度低下区域提取部；123b：距离适应阈值设定部；124a：像差适应阈值设定部；130：异常区域判定部；211：管状区域提取部；311a：锐利度局部低下区域提取部；41：插入部；42：操作部；421：弯曲旋钮；422：处置器械插入部；423：开关；43：通用缆线；44：前端部；45：弯曲部；46：挠性针管；47：连接器部；470：线圈缆线；48：电连接器部。