图像处理装置、图像处理方法以及图像处理程序的制作方法

图像处理装置、图像处理方法以及图像处理程序的制作方法
【专利摘要】提供一种即使在由于活体的特性或拍摄状况的变化而很难在稳定的状态下持续拍摄被摄体的情况下，也能够适当提取代表图像的图像处理装置等。图像处理装置(1)具有：检测部(110)，其从通过依次拍摄活体的管腔内而取得的一系列的图像组中检测异常区域，提取包含该异常区域的异常图像；附近范围设定部(120)，其将按照时间序列顺序排列的一系列的图像组中的异常图像的附近的范围设定为时间序列附近范围；异常图像组提取部(130)，其根据时间序列附近范围，从由检测部(110)提取出的异常图像中提取包含相同的异常区域的异常图像组；以及代表图像提取部(140)，其从异常图像组中提取代表图像，附近范围设定部(120)将比在所述一系列的图像组中在时间序列上连续的图像的间隔大的范围设定为所述时间序列附近范围。
【专利说明】
图像处理装置、图像处理方法以及图像处理程序
技术领域
[0001] 本发明涉及从通过拍摄活体的管腔内而取得的图像组中提取代表图像的图像处 理装置、图像处理方法以及图像处理程序。
【背景技术】
[0002] 已知以下技术:从通过使用内窥镜或胶囊型内窥镜等医用观察装置按照时间序列 顺序拍摄活体的管腔内而取得的一系列的图像组（以下，也称作管腔内图像组）中提取拍摄 有异常区域等关注区域的图像，作为代表图像。用户通过观察从图像组中提取出的代表图 像，能够减轻详细观察大量图像的负担，并能够进行正确且高效的诊断。
[0003] 例如在专利文献1中公开了以下图像处理装置:从按照时间序列顺序取得的管腔 内图像组中检测关注区域，根据关注区域的特征量和包含关注区域的管腔内图像的时间序 列位置将关注区域分类成组，从分类到各个组中的关注区域中选出代表区域，将包含选出 的代表区域的图像作为代表图像输出。
[0004] 现有技术文献
[0005] 专利文献
[0006] 专利文献1:日本特开2011-24727号公报

【发明内容】

[0007] 发明所要解决的课题
[0008] 在上述专利文献1中，将在时间序列上相邻的管腔内图像之间具有类似的特征量 的关注区域彼此之间汇总到相同的组中。但是，作为摄像对象的活体的管腔包含活体特有 的多样性或个体差异这样的特性，并且由于管腔的运动或医用观察装置侧的运动导致摄像 方向或摄像距离等摄像状况容易发生变化，所以很难在稳定的状态下持续拍摄关注区域等 被摄体。所以，会产生在包含相同的关注区域的时间序列图像之间夹着不包含关注区域的 时间序列图像、或者在管腔内图像中拍摄到的相同的关注区域的颜色或形状发生变化这样 的情况。在这种情况下，与上述专利文献1同样，在根据相邻的管腔内图像之间的关注区域 的特征量的类似性来将关注区域进行分组后，相同的关注区域有可能会被分类到不同的组 中。其结果，从各个组中提取了包含相同的关注区域的管腔内图像作为代表图像，适当提取 代表图像变得困难。
[0009] 本发明正是鉴于上述问题而作出的，其目的在于提供在从通过按照时间序列顺序 拍摄活体的管腔内而取得的一系列的图像组中提取代表图像时，即使在由于活体的特性或 拍摄状况的变化而很难在稳定的状态下持续拍摄被摄体的情况下，也能够适当提取代表图 像的图像处理装置、图像处理方法和图像处理程序。
[0010]用于解决课题的手段
[0011]为了解决上述问题，并达成目的，本发明的图像处理装置的特征在于，所述图像处 理装置具有:检测部，其从通过依次拍摄活体的管腔内而取得的一系列的图像组中检测被 估计为检测对象的区域即关注区域，提取包含该关注区域的关注图像;附近范围设定部，其 将按照时间序列顺序排列的所述一系列的图像组中的所述关注图像的附近的范围设定为 时间序列附近范围；关注图像组提取部，其根据所述时间序列附近范围，从由所述检测部提 取出的所述关注图像中提取包含相同的关注区域的关注图像组；以及代表图像提取部，其 从所述关注图像组中提取代表图像，所述附近范围设定部将比在所述一系列的图像组中在 时间序列上连续的图像的间隔大的范围设定为所述时间序列附近范围。
[0012] 本发明的图像处理方法由计算机具备的运算部根据通过依次拍摄活体的管腔内 而取得并记录在记录部中的一系列的图像组的图像数据来执行，其特征在于，所述图像处 理方法包含:检测步骤，从所述一系列的图像组中检测被估计为检测对象的区域即关注区 域，提取包含该关注区域的关注图像;附近范围设定步骤，将按照时间序列顺序排列的所述 一系列的图像组中的所述关注图像的附近的范围设定为时间序列附近范围；关注图像组提 取步骤，根据所述时间序列附近范围，从在所述检测步骤中提取出的所述关注图像中提取 包含相同的关注区域的关注图像组；以及代表图像提取步骤，从所述关注图像组中提取代 表图像，在所述附近范围设定步骤中，将比在所述一系列的图像组中在时间序列上连续的 图像的间隔大的范围设定为所述时间序列附近范围。
[0013] 本发明的图像处理程序的特征在于，使计算机执行以下步骤:检测步骤，从通过依 次拍摄活体的管腔内而取得的一系列的图像组中检测被估计为检测对象的区域即关注区 域，提取包含该关注区域的关注图像;附近范围设定步骤，将按照时间序列顺序排列的所述 一系列的图像组中的所述关注图像的附近的范围设定为时间序列附近范围；关注图像组提 取步骤，根据所述时间序列附近范围，从在所述检测步骤中提取出的所述关注图像中提取 包含相同的关注区域的关注图像组；以及代表图像提取步骤，从所述关注图像组中提取代 表图像，在所述附近范围设定步骤中，将比在所述一系列的图像组中在时间序列上连续的 图像的间隔大的范围设定为所述时间序列附近范围。
[0014] 发明效果
[0015] 根据本发明，由于将比在一系列的图像组中在时间序列上连续的图像的间隔大的 范围设定为由关注图像组提取部进行包含相同关注区域的关注图像组的提取的时间序列 附近范围，所以即使在由于活体的特性或拍摄状况的变化而很难在稳定的状态下持续拍摄 被摄体的情况下，也能够容易提取包含相同的关注区域的关注图像作为相同的关注图像 组，并能够适当提取代表图像。
【附图说明】
[0016] 图1是示出本发明实施方式1的图像处理装置的结构的框图。
[0017] 图2是示出图1所示的图像处理装置的动作的流程图。
[0018] 图3是示出按照时间序列取得的一系列的管腔内图像的示意图。
[0019] 图4是示出本发明实施方式2的图像处理装置具备的运算部的结构的框图。
[0020] 图5是示出由图4所示的附近范围设定部执行的时间序列附近范围的设定动作的 流程图。
[0021]图6是示出由图4所示的连续异常判定部执行的连续性异常区域的判定处理的流 程图。
[0022] 图7是示出本发明实施方式2的变形例2-1的图像处理装置具备的运算部的结构的 框图。
[0023] 图8是示出由图7所示的附近范围设定部执行的时间序列附近范围的设定动作的 流程图。
[0024] 图9是示出由图7所示的零散异常判定部执行的零散性异常区域的判定处理的流 程图。
[0025] 图10是示出本发明实施方式2的变形例2-2的图像处理装置具备的运算部的结构 的框图。
[0026] 图11是示出由图10所示的附近范围设定部执行的时间序列附近范围的设定动作 的流程图。
[0027] 图12是示出本发明实施方式3的图像处理装置具备的运算部的结构的框图。
[0028] 图13是示出由图12所示的附近范围设定部执行的时间序列附近范围的设定动作 的流程图。
[0029] 图14是示出图12所示的清晰度计算部执行的清晰度计算处理的流程图。
[0030]图15是示出本发明实施方式4的图像处理装置具备的运算部的结构的框图。
[0031] 图16是示出由图15所示的附近范围设定部执行的时间序列附近范围的设定动作 的流程图。
[0032] 图17是示出由图15所示的无用区域检测部执行的无用区域的检测处理的流程图。
[0033] 图18是示出本发明实施方式5的图像处理装置具备的运算部的结构的框图。
[0034] 图19是示出由图18所示的附近范围设定部执行的时间序列附近范围的设定动作 的流程图。
[0035]图20是示出由图18所示的脏器分类部执行的脏器信息的取得处理的流程图。
[0036] 图21是示出本发明实施方式6的图像处理装置具备的运算部的结构的框图。
[0037] 图22是示出由图21所示的附近范围设定部执行的时间序列附近范围的设定动作 的流程图。
[0038] 图23是示出本发明实施方式7的图像处理装置具备的运算部的结构的框图。
[0039]图24是示出本发明的实施方式7的图像处理装置的动作的流程图。
[0040] 图25是用于说明本发明实施方式7的异常图像组的提取处理的示意图。
[0041] 图26是用于说明本发明实施方式7的异常图像组的提取处理的示意图。
【具体实施方式】
[0042]以下，参照【附图说明】本发明的实施方式的图像处理装置、图像处理方法以及图像 处理程序。另外，本发明不受这些实施方式限定。另外，在各个附图的记载中，对相同部分标 注相同标号来示出。
[0043](实施方式1)
[0044]图1是示出本发明实施方式1的图像处理装置的结构的框图。实施方式1的图像处 理装置1是从通过胶囊型内窥镜等医用图像装置依次拍摄作为被检体的活体的管腔内而取 得的一系列的图像组中提取包含被估计为检测对象的关注区域的图像(关注图像)组，并从 提取出的关注图像组中进一步提取代表图像的装置。拍摄有活体的管腔内的图像(也称作 管腔内图像)通常是在各个像素位置处相对于R(红）、G(绿）、B(蓝）的波长成分具有像素级 (像素值）的彩色图像。虽然在以下的说明中，将对检测出血、发红、血管异常、口疮、溃疡等 异常区域作为关注区域，并从包含这些异常区域的关注图像(异常图像)组中提取代表图像 的情况进行说明，但是关注区域未限定为上述例示的异常区域。
[0045]如图1所示，图像处理装置1具有:控制部10,其控制该图像处理装置1整体的动作； 图像取得部20,其取得与通过胶囊内窥镜等医用观察装置拍摄的管腔内图像对应的图像数 据;输入部30,其将与来自外部的操作对应的信号输入到控制部10;显示部40,其进行各种 信息和图像的显示;记录部50,其存储由图像取得部20取得的图像数据和各种程序；以及运 算部100,其对图像数据执行规定的图像处理。
[0046] 控制部10由CPU等硬件来实现，其通过读入记录到记录部50中的各种程序，根据从 图像取得部20输入的图像数据和从输入部30输入的信号等，向构成图像处理装置1的各个 部进行指示或者数据传送等，统一控制图像处理装置1整体的动作。
[0047] 图像取得部20根据包含对被检体内进行拍摄的胶囊型内窥镜的系统的方式适当 构成。例如，在使用与胶囊型内窥镜之间交换图像数据的可移动型记录介质的情况下，图像 取得部20由拆装自如地安装该记录介质并读出已记录的图像的图像数据的读出装置构成。 此外，在设置预先保存由医用观察装置拍摄的图像的图像数据的服务器的情况下，图像取 得部20由与服务器连接的通信装置等构成，并与服务器进行数据通信来取得图像数据。
[0048] 输入部30通过例如键盘、鼠标、触摸面板及各种开关等输入设备来实现，其将根据 外部对这些输入设备的操作而产生的输入信号输出到控制部10。
[0049] 显示部40由LCD或EL显示器等显示装置来实现，在控制部10的控制下，显示包含管 腔内图像在内的各种画面。
[0050] 记录部50由可更新记录的闪存等ROM或RAM这样的各种1C存储器、内置或者利用数 据通信端子连接的硬盘、或者CD-ROM等信息记录装置及其读取装置等来实现。记录部50除 了存储由图像取得部20取得的管腔内图像的图像数据以外，还存储用于使图像处理装置1 动作并使该图像处理装置1执行各种功能的程序、和在该程序的执行中使用的数据等。具体 而言，记录部50存储图像处理程序51和在检测异常区域时使用的判別基准等，其中，该图像 处理程序51使该图像处理装置1执行以下图像处理:从管腔内图像中检测出血、发红、口疮、 溃疡等异常区域，从包含这些异常区域的图像(异常图像）中提取包含相同的异常区域的异 常图像组，从各个异常图像组中提取代表图像。
[0051] 运算部100由CPU等硬件来实现，通过读入图像处理程序51，进行以下图像处理:从 管腔内图像中提取包含相同的异常区域的异常图像组，从各个异常图像组中提取代表图 像。
[0052] 接着，对运算部100的结构进行说明。如图1所示，运算部100具有;检测部110,其从 一系列的管腔内图像组中检测包含异常区域的异常图像;附近范围设定部120,其将按照时 间序列排列的管腔内图像中的各个异常图像的附近的范围设定为时间序列附近范围；异常 图像组提取部130,其根据时间序列附近范围，从由检测部110检测出的异常图像中提取包 含相同的异常区域的异常图像组；以及代表图像提取部140,其从提取出的各个异常图像组 中提取代表图像。
[0053]检测部110根据管腔内图像的各种特征量来检测异常区域。能够利用公知的各种 方法作为异常区域的检测方法。作为一例，在本实施方式1中，首先，通过合并具有类似的特 征量且在空间上接近的像素，将图像分割为多个小区域(参考CG-ARTS协会、《数字图像处 理》第二版、第196页(利用接近像素的合并的区域分割处理）），通过计算各个小区域的颜色 特征量并将计算出的颜色特征量与预先制作的异常区域的颜色特征量的判别基准进行比 较，提取表示异常区域的特征的小区域。
[0054] 作为颜色特征量，可以举出构成分割后的小区域的像素的各个颜色成分(R成分、G 成分、B成分)和根据这些各个颜色成分通过公知的转换而2次计算出的值(例如，通过YCbCr 转换计算出的色差、通过HSI转换计算出的色相、饱和度、G/R、B/G等颜色比等）的平均值或 者中央值等统计量。此外，关于判别基准，事先收集各种异常区域的颜色特征量，并根据这 些颜色特征量的分布，使用支持向量机(support vector machines:SVM)等学习器来预先 制作异常区域的判別基准(颜色范围），并记录到记录部50中。具体而言，由于出血、发红或 血管异常等异常区域呈现红色调的特定颜色，溃疡或口疮等异常区域呈现白色调的特定颜 色，所以，通过提取呈现这些特定颜色的小区域，能够检测异常区域。
[0055] 此外，在异常区域中，有时能够观察到如粘膜的炎症这样结构上的特征。关于这样 的异常区域，可以通过捕捉结构上的特征，进行检测。具体而言，通过利用公知的高斯差分 DOG(Difference Of Gaussian，参考：Advanced Communication Media株式会社、《计算机 视觉新锐指南》、第7页~第12页)将管腔内图像转换为每个频率成分的图像，取得各个频率 成分的强度作为结构特征量。并且，在由上述的颜色特征量和结构特征量构成的特征量空 间中，通过使用事先制成的判別基准进行判別，检测异常区域。
[0056] 另外，虽然说明了在上述内容中将管腔内图像分割为小区域，使用小区域单位的 颜色特征量(或者结构特征量)来检测异常区域的情况，但是也可以使用构成管腔内图像的 像素单位的颜色特征量(或者结构特征量)来检测异常区域。
[0057]附近范围设定部120对于由检测部110提取的异常图像，设定时间序列附近范围。 这里，时间序列附近范围是包含按照时间序列顺序排列的管腔内图像中的异常图像及其附 近的图像的范围，并是由异常图像组提取部130提取包含相同异常区域的1组异常图像组的 范围。设定比在一系列的管腔内图像中在时间序列上连续的管腔内图像的间隔大的范围， 作为时间序列附近范围。
[0058]异常图像组提取部130是以下关注图像组提取部:提取在由附近范围设定部120设 定的各个时间序列范围中包含的异常图像彼此之间，作为包含相同异常区域的异常图像 组。
[0059] 代表图像提取部140分别从包含相同异常区域的异常图像组中提取代表图像。代 表图像的提取方法未特别限定，可以仅是提取异常图像组的时间序列上的开头的图像或中 央的图像作为代表图像，也可以提取包含在图像诊断上重要度较高的异常区域的异常图像 和异常区域的视觉辨认性良好的异常图像作为代表图像。能够根据例如异常区域的颜色特 征量、形状特征量、纹理特征量等，判別异常区域的重要度和视觉辨认性。
[0060] 接着，说明图1所示的图像处理装置1的动作。图2是示出图像处理装置1的动作的 流程图。
[0061] 首先，在步骤S10中，图像处理装置1经由图像取得部20取得按照时间序列顺序拍 摄的一系列的管腔内图像的图像数据，并记录到记录部50中。
[0062] 在接下来的步骤S11中，检测部110依次读出记录到记录部50中的管腔内图像的图 像数据，从各个管腔内图像中检测异常区域，提取包含异常区域的异常图像。具体而言，检 测部110读出预先记录到记录部50中的异常区域的判別基准，通过将构成各个管腔内图像 的各个像素的颜色特征量与该判別基准进行比较，检测异常区域。
[0063] 图3是示出按照时间序列顺序取得的一系列的管腔内图像^的示意图。这里，后缀 i(i = l、2、……）显示各个管腔内图像在时间序列上的排列顺序(拍摄顺序），并与图像编号 对应。通过步骤S11的处理，检测异常区域Ai(i = tl、tl+2、tl+3、tl+4、t2、t2+2、t2+4)，提取 包含各个异常区域Μ的管腔内图像L·。以下，也将包含异常区域Ai的管腔内图像IdB作异常 图像Ii，
[0064] 在接下来的步骤S12中，附近范围设定部120对于在步骤S11中提取出的各个异常 图像L·，将比在一系列的管腔内图像中在时间序列上连续的管腔内图像的间隔（±1张)大 的范围设定为时间序列附近范围。具体而言，将按照时间序列顺序排列的一系列的管腔内 图像中以异常图像为中心的在± 丫张中包含的管腔内图像设定为1个时间序列附近范 围。这里，参数γ是用于确定时间序列附近范围的宽度的参数。在本实施方式1中，将参数γ 设定为2以上的常数。
[0065]这时，有时在某个异常图像中设定的时间序列附近范围与在其他异常图像中设定 的时间序列附近范围发生重复。在该情况下，附近范围设定部120合并一部分发生重复的时 间序列附近范围彼此之间并设为1个时间序列附近范围。例如，在图3的情况下，当设为参数 γ =2时，异常图像Iti的时间序列附近范围（管腔内图像Iti-2~Iti+2)、异常图像Iti+i的时间 序列附近范围（管腔内图像Itl-l~Itl+3)、异常图像Itl+3的时间序列附近范围（管腔内图像 Itl+l~Itl+5)和异常图像Itl+4的时间序列附近范围（管腔内图像Itl+2~Itl+6) -部分在相邻的 时间序列附近范围之间发生重复。因此，合并这些时间序列附近范围，设定包含管腔内图像 Iti-2~Itl+6的时间序列附近范围Δ Itl。此外，异常图像It2的时间序列附近范围（管腔内图像 It2-2~It2+2)、异常图像It2+2的时间序列附近范围（管腔内图像It2~It2+4)和异常图像It2+4的 时间序列附近范围（管腔内图像I t2+2~It2+6)-部分在相邻的时间序列附近范围之间发生重 复。因此，合并这些时间序列附近范围，设定包含管腔内图像I t2-2~It2+6的合并后的时间序 列附近范围Δ It2。
[0066] 在接下来的步骤S13中，异常图像组提取部130根据在步骤S12中设定的时间序列 附近范围，提取包含相同的异常区域的异常图像组。详细来说，设在1个时间序列附近范围 中包含的异常图像彼此之间为包含相同的异常区域的异常图像组。
[0067] 例如，在图3的情况下，提取在合并后的时间序列附近范围△ Itl中包含的异常图像 Iti、Iti+i、Iti+3、Iti+4作为相同的异常图像组Gti，提取在合并后的时间序列附近范围Δ It2中 包含的异常图像It2、It2+2、It2+4作为相同的异常图像组G t2。
[0068] 在接下来的步骤S14中，代表图像提取部140从在步骤S13中提取出的各个异常图 像组中提取代表图像。提取的代表图像的数量可以是常数(例如，从各个异常图像组中提取 1张），也可以根据在异常图像组中包含的异常图像的张数来确定(例如，异常图像的张数的 r倍，其中，0〈r〈l)。另外，在后者的情况下，假设在代表图像的张数小于1张时，提取至少1张 代表图像。或者，没有确定提取的代表图像的数量，而是可以提取满足规定基准的全部异常 图像(例如，颜色特征量为规定阈值以上的异常图像)作为代表图像。
[0069] 代表图像的提取方法没有特别限定。例如，可以提取各个异常图像组在时间序列 上的开头的图像或中央的图像作为代表图像。或者，可以根据各个异常图像组中的相同的 异常区域的颜色特征量来进行提取。具体而言，在异常区域呈现红色调的特定颜色的情况 下，优先提取异常区域的红色的程度较强的异常图像作为代表图像，在异常区域呈现白色 调的特定颜色的情况下，优先提取异常区域的白色较强的异常图像作为代表图像。
[0070] 此外，可以提取视觉辨认性高的异常图像作为代表图像。具体而言，作为视觉辨认 性高的异常图像，可以举出异常区域的面积最大的异常图像和异常区域的对比度最高的异 常图像。这里，异常区域的面积通过异常区域的总像素数表示。另一方面，在设异常区域中 的像素值的最大值为L max、最小值为Lmin时，异常区域的对比度C通过下式(1)给出。
[0071] C=(Lmax-Lmin)/(Lmax+Lmin)……（1 )
[0072] 或者，可以提取图像整体的对比度最高的异常图像作为代表图像。
[0073] 另外，在1个异常图像组中存在多个异常区域的面积最大的异常图像或者存在多 个异常区域的对比度最高的异常图像这样的情况下，从这些多个图像中随机选择代表图像 即可。此外，在后者的情况下，可以使用异常区域的对比度和图像整体的对比度双方来选择 代表图像。
[0074] 并且，可以提取在图像的更靠中央存在异常区域的异常图像、异常区域和图像整 体的噪声少的异常图像、亮度高的异常图像或模糊少的异常图像，作为视觉辨认性高的异 常图像(代表图像）。
[0075] 在接下来的步骤S15中，运算部100输出表示在步骤S14中从各个异常图像组中提 取出的代表图像的信息。与此相应，记录部50在作为代表图像而提取出的管腔内图像的图 像数据中附加表示是代表图像的意思的信息(标志）。
[0076] 如以上所说明，根据本发明的实施方式1，由于在各个异常图像中将比在一系列的 图像组中在时间序列上连续的图像的间隔大的范围设定为时间序列附近范围，并且在不同 的异常图像中设定的时间序列附近范围发生重复的情况下，合并这些时间序列附近范围， 提取在1个时间序列附近范围中包含的异常图像彼此之间作为相同的异常图像组，所以即 使在由于活体的特性或拍摄状况的变化而无法在稳定的状态下持续拍摄被摄体的情况下， 也能够抑制包含相同的异常区域的异常图像分散到不同的异常图像组中的情况。因此，通 过从将异常图像适当分组后的各个异常图像组中提取代表图像，能够网罗检测出的异常区 域，同时取得提取张数得到抑制的代表图像。由此，用户能够进行正确且高效的诊断。
[0077](实施方式2)
[0078]接着，说明本发明的实施方式2。图4是示出本发明实施方式2的图像处理装置具备 的运算部的结构的框图。如图4所示，实施方式2的图像处理装置替代图1所示的运算部100 而具有运算部200。该运算部200替代图1所示的附近范围设定部120而具有附近范围设定部 210。除附近范围设定部210以外的运算部200的各个部的动作和除运算部200以外的图像处 理装置的各个部的结构和动作与实施方式1相同。
[0079 ]附近范围设定部210在比在一系列的管腔内图像中在时间序列上连续的管腔内图 像的间隔大的范围内，根据异常区域的特性，适当设定时间序列附近范围。更详细来说，附 近范围设定部210具有取得与异常区域相关的信息（以下，称作异常区域信息）的作为关注 区域信息取得部的异常区域信息取得部211，并根据该异常区域信息来设定时间序列附近 范围。
[0080] 在本实施方式2中，异常区域信息取得部211对异常区域的种类进行分类，将该分 类结果作为异常区域信息。这里，从管腔内图像中检测的异常区域能够具体分类为如出血、 血管异常、粘膜异常那样在管腔内连续发生的异常区域（以下，称作连续性异常区域)和如 发红、出血点、溃疡那样在管腔内零散发生的异常区域（以下，称作零散性异常区域）。连续 性异常区域是在按照时间序列排列的多个管腔内图像中容易比较连续地观察的异常区域。 另一方面，零散性异常区域是在按照时间序列排列的多个管腔内图像中容易比较零散地观 察的异常区域。
[0081] 异常区域信息取得部211具有连续异常判定部(连续性判定部)211a，该连续异常 判定部(连续性判定部)211a判定各个异常区域是否是这样的各种异常区域中的、出血、血 管异常和粘膜异常等连续性异常区域。
[0082]接着，对实施方式2的图像处理装置的动作进行说明。实施方式2的图像处理装置 的动作整体上与在实施方式1中参照的图2相同，图2所示的步骤S12中的时间序列附近范围 的设定动作与实施方式1不同。
[0083]图5是示出在图2所示的步骤S12中由附近范围设定部210执行的时间序列附近范 围的设定动作的流程图。附近范围设定部210对于从一系列的管腔内图像中提取的各个异 常图像(参照步骤SI 1 )，执行循环A的处理。
[0084]首先，在步骤S201中，连续异常判定部211a判定在异常图像中包含的异常区域是 否是出血、粘膜异常、血管异常等连续性异常区域。这里，出血表示血液从管腔内的粘膜流 出的状态。粘膜异常表示管腔内的粘膜的表面肥大或者萎缩等引起异常的状态。血管异常 表示血管不自然地扩张或者蜿蜒的状态。
[0085] 图6是示出由连续异常判定部211a执行的连续性异常区域的判定处理的流程图。 在图6所示的步骤S211中，连续异常判定部211a对异常图像内的异常区域进行标示。作为标 示，可以使用公知的方法（参考:CG-ARTS协会，《数字图像处理》第二版，第181页~第182 页)。
[0086] 在接下来的步骤S212中，连续异常判定部211a计算标示后的异常区域的颜色特征 量、形状特征量和纹理特征量。这里，出血呈红色系，面积比较大，呈接近椭圆形或者圆形的 形状，具有光滑的纹理。此外，粘膜异常呈稍微红色或者粘膜色，形状不固定，具有明显的凹 凸或粗糙的纹理。血管异常呈红色系，面积比较大，呈线形，具有光滑的纹理。这样，异常区 域按照出血、粘膜异常、血管异常这样的每个种类，具有特有的颜色、形状和纹理。因此，连 续异常判定部211a针对各个异常区域计算将这些颜色、形状和纹理数值化后的颜色特征 量、形状特征量和纹理特征量。
[0087] 作为颜色特征量，可以使用像素值的各个颜色成分(R成分、G成分、B成分)和根据 这些各个颜色成分通过公知的转换而2次计算出的值(例如，通过YCbCr转换计算出的色差、 通过HSI转换计算出的色相、饱和度、G/R、B/G等颜色比等）的平均值或者中央值等统计值。 或者可以使用HSI颜色空间中的直方图作为颜色特征量。
[0088] 作为形状特征量，可以使用H0G(Histograms of Oriented Gradients:直方图梯 度方向）、面积、圆度、周长、费雷特直径等形状特征参数(参考：山下隆义，之外，《对特定物 体识别有效的特征量》中的《3.2.2. H0G特征量》，信息处理学会研究报告，计算机视觉与图 像媒体研究会，CVM2008 165-32，第221~236页（2008年11月27~28日）；CG-ARTS协会，《数 字图像处理》第二版，第183页~第184页，东京大学出版会;《图像分析手册》，第580页）。这 里，面积是在步骤S211中标示后的像素的总数。此外，周长进行8连结的情况下的轮廓追踪 (参考:CG-ARTS协会，《数字图像处理》第二版，第178页~第179页），当设沿上下左右追踪移 动的像素数为Ci、斜着追踪移动的像素数为(： 2时，通过(^+( V 2)C2给出。在设异常区域的面 积为S、周长为L的情况下，圆度是通过4JIS/L2给出的值，值越接近1，形状越接近标准圆。另 外，为了判定异常区域的形状是以何种程度远离标准圆，可以替代圆度而使用参数(1-4奶/ L2)。费雷特直径是判别异常区域的形状是否是线形、此外在是线形的情况下具有何种程度 的宽度的参数，通过水平费雷特直径和垂直费雷特直径来表示。
[0089] 作为一例，可以使用作为公知技术的局部二值模式(LBP:Local Binary Pattern) (参考:野坂龙佑，之外，《基于局部二值模式的相邻关系的照明变动稳固的特征提取》中的 《2. LBP直方图》，电子信息通信学会技术研究报告，图像识别?媒体理解，PRMU2011-69，第 75~80页（2011年9月5~6日）），作为纹理特征量。LBP是通过2的8次方即256维的直方图来 表示关注像素与其周围8个方向的像素之间的大小关系的特征量。在将LBP应用于本实施方 式2的情况下，通过直方图表示异常区域内的各个像素与周围8个方向的像素之间的大小关 系，将其作为纹理特征量。
[0090] 在接下来的步骤S213中，连续异常判定部211a根据各个特征量，判定异常区域是 否是出血、粘膜异常、或者血管异常的任意一个。详细来说，首先，通过在将在步骤S212中计 算出的各个特征量标准化后进行加权而合并，来制作与判定对象的异常区域相关的k行1列 的特征向量X。在使用例如R、G、B的各个成分的值作为特征量的情况下，特征向量X的维数k 为 k = 3〇
[0091] 而且，使用事先制作的异常区域的识别函数，进行异常区域的分类。实际上，如下 式(2)所示，计算基于概率模型的分类指标P(x)，在该分类指标P(x)为阈值以上的情况下， 将该异常区域判定为出血、粘膜异常或者血管异常。
[0093]通过式(2)给出的分类指标P(x)是表示特征向量X是否是出血、粘膜异常、血管异 常的任意一个的分类指标。符号Z是事先取得的多个异常区域的样本中的特征向量的方差-协方差矩阵(k行k列）。符号| Z |是方差-协方差矩阵Z的行列式。符号厂1是方差-协方差矩阵Z 的逆矩阵。符号μ是事先取得的多个异常区域的样本中的特征向量的平均向量(k行1列）。 [0094]在进行异常区域是否是连续性异常区域的判定后，附近范围设定部210的动作返 回主例程。另外，虽然在上述说明中示出使用了概率模型的异常区域的分类方法，但是只要 能够判定异常区域是否是连续性异常区域（出血、粘膜异常、血管异常），则也可以采用其它 方法。例如，可以采用基于特征空间距离的方法、或在特征空间内设定分类界限的方法等， 该特征空间距离是作为判定对象的异常区域的特征向量与连续性异常区域的代表性的特 征向量之间的距离。
[0095] 在接着步骤S201的步骤S202中，附近范围设定部210取得步骤S201中的异常区域 的判定结果作为异常区域信息，根据该异常区域信息，来确定用于确定时间序列附近范围 的参数γ ( γ =α+β)中的相对于固定值α的扩展值β。这里，固定值α是1以上的常数。此外，在 本实施方式2中，扩展值β是根据异常区域的分类结果而适当确定的值。将固定值α和扩展值 β设定为作为两者的和的参数γ成为比在一系列的管腔内图像中在时间序列上连续的管腔 内图像的间隔（1张)大的值(即，γ 22)。
[0096] 在步骤S201中的异常区域的判定结果是连续性异常区域的情况下，附近范围设定 部210设定1以上的值，作为扩展值(6 = ?。这里，由于具有判定为作为连续性异常区域的血 液流动、粘膜异常扩大、血管异常不是局部性而是俯视整体的这样的特性，所以这些连续性 异常区域扩展到管腔内的大范围的可能性较高。所以，认为在从管腔内图像组中检测出连 续性异常区域的情况下，拍摄有相同的连续性异常区域的图像在大范围内存在的可能性比 异常区域不是连续性异常区域的情况高。因此，将扩展值扮设定为比较大的值(例如，fo = 5 ~20左右）。这时，对于扩展值&，可以使其根据异常区域的种类（出血、粘膜异常、血管异 常)发生变化，也可以设为同样。
[0097] 另一方面，在步骤S201中的判定结果为异常区域不是连续性异常区域的情况下， 附近范围设定部210设定比上述扩展值βι小的值(例如，β2= 1~5左右），作为扩展值β = β2。 另外，只要最终能够设参数γ为2以上，则可以根据固定值α的值的不同，设扩展值β2为零或 者负值。
[0098]在接下来的步骤S203中，附近范围设定部210根据参数γ =α+β，设定时间序列附 近范围。即，使用根据在处理对象的异常图像中包含的异常区域的种类而确定出的扩展值β 来计算参数γ，将在以该异常图像为中心的±丫张的范围中包含的管腔内图像设定为1个 时间序列附近范围。
[0099] 在对于从一系列的管腔内图像中提取的全部异常图像进行了循环Α的处理后，在 接下来的步骤S204中，在相互不同的异常图像中设定的时间序列附近范围的一部分发生重 复的情况下，附近范围设定部210将发生重复的时间序列附近范围彼此之间合并而成为1个 时间序列附近范围。然后，运算部200的动作返回主例程。
[0100] 如以上所说明，根据本发明的实施方式2,在异常区域是出血、粘膜异常、血管异常 等连续性异常区域的情况下，与异常区域不是连续性异常区域的情况相比，能够设定更大 的时间序列附近范围。因此，即使在从一系列的管腔内图像的较大的范围中检测出相同的 异常区域的情况下，也能够将包含这些异常区域的异常图像分组到相同的异常图像组，并 能够适当提取代表图像。
[0101] 另外，虽然在上述实施方式2中，将参数γ计算为固定值α与扩展值β的和，但是可 以根据异常区域信息，替代扩展值β而确定系数β'或者乘数β"，在步骤S203中，将参数γ计 算为γ=αΧβ'或者γ=</'。在该情况下，在异常区域是连续性异常区域时，使系数β'或者 乘数r比不是连续性异常区域时大。
[0102] 或者，可以事先取得包含连续性异常区域的异常图像在管腔内图像中连续的张数 的平均值（以下，称作平均连续张数），将连续性异常区域的种类和平均连续张数存储到表 中，并预先记录到记录部50中。在该情况下，附近范围设定部210从记录部50读出该表，提取 与步骤S201中的判定结果相应的平均连续张数，并设定为时间序列附近范围即可。
[0103] (变形例 2_1)
[0104]接着，对本发明的实施方式2的变形例2-1进行说明。图7是示出本发明实施方式2 的变形例2-1的图像处理装置具备的运算部的结构的框图。如图7所示，变形例2-1中的运算 部220替代图4所示的附近范围设定部210而具有附近范围设定部230。
[0105] 附近范围设定部230具有取得异常区域信息的异常区域信息取得部231，根据由异 常区域信息取得部231取得的异常区域信息，对于各个异常图像适当设定时间序列附近范 围。在本变形例2-1中，异常区域信息取得部231具有判定各个异常区域是否是上述的各种 异常区域中的发红、出血点、溃疡等零散性异常区域的零散异常判定部（零散性判定部） 231a，并取得零散异常判定部231a的判定结果、即，异常区域是否是零散性异常区域作为异 常区域信息。
[0106] 接着，对变形例2-1的图像处理装置的动作进行说明。变形例2-1的图像处理装置 的动作整体上与在实施方式1中参照的图2相同，步骤S12中的时间序列附近范围的设定动 作与实施方式1不同。
[0107] 图8是示出在图2所示的步骤S12中，由附近范围设定部230执行的时间序列附近范 围的设定动作的流程图。附近范围设定部230对于从一系列的管腔内图像中提取出的各个 异常图像(参照步骤S11)，执行循环B的处理。
[0108] 首先，在步骤S221中，零散异常判定部231a判定在异常图像中包含的异常区域是 否是发红、出血点、溃疡等零散性异常区域。这里，发红表示粘膜引起炎症、部分出现红色的 斑点图案的状态。出血点表示从粘膜流出极少量的血液但是血液的流出源是局部性的状 态。溃疡表示粘膜引起炎症、在粘膜上产生局部的龟裂的状态。在溃疡处，还有时在粘膜上 的龟裂的中心出现白苔/黑苔这样的炎症部位。另外，在本变形例2-1中，假设不包含如纵向 溃疡这样在粘膜上大幅扩展的溃疡。
[0109] 图9是示出由零散异常判定部231a执行的零散性异常区域的判定处理的流程图。 在图9所示的步骤S231中，零散异常判定部231a对异常图像内的异常区域进行标示。
[0110]在接下来的步骤S232中，零散异常判定部231a计算标示后的异常区域的颜色特征 量、形状特征量和纹理特征量。这里，发红呈红色系，面积比较小，具有光滑的纹理。此外，出 血点呈红色系，面积比较小，呈从圆形延伸出微小的流血部的形状，具有光滑的纹理。溃疡 除了红色以外，还有白苔的白色或者黑苔的黑色的颜色特性，面积比较小，呈表示中心部的 白苔或者黑苔的小圆形和表示粘膜的炎症部的大圆形的两层圆形，中心部的白苔或者黑苔 具有光滑的纹理，其周边的炎症部具有粗糙的纹理。
[0111]零散异常判定部231a针对各个异常区域计算将这样的颜色、形状和纹理数值化后 的颜色特征量、形状特征量和纹理特征量。颜色特征量、形状特征量和纹理特征量的具体内 容与实施方式2相同。另外，颜色特征量中的、表示无彩色的颜色特征量成为表示白苔或者 黑苔的存在的指标。此外，由于零散性异常区域在管腔内局部存在，所以使用面积、圆度或 费雷特直径等形状特征量是有效的。并且，在溃疡处，粘膜的颜色由于炎症而发生变化，并 且在结构上也由于炎症的影响而凹凸比正常的粘膜变得显著，所以使用LBP等纹理特征量 也是有效的。
[0112]在接下来的步骤S233中，零散异常判定部231a根据各个特征量，判定异常区域是 否是发红、出血点或者溃疡的任意一个。该判定方法与实施方式2(参照图6的步骤S213)相 同。然后，附近范围设定部230的动作返回主例程。
[0113] 在接着步骤S221的步骤S222中，附近范围设定部230取得步骤S221中的异常区域 的判定结果作为异常区域信息，并根据该异常区域信息，确定参数γ中的相对于固定值α的 扩展值β。在本变形例2-1中，也将固定值α和扩展值β设定为作为两者的和的参数γ为2以 上。
[0114] 在步骤S221中的判定结果为异常区域不是零散性异常区域的情况下，附近范围设 定部230设定扩展值β = β3。另外，只要最终能够设参数γ为2以上，则可以根据固定值α的值 的不同，设扩展值为零。
[0115] 另一方面，在步骤S221中的异常区域的判定结果是零散性异常区域的情况下，附 近范围设定部230设定比上述扩展值β3小的值，作为扩展值β = β4。这是因为，由于零散性异 常区域在管腔内局部存在，所以即使在从管腔内图像组中检测出零散性异常区域的情况 下，拍摄有相同的零散性异常区域的图像在大范围内存在的可能性比异常区域不是零散性 异常区域的情况低。此外，这时，对于扩展值Μ，可以使其根据异常区域的种类(发红、出血 点、溃疡)发生变化，也可以设为同样。另外，只要最终能够设参数γ为2以上，则可以根据固 定值α的值的不同，设扩展值说为负值。
[0116]在接下来的步骤S223中，附近范围设定部230根据参数γ=α+β，设定时间序列附 近范围。即，使用根据在处理对象的异常图像中包含的异常区域的种类而确定出的扩展值β 来计算参数γ，将在以该异常图像为中心的±丫张的范围中包含的管腔内图像设定为1个 时间序列附近范围。
[0117] 在对于从一系列的管腔内图像提取出的全部异常图像进行了循环Β的处理后，在 接下来的步骤S224中，在相互不同的异常图像中设定的时间序列附近范围的一部分发生重 复的情况下，附近范围设定部230将发生重复的时间序列附近范围彼此之间合并而成为1个 时间序列附近范围。然后，运算部220的动作返回主例程。
[0118] 如以上所说明，根据本发明的实施方式2的变形例2-1，在异常区域是发红、出血 点、溃疡等零散性异常区域的情况下，与异常区域不是零散性异常区域的情况相比，能够设 定更小的时间序列附近范围。因此，在从管腔内图像组中零散检测出异常区域的情况下，能 够将包含相互不同的异常区域的异常图像分组到其他异常图像组中，并能够适当提取代表 图像。
[0119] 另外，虽然在上述变形例2-1中，将参数γ计算为固定值α与扩展值β的和，但是可 以根据异常区域信息，替代扩展值β而确定系数β'或者乘数β"，在步骤S223中，将参数γ计 算为αΧβ'或者γ=</'。在该情况下，在异常区域是零散性异常区域时，使系数β'或者乘数 r比不是零散性异常区域时小。
[0120] 或者，可以事先取得包含零散性异常区域的异常图像在管腔内图像中连续的张数 的平均值（以下，称作平均连续张数），将零散性异常区域的种类和平均连续张数存储到表 中，并预先记录到记录部50中。在该情况下，附近范围设定部230从记录部50读出该表，提取 与步骤S221中的判定结果相应的平均连续张数，并设定为时间序列附近范围即可。
[0121] (变形例2-2)
[0122] 接着，对本发明的实施方式2的变形例2-2进行说明。图10是示出本发明实施方式2 的变形例2-2的图像处理装置具备的运算部的结构的框图。如图10所示，变形例2-2中的运 算部240替代图4所示的附近范围设定部210而具有附近范围设定部250。
[0123] 附近范围设定部250具有取得异常区域信息的异常区域信息取得部251，根据由异 常区域信息取得部251取得的异常区域信息，对于各个异常图像适当设定时间序列附近范 围。在本变形例2-2中，异常区域信息取得部251具有:连续异常判定部211a，其判定异常区 域是否是出血、粘膜异常、血管异常等连续性异常区域；以及零散异常判定部231a，其判定 异常区域是否是发红、出血点、溃疡等零散性异常区域，该异常区域信息取得部251取得基 于连续异常判定部211a和零散异常判定部231a的判定结果的异常区域的分类结果作为异 常区域信息。另外，连续异常判定部211a的动作与实施方式2相同，零散异常判定部231a的 动作与变形例2-1相同。
[0124] 接着，对变形例2-2的图像处理装置的动作进行说明。变形例2-2的图像处理装置 的动作整体上与在实施方式1中参照的图2相同，步骤S12中的时间序列附近范围的设定动 作与实施方式1不同。
[0125] 图11是示出在图2所示的步骤S12中，由附近范围设定部250执行的时间序列附近 范围的设定动作的流程图。附近范围设定部250对于从一系列的管腔内图像中提取出的各 个异常图像(参照步骤S11)，执行循环C的处理。
[0126] 首先，在步骤S241中，异常区域信息取得部251将在异常图像中包含的异常区域分 类为连续性异常区域、零散性异常区域和除此以外的异常区域。详细来说，连续异常判定部 211a判定该异常区域是否是连续性异常区域，零散异常判定部231a判定该异常区域是否是 零散性异常区域。
[0127] 在接下来的步骤S242中，附近范围设定部250判定步骤S241中的分类的结果、即异 常区域是否是连续性异常区域。在异常区域是连续性异常区域的情况下(步骤S242:是），附 近范围设定部250确定参数γ中的相对于固定值α的扩展值β = β5(β5>〇)(步骤S243)。然后， 附近范围设定部250的动作转移到步骤S247。
[0128] 另一方面，在异常区域不是连续性异常区域的情况下（步骤S242:否），接着，附近 范围设定部250判定异常区域是否是零散性异常区域(步骤S244)。在异常区域是零散性异 常区域的情况下（步骤S244:是），附近范围设定部250确定参数γ中的相对于固定值α的扩 展值β = β6(步骤S245)。这时的扩展值β6设为比在步骤S243中确定的扩展值说小的值。然后， 附近范围设定部250的动作转移到步骤S247。
[0129] 另一方面，在异常区域不是零散性异常区域的情况下(步骤S244:否），附近范围设 定部250确定参数γ中的相对于固定值α的扩展值β = β7(步骤S246)。这时的扩展值扮设为比 在步骤S243中确定的扩展值说小且比在步骤S245中确定的扩展值β 6大的值。
[0130]这里，作为固定值α和扩展值0(05、06、07)，如后所述，在将两者相加时，设定为比在 一系列的管腔内图像中在时间序列上连续的管腔内图像的间隔、即1张大的值。并且，在该 条件下，将扩展值H07确定为β5>β7>β6。这时，可以设为05>〇、07 = 〇、06〈〇，也可以设为05> β7>βθ>0〇
[0131] 在接下来的步骤S247中，附近范围设定部250根据参数γ =α+β，设定时间序列附 近范围。即，使用根据在处理对象的异常图像中包含的异常区域的种类而确定出的扩展值β 来计算参数γ，将在以该异常图像为中心的±丫张的范围中包含的管腔内图像设定为1个 时间序列附近范围。
[0132] 在对从一系列的管腔内图像提取出的全部异常图像进行了循环C的处理后，在接 下来的步骤S248中，在相互不同的异常图像中设定的时间序列附近范围的一部分发生重复 的情况下，附近范围设定部250将发生重复的时间序列附近范围彼此之间合并而成为1个时 间序列附近范围。然后，运算部240的动作返回主例程。
[0133] 如以上所说明，根据本发明的实施方式2的变形例2-2,能够根据异常区域是连续 性异常区域、还是零散性异常区域、或者两者都不是的分类结果，适当确定参数γ。由此，由 于能够根据异常区域的种类适当对包含相同的异常区域的异常图像进行分组，所以能够适 当提取代表图像。
[0134] 另外，在变形例2-2中，可以对分别判别连续性异常区域和零散性异常区域时的分 类指标PU)的阈值进行调整等，将异常区域分类为连续性异常区域与零散性异常区域的任 意一个。
[0135] (实施方式3)
[0136] 接着，说明本发明的实施方式3。图12是示出本发明实施方式3的图像处理装置具 备的运算部的结构的框图。如图12所示，实施方式3的图像处理装置替代图1所示的运算部 100而具有运算部300。该运算部300替代图1所示的附近范围设定部120而具有附近范围设 定部310。除附近范围设定部310以外的运算部300的各个部的动作和除运算部300以外的图 像处理装置的各个部的结构和动作与实施方式1相同。
[0137] 附近范围设定部310具有取得异常区域信息的异常区域信息取得部311，根据由异 常区域信息取得部311取得的异常区域信息，在比在一系列的管腔内图像中在时间序列上 连续的管腔内图像的间隔大的范围内，适当设定时间序列附近范围。
[0138] 在本实施方式3中，异常区域信息取得部311具有计算异常区域的清晰度的清晰度 计算部311a，并取得由清晰度计算部311a计算出的异常区域的清晰度作为异常区域信息。
[0139] 接着，对实施方式3的图像处理装置的动作进行说明。实施方式3的图像处理装置 的动作整体上与在实施方式1中参照的图2相同，步骤S12中的时间序列附近范围的设定动 作与实施方式1不同。
[0140] 图13是示出在图2所示的步骤S12中，由附近范围设定部310执行的时间序列附近 范围的设定动作的流程图。附近范围设定部310对于从一系列的管腔内图像中提取出的各 个异常图像(参照步骤S11)，执行循环D的处理。
[0141] 首先，在步骤S301中，清晰度计算部311a计算在异常图像中包含的异常区域的清 晰度。图14是示出由清晰度计算部311a执行的清晰度计算处理的流程图。在图14所示的步 骤S311中，清晰度计算部311a对异常图像内的异常区域进行标示。
[0142] 在接下来的步骤S312中，清晰度计算部311a将异常图像转换为1个通道的图像。1 个通道的图像可以设任意的成分为像素值。具体而言，制作了如下图像，该图像以构成异常 图像的各个像素的像素值的R成分、G成分或者B成分的任意一个、颜色比G/R或者B/G、以特 定的比率将上述R成分、G成分和B成分相加后的亮度等为像素值。
[0143] 在接下来的步骤S313中，清晰度计算部31 la对在步骤S313中制作出的1个通道的 图像，制作图像的浓度直方图，根据该浓度直方图来求出在步骤S311中进行标示后的异常 区域的对比度。在设异常区域中的像素值的最大值为L max、最小值为Lmin时，异常区域的对比 度C通过下式(3)给出。
[0144] C=(Lmax-Lmin)/(Lmax+Lmin)……(3)
[0145] 在接下来的步骤S314中，清晰度计算部311a计算在步骤S311中进行标示后的异常 区域的尺寸(面积）、即在该异常区域中包含的总像素数。
[0146] 在接下来的步骤S315中，清晰度计算部311a根据异常区域的对比度和尺寸，计算 异常区域的清晰度。异常区域的清晰度V使用异常区域的对比度C、异常区域的尺寸S、任意 的系数kl、k2(kl>0、k2>0)，通过下式⑷给出。
[0147] V = kiXC+k2XS……(4)
[0148] 然后，附近范围设定部310的动作返回主例程。
[0149] 在接着步骤S301的步骤S302中，附近范围设定部310取得在步骤S301中计算出的 清晰度作为异常区域信息，并根据该异常区域信息，确定参数γ中的相对于固定值α的扩展 值β。在本实施方式3中，该扩展值β是根据异常区域的清晰度而适当确定的值。此外，将这些 固定值α和扩展值β设定为作为两者的和的参数γ为2以上。
[0150] 这里，认为在异常区域的清晰度低的情况下，该异常区域是拍摄有管腔内的较淡 或者较小的异常部位的区域。由于很难稳定地检测这样的异常部位，所以即使在一系列的 管腔内图像中，也可能断续地检测异常区域。因此，在本实施方式3中，清晰度V越低，将扩展 值β设定为越大的值，清晰度V越高，将扩展值β设定为越小的值。
[0151]在接下来的步骤S303中，附近范围设定部310根据参数γ =α+β，设定时间序列附 近范围。即，使用根据在处理对象的异常图像中包含的异常区域的清晰度而确定出的扩展 值β来计算参数γ，将在以该异常图像为中心的± 丫张的范围中包含的管腔内图像设定为1 个时间序列附近范围。
[0152] 在对从一系列的管腔内图像提取出的全部异常图像进行了循环D的处理后，在接 下来的步骤S304中，在相互不同的异常图像中设定的时间序列附近范围的一部分发生重复 的情况下，附近范围设定部310将发生重复的时间序列附近范围彼此之间合并而成为1个时 间序列附近范围。然后，运算部300的动作返回主例程。
[0153] 如以上所说明，根据本发明的实施方式3,由于能够根据异常图像内的异常区域的 清晰度来适当设定时间序列附近范围，所以即使在无法稳定检测异常区域的情况下，也能 够抑制将包含相同的异常区域的异常图像分散到不同的异常图像组中的情况，并能够适当 对异常图像进行分组。因此，能够抑制从多个异常图像组中提取包含相同的异常区域的异 常图像作为代表图像的情况，并能够适当提取代表图像。
[0154] 另外，虽然在上述实施方式3中，计算了异常区域的对比度，但是由于在图像整体 的对比度较高的情况下也可以称作清晰度良好，所以可以计算图像整体的对比度，并使用 该对比度来计算清晰度。
[0155] 此外，虽然在上述实施方式3中，根据异常区域的对比度和面积计算了清晰度，但 是可以使用对比度或者面积的任意一个作为清晰度。
[0156] 此外，在上述实施方式3中，也在计算参数γ时（参照步骤S303)，可以替代与固定 值α相加的扩展值β而确定固定值α的系数β'或者乘数β"，将参数γ计算为γ =αΧβ'或者γ =，。在该情况下，清晰度越低，使系数β '或者乘数β"越大。
[0157] 此外，可以将本实施方式3中的时间序列附近范围的设定方法与上述实施方式2或 者变形例2-1、2_2中的时间序列附近范围的设定方法进行组合。具体而言，可以进行以下这 样的调整:根据异常区域的分类结果设定时间序列附近范围，在异常区域的清晰度较高的 情况下缩小该时间序列附近范围，在清晰度较低的情况下扩大该时间序列附近范围。
[0158] (实施方式4)
[0159] 接着，说明本发明的实施方式4。图15是示出本发明实施方式4的图像处理装置具 备的运算部的结构的框图。如图15所示，实施方式4的图像处理装置中，替代图1所示的运算 部1〇〇而具有运算部400。该运算部400中，替代图1所示的附近范围设定部120而具有附近范 围设定部410。除附近范围设定部410以外的运算部400的各个部的动作和除运算部400以外 的图像处理装置的各个部的结构和动作与实施方式1相同。
[0160]附近范围设定部410具有取得与异常图像相关的图像信息的图像信息取得部411， 在比在一系列的管腔内图像中在时间序列上连续的管腔内图像的间隔大的范围内，根据由 图像信息取得部411取得的图像信息，适当设定时间序列附近范围。
[0161]在本实施方式4中，图像信息取得部411具有无用区域的无用区域检测部411a，并 取得由无用区域检测部411a检测的无用区域的检测结果作为图像信息，该无用区域检测部 411a从异常图像中检测与作为检测对象的异常区域之间没有关联性的区域即无用区域。无 用区域具体是指在检查上无用的区域即拍摄有泡或残渣等的区域。
[0162] 接着，对实施方式4的图像处理装置的动作进行说明。实施方式4的图像处理装置 的动作整体上与在实施方式1中参照的图2相同，步骤S12中的时间序列附近范围的设定动 作与实施方式1不同。
[0163] 图16是示出在图2所示的步骤S12中，由附近范围设定部410执行的时间序列附近 范围的设定动作的流程图。附近范围设定部410对于从一系列的管腔内图像中提取出的各 个异常图像(参照步骤S11)，执行循环E的处理。
[0164] 首先，在步骤S401中，无用区域检测部411a检测异常图像内的无用区域。图17是示 出由无用区域检测部411a执行的无用区域的检测处理的流程图。在图17所示的步骤S411 中，无用区域检测部411a通过对异常图像进行区域分割，分割为多个小区域。区域分割能够 使用公知的手法，作为一例，可以举出利用接近像素的合并的区域分割处理，该接近像素的 合并对具有类似的特征量且空间上接近的像素进行合并。
[0165] 在接下来的步骤S412中，无用区域检测部411a计算分割后的各个小区域的颜色特 征量、形状特征量和纹理特征量。具体而言，为了检测残渣特有的黄色系或白色系的颜色， 计算构成小区域的像素的颜色比G/R或颜色比B/G的平均值，作为颜色特征量。或者可以计 算HSI颜色空间中的直方图作为颜色特征量。此外，计算构成小区域的像素与泡模型之间的 相关值，作为形状特征量。这里，泡模型根据在泡的轮廓部和泡的内部存在的通过照明反射 形成的弧形的凸边缘这样的泡图像的特征来设定(参考：日本特开2007-313119号公报）。此 外，为了检测残渣的图案，计算对于照明变化顽强且能够捕捉细微结构的LBP，作为纹理特 征量。
[0166] 在接下来的步骤S413中，无用区域检测部411a根据各个小区域的各个特征量，判 定在异常图像内是否存在泡或残渣等无用区域。详细来说，通过在将各个特征量标准化后 进行加权并合并，制作与判定对象的小区域相关的k行1列的特征向量X。而且，使用事先制 作的无用区域的识别函数，进行无用区域的分类。这时，如上述的式(2)所示，计算基于概率 模型的分类指标Ρ(χ)，在该分类指标Ρ(χ)为阈值以上的情况下，将该小区域判定为泡区域 或者残差区域。然后，附近范围设定部410的动作返回主例程。
[0167] 另外，泡区域和残渣区域的判定(检测)方法未限定为使用上述的特征量的方法。 例如，作为泡区域的判定方法，可以使用根据小区域的亮度高频特征量来检测泡区域的方 法(参考：日本特开2010-115260号公报）、根据泡区域具有的内部构造的特征来提取表示泡 的圆形区域的候选点，并根据该补偿点具有的信息来提取与泡区域对应的圆形区域的方法 (参考：日本特开2012-125469号公报)和从图像中提取具有圆形或者圆弧形状的区域作为 泡候选区域，并使用在该泡候选区域的周缘部中包含的边界区域的信息来判定泡候选区域 是否是泡区域的方法(参考：日本特开2012-120799号公报）。
[0168] 此外，作为残渣区域的判定方法，可以使用根据构成图像的像素的颜色信息来检 测异常部的候选区域，根据基于该候选区域的边界附近像素中的、对应于与活体内的吸收 程度相应的特定波长成分的像素的像素值的特征量来识别残渣区域和异常部区域的方法 (参考：日本特开2013-111420号公报）、和根据异常部的候选区域的形状信息与其周围区域 的形状信息之间的类似性来判别该候选区域是在粘膜中存在的异常部、还是从粘膜浮游出 的残渣的方法(参考：日本特开2013-223672号公报）。
[0169] 在接着步骤S401的步骤S402中，附近范围设定部410取得在步骤S401中检测出的 无用区域的检测结果作为图像信息，并根据该图像信息，确定参数γ中的相对于固定值〇的 扩展值β。在本实施方式4中，该扩展值β是根据无用区域的量而适当确定的值。此外，将这些 固定值α和扩展值β设定为作为两者的和的参数 γ为2以上。
[0170] 这里，在异常图像内中存在泡和残渣等多个无用区域的情况下，异常区域有时会 隐藏在这些无用区域中，在一系列的管腔内图像中，断续地检测异常区域的可能性较高。此 外，在存在泡和残渣等无用区域的情况下，由于异常区域的周围的图像的状态发生较大变 化，所以还有时异常区域的检测本身变得困难。因此，在本实施方式4中，从异常图像中检测 出的无用区域越多，将扩展值β设定为越大的值，无用区域越少，将扩展值β设定为越小的 值。无用区域的量通过对例如无用区域的面积(像素数)相对于异常图像的面积(像素数)的 占有率进行阈值处理来判定即可。或者，可以通过对从异常图像中检测出的无用区域的个 数进行阈值处理，判定无用区域的量的多少。
[0171]在接下来的步骤S403中，附近范围设定部410根据参数γ =α+β，设定时间序列附 近范围。即，使用根据在处理对象的异常图像中包含的无用区域的量而确定出的扩展值β来 计算参数γ，将在以该异常图像为中心的±丫张的范围中包含的管腔内图像设定为1个时 间序列附近范围。
[0172] 在对从一系列的管腔内图像提取出的全部异常图像进行了循环Ε的处理后，在接 下来的步骤S404中，在相互不同的异常图像中设定的时间序列附近范围的一部分发生重复 的情况下，附近范围设定部410将发生重复的时间序列附近范围彼此之间合并而成为1个时 间序列附近范围。然后，运算部400的动作返回主例程。
[0173] 如以上所说明，根据本发明的实施方式4,由于能够根据从异常图像中检测出的无 用区域的量来适当设定时间序列附近范围，所以即使在无法通过无用区域的存在而稳定检 测异常区域的情况下，也能够抑制将包含相同的异常区域的异常图像分散到不同的异常图 像组中的情况，并能够对异常图像进行适当分组。因此，能够抑制从多个异常图像组中提取 包含相同的异常区域的异常图像作为代表图像的情况，并能够适当提取代表图像。
[0174] 另外，在上述实施方式4中，也在计算参数γ时（参照步骤S403)，可以替代与固定 值α相加的扩展值β而确定固定值α的系数β'或者乘数β"，将参数γ计算为γ =αΧβ'或者γ =，。在该情况下，无用区域的量越多，使系数β'或者乘数r越大。
[0175] 此外，可以将本实施方式4中的时间序列附近范围的设定方法与其他实施方式中 的时间序列附近范围的设定方法进行组合。例如，对于根据异常区域的分类结果而设定的 时间序列附近范围（参照实施方式2、变形例2-1、2-2)，可以进行以下这样的调整:在无用区 域的量较多的情况下扩大该时间序列附近范围，在无用区域的量较少的情况下缩小该时间 序列附近范围。此外，对于根据异常区域的清晰度而设定的时间序列附近范围（参照实施方 式3)，可以同样进行与无用区域的量相应的调整。
[0176] (实施方式5)
[0177] 接着，说明本发明的实施方式5。图18是示出本发明实施方式5的图像处理装置具 备的运算部的结构的框图。如图18所示，实施方式5的图像处理装置中，替代图1所示的运算 部1〇〇而具有运算部500。该运算部500替代图1所示的附近范围设定部120和异常图像组提 取部130而具有附近范围设定部510和异常图像组提取部520。除附近范围设定部510和异常 图像组提取部520以外的运算部500的各个部的动作和除运算部500以外的图像处理装置的 各个部的结构和动作与实施方式1相同。
[0178]附近范围设定部510具有取得与异常图像相关的图像信息的图像信息取得部511， 在比在一系列的管腔内图像中在时间序列上连续的管腔内图像的间隔大的范围内，根据由 图像信息取得部511取得的图像信息，适当设定时间序列附近范围。在本实施方式5中，图像 信息取得部511具有对在异常图像中拍摄到的脏器的种类进行分类的脏器分类部511a，取 得表示由脏器分类部511a进行分类后的脏器的种类的信息(脏器信息)作为图像信息。 [0179]异常图像组提取部520根据由附近范围设定部510设定的时间序列附近范围和由 图像信息取得部511取得的图像信息(脏器信息），提取包含相同的异常区域的异常图像组。 [0180]接着，对实施方式5的图像处理装置的动作进行说明。实施方式5的图像处理装置 的动作整体上与在实施方式1中参照的图2相同，步骤S12中的时间序列附近范围的设定动 作和步骤S13中的异常图像组的提取处理与实施方式1不同。
[0181] 图19是示出在图2所示的步骤S12中，由附近范围设定部510执行的时间序列附近 范围的设定动作的流程图。附近范围设定部510对于从一系列的管腔内图像中提取出的各 个异常图像(参照步骤S11)，执行循环F的处理。
[0182] 首先，在步骤S501中，脏器分类部511a取得脏器信息作为异常图像的图像信息。这 里，脏器信息是指表示在异常图像中拍摄到的脏器的种类的信息。图20是示出由脏器分类 部511a执行的脏器信息的取得处理的流程图。在图20所示的步骤S511中，脏器分类部511a 对异常图像内的异常区域进行标示。
[0183] 在接下来的步骤S512中，脏器分类部511a计算异常图像中的、除进行标示后的异 常区域以外的区域的颜色特征量和纹理特征量。这里，胃的粘膜具有以下特征:红的程度比 其他脏器的粘膜重。此外，在小肠中还具有可观察绒毛的褶的图案的特征。由于在大肠中残 渣较多，在大肠的粘膜表面的颜色或者图案和残渣的量等方面能够观察到与其他脏器不 同。所以，异常图像中的、除异常区域以外的区域的颜色特征量或纹理特征量成为用于识别 在异常图像中拍摄到的脏器的种类的有效的指标。
[0184] 具体而言，计算构成该区域的像素中的颜色比G/R或颜色比B/G的平均值，作为除 异常区域以外的区域的颜色特征量。或者可以计算HSI颜色空间中的直方图作为颜色特征 量。此外，为了检测残渣的图案，计算对于照明变化顽强且能够捕捉细微结构的LBP，作为纹 理特征量。
[0185] 在接下来的步骤S513中，脏器分类部511a根据除异常区域以外的区域的各个特征 量，判别在异常图像中拍摄到的脏器的种类。详细来说，通过在将各个特征量标准化后进行 加权并合并，制作与除异常区域以外的区域相关的k行1列的特征向量X。而且，使用事先制 作的各种脏器的识别函数，进行与该区域对应的脏器的判别。这时，按照脏器的种类，计算 上述的式(2)所示的基于概率模型的分类指标P(x)，在该分类指标P(x)为阈值以上的情况 下，判别为是该脏器。这里判別出的脏器的种类是该异常图像的脏器信息。然后，附近范围 设定部510的动作返回主例程。
[0186] 另外，脏器的种类的分类方法未限定为使用上述的特征量的方法。例如，可以根据 异常图像的频率成分信息，判别脏器的种类(参考：日本特开2008-278963号公报）。或者，可 以由用户判别脏器的种类。具体而言，通过运算部500中的图像处理，计算一系列的管腔内 图像各自的平均颜色，制作按照管腔内图像的排列顺序(时间序列顺序)排列这些平均颜色 后的彩条，并显示在显示部40中。该彩条上的平均颜色的交替位置(边界）与一系列的管腔 内图像中的脏器的边界对应。因此，在根据针对输入部30的用户操作而从输入部30向控制 部10输入了选择彩条上的特定的点的信号后，控制部10将与该点对应的管腔内图像的图像 编号输入到运算部500。运算部500以与已输入的图像编号对应的管腔内图像为脏器的边 界，确定在各个管腔内图像中拍摄到的脏器的种类。
[0187] 在接下来的步骤S502中，附近范围设定部510根据在步骤S501中作为图像信息而 取得的脏器信息，确定参数γ中的相对于固定值α的扩展值β。在本实施方式5中，该扩展值β 是根据脏器的种类而适当确定的值。此外，将这些固定值α和扩展值β设定为作为两者的和 的参数γ为2以上。
[0188] 这里，在确定了检查对象即脏器的情况下(例如，在以小肠为检查对象的情况下）， 用户存在以下需求:想要对检查对象脏器(例如小肠)提取较多的代表图像，对除检查对象 外的脏器(例如胃或者大肠)提取较少的代表图像。或者，在由于实施规定的予处置而使蠕 动运动变得剧烈的脏器中，由于胶囊型内窥镜的通过速度较快，所以还存在想要较多提取 代表图像的需求。
[0189] 因此，在本实施方式5中，根据脏器信息来设定时间序列附近范围。具体而言，附近 范围设定部510使针对拍摄有检查对象脏器的异常图像而进行设定的扩展值β相对变小，提 取更多的异常图像组，另一方面，使针对拍摄有检查对象外的脏器的异常图像而设定的扩 展值β相对变大，抑制要提取的异常图像组的数量。或者，可以是在异常图像中拍摄到的脏 器的蠕动运动越剧烈，使扩展值β越小。
[0190]在接下来的步骤S503中，附近范围设定部510根据参数γ =α+β，设定时间序列附 近范围。即，使用根据在处理对象的异常图像中拍摄到的脏器的种类而确定的扩展值β来计 算参数γ，将以该异常图像为中心的在± 丫张的范围中包含的管腔内图像设定为1个时间 序列附近范围。
[0191]在对于从一系列的管腔内图像提取出的全部异常图像进行了循环Ε的处理后，在 接下来的步骤S504中，在相互不同的异常图像中设定的时间序列附近范围的一部分发生重 复的情况下，附近范围设定部510将发生重复的时间序列附近范围彼此之间合并而成为1个 时间序列附近范围。然后，运算部500的动作返回主例程。
[0192] 在接着步骤S12的步骤S13(参照图2)中，异常图像组提取部520根据在步骤S12中 设定的时间序列附近范围和在步骤S501中取得的脏器信息，提取包含相同的异常区域的异 常图像组。详细来说，异常图像组提取部520设在1个时间序列附近范围中包含的异常图像 彼此之间为包含相同的异常区域的异常图像组。这时，当在跨越不同的脏器的状态下设定 了时间序列附近范围时，有可能提取了包含在不同的脏器中存在的不同的异常区域的异常 图像作为相同的异常图像组，无法适当提取代表图像。因此，在本实施方式5中，异常图像组 提取部520还根据异常图像的脏器信息，搜索各个异常图像的时间序列附近范围或者合并 后的时间序列附近范围，在异常图像中拍摄到的脏器的种类发生变化的部位去除时间序列 附近范围。由此，在1个时间序列附近范围内不包含脏器的种类不同的异常图像。
[0193] 如以上所说明，根据本发明的实施方式5,由于对在异常图像中拍摄到的脏器的种 类进行分类，根据脏器的种类来适当设定时间序列附近范围，并且以在1个时间序列附近范 围内不包含脏器的种类不同的异常图像的方式设定时间序列附近范围，所以能够根据检查 的目的和脏器的状态适当提取代表图像。
[0194] 此外，在上述实施方式5中，也在计算参数γ时（参照步骤S503)，可以替代与固定 值α相加的扩展值β而确定固定值α的系数β'或者乘数β"，将参数γ计算为γ =αΧβ'或者γ =，。在该情况下，系数β '或者乘数β"根据脏器的种类来确定。
[0195] 此外，可以将本实施方式5的时间序列附近范围的设定方法与其他实施方式中的 时间序列附近范围的设定方法进行组合。例如，对于根据异常区域的分类结果而设定的时 间序列附近范围（参照实施方式2、变形例2-1、2-2)，可以进行以下这样的调整:根据在异常 图像中拍摄到的脏器的种类来扩大或者缩小时间序列附近范围。此外，对于根据异常区域 的清晰度(参照实施方式3)或无用区域的量(参照实施方式4)而设定的时间序列附近范围， 可以同样进行与脏器的种类相应的调整。
[0196] (实施方式6)
[0197] 接着，说明本发明的实施方式6。图21是示出本发明实施方式6的图像处理装置具 备的运算部的结构的框图。如图21所示，实施方式6的图像处理装置中，替代图1所示的运算 部1〇〇而具有运算部600。该运算部600中，替代图1所示的附近范围设定部120而具有附近范 围设定部610。除附近范围设定部610以外的运算部600的各个部的动作和除运算部600以外 的图像处理装置的各个部的结构和动作与实施方式1相同。
[0198] 附近范围设定部610具有取得显示信息的显示信息取得部611，该显示信息表示在 该图像处理装置中设定的代表图像的显示方法(动态图像显示或者静态图像显示），在比在 一系列的管腔内图像中在时间序列上连续的管腔内图像的间隔大的范围内，根据由该显示 信息取得部611取得的显示信息，适当设定时间序列附近范围。
[0199] 接着，对实施方式6的图像处理装置的动作进行说明。实施方式6的图像处理装置 的动作整体上与在实施方式1中参照的图2相同，步骤S12中的时间序列附近范围的设定动 作与实施方式1不同。
[0200] 图22是示出在图2所示的步骤S12中，由附近范围设定部610执行的时间序列附近 范围的设定动作的流程图。
[0201] 根据针对输入部30的用户操作，在从输入部30向控制部10输入指示代表图像的显 示方法的信号后，控制部10根据该信号来设定代表图像的显示方法。在步骤S601中，显示信 息取得部611取得表示由控制部10设定的显示方法的显示信息。
[0202]在接下来的步骤S602中，附近范围设定部610根据在步骤S601中取得的显示信息， 确定参数γ中的相对于固定值α的扩展值β。在本实施方式6中，该扩展值β是根据代表图像 的显示方法而适当确定的值。此外，将这些固定值α和扩展值β设定为作为两者的和的参数 γ为2以上。
[0203]这里，在进行动态图像显示的情况下，如果时间序列附近范围过长，则有可能在从 异常图像组中提取的代表图像之间场景的变化变得激烈，很难进行代表图像的观察。所以， 在动态图像显示的情况下，可以使时间序列附近范围比较短。另一方面，在进行静态图像显 示的情况下，由于用户花费期望的时间逐张观察代表图像，所以在提取了较多的类似的代 表图像时，观察效率不佳。所以，在静态图像显示的情况下，可以使时间序列附近范围比较 长。因此，附近范围设定部610根据显示信息，在该图像处理装置中设定了动态图像显示的 情况下，使扩展值β相对变小，在设定了静态图像显示的情况下，使扩展值β相对变大。
[0204]在接下来的步骤S603中，附近范围设定部610根据参数γ=α+β，对各个异常图像 设定时间序列附近范围。即，将以各个异常图像为中心的在± γ张中包含的管腔内图像设 定为1个时间序列附近范围。
[0205]在接下来的步骤S604中，在相互不同的异常图像中设定的时间序列附近范围的一 部分发生重复的情况下，附近范围设定部610将发生重复的时间序列附近范围彼此之间合 并而成为1个时间序列附近范围。然后，运算部600的动作返回主例程。
[0206]如以上所说明，根据本发明的实施方式6,由于根据代表图像的显示方法来适当设 定时间序列附近范围，所以用户能够高效观察根据显示方法适当提取出的代表图像。
[0207]另外，在上述实施方式6中，也在计算参数γ时（参照步骤S603)，可以替代与固定 值α相加的扩展值β而确定固定值α的系数β'或者乘数β"，将参数γ计算为γ =αΧβ'或者γ =ae。在该情况下，在进行动态图像显示时，比进行静态图像显示时，使系数β'或者乘数β" 变小。
[0208]此外，可以将本实施方式6的时间序列附近范围的设定方法与其他实施方式中的 时间序列附近范围的设定方法进行组合。例如，对于根据异常区域的分类结果而设定的时 间序列附近范围（参照实施方式2、变形例2-1、2_2)，可以进行以下这样的调整:在动态图像 显示的情况下缩小时间序列附近范围，在静态图像显示的情况下扩大时间序列附近范围。 此外，对于根据异常区域的清晰度(参照实施方式3)、无用区域的区域(参照实施方式4)、脏 器的种类(参照实施方式5)而设定的时间序列附近范围，可以同样进行与显示方法相应的 调整。
[0209]此外，虽然在上述实施方式6中设为每当进行代表图像的显示时，根据显示方法设 定时间序列附近范围，提取包含相同的异常区域的异常图像组，并从各个异常图像组中提 取代表图像，但是也可以事先进行这些处理。即，对于一系列的管腔内图像，以各自的格式 预先制作提取代表图像作为动态图像显示用的图像数据集和提取代表图像作为静态图像 显示用的图像数据集，记录到记录部50中。在进行图像显示时，根据针对输入部30的用户操 作，在从输入部30向控制部10输入指定代表图像的显示方法的信号后，控制部10从记录部 50读出与指定的显示方法对应的图像数据集，显示在显示部40中。
[0210](实施方式7)
[0211]接着，说明本发明的实施方式7。图23是示出本发明实施方式7的图像处理装置具 备的运算部的结构的框图。如图23所示，实施方式7的图像处理装置中，替代图1所示的运算 部1〇〇而具有运算部700。该运算部700中，替代图1所示的附近范围设定部120和异常图像组 提取部130而具有附近范围设定部210和异常图像组提取部720,并且还具有类似度计算部 710。除附近范围设定部210、类似度计算部710和异常图像组提取部720以外的运算部700的 各个部的动作和除运算部700以外的图像处理装置的各个部的结构和动作与实施方式1相 同。此外，附近范围设定部210的动作与实施方式2相同。
[0212] 类似度计算部710对于由附近范围设定部210设定的各个时间序列附近范围，计算 在相同的时间序列附近范围中包含的异常图像之间的异常区域彼此之间的类似度。类似度 的计算方法没有特别限定，例如可以举出计算各个异常区域的颜色特征量、形状特征量、纹 理特征量等特征量并设特征空间中的异常区域彼此之间的距离为类似度的方法。
[0213] 异常图像组提取部720根据由附近范围设定部210设定的时间序列附近范围和由 类似度计算部710计算的类似度，从时间序列附近范围中提取包含相同的异常区域的异常 图像组。
[0214]接着，对实施方式7的图像处理装置的动作进行说明。图24是示出实施方式7的图 像处理装置的动作的流程图。其中，步骤S10、S11与实施方式1相同。此外，步骤S12与实施方 式2相同（参照图5和图6)。
[0215] 在接着步骤S12的步骤S71中，类似度计算部710对于在步骤S12中设定的每个时间 序列附近范围，计算在时间序列附近范围中包含的异常区域彼此之间的类似度。
[0216] 在接下来的步骤S72中，异常图像组提取部720根据在步骤S12中设定的时间序列 附近范围和在步骤S71中计算出的类似度，提取包含相同的异常区域的异常图像组。
[0217] 图25和图26是用于说明异常图像组的提取处理的示意图，并示出按照时间序列顺 序排列的管腔内图像Ml~M9。其中，从管腔内图像(异常图像)M1、M3、M4中检测作为零散性 异常区域的异常区域ml，从管腔内图像(异常图像)14、1518、19中检测作为连续性异常区 域的异常区域m2。所以，如图25所示，在异常图像M1、M3、M4中，在以各个异常图像为中心的 ±2张的范围（γ =2)中分别设定时间序列附近范围Δ Ial、Δ Ia3、Δ Ia4，在异常图像M4、M5、 M8、M9中，在以各个异常图像为中心的± 3张的范围（γ = 3)中分别设定时间序列附近范围 Δ Ib4、Δ Ib5、A lbs、A Ib9。
[0218] 对于这些时间序列附近范围Δ Ial、Δ Ia3、Δ Ia4、Δ Ib4、Δ Ib5、Δ Ib8、Δ Ib9，与实施方 式1~6同样，当合并一部分发生重复的时间序列附近范围彼此之间时，设定了包含管腔内 图像Ml~M9的1个时间序列附近范围Δ Ia+b，提取了属于时间序列附近范围Δ Ia+b的异常图 像組、13、14、15、18、19作为1个异常图像组6以。但是，由于该异常图像组6_包含不同的异 常区域ml、m2,所以在从异常图像组G a+b中提取了代表图像后，有可能仅能够输出异常区域 ml、m2的任意一方作为代表。
[0219] 因此，在本实施方式7中，根据时间序列附近范围和异常区域彼此之间的类似度， 进行异常图像组的提取。详细来说，异常图像组提取部720提取在1个时间序列附近范围中 包含的异常图像中的、异常区域彼此之间的类似度高于规定阈值的异常图像，作为包含相 同的异常区域的异常图像组。由此，如图26所示，能够分别提取包含异常区域ml的异常图像 皿1、]\0、]\14和包含异常区域1112的异常图像14、]\15、]\18、]\19，作为其他异常图像组63^。因此，通 过从异常图像组Ga、Gb中分别提取代表图像，能够与异常区域ml、m2-起作为代表进行输出。 接着步骤S72的步骤S14、S15的动作与实施方式1相同。
[0220] 如以上所说明，根据本发明的实施方式7,由于根据异常区域的种类而适当设定的 时间序列附近范围、和异常区域之间的类似度，提取包含相同的异常区域的异常图像组，所 以即使在按照时间序列顺序排列的一系列的管腔内图像列中包含不同的异常区域的异常 图像的间隔较短的情况下，也能够适当提取包含不同的异常区域的异常图像彼此之间，作 为其他异常图像组。因此，能够不遗漏且不重复地提取从一系列的管腔内图像中检测出的 包含异常区域的异常图像，作为代表图像。
[0221] (变形例7-1)
[0222] 接着，对本发明的实施方式7的变形例7-1进行说明。在上述实施方式7中，类似度 计算部710计算异常区域彼此之间的类似度。在该情况下，如图26所示，能够提取异常区域 ml彼此之间的类似度较高的异常图像Ml、M3、M4作为1个异常图像组Ga，并且，提取异常区域 m2彼此之间的类似度较高的异常图像1415、18、19)作为1个异常图像组仏。
[0223] 但是，除异常区域彼此之间的类似度以外，还可以计算除异常区域以外的区域彼 此之间的类似度，考虑这二者的类似度来进行异常图像组的提取。在该情况下，关于异常图 像M1、M3和异常图像M4,除异常区域ml以外的区域的类似度变低，所以不会成为相同的异常 图像组。此外，关于异常图像M4和异常图像15、18、19，除异常区域!112以外的区域的类似度变 低，所以不会成为相同的异常图像组。其结果，提取异常图像M4,作为与包含异常图像Ml和 M3的异常图像组和包含异常图像M5、M8、M9的异常图像组不同的异常图像组。
[0224] (变形例7-2)
[0225] 接着，对本发明的实施方式7的变形例7-2进行说明。在上述实施方式7中，与实施 方式2同样，根据异常区域是否是连续性异常区域的判定结果，确定了时间序列附近范围的 参数γ。但是，该参数γ与实施方式1同样可以为2以上的固定值，与变形例2-1、2_2同样可 以根据异常区域的判定结果来确定，与实施方式3~6同样可以根据异常区域的清晰度、无 用区域的量、在异常图像中拍摄到的脏器的种类、代表图像的显示方法等来确定。在这些情 况下，替代图23所示的附近范围设定部210而使用实施方式1、变形例2-1、2-2、和实施方式3 ~6中的附近范围设定部120、230、250、310、410、510、610即可。
[0226] 虽然在以上所说明的实施方式1~7中，根据参数γ，将时间序列附近范围设定为 以异常图像为中心的±丫张的图像的范围，但是时间序列附近范围可以未必设定为与异常 图像对称。例如，可以设时间序列附近范围为以异常图像为开头的+Υ张的图像的范围。
[0227] 以上所说明的实施方式1~7以及它们的变形例的图像处理装置能够通过在个人 计算机或工作站等计算机系统中执行记录介质所记录的图像处理程序来实现。此外，也可 以经由局域网（LAN)、广域网(WAN)或互联网等的公共线路，将这种计算机系统连接到其他 计算机系统或服务器等设备上进行使用。此时，实施方式1~7以及这些变形例的图像处理 装置也可以经由这些网络取得管腔内图像的图像数据，并且将图像处理结果输出到经由这 些网络连接的各种输出设备(浏览器或打印机等），还将图像处理结果存储到经由这些网络 连接的存储装置(记录介质及其读取装置等）中。
[0228] 另外，本发明不直接限定为各实施方式1~7及它们的变形例，可通过适当组合各 个实施方式或变形例所公开的多个结构要素来形成各种发明。例如，可从各个实施方式或 变形例所示的全部结构要素中去除几个结构要素来形成，也可适当组合不同实施方式或变 形例所示的结构要素来形成。
[0229] 标号说明
[0230] 1:图像处理装置；10:控制部;20:图像取得部;30:输入部;40:显示部;50:记录部； 51:图像处理程序；100、200、220、240、300、400、500、600、700 :运算部；110:检测部；120、 210、230、250、310、410、510、610:附近范围设定部；130、520、720 :异常图像组提取部；140: 代表图像提取部;211、231、251、311:异常区域信息取得部;211a:连续异常判定部;231a:零 散异常判定部；311a:清晰度计算部；411、511:图像信息取得部;411a:无用区域检测部； 511a:脏器分类部;611:显示信息取得部;710:类似度计算部。
【主权项】
1. 一种图像处理装置，其特征在于， 所述图像处理装置具有： 检测部，其从通过依次拍摄活体的管腔内而取得的一系列的图像组中检测被估计为检 测对象的区域即关注区域，提取包含该关注区域的关注图像； 附近范围设定部，其将按照时间序列顺序排列的所述一系列的图像组中的所述关注图 像的附近的范围设定为时间序列附近范围； 关注图像组提取部，其根据所述时间序列附近范围，从由所述检测部提取出的所述关 注图像中提取包含相同的关注区域的关注图像组；以及 代表图像提取部，其从所述关注图像组中提取代表图像， 所述附近范围设定部将比在所述一系列的图像组中在时间序列上连续的图像的间隔 大的范围设定为所述时间序列附近范围。2. 根据权利要求1所述的图像处理装置，其特征在于， 所述附近范围设定部具有关注区域信息取得部，该关注区域信息取得部取得与所述关 注区域相关的信息即关注区域信息， 所述附近范围设定部根据所述关注区域信息，设定所述时间序列附近范围。3. 根据权利要求2所述的图像处理装置，其特征在于， 所述关注区域信息取得部对所述关注区域的种类进行分类，取得该关注区域的种类的 分类结果作为所述关注区域信息。4. 根据权利要求3所述的图像处理装置，其特征在于， 所述关注区域信息取得部具有连续性判定部，该连续性判定部判定所述关注区域是否 是在所述管腔内连续观察的连续性关注区域， 在所述关注区域是所述连续性关注区域的情况下，所述附近范围设定部使所述时间序 列附近范围大于所述关注区域不是所述连续性关注区域的情况。5. 根据权利要求4所述的图像处理装置，其特征在于， 所述连续性关注区域包含与出血、粘膜异常、血管异常中的任意项对应的区域。6. 根据权利要求3所述的图像处理装置，其特征在于， 所述关注区域信息取得部具有零散性判定部，该零散性判定部判定所述关注区域是否 是在所述管腔内零散观察的零散性关注区域， 在所述关注区域是所述零散性关注区域的情况下，所述附近范围设定部使所述时间序 列附近范围小于所述关注区域不是所述零散性关注区域的情况。7. 根据权利要求6所述的图像处理装置，其特征在于， 所述零散性关注区域包含与发红、出血点、溃疡中的任意项对应的区域。8. 根据权利要求2所述的图像处理装置，其特征在于， 所述关注区域信息取得部具有清晰度计算部，该清晰度计算部计算所述关注区域的清 晰度作为所述关注区域信息， 所述清晰度越高，所述附近范围设定部越缩小所述时间序列附近范围。9. 根据权利要求8所述的图像处理装置，其特征在于， 所述清晰度计算部根据所述关注区域的对比度和尺寸中的至少一方，计算所述清晰 度。10. 根据权利要求1所述的图像处理装置，其特征在于， 所述附近范围设定部具有无用区域检测部，该无用区域检测部检测与所述检测对象没 有关联性的区域即无用区域， 所述附近范围设定部根据所述无用区域的量，设定所述时间序列附近范围。11. 根据权利要求1所述的图像处理装置，其特征在于， 所述附近范围设定部具有脏器分类部，该脏器分类部对所述关注图像中拍摄到的脏器 的种类进行分类， 所述附近范围设定部根据所述脏器的种类，设定所述时间序列附近范围。12. 根据权利要求11所述的图像处理装置，其特征在于， 在所述关注图像中拍摄到的脏器的种类是检查对象脏器的情况下，所述附近范围设定 部与所述关注图像中拍摄到的脏器的种类不是所述检查对象脏器的情况相比，缩小所述时 间序列附近范围。13. 根据权利要求1所述的图像处理装置，其特征在于， 所述附近范围设定部根据所述代表图像的显示方法，设定所述时间序列附近范围。14. 根据权利要求13所述的图像处理装置，其特征在于， 在通过静态图像显示所述代表图像的情况下，所述附近范围设定部与通过动态图像显 示所述代表图像的情况相比，增大所述时间序列附近范围。15. 根据权利要求1~14中的任意一项所述的图像处理装置，其特征在于， 所述图像处理装置还具有类似度计算部，该类似度计算部计算不同的关注区域之间的 类似度， 所述关注图像组提取部除了根据所述时间序列附近范围以外，还根据在所述时间序列 附近范围中包含的多个所述关注区域之间的类似度，提取所述关注图像组。16. 根据权利要求15所述的图像处理装置，其特征在于， 所述关注图像组提取部提取在1个时间序列附近范围中包含的关注图像中的、所述不 同的关注区域之间的类似度大于阈值的关注图像，作为包含所述相同的关注区域的关注图 像组。17. -种图像处理方法，计算机具备的运算部根据通过依次拍摄活体的管腔内而取得 并记录在记录部中的一系列的图像组的图像数据，来执行该图像处理方法，其特征在于， 所述图像处理方法包含： 检测步骤，从所述一系列的图像组中检测被估计为检测对象的区域即关注区域，提取 包含该关注区域的关注图像； 附近范围设定步骤，将按照时间序列顺序排列的所述一系列的图像组中的所述关注图 像的附近的范围设定为时间序列附近范围； 关注图像组提取步骤，根据所述时间序列附近范围，从在所述检测步骤中提取出的所 述关注图像中提取包含相同的关注区域的关注图像组；以及 代表图像提取步骤，从所述关注图像组中提取代表图像， 在所述附近范围设定步骤中，将比在所述一系列的图像组中在时间序列上连续的图像 的间隔大的范围设定为所述时间序列附近范围。18. -种图像处理程序，其特征在于，使计算机执行以下步骤： 检测步骤，从通过依次拍摄活体的管腔内而取得的一系列的图像组中检测被估计为检 测对象的区域即关注区域，提取包含该关注区域的关注图像； 附近范围设定步骤，将按照时间序列顺序排列的所述一系列的图像组中的所述关注图 像的附近的范围设定为时间序列附近范围； 关注图像组提取步骤，根据所述时间序列附近范围，从在所述检测步骤中提取出的所 述关注图像中提取包含相同的关注区域的关注图像组；以及 代表图像提取步骤，从所述关注图像组中提取代表图像， 所述附近范围设定步骤中，将比在所述一系列的图像组中在时间序列上连续的图像的 间隔大的范围设定为所述时间序列附近范围。
【文档编号】A61B1/00GK106068091SQ201580012981
【公开日】2016年11月2日
【申请日】2015年3月17日 公开号201580012981.4, CN 106068091 A, CN 106068091A, CN 201580012981, CN-A-106068091, CN106068091 A, CN106068091A, CN201580012981, CN201580012981.4, PCT/2015/57936, PCT/JP/15/057936, PCT/JP/15/57936, PCT/JP/2015/057936, PCT/JP/2015/57936, PCT/JP15/057936, PCT/JP15/57936, PCT/JP15057936, PCT/JP1557936, PCT/JP2015/057936, PCT/JP2015/57936, PCT/JP2015057936, PCT/JP201557936
【发明人】上山都士也, 神田大和, 北村诚
【申请人】奥林巴斯株式会社