图像处理装置、图像处理方法和程序与流程

本发明涉及从按时间顺序排列的内窥镜图像组中提取高画质的内窥镜图像的图像处理装置、图像处理方法和程序。

背景技术：

专利文献1公开了以画质和动作信息为指标从用户指示的图像周围的图像提取显示图像的技术。它解决了如下的问题：超声波诊断装置中的冻结操作中，因为由诊断者的手对超声波探头的保持、呼吸、体位变化等引起的超声波探头的姿态变化所导致的抖动、模糊等，画质会降低，因此，存在为了得到高画质的图像，要反复进行拍摄的麻烦。具体而言，在保存按时间顺序的多个超声波图像之后，基于用户的指示设定冻结图像，选择与冻结图像处于在时间上接近的关系的多个候选图像，将多个候选图像附带的画质、动作等参照信息作为特征量(指标)来选择显示图像。

现有技术文献

专利文献

专利文献1：日本特开2004-24559号公报

技术实现要素：

发明要解决的技术问题

但是，在上述专利文献1中，难以获取适合用于医师诊断的图像。

本发明是鉴于上述问题而做出的，其目的在于提供从内窥镜图像组中提取适合用于诊断的内窥镜图像的图像处理装置、图像处理方法和程序。

用于解决技术问题的手段

为了解决上述技术问题，实现上述目的，本发明的图像处理装置的特征在于，包括：病变区域分析部，其用于对按时间顺序排列的内窥镜图像组中的各内窥镜图像中出现的病变区域的特性进行分析；提取条件设定部，其用于基于所述病变区域的特性，设定用于从所述内窥镜图像组中提取适合用于诊断的内窥镜图像的提取条件；和图像提取部，其用于基于所述提取条件，从所述内窥镜图像组中提取具有适合用于诊断的画质的内窥镜图像。

本发明的图像处理方法是图像处理装置执行的图像处理方法，其特征在于，包括：病变区域分析步骤，对按时间顺序排列的内窥镜图像组中的各内窥镜图像中出现的病变区域的特性进行分析；提取条件设定步骤，基于所述病变区域的特性，设定用于从所述内窥镜图像组中提取适合用于诊断的内窥镜图像的提取条件；和图像提取步骤，基于所述提取条件，从所述内窥镜图像组中提取具有适合用于诊断的画质的内窥镜图像。

本发明的程序的特征在于，使图像处理装置执行：病变区域分析步骤，对按时间顺序排列的内窥镜图像组中的各内窥镜图像中出现的病变区域的特性进行分析；提取条件设定步骤，基于所述病变区域的特性，设定用于从所述内窥镜图像组中提取适合用于诊断的内窥镜图像的提取条件；和图像提取步骤，基于所述提取条件，从所述内窥镜图像组中提取具有适合用于诊断的画质的内窥镜图像。

发明效果

采用本发明，能够得到能够从内窥镜图像组中提取适合用于诊断的高画质的内窥镜图像的效果。

附图说明

图1是表示本发明实施方式1的图像处理装置的结构的框图。

图2是表示本发明实施方式1的图像处理装置执行的处理的概要的流程图。

图3是表示图2的病变区域特性分析处理的概要的流程图。

图4是表示图2的提取条件设定处理的概要的流程图。

图5是表示本发明实施方式1的变形例1的病变特性信息计算部的结构的框图。

图6是表示本发明实施方式1的变形例1的注视动作判断部的结构的框图。

图7是表示本发明实施方式1的变形例1的基点图像设定部的结构的框图。

图8是表示本发明实施方式1的变形例1的端点区间设定部的结构的框图。

图9是表示本发明实施方式1的变形例2的病变特性信息计算部的结构的框图。

图10是表示本发明实施方式1的变形例2的注视动作判断部的结构的框图。

图11是表示本发明实施方式1的变形例3的病变区域分析部的结构的框图。

图12是表示本发明实施方式1的变形例3的病变区域分析部执行的病变区域特性分析处理的概要的流程图。

图13是表示本发明实施方式1的变形例4的病变区域分析部的结构的框图。

图14是表示本发明实施方式1的变形例4的病变区域分析部执行的病变区域特性分析处理的概要的流程图。

图15是表示本发明实施方式2的运算部的结构的框图。

图16是表示本发明实施方式2的图像处理装置执行的处理的概要的流程图。

图17是表示图16的病变区域特性分析处理的概要的流程图。

图18是表示图16的提取条件设定处理的概要的流程图。

图19是表示图16的内窥镜图像提取处理的概要的流程图。

图20是表示本发明实施方式3的运算部的结构的框图。

图21是表示本发明实施方式3的图像处理装置执行的处理的概要的流程图。

图22是表示图21的病变区域特性分析处理的概要的流程图。

图23是表示图21的提取条件设定处理的概要的流程图。

图24是表示图21的内窥镜图像提取处理的概要的流程图。

具体实施方式

下面，参照附图对本发明实施方式的图像处理装置、图像处理方法和程序进行说明。本发明并不受这些实施方式限定。在各图的记载中，对相同的部分标注了相同的附图标记来表示。

(实施方式1)

[图像处理装置的结构]

图1是表示本发明实施方式1的图像处理装置的结构的框图。作为一个例子，本实施方式1的图像处理装置1是用于从由内窥镜(软性内窥镜或硬性内窥镜等的内窥镜镜体)或胶囊型内窥镜(下面将它们合在一起仅称为“内窥镜”)连续地拍摄的按时间顺序排列的内窥镜图像组(动态图像数据或时序图像组)中提取最适合用于诊断的高画质的内窥镜图像的装置。内窥镜图像通常是在各像素位置具有与r(红色)、g(绿色)、b(蓝色)的波长成分对应的像素水平(像素值)的彩色图像。在下面的说明中，病变区域是指特定区域，即异常区域，在该特定区域出现了出血、发红、凝血、肿瘤、糜烂、溃疡、口疮、绒毛异常等可被视为病变或异常的部位。

图1所示的图像处理装置1包括：图像获取部2，其能够获取表示病变区域的坐标信息的病变区域信息，其中，病变区域信息是由病变区域检测装置(例如deeplearning等机器学习装置)对由内窥镜拍摄到的内窥镜图像组检测病变区域而得到的；输入部3，其用于接受通过从外部操作而输入的输入信号；输出部4，其用于将内窥镜图像组中最适合用于诊断的诊断对象图像输出至外部；记录部5，其用于记录各种程序和由图像获取部2获取的内窥镜图像组；控制部6，其用于控制图像处理装置1整体的动作；和运算部7，其用于对内窥镜图像组进行规定的图像处理。

图像获取部2可与包括内窥镜的系统的形态相应地适当构成。例如，在图像获取部2与内窥镜之间的内窥镜图像组(动态图像数据或静态图像数据)和病变区域信息的传递使用可移动型的记录介质的情况下，图像获取部2可构成为能够可拆装地安装该记录介质、并且能够读取所记录的内窥镜图像组和病变区域信息的读取器装置。此外，在使用记录由内窥镜拍摄到的内窥镜图像组和病变区域信息的服务器的情况下，图像获取部2可由能够与该服务器进行双向通信的通信装置等构成，通过与服务器进行数据通信而获取内窥镜图像组和病变区域信息。此外，也可以是图像获取部2由可从内窥镜经由线缆输入内窥镜图像组和病变区域信息的接口装置等构成。

输入部3例如可由键盘、鼠标、触摸面板、各种开关等输入设备实现，能够将与来自外部的操作相应地接受的输入信号输出至控制部6。

输出部4能够在控制部6的控制下，将通过运算部7的运算而提取出的诊断对象图像输出至外部的显示装置等。输出部4可以使用液晶或有机el(electroluminescence：电致发光)的显示面板等构成，显示包括通过运算部7的运算而提取出的诊断对象图像的各种图像。

记录部5可由闪存、rom(readonlymemory：只读存储器)和ram(randomaccessmemory：随机存取存储器)等各种ic存储器、和内置的或通过数据通信端子连接的硬盘等实现。记录部5记录由图像获取部2获取的内窥镜图像组、以及用于使图像处理装置1动作并且使图像处理装置1执行各种功能的程序和在该程序的执行过程中使用的数据等。例如，记录部5记录用于从内窥镜图像组中提取最适合用于诊断的内窥镜图像的图像处理程序51和在该程序的执行过程中使用的各种信息等。

控制部6可使用cpu(centralprocessingunit：中央处理器)等通用处理器或者asic(applicationspecificintegratedcircuit：专用集成电路)或fpga(fieldprogrammablegatearray：现场可编程门阵列)等执行特定功能的各种运算电路等专用处理器构成。在控制部6是通用处理器的情况下，通过读取记录部5存储的各种程序来进行对构成图像处理装置1的各部的指示和数据的传输等，综合地控制图像处理装置1整体的动作。在控制部6是专用处理器的情况下，可以是处理器单独地执行各种处理，也可以是通过使用记录部5存储的各种数据等，由处理器和记录部5协同或结合地执行各种处理。

运算部7可使用cpu等通用处理器或者asic或fpga等执行特定功能的各种运算电路等专用处理器构成。在运算部7是通用处理器的情况下，通过从记录部5读取图像处理程序51，来执行从所获取的按时间顺序排列的内窥镜图像组中提取最适合用于诊断的内窥镜图像的图像处理。在运算部7是专用处理器的情况下，可以是处理器单独地执行各种处理，也可以是通过使用记录部5存储的各种数据等，由处理器和记录部5协同或结合地执行图像处理。

[运算部的详细结构]

下面，对运算部7的详细结构进行说明。

运算部7包括病变区域分析部71、提取条件设定部72和图像提取部73。

病变区域分析部71经由控制部6或记录部5接受图像获取部2所获取的内窥镜图像组和表示各内窥镜图像中的病变区域的坐标信息的病变区域信息的输入，对各内窥镜图像中出现的病变区域的特征或特性进行分析。病变区域分析部71具有病变区域获取部711、病变区域存在信息获取部712、病变特性信息计算部713和注视动作判断部714。

病变区域获取部711经由控制部6或记录部5获取图像获取部2所获取的内窥镜图像组和表示各内窥镜图像中的病变区域的坐标信息的病变区域信息。

病变区域存在信息获取部712基于各内窥镜图像的病变区域信息，获取病变区域存在信息，该病变区域存在信息表示是否包括具有预先设定的规定值以上的面积的病变区域。

病变特性信息计算部713基于病变区域信息计算表示病变区域的特性的病变特性信息。病变特性信息计算部713具有尺寸获取部7131，其在病变区域存在信息中含有包括具有预先设定的规定值以上的面积的病变区域的信息的情况(下面称为“存在的情况”)下，基于病变区域信息获取病变区域的尺寸信息。

注视动作判断部714基于病变特性信息来判断对病变区域的注视动作。注视动作判断部714具有近景拍摄动作判断部7141，其在病变区域存在信息为“存在”、并且病变特性信息中的尺寸信息为预先设定的规定值以上的情况下，判断为在辨认中并且判断为近景拍摄。

提取条件设定部72基于病变区域的特性(特征)来设定提取条件。提取条件设定部72具有提取对象范围设定部721。

提取对象范围设定部721基于病变区域的特性(特征)，将基点图像和基于基点图像决定的各端点图像间的图像设定为提取对象范围。提取对象范围设定部721具有：基点图像设定部7211，其用于基于病变区域的特性(特征)中的动作信息，将特定的动作位置的内窥镜图像设定为基准图像；和端点区间设定部7212，其用于基于病变区域的特性(特征)中的动作信息，将基点图像前后的特定的动作位置的内窥镜图像作为端点图像，设定从基点图像到端点图像的区间。“基点图像”和“端点图像”分别是按时间顺序排列的图像组中的1张图像。

基点图像设定部7211具有动作变化点提取部7211a，其用于将特定的动作持续预先设定的规定区间之后切换为不同的动作的位置附近的内窥镜图像作为基点图像。

端点区间设定部7212具有动作发生区间位置设定部7212a，其用于设定直到特定的动作发生的图像为止的区间。动作发生区间位置设定部7212a具有基点间设定部7212b，其用于在病变区域存在信息为“存在”的区间中，将基点图像前后的图像作为端点图像。

图像提取部73基于提取条件，提取具有适合用于诊断的画质(满足规定条件的画质)的内窥镜图像。图像提取部73具有用于计算与病变区域的画质相应的评价值的画质评价值计算部731。

[图像处理装置的处理]

下面，对图像处理装置1执行的图像处理方法进行说明。图2是表示图像处理装置1执行的处理的概要的流程图。

如图2所示，病变区域分析部71获取记录部5中记录的内窥镜图像组和病变区域信息，执行对各内窥镜图像的病变区域的特性(特征)进行分析的病变区域特性分析处理(步骤s1)。在步骤s1之后，图像处理装置1进入后述的步骤s2。

图3是表示图2的步骤s1的病变区域特性分析处理的概要的流程图。如图3所示，病变区域存在信息获取部712基于病变区域获取部711从记录部5获取的输入信息即内窥镜图像组和具有病变区域的坐标信息的病变区域信息，获取病变区域存在信息并进行判断，其中，该病变区域存在信息表示是否包括具有预先设定的规定值以上的面积的病变区域(步骤s10)。具体而言，病变区域存在信息获取部712判断病变区域信息中是否包括：病变区域的坐标信息；和表示病变区域具有预先设定的规定值以上的面积的病变区域的信息(标志)。

接着，病变特性信息计算部713基于病变区域信息计算表示病变区域的特性的病变特性信息(步骤s11)。具体而言，尺寸获取部7131在病变区域存在信息为“存在”的情况下，基于病变区域信息获取病变区域的尺寸信息。

之后，注视动作判断部714基于病变特性信息来判断对病变区域的注视动作(步骤s12)。具体而言，近景拍摄动作判断部7141在病变区域存在信息为“存在”的情况下，判断为在辨认中，并且，在病变特性信息中的尺寸信息为预先设定的规定值以上的情况下，判断为近景拍摄。在步骤s12之后，图像处理装置1返回图2的主过程。通过上述处理，病变区域分析部71将动作信息作为病变区域的特性输出至提取条件设定部72。

返回图2，继续进行步骤s2以后的说明。

在步骤s2中，提取条件设定部72对内窥镜图像组执行提取条件设定处理，基于病变区域的特性(特征)来设定提取对象范围，该提取对象范围用于提取基点和基于基点决定的各端点间。

图4是表示图2的步骤s2的提取条件设定处理的概要的流程图。如图4所示，首先，提取对象范围设定部721基于病变区域的特性(特征)中的动作信息，将特定的动作位置的内窥镜图像设定为基点图像(步骤s20)。具体而言，基点图像设定部7211将特定的动作持续预先设定的规定区间之后切换为不同的动作的位置附近的内窥镜图像设定为基点图像。更具体而言，动作变化点提取部7211a基于动作信息，判断是否在辨认中，并且判断是近景拍摄还是远景拍摄，并将从辨认中切换为非辨认中的时刻附近的内窥镜图像、且从近景拍摄切换为远景拍摄的时刻附近的内窥镜图像设定为基点图像。在此，时刻附近是指从辨认中切换为非辨认中的时刻起规定范围的时间，例如1秒。此外，切换为不同的动作的位置附近，是指从切换为不同的动作的位置起规定范围的时间，例如1秒。

接着，端点区间设定部7212基于病变区域的特性(特征)中的动作信息，将基点图像前后的特定的动作位置的内窥镜图像作为端点图像，设定从基点图像到端点图像的区间(步骤s21)。具体而言，动作发生区间位置设定部7212a设定直到特定的动作发生的图像为止的区间。更具体而言，基点间设定部7212b将预先设定的特定的诊断动作持续之后、诊断动作切换的时刻的内窥镜图像作为端点图像，设定从基点图像到端点图像的区间。在步骤s21之后，图像处理装置1返回上述图2的主过程。通过上述处理，提取条件设定部72将提取对象范围的信息输出至图像提取部73。

返回图2，继续进行步骤s3以后的说明。

在步骤s3中，图像提取部73基于提取条件，提取规定条件画质的内窥镜图像。具体而言，画质评价值计算部731设想表层结构中的色偏量、锐度和有效区域面积中的1个以上作为评价值来提取内窥镜图像。在此，关于色偏量，画质评价值计算部731用基点图像计算出根据图像整体计算的彩度信息的代表值(平均值等)，将与基点图像的彩度信息的代表值相比较小的内窥镜图像视为色偏量较小的内窥镜图像，以使得该内窥镜图像的关于画质的评价值较高的方式进行计算。此外，关于锐度，画质评价值计算部731将与基点图像的锐度信息相比较大的内窥镜图像视为锐度较强的内窥镜图像，以使得该内窥镜图像的关于画质的评价值较高的方式进行计算。此外，画质评价值计算部731以使得内窥镜图像的有效区域面积越大，关于画质的评价值越高的方式进行计算。接着，图像提取部73基于计算出的评价值，提取在画质评价值的特征量空间中处于规定范围的图像，从而提取高画质的图像。

在此，在上述专利文献1(日本特开2004-24559号公报)中，对于从用户指示的参照范围中选择图像时的特征量，使用了参照信息中记载的画质或动作，没有提及如何减轻用户指示提取对象范围或提取张数这方面的负担的问题。例如，在内窥镜的管腔内图像中，在被摄体的动作变化大、并且频繁地发生病变区域相对于摄像范围进出而导致被摄体的变动大的场景中，可以想见用户会错失进行冻结指示的时机或无法设定冻结图像的接近范围，因而不一定能够提取出高画质的图像。而依照本发明实施方式1，对作为输入信息得到的病变区域的特性(特征)进行分析，基于病变区域的特性(特征)设定提取条件，基于该提取条件从参照范围图像中提取高画质的图像，从而能够从按时间顺序排列的内窥镜图像组中提取适合用于诊断的内窥镜图像。

(实施方式1的变形例1)

下面，对本发明实施方式1的变形例1进行说明。本实施方式1的变形例1中，上述实施方式1的病变特性信息计算部713、注视动作判断部714、基点图像设定部7211和端点区间设定部7212的结构不同。下面，对本实施方式1的变形例1的病变特性信息计算部、注视动作判断部、基点图像设定部和端点区间设定部进行说明。对于与上述实施方式1的图像处理装置1相同的结构，标注相同的附图标记并省略说明。

图5是表示本发明实施方式1的变形例1的病变特性信息计算部的结构的框图。图5所示的病变特性信息计算部713a基于病变区域信息计算表示病变区域的特性的病变特性信息。病变特性信息计算部713a具有变化量计算部7132，其在病变区域存在信息为“存在”的情况下，按时间顺序计算关注的内窥镜图像与相邻的内窥镜图像的病变区域之间的变化量。在此，变化量是从关注的内窥镜图像和与该关注的内窥镜图像相邻的内窥镜图像的2个病变区域信息的逻辑和的面积减去逻辑积的面积而得到的面积尺寸。

图6是表示本发明实施方式1的变形例1的注视动作判断部的结构的框图。图6所示的注视动作判断部714a基于病变特性信息，判断对病变区域的注视动作。注视动作判断部714a具有静止动作判断部7142，其在病变特性信息中的变化量小于预先设定的规定值的情况下，判断为停止。

图7是表示本发明实施方式1的变形例1的基点图像设定部的结构的框图。图7所示的基点图像设定部721a基于病变区域的特性(特征)中的动作信息，将特定的动作位置的内窥镜图像设定为基点图像。具体而言，在动作信息为关于移动或停止的信息的情况下，基点图像设定部721a将从停止切换为移动的时刻前的内窥镜图像设定为基点图像。基点图像设定部721a具有动作发生点提取部7213，其用于将特定的诊断动作发生的点作为基点图像。具体而言，在动作信息为关于操作动作的信息的情况下，动作发生点提取部7213将图像获取动作时的操作者的操作的开始和结束点的内窥镜图像作为基点图像。

图8是表示本发明实施方式1的变形例1的端点区间设定部的结构的框图。图8所示的端点区间设定部722a基于适合用于病变区域的特性(特征)诊断的画质的动作信息，将基点图像前后的特定的动作位置的内窥镜图像作为端点图像，设定从基点图像到端点图像的区间。端点区间设定部722a具有动作持续区间位置设定部7222。动作持续区间位置设定部7222包括：病变辨认区间设定部7222a，其用于将基点图像前后的病变区域存在信息为“存在”的区间的端点作为端点图像；和时间区间设定部7222b，其用于在病变区域存在信息为“存在”的区间中，将在基点图像前后预先决定的规定值的位置的内窥镜图像作为端点图像。

依照上面说明的本发明实施方式1的变形例1，对作为输入信息得到的病变区域的特性(特征)进行分析，基于病变区域的特性(特征)设定提取条件，基于该提取条件从参照范围图像中提取高画质的图像，从而能够从按时间顺序排列的内窥镜图像组中提取适合用于诊断的内窥镜图像。

(实施方式1的变形例2)

下面，对本发明实施方式1的变形例2进行说明。本实施方式1的变形例2中，上述实施方式1的病变特性信息计算部713和注视动作判断部714的结构不同。下面，对本实施方式1的变形例2的病变特性信息计算部和注视动作判断部进行说明。对于与上述实施方式1的图像处理装置1相同的结构，标注相同的附图标记并省略说明。

图9是表示本发明实施方式1的变形例2的病变特性信息计算部的结构的框图。图9所示的病变特性信息计算部713b基于病变区域信息计算表示病变区域的特性的病变特性信息。病变特性信息计算部713b具有连续张数获取部7133，其对内窥镜图像中出现病变区域之后的图像张数进行计数作为连续张数。

图10是表示本发明实施方式1的变形例2的注视动作判断部的结构的框图。图10所示的注视动作判断部714b基于病变特性信息，判断对病变区域的注视动作。注视动作判断部714b具有注视持续动作判断部7143，其在病变特性信息中的连续张数为预先设定的规定值以上的情况下，判断为注视持续中。在此，注视持续动作判断部7143的判断注视持续中的规定值，是判断每n张的反复注视的阈值。将连续张数为规定数量以上的情况中的、累积变化量为规定值以下的情况判断为注视持续中。

依照上面说明的本发明实施方式1的变形例2，对作为输入信息得到的病变区域的特性(特征)进行分析，基于病变区域的特性(特征)设定提取条件，基于该提取条件从参照范围图像中提取高画质的图像，从而能够从按时间顺序排列的内窥镜图像组中提取适合用于诊断的内窥镜图像。

(实施方式1的变形例3)

下面，对本发明实施方式1的变形例3进行说明。本发明实施方式1的变形例3中，上述实施方式1的病变区域分析部71的结构和病变区域分析部71进行的病变区域特性分析处理不同。下面，对本实施方式1的变形例3的病变区域分析部进行说明之后，对病变区域分析部执行的病变区域特性分析处理进行说明。对于与上述实施方式1的图像处理装置1相同的结构，标注相同的附图标记并省略说明。

图11是表示本发明实施方式1的变形例3的病变区域分析部的结构的框图。图11所示的病变区域分析部71a经由控制部6或记录部5接受图像获取部2所获取的内窥镜图像组和表示各内窥镜图像中的病变区域的坐标信息的病变区域信息的输入，对各内窥镜图像的病变区域的特性(特征)进行分析。病变区域分析部71a具有病变区域获取部711、病变区域存在信息获取部712和基于内窥镜的信号信息来判断内窥镜的操作动作的操作动作判断部715。

下面，对病变区域分析部71a执行的病变区域特性分析处理进行说明。图12是表示病变区域分析部71a执行的病变区域特性分析处理的概要的流程图。在图12中，病变区域分析部71a执行步骤s13代替上述的步骤s11和步骤s12。因此，下面对步骤s13进行说明。

在步骤s13中，操作动作判断部715基于内窥镜的信号信息来判断内窥镜的操作动作。具体而言，内窥镜的信号信息包括：改变图像的倍率的图像倍率改变信息、指示获取缩略图(冻结图像或静止图像)的缩略图获取信息、指示改变角度的角度操作信息和由其它的按钮操作产生的操作信息。

依照上面说明的本发明实施方式1的变形例3，对作为输入信息得到的病变区域的特性(特征)进行分析，基于病变区域的特性(特征)设定提取条件，基于该提取条件从参照范围图像中提取高画质的图像，从而能够从按时间顺序排列的内窥镜图像组中提取适合用于诊断的内窥镜图像。

(实施方式1的变形例4)

下面，对本发明实施方式1的变形例4进行说明。本实施方式1的变形例4中，上述实施方式1的病变区域分析部71的结构和病变区域特性分析处理不同。下面，对本实施方式1的变形例4的病变区域分析部进行说明之后，对病变区域分析部执行的病变区域特性分析处理进行说明。对于与上述实施方式1的图像处理装置1相同的结构，标注相同的附图标记并省略说明。

图13是表示本发明实施方式1的变形例4的病变区域分析部的结构的框图。图13所示的病变区域分析部71b，除了上述实施方式1的病变区域分析部71的结构以外，还具有上述实施方式1的变形例3的病变区域分析部71a的操作动作判断部715。

下面，对病变区域分析部71b执行的病变区域特性分析处理进行说明。图14是表示病变区域分析部71b执行的病变区域特性分析处理的概要的流程图。在图14中，病变区域分析部71b分别执行上述图3的步骤s10～步骤s12，并且执行上述图12的步骤s13。

依照上面说明的本发明实施方式1的变形例4，对作为输入信息得到的病变区域的特性(特征)进行分析，基于病变区域的特性(特征)设定提取条件，基于该提取条件从参照范围图像中提取高画质的图像，从而能够从按时间顺序排列的内窥镜图像组中提取适合用于诊断的内窥镜图像。

(实施方式2)

下面，对本发明实施方式2进行说明。本实施方式2的图像处理装置的运算部与上述实施方式1的图像处理装置1的运算部7结构不同，并且执行的处理不同。下面，对本实施方式2的运算部的结构进行说明之后，对本实施方式2的图像处理装置执行的处理进行说明。对于与上述实施方式1的图像处理装置1相同的结构，标注相同的附图标记并省略说明。

[运算部的结构]

图15是表示本实施方式2的运算部的结构的框图。图15所示的运算部7c包括病变区域分析部71c和提取条件设定部72c代替上述实施方式1的病变区域分析部71和提取条件设定部72。

病变区域分析部71c具有病变特性信息计算部713c代替上述实施方式1的病变特性信息计算部713。

病变特性信息计算部713c基于病变区域信息计算表示病变区域的特性的病变特性信息。病变特性信息计算部713c具有病变严重程度判断部7134，其与预先设定的病变严重程度的级别相应地对病变区域进行分类。

提取条件设定部72c基于病变区域的特性(特征)设定提取条件。提取条件设定部72c具有提取张数决定部723，其用于基于病变区域的病变严重程度信息，在病变严重程度大的情况下，与病变严重程度小的情况相比设定更多的张数。

[图像处理装置的处理]

下面，对图像处理装置1执行的图像处理方法进行说明。图16是表示图像处理装置1执行的处理的概要的流程图。

如图16所示，病变区域分析部71c获取记录部5中记录的内窥镜图像组和病变区域信息，执行对各内窥镜图像的病变区域的特性(特征)进行分析的病变区域特性分析处理(步骤s31)。

图17是表示图16的步骤s31的病变区域特性分析处理的概要的流程图。在图17中，步骤s311对应于上述图3的步骤s10。

在步骤s312中，病变严重程度判断部7134与预先设定的病变严重程度的级别相应地对病变区域进行分类。具体而言，病变严重程度的级别分类处理是如下那样进行的：在病变区域内部设定矩形区域，计算矩形区域内部的纹理特征量，通过机器学习进行级别分类。在此，纹理特征量可使用sift特征量或lbp特征量、cohog等公知的技术计算。接着，利用bof或bovm等对纹理特征量进行矢量量化。机器学习利用svm等强分类器进行分类。例如，病变可被分类为增生息肉、腺瘤病变和浸润癌等。在步骤s312之后，图像处理装置1返回图16的主过程。

返回图16，继续进行步骤s32以后的说明。

在步骤s32中，提取条件设定部72c对内窥镜图像组执行提取条件设定处理，基于病变区域的特性(特征)来设定提取对象范围，该提取对象范围用于提取基点和基于基点决定的各端点间。

图18是表示图16的步骤s32的提取条件设定处理的概要的流程图。如图18所示，提取张数决定部723基于病变区域的病变严重程度信息，在病变严重程度大的情况下，与病变严重程度小的情况相比设定更多的张数(步骤s321)。在步骤s321之后，图像处理装置1返回图16的主过程。

返回图16，继续进行步骤s33以后的说明。

在步骤s33中，图像提取部73基于提取条件来执行内窥镜图像提取处理，提取具有适合用于诊断的画质(满足规定条件的画质)的内窥镜图像。

图19是表示图16的步骤s33的内窥镜图像提取处理的概要的流程图。如图19所示，图像提取部73计算与病变区域的画质相应的评价值(步骤s331)。具体而言，图像提取部73获取：与上述实施方式1的图2的步骤s3同样地计算的关于画质的评价值；和关于病变严重程度信息的评价值。

接着，图像提取部73从画质评价值的特征量空间中距离规定范围近的内窥镜图像中提取由提取条件设定部72c设定的提取张数的内窥镜图像(步骤s332)。具体而言，图像提取部73从画质评价值的特征量空间中距离规定范围近的内窥镜图像中提取由提取条件设定部72c设定的提取张数的内窥镜图像。在步骤s332之后，图像处理装置1返回图16的主过程。

依照上面说明的本发明实施方式2，对作为输入信息得到的病变区域的特性(特征)进行分析，基于病变区域的特性(特征)设定提取条件，基于该提取条件从参照范围图像中提取高画质的图像，从而能够从按时间顺序排列的内窥镜图像组中提取适合用于诊断的内窥镜图像。

(实施方式3)

下面，对本发明实施方式3进行说明。本实施方式3的图像处理装置的运算部与上述实施方式1的图像处理装置1的运算部7结构不同，并且执行的处理不同。下面，对本实施方式3的运算部的结构进行说明之后，对本实施方式3的图像处理装置执行的处理进行说明。对于与上述实施方式1的图像处理装置1相同的结构，标注相同的附图标记并省略说明。

[运算部的结构]

图20是表示本实施方式3的运算部的结构的框图。图20所示的运算部7d包括病变区域分析部71d、提取条件设定部72d和图像提取部73d代替上述实施方式1的病变区域分析部71、提取条件设定部72和图像提取部73。

病变区域分析部71d具有病变特性信息计算部713d和注视动作判断部714d代替上述实施方式1的病变区域分析部71的病变特性信息计算部713和注视动作判断部714。

病变特性信息计算部713d基于病变区域信息计算表示病变区域的特性的病变特性信息。病变特性信息计算部713d具有变化量计算部7135，其在病变区域存在信息为“存在”的情况下，按时间顺序计算关注的内窥镜图像和与该关注的内窥镜图像相邻的内窥镜图像的病变区域的变化量。

注视动作判断部714d基于病变特性信息来判断对病变区域的注视动作。注视动作判断部714d具有静止动作判断部7145，其在变化量小于预先设定的规定值的情况下，判断为停止。

提取条件设定部72d具有与上述实施方式2的提取条件设定部72c相同的结构，基于病变区域的特性(特征)设定提取条件。提取条件设定部72d具有提取张数决定部723，其用于基于病变区域的病变严重程度信息，在病变严重程度大的情况下，与病变严重程度小的情况相比设定更多的张数。

图像提取部73d基于提取条件来提取规定条件画质的内窥镜图像。图像提取部73d具有计算与病变区域的画质相应的评价值的画质评价值计算部731d。画质评价值计算部731d具有计算与对病变区域的视点信息相应的评价值的视点评价值计算部7311。

[图像处理装置的处理]

接着，对图像处理装置1执行的图像处理方法进行说明。图21是表示图像处理装置1执行的处理的概要的流程图。

如图21所示，病变区域分析部71d获取记录部5中记录的内窥镜图像组和病变区域信息，执行对各内窥镜图像的病变区域的特性(特征)进行分析的病变区域特性分析处理(步骤s41)。

图22是表示图21的步骤s41的病变区域特性分析处理的概要的流程图。如图22所示，病变区域存在信息获取部712基于病变区域获取部711从记录部5获取的输入信息即内窥镜图像组和具有病变区域的坐标信息的病变区域信息，获取表示是否包括规定尺寸以上的病变区域的病变区域存在信息并进行判断(步骤s411)。

接着，在病变区域存在信息为“存在”的情况下，变化量计算部7135按时间顺序计算关注的内窥镜图像和与该关注的内窥镜图像相邻的内窥镜图像的病变区域的变化量(步骤s412)。

之后，静止动作判断部7145判断静止动作的诊断动作(步骤s413)。具体而言，静止动作判断部7145在变化量小于预先设定的规定值的情况下，判断为停止。在步骤s413之后，图像处理装置1返回图21的主过程。

返回图21，继续进行步骤s42以后的说明。

在步骤s42中，提取条件设定部72d对内窥镜图像组执行提取条件设定处理，基于病变区域的特性(特征)来设定提取对象范围，该提取对象范围用于提取基点和基于基点决定的各端点间。

图23是表示图21的步骤s42的提取条件设定处理的概要的流程图。如图23所示，提取张数决定部723基于诊断动作中的静止动作信息，在非静止动作且变化量大的情况下，与变化量小的情况相比设定更多的张数(步骤s421)。在步骤s421之后，图像处理装置1返回图21的主过程。

返回图21，继续进行步骤s43以后的说明。

在步骤s43中，图像提取部73基于提取条件来执行内窥镜图像提取处理，提取具有适合用于诊断的画质(满足规定条件的画质)的内窥镜图像。

图24是表示图21的步骤s43的内窥镜图像提取处理的概要的流程图。在图24中，步骤s431和步骤s433分别对应于上述图19的步骤s331和步骤s332，因此省略说明。

在步骤s432中，视点评价值计算部7311计算与对病变区域的视点信息相应的评价值。具体而言，视点评价值计算部7311以如下方式计算评价值：使得在能够确认病变的顶部的从上方观察的视点、能够确认病变的立起的从侧面观察的视点等，重要区域可在图像中宽阔地显现的图像的评价值提高。在此，视点信息可由病变区域周围的粘膜面的梯度信息决定。例如，视点评价值计算部7311以如下方式计算评价值：当是上方的视点时，使得病变附近区域的梯度强度和方向分散。在步骤s432之后，图像处理装置1进入步骤s433。

依照上面说明的本发明实施方式3，对作为输入信息得到的病变区域的特性(特征)进行分析，基于病变区域的特性(特征)设定提取条件，基于该提取条件从参照范围图像中提取高画质的图像，从而能够从按时间顺序排列的内窥镜图像组中提取适合用于诊断的内窥镜图像。

(其它实施方式)

本发明能够通过利用个人计算机或工作站等计算机系统执行记录装置中记录的图像处理程序来实现。也可以是将这样的计算机系统经由局域网(lan)、广域网(wan)或互联网等公共线路与其它的计算机系统或服务器等设备连接使用。在该情况下，实施方式1～2及其变形例的图像处理装置也可以经由这些网络获取管腔内图像的图像数据，或者将图像处理结果输出至经由这些网络连接的查看器(viewer)或打印机等各种输出设备，或者将图像处理结果保存在经由这些网络连接的存储装置、例如能够由与网络连接的读取装置读取的记录介质等中。

在本说明书中的流程图的说明中，使用“首先”、“之后”、“接着”等表述明确地表示出了步骤之间的处理的前后关系，但是为了实施本发明所需要的处理的顺序并不是由这些表述唯一决定的。即，本说明书中记载的流程图中的处理的顺序，可以在不产生矛盾的范围内改变。

本发明并不限定于实施方式1～3及其变形例，通过将各实施方式或变形例中公开的多个构成要素适当组合，能够形成各种技术方案。例如，可以从各实施方式或变形例所示的全部构成要素中除去某些构成要素而形成，也可以将不同的实施方式或变形例所示的构成要素适当组合而形成。

附图标记说明

1图像处理装置

2图像获取部

3输入部

4输出部

5记录部

6控制部

7、7c、7d运算部

51图像处理程序

62图像提取部

71、71a、71b、71c、71d病变区域分析部

72、72c、72d提取条件设定部

73、73d图像提取部

711病变区域获取部

712病变区域存在信息获取部

713、713a、713b、713c、713d病变特性信息计算部

714、714a、714b、714d注视动作判断部

715操作动作判断部

721提取对象范围设定部

721a基点图像设定部

722a端点区间设定部

723提取张数决定部

731画质评价值计算部

7131尺寸获取部

7132变化量计算部

7133连续张数获取部

7134病变严重程度判断部

7135变化量计算部

7141近景拍摄动作判断部

7142、7145静止动作判断部

7143注视持续动作判断部

7211基点图像设定部

7211a、7211b动作变化点提取部

7212端点区间设定部

7212a动作发生区间位置设定部

7212b基点间设定部

7213动作发生点提取部

7222动作持续区间位置设定部

7222a病变辨认区间设定部

7222b时间区间设定部

7311视点评价值计算部