图像处理装置的制作方法

本发明涉及处理生物体组织的图像的图像处理装置。

背景技术：

通常，生物体组织的病变部与正常的部位显示出不同的颜色。由于彩色内窥镜装置的性能提升，从而也可以识别颜色与正常组织稍微不同的病变部。但是，为了基于内窥镜图像上的颜色上的细微的差异而能够正确地从正常组织中识别病变部，医生需要在专业人员的指导下进行长期的训练。并且，即使对于经过训练的医生，也不能轻易地根据颜色上的细微的差别而识别出病变部，所以需要谨慎地工作。

因此，例如特开2014－18332号公报(以下记为“专利文献1”。)中提案有一种电子内窥镜装置，为了容易地识别病变部，基于颜色信息对在白色光的照明下拍摄到的内窥镜图像数据判定被摄体是否为病变部，并且进行变更被判定为病变部的部位的像素的颜色的彩色绘图处理。

技术实现要素：

专利文献1的电子内窥镜装置中，由于对所有的像素进行彩色绘图处理，因此彩色绘图处理所需的计算量非常多。因此，在筛查时等的图像的移动快时，彩色绘图处理变缓，不能追随拍摄内窥镜图像的帧速率。其结果，由于对在成为其基准的内窥镜图像之后拍摄的其它内窥镜图像实施彩色绘图，所以有在内窥镜图像与彩色绘图之间产生错位的问题。

本发明是鉴于上述情况而创立的，其目的在于，防止标注于内窥镜图像上的显示病变部的标记与内窥镜图像的错位。

根据本发明的一实施方式，提供一种图像处理装置，其具备：图像数据获取单元，其获取由拍摄有生物体组织的多个图像数据构成的彩色动态图像数据；场景判定单元，其基于彩色动态图像数据来判定拍摄场景；评分计算单元，其基于图像数据，对每个像素计算表示拍摄在图像数据所表示的图像上的生物体组织的病变的重症度的评分；标记单元，其在图像上标注表示评分的分布的标记，标记单元可执行标注详细表示评分的分布的标记的详细标记处理、标注比详细标记处理更简易地表示评分的分布的简易标记处理，根据拍摄场景的判定结果，执行详细标记处理和简易标记处理的任一处理。

另外，所述的图像处理装置中，也可以为如下结构，场景判定单元判定拍摄在彩色动态图像数据中的图像检查的种类。

另外，所述的图像处理装置中，也可以为如下结构，场景判定单元判定是筛查和精查的哪一种拍摄场景，在判定为筛查的拍摄场景时，标记单元进行简易标记处理，在判定为精查的拍摄场景时，标记单元进行详细标记处理。

另外，所述的图像处理装置中，也可以为如下结构，场景判定单元具备视频图像分析单元，所述视频图像分析单元进行图像的移动的分析。

另外，所述的图像处理装置中，也可以为如下结构，视频图像分析单元具备基于连续的多个图像数据来计算速度场的速度场计算单元，基于速度场的计算结果来判定图像检查的种类。

另外，所述的图像处理装置中，也可以为如下结构，视频图像分析单元具备图像速度计算单元，图像速度计算单元计算构成速度场的各像素的速度矢量的大小的代表值并将其作为图像速度获取。

另外，所述的图像处理装置中，也可以为如下结构，视频图像分析单元具备图像速度变化率计算单元，所述图像速度变化率计算单元计算图像速度的每单位时间的变化量即图像速度变化率。

另外，所述的图像处理装置中，也可以为如下结构，视频图像分析单元具备低分辨率化单元，低分辨率化单元使图像数据的分辨率降低。

另外，所述的图像处理装置中，也可以为如下结构，场景判定单元具备亮度图像数据生成单元，所述亮度图像数据生成单元生成以图像数据的亮度作为像素值的亮度图像数据。

另外，所述的图像处理装置中，也可以为如下结构，场景判定单元具备图像简化单元，所述图像简化单元使通过亮度图像数据表示的亮度图像简化。

另外，所述的图像处理装置中，也可以为如下结构，图像简化单元具备：低分辨率化单元，其使亮度图像低分辨率化；晕色单元，其对低分辨率化了的亮度图像实施晕色处理；高分辨率化单元，其使晕色处理了的亮度图像恢复为本来的分辨率。

另外，所述的图像处理装置中，也可以为如下结构，图像简化单元具备低层次化单元，所述低层次化单元使亮度图像数据的层次降低。

另外，所述的图像处理装置中，也可以为如下结构，场景判定单元具备等高线图像数据生成单元，所述等高线图像数据生成单元基于亮度图像生成表示亮度的等高线的等高线图像数据。

另外，所述的图像处理装置中，也可以为如下结构，等高线图像数据生成单元具备矢量微分运算单元，所述矢量微分运算单元计算亮度图像的梯度。

另外，所述的图像处理装置中，也可以为如下结构，场景判定单元具备计算等高线的密集度的等高线密集度计算单元，基于等高线的密集度判定拍摄场景。

另外，所述的图像处理装置中，也可以为如下结构，场景判定单元具备计算图像内的亮度梯度的亮度梯度计算单元，基于亮度梯度判定拍摄场景。

另外，所述的图像处理装置中，也可以为如下结构，场景判定单元具备计算图像的低亮度区域的圆形度的圆形度计算单元，基于圆形度判定拍摄场景。

另外，所述的图像处理装置中，也可以为如下结构，场景判定单元具备计算图像的低亮度区域的重心的重心计算单元，基于重心判定拍摄场景。

根据本发明的一实施方式，防止标注于内窥镜图像上的显示病变部的标记与内窥镜图像的错位。

附图说明

图1是表示本发明实施方式的电子内窥镜装置的概略结构的框图。

图2是表示与本发明实施方式的电子内窥镜装置的图像处理有关的电路的概略结构的框图。

图3是表示图像存储器的存储区域的概略结构的图。

图4是表示图像处理电路进行的处理的顺序的流程图。

图5是用于TE处理的增益曲线的一例。

图6是表示有效像素判定处理的顺序的流程图。

图7是表示病变判定处理的顺序的流程图。

图8是在HS坐标空间上绘制了生物体组织图像的像素值的散布图。

图9是表示评分计算处理的顺序的流程图。

图10是表示色调距离、饱和度距离和相关值的关系的图表。

图11是说明典型的内窥镜图像的明暗分布的图。

图12是表示场景判定处理的顺序的流程图。

图13是表示视频图像分析处理的顺序的流程图。

图14是说明亮度梯度计算处理的顺序的流程图。

图15是说明亮度梯度计算处理的图。(a)是亮度图像的一例，(b)是亮度指数的梯度的绝对值的图表的一例，(c)是等高线图像的一例。

图16是表示检查类别判定处理的顺序的流程图。

图17是表示标记图像的例子的图。

图18是通过显示画面生成处理生成的显示画面的一例。

具体实施方式

以下，参照附图说明本发明的图像处理装置的实施方式。此外，以下，作为本发明的一实施方式，以电子内窥镜系统为例进行说明。

[电子内窥镜装置1整体的结构]

图1是表示本发明的电子内窥镜装置1的结构的框图。如图1所示，电子内窥镜装置1具备电子镜100、处理器200及监视器900。

处理器200具备系统控制器202及时序控制器204。系统控制器202执行存储于存储器212中的各种程序，并统一控制电子内窥镜装置1整体。另外，系统控制器202与操作面板214连接。系统控制器202根据由操作面板214输入的来自医生的指示而变更电子内窥镜装置1的各动作及用于各动作的参数。时序控制器204将调整各部分的动作的时序的同步信号输出至电子内窥镜装置1内的各电路。

灯208在通过灯电源206启动后，射出照射光L。灯208例如是氙灯、卤素灯、汞灯、金属卤素灯等高亮度灯或LED(发光二极管)。照射光L是主要在可见光区域至不可见的红外光区域具有宽的光谱的光(或至少包含可见光区域的白色光)。

从灯208射出的照射光L通过聚光透镜210会聚于LCB(光导束)102的入射端面，并向LCB102内入射。

入射到LCB102内的照射光L在LCB102内传播，并从配置于电子镜100的前端的LCB102的射出端面射出，经由配光透镜104向被摄体进行照射。来自被照射光L照射的被摄体的返回光经由物镜106在固体拍摄元件108的受光面上形成光学图像。

固体拍摄元件108是补色方格色差线顺序方式(補色市松色差線順次方式)的单板式彩色CCD(电荷耦合装置)图像传感器。固体拍摄元件108对在受光面上成像的被摄体的光学图像进行拍摄，输出模拟拍摄信号。具体而言，固体拍摄元件108将由受光面上的各像素成像的光学图像作为与光量相对应的电荷蓄积，生成黄色Ye、青色Cy、绿色G、品红色Mg的颜色信号，且依次输出将所生成的在垂直方向上相邻的两个像素的颜色信号相加并混合而得到的扫描线。此外，固体拍摄元件108不限于CCD图像传感器，也可以代换为CMOS(互补金属氧化物半导体)图像传感器或其它种类的拍摄装置。固体拍摄元件108还可以是搭载有原色系滤光片(拜耳阵列滤光片)的元件。

在电子镜100的连接部内具备驱动器信号处理电路110。以半帧周期通过固体拍摄元件108向驱动器信号处理电路110输入由上述的扫描线构成的模拟拍摄信号。此外，在以后的说明中，“半帧”也可以替换为“帧”。本实施方式中，半帧周期、帧周期分别为1/60秒、1/30秒。驱动器信号处理电路110对通过固体拍摄元件108输入的模拟拍摄信号实施规定的处理，并向处理器200的图像处理电路220输出。

驱动器信号处理电路110还访问存储器120并读出电子镜100的固有信息。存储器120中所记录的电子镜100的固有信息中包含例如固体拍摄元件108的像素数或敏感度、可动作的半帧速率、型号等。驱动器信号处理电路110将从存储器120读出的固有信息输出至系统控制器202。

系统控制器202基于电子镜100的固有信息进行各种运算，生成控制信号。系统控制器202使用所生成的控制信号控制处理器200内的各种电路的动作及时序，以进行适于与处理器200连接的电子镜的处理。

时序控制器204根据系统控制器202的时序控制生成同步信号。驱动器信号处理电路110根据从时序控制器204供给的同步信号，在与处理器200生成的视频信号的半帧速率同步的时序驱动控制固体拍摄元件108。

在系统控制器202的控制下，图像处理电路220基于从电子镜100输出的拍摄信号生成图像数据。另外，图像处理电路220使用所生成的图像数据生成监视器显示用的画面数据，并将该画面数据转换为规定的视频格式的视频信号输出。视频信号被输入到监视器900，从而在监视器900的显示画面上显示被摄体的彩色图像。

图2是表示与电子内窥镜装置1的图像处理有关的电路的概略结构的框图。

驱动器信号处理电路110具备驱动电路112和AFE(模拟前端)114。驱动电路112基于同步信号生成固体拍摄元件108的驱动信号。AFE114对从固体拍摄元件108输出的模拟拍摄信号进行噪声除去、信号放大/增益修正及A/D转换，输出数字拍摄信号。此外，本实施方式中，也可以为固体拍摄元件108或图像处理电路220进行AFE114所进行的所有处理或一部分处理的结构。

图像处理电路220具备基本处理部220a、输出电路220b、TE(Tone Enhancement：色调增强)处理部221、有效像素判定部222、色彩空间转换部223、病变判定部224、评分计算部225、标记处理部226、图像存储器227、显示画面生成部228、存储器229及场景判定部230。图像处理电路220的各部分进行的处理后述。

图3是表示图像存储器227所具备的存储区域的概略结构的图。在本实施方式的图像存储器227中设有四个存储区域P_n、P_e、P_c、P_m。存储区域P_n是存储基本处理部220a所生成的通常观察图像数据N(表示通常观察图像NP的图像数据)的区域。此外，可以在存储区域P_n存储连续生成的二个以上的通常观察图像数据N。另外，数据向存储区域P_n的写入/读出通过先入先出方式(FIFO)进行。存储区域P_e是存储TE处理部221所生成的色调增强图像数据E(显示色调增强图像EP的图像数据)的区域。存储区域P_c是存储标记处理部226所生成的彩色图像数据CM(表示彩色图像CMP的图像数据)的区域。存储区域P_m是存储标记处理部226所生成的标记图像数据M(表示标记图像MP的图像数据)的区域。

另外，如图2所示，在存储器229中存储标识表FT、评分表ST、色调相关值表HCT及饱和度相关值表SCT及显示色表DCT。标识表FT及评分表ST是分别由表示与通常观察图像数据N的各像素(x，y)相关的分析结果的标识F(x，y)、评分Sc(x，y)构成的数值表。具体而言，标识F(x，y)是表示拍摄在对应的像素(x，y)上的组织有无病变的参数，评分Sc(x，y)是表示该病变的重症度的参数。显示色表DCT是规定评分Sc(x，y)和彩色图像CMP的显示色(色码)的对应关系的数值表。后述色调相关值表HCT及饱和度相关值表SCT。

[基本处理S1]

其次，说明图像处理电路220进行的处理。

图4是表示图像处理电路220进行的处理的顺序的流程图。从AFE114输出的数字信号首先通过基本处理部220a进行一般的信号处理(基本处理S1)，生成通常观察图像数据N。

基本处理S1包含：将从AFE114输出的数字拍摄信号转换为亮度信号Y及色差信号Cb、Cr的处理；从亮度信号Y及色差信号Cb、Cr分离原色信号R、G、B的原色分离处理；除去偏置成分的钳位处理；使用周围像素的像素值修正缺陷像素的像素值的缺陷修正处理；将由单色的像素值构成的拍摄数据(RAW数据)转换为由全彩色的像素值构成的图像数据的去马赛克处理(插值处理)；使用颜色矩阵修正拍摄元件的分光特性的线性矩阵处理；修正照明光的光谱特性的白平衡处理；补偿空间频率特性的劣化的轮廓修正等。

此外，本实施方式中，也可以设为驱动器信号处理电路110或固体拍摄元件108进行基本处理部220a所进行的全部处理或一部分处理的结构。

由基本处理部220a生成的通常观察图像数据N被输入TE处理部221及场景判定部230，同时被存储于图像存储器227的存储区域P_n。

[动作模式判定处理S2]

接着，判断是否设定为图像分析模式(S2)。本发明的实施方式的图像分析模式是对图像数据的各像素分析颜色信息，根据颜色信息的分析结果并基于规定的判定基准判定是否为拍下病变部的像素(以下称为“病变像素”。)，并识别显示病变像素的动作模式。所判定的病变的种类可根据检查内容来选择。以下说明的例子中，提取炎症性肠病(IBD)的病变即炎症(包含水肿或易出血性的红色病变)的观察像所特有的色域的像素并进行识别显示。

此外，本实施方式的电子内窥镜装置1构成为在图像分析模式和通常观察模式这两个动作模式下进行动作。动作模式通过用户对电子镜100的操作部130或处理器200的操作面板214的操作进行切换。在设定为通常观察模式的情况下(S2：否)，处理进入S12。

[TE(色调增强)处理S3]

在选择图像分析模式的情况下(S2：是)，接着进行TE处理部221所进行的TE处理S3。TE处理S3是这样的处理，为了提高病变的判定精度，进行对通常观察图像数据N的各原色信号R、G、B提供非线性增益(收益)的增益调整，使判定对象的病变所特有的色域(特别是其边界部)附近的动态范围实质上扩大，提高颜色表现的实效的分辨率。具体而言，TE处理S3中，进行对各原色信号R、G、B提供图5所示的非线性的增益而取得原色信号R′、G′、B′(色调增强图像数据E)的处理。例如，图5的增益曲线从溃疡所特有的色域的边界区域R_A到炎症所特有的色域的边界区域R_B，斜率变得陡峭。通过根据这样的增益曲线赋予增益，可以从边界区域R_A到边界区域R_B加宽原色信号R′(对原色信号R实施了TE处理S3而得到的信号)的实质的动态范围，可以进行更精确的阈值判定。

此外，通过TE处理S3，炎症部变红，溃疡部变白，正常部变绿。因此，在监视器900上显示通过TE处理S3生成的色调增强图像数据E时，与显示TE处理S3前的通常观察图像数据N的情况相比，能够容易地辨识病变部(炎症部或溃疡部)。此外，上述的TE处理S3是可适用于本发明的色彩增强处理的一例，也可以代替TE处理S3而使用提高颜色的性质、具体而言为色调或饱和度(或色度)的对比度的其它种类的色彩增强处理。

[有效像素判定处理S4]

TE处理S3完成后，接着对色调增强图像数据E进行有效像素判定部222所进行的有效像素判定处理S4。此外，也可以省略TE处理S3而对通常观察图像数据N进行有效像素判定处理S4。

图6是表示有效像素判定处理S4的顺序的流程图。有效像素判定处理S4是判定像素值是否适用于图像分析的处理，对构成图像数据的所有像素(x，y)依次执行。在有效像素判定处理S4中，首先，对于各像素(x，y)，根据下述公式1，从色调增强图像数据E的原色信号R′(x，y)，G′(x，y)，B′(x，y)计算修正亮度int(x，y)(S41)。

【数学式1】

int(x，y)＝0.3*R′(x，y)+0.59*G′(x，y)+0.11*B′(x，y)

此外，计算出的修正亮度int(x，y)的值用于接下来的适当曝光判定处理S42。另外，自公式1表明，修正亮度int(x，y)不是原色信号R′(x，y)，G′(x，y)，B′(x，y)的单纯平均，而是作为基于人(医生)的比视感度特性的加权平均求出。

接着，对于各像素，基于处理S41中计算出的色调增强图像数据E的修正亮度int(x，y)及原色信号R′(x，y)，G′(x，y)，B′(x，y)，进行判定是否为适于图像分析的曝光等级的适当曝光判定处理S42。适当曝光判定处理S42中，在满足下面两个条件(公式2、公式3)的至少一方(或两方)的情况下，判定为适当曝光(S42：是)。此外，通过公式2规定修正亮度int(x，y)(整体的光量)的上限值，通过公式3规定各原色信号R′(x，y)，G′(x，y)，B′(x，y)的下限值。

【数学式2】

int(x，y)＜235

【数学式3】

Max{R′(x，y)，G′(x，y)，B′(x，y)}＞20

对于像素(x，y)，如果满足公式2或公式3(或者公式2及公式3)并判定为适当曝光(S42：是)，则有效像素判定部222将与存储于存储器229的标识表FT的像素(x，y)相对应的标识F(x，y)的值改写为“1”(S43)。

此外，标识F(x，y)取0～2中任一个标识值。各标识值的定义如下。

0：像素数据无效

1：正常或未判定(像素数据有效)

2：病变(炎症)

另外，在适当曝光判定处理S42中，在既不满足公式2也不满足公式3的条件(或者不满足任一个条件)并判定为曝光不适当时(S42：否)，有效像素判定部222将标识F(x，y)的值改写为“0”(S44)。

接着，在处理S45中，判断对所有的像素(x，y)的处理是否完成。重复上述的处理S41～S45，直到所有的像素(x，y)的处理均完成为止。

[色彩空间转换处理S5]

如果有效像素判定处理S4完成，则接着通过色彩空间转换部223对色调增强图像数据E进行色彩空间转换处理S5。色彩空间转换处理S5是将由RGB3原色定义的RGB空间的像素值转换为由色调(Hue)/饱和度(Saturation)/亮度(Intensity)的3要素定义的HSI(Hue-Saturation-Intensity)空间的像素值的处理。具体而言，在色彩空间转换处理S5中，将色调增强图像数据E的各像素(x，y)的原色信号R′(x，y)、G′(x，y)、B′(x，y)转换为色调H(x，y)、饱和度S(x，y)、亮度I(x，y)。

另外，曝光不足或过剩的像素的数据的精度低，会降低分析结果的可靠性。因此，色彩空间转换处理S5仅对将标识F(x，y)的值设定为“1”的(即在上述的有效像素判定处理S4中判定为适当曝光)像素(x，y)进行。

由通过色彩空间转换部223生成的各像素(x，y)的色调H(x，y)、饱和度S(x，y)及亮度I(x，y)的判定用图像数据J{H(x，y)、S(x，y)、I(x，y)}被输入病变判定部224。

[病变判定处理S6]

如果色彩空间转换处理S5完成，则接下来通过病变判定部224进行使用了判定用图像数据J的病变判定处理S6。病变判定处理S6是对于内窥镜图像的各像素(x，y)，通过判定用图像数据J被绘制在HS空间(色调－饱和度空间)上的后述的区域α、β(图8)的任一区域来判定拍摄在该像素上的生物体组织的状态(是否为炎症部)的处理。此外，HS空间与色度空间相同，是表示颜色的性质(亮度/除亮度以外的颜色的要素)的空间。例如，在CIE 1976L*a*b*色彩空间等的其它色彩空间上进行图像分析时，病变判定部224在色度空间(例如a*b*空间)上进行。

图7是表示病变判定处理S6的顺序的流程图。病变判定处理S6对构成图像数据的所有的像素(x，y)依次进行。在病变判定处理S6中，首先，参照标识表FT判断各像素(x，y)的数据是否有效(S61)。如果标识F(x，y)的值为“1”(像素数据有效)，则接下来进行炎症判定处理S62。另外，如果标识F(x，y)的值为“0”(像素数据无效)，则不进行炎症判定处理S62而进入处理S64。

在此，说明炎症判定处理S62。图8是在HS空间上绘制了从多个炎症性肠病患者的内窥镜图像数据取得的判定用图像数据J的散布图。

图8的散布图被区分为由右侧下方的虚线包围的区域β、和其以外的区域α。根据本发明者的研究判明了，被熟练掌握炎症性肠病的内窥镜诊断的医生判断为炎症部的部位的像素的大部分被绘制于区域β，被诊断为非炎症部的部位的像素的大部分被绘制于区域α。这意味着，根据拍摄生物体组织得到的内窥镜观察图像的色调(色调(色合い))和饱和度(鲜明度)这两个信息，能够非常可靠地判断生物体组织的状态(有无炎症)。

在炎症判定处理S62中，判定各像素(x，y)的判定用图像数据J{(H(x，y)，S(x，y)}是否绘制在图8的区域β中。具体而言，在满足以下的公式4及公式5这两方的情况下，判定用图像数据J{(H(x，y)，S(x，y)}绘制在区域β中(即，判定为炎症部的像素)。另外，在不满足公式4及公式5的至少一方的情况下，判定用图像数据J{(H(x，y)，S(x，y)}绘制在区域α中(即，判定为非炎症部的像素)。此外，δ_S1、δ_H1及δ_H2是医生可设定的修正值，通过设定这些修正值，能够适宜调整判定的严重性(敏感度)等。

【数学式4】

i30+δ_S1≤S(x，y)

【数学式5】

60+δ_H1≤H(x，y)≤100+δ_H2

像素(x，y)的判定用图像数据J{(H(x，y)，S(x，y)}被绘制在区域β中时(S62：是)，对应于像素(x，y)的标识F(x，y)的值被改写为“2”(炎症)(S63)，进入处理S64。另外，判定用图像数据J{H(x，y)，S(x，y)}未被绘制在区域β中时(S62：否)，标识F(x，y)不被改写而进入处理S64。

在处理S64中，判定对所有的像素(x，y)的处理是否完成。重复上述的处理S61～S64，直至所有的像素(x，y)的处理完成为止。

[评分计算：S7]

如果病变判定处理S6完成，则接下来进行评分计算处理S7。评分计算处理S7是基于判定用图像数据J的像素值来计算病变部的重症度的评价值即评分Sc(x，y)的处理。评分计算处理S7对所有的像素(x，y)依次进行。此外，以下所说明的评分计算的算法是一例，本发明可适用于通过各种算法算出的评分的画面显示。

(评分计算的原理)

在此，简单说明本实施方式的评分计算的原理。已知症状随着血管的扩张及血浆成分向血管外的漏出等的发展，症状越发展，则表面的正常粘膜脱落越厉害，炎症部的颜色就越接近血液的颜色。因此，炎症部的颜色和血液的颜色的相关程度(后述的相关值CV)成为显示炎症部的重症度的优良的指标。本实施方式中，计算各像素(x，y)的判定用图像数据J{H(x，y)、S(x，y)}和血液的颜色(色调、饱和度)的相关值CV(x，y)，将其作为显示炎症部的重症度的评分Sc(x，y)使用。

(病变部的判定：S71)

图9是表示评分计算处理S7的顺序的流程图。在评分计算处理S7中，首先读出标识表FT，判断对应于像素(x，y)的标识F(x，y)的值是否为“2”(炎症)(S71)。

在标识F(x，y)的值为“2”(炎症)的情况下，即像素(x，y)为病变像素的情况下(S71：是)，处理进入S72。另外，在像素(x，y)不是病变像素的情况下(S71：否)，处理进入S79。

(饱和度的修正：S72)

已知血液和含有血液的生物体组织的图像的饱和度依赖于亮度。具体而言，亮度和饱和度具有负的相关，亮度越亮，饱和度越低。在S72中，使用本发明者所开发的以下的修正式(公式6)来修正判定用图像数据J(x，y)的亮度I(x，y)带来的饱和度S(x，y)的变动。通过该修正，能够提高评分计算的精度。

【数学式6】

其中，

I_corr.(x,y)：判定用图像数据J的修正后的亮度

S_corr.(x,y)：判定用图像数据J的修正后的饱和度

I_ref：作为基准值的血样数据的亮度

S_ref：作为基准值的血样数据的饱和度

θ：赋予血样数据的亮度值和饱和度值的相关系数(cosθ)的角度

此外，血样的饱和度和亮度的相关系数(实测值)为－0.86，应用θ＝149.32(deg)。

(色调距离D_HUE的计算：S73)

接着，通过公式7计算色调距离D_HUE(x，y)(S73)。色调距离D_HUE是以血样数据的色调H_ref为基准的、判定用图像数据J(x，y)的色调的相对值。

【数学式7】

D_HUE(x，y)＝H(x，y)-H_ref

(色调相关值HCV的确定：S74)

接着，根据色调距离D_HUE(x，y)确定色调相关值HCV(x，y)(S74)。色调相关值HCV(x，y)是与炎症部的重症度具有强的相关的参数。图10(a)是图示色调距离D_HUE和色调相关值HCV的关系的图表。色调距离D_HUE在±30°以内的范围(以下称作“色调近似范围R₁₁”。)内与炎症部的重症度具有强的相关，在其以外的范围(以下称作“色调近似外范围R₁₂”。)内几乎没有相关。因此，本实施方式的色调相关值HCV(x，y)在色调近似外范围R₁₂被设定为最小值的0.0，在色调近似范围R₁₁被设定为色调距离D_HUE(x，y)越接近0°越线性增加。另外，色调相关值HCV(x，y)被标准化为最小值为0.0，最大值为1.0。

图10(a)所示的色调距离D_HUE和色调相关值HCV的关系作为色调相关值表HCT存储于存储器229。通过参照色调相关值表HCT，取得与色调距离D_HUE(x，y)相对应的色调相关值HCV(x，y)。

(饱和度距离D_SAT的计算：S75)

接着，通过公式8计算饱和度距离D_SAT(x，y)(S75)。饱和度距离D_SAT(x，y)是以血样数据的饱和度S_ref为基准的、判定用图像数据J(x，y)的饱和度的相对值。

【数学式8】

D_SAT(x，y)＝S_corr.(x，y)-S_ref

(饱和度相关值SCV的确定：S76)

接着，根据饱和度距离D_SAT(x，y)确定饱和度相关值SCV(x，y)(S76)。饱和度相关值SCV(x，y)也是与炎症部的重症度具有强的相关的参数。图10(b)是图示饱和度距离D_SAT与饱和度相关值SCV的关系的图表。饱和度距离D_SAT在规定值以上的负的范围(以下称作“饱和度近似范围R₂₂”。)与炎症部的重症度具有强的相关，在负的规定值以下的范围(以下称作“饱和度近似外范围R₂₃”。)几乎没有相关。另外，认为是在饱和度距离D_SAT为零以上的范围，即病变像素的饱和度为血样数据的饱和度S_ref以上的范围(以下称作“饱和度一致范围R₂₁”。)，重症度极高。因此，本实施方式的饱和度相关值SCV(x，y)在饱和度一致范围R₂₁被设定为最大值的1.0，在饱和度近似外范围R₂₃被设定为最小值的0.0，在饱和度近似范围R₂₂被设定为线性增加。另外，饱和度相关值SCV(x，y)也是被标准化为最小值为0.0、最大值为1.0的值。

图10(b)所示的饱和度距离D_SAT与饱和度相关值SCV的关系作为饱和度相关值表SCT存储于存储器229。通过参照饱和度相关值表SCT，取得与饱和度距离D_SAT(x，y)相对应的饱和度相关值SCV(x，y)。

(相关值CV的计算：S77)

接着，通过将色调相关值HCV(x，y)与饱和度相关值SCV(x，y)相乘，得到病变像素(x，y)的颜色和血液的颜色的相关值CV(x，y)。此外，相关值CV(x，y)也是标准化为最小值为0.0、最大值为1.0的值。另外，相关值CV(x，y)以每0.1的点刻度区分为11阶段。

(评分Sc更新：S78)

另外，由于相关值CV(x，y)为炎症的重症度的优良指标，所以评分表ST的评分Sc(x，y)的值通过相关值CV(x，y)改写(S78)。

(评分Sc更新：S79)

另外，在像素(x，y)不是病变像素的情况下(S71：否)，不进行上述的相关值CV(x，y)的计算，而将评分表ST的评分Sc(x，y)的值改写为“0”(S79)。由此，可以以少的计算量对所有的像素(x，y)赋予评分Sc(x，y)。

在处理S80中，判定对所有的像素(x，y)的处理是否完成。重复上述的处理S71～S80，直至所有的像素(x，y)的处理完成为止。

[场景判定：S8]

评分计算处理S7完成后(或者，与从TE处理S3至评分计算处理S7的一连串的处理平行)，由场景判定部230进行场景判定处理S8。

在此，说明本发明实施方式的场景判定处理S8的概要。通常，内窥镜检查大致分两个阶段(两种检查)进行。第一阶段是通过检查对象(例如在上部消化道内窥镜检查的情况下为食道、胃及十二指肠的内壁)的整体进行观察，探索疑为病变的部位的“筛查”。第二阶段是详细观察在筛查中发现的疑为病变的部位，进行病变组织/正常组织的判定，或者在为病变组织的情况下进行其种类或重症度的判定的“精查”。通常，首先进行筛查，接着进行精查。

图11是用于说明典型的内窥镜图像的明暗分布的图。图11(a)是筛查时的内窥镜图像中典型的明暗分布的例子，图11(b)、(c)是精查时的内窥镜图像中典型的明暗分布的例子。

【表1】

另外，表1是将筛查时拍摄的内窥镜图像(参照图11(a))与精查时拍摄的内窥镜图像(参照图11(b))的特征进行对比得到的表。

一般的筛查中，将电子镜100的插入部101的前端101a(图1)暂时插入至消化道内的检查范围的最深部，一边将插入部101从消化道慢慢拉出，一边遍及检查范围的全长进行观察。另外，筛查中的观察是一边使插入部101的前端101a稍微朝向消化道内壁侧并在消化道的周方向上扫描视场一边进行。筛查由于检查检查不限于特定的部位而遍及宽的范围，所以需要高效地进行检查。因此，将电子镜100的前端101a与被摄体(消化道内壁)的距离维持在中～远距离进行。具体而言，筛查在使电子镜100的插入部101与消化道大致平行的状态(或者使前端101a稍朝向消化道内壁的状态)下进行。

因此，筛查时拍摄的内窥镜图像如图11(a)所示，在图像中央部拍下远离电子镜100的前端101a的暗的消化道内壁，在图像周边部拍下接近电子镜100的前端101a的被照亮的消化道内壁。另外，内窥镜图像中的暗的(低亮度的)部位为大致圆形状。

另外，由于从被照亮的前端101a的附近直至照明光几乎未到达的暗的远方拍摄筛查的图像，所以图像内的明暗(亮度)的变化增大。

另外，如上述，一边使电子镜100的前端101a移动一边进行筛查，因此，筛查时拍摄的内窥镜图像的移动快。

另一方面，使电子镜100的前端101a朝向并接近消化道内壁的特定的部位(通过筛查发现疑为病变的部位)而进行精查。因此，在精查时拍摄的内窥镜图像的中央部(或大致整个面)拍到接近电子镜100的前端101a的被照亮的消化道内壁，在周边部拍到远离前端101a的暗的消化道内壁。因此，内窥镜图像中的暗的部位为成为非圆形状。

另外，为了观察被摄体的微细的形状或纹理，精查以尽可能使电子镜100的前端101a不移动的方式进行。因此，精查时拍摄的内窥镜图像的移动小，为缓慢的移动。

另外，精查的图像中几乎未拍到远离电子镜100的前端101a的暗的部位，因此，图像内的明暗的变化缓慢。

本实施方式的场景判定处理S8是基于表1所记载的特征(特别是图像的移动)来判定检查的状况(即，是筛查中还是精查中)的处理。

图12是表示场景判定处理S8的顺序的流程图。场景判定处理S8中包含：进行内窥镜图像的移动的分析的视频图像分析处理S81、分析内窥镜图像内的明暗的分布的亮度梯度计算处理S82、基于视频图像分析处理S81及亮度梯度计算处理S82的分析结果来判定检查的类别(筛查/精查)的检查类别判定处理S83。

(视频图像分析：S81)

图13是表示视频图像分析处理S81的顺序的流程图。

(低分辨率化：S811)

在视频图像分析处理S81中，首先，进行使通常观察图像NP的分辨率(像素数)降低为1/n²(n为整数)而转换为低分辨率通常观察图像NP_r的低分辨率化处理S811。该处理用于减少后段的各处理所需的计算量，本实施方式中，将通常观察图像NP的分辨率降低至1/16。具体而言，将通常观察图像NP分割成n像素×n像素(4像素×4像素)的块，将各块内的n²像素(16像素)统一成新的1像素。此时，对每块计算像素值N(x，y)的代表值(例如块内的像素值N(x，y)的平均值、中间值或众数)，该代表值为低分辨率通常观察图像NP_r的像素值。

(速度场计算：S812)

接着，根据最新的帧和前一帧的低分辨率通常观察图像NP_r来计算速度矢量场{V_x(x，y)，V_y(x，y)}(以下简称为“速度场(V_x，V_y)”。)(S812)。该速度场是通过例如梯度法或Lucas-Kanade法等计算出的光流(Optical Flow)。

(平均速度计算：S813)

接着，通过公式9求出速度场(V_x，V_y)的均方根即图像速度PV。图像速度PV是表示图像整体的平均速度的大小的参数。

【数学式9】

其中，

N_V：速度场的要素数(低分辨率通常观察图像NP_r的像素数)

(图像速度变化率计算：S814)

接着，计算对图像速度PV进行了时间微分的图像速度变化率PV′(每单位时间的图像速度PV的变化量)。另外，图像速度变化率PV′被实施平滑化处理。具体而言，对在最近的规定时间内(例如1秒)拍摄的多个低分辨率通常观察图像NP_r计算图像速度变化率PV′的代表值(例如平均值、中间值或众数)，将该代表值作为图像速度变化率PV′使用。此外，对图像速度PV简单进行时间微分所得的值多含有高频成分的噪声(因医生无意识地振动电子镜100等导致的图像的抖动)。因此，在未进行平滑化处理而直接使用图像速度PV的时间微分进行场景判定处理S83时，判定结果不稳定，会导致显示模式的频繁的变更。

(亮度梯度计算：S82)

接着视频图像分析处理S81，进行计算通常观察图像NP内的亮度的梯度(后述的密集度的最大值LD_max)的亮度梯度计算处理S82。

图14是说明亮度梯度计算处理S82的顺序的流程图。

图15是说明亮度梯度计算处理S82的图。图15(a)是后述的亮度图像LP₄[亮度指数Lu₄(x，y)]的一例，图15(b)是亮度指数Lu₄(x，y)的梯度的绝对值的图表的一例，图15(c)是后述的等高线图像CP的一例。

(亮度指数计算：S820)

在亮度梯度计算处理S82中，首先，通过公式10计算通常观察图像NP的各像素(x，y)的亮度指数Lu₀(x，y)，生成以亮度指数Lu₀(x，y)作为要素(像素值)的亮度图像数据Lu₀(表示亮度图像LP₀的图像数据)(S820)。此外，在本实施方式中，通过通常观察图像数据N的各像素的原色信号R(x，y)、G(x，y)、B(x，y)的值的单纯平均来计算亮度指数Lu₀(x，y)，但也可以通过与固体拍摄元件108的分光敏感度特性相对应的加权平均，或者如公式1那样与人的比视感度特性相对应的加权平均来计算亮度指数Lu₀(x，y)。另外，也可以不作为原色信号的平均，而作为简单的总和来计算亮度指数Lu₀(x，y)。

【数学式10】

Lu(x，y)＝{R(x，y)+G(x，y)+B(x，y)}/3

(低分辨率化：S821)

接着，进行使亮度图像数据Lu₀的分辨率(像素数)降低至1/n²(n为整数)，转换为以亮度指数Lu₁(x，y)为要素(像素值)的亮度图像数据Lu₁(表示亮度图像LP₁的图像数据)的低分辨率化处理S821。该处理与上述的低分辨率化处理S811相同。低分辨率化处理S821中，减少后段的各处理所需的计算量，并且使亮度图像Lu₀简单化。

(晕色：S822)

接着，进行晕色处理S822。晕色处理S822对各像素计算以该像素为中心的规定区域(例如3像素×3像素)中所含的像素的亮度指数Lu₁(x，y)的代表值(例如平均值、中间值或众数)，生成以该代表值(亮度指数Lu₂(x，y))作为要素(像素值)的亮度图像数据Lu₂(表示亮度图像LP₂的图像数据)。晕色处理S822使亮度图像LP₁更简单化。

(高分辨率化：S823)

接着，进行使亮度图像数据Lu₂的分辨率(像素数)增大n²倍(n为整数)，生成恢复为与本来的亮度图像数据Lu₀相同的分辨率的亮度图像数据Lu₃(表示亮度图像LP₃的图像数据)的高分辨率化处理S823。高分辨率化处理S823通过将各像素分割成n像素×n像素来进行。通过进行高分辨率化，分辨率(像素数)增加，但图像自身未变化。

(低层次化：S824)

接着，对亮度图像数据Lu₃进行使像素值的层次降低的低层次化处理S824，生成亮度图像数据Lu₄(表示亮度图像LP₄的图像数据)。在低层次化处理S824中，例如使层次从256层次降低至8层次或16层次。

通过以上说明的低分辨率化处理S821、晕色处理S822、高分辨率化处理S823及低层次化处理S824，高效地进行亮度图像LP₀的简化。另外，代替这些处理，对亮度图像数据Lu₀进行傅立叶变换，除去了高频成分后，进行傅立叶逆变换，由此，也可以同样地使亮度图像LP₀简化。另外，即使仅进行多次晕色处理S822，也能够获得同样的效果。

(矢量微分运算：S825)

接着，对亮度图像数据Lu₄进行矢量微分运算处理S825。具体而言，计算亮度指数Lu₄(x，y)的梯度(gradient)。

如图15(a)所示，亮度图像LP₄具有由几个亮度不同的区域(图15中为5个区域R₁、R₂、R₃、R₄、R₅)构成的、阶段状的极简单的结构。在计算这样的亮度图像LP₄(亮度指数Lu₄(x，y))的梯度时，如图15(b)所示，得到仅区域的边界具有大小的值(区域的边界以外的梯度为零)。因此，通过矢量微分运算处理S825，得到表示亮度图像LP₄的各层次的区域的边界线、即亮度的等高线CL(等高线图像CP)的等高线图像数据CD。

(圆形度计算：S826)

接着，使用等高线图像数据CD，根据公式11计算亮度图像LP₄中的最暗的图像区域(最低层次区域R_L)的圆形度V_round(S826)。

【数学式11】

其中，

N_RL.：最低层次区域R_L内的像素数(面积)

L_RL.：最低层次区域R_L的等高线长(周围长)

(重心计算：S827)

接着，使用等高线图像数据CD，根据公式12计算最低层次区域R_L的重心GP(S827)。

【数学式12】

其中，

X_RLmin：最低层次区域R_L的X坐标最小值

X_RLmax：最低层次区域R_L的X坐标最大值

Y_RLmin：最低层次区域R_L的Y坐标最小值

Y_RLmax：最低层次区域R_L的Y坐标最大值

(密集度计算：S828)

接着，使用等高线图像数据CD，计算以重心GP为起点的8个方位(0、π/4、π/2、3π/4、π、5π/4、3π/2、7π/4)的等高线CL的密集度LD(S828)。等高线CL的密集度LD被定义为相当于来自重心GP的放射方向上的每单位长度的等高线CL的数。

在图15(a)的亮度图像LP₄及图15(c)的等高线图像CP中，从亮度低的一方按顺次拍下区域R₁(最低层次区域R_L)、R₂、R₃、R₄、R₅这5个区域。其中，亮度低的区域R₁、R₂、R₃的等高线CL₁、CL₂、CL₃，全周被拍摄在等高线图像CP上。在本实施方式中，仅使用全周(或者至少计算密集度LD的8个方位的各点)被拍摄在等高线图像CP上的等高线CL₁、CL₂、CL₃来计算等高线CL的密集度LD。

在等高线CL的密集度LD的计算中，首先，检测从重心GP向8个方位延伸的放射线(虚线)与计算所使用的最外周的等高线CL₃的交点Q₀、Q_π/4、Q_π/2、Q_3π/4、Q_π、Q_5π/4、Q_3π/2、Q_7π/4。而且，使用重心GP与各交点Q₀、Q_π/4、Q_π/2、Q_3π/4、Q_π、Q_5π/4、Q_3π/2、Q_7π/4的距离d₀、d_π/4、d_π/2、d_3π/4、d_π、d_5π/4、d_3π/2、d_7π/4(未图示)，根据公式13来计算等高线CL的密集度LD。

【数学式13】

其中，

计算密集度的方位

方位中的等高线CL的密集度

从重心GP至交点的距离

与从重心GP向方位延伸的放射线交叉的等高线CL的数量

(密集度最大值计算：S829)

接着，求在密集度计算S828中计算出的密集度的最大值LD_max。该值成为亮度图像LP₄的亮度梯度。

(检查类别判定：S83)

图16是表示检查类别判定处理S83的顺序的流程图。

(图像速度变化率判定：S831)

在检查类别判定处理S83中，首先，进行判定图像速度变化率PV′是否为规定的阈值Th_PV′以下的图像速度变化率判定S831。在产生如图像速度变化率PV′超过阈值Th_PV′的激烈的图像的移动的情况下，在通常观察图像NP中产生抖动，因此，不能正确地进行后述的标记处理(S10、S11)。另外，由于图像的移动快，所以医生也难以正确地识别标记的信息。因此，在图像速度变化率PV′超过阈值Th_PV′的情况下(S831：否)，马上离开检查类别判定处理S83，不进行标记处理(S10、S11)而进入显示画面生成处理S12(图4)。由此，能够将通常观察图像NP直接显示于监视器900上。另外，在图像速度变化率PV′低于阈值Th_PV′的情况下(S831：是)，进入接下来的重心判定S832。

(重心判定：S832)

在重心判定S832中，判定最低层次区域R_L的重心GP是否位于等高线图像CP的中央部的规定区域内。在重心GP位于规定区域内的情况下(S832：是)，处理进入接下来的圆形度判定S833。另外，在重心GP不在规定区域内的情况下(S832：否)，不进行圆形度判定S833，处理进入密集度判定S834。

(圆形度判定：S833)

在圆形度判定S833中，判定圆形度V_round是否大于规定的阈值(例如0.6)。如果圆形度V_round大于阈值0.6(S833：是)，则判定检查类别为筛查(S837)。另外，如果圆形度V_round为阈值0.6以下(S833：否)，则接着进行密集度判定S834。

(密集度判定：S834)

在密集度判定S834中，判定密集度LD是否大于规定的阈值Th_LD。如果密集度LD小于阈值Th_LD(S834：否)，则判定为精查(S836)。另外，如果密集度LD为阈值Th_LD以上(S834：是)，则接着进行图像速度判定S835。

(图像速度判定：S835)

在图像速度判定S835中，判定图像速度PV是否大于规定的阈值Th_PV。如果图像速度PV大于阈值Th_PV(S835：是)，则判定为筛查(S837)。另外，如果图像速度PV为阈值Th_PV以下(S835：否)，则判定为精查(S836)。

此外，图像速度PV及图像速度变化率PV′是有关检查时的电子镜100的前端部的移动的参数。另外，亮度梯度与最低层次区域R_L的圆形度V_round及重心GP的位置是通过电子镜100的前端部相对于作为被摄体的消化道内壁的姿势决定的参数。即，本实施方式的检查类别判定S83基于从内窥镜图像推定的电子镜100的前端部的移动和姿势来判定内窥镜检查的类别。

[标记处理的种类的确定：S9]

接着，基于场景判定处理S8中的检查类别的判定结果，确定标记处理部226所进行的标记处理的种类(S9)。在判定为精查的情况下(S9：是)，进行精细标记处理S10。另外，在判定为筛查的情况下(S9：否)，进行简易标记处理S11。

(精细标记：S10)

在精细标记处理S10中，按颜色区别显示通常观察图像NP中的重症度的分布的彩色图像CMP作为与通常观察图像NP重叠的标记用图像数据生成。精细标记处理S10中生成的彩色图像CMP取根据通常观察图像NP的对应的像素(x，y)的评分Sc(x，y)决定的显示色Col(x，y)作为像素值。

在精细标记处理S10中，首先，参照存储于存储器229的显示色表DCT，并基于评分Sc(x，y)来决定适用于各像素的显示色Col(x，y)。接着，生成以显示色Col(x，y)作为像素值的彩色图像数据CM，并将其存储于图像存储器227的存储区域P_c。图17(a)表示通过精细标记处理S10而生成的彩色图像CMP的例子。而且，进行在通常观察图像NP(或色调增强图像EP)上重叠彩色图像CMP的图像合成(叠加显示)，生成标记图像数据M。

此外，显示色表DCT是规定评分Sc与彩色图像CMP的显示色(色码)的对应关系的数值表。表2表示显示色表DCT的一例。另外，显示色对11阶段的每个评分Sc设定不同的颜色。此外，由于相对于评分Sc(x，y)的值为零(正常组织)的像素(x，y)赋予显示无色透明的空值(null值)，所以正常组织的像素不会通过精细标记处理S10进行着色。另外，应对各像素(x，y)标注的颜色的指定不限于RGB进行的指定，也可以通过其它颜色表现(例如色调及/或饱和度)来指定。另外，如图17(a)所示，也可以由其它显示色(例如红色)的轮廓线包围被着色的区域。

【表2】

(简易标记：S11)

简易标记处理S11也是与精细标记处理S10相同的处理，但使用简化了的显示色表DCT(表3)。具体而言，在简易标记处理S11中，对于评分Sc低于规定值(例如0.6)的重症度低的像素赋予表示无色透明的空值(null值)的显示色Col(x，y)，且对评分Sc为规定值以上且重症度高的像素赋予单一色(例如黄色)的显示色Col(x，y)。图17(b)表示进行了简易标记处理S11时的标记图像MP的一例。

【表3】

通过采用简易标记处理S11，处理所需的计算量大幅消减，因此，即使是移动快的图像，也能够使图像处理追随帧速率，能够对病变部正确地标注标记。另外，由于限定在重症度高的部位标注简单的构成(单一色)的标记，所以标记的识别性好，即使是移动快的图像，医生也能够正确地掌握重症度高的部位。

(简易标记处理S11的变形例)

图17(c)表示在简易标记处理S11中生成的标记图像MP的变形例。该变形例中，在通常观察图像NP中评分Sc为最大的像素的位置，生成标注了预先设定的标记MX(例如▲标识)的彩色图像CMP(及标记图像MP)。在该变形例中，由于不需要对每个像素进行显示色的判定，所以能够以少的处理量进行标记。

[显示画面生成～输出：S12～S13]

如果精细标记处理S10或简易标记处理S11完成，则接着进行显示画面生成处理S12。显示画面生成处理S12是使用存储于图像存储器227的各种图像数据来生成用于在监视器900显示的显示画面数据的处理，通过图像处理电路220的显示画面生成部228进行。显示画面生成部228可根据系统控制器202的控制而生成多种的显示画面数据。所生成的显示画面数据通过输出电路220b进行了伽玛修正等处理后，转换为规定的视频格式的视频信号，并输出到监视器900(输出处理S13)。

图18是通过显示画面生成处理S12生成的显示画面的一例，是在图像分析模式下的内窥镜观察中显示的分析模式观察画面320。分析模式观察画面320具备显示拍摄日期时间的日期时间显示区域321、显示与检查相关的基本的信息(例如病历号、患者名、医生名)的基本信息显示区域322、显示通常观察图像NP(或色调增强图像EP)的通常图像显示区域324、显示标记图像MP的分析图像显示区域325。

在显示画面生成处理S12中，显示画面生成部228从图像存储器227的存储区域组P_n读出通常观察图像数据N(或者从存储区域组P_e读出色调增强图像数据E)，并在通常图像显示区域324显示通常观察图像NP(或者色调增强图像EP)。另外，从图像存储器227的存储区域组P_m读出标记图像数据M，并在分析图像显示区域325显示标记图像MP。另外，在日期时间显示区域321及基本信息显示区域322显示由系统控制器202提供的信息。

医生一边观看分析模式观察画面320一边进行内窥镜观察。具体而言，在参照显示于分析图像显示区域325的标记图像MP的同时，一边观看显示于通常图像显示区域324的通常观察图像NP(或色调增强图像EP)一边进行内窥镜观察。通过对标记图像MP中被标记的部位特别慎重地进行观察，能够在不遗漏病变部的情况下进行准确的诊断。

如果显示画面生成处理S12及输出处理S13完成，则接着判断是否继续内窥镜观察(S14)。重复上述的处理S1～S13，直至对处理器200的操作面板214进行指示内窥镜观察结束或电子内窥镜装置1的运行停止的用户操作(S14：否)。

此外，上述的实施方式是将本发明适用于电子内窥镜装置的例子，但本发明不限于该结构。例如，可以将本发明适用于将由电子内窥镜装置拍摄的内窥镜观察视频再生的视频再生装置。另外，也可以将本发明适用于内窥镜图像以外的观察图像(例如由通常的摄像机拍摄的体表的观察图像或手术中的体内的观察图像)的分析。

另外，本实施方式中，采用基于从内窥镜图像推定的电子镜100的前端部的移动和姿势来判定内窥镜检查的类别的结构，但本发明不限于该结构。例如，也可以为如下结构：对电子镜设置检测检查中的内窥镜插入部的形状或位置的插入形状检测功能(特开2013－85744号公报中公开有一例。)，基于插入形状检测功能实现的电子镜的前端部的移动和姿势的检测结果来判定内窥镜检查的类别。

以上是本发明的例示性的实施方式的说明。本发明的实施方式不限于上述所说明，在本发明的技术思想的范围内可以进行各种变形。例如，适宜组合有说明书中例示性明示的实施方式等或显而易见的实施方式等的内容也包含于本发明的实施方式中。