图像处理装置及其工作方法与流程

本发明涉及图像处理装置及其工作方法。

背景技术：

在医疗领域中，对生物体内的观察对象进行拍摄的内窥镜系统被广泛利用。内窥镜系统具备被插入到生物体内而对观察对象进行拍摄并输出图像信号的内窥镜、和基于图像信号生成观察对象的观察图像并将其向监视器输出的内窥镜用处理器装置(以下，简单记作处理器装置)。

在利用观察图像的诊断中，对于医师而言，判断在观察图像内是否具有与预先设定的多个临床症状(临床表现)对应的区域、弄清楚症状的程度为何种程度是重要的。例如在胃粘膜的观察图像中，通过将与弥漫性发红、地图状发红、肠上皮化生等作为胃炎的京都分类(kyotoclassification)而已知的多个症状分别对应的有无及其程度进行评分，判断该区域是否是由于感染幽门螺旋杆菌(helicobacterpylori)而产生的慢性胃炎的特征性区域。此外，在大肠息肉的观察图像中，通过将息肉分类为ⅰ型、ⅱ型、ⅲs型等作为腺管开口形态分类(pitpatternclassification)而已知的多个症状的某一个，来判断大肠癌的进展度。

在日本特开2014－166298号公报中记载了一种处理器装置，其在大肠息肉的观察图像中，基于与预先准备的基本形态的类似度这样的特征量，将息肉分类为腺管开口形态分类的多个症状的某一个，进行与分类结果相应的颜色的强调处理(颜色分配处理)。由于症状的分类自动化、并且显示与分类结果相应的颜色分配图像，所以诊断顺利进展。

如上述那样，在利用观察图像的诊断中，有这样的希望，即：判断与症状对应的区域的有无，同时为了进一步实现诊断的效率化而希望把握症状的程度。但是，在日本特开2014－166298号公报中，虽然能够把握与区域对应的症状，但无法把握症状的程度。

技术实现要素：

本发明的目的在于，提供一种图像处理装置及其工作方法，能够把握灵活运用于诊断的症状所对应的区域的有无，并且还能够把握症状的程度。

为了达成上述目的，本发明提供图像处理装置，具备：图像信号取得部，取得对生物体内的观察对象进行拍摄而得到的图像信号；观察图像生成部，根据图像信号，生成观察对象的观察图像；特征量计算部，从图像信号计算特征量；区域决定部，根据特征量，决定与预先设定的多个症状分别对应的观察图像内的区域；级别分类部，根据特征量，将区域分类为对多个症状分别预先设定的、表示症状的程度多个级别中的某个；颜色分配图像生成部，按照对每个症状设定的显示色、以及对每个级别设定的显示色的色调，对观察图像进行颜色分配处理，生成颜色分配图像；以及显示控制部，控制颜色分配图像的显示。

此外，优选的是，特征量计算部计算多个种类的特征量，区域决定部根据多个种类的特征量中的第1特征量进行区域的决定，级别分类部根据多个种类的特征量中的第2特征量进行级别的分类。

此外，优选的是，第2特征量包含第1特征量。

此外，优选的是，颜色分配图像生成部对区域的边界进行颜色分配处理。

此外，优选的是，观察对象是胃粘膜，症状是与胃炎相关的症状。

此外，优选的是，图像信号取得部取得向观察对象照射短波长侧的光强度比长波长侧的光强度强的照明光而得到的图像信号。

此外，优选的是，还具备对图像信号实施使明亮度均匀的明亮度校正处理的明亮度校正处理部，特征量计算部从明亮度校正处理完成的图像信号计算特征量。

此外，优选的是，还具备对基于将白色光作为照明光向观察对象照射得到的图像信号的通常图像、实施将颜色及对比度中的至少一个降低的降低处理的降低处理部，显示控制部在降低处理完成的通常图像上重叠颜色分配图像。

进而，本发明提供图像处理装置的工作方法，包括以下步骤：取得对生物体内的观察对象进行拍摄而得到的图像信号；根据图像信号，生成观察对象的观察图像；从图像信号计算特征量；根据特征量，决定与预先设定的多个症状分别对应的观察图像内的区域；根据特征量，将区域分类为对多个症状分别预先设定的、表示症状的程度的多个级别中的某个；通过按每个症状设定的显示色、并且按每个级别设定的显示色的色调，对观察图像进行颜色分配处理，生成颜色分配图像；控制颜色分配图像的显示。

发明效果

根据本发明，能够提供一种图像处理装置及其工作方法，该图像处理装置基于根据拍摄生物体内的观察对象得到的图像信号计算出的特征量，决定与预先设定的多个症状分别对应的区域，并且将区域分类为对多个症状分别预先设定的、表示症状的程度的多个级别中的某个，显示进行了与这些区域决定结果及分类结果相应的颜色分配处理的颜色分配图像，因此能够把握灵活运用于诊断的症状所对应的区域的有无，同时还能够把握症状的程度。

附图说明

图1是内窥镜系统的外观图。

图2是表示内窥镜系统的各部的框图。

图3是表示图像处理部的各功能部的框图。

图4是表示特征量计算部的处理的流程的说明图。

图5是表示第1特征量和第2特征量的例子的表。

图6是表示区域决定表的内容的图。

图7是表示级别分类表的内容的图。

图8是表示颜色分配表的内容的图。

图9是表示区域决定部、级别分类部以及颜色分配图像生成部的处理的流程的说明图。

图10是表示区域决定部、级别分类部以及颜色分配图像生成部的处理的流程的其他例子的说明图。

图11是表示颜色分配处理的详情的图。

图12是表示显示控制部的功能部的框图。

图13是表示第2观察模式的情况下的图像显示画面的图。

图14是表示注释显示画面的图。

图15是表示第1观察模式的情况下的图像显示画面的图。

图16是表示处理器装置的处理顺序的流程图。

图17是表示第2实施方式的图像处理部的各功能部的框图。

图18是明亮度校正处理的概念图。

图19是表示第3实施方式的图像处理部以及显示控制部的各功能部的框图。

图20是表示第3实施方式的图像显示画面的图。

具体实施方式

[第1实施方式]

图1中，内窥镜系统10具备：内窥镜11，拍摄生物体内的观察对象并输出图像信号；处理器装置12，相当于本发明的图像处理装置，基于图像信号而生成观察对象的观察图像；光源装置13，对内窥镜11提供向观察对象照射的照明光。在处理器装置12上，连接着监视器14、键盘鼠标等输入器件15。

内窥镜11具备：插入部16，被向生物体内插入；操作部17，设置在插入部16的基端部分；通用塞绳18，将内窥镜11与处理器装置12及光源装置13连结。本实施方式中，内窥镜11主要用于以胃粘膜为观察对象的上部消化道。

插入部16由从顶端起依次连续设置的顶端部19、弯曲部20、可挠管部21构成。弯曲部20由相连结的多个弯曲块构成，通过对操作部17的角度钮22进行操作而向上下左右方向弯曲动作。图1中用虚线示出了向上方的弯曲动作。通过弯曲部20的弯曲，顶端部19朝向所希望的方向。可挠管部21具有挠性，以便能够插入食道等弯弯曲曲的管道。

在插入部16中，插通有在与处理器装置12之间通信各种信号的通信线缆、将来自光源装置13的照明光向顶端部19导光的光导35(参照图2)等。在操作部17，除了角度钮22以外，还设有供钳子、电手术刀这样的处理工具插入的钳子口23、在从设于顶端部19的送气送水喷嘴进行送气送水时被操作的送气送水按钮24等。

在通用塞绳18中，插通着从插入部16延伸设置的通信线缆、光导35。在通用塞绳18的处理器装置12及光源装置13侧的一端，安装有连接器25(连接器单元)。连接器25是由通信用连接器25a和光源用连接器25b构成的复合型的连接器。通信用连接器25a拆装自由地与处理器装置12连接，光源用连接器25b拆装自由地与光源装置13连接。在通信用连接器25a设有通信线缆的一端，在光源用连接器25b设有照明光入射的光导35的入射端。

图2中，在内窥镜11的顶端部19，设有用于拍摄观察对象的观察窗30、以及用于向观察对象照射照明光的照明窗31。在观察窗30的里侧，配置有物镜光学系统32和摄像传感器33。在照明窗31的里侧，配置有照射透镜34、和照明光出射的光导35的出射端。

观察对象的像穿过观察窗30向物镜光学系统32入射，利用物镜光学系统32而在摄像传感器33的摄像面33a上成像。摄像传感器33由ccd(chargecoupleddevice)图像传感器或cmos(complementarymetal-oxidesemiconductor)图像传感器等构成，在摄像面33a，呈矩阵状排列有光电二极管等构成像素的多个光电变换元件。摄像传感器33将在摄像面33a接收到的光进行光电变换，在各像素中蓄积与各自的受光量相应的信号电荷。信号电荷通过放大器被变换为电压信号并被读出。摄像传感器33将该电压信号作为图像信号来输出。

摄像传感器33是彩色摄像传感器，在摄像面33a设有蓝色微型彩色滤光片(b滤光片)、绿色微型彩色滤光片(g滤光片)、红色微型彩色滤光片(r滤光片)即蓝色、绿色、红色这3色的微型彩色滤光片(microcolorfilter)，各滤光片被分配给各像素。各滤光片的排列例如是拜耳(bayer)排列。另外，在以下的说明中，从被分配了b滤光片的像素(b像素)输出的图像信号称为b图像信号，从被分配了g滤光片的像素(g像素)输出的图像信号称为g图像信号，从被分配了r滤光片的像素(r像素)输出的图像信号称为r图像信号。

从光源装置13供给的照明光被光导35向照射透镜34导光，从照明窗31朝向观察对象照射。照射透镜34由凹透镜构成，扩展从光导35出射的照明光的发散角。由此，将照明光向观察对象的大范围照射。另外，照明窗31设有2个，位于顶端部19的光导35的出射端为了将照明光向2个照明窗31进行导光，在照明窗31的前级分支为2根。

在顶端部19，除了观察窗30及照明窗31以外，还设有为了对观察窗30进行清洗而进行送气送水的送气送水喷嘴、用于使处理工具突出来进行各种处置的钳子出口。

在摄像传感器33上，连接有模拟信号处理部(afe：analogfrontend)36和摄像控制部37。图像信号从摄像传感器33被输入afe36。afe36由相关双采样电路、自动增益控制电路、以及模拟/数字变换器构成。相关双采样电路对来自摄像传感器33的模拟的图像信号实施相关双采样处理，将由信号电荷的复位引起的噪声去除。自动增益控制电路将被相关双采样电路去除了噪声的图像信号进行放大。模拟/数字变换器将用自动增益控制电路放大了的图像信号变换为具有与规定的比特数相应的等级值的数字图像信号并输出到处理器装置12。

摄像控制部37连接于处理器装置12内的主控制部40，同步于从主控制部40输入的基准时钟信号，对摄像传感器33及afe36输入驱动信号。摄像传感器33基于来自摄像控制部37的驱动信号，以规定的帧速率向afe36输出图像信号，afe36基于来自摄像控制部37的驱动信号，以规定的帧速率进行相关双采样处理、放大、以及模拟/数字变换。

处理器装置12具备主控制部40、数字信号处理部(dsp：digitalsignalprocessor)41、图像处理部42、和显示控制部43。主控制部40具有cpu(centralprocessingunit)、存储工作程序44及控制所需的设定数据的rom(readonlymemory)、加载工作程序44而作为工作存储器发挥功能的ram(randomaccessmemory)，cpu执行工作程序44，从而控制处理器装置12的各部。

dsp41对来自afe36的数字的图像信号(b图像信号、g图像信号、r图像信号)实施像素插补处理。通过该像素插补处理，生成在b像素、g像素、r像素的各像素中不足的颜色的图像信号(例如b像素的情况下是g图像信号和r图像信号)，对于全部像素，b图像信号、g图像信号、r图像信号齐备。

此外，dsp41对像素插补处理后的图像信号实施缺陷像素校正、偏移校正、伽马校正、白平衡校正等。进而，dsp41基于图像信号计算曝光值，向主控制部40输出曝光控制信号，该曝光控制信号进行控制以使得在图像整体的光量不足的情况下(曝光不足)提高照明光的光量、另一方面在光量过高的情况下(过度曝光)降低照明光的光量。主控制部40向光源装置13发送曝光控制信号。

图像处理部42对来自dsp41的图像信号实施各种图像处理。显示控制部43将后述的图像显示画面76(参照图13等)向监视器14输出。另外，被实施了例如以移动平均法、中值滤波(medianfiltering)法为代表的噪声降低处理的图像信号被输入到图像处理部42。

内窥镜系统10具有第1观察模式和第2观察模式这两个观察模式。主控制部40接收经由输入器件15输入的、这些观察模式的切换信号。另外，也可以在内窥镜11的操作部17设置切换观察模式的开关。或者，也可以用踏板式开关(footswitch)切换观察模式。

第1观察模式是在监视器14上显示观察图像的观察模式。另一方面，第2观察模式是在监视器14上除了观察图像以外还显示颜色分配图像的观察模式。颜色分配图像是基于与观察图像内的区域对应的临床症状(临床表现)和表示症状的程度的级别而对观察图像进行了颜色分配处理的图像。

光源装置13具备发出蓝色光bl的蓝色半导体光源(b半导体光源)50、发出绿色光gl的绿色半导体光源(g半导体光源)51、发出红色光rl的红色半导体光源(r半导体光源)52、光路耦合部53、以及对各半导体光源50～52的驱动进行控制的光源控制部54。

各半导体光源50～52例如具有发光二极管(led：lightemittingdiode)、激光二极管(ld：laserdiode)、el(electroluminescence)元件这样的发光元件。光源控制部54进行各半导体光源50～52的点亮、熄灭以及光量的控制。光量的控制通过基于来自主控制部40的曝光控制信号、变更向各半导体光源50～52的供给电力来进行。

光源控制部54通过对各半导体光源50～52连续地施加驱动电流而使各半导体光源50～52点亮。并且，对应于曝光控制信号，使施加的驱动电流的值变化从而变更向各半导体光源50～52的供给电力，分别控制蓝色光bl、绿色光gl、红色光rl的光量。另外，也可以不是连续地施加驱动电流而是以脉冲状施加驱动电流，进行使驱动电流脉冲的振幅变化的pam(pulseamplitudemodulation)控制、使驱动电流脉冲的占空比变化的pwm(pulsewidthmodulation)控制。

蓝色光bl的发光波谱具有例如420nm～500nm附近的波长成分，中心波长460±10nm，半峰宽25±10nm。绿色光gl的发光波谱具有例如480nm～600nm附近的波长成分，中心波长550±10nm，半峰宽100±10nm。红色光rl的发光波谱具有例如600nm～650nm附近的波长成分，中心波长625±10nm，半峰宽20±10nm。另外，中心波长表示各色光的发光波谱的宽度中心的波长，半峰宽是表示各色光的发光波谱的峰值的一半的波长范围。

蓝色光bl、绿色光gl、红色光rl的光强度比bl：gl：rl被光源控制部54保持固定，例如如下式(1)那样设定。

bl：gl：rl＝2：2：1···(1)

即，作为短波长侧的光的蓝色光bl、绿色光gl的光强度相比于作为长波长侧的光的红色光rl的光强度而言被设定得较强。另外，光强度是光通量的单位立体角内的密度，光量是基于人的感知(能见度)评价光的放射能量而得到的值。

光路耦合部53将蓝色光bl、绿色光gl、红色光rl的各色光的光路向一个光路进行耦合，将各色光向内窥镜11的光导35的入射端进行聚光。由光路耦合部53将光路耦合了的蓝色光bl、绿色光gl、红色光rl的混合光是具有与氙灯发出的白色光大致相同的发光波谱的白色光。本实施方式中，将该白色光用作照明光。

另外，白色光不仅是如氙灯发出的白色光那样将蓝色成分、绿色成分、红色成分的波段全部包含在内的宽带光，还包括如本实施方式那样将蓝色成分、绿色成分、红色成分这至少3色的各自的波段的光混合了的照明光。

光源控制部54在第1观察模式、第2观察模式的任一个观察模式中都将各半导体光源50～52点亮。因而，蓝色光bl、绿色光gl、红色光rl的混合光始终作为照明光向观察对象照射。

图3中，在图像处理部42中，通过工作程序44的起动，构建图像信号取得部60、观察图像生成部61、特征量计算部62、区域决定部63、级别分类部64、以及颜色分配图像生成部65。

图像信号取得部60承担取得来自dsp41的图像信号(b图像信号、g图像信号、r图像信号)的图像信号取得功能。该图像信号如式(1)所示那样，是向观察对象照射将作为短波长侧的光的蓝色光bl、绿色光gl的光强度相比于作为长波长侧的光的红色光rl的光强度而言加强了的照明光而得到的。即，图像信号取得部60取得向观察对象照射将短波长侧的光强度相比于长波长侧的光强度而言加强了的照明光而得到的图像信号。

第1观察模式的情况下，图像信号取得部60将取得的图像信号向观察图像生成部61输出。另一方面，第2观察模式的情况下，图像信号取得部60将取得的图像信号向观察图像生成部61以及特征量计算部62输出。

观察图像生成部61承担基于来自图像信号取得部60的图像信号而生成观察图像的观察图像生成功能。观察图像生成部61将生成的观察图像向显示控制部43以及颜色分配图像生成部65输出。本实施方式中，观察图像是基于将白色光作为照明光向观察对象照射而得到的图像信号的通常图像。

特征量计算部62承担从图像信号计算多个种类的特征量的特征量计算功能。特征量计算部62将多个种类的特征量中的第1特征量向区域决定部63输出，将多个种类的特征量中的第2特征量向级别分类部64输出。

区域决定部63承担区域决定功能，决定与预先设定的多个症状分别对应的观察图像内的区域。区域决定部63基于来自特征量计算部62的第1特征量以及区域决定表66(参照图6)进行区域的决定。区域决定部63将区域的决定结果(区域决定结果)向颜色分配图像生成部65输出。

级别分类部64承担级别分类功能，将观察图像内的区域分类为针对多个症状分别预先设定的、表示症状程度的多个级别中的某个。级别分类部64基于来自特征量计算部62的第2特征量以及级别分类表67(参照图7)进行级别的分类。级别分类部64将级别的分类结果(级别分类结果)向颜色分配图像生成部65输出。

颜色分配图像生成部65承担颜色分配图像生成功能，基于来自区域决定部63的区域决定结果、来自级别分类部64的级别分类结果、以及颜色分配表68(参照图8)生成颜色分配图像。颜色分配图像生成部65将生成的颜色分配图像向显示控制部43输出。

如图4的步骤s10所示，特征量计算部62对图像信号实施周知的轮廓提取处理，提取区域re。区域re具体而言是胃粘膜的点或条纹、隆起、凹陷、孔等。图4中，示出提取了许多点作为区域re的情形。

在提取了区域re后，特征量计算部62计算各区域re的颜色特征量va、形态特征量vb(步骤s11)。颜色特征量va是与由b图像信号、g图像信号、r图像信号的各图像信号表示的颜色成分(像素值)相关的特征量，例如，是各区域re的蓝色成分、绿色成分、红色成分的各自的平均值、方差、最大值、最小值、各区域re的红色成分与绿色成分之比、各区域re的蓝色成分与绿色成分之比等。形态特征量vb是与各区域re的形态相关的特征量，例如是各区域re的形状(扁平度、凹凸度、圆形度、分支数等)、尺寸(最大径、最大宽度、长度、曲率、面积等)等。

接着，特征量计算部62基于计算出的颜色特征量va、形态特征量vb，将区域re分组化(步骤s12)。具体而言，将各区域re中的颜色特征量va、形态特征量vb在预先设定的范围内的区域re识别为一个组gr。这样被分组化为一个组gr的区域re是颜色成分及形态的特征大致相同的区域re。图4中，示出了作为区域re而被提取的许多点被识别为一个组gr的情形。

特征量计算部62对于在步骤s12中分组化后的组gr计算分布特征量vc(步骤s13)。分布特征量vc是与组gr内的各区域re的分布有关的特征量，例如，是组gr内的区域re的个数、密度、组gr内的邻接的区域re间的距离的平均值、方差、最大值、最小值等。

特征量计算部62对各区域re的颜色特征量va、形态特征量vb以及分布特征量vc附加区域re的位置信息，将它们向区域决定部63以及级别分类部64输出。位置信息例如是以摄像面33a的一角的像素为原点而二维地表现各像素的位置的坐标等。区域re为矩形状的情况下，作为位置信息，附加矩形的对角线上的2点的坐标。区域re为圆形状的情况下，圆的中心的坐标和直径或半径被作为位置信息来附加，区域re为椭圆形状的情况下，椭圆的中心的坐标和长径、短径被作为位置信息来附加。区域re不为上述任一种形状的情况下，区域re的边界的全部像素的坐标被作为位置信息来附加。

特征量计算部62基于图5所示的表70，将计算出的颜色特征量va、形态特征量vb以及分布特征量vc分配给第1特征量和第2特征量，将第1特征量向区域决定部63输出，将第2特征量向级别分类部64输出。

表70是第1特征量和第2特征量的例子。第1特征量由颜色特征量va1、形态特征量vb1、vb2、以及分布特征量vc1构成。相对于此，第2特征量除了颜色特征量va1、形态特征量vb1、vb2、以及分布特征量vc1以外，如虚线的框所示，还具有颜色特征量va2、形态特征量vb3以及分布特征量vc2。即，第2特征量包含第1特征量。

颜色特征量va1例如是红色成分的平均值，颜色特征量va2例如是红色成分与绿色成分之比。形态特征量vb1例如是扁平度，形态特征量vb2例如是圆形度，形态特征量vb3例如是面积。分布特征量vc1例如是密度，分布特征量vc2例如是距离的平均值。

图6中，在区域决定表66中，设有条件和症状的项目。条件的项目中登记的a、b、c等是基于迄今为止得到的庞大的医学知识而制定的表示第1特征量的范围的不等式，例如是颜色特征量va1＜x，y＜形态特征量vb1≦z(x，y，z是数值)等。

在症状的项目中，登记有与各条件对应的症状。症状是关于胃炎的症状，更具体而言，作为用于判断是否是区域re感染幽门螺旋杆菌而产生的慢性胃炎的特征性症状的胃炎的京都分类而周知。在症状中，有表示正常胃粘膜的rac(regulararrangementofcollectingvenules)、表示疑似感染幽门螺旋杆菌的弥漫性发红、点状发红、表示疑似感染或已感染幽门螺旋杆菌的委缩、肠上皮化生、表示已感染幽门螺旋杆菌的地图状发红等(病变)。另外，除了这里例示的以外，胃底腺息肉、胃小凹增生性息肉、梳状发红、斑状发红、凹陷型糜烂、多发性白色扁平隆起等各种各样的症状(病变)也与条件成组地被登记。

图7中，在级别分类表67中，设有症状、条件、以及级别的项目。在症状的项目中，登记有在图6的区域决定表66的症状的项目中登记的各症状。条件的项目中登记的a－1、b－1、c－1等与区域决定表66的条件同样地，是基于医学知识而制定的表示第2特征量的范围的不等式。在级别的项目中，对应于多个症状的每一个，登记有级别1、级别2、级别3这三个级别。症状的程度例如级别1是轻度、级别2是中度、级别3是高度。

这里，所谓症状的程度，例如在症状是委缩的情况下是根据胃粘膜的厚度和相关的观察到的粘膜色的黄色成分的强度而推定的委缩的程度，在弥漫性发红的情况下是根据红色成分的强度而推定的弥漫性发红的程度，在点状发红的情况下是根据密度而推定的点状发红的程度。另外，在症状表示正常胃粘膜的rac的情况下，是根据rac的区域及其周边区域的颜色的对比度的大小而推定的、正常的确信度的程度。

图8中，在颜色分配表68中，设有症状、显示色、级别、以及色调的项目。在显示色的项目中，登记有按每个症状设定的显示色。在色调的项目中，登记有按每个级别设定的显示色的色调。

这里，所谓显示色，是颜色的三要素中的色相。此外，所谓色调，是颜色的三要素中的彩度或者/以及明度。图8中，作为显示色，对于rac登记了红色，对于委缩登记了绿色，对于肠上皮化生登记了蓝色，对于弥漫性发红登记了黄色，对于点状发红登记了紫色，对于地图状发红登记了橙色。此外，作为色调，对于级别1登记了彩度低(彩度低于级别2)，对于级别2登记了彩度中(彩度在级别1与级别3的中间)，对于级别3登记了彩度高(彩度高于级别2)。

图9以及图10表示区域决定部63、级别分类部64以及颜色分配图像生成部65的功能。如步骤s20所示，区域决定部63基于第1特征量以及区域决定表66决定与各症状对应的区域re，将区域决定结果向颜色分配图像生成部65输出。此外，与之并行而如步骤s21所示，级别分类部64基于第2特征量以及级别分类表67进行级别的分类，将级别分类结果向颜色分配图像生成部65输出。区域决定部63以及级别分类部64对区域决定结果以及级别分类结果附加来自特征量计算部62的区域re的位置信息。

图9表示作为区域决定结果而输出肠上皮化生、作为级别分类结果而输出级别1的例子。图10表示作为区域决定结果而输出委缩、作为级别分类结果而输出级别1、级别2的例子。

如步骤s22所示，颜色分配图像生成部65对于来自观察图像生成部61的观察图像的各区域re，以在颜色分配表68中登记的显示色以及色调进行颜色分配处理。颜色分配处理是这样的处理：基于对区域决定结果以及级别分类结果附加的区域re的位置信息，确定观察图像内的各区域re的位置，将各区域re以在颜色分配表68中登记的显示色以及色调进行着色。颜色分配图像生成部65对于计算了特征量的所有的区域re进行这样的颜色分配处理，生成将区域re以在颜色分配表68中登记的显示色及色调进行了色彩化的颜色分配图像。

图9中，由于症状是肠上皮化生、分类级别是级别1，所以蓝色(彩度低)被分配给区域re。另一方面，图10中，由于症状是委缩、分类级别是级别1、级别2，所以绿色(彩度低)、绿色(彩度中)分别被分配给区域re。另外，图9中例示的肠上皮化生、图10中例示的委缩以外的区域也同样地被进行基于颜色分配表68的颜色分配处理。

图11中，在颜色分配处理中，区域re的边界如阴影hc所示那样以在颜色分配表68中设定的显示色及色调而被修边。即，颜色分配图像生成部65对区域re的边界进行颜色分配处理。

图12中，在显示控制部43中，通过工作程序44的起动，构建显示画面生成部75。显示画面生成部75被从观察图像生成部61输入观察图像，被从颜色分配图像生成部65输入颜色分配图像。显示画面生成部75基于观察图像和颜色分配图像，生成图像显示画面76。显示画面生成部75将生成的图像显示画面76变换为用于向监视器14输出的影像信号。基于该影像信号的图像显示画面76被显示在监视器14上。

如图13所示，图像显示画面76具有检查信息显示区域80、观察图像显示区域81以及颜色分配图像显示区域82。在检查信息显示区域80，显示有内窥镜检查的日期、内窥镜检查的对象患者的姓名、患者id(identificationdata)、性别、出生年月日等检查信息。在观察图像显示区域81中显示有观察图像，在颜色分配图像显示区域82中显示有颜色分配图像。

具有将显示颜色分配图像的图像显示画面76生成并向监视器14输出的显示画面生成部75的显示控制部43承担对颜色分配图像的显示进行控制的显示控制功能。

在颜色分配图像显示区域82，设有注释按钮83。在注释按钮83被选择的情况下，显示画面生成部75生成图14所示的注释显示画面85并向监视器14输出。

图14中，在注释显示画面85中，一览显示着表示与各症状的各级别对应的显示色以及色调的彩色块86。通过该注释显示画面85，能够识别颜色分配图像内的区域的症状及级别。另外，也可以不将注释显示画面85与图像显示画面76分别地显示，而将注释显示画面85显示在图像显示画面76内。

图13所示的图像显示画面76是第2观察模式的情况的显示例。另一方面，第1观察模式的情况下，不生成颜色分配图像。因此，第1观察模式的情况下的图像显示画面76如图15所示那样成为没有颜色分配图像显示区域82的画面。

接着，关于上述结构的作用，参照图16所示的流程图进行说明。当内窥镜11和处理器装置12以及光源装置13经由连接器25连接、内窥镜系统10起动，则各半导体光源50～52点亮，蓝色光bl、绿色光gl、红色光rl的混合光作为照明光向观察对象照射，同时，摄像传感器33进行的观察对象的拍摄开始。此时，对观察模式设定了第1观察模式。

在摄像控制部37的控制下，从摄像传感器33输出图像信号。图像信号被afe36实施相关双采样处理、放大、以及模拟/数字变换，被向dsp41输出。在dsp41中，对图像信号实施像素插补处理等。被dsp41实施了各种处理的图像信号被输出到图像处理部42。

如图16的步骤s100所示，来自dsp41的图像信号被图像信号取得部60取得(图像信号取得步骤)。

这里，照明光中，作为短波长侧的光的蓝色光bl、绿色光gl的光强度相比于作为长波长侧的光的红色光rl的光强度而言被较强地设定。如周知的那样，短波长侧的光相比于长波长侧的光而言，有使粘膜表层的构造显著的效果。因此，通过将作为短波长侧的光的蓝色光bl、绿色光gl的光强度设定得比作为长波长侧的光的红色光rl的光强度更强，能够由图像信号取得部60取得恰当地捕捉到粘膜表层的构造的图像信号。

图像信号从图像信号取得部60输出到观察图像生成部61。观察图像生成部61中，基于图像信号，生成观察图像(步骤s110，观察图像生成步骤)。观察图像被输出到显示控制部43。

显示控制部43中，基于来自观察图像生成部61的观察图像，由显示画面生成部75生成图15所示的没有颜色分配图像显示区域82的图像显示画面76(步骤120：否，步骤s170)。图像显示画面76被显示在监视器14上(步骤s180)。

医师根据需要而操作输入器件15，将观察模式切换为第2观察模式。由此，来自输入器件15的切换信号被主控制部40接收，观察模式被切换为第2观察模式(步骤s120：是)。

第2观察模式的情况下，图像信号除了被输出到观察图像生成部61以外还被输出到特征量计算部62。特征量计算部62中，通过轮廓提取处理提取区域re，关于提取的区域re，计算多个种类的特征量(步骤s130，特征量计算步骤)。多个种类的特征量之中，在表70中设定的第1特征量被输出到区域决定部63，第2特征量被输出到级别分类部64。

区域决定部63中，基于第1特征量及区域决定表66，决定与各症状对应的区域re(步骤s140，区域决定步骤)。此外，级别分类部64中，基于第2特征量及级别分类表67，对区域re进行级别的分类(步骤s150，级别分类步骤)。区域决定部63的区域决定结果以及级别分类部64的级别分类结果被输出到颜色分配图像生成部65。

由于基于第1特征量决定与各症状对应的区域re、基于第2特征量进行级别的分类，所以用于决定与各症状对应的区域re的特征量能够设定为第1特征量，用于级别的分类的特征量能够设定为第2特征量，能够将特征量对应于其特性而区分使用。

此外，由于第2特征量包含第1特征量、与对应于各症状的区域re的决定相比以更多的特征量进行级别的分类，所以与对应于各症状的区域re的决定精度相比能够提高级别的分类精度。症状即使是经验浅的医师也能够某种程度地通过外观来判断，但级别的看透需要熟练。因而，通过提高级别的分类精度，能够不问经验地自信地看透级别。

颜色分配图像生成部65中，基于区域决定结果、级别分类结果、以及颜色分配表68，生成颜色分配图像(步骤s160，颜色分配图像生成步骤)。此时，对区域re的边界进行颜色分配处理。颜色分配图像被输出到显示控制部43。

由于对区域re的边界进行颜色分配处理，所以相比于对区域re的整体进行颜色分配处理、将区域re的整体以在颜色分配表68中设定的显示色及色调涂满的情况，不对显示造成麻烦。

此外，在将靛蓝胭脂红(indigocarmine)等色素散布于观察对象来进行观察的情况、或将窄带的波长的照明光向观察对象照射来进行观察的情况下区域re的边界也主要被着色，所以能够仿照在将色素散布于观察对象进行观察的情况、或将窄带的波长的照明光向观察对象照射来进行观察的情况下的显示。习惯于将色素散布于观察对象来进行观察、或将窄带的波长的照明光向观察对象照射来进行观察的医师能够没有不适感地进行观察。

显示控制部43中，通过显示画面生成部75，基于来自观察图像生成部61的观察图像和来自颜色分配图像生成部65的颜色分配图像，生成图13所示的具有颜色分配图像显示区域82的图像显示画面76(步骤s170)。图像显示画面76被显示在监视器14上(步骤s180，显示控制步骤)。这些一系列的步骤s100～步骤s180持续到由医师向输入器件15输入观察结束的指示为止(步骤s190：是)。

医师通过在第2观察模式下的图像显示画面76中观察颜色分配图像，能够通过显示色来把握症状，同时还能够通过色调来把握症状的程度。此外，由于在第2观察模式下的图像显示画面76中并列显示观察图像和颜色分配图像，所以医师能够一边比较这些图像一边进行内窥镜检查。

本实施方式中，以胃粘膜为观察对象，假设症状是与胃炎相关的症状(胃炎的京都分类)。胃炎、特别是由于感染幽门螺旋杆菌而产生的慢性胃炎被指出是胃癌的重要的风险因素。此外，胃癌在按癌的不同种类的死亡者数量的统计中始终处于上位位阶。因此，通过以胃粘膜为观察对象、将症状设为与胃炎相关的症状，能够有助于胃癌的预防、胃癌患者花费的医疗费的削减、以及胃癌的死亡者数量的削减。

[第2实施方式]

在图17及图18所示的第2实施方式中，对图像信号实施使明亮度均匀的明亮度校正处理，然后计算特征量。

图17中，本实施方式的图像处理部90中，除了上述第1实施方式的各功能部，还构建明亮度校正处理部91。另外，图17中，仅图示上述第1实施方式的各功能部中的图像信号取得部60和特征量计算部62，省略了区域决定部63等的图示。

明亮度校正处理部91对来自图像信号取得部60的图像信号实施使明亮度均匀的明亮度校正处理。特征量计算部62根据来自明亮度校正处理部91的明亮度校正处理完成的图像信号，计算特征量。

图18是明亮度校正处理的概念图。箭头的上段表示明亮度校正处理前的摄像传感器33的某行的像素的位置所对应的明亮度，下段表示明亮度校正处理后的摄像传感器33的某行的像素的位置所对应的明亮度。明亮度例如是根据各像素的b图像信号、g图像信号、r图像信号计算的明度。明亮度校正处理前，根据照明光的照射不均及胃粘膜的形状等，混杂有亮区域和暗区域。明亮度校正处理部91校正这样的明亮度的不均，如箭头的下段所示，在明亮度校正处理前的明亮度的平均值附近使明亮度在整个区域中大致一定。

这样，由于根据通过明亮度校正处理而明亮度大致一定的图像信号来计算特征量，所以能够计算可靠性高的特征量，进而还能够确保区域决定结果以及级别分类结果的可靠性。

上述第1实施方式中，将从各半导体光源50～52发出的蓝色光bl、绿色光gl、红色光rl的混合光用作照明光，但本发明不限于此。也可以将波长与血中血红蛋白的吸收率高的带宽一致的窄带光、或者红外光等可视光以外的光用作照明光。即，观察图像不限于通常图像，也可以是基于将窄带光向观察对象照射而得到的图像信号的图像等特殊图像。

此外，上述第1实施方式中，不论观察模式如何，始终将蓝色光bl、绿色光gl、红色光rl的混合光作为照明光进行照射，但也可以在第1观察模式中照射蓝色光bl、绿色光gl、红色光rl的混合光、在第2观察模式中照射蓝色窄带光和绿色光gl的混合光等而根据观察模式变更照明光。进而，也可以代替半导体光源50～52而使用氙灯。

此外，也可以使蓝色光bl、绿色光gl、红色光rl的光强度比bl：gl：rl不是上述第1实施方式的式(1)所示的2：2：1而是1：1：1从而设为均匀的光强度。也可以是，在第1观察模式中使光强度比为1：1：1、在第2观察模式中使光强度比为2：2：1等而根据观察模式变更光强度比。

也可以在观察对象中散布发出在区域中选择性地聚集(将区域特殊地标识)的荧光的药剂、或靛蓝胭脂红等色素。

[第3实施方式]

图19及图20所示的第3实施方式中，对基于将白色光作为照明光向观察对象照射得到的图像信号的通常图像实施了将颜色及对比度中的至少1个降低的降低处理后，在通常图像上重叠颜色分配图像。

图19中，本实施方式的图像处理部95中，除了上述第1实施方式的各功能部以外，该构建降低处理部96。此外，显示控制部97中，除了显示画面生成部75以外，还构建图像重叠部98。另外，图19中，与图17同样，仅图示上述第1实施方式的图像处理部42的各功能部中的观察图像生成部61以及颜色分配图像生成部65，省略了区域决定部63等的图示。

降低处理部96对通常图像实施降低处理。降低处理是将通常图像的颜色及对比度中的至少1个降低的处理，例如是将通常图像灰度化(grayscaled)并且减少各像素的灰阶数、将颜色及对比度降低的处理。

图像重叠部98对来自降低处理部96的降低处理完成的通常图像重叠来自颜色分配图像生成部65的颜色分配图像，生成重叠图像。显示画面生成部75基于来自观察图像生成部61的观察图像和来自图像重叠部98的重叠图像，生成图20所示的图像显示画面100。

图20中，图像显示画面100中，作为图像显示画面76的颜色分配图像显示区域82的替代，具有显示重叠图像的重叠图像显示区域101。其他结构与图像显示画面76相同。

观察图像不是如上述第1实施方式那样的基于将白色光向观察对象照射得到的图像信号的通常图像、而是基于将窄带光向观察对象照射得到的图像信号的图像等特殊图像的情况下，颜色分配处理对特殊图像进行，颜色分配图像中特殊图像成为基础。

特殊图像是相比于通常图像而言舍弃了观察对象的信息的图像。因此，在以特殊图像为基础的颜色分配图像中，有可能难以把握观察对象的整体性状。这一担忧通过将以特殊图像为基础的颜色分配图像重叠于通常图像、用通常图像补充在特殊图像中被舍弃的观察对象的信息来解决。但是，仅通过在通常图像上重叠颜色分配图像，好不容易进行颜色分配处理而能够把握与区域对应的症状和症状程度的颜色分配图像反倒变得难以观察。

因此，本实施方式中，如上述那样对通常图像实施将颜色及对比度中的至少一个降低的降低处理，在降低处理完成的通常图像上重叠颜色分配图像。由此，在重叠图像中通常图像不会妨碍颜色分配图像的观察，能够用通常图像补充在特殊图像中被舍弃的观察对象的信息、并且提高颜色分配图像的目视识别性。

此外，在通常图像上重叠颜色分配图像的情况下，将与在通常图像中使用的颜色相同的颜色设定为症状的显示色的情况下，在重叠图像中无法进行区分。因此，在通常图像上重叠颜色分配图像的情况下，能够用作显示色的颜色存在制约。对此，如本实施方式那样，在作为降低处理而实施了将颜色降低的处理后的通常图像上重叠颜色分配图像的情况下，能够用作显示色的颜色的幅度扩展，能够实现变化更丰富的显示。

另外，如上述第1实施方式那样以通常图像为基础生成颜色分配图像的情况下，也对颜色分配图像实施将观察对象的信息舍弃的处理，在颜色分配图像是舍弃了观察对象的信息的图像的情况下，本实施方式是有效的。

上述各实施方式中，以胃粘膜为观察对象，假设症状是与胃炎相关的症状(胃炎的京都分类)，但也可以通过下部消化道用的内窥镜将大肠息肉作为观察对象，假设症状为作为大肠癌的腺管开口形态分类而已知的ⅰ型、ⅱ型、ⅲs型等。

大肠癌与胃癌并列地在按癌的不同种类的死亡者数量的统计中位于上位，特别是在女性的情况下死亡者数量为第1位。因此，通过以大肠息肉为观察对象、并假设症状为大肠癌的腺管开口形态分类，能够有助于大肠癌的预防、大肠癌的患者花费的医疗费的削减、以及大肠癌的死亡者数量的削减。另外，在以大肠息肉为观察对象的情况下，不限于大肠癌的腺管开口形态分类，也可以使症状为关于炎症性肠疾患、克罗恩病(crohn'sdisease)、溃疡性大肠炎等的症状。

在以胃粘膜或大肠息肉为观察对象来决定区域并将级别分类的情况下，血管成为噪声。因此，也可以在计算特征量之前，检测血管部分的图像信号，实施将血管部分的图像信号用周边部分的图像信号进行插补的处理。如果这样在使成为噪声的血管部分不醒目的基础上计算特征量，则计算出的特征量、以及区域决定结果及级别分类结果更加值得信赖。

在白色光的照明下，已知粘膜表层的血管呈红色，中层的血管呈茶褐色，深层的血管呈紫色。因此，着眼于特定的颜色成分检测血管部分的图像信号即可。另外，不在白色光的照明下而是在波长与血中血红蛋白的吸收率高的带宽一致的窄带光的照明下，血管的颜色与白色光的情况不同，因此优选根据照明光而变更着眼的颜色成分。

优选的是，在将特定的颜色成分的图像信号作为血管部分的图像信号检测出的基础上，进而将其周边部分的与特定的颜色成分相似的颜色成分的图像信号也一并作为血管部分的图像信号来检测。此外，在作为其他血管而检测出的部分的间隔为规定值以下、并且作为其他血管而检测出的部分的长度方向一致的情况下，可以增加将作为其他血管而检测出的部分推定为同一血管部分而再次识别的处理。进而，在作为血管而检测出的部分的宽度、长度、或者面积为规定值以下的情况下，可以不作为血管部分而作为单纯的图像噪声进行处理。

在决定区域并将级别分类的情况下成为噪声的不限于血管。例如，照明光过强而产生光晕的部分、相反地在孔等中照明光不到达的较暗部分、或者从钳子出口突出的处理工具的顶端或被可挠管部21、插入部16覆盖并引导插入部16的插入的导引套等人造物也与血管同样地成为噪声。进而，模糊部分和抖动部分也成为噪声。因此，优选的是，在计算特征量之前，检测这样的成为噪声的部分的图像信号，将这些部分的图像信号从特征量的计算对象中排除。

该情况下，在判断为成为特征量的计算对象的图像信号为整体的例如10％以下等成为特征量的计算对象的图像信号比较少、在该状态下无法确保特征量的可靠性的情况下，可以中止以后的特征量的计算、区域的决定、级别的分类、颜色分配处理的实施。

另外，也可以将与按每个症状预先准备的多个基本形态的类似度作为特征量来计算，将其作为第1特征量向区域决定部63输出。该情况下，特征量计算部62将多个基本形态与图像信号进行对照，对于多个基本形态的各个计算类似度。特征量计算部62对将观察图像细化了的各区域的每一个进行对照和类似度的计算。区域决定部63根据与多个基本形态的类似度，决定与各症状对应的区域。例如，将表示出与多个基本形态的类似度中的最高类似度的基本形态所对应的症状作为该区域的症状。

另外，与不同的多个症状对应的多个区域彼此可以部分重叠。该情况下，重叠的部分成为混杂有不同症状的区域。

上述第1实施方式中记载的第1特征量和第2特征量是一例，可以适当变更。此外，第1特征量和第2特征量可以是完全相同的特征量，也可以是完全不同的特征量。

上述第1实施方式中记载的显示色及色调也是一例，可以适当变更。作为色调，除了上述第1实施方式例示的彩度以外、或者作为替代，可以增加明度。

级别不限于上述第1实施方式的级别1～3的3个等级。也可以是级别1、级别2这两个等级，也可以是级别1～10等进一步细分的等级。

上述第1实施方式中，在第2观察模式下的图像显示画面76中，并列显示观察图像和颜色分配图像，但也可以仅显示颜色分配图像。该情况下，将观察图像在与图像显示画面76不同的显示画面中显示，或者在图像显示画面76中设置显示切换按钮，对应于显示切换按钮的操作来切换观察图像和颜色分配图像的显示。在将观察图像和颜色分配图像显示在不同的显示画面中的情况下，也可以将监视器14设为2台的复用监视器，在一方的监视器上显示观察图像的显示画面，在另一方的监视器上显示颜色分配图像的显示画面。关于上述第3实施方式的重叠图像，也可以同样地仅显示重叠图像。

也可以在图像显示画面76上显示特征量。例如，使颜色分配图像上的区域re能够选择，将选择出的区域re的特征量的一览弹出显示在图像显示画面76上。该情况下，优选按颜色特征量va、形态特征量vb以及分布特征量vc的特征量的每个种类归纳显示。

上述第1实施方式中，例示了在摄像面33a设有作为b滤光片、g滤光片以及r滤光片的原色彩色滤光片的摄像传感器33，但也可以使用在摄像面设有青、品红、黄的补色彩色滤光片的摄像传感器。

此外，也可以使用没有设置彩色滤光片的单色的摄像传感器。在使用单色的摄像传感器的情况下，使各半导体光源50～52匹配于帧速率依次点亮。在使用氙灯作为光源的情况下，在氙灯与光导35的入射端之间等设有将来自氙灯的白色光匹配于帧速率依次分光为蓝色光bl、绿色光gl以及红色光rl的旋转式滤光片。

上述各实施方式中，说明了使与内窥镜11直接连接的处理器装置12作为本发明的图像处理装置发挥功能的例子，但也可以使图像处理装置为独立于处理器装置的装置。

本发明不限于上述第1实施方式中例示的所谓被称作软性镜的内窥镜11，对于在超小型的胶囊内组装有摄像传感器和光源的胶囊型内窥镜也能够应用。

上述实施方式中，图像处理装置对从内窥镜得到的内窥镜图像进行处理。但是，本发明的图像处理装置也可以对由ct(计算机断层拍摄)、mri(核磁共振断层拍摄)、oct(光学相干断层拍摄)、x线、超声波回波、探头、腹腔镜、纤维镜、其他图像诊断得到的图像进行处理。

本发明还能够将上述各种实施方式或各种变形例适当组合。此外，不限于上述各实施方式，只要不脱离本发明的主旨的范围就当然能够采用各种结构。进而，本发明除了程序以外还设计存储程序的存储介质。

本发明能够在不脱离发明的精神的范围内进行种种变形、变更，在这样的情况下，也应解释为包含在本发明的保护范围内。