图像处理装置的制造方法

图像处理装置的制造方法
【专利摘要】本发明提供一种图像处理装置，包括：彩色图像取得单元，其取得显示生物体组织的彩色图像的彩色图像数据；病变判定单元，其基于彩色图像数据对于彩色图像的各像素进行是否为病变部的像素的判定；标记单元，其基于判定的结果在彩色图像上标注显示病变部的位置的标记。上述标记为背景的彩色图像透明的标记。
【专利说明】
图像处理装置
技术领域
[0001] 本发明涉及一种处理生物体组织的图像的图像处理装置。
【背景技术】
[0002] -般而言，生物体组织的病变部会与正常的部位显示出不同的颜色。由于彩色内 窥镜装置性能的提升，已经可以识别颜色上与正常组织存在细微不同的病变部。然而，手术 者为了能够基于内窥镜图像上颜色的细微差别而正确地从正常组织中识别出病变部，需要 在熟练技术人员的指导下接受长期的训练。并且，即使对于熟练的手术者来说，也不能轻易 地基于颜色上的细微差别而识别出病变部，要求其谨慎的作业。
[0003] 因此，例如在特开2014-18332号公报（以下，记为"专利文献Γ)中为了使得病变部 的识别变得容易而提出了具有如下功能的电子内窥镜装置:对于使用白色光拍摄到的内窥 镜图像数据，基于颜色信息来判定被摄体是否为病变部，并且进行变更被判定为病变部的 像素的颜色的处理。

【发明内容】

[0004] 就专利文献1的电子内窥镜装置所生成的标记图像而言，虽然明确地用颜色区分 疑为病变部的部位，但是，由于诊断所需要的病变部的图像的信息受到损坏，因此，诊断时 需要与普通观察图像认真对比而存在难以诊断的不便之处。
[0005] 本发明是鉴于以上的问题而完成的，其目的在于提供一种图像处理装置，其在充 分地保持病变部的图像的信息的同时，能够明确示出疑为病变部的部位。
[0006] 根据本发明的一实施方式，提供一种图像处理装置，包括:彩色图像取得单元，其 取得显示生物体组织的彩色图像的彩色图像数据;病变判定单元，其基于彩色图像数据对 于彩色图像的各像素进行是否为病变部的像素的判定;标记单元，其基于判定的结果在彩 色图像上标注显示病变部的位置的标记;其中，标记为背景的彩色图像透明的标记。
[0007] 另外，在所述的图像处理装置中，也可以为如下构成:病变判定单元具有评分表生 成单元，评分表生成单元生成评分表，评分表的要素中包括对于彩色图像的每个像素显示 生物体组织的病变的重症度的评分，标记单元基于评分表在彩色图像上标注显示病变部的 位置以及重症度的所述标记。
[0008] 根据该构成，由于从标注在彩色图像上的标记也能够得到有关病变的重症度的信 息，因此，能够基于客观的数据进行高级的诊断。
[0009] 另外，在上述的图像处理装置中，也可以为如下构成:标记单元在彩色图像内设定 作为处理的对象区域的掩模，计算掩模内的评分的代表值，基于代表值对于掩模标注标记。
[0010] 另外，在上述的图像处理装置中，也可以为如下构成:标记单元设定规定的初始尺 寸的掩模，对于初始尺寸的掩模计算代表值，根据代表值变更掩模的大小，以内接于变更了 大小的掩模的方式标注标记。
[0011] 根据该构成，由于通过标记的大小显示病变的重症度，因此，能够从被标注了标记 的图像直观地把握重症度。
[0012] 另外，在上述的图像处理装置中，也可以为如下构成：初始尺寸为掩模的最小尺 寸。
[0013] 另外，在上述的图像处理装置中，也可以为如下构成:标记单元在掩模内标注与代 表值的数量相对应的标记。
[0014] 根据该构成，由于通过标记的密度显示病变的重症度，因此，能够从被标注了标记 的图像直观地把握重症度。
[0015] 另外，在上述的图像处理装置中，也可以为如下构成:标记单元一边在彩色图像内 扫描掩模，一边在彩色图像上标注标记。
[0016] 另外，在上述的图像处理装置中，也可以为如下构成:标记单元以与设定完成的其 他的掩模不重合的方式设定掩模。
[0017] 根据该构成，不会失去已标注的标记的信息，维持了标记的信息的精度。
[0018] 另外，在上述的图像处理装置中，也可以为如下构成:代表值为相加平均、加权平 均、中央值、众数以及均方根中的任何一个。
[0019] 另外，在上述的图像处理装置中，也可以为如下构成：生成评分表的单元包括:色 彩空间转换单元，其将彩色图像数据的色彩空间转换为具有显示亮度或者明度的一个座标 和显示颜色的性质的两个座标的色彩空间；评分计算单元，其基于彩色图像数据的各像素 的颜色的性质计算各像素的评分。
[0020] 另外，在上述的图像处理装置中，也可以为如下构成:生成评分表的单元进一步包 括色彩增强单元，色彩增强单元在病变部所特有的像素值的范围的边界区域内进行提高颜 色的性质的对比度的色彩增强处理，评分计算单元基于色彩增强处理之后的像素值计算各 像素的评分。
[0021] 另外，在上述的图像处理装置中，也可以为如下构成:评分计算单元基于与色调-饱和度空间或者色度空间中的基准点的距离计算各像素的评分。
[0022] 另外，在上述的图像处理装置中，也可以为如下构成:病变部为炎症部，基准点为 血液的颜色。
[0023]另外，在上述的图像处理装置中，也可以为如下构成:标记为记号。
[0024]另外，在上述的图像处理装置中，也可以为如下构成:标记为具有透过率的颜色。 [0025]另外，在上述的图像处理装置中，也可以为如下构成:标记为重症度的等高线。
[0026] 另外，在上述的图像处理装置中，也可以为如下构成:彩色图像为电子内窥镜图 像。
[0027] 根据本发明的一实施方式，由于标注了生物体组织的彩色图像透明的标记，因此 即使不参照标注标记之前的彩色图像也能够把握生物体组织的形状或结构，因此，能够更 加容易且正确地进行图像诊断。
【附图说明】
[0028] 图1为示出本发明的实施方式所涉及的电子内窥镜装置的概略构成的框图。
[0029] 图2为示出与本发明的实施方式所涉及的电子内窥镜装置的图像处理有关的电路 的概略构成的框图。
[0030] 图3为示出图像存储器的存储区域的概略构成的图。
[0031] 图4为示出图像处理电路进行的处理的顺序的流程图。
[0032]图5为用于TE处理的增益曲线的一例。
[0033]图6为示出有效像素判定处理的顺序的流程图。
[0034]图7为示出病变判定处理的顺序的流程图。
[0035]图8为在HS坐标空间内绘制了生物体组织图像的像素值的散布图。
[0036]图9为示出评分计算处理的顺序的流程图。
[0037]图10为示出色调距离、饱和度距离和相关值的关系的图表。
[0038]图11为说明标记处理(掩模的扫描)的图。
[0039] 图12为示出掩模的构成的图。
[0040] 图13为示出标记处理的顺序的流程图。
[0041 ]图14为说明标记处理的具体例子的图。
[0042]图15为说明标记处理的具体例子的图。
[0043]图16为说明标记处理的具体例子的图。
[0044] 图17为说明标记处理的具体例子的图。
[0045] 图18为说明标记处理的具体例子的图。
[0046] 图19为说明标记处理的具体例子的图。
[0047]图20为说明标记处理的具体例子的图。
[0048] 图21为显不画面的一例。
[0049] 图22为本发明的第一实施方式的第一变形例的标记图像。
[0050] 图23为本发明的第一实施方式的第二变形例的标记图像。
[0051]图24为示出本发明的第二实施方式的标记处理的顺序的流程图。
[0052]图25为说明图像混合处理的效果的图。
[0053]图26为说明本发明的第三实施方式中的等高线的作成方法的图。
【具体实施方式】
[0054]以下，参照附图对本发明的图像处理装置的实施方式进行说明。另外，在以下的说 明中，作为本发明的一实施方式，以电子内窥镜系统为例进行说明。
[0055] <第一实施方式>
[0056][电子内窥镜装置1整体的构成]
[0057]图1为示出本发明的第一实施方式的电子内窥镜装置1的构成的框图。如图1所示， 电子内窥镜装置1包括电子镜(電子只=一7°)1〇〇、处理器200以及监视器900。
[0058]处理器200包括系统控制器202和定时控制器204。系统控制器202执行存储在存储 器212中的各种程序，并且统一控制电子内窥镜装置1整体。另外，系统控制器202连接于操 作面板214。系统控制器202根据由操作面板214输入的来自手术者的指示而变更电子内窥 镜装置1的各动作及用于各动作的参数。定时控制器204将调整各部分的动作的定时的同步 信号输出至电子内窥镜装置1内的各电路。
[0059]灯208在利用灯电源点火器206开始动作后射出照射光L。灯208例如为氙灯、卤素 灯、汞灯、金属卤素灯等高亮度灯或者LED (发光二极管）。照射光L是主要为具有从可见光区 域扩展至不可见的红外光区域的光谱的宽波段光(或者至少包含可见光区域的白色光）。 [0060] 从灯208射出的照明光L通过聚光透镜210会聚在LCB(光导束）102的入射端面，并 且向LCB102内入射。
[00611 入射至LCB102内的照射光L在LCB102内传播，并从配置于电子镜100的前端的 LCB102的射出端面射出，经由配光透镜104而照射至被摄体。来自被照射光L照射的被摄体 的返回光经由物镜106在固体拍摄元件108的受光面上形成光学图像。
[0062]固体拍摄元件108为补色方格色差顺序方式(補色市松色差線順次方式)的单板式 彩色CCD(电荷耦合装置)图像传感器。固体拍摄元件108对在受光面上成像的被摄体的光学 图像进行拍摄，并输出模拟拍摄信号。具体而言，固体拍摄元件108将由受光面上的各像素 成像的光学图像作为对应于光量的电荷蓄积，生成黄色Ye、青色Cy、绿色G、品红色Mg的颜色 信号，将所生成的在垂直方向上邻接的两个像素的颜色信号相加并混合而得到扫描线，将 得到的上述扫描线依次输出。此外，固体拍摄元件108并不限于CCD图像传感器，也可以调换 为CMOS(互补金属氧化物半导体）图像传感器或其他种类的拍摄装置。固定拍摄元件108还 可以搭载原色系滤光器(拜耳阵列滤光器）。
[0063] 在电子镜100的连接部内具有驱动器信号处理电路110。以半帧周期通过固体拍摄 元件108向驱动器信号处理电路110输入由上述的扫描线构成的模拟拍摄信号。此外，在以 后的说明中，"半帧"也可以调换为"帧"。在本实施方式中，半帧周期、帧周期分别为1/60秒、 1/30秒。驱动器信号处理电路110对于由固体拍摄元件108输入的模拟拍摄信号实施规定的 处理并向处理器200的图像处理电路220输出。
[0064] 驱动器信号处理电路110还访问存储器120并读取电子镜100的固有信息。存储器 120中所记录的电子镜100的固有信息包括例如固体拍摄器件108的像素数或敏感度、可操 作的半帧速率、型号等。驱动器信号处理电路110将从存储器120读出的固有信息输出至系 统控制器202。
[0065]系统控制器202基于电子镜100的固有信息进行各种运算，并生成控制信号。系统 控制器202使用所生成的控制信号控制处理器200内的各个电路的动作和定时，从而进行适 合与处理器200连接的电子镜的处理。
[0066] 定时控制器204根据系统控制器202的定时控制生成同步信号。驱动器信号处理电 路110根据从定时控制器204供应的同步信号，按照与处理器200所生成的视频信号的半帧 速率同步的定时驱动控制固体拍摄元件108。
[0067]在系统控制器202的控制下，图像处理电路220基于从电子镜100输出的拍摄信号 生成图像数据。另外，图像处理电路220使用所生成的图像数据生成监视器显示用的画面数 据，并且将该画面数据转换为规定的视频格式的视频信号并输出。视频信号被输入至监视 器900,从而被摄体的彩色图像显示在监视器900的显示画面上。
[0068]图2为示出与电子内窥镜装置1的图像处理有关的电路的概略构成的框图。
[0069] 驱动器信号处理电路110具备驱动电路112和AFE(模拟前端）114。驱动电路112基 于同步信号生成固体拍摄元件108的驱动信号。AFE114对于从固体拍摄元件108输出的模拟 拍摄信号进行噪音去除、信号放大/增益修正以及A/D转换，并输出数字拍摄信号。此外，在 本实施方式中，也可以构成为由固体拍摄元件108或者图像处理电路220进行AFE114所进行 的全部处理或者部分处理。
[0070] 图像处理电路220具备基本处理部220a、输出电路220b、TE(Tone Enhancement:色 调增强)处理部221、有效像素判定部222、色彩空间转换部223、病变判定部224、评分计算部 225、标记处理部226、图像存储器227、显示画面生成部228以及存储器229。有关图像处理电 路220的各部分所进行的处理将于后述。
[0071] 图3(a)为示出图像存储器227所具备的存储区域的概略构成的图。在本实施方式 的图像存储器227中设置了三个存储区域P n、Pe、Pm。存储区域Pn为存储基本处理部220a所生 成的普通观察图像数据N(表示普通观察图像NP的图像数据）的区域。存储区域P e为存储TE 处理部221所生成的色调增强图像数据E(表示色调增强图像EP的图像数据）的区域。存储区 域匕为存储标记处理部226所生成的标记图像数据M(表示标记图像MP的图像数据)的区域。 [0072 ]另外，如图2所示，在存储器229中存储标识表FT、评分表ST、掩模表MT、色调相关值 表HCT以及饱和度相关值表SCT。标识表FT及评分表ST为由标识F(X，y)、评分Sc (X，y)构成的 数值表，标识F(x，y)、评分Sc(x，y)分别示出有关普通观察图像数据N的各像素(x，y)的分析 结果。具体而言，标识F(x，y)是表示在对应的像素(x，y)上所拍摄的组织有无病变的参数， 评分Sc(x，y)是表示该病变的重症度的参数。有关色调相关值表HCT、饱和度相关值表SCT以 及掩模表MT将于后述。
[0073][基本处理S1]
[0074]接着，对图像处理电路220进行的处理进行说明。
[0075]图4为示出图像处理电路220进行的处理的顺序的流程图。从AFE114输出的数字信 号首先通过基本处理部220a进行一般的信号处理(基本处理S1)，从而生成普通观察图像数 据N。
[0076]基本处理S1包括:将从AFE114输出的数字拍摄信号转换为亮度信号Y及色差信号 Cb、Cr的处理;从亮度信号Y及色差信号Cb、Cr分离原色信号R、G、B的原色分离处理;除去偏 置分量的钳位处理（夕7 乂7°処理）；使用周围的像素的像素值修正缺陷像素的像素值的缺 陷修正处理;将由单色的像素值构成的拍摄数据(RAW数据)转换为由全彩色的像素值构成 的图像数据的去马赛克处理処理）（插值处理）；使用彩色矩阵修正拍摄元件的 分光特性的线性矩阵处理;修正照明光的光谱特性的白平衡处理;补偿空间频率特性的劣 化的轮廓修正等。
[0077]此外，在本实施方式中，也可以构成为由驱动器信号处理电路110或者固体拍摄元 件108进行基本处理部220a所进行的处理的全部或者一部分。
[0078]由基本处理部220a生成的普通观察图像数据N被输入TE处理部221的同时被存储 于图像存储器227的存储区域Pn。
[0079][动作模式判定处理S2]
[0080]接着，判断是否设定为图像分析模式(S2)。本发明的实施方式所涉及的图像分析 模式是对图像数据的各像素分析颜色信息，基于规定的判定基准根据颜色信息的分析结果 来判定是否为拍摄了病变部的像素（以下称为"病变像素"。），并识别显示病变像素的动作 模式。所判定的病变的种类可以根据检查内容来选择。在以下说明的例子中，提取炎症性肠 病(IBD)的病变即炎症(包含浮肿或易出血性的红色病变)的观察图像所特有的色域的像素 并进行识别显示。
[0081]此外，本实施方式的电子内窥镜装置1以在图像分析模式和普通观察模式这两个 动作模式下进行动作的方式构成。动作模式通过对于电子镜100的操作部130或处理器200 的操作面板214的用户操作来进行切换。在设定为普通观察模式的情况下（S2:否），处理转 至S9。
[0082] [TE(色调增强）处理S3]
[0083]在选择图像分析模式的情况下（S2:是），接着进行由TE处理部221执行的TE处理 S3 JE处理S3为如下处理:为了提高病变的判定精度，进行对于普通观察图像数据N的各原 色信号R、G、B赋予非线性的增益(收益）的增益调整，实质性扩展判定対象的病变所特有的 色域(特别是其边界部)附近的动态范围，提高颜色表现的实效的分辨率。具体而言，在TE处 理S3中进行如下处理:对于各原色信号R、G、B赋予图5所示的非线性的增益而取得原色信号 f、B'(色调增强图像数据E)。例如，从图5的增益曲线来看，从溃疡所特有的色域的边界 区域Ra到炎症所特有的色域的边界区域Rb，斜率变得陡峭。根据这样的增益曲线赋予增益， 从边界区域Ra至边界区域Rb，能够扩展原色信号R1对原色信号R实施了 TE处理S3的信号）的 实质的动态范围，能够进行更精密的阈值判定。
[0084] 此外，通过TE处理S3色调变化为：炎症部变红，溃疡部分变白，正常部分变绿。因 此，在监视器900上显示通过TE处理S3而生成的色调增强图像数据E的情况下，与显示TE处 理S3前的普通观察图像数据N的情况相比，能够容易地肉眼识别病变部（炎症部或溃疡部 分）。此外，上述的TE处理S3是能够应用于本发明的色彩增强处理的一例，也可以代替TE处 理S3而使用提高颜色质量、具体而言提高色调或饱和度(或色度)的对比度的其他种类的色 彩增强处理。
[0085][有效像素判定处理S4]
[0086] TE处理S3完成后，接着对色调增强图像数据E进行由有效像素判定部222执行的有 效像素判定处理S4。此外，也可以省略TE处理S3而对普通观察图像数据N进行有效像素判定 处理S4。
[0087]图6为示出有效像素判定处理S4的顺序的流程图。有效像素判定处理S4是判定像 素值是否适合图像分析的处理，对构成图像数据的所有像素(x，y)依次执行。在有效像素判 定处理S4中，首先，对于各像素(x，y)，根据下述公式1，从色调增强图像数据E的原色信号f (xjX7 (xjhB7 (x，y)计算修正亮度int(x，y)(S41)。
[0088] 【公式1】
[0089] int(x,7)=0.3^7 (x,7)+0.59^7 (x,y)+0.11*B7 (x,y)
[0090] 此外，计算出的修正亮度int(x，y)的值用于下面的适当曝光判定处理S42。另外， 如公式1所表明的，修正亮度int(x，y)不是原色信号V (1，7)、6^(1，7)、811，7)的单纯平均 而是作为根据人(手术者)的相对可见度特性的加权平均而求出。
[0091] 接着，基于在处理S41中计算出的色调增强图像数据E的修正亮度int(x，y)及原色 信号f (x，y)，对于各像素(x，y)进行判定是否为适合图像分析的曝光等 级的适当曝光判定处理S42。在适当曝光判定处理S42中，在满足下面两个条件(公式2、公式 3)的至少一方(或双方）的情况下，判定为适当曝光（S42:是）。此外，通过公式2规定修正亮 度int(x，y)(整体的光量)的上限值，通过公式3规定各原色信号f (x，y)、Glx，y)、Blx，y) 的下限值。
[0092] 【公式2】
[0093] int(x,y) <235
[0094] 【公式3】
[0095] Max{R7 (x,y),G7 (x,y),B7 (x,y)}>20
[0096] 对于像素(x，y)，如果满足公式2或公式3(或者公式2及公式3)而判定为适当曝光 (S42:是）的话，则有效像素判定部222将与存储于存储器229的标识表FT的像素(X，y)相对 应的标识F(X，y)的值改写为"Γ (S43)。
[0097] 此外，标识F(x，y)取0~2中的一个标识值。各标识值的定义如下。
[0098] 0:像素数据无效
[0099] 1:正常或未判定(像素数据有效）
[0100] 2:病变(炎症）
[0101]另外，在适当曝光判定处理S42中，在既不满足公式2也不满足公式3的条件(或者 不满足任一个条件)而判定为曝光不适当时(S42:否），有效像素判定部222将标识表FT的标 识F(X，y)的值改写为"0"（ S44)。
[0102] 接着，在处理S45中，判定是否完成了对所有的像素(x，y)的处理。重复上述的处理 S41~S45直至所有的像素(x，y)的处理完成为止。
[0103] [色彩空间转换处理S5]
[0104]有效像素判定处理S4完成后，接着通过色彩空间转换部223对色调增强图像数据E 进行色彩空间转换处理S5。色彩空间转换处理S5是将由RGB3原色定义的RGB空间的像素值 转换为由色调（Hew) ·饱和度（Saturation) ·亮度（Intensity)的3要素定义的HSI(Heu-Saturation-intensity)空间的像素值的处理。具体而言，在色彩空间转换处理S5中，色调 增强图像数据E的各像素(x，y)的原色信号f (x，y)被转换为色调H(x， 7)、饱和度3(义，7)、亮度1(1，7)。
[0105] 另外，曝光不足或者过剩的像素（x，y)的数据的精度低，会降低分析结果的可靠 性。因此，色彩空间转换处理S5仅对将标识F(x，y)的值设定为"Γ (即在上述的有效像素判 定处理S4中判定为适当曝光)的像素(x，y)进行。
[0106] 由色彩空间转换部223生成的各像素(x，y)的色调H(x，y)、饱和度S(x，y)及亮度I (x，y)构成的判定用图像数据J{H(x，y)、S(x，y)、I(x，y)}被输入病变判定部224。
[0107] [病变判定处理S6]
[0108] 色彩空间转换处理S5完成后，接着通过病变判定部224进行使用判定用图像数据J 的病变判定处理S6。病变判定处理S6是对于内窥镜图像的各像素(x，y)，根据判定用图像数 据J被绘制在HS空间（色调一饱和度空间）内的后述的区域α还是区域β(图8)来判定拍摄在 该像素上的生物体组织的状态(是否为炎症部）的处理。此外，HS空间与色度空间同样地，是 表示颜色性质(除明亮度/亮度以外的颜色的要素)的空间。例如，在CIE 1976L*a*b*色彩空 间等的其他色彩空间上进行图像分析的情况下，病变判定部224在色度空间（例如a*b*空 间）上进行。
[0109] 图7为示出病变判定处理S6的顺序的流程图。病变判定处理S6对构成图像数据的 所有的像素(x，y)依次进行。在病变判定处理S6中，首先，参照标识表FT判断各像素(x，y)的 数据是否有效(S61)。如果标识F(x，y)的值为"Γ (像素数据有效）的话，则接着进行炎症判 定处理S62。另外，如果标识F(x，y)的值为"0"（像素数据无效)的话，则不进行炎症判定处理 S62而进入处理S64。
[0110] 在此，对在炎症判定处理S62中进行的炎症判定处理S62进行说明。图8为在HS空间 内绘制了从多个炎症性肠病患者的内窥镜图像数据取得的判定用图像数据J的散布图。
[0111] 图8的散布图被区分为由右侧下方的虚线包围的区域β、和其以外的区域α。根据本 发明人的研究判明，被熟练掌握炎症性肠病的内窥镜诊断的手术者判断为炎症部的部位的 像素的大部分被绘制于区域β，被判断为非炎症部的部位的像素的大部分被绘制于区域α。 这意味着，根据拍摄生物体组织得到的内窥镜观察图像的色调（色调（色合V、））和饱和度 (鲜明度)这两个信息能够非常可靠地判别生物体组织的状态(有无炎症）。
[0112]在炎症判定处理S62中，判定各像素(x，y)的判定用图像数据J{(H(x，y)，S(x，y)} 是否绘制在图8的区域β中。具体而言，在满足以下的公式4及公式5双方的情况下，判定用图 像数据·1{汨(^7)，5(^ 7)}绘制在区域0中（8卩，判定为炎症部的像素）。另外，在不满足公式 4及公式5的至少一方的情况下，判定用图像数据】{(!1(1，7)，5(1，7)}绘制在区域€[中（8卩，判 定为非炎症部的像素）。此外，δ 51、δΗ1&δΗ2是可由手术者设定的修正值，通过这些修正值的 设定能够适当调整判定的严苛度(灵敏度)等。
[0113]【公式4】
[0114] 130+5Si^S(x,y)
[0115] 【公式5】
[0116] 60+δΗι^Η(χ,γ)^100+δΗ2
[0117] 在像素（x，y)的判定用图像数据J{ (H(x，y)，S(x，y)}被绘制在区域β中的情况下 (S62:是），对应于像素 (X，y)的标识F(X，y)的值被改写为"2"（炎症）（S63)，进入处理S64。另 外，在判定用图像数据J{H(x，y)，S(x，y)}未被绘制在区域β中的情况下(S62:否），标识F(X， y)不被改写而进入处理S64。
[0118] 在处理S64中，判定是否完成对所有的像素（x，y)的处理。重复上述的处理S61~ S64直至所有的像素(x，y)的处理完成为止。
[0119] [评分计算处理:S7]
[0120]病变判定处理S6完成后，接着进行评分计算处理S7。评分计算处理S7是基于判定 用图像数据J的像素值来计算病变部的重症度的评价值即评分Sc(x，y)的处理。评分计算处 理S7对构成图像数据的所有的像素(x，y)依次进行。此外，以下说明的评分计算的算法是一 例，本发明能够适用于通过各种算法算出的评分的画面显示。
[0121][评分计算的原理]
[0122] 在此，对本实施方式的评分计算的原理进行简单说明。已知症状伴随着血管的扩 张及血浆成分向血管外的漏出等的发展，症状越发展则表面的正常粘膜脱落得就越多，炎 症部的颜色就越接近血液的颜色。因此，炎症部的颜色和血液的颜色的相关程度(后述的相 关值CV)成为表示炎症部的重症度的优良指标。在本实施方式中，计算各像素(x，y)的判定 用图像数据·1出(1， 7)、3(1，7)}和血液的颜色(色调、饱和度)的相关值(^(^7)，将其用作表 示炎症部的重症度的评分Sc(x，y)。
[0123] [病变部的判定:S71]
[0124] 图9为示出评分计算处理S7的顺序的流程图。在评分计算处理S7中，首先读出标识 表FT，判断对应于像素(X，y)的标识F(X，y)的值是否为"2"（炎症）（S71)。
[0125] 在标识F(x，y)的值为"2"（炎症）的情况下，即像素（x，y)为病变像素的情况下 (S71:是），处理进入S72。另外，在像素（x，y)不是病变像素的情况下（S71:否），处理进入 S79〇
[0126] [饱和度的修正:S72]
[0127] 已知血液和含有血液的生物体组织的图像的饱和度依赖于亮度。具体而言，亮度 和饱和度具有负的相关，亮度越亮则饱和度越低。在S72中，使用本发明人所开发的以下的 修正式（公式6)来修正判定用图像数据J (X，y)的亮度I (X，y)所带来的饱和度S (X，y)的变 动。通过该修正，能够提高评分计算的精度。
[0128] 【公式6】
[0130]其中，
[0131] 1^ (x，y):判定用图像数据J的修正后的亮度
[0132] Scxxrr. (X，y):判定用图像数据J的修正后的饱和度
[0133] Iref:作为基准值的血样数据的亮度
[0134] Sref:作为基准值的血样数据的饱和度
[0135] Θ:赋予血样数据的亮度值和饱和度值的相关系数(COS0)的角度
[0136] 此外，血样的饱和度和亮度的相关系数(实测值)为一0.86,使用0 = 149.32(deg)。
[0137] [色调距离Dhue的计算：S73]
[0138] 接着，通过公式7计算色调距离DHUE(x，y)(S73)。色调距离Dhue是以血样数据的色调 Hrrf为基准的、判定用图像数据J(x，y)的色调的相对值。
[0139] 【公式7】
[0140] Dhue(x，y) =H(x,y)-Href
[0141] [色调相关值HCV的确定:S74]
[0142] 接着，根据色调距离DHUE(x，y)确定色调相关值HCV(x，y)(S74)。色调相关值HCV(x， y)是与炎症部的重症度具有强相关的参数。图10(a)为图示色调距离Dhue和色调相关值HCV 的关系的图表。色调距离Dhue在± 30°以内的范围（以下称作"色调近似范围Rn"。）内与炎症 部的重症度具有强相关，在其以外的范围（以下称作"色调近似外范围心 2"。）内几乎不存在 相关。因此，本实施方式的色调相关值HCV(x，y)在色调近似外范围R12内被设定为最小值的 〇.〇,在色调近似范围Rn内被设定为色调距离D HUE(x，y)越接近0°越线性增加。另外，色调相 关值HCV( X，y)被标准化为最小值为0.0，最大值为1.0。
[0143] 图10(a)所示的色调距离Dhue和色调相关值HCV的关系作为色调相关值表HCT存储 于存储器229。通过参照色调相关值表HCT，取得与色调距离D HUE(x，y)相对应的色调相关值 HCV(x,y)〇
[0144] [饱和度距离Dsat的计算:S75]
[0145] 接着，通过公式8计算饱和度距离DsAT(x，y) (S75)。饱和度距离DsAT(x，y)是以血样 数据的饱和度Srrf为基准的、判定用图像数据J(x，y)的饱和度的相对值。
[0146]【公式8】
[0147] DsAT(X，y) =Sc〇rr. (X，y)_Sref
[0148] [饱和度相关值SCV的确定:S76]
[0149] 接着，根据饱和度距离DSAT(x，y)确定饱和度相关值SCV(x，y)(S76)。饱和度相关值 SCV(x，y)也是与炎症部的重症度具有强相关的参数。图10(b)是图不饱和度距呙Dsat与饱和 度相关值SCV的关系的图表。饱和度距离D SAT在规定值以上的负的范围（以下称作"饱和度近 似范围R22"。）内与炎症部的重症度具有强相关，在负的规定值以下的范围（以下称作"饱和 度近似外范围R 23"。）内几乎不存在相关。另外，可以认定在饱和度距离DSAT为零以上的范围， 即病变像素的饱和度为血样数据的饱和度Sref以上的范围（以下称作"饱和度一致范围 R21"。）内，重症度极高。因此，本实施方式的饱和度相关值SCV(x，y)在饱和度一致范围R21内 被设定为最大值的1.0，在饱和度近似外范围R 23内被设定为最小值的0.0，被设定在饱和度 近似范围R22内线性地增加。另外，饱和度相关值SCV(x，y)也是标准化为最小值为0.0、最大 值为1.0的值。
[0150] 图10(b)所示的饱和度距离Dsat与饱和度相关值SCV的关系作为饱和度相关值表 SCT存储于存储器229。通过参照饱和度相关值表SCT，取得与饱和度距离DSAT(x，y)相对应的 饱和度相关值SCV(x，y)。
[0151] [相关值CV的计算:S77]
[0152] 接着，通过将色调相关值HCV(x，y)与饱和度相关值SCV(x，y)相乘，得到病变像素 (X，y)的颜色和血液的颜色的相关值CV(X，y)。此外，相关值CV(X，y)也是标准化为最小值为 〇.〇、最大值为1.0的值。另外，相关值CV(x，y)以每0.1的点刻度被区分为11段。
[0153] [评分 Sc 更新:S78]
[0154] 另外，由于相关值CV(x，y)为炎症的重症度的优良指标，因此评分表ST的评分Sc (义，7)的值通过相关值(^(1，7)改写(578)。
[0155] [评分 Sc 更新:S79]
[0156] 另外，在像素(x，y)不是病变像素的情况下（S71:否），不进行上述的相关值CV(x， y)的计算，并将评分表ST的评分Sc (X，y)的值改写为"0"（ S79)。由此，可以以少的计算量对 所有的像素(x，y)赋予评分Sc(x，y)。
[0157] 在处理S80中，判定是否完成对所有的像素（x，y)的处理。重复上述的处理S71~ S80,直至所有的像素(x，y)的处理完成为止。
[0158] [标记处理：S8]
[0159] 评分计算处理S7完成后，接着通过标记处理部226进行标记处理S8。标记处理S8是 为了容易地识别病变部而对于普通观察图像NP向病变像素分布的图像区域标注标记的处 理。具体而言，在本实施方式的标记处理S8中，对病变像素分布的图像区域标注与该图像区 域中的重症度相对应的的大小的记号(例如图16中的"X""标记330)。
[0160] 图11为说明标记处理S8的推进方法(掩模310的扫描）的图。在本实施方式的标记 处理S8中，在普通观察图像NP(以及评分表ST)内设定作为规定尺寸的图像区域的掩模310， 并依次移动掩模310，同时，根据掩模310内的像素311 (图12)的评分Sc对掩模310内的图像 标注标记330。
[0161] [掩模的构成]
[0162] 在本实施方式中，掩模310的大小（以及由掩模的大小确定的标记330的大小)根据 掩模310内的像素311的评分Sc进行变动。图12为示出预先设定的初始尺寸的掩模310的图。 在本实施方式中，掩模310的初始尺寸设定为5X5 (水平方向的像素数X垂直方向的像素 数）。掩模310的初始尺寸例如根据标注在掩模310内的图像上的标记330的肉眼识别性(例 如依赖于标记330的形状的复杂度或者监视器910的显示画面的像素数等)进行设定。具体 而言，掩模310的初始尺寸在确保标记330的良好的肉眼识别性的范围内以尽可能显示较多 的标记330的方式设定为最小的尺寸。
[0163] 掩模尺寸参照存储于存储器229的掩模表MT并基于评分Sc来确定。表1为本实施方 式中使用的掩模表MT的一例。在本实施方式中，掩模尺寸以初始值(5 X 5)为下限，以与评分 Sc成比例地变大的方式设定。
[0164] 【表1】
[0166] 如图12所示，将构成掩模310的多个像素311中的左上端的像素（即，X坐标以及y坐 标均为最小的像素)称为基准点312。该基准点312的位置( Xm、ym)定义为掩模310的位置。此 外，也可以将掩模310内的任一像素设定为基准点312。
[0167] [基准点的扫描:S81]
[0168] 图13为示出标记处理S8的顺序的流程图。在标记处理S8中，首先，复制存储在图像 存储器227的存储区域Pn*的普通观察图像数据N(原图像)并作为标记图像数据Μ的初始值 存储于存储区域P m。另外，从存储器229读出评分表ST，并在评分表ST上进行基准点312的扫 描(S81)。在本实施方式中，基准点312从评分表ST的上端的行(y = 0)向下端的行(y = ymax) 逐行地依次扫描(图11)。另外，基准点312在各行中从左端(X = 0)向右端(X = xmax)扫描。
[0169] 标记处理部226-边在评分表ST上扫描基准点312-边搜索满足以下的条件a以及 条件b这两者的位置(x，y)。
[0170] ?条件a:为病变像素[评分Sc(x，y)为0· 1以上]
[0171] ?条件b:掩模310与已经标注的标记330(更准确而言，标注标
[0172] 记330时的掩模310)不重叠。
[0173] [掩模设定:S82]
[0174] 当到达满足上述的条件a以及条件b这两者的位置(x，y)时，在该位置设定初始尺 寸(5X5)的掩模(S82)。
[0175] [掩模内平均评分计算:S83]
[0176] 接着，计算作为掩模内的像素的评分S c (X，y)的相加平均值的平均评分S c a v g. (S83)。此外，平均评分ScAvg. (S83)也被标准化为最小值为0.0、最大值为1.0的值。另外，平 均评分ScAvg.也能够由代表掩模内的评分Sc (X，y)的其他的数值(例如加权平均、中央值、众 数、均方根等)代替。
[0177] [掩模尺寸更新S84]
[0178] 接着，参照存储在存储器229中的掩模表MT读取与平均评分ScAvg.对应的掩模尺 寸。并且，将掩模310的尺寸更新为读取到的掩模尺寸(再设定掩模310) (S84)。
[0179] [标记 S85]
[0180] 接着，对于标记图像数据M，以内接于再设定后的掩模310的边缘的方式标注标记 330(S85)。
[0181] 在处理S86中，判定是否扫描至评分表ST的最后而完成扫描。重复上述的处理S81 ~S86,直至扫描完所有的评分Sc(x，y)。
[0182][标记处理的具体例子：图14~20]
[0183] 接着，参照图14~20,对标记处理S8的具体例子进行说明。图14~20的普通观察图 像数据N(评分表ST)中包括由多个病变像素321构成的病变部的图像320。
[0184] 如图14所示，当在评分表ST上从左上开始逐行地依次扫描掩模310的基准点312 (S81)时，首先检测出病变像素321a。
[0185] 在病变像素321a中，为了满足上述的条件a以及条件b这两者，以病变像素321a为 基准点设定初始尺寸(5 X 5)的掩模310a(图15的虚线框）（S82)。
[0186]接着，计算掩模31 Oa内的评分Sc(X，y)的平均值(平均评分ScAvg.) (S83)。
[0187] 如果平均评分ScAvg.的计算结果为例如0.3的话，则从掩模表MT(表1)取得与该平 均评分Sc Avg.的值对应的掩模尺寸7 X 7，并且将掩模310a的大小变更为7 X 7(图15的实线 框)(S84)〇
[0188] 并且，对于标记图像MP，以内接于掩模310a的边缘的方式标注"X"标记330a (S85)。此外，在本实施方式中，虽然使用"X"作为标记330,但是标记330可以使用任意的标 记(包括文字、数字、记号、图画文字、图案等。但是，堵上掩模310的整体的标记除外）。
[0189] 接着，再次扫描基准点312(图16)。由于之前设定的掩模310a内不满足上述的条件 b而跳过扫描。由于在病变像素321a的行上不存在满足上述的条件a以及条件b这两者的病 变像素321，因此，扫描移动至下一行而检测出病变像素321b。但是，如果以病变像素321b为 起点设定掩模310的话，则会与之前设定的掩模310发生干涉。因此，不在病变像素321b上设 定掩模310而继续扫描。并且，在跳过之前设定的掩模310a之后即检测出病变像素321c。
[0190] 在病变像素321c中，由于满足了上述的条件a以及条件b这两者，因此，以病变像素 321c为起点设定初始尺寸(5X5)的掩模310c(图17)。如果掩模310c内的平均评分Sc Avg.为 例如0.1的话，则对应的掩模尺寸与初始尺寸(5 X 5) -样，因此，掩模尺寸无需更新而以内 接于掩模310c的边缘的方式标注"X"标记330c。
[0191] 以后，重复同样的处理S81~S86,对以病变像素321d为起点设定的掩模310d标注 "X"标记330d(图18)，进一步对以病变像素321e为起点设定的掩模310e标注"X"标记330e 之后（图19)，完成普通观察图像数据N(评分表ST)的扫描。其结果是，在普通观察图像数据N 上得到标注有显示病变部的像素320的位置或其重症度的分布的标记330a、330c、330d、 330e的标记图像MP(图20)。所生成的标记图像数据Μ被存储在图像存储器227的存储区域P m 中。
[0192] [显示画面生成处理~输出处理:S9~S10]
[0193] 标记处理S8完成后，接着进行显示画面生成处理S9。显示画面生成处理S9是使用 存储于图像存储器227的各种图像数据生成用于在监视器900上显示的显示画面数据的处 理，通过图像处理电路220的显示画面生成部228进行。显示画面生成部228根据系统控制器 202的控制，能够生成多种显示画面数据。所生成的显示画面数据在通过输出电路220b进行 图像灰度校正等处理之后，被转换为规定的视频格式的视频信号并向监视器900输出(输出 处理S10)。
[0194] 图21是通过显示画面生成处理S9生成的显示画面的一例，是在图像分析模式下的 内窥镜观察中显示的分析模式观察画面340。分析模式观察画面340具备显示拍摄日期时间 的日期时间显示区域341、显示与检查相关的基本的信息(例如患者的病历号、患者名、手术 者名）的基本信息显示区域342、显示普通观察图像NP(或者色调增强图像EP)的普通图像显 示区域344、显示标记图像MP(标记处理S8之后的观察图像)的分析图像显示区域345。
[0195] 在显示画面生成处理S9中，显示画面生成部228从图像存储器227的存储区域组Pn 读出普通观察图像数据N(或者从存储区域组Pe读出色调增强图像数据E)，并在图像显示区 域344显示普通观察图像NP(或者色调增强图像EP)。另外，从图像存储器227的存储区域组 Pm读出标记图像数据M，并在分析图像显示区域345显示标记图像MP。另外，在日期显示区域 341及基本信息显示区域342显示由系统控制器202提供的信息。
[0196] 手术者一边观看分析模式观察画面340-边进行内窥镜观察。具体而言，参照分析 图像显示区域345所显示的标记图像MP的同时，一边查看普通图像显示区域344所显示的普 通观察图像NP(或者色调增强图像EP)-边进行内窥镜观察。通过对于在标记图像MP上标记 的部位进行特别慎重的观察，能够在不遗漏病变部的情况下进行准确的诊断。
[0197] 另外，在本实施方式中，由于在标记图像MP上标注了背景的普通观察图像NP透明 的标记330,因此能够一边仅查看标记图像MP-边进行内窥镜观察以及诊断。因此，例如也 可以为生成如下分析模式观察画面340的构成，即，该分析模式观察画面340不包括普通图 像显示区域344而包括大的分析图像显示区域345。
[0198] 显示画面生成处理S9及输出处理S10完成后，接着判断是否继续内窥镜观察 (S11)。重复上述的处理S1~S11，直至对处理器200的操作面板214进行指示内窥镜观察结 束或电子内窥镜装置1的运行停止的用户操作(S11:否)为止。
[0199] 以上是本发明的第一实施方式的说明。根据上述的本发明的第一实施方式的构 成，由于在标记图像MP中，在病变部的图像320上标注有显示病变部的位置及重症度的标记 330,因此，即使是内窥镜观察经验少的手术者也能够在不会遗漏病变部或者误判重症度的 情况下进行利用内窥镜图像的正确的诊断。另外，在标记图像MP上标注未完全地覆盖背景 (病变部的图像320)而使得背景的一部分从空隙透过的（即，具有透过性)标记330。从而，从 标记图像MP也能够把握病变部的形状或结构，从而能够进行更加有效且更加正确的诊断。
[0200] 此外，在上述的第一实施方式中，通过在普通观察图像NP上标注标记330而生成了 标记图像MP，但是，也可以构成为在色调增强图像EP等其他的对于普通观察图像NP进行加 工而得到的图像上标注标记330而生成标记图像MP。
[0201] <第一实施方式的第一变形例>
[0202] 接着，对以上说明的本发明的第一实施方式的几个变形例进行说明。
[0203] 图22为本发明的第一实施方式的第一变形例的标记图像MP。在上述的第一实施方 式中，采用了如下构成:在掩模尺寸更新处理S84中，根据掩模310内的平均评分Sc Avg.更新 掩模尺寸，并且通过标记330的大小来表现重症度。另一方面，在第一变形例中，根据掩模 310内的平均评分Sc Avg.来设定标注在掩模310内的标记330的数量而非掩模尺寸。在本变形 例中，通过标记330的密度来表现重症度。
[0204]此外，在本变形例中，代替上述的第一实施方式中的掩模表MT(表1)，使用存储有 掩模310内的平均评分S c AV g.和应该标注在掩模内的标记的数量的对应关系的标记数量表。 表2中示出标记数量表的例子。
[0205]【表2】
[0207] <第一实施方式的第二变形例>
[0208] 图23为本发明的第一实施方式的第二变形例的标记图像MP。在上述的第一实施方 式中，采用了如下构成:通过在掩模310内标注文字或记号来对普通观察图像NP实施标记。 另一方面，在本变形例中，通过根据掩模310内的平均评分Sc Avg.来实施对于普通观察图像 NP变更掩模310内的颜色(换言之，标注彩色的标记）的处理来表现病变部的位置及其重症 度。
[0209] 另外，在本实施例中，对于普通观察图像NP并非将掩模内以单一的颜色（透过率 〇%)涂满，而是在普通观察图像NP上标注赋予规定的透过性(例如透过率80%)的颜色。因 此，与第一实施方式同样地，由于在标记图像MP上也保留有病变部的图像的信息，因此，与 以规定的颜色涂满病变部的现有的方法相比，能够容易地进行正确的诊断。
[0210] 另外，在本变形例中，由于无需识别标注在病变部的记号的形状，因此能够形成为 将掩模的尺寸较小地设定至IX 1(或者不设定掩模而逐个像素进行处理)的构成。
[0211] 此外，在本变形例中，代替上述的第一实施方式中的掩模表MT(表1)而使用存储有 各像素(x，y)的评分Sc(x，y)和应该标注于各像素(x，y)的颜色Col(x，y)的对应关系的显示 色表。表3中示出显示色表(24位颜色）的例子。此外，由于对于评分Sc(x，y)的值为零(正常 组织）的像素(x，y)赋予显示无色透明的空值(null值），因此正常组织的像素不被着色。另 外，应该对各像素(x，y)标注的颜色的指定不限于利用RGB进行的指定，也可以通过其他的 颜色表现(例如色调和/或饱和度)来指定。
[0212] 【表3】
[0214] <第二实施方式>
[0215] 接着，对本发明的第二实施方式进行说明。
[0216] 图24为示出本发明的第二实施方式的标记处理S8a的顺序的流程图。本实施方式 的标记处理S8a代替上述的第一实施方式的标记处理S8进行。另外，对构成普通观察图像数 据N的所有的像素(x，y)依次进行本实施方式的标记处理S8a。
[0217] 本实施方式的电子内窥镜装置1与上述的第一实施方式的第二变形例同样地，在 存储器229中存储有显示色表(表3)。另外，在本实施方式的图像存储器227中除了存储区域 ?"、？6、?》之外还设置有存储区域匕(参照图3(13))，所述存储区域匕存储标记处理58 &中作成 的彩色图像数据CM(显示彩色图像CMP的图像数据）。
[0218] [彩色图像数据生成:S81a]
[0219] 在标记处理S8a中，首先参照存储在存储器229中的显示色表，基于评分Sc(X，y)来 确定适用于各像素(x，y)的颜色Col(x，y)。此外，病变像素以外的像素的颜色Col(x，y)设定 为无色透明（null值）。并且，生成由各像素(x，y)的颜色Col(x，y)构成的彩色图像数据CM， 并将其存储在存储器229的存储区域P c*(S81a)。
[0220] [图像混合处理：S82a]
[0221] 接着，对彩色图像CMP赋予透过性并进行将其重合于普通观察图像NP上的图像混 合处理S82a。具体而言，图像混合处理S82a为将普通观察图像数据N和彩色图像数据CM进行 加权平均的处理。通过进行加权平均，能够赋予彩色图像CMP以透过性并使其与普通观察图 像NP重合。此外，加权平均中的普通观察图像数据N的权重（重办）由预先设定的彩色图像 CMP的透过率确定。通过图像混合处理S82a生成的标记图像数据Μ被存储在图像存储器227 的存储区域匕中，从而完成标记处理S8a。此外，加权平均仅对病变像素(评分Sc( X，y)>0) 进行，对于健康的正常部分(评分Sc(x，y) = 0)的像素(x，y)，普通观察图像数据N的像素值N (x，y)不变而为标记图像数据Μ的像素值M(x，y)。
[0222] 在此，参照图25对图像混合处理S82a的效果进行说明。
[0223] 图25(a)为包括病变部的图像320的普通观察图像NP。
[0224] 图25(b)为在普通观察图像NP上直接地重合了彩色图像CMP的图像(透过率0 % )。
[0225] 图25(c)为通过本实施方式的图像混合处理S82a生成的标记图像MP。
[0226] 从图25(b)和（c)的比较可清楚得知，通过图像混合处理S82a生成的标记图像MP， 根据彩图而能够从视觉上容易地把握被推定为病变部的部位或者推定的重症度。另外，由 于彩图具有透过性，因此，从标记图像MP也能够在某种程度上把握病变部的形状和结构，能 够更加容易地进行诊断。
[0227] <第三实施方式>
[0228] 接着，对本发明的第三实施方式进行说明。在本实施方式中，通过在普通观察图像 NP上重合显示Sc(x，y)的等高线CL，从而肉眼确认性良好地显示病变部的位置或重症度的 分布。
[0229] 图26为说明第三实施方式中的等高线CL的作成过程的图。在本实施方式中，首先， 基于从图26(a)中所示的包括病变部的图像320的普通观察图像NP生成的评分表ST，参照显 示色表(表3)，生成图26(b)中所示的彩色图像CMP。通过对该彩色图像CMP进行例如对于彩 色图像数据CM的矢量微分运算等的处理，生成等高线CL。通过使如此生成的等高线CL重合 在普通观察图像NP上，生成图26 (c)中所示的本实施方式的标记图像MP。
[0230] 以上是本发明的例示性的实施方式的说明。本发明的实施方式不限于上述说明的 方式，在本发明的技术思想的范围内可以进行各种变形。例如，通过适当组合说明书中例示 性明示的实施方式等或显而易见的实施方式等而得到的内容也包含在本发明的实施方式 中。
[0231] 在上述的实施方式中，虽然在HSI空间中进行了病变的判定等的图像分析，但是， 也可以为代替HIS空间而在以色调（hue)、饱和度（saturation)以及明度（value(或者 brightness))为基底的HSV(HSB)空间中进行图像解析的构成。另外，还可以在CIE1976L*a* b色彩空间或YCbCr色彩空间等的、具有显示亮度或者明度的一个座标和显示颜色的性质 (例如色调以及饱和度，或者色度)的两个座标的其他种类的色彩空间上进行图像解析。
[0232] 另外，在上述的实施方式中，虽然在RGB空间上进行了 TE处理S3,但是，也可以为在 色彩空间转换处理S5之后在HIS空间上进行TE处理S3的构成。
[0233] 另外，也可以代替TE处理S3(色彩增强处理）而应用对比度增强处理(例如通过扩 大直方图的分布宽度而增强对比度的直方图等化法等)或使用了非锐化掩模滤光器的图像 锐化处理等其他种类的图像增强处理。
[0234] 另外，上述的实施方式是在炎症性肠病的内窥镜检查中应用了本发明的例子，当 然，也可以在其他的疾病的内窥镜检查中应用本发明。
[0235] 另外，上述的实施方式为，基于观察图像仅评价了一种病变(炎症)的重症度，并且 对观察图像的相应部位标注与其重症度对应的标记的例子，但是，也可以为对多种病变(例 如作为炎症性肠病中代表性的病变的炎症和溃疡)分别判定重症度，并且对观察图像的相 应部位标注与其重症度对应的标记的构成。另外，在这种情况下，也可以根据按照病变的种 类来改变显示方式(例如记号的种类或颜色）。
[0236] 另外，在上述的实施方式中，仅对病变部标注标记，但是，与之相反也可以为仅对 健康的正常部分标注标记的构成。另外，也可以为分别对病变部和健康的正常部分分别标 注不同的标记的构成。
[0237] 另外，在上述的实施方式中，使用记号、等高线以及显示色中的某一种来显示病变 部的重症度，但是，也可以组合这三种显示方式的两种以上来显示病变部的重症度。另外， 也可以为通过记号的种类、大小、颜色中两种以上的组合来显示重症度的构成。另外，也可 以为通过组合等高线的种类(实线、虚线、点划线、波浪线等）、粗细、颜色中的某一种或者上 述的两种以上来显示重症度的构成。
[0238] 此外，上述的实施方式是将本发明应用于作为数码相机的一种形式的电子内窥镜 装置的例子，但也可以将本发明适用于使用了其他种类的数码相机(例如数码相机或数码 摄像机)的系统。例如，将本发明应用于数码相机时，能够进行体表组织的病变部的诊断支 援或开颅手术时的脑组织的诊断支援。
【主权项】
1. 一种图像处理装置，其特征在于， 包括： 彩色图像取得单元，其取得显示生物体组织的彩色图像的彩色图像数据； 病变判定单元，其基于所述彩色图像数据对于所述彩色图像的各像素进行是否为病变 部的像素的判定； 标记单元，其基于所述判定的结果在所述彩色图像上标注显示所述病变部的位置的标 记； 其中，所述标记为背景的所述彩色图像透明的标记。2. 根据权利要求1所述的图像处理装置，其特征在于， 所述病变判定单元具有评分表生成单元，所述评分表生成单元生成评分表，所述评分 表的要素中包括对于所述彩色图像的每个像素显示所述生物体组织的病变的重症度的评 分， 所述标记单元基于所述评分表在所述彩色图像上标注显示所述病变部的位置以及重 症度的所述标记。3. 根据权利要求2所述的图像处理装置，其特征在于， 所述标记单元在所述彩色图像内设定作为处理的对象区域的掩模，计算所述掩模内的 所述评分的代表值，基于所述代表值对于所述掩模标注所述标记。4. 根据权利要求3所述的图像处理装置，其特征在于， 所述标记单元设定规定的初始尺寸的掩模，对于所述初始尺寸的掩模计算所述代表 值，根据所述代表值变更所述掩模的大小，以内接于变更了大小的所述掩模的方式标注所 述标记。5. 根据权利要求4所述的图像处理装置，其特征在于， 所述初始尺寸为所述掩模的最小尺寸。6. 根据权利要求3所述的图像处理装置，其特征在于， 所述标记单元在所述掩模内标注与所述代表值的数量相对应的所述标记。7. 根据权利要求3至6中任一项所述的图像处理装置，其特征在于， 所述标记单元一边在所述彩色图像内扫描所述掩模，一边在所述彩色图像上标注所述 记 D8. 根据权利要求7所述的图像处理装置，其特征在于， 所述标记单元以与设定完成的其他的所述掩模不重合的方式设定所述掩模。9. 根据权利要求3至8中任一项所述的图像处理装置，其特征在于， 所述代表值为相加平均、加权平均、中央值、众数以及均方根中的任何一个。10. 根据权利要求2至9中任一项所述的图像处理装置，其特征在于， 所述评分表生成单元包括： 色彩空间转换单元，其将所述彩色图像数据的色彩空间转换为具有显示亮度或者明度 的一个座标和显示颜色的性质的两个座标的色彩空间； 评分计算单元，其基于所述彩色图像数据的各像素的颜色的性质计算各像素的评分。11. 根据权利要求10所述的图像处理装置，其特征在于， 所述评分表生成单元进一步包括色彩增强单元，所述色彩增强单元在病变部所特有的 像素值的范围的边界区域内进行提高颜色的性质的对比度的色彩增强处理， 所述评分计算单元基于所述色彩增强处理之后的像素值计算各像素的评分。12. 根据权利要求10或11所述的图像处理装置，其特征在于， 所述评分计算单元基于与色调-饱和度空间或者色度空间中的基准点的距离计算各像 素的评分。13. 根据权利要求12所述的图像处理装置，其特征在于， 所述病变部为炎症部，所述基准点为血液的颜色。14. 根据权利要求1至13中任一项所述的图像处理装置，其特征在于， 所述标记为记号。15. 根据权利要求1至14中任一项所述的图像处理装置，其特征在于， 所述标记为具有透过率的颜色。16. 根据权利要求2所述的图像处理装置，其特征在于， 所述标记为所述重症度的等高线。17. 根据权利要求1至16中任一项所述的图像处理装置，其特征在于， 所述彩色图像为电子内窥镜图像。
【文档编号】A61B1/04GK106068092SQ201680000508
【公开日】2016年11月2日
【申请日】2016年2月8日
【发明人】池本洋祐, 水口直志, 小师敦, 橘俊雄, 太田纪子
【申请人】Hoya株式会社