图像处理装置以及电子内窥镜系统的制作方法

本发明涉及一种图像处理装置以及电子内窥镜系统。

背景技术：

在专利文献1、2中公开有一种电子内窥镜系统，该电子内窥镜系统取得由普通光拍摄得到的普通观察图像以及由相对于普通光位于窄带的窄带光拍摄得到的窄带观察图像，并将它们并列显示在一个画面中。

现有技术文献

专利文献

专利文献1特开2004-321244号

专利文献2日本专利公开公报特开2015-223249号

技术实现要素：

发明要解决的技术问题

但是，为了突出显示病变部与检查对象部等特征部分，难以避免会出现窄带观察图像变成与普通观察图像相比颜色等非常不同的不自然的外形的情况。并且，由于普通观察图像与窄带观察图像在画面上被分成两部分，因此各图像的尺寸会变小且可视性会降低。

基于上述问题产生本发明，本发明的目的之一在于，提供一种图像处理装置以及电子内窥镜系统，该图像处理装置以及电子内窥镜系统能够突出显示病变部和检查对象部等特征部分，同时能够获得整体自然且可视性优良的观察图像。

本发明的一种方式所涉及的图像处理装置，其特征在于，具有：观察图像输入部，在其上输入通过普通光拍摄得到的普通观察图像以及通过相对于所述普通光位于窄带的窄带光拍摄得到的窄带观察图像；特征部分提取部，其提取出所述窄带观察图像中包含的特征部分；强调显示部，其显示通过该特征部分对所述普通观察图像中的与所述窄带观察图像中所包含的特征部分相对应的部分进行强调而得到的单个图像。

本发明的一种方式所涉及的电子内窥镜系统，其具有：电子内窥镜，其取得通过普通光拍摄得到的普通观察图像以及通过相对于所述普通光位于窄带的窄带光拍摄得到的窄带观察图像；图像处理装置，其对所述普通观察图像以及所述窄带观察图像实施图像处理，其特征在于，所述图像处理装置具有：特征部分提取部，其提取出所述窄带观察图像中包含的特征部分；强调显示部，其显示通过该特征部分对所述普通观察图像中的与所述窄带观察图像中包含的特征部分相对应的部分进行强调而得到的单个图像。

所述强调显示部能够显示将所述普通观察图像中的与所述窄带观察图像中包含的特征部分相对应的部分与该特征部分合成在一起而得到的单个图像。

所述特征部分提取部能够将从所述普通观察图像的r分量中减去所述窄带观察图像的b分量而得到的表层特征分量作为所述特征部分提取出来，所述强调显示部能够从所述普通观察图像的g分量以及b分量中减去所述表层特征分量。

所述特征部分提取部能够将从所述普通观察图像的r分量中减去所述窄带观察图像的g分量之后进一步减去所述表层特征分量而得到的深层特征分量作为所述特征部分提取出来，所述强调显示部能够从所述普通观察图像的r分量中减去所述深层特征分量。

所述强调显示部能够显示通过该特征部分对所述普通观察图像中的与所述窄带观察图像中包含的特征部分相对应的部分进行置换而得到的单个图像。

在本说明书中，强调显示部对单个图像进行强调显示的方式包括：将普通观察图像中的与窄带观察图像中包含的特征部分相对应的部分与特征部分合成在一起的方式，以及利用特征部分对普通观察图像中的与窄带观察图像中包含的特征部分相对应的部分进行置换的方式。即，“强调”以包含“合成”和“置换”的概念使用。

根据本发明，能够提供一种图像处理装置以及电子内窥镜系统，该图像处理装置以及电子内窥镜系统能够突出显示病变部以及检查对象部等特征部分，同时能够获得整体自然且可视性优良的观察图像。

附图说明

图1是表示本实施方式所涉及的电子内窥镜系统的结构的框图。

图2是表示作为窄带观察图像中的被拍摄体组织的表层与深层中的特征部分的血管的图。

图3a、图3b是表示与普通光与窄带光中的表层信息与深层信息相对应的rgb分量波长的图。

图4是表示表层特征分量与深层特征分量的计算方法的图。

图5是表示本实施方式所涉及的图像处理的流程图。

具体实施方式

参照图1至图5，说明本实施方式所涉及的电子内窥镜系统1。电子内窥镜系统1具有电子内窥镜10、处理器(图像处理装置、光源装置)20、显示器30。

在图1中省略了电子内窥镜10的详细形状，电子内窥镜10具有：握持操作部，其供操作者握持；插入部，其从握持操作部延伸出来且具有挠曲性；通用管，其从握持操作部向与插入部相反的一侧延伸出来；连接器部分，其设置于通用管的顶端部。

在电子内窥镜10中内置有光导光纤11。光导光纤11通过电子内窥镜10的插入部、握持操作部以及通用管延伸至连接器部分的内部。如果电子内窥镜10的连接器部分与处理器20的连接器部分连接的话，则电子内窥镜10与处理器20光学连接。并且，内置于处理器20中的带滤光器的光源部21发出的照明光(后述的普通光或者窄带光)在光导光纤11的内部被引导，通过电子内窥镜10的插入部的顶端部上设置的照明透镜12以预定的配光向外面射出。

带滤光器的光源部21具有用于放射包含有r(红)、g(绿)、b(蓝)各波段的白色光的高亮度灯(例如氙气灯、卤素灯、水银灯、金属卤化物灯等)。并且，带滤光器的光源部21具有位于高亮度灯所发射的白色光的光路上的滤光器单元。滤光器单元在旋转式滤光器台中设置有用于过滤白色光的滤光器以及窄带滤光器，其中，用于过滤白色光的滤光器使高亮度灯发出的白色光通过并将其变成普通光，窄带滤光器缩短高亮度灯发出的白色光的波段并将其变成窄带光。窄带滤光器具有在rgb的各波段上窄半值宽度的光谱透射率。通过转动驱动滤光器单元的旋转式滤光器台，使高亮度灯发出的白色光交替通过用于过滤白色光的滤光器以及窄带滤光器，普通光以及比该普通光带宽窄的窄带光从带滤光器的光源部21被交替发出。窄带光的波段只要比普通光的波段窄的情况下就具有自由度且能够被设置，例如，可以设置成与血红蛋白的光特性相对应的波段。带滤光器的光源部21例如如上述专利文献2中所公开的那样众所周知，因而省略如上详细说明。

在电子内窥镜10的插入部的顶端部设置有拍摄单元13。该拍摄单元13通过环氧树脂等树脂材料一体成型包括物镜13a以及透过物镜13a拍摄被拍摄体的ccd13b的多个构成要素。ccd13b交替取得由带滤光器的光源部21经由光导光纤11以及照明透镜12被交替射出的普通光与窄带光形成的普通观察图像信号与窄带观察图像信号。该普通观察图像信号与窄带观察图像信号经由信号传输电缆14被传输到处理器20中。

处理器20具有控制部22、观察图像输入部(图像输出处理部)23、图像处理部(计算部)24、图像存储器25和显示处理部26。控制部22整体控制处理器20的所有构成元件。

观察图像输入部23对经由电子内窥镜10的信号传输电缆14传输的普通观察图像信号与窄带观察图像信号实施输入处理，将其作为普通观察图像与窄带观察图像进行输入。

图像处理部24对输入到观察图像输入部23的普通观察图像与窄带观察图像实施图像处理。图像处理部24具有特征部分提取部(图像特征计算部)24a及强调显示部(显示结果制作部)24b。

特征部分提取部24a提取出在观察图像输入部23中输入的窄带观察图像中包含的特征部分。更加具体来讲，特征部分提取部24a将在观察图像输入部23中输入的普通观察图像的r分量中减去窄带观察图像的b分量而得到的表层特征分量作为窄带观察图像的特征部分提取出来。并且，特征部分提取部24a将在观察图像输入部23中输入的普通观察图像的r分量中减去窄带观察图像的g分量之后进一步减去上述表层特征分量而得到的深层特征分量作为窄带观察图像的特征部分提取出来。

强调显示部24b通过将观察图像输入部23中输入的普通观察图像中的与特征部分提取部24a提取出来的窄带观察图像的特征部分相对应的部分与该特征部分合成在一起，生成强调显示该特征部分的单个合成观察图像(单个图像)。更加具体来讲，强调显示部24b从在观察图像输出部23中输入的普通观察图像的g分量与b分量中减去特征部分提取部24a提取出来的表层特征分量，同时从在观察图像输入部23中输入的普通观察图像的r分量中减去特征部分提取部24a提出来的深层特征分量。

图2是表示作为窄带观察图像中的被拍摄体组织的表层与深层中的特征部分的血管的图。图3a、图3b是显示与普通光与窄带光中的表层信息与深层信息相对应的rgb分量波长的图。在内窥镜的观察图像中，可以说r分量是可受支配的且最缺乏特征量的颜色分量，g分量与b分量是最适合强调显示特征量的颜色分量。窄带观察图像在b分量中包含很多组织表层的信息，在g分量中包含很多组织深层的信息。因此，组织表层的血管能够对b分量的波长光很好地反应(吸收)且易于被强调，组织深层的血管对g分量的波长光很好地反应(吸收)且易于被强调。由此，通过区别使用上述表层特征分量与深层特征分量，能够以不同显示的视效来强调表层组织与深层组织的血管。

图4是表示表层特征分量与深层特征分量的计算方法的图。在同一图中，通过从普通观察图像的r分量中减去窄带观察图像的b分量，从其中除去预定的阈值以下的颜色分量形成表层特征分量。另外，从普通观察图像的r分量中减去窄带观察图像的g分量，从其中除去预定的阈值以下的颜色分量以得到表层特征分量与深层特征分量相加的量，并从其中减去上述表层特征分量而形成深层特征分量。如此，提取出窄带观察图像的仅仅表层特征分量与深层特征分量。例如，通过从缺乏特征量的普通观察图像的r分量中减去难以影响整体颜色等的深层特征分量，并进一步减去g分量与b分量中本来具有的表层特征分量并使其突出显示，不会改变作为普通观察图像的颜色与对比度，能够仅改变特征部分的颜色与对比度并进行强调。并且，所述阈值可以是固定值，也可以基于例如rgb的各分量的平均值等进行动态的计算及设置。另外，也可以省略除去预定的阈值以下的颜色分量的处理本身(使阈值为零)。

图像存储器25用于存储合成观察图像(单个图像)，该合成观察图像通过图像处理部24来强调显示窄带观察图像的特征部分。显示处理部26使存储在图像存储器25中的合成观察图像(单个图像)显示在显示器30上。

参照图5的流程图，对本实施方式的电子内窥镜1以及处理器20进行的图像处理进行说明。

在步骤s1中，图像处理部24取得当前帧的观察图像。

在步骤s2中，图像处理部24判断在步骤s1中取得的当前帧的观察图像是普通观察图像还是窄带观察图像。该判断处理是例如通过检测带滤光器的光源部21的过滤单元(旋转式滤光器台)的旋转相位来执行的。

在步骤s3中，图像处理部24读取步骤s1中获得的当前帧的观察图像的前一帧的观察图像。由于普通观察图像与窄带观察图像在每一帧都会交替输出，因而在步骤s1中获得的当前帧的观察图像与步骤s3中读取的前一帧的观察图像变成普通观察图像与窄带观察图像的一对组合。另外，该一对组合的普通观察图像与窄带观察图像仅因照射光的波段的不同而视效不同，因而可以视为几乎相同的被拍摄图像。并且，通过利用该一对组合的普通观察图像与窄带观察图像，可以在不降低帧率的情况下显示合成观察图像(单个图像)。

在步骤s4中，图像处理部24的特征部分提取部24a基于普通观察图像的r分量与窄带观察图像的b分量，提取出(计算)表层特征分量。

在步骤s5中，图像处理部24的特征部分提取部24a基于普通观察图像的r分量与窄带观察图像的g分量以及步骤s4中提取出来的表层特征分量，提取出(计算)深层特征分量。

在步骤s6中，图像处理部24的强调显示部24b从普通观察图像的r分量中减去步骤s5中提取出的深层特征分量。

在步骤s7中，图像处理部24的强调显示部24b从普通观察图像的g分量与b分量中减去步骤s4中提取出的表层特征分量。

执行步骤s6和步骤s7的处理的顺序是有自由度的，可以同时执行这些处理。

在步骤s8中，显示处理部26使处于由图像处理部24强调显示窄带观察图像的特征部分的状态下的观察图像(合成观察图像、单个图像)显示在显示器30上。

在步骤s9中，将由图像处理部24强调显示窄带观察图像的特征部分而得到的合成观察图像存储于图像存储器25中。存储于图像存储器25中的合成观察图像例如在观察后保存于外部且被提供给更加详细的诊断和说明时的资料。

在步骤s10中，处理器20判断由电子内窥镜10进行的拍摄是否结束。当处理器20判定电子内窥镜20进行的拍摄结束时(步骤s10：是)，结束步骤s1至步骤s9的处理。当处理器20判定电子内窥镜20进行的拍摄尚未结束时(步骤s10：否)，重复进行步骤s1至步骤s9的处理循环。

如此，根据本实施方式的电子内窥镜系统1以及处理器20，特征部分提取部24a将窄带观察图像中包含的特征部分提取出来，强调显示部24b显示通过该特征部分对普通观察图像中的与窄带观察图像中包含的特征部分相对应的部分进行强调而得的单个图像。因此，能够突出显示病变部与检查对象等特征部分，从而进行高精度的治疗(手术)以及检查。并且，由于除病变部与检查对象等特征部分之外的部分维持普通观察图像的颜色等，且强调显示的观察图像在同一画面中放大显示，因此能够整体自然且可视性良好。另外，通过使用连续拍摄的两帧图像，由于能够将帧频的降低保留至最小限度，因而实现自然的图像显示。

在上述实施方式中，举例说明了如下情况，即，强调显示部24b通过将观察图像输入部23中输入的普通观察图像中的与特征部分提取部24a提取出来的窄带观察图像的特征部分相对应的部分与该特征部分合成在一起，生成强调显示该特征部分的合成观察图像。

这里，强调显示部24b进行的观察图像的合成方法不仅局限于上述实施方式中所说明的情况，还可以进行多种设计改变。例如，根据观察图像的用途，可以改变rgb分量以及表层特征分量和深层特征分量的加减运算的组合，也可以通过在进行加减运算之前对表层特征分量和深层特征分量加上任意的系数来增加或减少数值。另外，还可以根据需要采用乘法及除法等各种计算方法。

并且，强调显示部24b还可以通过该特征部分对观察图像输入部23中输入的普通观察图像中的与特征部分提取部24a提取出来的窄带观察图像的特征部分相对应的部分进行置换，来生成强调显示该特征部分的一部分被置换的观察图像(单个图像)。在该种实施方式中，可以使一部分被置换的观察图像的特征部分以及除此之外的其他部分的边界更加清晰。

工业上的可利用性

本发明的图像形成装置与电子内窥镜系统例如适合搭载于医用内视镜领域中的图像处理装置与电子内窥镜系统中。

符号说明

1电子内窥镜系统

10电子内窥镜

11光导光纤

12照明透镜

13拍摄单元

13a物镜

13bccd

14信号传输电缆

20处理器(图像处理装置、光源装置)

21带滤光器的光源部

22控制部

23观察图像输入部(图像输入处理部)

24图像处理部(计算部)

24a特征部分提取部(图像特征计算部)

24b强调显示部(显示结果制作部)

25图像存储器

26显示处理部

30显示器。