内窥镜装置及显示图像生成方法与流程

本发明涉及内窥镜装置及显示图像生成方法。

背景技术：

以往，具有对被摄体像实施图像处理而显示以能够发现被摄体的炎症等异常的技术。例如，在日本特许第4632645号说明书中公开了如下的成像装置：在将生物体组织以组织表层与组织表层以外的内部层这两层模型化的情况下，在使根据内部层的光学特性的变化而产生的观测值的变化对1个或多个图像值或者基于这些图像值的观测值的影响最小化的条件下，向使组织表层的散射特征变化最大化的散射特征空间应用映射，由此求出与生物体组织相关的散射特征的量，生成具有散射特征作为图像信息的生物体图像。

在成像装置中，进行与散射特性变化相关的成像，使得能够视觉确认上皮内结构异常等以往难以观察的特征。

但是，在以往的成像装置中，虽然进行与散射特性变化相关的成像，但是通过成像而生成的图像不是定量地示出被摄体的炎症等的异常程度的图像。因此，用户无法定量地掌握被摄体的异常程度。

对此，本发明的目的在于，提供一种能够定量地示出被摄体的炎症等的异常程度的内窥镜装置及显示图像生成方法。

技术实现要素：

本发明的一方式的内窥镜装置具有显示控制部，该显示控制部根据由摄像部拍摄被摄体而取得的被摄体像所包含的颜色，来计算示出所述被摄体的异常程度的指标，根据独立于所述被摄体像而设定的规定的阈值，生成识别显示了所述指标的显示图像。

本发明的一方式的显示图像生成方法，由摄像部拍摄被摄体而取得被摄体像，由运算部根据所述被摄体像所包含的颜色，来计算示出所述被摄体的异常程度的指标，由图像处理部根据独立于所述被摄体像而设定的规定的阈值，生成识别显示了所述指标的显示图像。

附图说明

图1是示出本发明的实施方式的内窥镜装置的结构例的框图。

图2是用于说明本发明的实施方式的血浆的吸光特性的图。

图3是用于说明本发明的实施方式的内窥镜装置的规定的指标计算式的图。

图4是用于说明本发明的实施方式的内窥镜装置的规定的指标计算式的图。

图5是用于说明本发明的实施方式的内窥镜装置的规定的指标计算式的图。

图6是用于说明本发明的实施方式的内窥镜装置的规定的指标计算式的图。

图7是用于说明本发明的实施方式的内窥镜装置的内窥镜图像的一例的图。

图8是用于说明本发明的实施方式的内窥镜装置的与指标对应的识别显示信息的一例的图。

图9是用于说明本发明的实施方式的内窥镜装置的显示图像的一例的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

(结构)

图1是示出本发明的实施方式的内窥镜装置1的结构例的框图。图2是用于说明本发明的实施方式的血浆的吸光特性w的图。在图2中，x轴表示波长，y轴表示吸光系数。另外，在图2中，示出通常频带的红色光br、通常频带的绿色光bg、通常频带的蓝色光bb、窄带的蓝色光nb、血浆的吸光特性w及血浆的吸光系数的峰值波长wp。

内窥镜装置1具有光源装置11、内窥镜21、视频处理器31以及显示部41。光源装置11与内窥镜21及视频处理器31分别连接。内窥镜21与视频处理器31连接。视频处理器31与显示部41连接。

光源装置11向照明部23输出照明光l，该照明部23设置于内窥镜21的插入部22的前端部。光源装置11具有光源控制部12、光源13以及合波器14。

光源控制部12是与光源13连接、且根据从显示控制部33输入的控制信号来进行光源13的控制的电路。例如，当输入了对光源装置11的驱动进行指示的控制信号时，光源控制部12向光源13指示发光，使光源装置11驱动。另外，当通过显示控制部33输入了指示通常光的发光的控制信号时，光源控制部12向光源13指示通常光的输出。另外，当通过显示控制部33输入了指示特殊光的发光的控制信号时，光源控制部12向光源13指示特殊光的输出。

光源13例如具有led等发光元件。光源13具有发出红色光的红色发光部13r、发出绿色光的绿色发光部13g及发出蓝色光的蓝色发光部13b，将通常频带的红色光br、通常频带的绿色光bg及通常频带的蓝色光bb输出到合波器14(图2)。

蓝色发光部13b除了输出通常频带的蓝色光bb之外，还根据从光源控制部12输入的控制信号，例如通过窄带光滤波器将蓝色光窄带化，从而输出窄带的蓝色光nb。

如图2所示，血浆的吸光特性w在波长415nm附近变低，在波长465nm附近成为峰值，在波长550nm附近接近于0。

因此，优选将蓝色光以中心波长成为与血浆的吸光系数的峰值波长wp相同的波长的方式窄带化。例如，将蓝色光以中心波长成为波长465nm附近的方式窄带化。也可以将蓝色光以中心波长成为460nm～470nm的方式窄带化。此外，也可以将蓝色光以中心波长成为415nm～495nm的方式窄带化。

当照射包括通常频带的红色光br及通常频带的绿色光bg以及窄带的蓝色光nb的特殊光时，血浆相对于红色光及绿色光更多地吸收蓝色光，与照射通常光时相比，黄色调(色味)表现地较强。

合波器14是对输入的各种颜色的光进行合波的装置。合波器14与照明部23连接，对从光源13输入的各种颜色的光进行合波而输出到照明部23。

内窥镜21构成为能够对被摄体内进行拍摄。内窥镜21具有插入部22、照明部23、摄像部24以及操作部x。

插入部22形成为细长状，使得能够向被摄体内插入。插入部22内插有未图示的各种管路及各种信号线。另外，插入部22具有未图示的弯曲部，能够根据操作部x的输入指示而弯曲。

照明部23设置在插入部22的前端部，将从光源装置11输入的照明光l照射到被摄体。

即，内窥镜装置1具有光源装置11和照明部23，光源装置11产生由通常频带的红色光br、通常频带的绿色光bg以及窄带的蓝色光nb构成的特殊光，照明部23向被摄体照射特殊光。

摄像部24设置在插入部22的前端部，对被摄体的返回光r进行拍摄而取得被摄体像，将摄像信号输出到视频处理器31。摄像部24具有ccd等摄像元件。

操作部x例如具有按钮、操纵杆等指示输入装置。操作部x也可以具有触摸面板、键盘及脚踏开关等指示输入装置。操作部x设置于内窥镜21及视频处理器31，能够向内窥镜装置1进行各种指示输入。例如，操作部x除了能够指示输入弯曲部的弯曲指示及光源装置11的驱动指示之外，还能够指示输入照射被摄体的照明光l的种类和被摄体的观察部位的种类。

视频处理器31进行内窥镜21的控制，基于从内窥镜21输入的摄像信号来生成内窥镜图像a，基于内窥镜图像a来生成显示图像b。视频处理器31除了操作部x之外还具有图像处理部32和显示控制部33。

图像处理部32是基于从摄像部24输入的摄像信号进行图像处理而生成内窥镜图像a的电路。图像处理部32基于摄像信号，例如进行增益调整、白平衡调整、伽马校正、轮廓强调校正、放大缩小调整等图像处理，生成内窥镜图像a，将内窥镜图像a输出到显示控制部33。

显示控制部33是进行内窥镜装置1内的各部的控制的电路。显示控制部33例如由fpga构成。显示控制部33与显示部41连接，基于内窥镜图像a而生成显示图像b，将显示图像b输出到显示部41。内窥镜图像a也可以是动态图像或静态图像中的任意一种。

另外，显示控制部33向光源装置11输出控制信号，进行指示以使得向被摄体照射与指示输入相应的照明光l。更具体而言，在从用户经由操作部x指示输入了通常光时，向光源控制部12指示通常光的输出。另外，在从用户经由操作部x指示输入了特殊光时，向光源控制部12指示特殊光的输出。

显示控制部33也可以根据内窥镜图像a的明亮度来调整照明部23的发光量。

显示控制部33具有存储部33a、运算部33b及图像生成部33c。

存储部33a由可改写的rom等存储装置构成，用于存储规定的指标计算式p1、规定的阈值p2及识别显示信息p3。

规定的指标计算式p1预先以独立于被摄体像的方式被设定，并存储于存储部33a。规定的指标计算式p1也可以根据观察模式的种类及观察部位的种类而设定多个，并存储于存储部33a。规定的指标计算式p1例如是计算指标的运算式的信息。

规定的阈值p2被设定为阶段性地划分通过规定的指标计算式p1计算出的指标，并存储于存储部33a。规定的阈值p2也可以根据观察模式的种类及观察部位的种类而设定多个，并存储于存储部33a。

识别显示信息p3设定有用于识别显示指标的、与通过规定的阈值p2划分出的范围建立了对应的例如颜色、亮度花纹等信息，并存储于存储部33a。

运算部33b基于内窥镜图像a来计算指标。运算部33b根据经由操作部x输入的照明光l的种类及观察部位的种类，从存储部33a读出规定的指标计算式p1，通过所读出的规定的指标计算式p1来计算指标，将指标输出到图像生成部33c。

图像生成部33c是生成显示图像b的电路。图像生成部33c从存储部33a读出与规定的指标计算式p1建立了对应的规定的阈值p2、以及与规定的阈值p2建立了对应的识别显示信息p3，基于从运算部33b输入的指标，决定与指标对应的识别显示信息p3，基于识别显示信息p3，生成识别显示了指标的显示图像b并输出到显示部41。

即，显示控制部33根据由摄像部24拍摄被摄体而取得的被摄体像所包含的颜色，计算示出被摄体的异常程度的指标，根据独立于被摄体像而设定的规定的阈值p2，生成识别显示了指标的显示图像b。

显示部41例如由能够进行彩色图像的显示的监视器构成，显示从图像生成部33c输入的显示图像b。

(关于指标及规定的指标计算式p1)

接下来，对指标及规定的指标计算式p1进行说明。

图3至图6是用于说明本发明的实施方式的内窥镜装置1的规定的指标计算式p1的图。

指标及规定的指标计算式p1被设定为能够示出被摄体的异常程度。

在图3中，拍摄鼻窦而取得的内窥镜图像a所包含的红色像素的亮度值即红色像素值vr、绿色像素的亮度值即绿色像素值vg及蓝色像素的亮度值即蓝色像素值vb分别通过红色像素值vr而被进行了归一化。在图3中，x轴的vb/vr、vg/vr、vr/vr分别表示指标计算式，y轴表示指标，实线表示正常粘膜n，单点划线表示浮肿m，双点划线表示息肉s。以下，在表示浮肿m及息肉s的双方或任意一方时，称为异常粘膜。

在体内的粘膜、尤其是鼻窦的粘膜中，症状按照正常粘膜n、浮肿m、息肉s的顺序加重。在正常粘膜n与异常粘膜之间，颜色存在差异，随着症状变重，粘膜上皮变厚，外观上的白色感也增强。

如图3所示，关于正常粘膜n与息肉s的返回光r的颜色差异，通过红色像素值vr进行归一化的短波长侧的vb/vr的指标之差cd2大于长波长侧的vg/vr中的指标之差cd1。

即，在体内的粘膜中具有如下特性：相比于长波长侧，在短波长侧较大地表现出正常粘膜n与异常粘膜之间的颜色的差异。另外，在体内的粘膜中具有随着粘膜上皮变厚而返回光r的光量增加的特性。

图4表示在正常粘膜n、浮肿m及息肉s之间，基于指标计算式的指标的计算结果的差异。在图4中，x轴的vg/vb、vr/vb、vr/vg、(vr+vg)/vb分别表示指标计算式，y轴表示指标。

图5表示通过正常粘膜n对图4的浮肿m和息肉s进行归一化而得到的浮肿m和息肉s的指标之差。在图5中，x轴表示指标计算式，y轴表示指标。

如图4及图5所示，在正常粘膜n和息肉s中，通过指标计算式(vr+vg)/vb计算出的指标之差cd3大于通过其他的指标计算式计算出的指标之差。

即，在鼻窦的粘膜中，通过指标计算式(vr+vg)/vb计算出的指标较大地表现出正常粘膜n与异常粘膜的颜色差异。

图6示意性地表示粘膜的切断面。在图6中示出正常粘膜n、浮肿m、息肉s、血管bv及照明光l。这里为了说明，照明光l是蓝色光等短波长的光，省略红色光及绿色光等长波长的光。

如图6的光进展区域l1所示，认为在正常粘膜n中，照明光l的进展度较高，相比于长波长侧，在短波长侧由于具有高吸光系数的粘膜内色素而使返回光r看起来为淡黄色。

如图6的光进展区域l2所示，认为在浮肿m中，照明光l的进展度下降。更具体而言，在浮肿m中，由于肥厚的上皮，照明光l相比于长波长侧而在短波长侧更多地散射，不被粘膜内色素吸收而返回到摄像部24。因此，返回光r看起来比正常粘膜n的返回光r的白色感强。

如图6的光进展区域l3所示，认为在息肉s中，与浮肿m相比，光的进展度进一步下降，看起来比浮肿m的白色感更强。

粘膜内色素认为是血浆。

即，根据被摄体像所包含的颜色，通过与照明光l的种类及观察部位的种类相应的规定的指标计算式p1来计算指标。

规定的指标计算式p1包括通过蓝色像素值vb对红色像素值vr与绿色像素值vg之和进行归一化而得到的指标计算式(vr+vg)/vb。指标计算式(vr+vg)/vb期望在鼻窦的粘膜中使用。另外，指标计算式(vr+vg)/vb可以通过通常光或特殊光中的任意一种照明光l来使用，但期望通过特殊光来使用。

另外，规定的指标计算式p1包括通过绿色像素值vg对红色像素值vr进行归一化而得到的指标计算式vr/vg。指标计算式vr/vg期望在消化管的粘膜中使用。

另外，规定的指标计算式p1包括通过蓝色像素值vb对红色像素值vr进行归一化而得到的指标计算式vr/vb。

另外，规定的指标计算式p1包括通过蓝色像素值vb对绿色像素值vg进行归一化而得到的指标计算式vg/vb。

此外，规定的指标计算式p1也可以包括将指标计算式(vr+vg)/vb、指标计算式vr/vg、指标计算式vr/vb及指标计算式vg/vb各自的分母与分子颠倒而得到的式子中的任意一个。即，规定的指标计算式p1也可以包括蓝色像素值vb通过红色像素值vr与绿色像素值vg之和进行归一化得到的式子、绿色像素值vg通过红色像素值vr进行归一化得到的式子、以及红色像素值vr或绿色像素值vg通过蓝色像素值vb进行归一化得到的式子中的任意一个。

(动作)

对实施方式的内窥镜装置1的动作进行说明。

图7是用于说明本发明的实施方式的内窥镜装置1的内窥镜图像a的一例的图。图8是用于说明本发明的实施方式的内窥镜装置1的与指标对应的识别显示信息p3的一例的图。图9是用于说明本发明的实施方式的内窥镜装置1的显示图像b的一例的图。

用户经由操作部x，例如指示输入观察部位及照明光l的种类。例如，用户指示输入观察部位的种类为鼻窦的粘膜，照明光l的种类为特殊光。

运算部33b根据指示输入，从存储部33a读入规定的指标计算式p1。

图像生成部33c从存储部33a读入与规定的指标计算式p1建立了对应的规定的阈值p2、以及与规定的阈值p2建立了对应的识别显示信息p3。

当用户将插入部22插入到被摄体且经由操作部x进行了用于向被摄体照射照明光l的指示输入时，显示控制部33向光源控制部12输出用于输出特殊光的控制信号。光源控制部12使红色发光部13r及绿色发光部13g输出通常频带的红色光br及通常频带的绿色光bg，并且，使蓝色发光部13b输出窄带的蓝色光nb。合波器14对红色光、绿色光及蓝色光进行合波，向照明部23引导照明光l。照明部23将从合波器14引导的照明光l照射到被摄体。

摄像部24将被摄体的返回光r转换成摄像信号，并输出到图像处理部32。图像处理部32基于摄像信号而生成内窥镜图像a，并输出到运算部33b。

图7是内窥镜图像a的例子。在图7的例子中，区域a1为白色，区域a2为浅红色，区域a3为深红色，区域a4为近乎黑色。在图7中，简化为区域a1～a4，但在实际的内窥镜图像a中表现出复杂的颜色及花纹。

运算部33b基于内窥镜图像a，通过从存储部33a读出的规定的指标计算式p1来计算指标。这里，使用(vr+vg)/vb作为规定的指标计算式p1。运算部33b将内窥镜图像a分解为rgb成分，针对内窥镜图像a上的各计算对象像素进行(vr+vg)/vb的运算，从而计算指标。计算出的指标被输出到图像生成部33c。

图像生成部33c基于从33b输入的指标和规定的阈值p2来决定识别显示信息p3。

在图8的例子中，指标被设定为0～69的范围，规定的阈值p2被设定为10、20、30、40、50、60。在识别显示信息p3中，指标0～9被设定为白色，指标10～19被设定为红色，指标20～29被设定为橙色，指标30～39被设定为黄色，指标40～49被设定为绿色，指标50～59被设定为蓝色，指标60～69被设定为黑色。

此外，在图8的例子中，在识别显示信息p3中设定色相不同的多个颜色，但也可以设定鲜艳度不同的多个彩度、明亮度不同的多个明度、间隔不同的多个阴影线或者图案不同多个花纹等。

例如，当指标的值为15时，图像生成部33c将识别显示信息p3决定为红色。

图像生成部33c将决定出的识别显示信息p3配置在与计算对象像素的位置对应的显示图像b上的位置，生成显示图像b并输出到显示部41。显示部41将从图像生成部33c输入的显示图像b显示于显示部41。

由图像生成部33c生成的显示图像b根据由指标决定的识别显示信息p3所示的颜色来区分颜色。在图9的例子中，区域b1为蓝色，区域b2为绿色，区域b3为黄色，区域b4为橙色，区域b5为红色，区域b6为橙色，区域b7为红色，区域b8为白色，区域b9为红色。

即，在显示图像生成方法中，由摄像部24拍摄被摄体而取得被摄体像，通过运算部33b，根据被摄体像所包含的颜色对示出被摄体的异常程度的指标进行计算，通过图像处理部32，根据独立于被摄体像而设定的规定的阈值p2，生成识别显示了指标的显示图像b。

在图8中示出如下例子：作为诊断指标，预先决定了指标0～69中的指标0～49为正常粘膜n、指标50～69为异常粘膜。用户按照该例子，能够定量地掌握区域b1为异常粘膜、区域b2～b9为正常粘膜n。

即，被摄体是观察对象的内脏器官，指标根据内脏器官的颜色而示出内脏器官的异常程度，该指标是独立于被摄体像而设定的，并且该指标是根据照明光l的种类及内脏器官的种类而被设定的，并且该指标被设定为使得在内脏器官的作为正常区域的正常粘膜n与作为异常区域的异常粘膜之间出现差异，以正常区域与异常区域的颜色差异大于被摄体像中的颜色差异的方式生成显示图像b。

由此，用户能够根据显示于显示部41的显示图像b来掌握被摄体的定量的异常程度。

根据上述的实施方式，内窥镜装置1能够定量地示出被摄体的炎症等的异常程度。

(实施方式的变形例)

在上述的实施方式中，图像生成部33c将识别显示信息p3配置在与计算对象像素的位置对应的显示图像b上的位置而生成了显示图像b，但也可以生成根据指标校正了内窥镜图像a而得到的显示图像b。在本变形例的说明中，针对与实施方式的说明相同的结构省略说明。

存储部33a存储规定的阈值p2a(图1的双点划线)。规定的阈值p2a作为划分正常粘膜n与异常粘膜的阈值，预先以独立于被摄体像的方式被设定，并存储于存储部33a。

图像生成部33c基于从运算部33b输入的指标及内窥镜图像a、以及从存储部33a读出的规定的阈值p2a，生成显示图像b。

更具体而言，图像生成部33c从存储部33a读入规定的阈值p2a。

当从运算部33b输入的指标为规定的阈值p2a以上时，图像生成部33c强调与指标对应的像素的颜色。像素的颜色的强调也可以通过将像素值乘以规定的系数k来进行，还可以通过将像素值加上规定值来进行。另外，也可以通过提高像素的明度来进行，还可以通过提高像素的彩度来进行。

当指标小于规定的阈值p2a时，图像生成部33c也可以构成为不强调与指标对应的像素。

由此，在内窥镜装置1中，通过示出被摄体的异常程度的指标来强调内窥镜图像a的异常粘膜，定量地示出被摄体的异常程度。

此外，在实施方式及变形例中，针对内窥镜图像a内的计算对象像素计算指标并进行了识别显示，但除此之外，也可以计算基于内窥镜图像a整体的像素值的平均值的整体指标并进行识别显示。具体而言，也可以计算内窥镜图像a整体的像素值的平均值，根据该平均值来计算整体指标，还可以对计算对象像素的指标进行计算，通过取其指标的平均值来计算整体指标。也可以根据设定为内窥镜图像a整体用的规定的阈值p2a，将计算出的整体指标识别显示于与显示图像b相邻的规定位置。由此，内窥镜装置1能够定量地示出内窥镜图像a内的整体上的炎症程度。这里，整体指标的识别显示与以各计算对象像素计算的指标的识别显示同样地，可以由色相不同的多个颜色或间隔不同的多个阴影线等显示，也可以由表示整体指标与规定的阈值p2a的关系的数值本身或者表示整体指标的数值本身显示。

此外，在实施方式中，将被摄体的炎症等的异常程度划分为7个阶段而示出，但不局限于7个阶段。例如，也可以划分为2～6个阶段而示出，还可以划分为8个阶段以上而示出。

此外，在实施方式及变形例中，说明了特殊光的观察模式的例子，但也可以通过通常光的观察模式来进行被摄体的观察。

此外，在实施方式及变形例中，说明了观察部位为鼻窦的例子，但不局限于鼻窦。例如，观察部位也可以是消化器官等其他的内脏器官。

此外，在实施方式及变形例中说明的规定的指标计算式p1是示例，但不局限于此，也可以包括其他的指标计算式。

此外，在实施方式及变形例中，显示控制部33的功能通过fpga来实现，但显示控制部33的全部或一部分功能也可以通过未图示的cpu及cpu所执行的程序来实现。

本说明书中的各“部”并不一定一对一地对应于特定的硬件、软件程序。另外，本实施方式中的各步骤只要不违反其性质，则也可以变更执行顺序、同时执行多个步骤、或者在每次执行时按照不同的顺序执行。此外，也可以通过计算机执行的软件来实现本实施方式中的各步骤的全部或一部分。

本发明不局限于上述的实施方式，在不改变本发明的主旨的范围内能够进行各种变更、改变等。

根据本发明，可提供能够定量地示出被摄体的炎症等的异常程度的内窥镜装置及显示图像生成方法。

本申请是将2017年6月13日在日本申请的日本特愿2017-116234号作为优先权主张的基础而申请的，上述的公开内容被本申请说明书、权利要求书引用。