内窥镜系统的制作方法

内窥镜系统的制作方法
【专利摘要】本发明提供一种内窥镜系统，具备：照明部，其对于观察对象照射普通光，并且能够分别照射具有互不相同的峰值的多个窄频带光；图像处理部，其基于从窥镜前端部的图像传感器以规定时间间隔读出的1帧/半帧量的像素信号生成观察图像，并且根据多个窄频带光照射生成多个光谱图像；检测部，其至少相对于多个光谱图像检测操作员照准部位；设定部，其决定包含检测出的照准部位的诊断对象区域；光谱图像处理部，其在相对于多个光谱图像决定的多个诊断对象区域中提取光谱特性与其他不同的病变部，图像处理部生成识别病变部的诊断图像。
【专利说明】
内窥镜系统
技术领域
[0001] 本发明涉及对体内器官等的被摄体进行拍摄并进行处置、手术等的内窥镜系统， 特别涉及光谱图像中的病变部提取。
【背景技术】
[0002] 在具备光谱图像显示功能的内窥镜系统中，能够将峰值不同的窄频带的光朝向观 察对象照射，将与观察目的相对应的图像作为光谱图像进行显示。例如，在光路上配置具有 缩小了 R、G、B的光透射频带的离散的峰值光谱特性的（无重叠部分的）窄频带过滤器(例如 参照专利文献1)。
[0003] 对病变部照射窄频带光时的反射光的光谱特性与对健康部照射时的光谱特性不 同。这是因为，血管中所含的氧合血红蛋白、还原血红蛋白浓度或病变部的生物体组织中所 含的物质与健康部不同。
[0004] 因此，将不同的窄频带的光依次照射观察对象，生成多个光谱图像数据，如果能够 相对于一定波长域的光检测光谱特性不同的区域，则就能够确定病变部。这能够通过使用 多元回归分析等统计分析来实现。
[0005] 例如，考虑到病变部与健康部的氧合血红蛋白、还原血红蛋白的光谱特性存在差 异，依次照射处于5nm~800nm的范围的窄频带的光，对得到的多个光谱图像进行多元回归 分析。通过多元回归分析对每个像素确定氧合血红蛋白、还原血红蛋白的成分比例（贡献 率），由此能够显示强调了病变部的观察图像(参照专利文献2)。
[0006] 现有技术文献
[0007] 专利文献
[0008] 专利文献1:日本特许第3607857号公报 [0009] 专利文献2:日本特开2013 - 240401号公报

【发明内容】

[0010](发明要解决的技术问题）
[0011]在取得多个光谱图像数据而确定病变部的情况下，如果使拍摄区域留在同一部 位，则不能正确地检测各像素的光谱特性的差异。但是，在操作员持续保持窥镜的内窥镜作 业中，难以总是拍摄同一部位，并且在光谱图像间于拍摄区域产生错位。因此，可能会错误 地提取病变部。
[0012]因此，寻求即使在内窥镜作业中拍摄区域发生变动，也能够基于多个光谱图像高 精度地提取病变部。
[0013](解决技术问题的技术方案）
[0014]本发明的内窥镜系统具备对于观察对象照射普通光的照明部、和基于从窥镜前端 部的图像传感器以规定时间间隔读出的1帧/半帧量的像素信号生成观察图像的图像处理 部。照明部能够将具有不同的峰值的多个窄频带光与普通光一同分别进行照射。例如，能够 根据观察模式的切换来切换普通光照射和多个窄频带光的连续照射。另外，图像处理部能 够从根据多个窄频带光照射而生成的图像信号生成多个观察图像(以下称为光谱图像）。
[0015] 进而，本发明的内窥镜系统具备至少相对于多个光谱图像检测操作员照准部位的 检测部、决定包含检测出的照准部位的诊断对象区域的设定部、在相对于多个光谱图像决 定的多个诊断对象区域中提取光谱特性与其他不同的病变部的光谱图像处理部。
[0016] 在此，"操作员照准部位"是指内窥镜作业者在作为观察对象的被摄体中注意、注 视的部位，表示成为诊断对象的场所。例如，认为是病变部的部位、组织成为照准部位。操作 员照准部位为操作员在观察图像中的视线位置、相对于观察对象附着于确定部位的染料等 各种部位。
[0017] 能够对诊断对象区域设定观察图像的一部分任意的区域，例如，能够设定以操作 员照准部位为中心的诊断对象区域，并在各光谱图像中设定同一尺寸的诊断对象区域。
[0018] 光谱图像处理部能够适宜进行频谱分析等而提取病变部。例如，能够使用多元回 归分析等。图像处理部生成识别了提取出的病变部的诊断图像。例如，图像处理部能够以在 基于普通光的观察图像中识别病变部和其他部分的方式进行显示，另外，也能够生成合成 了光谱图像的图像作为诊断图像。
[0019] 本发明中，通过以操作员照准部位为基准决定观察图像中决定的诊断对象区域， 各光谱图像的诊断对象区域成为作为观察对象的被摄体的同一部分的图像区域。因此，BP 使拍摄范围在窄频带光照射的期间错位，也能够生成同一区域的光谱图像，能够进行适当 的病变部提取。
[0020] 图像处理部能够将表示操作员照准部位的像与观察图像重叠，操作员能够在画面 中所显示的光谱图像中同时识别视线位置以及照准部位。另外，图像处理部能够将表示诊 断对象区域的像与观察图像重叠，能够识别各光谱图像中的诊断对象区域。
[0021] 检测部能够将各光谱图像中的染料附着部位作为操作员照准部位进行检测，通过 观察图像的图像分析能够容易地检测染料附着部位。检测部不仅对于光谱图像，而且对于 基于观察模式切换前的普通光的观察图像也能够检测染料附着部位。通过将表示染料附着 部位的像显示出来，操作员能够在向光谱图像切换之前确认是否能够正确地检测染料附着 部位。例如，检测部根据观察模式切换前的操作员的操作来检测染料附着部位。另外，在使 用基于普通光的观察图像生成诊断图像的情况下，检测部只要对基于在多个窄频带光照射 后生成的普通光的观察图像也检测染料附着部位即可。
[0022] 另一方面，在将视线位置作为操作员照准部位进行检测的情况下，检测部具备拍 摄部、和基于由拍摄部生成的操作员的面部图像将相对于所显示的光谱图像的视线位置作 为操作员照准部位进行检测的视线位置检测部。也能够从观察图像的显示画面上检测视线 位置，另外，也能够在操作员的两眼附近安装标识，对其进行检测。例如，检测部能够从面部 图像检测处于远离操作员的两眼的场所的标识的像，能够基于标识的位置和两眼位置检测 视线位置。
[0023] 照明部能够根据观察模式的切换来切换普通光照射和多个窄频带光照射，但在视 线位置检测的情况下，优选的是，检测部不仅对于光谱图像，还对于观察模式切换前的观察 图像、或基于多个窄频带光照射后的普通光的观察图像检测视线位置。
[0024]本发明其他方式的图像处理装置具备:检测部，其相对于基于具有互不相同的峰 值的多个窄频带光得到的多个光谱图像检测操作员照准部位;设定部，其相对于多个光谱 图像决定包含检测出的照准部位的诊断对象区域;光谱图像处理部，其生成在相对于多个 光谱图像决定的多个诊断对象区域中识别了光谱特性与其他不同的病变部的诊断图像。
[0025] 另外，本发明的内窥镜系统的光谱图像处理方法中，相对于依次放射具有互不相 同的峰值的多个窄频带光时得到的多个光谱图像检测操作员照准部位，进行相对于多个光 谱图像决定包含检测到的照准部位的诊断对象区域的设定，生成在相对于多个光谱图像决 定的多个诊断对象区域中识别了光谱特性与其他不同的病变部的诊断图像。进而，在内窥 镜系统中，还能够提供一种程序，其执行如下步骤:相对于基于具有互不相同的峰值的多个 窄频带光得到的多个光谱图像检测操作员照准部位的步骤;相对于多个光谱图像决定包含 检测出的照准部位的诊断对象区域的步骤;生成在相对于多个光谱图像决定的多个诊断对 象区域中识别了光谱特性与其他不同的病变部的诊断图像的步骤。
[0026] 另一方面，本发明其他方式的内窥镜装置具备:照明部，其能够将具有不同的峰值 的多个窄频带光与普通光一同对观察对象进行照明；图像处理部，其基于从设于窥镜前端 部的图像传感器依次读出的1半帧/帧量的像素信号生成观察图像;视线检测部，其检测显 示有观察图像的显示装置的画面上的操作员的视线位置;光谱图像处理部，其在基于多个 窄频带光生成的多个光谱图像的每一个中决定包含检测到的视线位置的诊断对象区域，并 且执行在其中提取光谱特性与其他不同的病变部的光谱图像处理，图像处理部生成识别了 病变部的显示用诊断图像。
[0027] 光谱图像处理部能够将在各光谱图像中与诊断对象区域相对应的像素数据暂时 保存于存储器中，并对所保存的像素数据执行光谱图像处理。光谱图像处理部能够将视线 位置周边的区域决定为诊断对象区域。
[0028] 本发明其他方式的内窥镜装置的处理器具备：照明部，其能够将具有不同的峰值 的多个窄频带光与普通光一同对观察对象进行照明；图像处理部，其基于从设于窥镜前端 部的图像传感器依次读出的1半帧/帧量的像素信号生成观察图像;光谱图像处理部，其在 基于多个窄频带光生成的多个光谱图像的每一个中决定包含通过检测操作员在显示有观 察图像的显示装置的画面上的视线位置的视线检测部检测到的视线位置的诊断对象区域， 并且执行在其中提取光谱特性与其他不同的病变部的光谱图像处理，图像处理部生成识别 了病变部的显示用诊断图像。
[0029] (发明的效果）
[0030] 这样，根据本发明，在利用内窥镜系统中的光谱图像的病变部诊断中，能够正确地 提取病变部。
【附图说明】
[0031] 图1是本实施方式的电子内窥镜系统的框图。
[0032] 图2是在光谱图像模式下执行的光谱图像处理的流程图。
[0033]图3是表示视线追随时的光谱图像的画面显示的图。
[0034]图4是表示拍摄部的安装位置的图。
[0035]图5是表示安装于操作员的头部的标识的图。
[0036]图6是表示通过视线检测装置执行的校准处理的流程图。
[0037] 图7是表示校准处理过程中的显示画面的图。
[0038] 图8是第二实施方式的光谱图像处理的流程图。
[0039]图9是第三实施方式的内窥镜系统的框图。
[0040] 图10是表示确定染料喷出部位的处理的流程图。
[0041] 图11是表示确定了染料喷出位置的画面的图。
[0042]图12是第三实施方式的光谱图像处理的流程图。
[0043] 符号说明
[0044] 10视频窥镜
[0045] 20处理器
[0046] 26前级图像信号处理电路（图像处理部）
[0047] 27光谱图像处理电路(光谱图像处理部、设定部）
[0048] 28后级图像信号处理电路（图像处理部、光谱图像处理部）
[0049] 29图像存储器
[0050] 40系统控制电路 [0051 ] 50光谱过滤器
[0052] 70视线检测装置(检测部、视线位置检测部）
[0053] 71照相机(拍摄部）
[0054] BR诊断对象区域 [0055] C 视线位置。
【具体实施方式】
[0056]以下，参照【附图说明】本实施方式的电子内窥镜装置。
[0057]图1是第一实施方式的电子内窥镜系统的框图。
[0058]电子内窥镜系统具备电子内窥镜装置，并且具备视线检测装置70,所述电子内窥 镜装置具备视频窥镜10和处理器20,所述视线检测装置70具备照相机71。视频窥镜10可装 卸自如地连接于处理器20，另外，监视器60连接于处理器20。
[0059] 处理器20具备氙灯等灯48，灯48通过灯驱动电路(未图示）驱动。从灯48放射的宽 频带的白色光(普通光)经由聚光透镜45向设于视频窥镜10内的光导件11的入射端IlA入 射。通过了光导件11的光经由配光透镜13从窥镜前端部IOT朝向被摄体(观察对象)照射。在 灯48和光导件11之间设有光圈（未图示），通过光圈的开闭来调整照明光量。
[0060] 由被摄体反射的光通过设于窥镜前端部IOT的物镜14在图像传感器12上成像，在 图像传感器12的受光面上形成被摄体像。图像传感器12由驱动电路17驱动，以规定的时间 间隔(例如1/60秒或者1/30秒间隔)从图像传感器12读出1半帧量或1帧量的像素信号。
[0061] 在此，图像传感器12由CCD、CM0S等拍摄元件构成，在图像传感器12的受光面上配 设有矩阵排列〇7、￥6、6、1%、或1?、6、8等色彩要素而成的滤色器阵列(未图示）。
[0062] 由图像传感器12读出的1半帧/帧量的像素信号在初始电路(未图示）中被放大并 数字化后，送入处理器20。在处理器20的前级图像信号处理电路26中，对一连串的数字像素 信号实施白平衡处理、伽玛修正处理等图像信号处理。由此，生成基于普通光的彩色图像信 号，即观察图像。
[0063]所生成的彩色图像信号经由光谱图像处理电路27被送入后级图像信号处理电路 28。在后级图像信号处理电路28中，对图像信号实施轮廓强调处理、叠加处理等。通过将图 像信号从后级图像信号处理电路28输出到监视器60,在监视器60上显示观察图像。
[0064]包含CPU、ROM(均未图示）等的系统控制电路40向时序控制器38、前级图像信号处 理电路26等输出控制信号，在处理器20处于电源接通状态期间控制处理器20的动作。动作 控制程序预先存储于ROM中。
[0065] 设于处理器20的时序控制器38向前级图像信号处理电路26、驱动电路17等处理器 20、以及设于视频窥镜10的电路输出时钟脉冲信号，控制并调整各电路的输入/输出时序。 [0066] 在灯48和光导件11之间设有盘状的光谱过滤器50。光谱过滤器50仅使从灯48发射 的光中峰值相互分开并且没有重叠部分的窄频带的光通过。在此，由等间隔配置有峰值分 别为540nm、555nm、570nm的滤色器的盘构成光谱过滤器50。光谱过滤器50能够通过过滤器 驱动部(未图示)从光路上向光路外、或其反方向移动。
[0067]电机54基于来自驱动器52的控制信号使光谱过滤器50旋转规定角度。光谱过滤器 50根据旋转角度使白色光或确定的窄频带光选择性地向光导件11入射。系统控制电路40经 由驱动器52驱动控制电机54,调整光谱过滤器50的旋转角度以及旋转移动的时序。
[0068]在处理器20的前面板22上设有模式设定按钮(未图示），该模式设定按钮切换将普 通的宽频带的白色光作为照明光设定的通常图像观察模式、和将窄频带光切换为照明光而 显示确定病变部的诊断图像的光谱图像观察模式。而且，能够设定检测操作员的监视器画 面上的视线位置并显示视线位置的视线追随模式。在基于视线追随进行病变部诊断时，在 操作员设定了视线追随模式后，切换为光谱图像观察模式。此外，也可以利用设于视频窥镜 10的操作按钮(未图示)进行模式切换。
[0069] 在由操作员或共同作业者切换为光谱图像观察模式时，配置于光路外的退避位置 的光谱过滤器50通过过滤器驱动部（未图示)在光路上移动。而且，根据来自时序控制器38 的同步信号，利用电机54使光谱过滤器50每隔规定角度旋转。由此，三个窄频带光依次向光 导件11入射。
[0070] 前级图像信号处理电路26对基于各窄频带光的1半帧/帧量的像素信号实施图像 处理，生成基于窄频带光的观察图像（以下，称为光谱图像）。在设定了光谱图像观察模式的 情况下，光谱图像处理电路27基于光谱图像执行提取病变部的光谱图像处理。即，基于三个 光谱图像分析各像素数据的光谱特性。而且，将光谱特性与其他像素不同的部分作为病变 部提取。在此，通过对各像素进行多元回归分析，确定病变部。
[0071] 依次照射了三个窄频带光后，再次以照射普通光的方式使光谱过滤器50退避到光 路外。后级图像信号处理电路28对彩色图像信号执行图像处理，以识别基于普通光生成的 观察图像中被确定的病变部。
[0072]视线检测装置70检测保持着视频窥镜10的操作员的视线位置，向处理器20的系统 控制电路40发送监视器画面上的位置坐标数据。在此，与从图像传感器12读出的像素信号 的帧期间同步地发送位置坐标数据。设于监视器60的画面上部的照相机71拍摄操作员的面 部，视线检测位置70基于生成的面部图像检测视线位置。
[0073]视线位置的检测能够应用各种众所周知的视线检测方式。例如，通过检测成为眼 的特征点的瞳孔部分的位置、以及眼朝向的方向，能够确定视线位置。或者也可以在操作员 的头部佩戴头部佩戴型的视线检测器。
[0074]处理器20的时序控制器38经由系统控制电路40向视线检测装置70输出同步信号。 视线检测装置70在设定光谱图像模式时，按照其同步信号、即1半帧/帧期间发送视线位置 的位置坐标数据。
[0075]以下，使用图2、3说明基于光谱图像的病变部诊断处理。
[0076]图2是在光谱图像观察模式时执行的光谱图像处理的流程图。图3是表示视线追随 模式设定时的照明光的切换以及显示图像的图。此外，以下，说明按照1帧期间生成采用普 通光的观察图像、采用窄频带光的光谱图像。
[0077] 在通常观察模式下，光谱过滤器50向光路外退避，以向观察对象照射普通光 (SlOl)。在未设定视线追随模式的状态下切换为光谱观察模式时，执行通常的光谱图像处 理（S113、S114)。系统控制电路40使光谱过滤器50在光路上移动并进行旋转控制，在每1帧 期间依次照亮三个窄频带光。
[0078]光谱图像处理电路27基于在前级图像信号处理电路26生成的3帧量的光谱图像数 据进行频谱分析，并执行提取病变部的光谱图像处理。以下，详述光谱图像处理。
[0079] 成为观察对象的生物体组织具有各种光的吸收特性不同的多种物质，另外，在病 变部和健康部之间，根据光的吸收特性的差异(特别是540nm~570nm)，氧合血红蛋白和还 原血红蛋白的构成比率不同。因此，如果以各光谱图像的像素值(亮度值)为目的变量，以氧 合血红蛋白、还原血红蛋白的每波长域的光的吸收特性为解释变量，以像素值为解释变量 的总和，则能够通过多元回归分析算出各解释变量的系数的值(鉴别参数），能够对各像素 求出氧合血红蛋白、还原血红蛋白的构成比率。
[0080] 但是，在通过照射三个窄频带光而得到的光谱图像中，不仅含有生物体组织的反 射光，还含有在生物体组织内散射的光的像素信息。另外，图像传感器12的信号特性、观察 对象的周围的亮度等引起的装置固有的噪声也包含在光谱图像中。因此，进一步确定加入 了散乱光成分以及装置固有的偏移成分作为解释变量的以下的数学式。
[0081] 【数学式1】
[0085] 通过将光谱图像的像素值代入上述数学式I，像素数据被分解成吸收特性的光谱、 散射系数的光谱、固有偏移值。系数Pl~P4表示各光谱成分的贡献率、即像素值的构成比 例，因此，如果对每个像素进行计算系数Pl~P4的多元回归分析，则能够求出表示氧合血红 蛋白、还原血红蛋白的贡献率的系数Pl、P2、
[0086] 如上述，在病变部，由于氧合血红蛋白和还原血红蛋白的构成比率(贡献率）与健 康部不同，所以，如果能够求出通过多元回归分析求出的系数P1、P2的比、即系数P1、P2的相 对的值，则就能够确定病变部。因此，通过根据上述数学式1对各系数算出以系数Pl~P4的 任一个系数为基准的相对值，能够求出系数Pl、P2的构成比率。
[0087] 在基于各像素的系数比的病变部的判断中，能够使用各种方法。例如，能够求出全 像素的系数比的直方图，将阈值以上的像素确定为病变部。关于阈值，只要预先将根据通过 拍摄健康部和病变部而得到的光谱图像数据的光谱分布特性求出的阈值存储于ROM等存储 器中即可。
[0088] 如果在光谱图像中确定病变部的像素，则在后级图像信号处理电路28中执行图像 编辑处理，以能够识别病变部。具体而言，对从窄频带光切换为普通光之后生成的观察图像 执行图像处理，以通过与健康部不同的确定的颜色来表示相当于病变部的像素。在此，用红 色表示与病变部相对应的像素。
[0089] 另一方面，如果在向光谱图像观察模式进行切换之前设定视线追随模式，则对各 帧的观察图像检测视线位置，并且设定包围视线位置的诊断对象区域，并且执行叠加显示 视线位置以及诊断对象区域的处理(S103)。
[0090] 具体地进行说明时，系统控制电路40接收在每1帧期间接收的监视器画面上的视 线位置坐标数据，设定以视线位置为中心的诊断对象区域。在后级图像信号处理电路28中， 在系统控制电路40的控制下，实施在监视器60的画面上显示视线位置以及诊断对象区域的 叠加处理。
[0091] 如图3所示，视线C在画面上的位置在操作员注视着疑为病变部的部分的状态下表 示视线与画面交叉的点的位置（以下，也通过符号C表示视线位置）。另一方面，诊断对象区 域BR具有相应于包围视线位置C的区域、即包含病变部的区域的尺寸，表示应通过光谱图像 进行诊断处理的区域。再次，通过以视线C的位置为中心的矩形区域来规定诊断对象区域 BR0
[0092] 而且，通过叠加处理，在观察图像上重叠显示表示视线C的位置的微小圆的像R、和 表示诊断对象区域BR的虚线状帧的像FB。诊断对象区域BR设定于观察图像的一部分区域。 例如，诊断对象区域BR被决定为观察图像(画面)尺寸的一半以下、1/4以下等。在操作员观 察监视器60的画面期间，系统控制电路40在每1帧期间更新视线位置C以及诊断对象区域BR 的显示位置。此外，也可以任意地设定诊断对象区域BR的尺寸或形状。
[0093]在这样设定了视线追随模式的状态下切换为光谱图像观察模式时(S104)，系统控 制电路40旋转控制光谱过滤器50,对观察对象依次照射窄频带光(S105)。所生成的光谱图 像数据经由光谱图像处理电路27被依次送入后级图像信号处理电路28。由此，在监视器60 上依次显示三个光谱图像(参照图3)。
[0094]在依次照射窄频带光的期间，也对各光谱图像执行视线C的位置检测和诊断对象 区域BR的设定、以及表示视线C的像R和表示诊断对象区域BR的帧像FB的叠加处理。而且，将 位于相对于各光谱图像决定的诊断对象区域BR内的像素的像素数据从前级图像信号处理 电路26输出并保存于图像存储器29中（S106~S109)。
[0095]在依次照射频带光的期间，由窥镜前端部IOT捕捉的拍摄区域不总是为同一区域， 即使操作员保持视频窥镜10的姿势发生细微变化，拍摄区域也会发生变动(其中，图3中夸 张描绘该变动）。另一方面，如果在操作员注视着病变部的期间拍摄区域发生变动，则注视 位置伴随该变动而移动。其结果，操作员的视线C的位置以及诊断对象区域BR的位置也按照 视线C的动作进行移动。
[0096]图3中表示显示基于最初的窄频带光的光谱图像(A)、基于下一窄频带光的光谱图 像(B)、基于最后的窄频带光的光谱图像(C)时的诊断对象区域BR的显示位置。根据在显示 表示视线位置的像R的状态下，操作员持续关注诊断对象的点，则以视线位置C为中心的诊 断对象区域BR内的图像能够与各光谱图像一同实质上看作是同一部位的图像。
[0097] 即，在相对于三个光谱图像决定的三个诊断对象区域BR之间，其相对的位置相同 的像素数据能够看作是基于同一被摄体的数据。另外，即使像素间稍有差别，如果考虑病变 部在一定程度的区域内遍及产生，则也能够在一定程度上正确地确定病变部的位置。
[0098]如果将与3帧量的诊断对象区域BR相对应的像素数据保存于图像存储器29,则在 光谱图像处理电路27中，对与诊断对象区域BR相对应的像素数据执行多元回归分析处理 (S110、Slll)。通过执行多元回归分析处理，确定在诊断对象区域BR内被看作是病变部的像 素。另一方面，诊断对象区域BR以外的像素数据未进行光谱图像处理而被直接送入后级图 像信号处理电路28。
[0099] 如果病变部被确定，则光谱过滤器50退避到光路外，照射普通的白色光。随之，在 前级图像信号处理电路26中，生成通常的彩色图像信号。后级图像信号处理电路28基于从 视线检测装置70送来的视线位置坐标的数据来执行叠加处理，将视线C的像R以及诊断对象 区域BR的帧像FB重叠显示在基于普通光的观察图像上。
[0100]进而，后级图像信号处理电路28基于从系统控制电路40送来的病变部的像素位置 信息实施图像处理，以在诊断对象区域BR内识别病变部(S112)。在此，以用红色显示与病变 部相对应的像素的方式实施图像处理。图3中，用阴影线表示与病变部ST相当的红色图像部 分。识别了病变部的图像处理持续规定期间（例如数秒）。重复执行步骤SlOl~S115,直至电 源断开为止。
[0101] 这样，根据本实施方式，在具备视线检测装置70的内窥镜系统中，通过光谱过滤器 50使峰值不同的窄频带光从窥镜前端部IOT射出。另一方面，如果设定视线追随模式，则相 对于基于普通光、窄频带光生成的各帧的观察图像(包含光谱图像)检测视线C的位置，并决 定诊断对象区域BR。而且，对诊断对象区域BR内的像素数据进行多元回归分析，确定病变 部，并实施图像处理，以识别病变部的像素。
[0102] 通过根据视线C的位置决定诊断对象区域BR，即使拍摄区域在光谱观察模式期间 中变动，也能够使被摄体的同一部位的图像部分匹配，能够防止错误的病变部确定。另外， 为了以1半帧/帧间隔检测视线位置坐标数据，能够持续掌握各光谱图像中的诊断对象区域 BR。进而，由于仅对诊断对象区域BR的图像进行光谱图像处理，因此能够提高计算处理速 度。
[0103] 由于在从通常图像观察模式向光谱图像观察模式进行切换的前后，继续显示视线 C的像R和诊断对象区域BR的像FB，因此，在光谱观察模式切换之后，操作员容易固定拍摄区 域，另外，即使拍摄区域在窄频带光的照射中稍微错位，操作员也能够瞬间对应地调整视线 位置。
[0104] 另一方面，即使在从光谱图像观察模式自动地向通常观察模式切换的情况下，通 过对基于普通光的观察图像实施病变部确定图像处理而不对光谱图像实施，能够在自然的 色调的观察图像上诊断病变部。
[0105] 关于诊断对象区域BR的显示，可以仅在模式切换之前显示表示区域的像，或者也 可以在返回通常图像观察模式后消除显示。另外，也可以是在模式切换前后均不进行显示 而仅显示表示视线位置的像的结构。关于视线位置的显示，可以在进行了模式切换操作后 开始显示，或者也可以在窄频带光的照射期间一直显示，而在诊断图像显示时不进行显示。
[0106] 即使不执行通过频谱分析求与病变部相应的像素的图像处理，也能够在通过上述 数学式1对每个吸收特性、散乱特性成分分解了像素值后，仅通过吸收特性的成分合成光谱 图像，在诊断对象区域显示该合成图像。在该诊断图像中，由于各像素的值为光谱值的合 成，所以操作员能够在画面上识别病变部。
[0107] 光谱图像也可以在比1帧期间长的期间依次显示，视线位置检测时序也可以按照 光谱图像显示期间进行调整。通知诊断结果的诊断图像也可以作为静态图像(冻结图像)进 行显示。例如，也可以将上述的诊断对象区域的合成图像与作为动态图像的观察图像一同 作为静止图像同时显示于画面上。进而，也可以在照射期间中交互照射普通光和窄频带光， 并在窄频带光的间歇的依次照射期间中仅显示通常观察图像。
[0108] 关于光谱图像处理，也可以通过上述的多元回归分析以外的方法来确定病变部。 例如，能够应用非负载高速值的多元回归分析、最小二乘法等线性回归分析、或者牛顿法、 类牛顿法、共辄梯度法、衰减最小二乘法等。
[0109] 关于窄频带光相对于观察部位的照射，也可以为使设有开口部的光谱过滤器在光 路上旋转来应对模式切换的结构。另外，也可以通过光谱过滤器以外的结构实现。例如，也 可以使用法布里珀罗型光学元件，并且也可以使用激光来投射窄频带光。
[0110]接着，使用图4~图8说明第二实施方式的内窥镜系统。第二实施方式中，代替直接 检测视线位置而在操作员头部安装视线位置检测的标识。
[0111] 图4是表示拍摄部的安装位置的图。图5是表示佩戴于操作员的头部的标识的图。
[0112] 与第一实施方式相同，照相机71以屏幕中心位置SC和照相机71的光轴OX的位置沿 着同一轴线的方式被安装于监视器60的上部中央。另一方面，在缠绕于操作员的头部的带 BD上涂布有荧光物质RM。荧光物质RM的涂布范围对应于操作员的两眼宽度，并且，沿着两眼 平行地涂布。
[0113] 视线检测装置70从拍摄操作员的面部而得到的面部图像检测该荧光物质RM的位 置并运算视线位置。在此，操作员从使画面上的确定位置中止时得到的面部图像中检测荧 光物质RM的位置，根据荧光物质RM与两眼的距离间隔来算出视线位置。因此，在通过光谱图 像进行病变部诊断前进行校准处理。
[0114] 图6是表示通过视线检测装置执行的校准处理的图。图7是表示校准处理过程中的 显示画面的图。
[0115] 如果处理器20为电源接通状态，则如图7(A)所示，进行催促操作员执行校准处理 的消息显示(S201)。如果未佩戴带BD的其他作业者操作设于处理器20的前面板22的校准用 按钮(未图示），则如图7(B)所示，系统控制电路40控制后级图像信号处理电路28,在画面上 叠加显示格栅G以及画面中心点B(S202、S203)。
[0116] 如果在确认了佩戴有带BD的操作员的面部的朝向后操作前面板22的执行按钮 (S204)，则基于此时的荧光物质RM的画面上算出视线C的位置，并以该位置为基准点进行决 定(S205)。而且，如图7(C)所示，叠加显示表示该基准点的像C(S206)。
[0117] 另一方面，在步骤S202、S204中即使操作员进行的输入操作经过规定时间也未检 测到的情况下，显示错误消息并结束处理(S207)。如果一旦检测到基准点，则视线检测装置 70在每1帧期间继续进行基准位置的检测。
[0118] 图8是第二实施方式的光谱图像处理的流程图。第二实施方式中，为在光谱图像观 察模式下自动地进行视线追随的设定的结构。设定光谱图像观察模式后，开始处理。
[0119] 在未进行校准处理的情况下，执行图6所示的校准处理（S301、S302)。在已进行了 校准处理的情况下，与第一实施方式同样地执行光谱图像处理。但是，在第二实施方式中， 执行叠加处理，仅画面显示基准点(视线位置）。
[0120]因此，在从通常观察模式向光谱图像观察模式的切换、依次照射窄频带光后至普 通光照射的期间，仅显示基准点的像R。关于视线位置以及诊断对象区域的其他显示，步骤 S303~S310的执行与图2的步骤S105~S112的执行相同。
[0121]这样，根据第二实施方式，通过使用荧光物质RM，能够容易地检测视线位置。另外， 可通过简易的图像处理电路来检测视线位置。特别是，通过在模式切换前进行校准处理，能 够检测正确的视线位置。此外，也可以以荧光物质以外的物质作为标识。
[0122] 第一、第二实施方式中，将视线检测装置作为与处理器独立开的设备构成，但也可 以在内窥镜装置处理器内检测视线位置。该情况下，在内窥镜系统中拍摄操作员的面部的 照相机与处理器连接。
[0123] 其次，使用图9~图12说明第三实施方式的电子内窥镜系统。第三实施方式中，代 替检测视线位置而检测染料附着位置。
[0124] 图9是第三实施方式的内窥镜系统的框图。
[0125] 内窥镜系统具备视频窥镜10和处理器20,视频窥镜10具备水射流送水功能，送水 管路19从窥镜操作部IOP贯穿至窥镜前端部IOT而设置。操作员将可注入水之类的液体的注 射器80插入连接口 19T，通过按下注射器80的推杆，能够将液体喷射到观察对象的确定部 位。
[0126] 本实施方式中，在通过光谱图像进行病变部诊断的情况下，操作员将用于胃粘膜 诊断等的偏蓝的靛蓝染料或其他容易识别的染料注入注射器80,向诊断对象部分喷射。系 统控制电路40在通过前级图像信号处理电路26生成的观察图像中检测蓝色的染料附着部 分，并根据该附着部分设定诊断对象区域。而且，在从通常图像观察模式向光谱图像观察模 式切换时，基于诊断对象区域进行病变部诊断。
[0127] 图10是表示确定染料喷射部位的处理的流程图。图11是表示确定了染料喷出位置 的画面的图。
[0128] 在步骤S401中，在监视器60上显示促进染料喷雾的消息。操作员根据消息，使用水 射流喷嘴功能将染料向诊断对象部位喷出。此时，调整按下注射器80的力，以使染料仅附着 于诊断对象部位。
[0129]在步骤S402中，判断操作员是否进行了染料喷出，即判断观察图像中是否包含蓝 色的染料。如果判断为进行了染料喷出，则将观察图像中的染料附着部位的像素确定为基 准点BC(S403)。由于染料喷出部位的像(蓝色像）的范围大多遍及多个像素的区域，所以只 要将处于该区域中心或重心位置的像素确定为基准点即可。而且，设定以基准点BC为中心 的诊断对象区域BR。
[0130]而且，将表示基准点BC的像WC以及表示诊断对象区域BR的帧像FB与观察图像重叠 显示（S404)。在进行了规定期间的显示处理后，消除像WC、FB的显示。在步骤S402中未检测 到染料的情况下，显示错误消息并结束(S405)。
[0131]图12是第三实施方式的光谱图像处理的流程图。
[0132] 在从通常观察模式切换为光谱图像模式时未确定基准点（染料附着位置）的情况 下，即染料尚未喷出的情况下，执行对图10所示的基准点进行确定的处理(S501、S502)。在 确定了基准点的情况下，与第一、第二实施方式同样地，通过依次照射窄频带光而生成三个 光谱图像，并对各光谱图像确定基准点，设定诊断对象区域BR(S503~S507)。
[0133] 由于在光谱图像中也能够将偏蓝的染料与其他识别开，所以基准点BD的像素得到 同一部位的像素数据。基准点确定的方法只要与模式切换前同样地进行即可，但进行考虑 到染料喷出的光谱图像处理。此外，在第三实施方式中，在光谱图像模式切换前后未显示基 准点、诊断对象区域的像WC、FB。如果进行基准点的确定以及设定诊断对象区域，则执行光 谱图像处理。如果病变部被提取，则显示识别出病变部的诊断图像(S508~S511)。
[0134] 这样，根据第三实施方式，根据在模式切换前进行的作业将染料附着部位的像确 定为基准点，决定中心诊断对象区域，并且对于光谱图像也同样地进行基准点确定、诊断对 象区域设定。由此，与视线检测相比，能够将诊断对象区域更可靠地设为同一部位的像。
[0135] 关于视线位置或基准点的确定方法，也能够不使用染料而进行确定，只要在观察 图像中从观察图像检测操作员注视、着眼的位置(照准位置）即可。例如，能够将光强度相对 高的部分、观察图像的中心位置、距窥镜前端部的距离最短的部位等作为基准点进行检测。
[0136] 在第一~第三实施方式中，在内窥镜作业中进行病变部诊断，但也可以在非易失 性存储器中存储诊断对象区域的图像数据，并在内窥镜作业结束后执行光谱图像处理。另 外，也可以在内窥镜处理器的局部或另外准备诊断光谱图像的图像处理装置。
【主权项】
1. 一种内窥镜系统，其特征在于，具备： 照明部，其对于观察对象照射普通光，并且能够分别照射具有互不相同的峰值的多个 窄频带光； 图像处理部，其基于从窥镜前端部的图像传感器以规定时间间隔读出的1帧/半帧量的 像素信号生成观察图像，并且根据多个窄频带光照射生成多个光谱图像； 检测部，其至少相对于多个光谱图像检测操作员照准部位； 设定部，其决定包含检测出的照准部位的诊断对象区域； 光谱图像处理部，其在相对于多个光谱图像决定的多个诊断对象区域中提取光谱特性 与其他不同的病变部， 所述图像处理部生成识别了病变部的诊断图像。2. 根据权利要求1所述的内窥镜系统，其特征在于， 所述检测部将各光谱图像中的染料附着部位作为操作员照准部位进行检测。3. 根据权利要求2所述的内窥镜系统，其特征在于， 所述照明部能够根据观察模式的切换来切换普通光照射和多个窄频带光照射， 所述检测部相对于在观察模式切换前以及多个窄频带光照射后的至少一方生成的观 察图像检测染料附着部位。4. 根据权利要求3所述的内窥镜系统，其特征在于， 所述检测部根据操作员在观察模式切换前的操作来检测染料附着部位。5. 根据权利要求1所述的内窥镜系统，其特征在于， 所述检测部具备： 拍摄部； 视线位置检测部，其基于由所述拍摄部生成的操作员的面部图像将相对于所显示的光 谱图像的视线位置作为操作员照准部位进行检测。6. 根据权利要求5所述的内窥镜系统，其特征在于， 所述检测部从所述面部图像检测处于远离操作员的两眼的部位的标识的像，并且基于 标识的位置和两眼位置检测视线位置。7. 根据权利要求5~6中任一项所述的内窥镜系统，其特征在于， 所述照明部能够根据观察模式的切换来切换普通光照射和多个窄频带光照射， 所述检测部相对于观察模式切换前的观察图像以及多个窄频带光照射后的观察图像 的至少一方检测视线位置。8. 根据权利要求1~7中任一项所述的内窥镜系统，其特征在于， 所述图像处理部将表示操作员照准部位的像与观察图像重叠。9. 根据权利要求1~8中任一项所述的内窥镜系统，其特征在于， 所述图像处理部将表示诊断对象区域的像与观察图像重叠。10. 根据权利要求1~9中任一项所述的内窥镜系统，其特征在于， 所述设定部设定以操作员照准部位为中心的诊断对象区域。11. 一种图像处理装置，其特征在于，具备： 检测部，其相对于基于具有互不相同的峰值的多个窄频带光得到的多个光谱图像检测 操作员照准部位； 设定部，其相对于多个光谱图像决定包含检测出的照准部位的诊断对象区域； 光谱图像处理部，其生成在相对于多个光谱图像决定的多个诊断对象区域中识别了光 谱特性与其他不同的病变部的诊断图像。12. -种内窥镜系统的光谱图像处理方法，其特征在于， 相对于依次放射具有互不相同的峰值的多个窄频带光时得到的多个光谱图像检测操 作员照准部位， 进行相对于多个光谱图像决定包含检测到的照准部位的诊断对象区域的设定， 生成在相对于多个光谱图像决定的多个诊断对象区域中识别了光谱特性与其他不同 的病变部的诊断图像。13. 根据权利要求12所述的内窥镜系统的光谱图像处理方法，其特征在于， 在普通光的照射得到的观察图像中，将染料的附着部位作为操作员照准部位进行检 测。14. 一种内窥镜系统，其特征在于，具备： 照明部，其能够将具有不同的峰值的多个窄频带光与普通光一同对观察对象进行照 明； 图像处理部，其基于从设于窥镜前端部的图像传感器依次读出的1半帧/帧量的像素信 号生成观察图像； 视线检测部，其检测显示有观察图像的显示装置的画面上的操作员的视线位置； 光谱图像处理部，其在基于多个窄频带光生成的多个光谱图像的每一个中决定包含检 测到的视线位置的诊断对象区域，并且执行在其中提取光谱特性与其他不同的病变部的光 谱图像处理， 所述图像处理部生成识别了病变部的显示用诊断图像。15. 根据权利要求14所述的内窥镜系统，其特征在于， 所述光谱图像处理部将在各光谱图像中与诊断对象区域相对应的像素数据暂时保存 于存储器中，并对所保存的像素数据执行光谱图像处理。16. 根据权利要求15所述的内窥镜系统，其特征在于， 所述光谱图像处理部将以视线位置为中心的其周边的区域决定为诊断对象区域。17. 根据权利要求14~16中任一项所述的内窥镜系统，其特征在于， 所述视线检测部与1半帧/帧期间同步地检测视线位置。18. -种内窥镜装置的处理器，其特征在于，具备： 照明部，其能够将具有不同的峰值的多个窄频带光与普通光一同对观察对象进行照 明； 图像处理部，其基于从设于窥镜前端部的图像传感器依次读出的1半帧/帧量的像素信 号生成观察图像； 光谱图像处理部，其在基于多个窄频带光生成的多个光谱图像的每一个中决定包含通 过检测操作员在显示有观察图像的显示装置的画面上的视线位置的视线检测部检测到的 视线位置的诊断对象区域，并且执行在其中提取光谱特性与其他不同的病变部的光谱图像 处理， 所述图像处理部生成识别了病变部的显示用诊断图像。
【文档编号】A61B1/00GK105992546SQ201580003276
【公开日】2016年10月5日
【申请日】2015年12月25日
【发明人】东海林孝明
【申请人】Hoya株式会社