专利名称：内窥镜图像处理方法及装置以及采用它的内窥镜系统的制作方法
技术领域：
本发明涉及在对拍摄对象照射激励光时，观察从拍摄对象射出的荧光用的内窥镜
图像处理方法及装置以及采用它的内窥镜系统。
背景技术：
公知在对生物体组织照射特定的波长的激励光时，发出生物体组织的自身荧光。 于是，提出下述内窥镜装置，其中，采用内窥镜装置对体腔内的生物体组织照射激励光，检 测来自生物体组织的自身荧光。这里，在进行荧光观察时，为了对照射激励光的部位和射出 荧光的部位进行比较，需要表示荧光的状态的荧光图像和激励光的照射状态的背景图像。
在这里，可知采用半棱镜或带通滤波器等，对从拍摄对象反射的激励光和荧光进 行分光，采用各自的拍摄元件，对激励光和荧光进行拍摄。或如专利文献1所示，提出下述 方法，其按照固定周期，切换在拍摄元件的感光面侧遮挡激励光使荧光透过的滤波器和使 激励光透过的滤波器，由此，在不同的时间，分别获得对荧光进行拍摄的荧光图像和对激励 光进行拍摄的背景图像。 专利文献1 :JP特开2000-270265号公报
但是，在分别设置荧光信号的拍摄和背景信号的拍摄时，存在需要多个拍摄元件， 并且需要半棱镜等的光学部件，系统结构复杂的问题。另外，如专利文献1所示，在按照时 间序列获得荧光和背景图像时，在拍摄对象运动时，存在产生背景图像与荧光图像之间的 空间位置错位的情况，无法进行正确的诊断的问题。
发明内容
于是，本发明的目的在于提供能通过简单的系统结构获得荧光图像和背景图像的 内窥镜图像处理方法、装置和内窥镜系统。 本发明的内窥镜图像处理方法的特征在于在对拍摄对象照射了激励光时，对从 该拍摄对象反射了的激励光和该拍摄对象发出了的荧光进行拍摄，获得彩色图像，通过将 已获得的彩色图像中的激励光的波长成分和荧光的波长成分分配给各个原色成分，生成由 表示激励光的背景图像和表示荧光的荧光图像形成的分光推导图像。 本发明的内窥镜图像处理装置的特征在于，包括图像获得部，在对拍摄对象照射 了激励光时，对从拍摄对象反射了的激励光和拍摄对象发出了的荧光进行拍摄，获得彩色 图像；分光图像生成部，从通过图像获得部获得到的彩色图像中，将激励光的波长成分和荧 光的波长成分分配给各个原色成分，从而生成由表示激励光的背景图像和表示荧光的荧光 图像形成的分光推导图像。 本发明的内窥镜系统包括对拍摄对象照射激励光的光源单元；观测器，具有拍 摄元件，该拍摄元件将从光源单元射出的激励光导波到拍摄对象，并且在对被射体照射激 励光时，对从拍摄对象反射的激励光和拍摄对象所发出的荧光进行拍摄；内窥镜图像处理 装置，从通过观测器拍摄到的拍摄对象图像提取荧光图像，其特征在于，内窥镜图像处理装置包括获得通过拍摄元件拍摄到的彩色图像的图像获得部；分光图像生成部，从通过图
像获得部获得的彩色图像，将激励光的波长成分和荧光的波长成分分配给各个原色成分，
由此，生成由表示激励光的背景图像和表示荧光的荧光图像形成的分光推导图像。 在这里，荧光能通过激励光的照射发出，也能为例如，在对生物体组织，照射蓝
色的波长频带的激励光时，通过生物体本来具有的荧光成分，从绿色的波长频带到红色
的波长频带的范围，发出微弱的光的自身荧光。或者，也能通过对大致5-氨基乙酰丙酸
(5-AminoLevulinic Acid (ALA))照射波长405nm的激励光Ll，对由636nm附近的波长形成
的荧光L2进行拍摄。或者，也能通过对例如，注入到体腔内的靛青绿(ICG)照射波长780nm
的激励光Ll，对由840nm附近的波长形成的荧光L2进行拍摄。 另外，分光推导图像能通过将各原色成分分别显示于显示装置中，仅仅显示荧光 图像，或仅仅显示背景图像。 此外，内窥镜图像处理装置也能还包括对在图像获得部获得的彩色图像进行Y 补偿的Y补偿部。此时，分光图像生成部采用通过Y补偿部进行了 Y补偿的彩色图像， 生成分光推导图像。 另外，分光图像生成部也能将荧光的波长频带分配给由RGB的各原色成分形成的 分光推导图像中的任意的原色成分，还能例如，将激励光的波长成分分配给R信号和B信号 作为背景图像，将荧光的波长成分分配给G信号作为荧光图像，生成分光推导图像。
另外，分光图像生成部不仅生成分光推导图像，还能具有从彩色图像或分光推导 图像，生成由大致500 550nm(绿色)的波长频带形成的副荧光图像的功能。此时，内窥 镜图像处理装置也能具有病变图像生成部，该病变图像生成部将副荧光图像相对于分光推 导图像的荧光的原色成分的各像素值的比作为病变指数来计算，生成根据计算出的病变指 数的值而着色的病变指数图像。 另外，观测器也能还具有设置于拍摄元件中的感光面侧的、减少拍摄元件中的激 励光的感光光量的截止滤波器。 根据本发明的内窥镜图像处理方法及装置以及采用它的内窥镜系统，在对拍摄对 象照射激励光时，对从拍摄对象反射的激励光和从拍摄对象发出的荧光进行拍摄，获得彩 色图像，生成将已获得的彩色图像中的激励光的波长成分和荧光的波长成分分配给各个原 色成分的分光推导图像，由此，即使在如以往那样，不必设置各自的拍摄元件的情况下，仍 能根据激励光和荧光的波长频带信息，从彩色图像生成背景图像和荧光图像，能通过简单 的结构确认荧光的发光状态。 另外，其还包括对在图像获得部获得的彩色图像进行Y补偿的Y补偿部，如果分 光图像生成部采用通过Y补偿部进行了 Y补偿的彩色图像，生成分光推导图像，则由于能 减小表示分光推导图像的激励光的信号值，且增大表示荧光的信号值，因此能生成强调荧 光部分的分光推导图像。 此外，如果激励光具有蓝色的波长频带，荧光为自身荧光，分光图像生成部具有从 彩色图像或分光推导图像，生成由绿色的波长频带形成的副荧光图像的功能，所述内窥镜 图像处理装置还包括病变图像生成部，将副荧光图像的像素值相对于荧光图像的像素值的 比作为病变指数对每个像素进行计算，根据计算出的该病变指数的值生成着色的病变指数 图像，则着眼于相对病变部位，正常部位在自身荧光的波长频带中绿色的波长频带的强度
4所占的比例较高的情况，能将作为发出荧光的部分的绿色的波长频带的大致500 550nm
的所占比例作为病变指数图像进行可视化，由此，能进行正确的荧光诊断。 再有，在观测器还包括设置于拍摄元件的感光面侧的、减少拍摄元件的激励光的
感光光量的截止滤波器时，即使在为了增加荧光的发光量，而增大激励光的照射光量时，仍
能防止拍摄元件达到极限，能高精度地进行激励光和荧光的拍摄。
图1为表示本发明的内窥镜图像处理装置的优选实施方式的方框图。
图2为表示图1的y补偿部的y补偿特性的曲线图。 图3为表示图1的矩阵数据库的一个实例的数据图。 图4为表示激励光和自身荧光的波长频带的一个实例的曲线图。 图5为表示本发明的内窥镜图像处理方法的优选实施方式的流程图。 图6为表示本发明的内窥镜图像处理装置的另一实施方式的方框图。 图中1-内窥镜系统，10-光源单元，15-光导(light guide)，16-观察窗，20-观
测器，21-成像光学系统，22-拍摄元件，30、130-内窥镜图像处理装置，31-图像获取部，
32-y补偿部，33-噪声去除部，34-分光图像生成部，Ll-激励光，L2-荧光，P-彩色图像，
SP-分光推导图像，SPb-背景图像，SPr-荧光图像，SPrlO-副荧光图像。
具体实施例方式
下面参照附图，对本发明的实施方式进行详细说明。图l表示基于本发明的一个 实施方式的内窥镜系统1的基本结构。内窥镜系统1包括光源单元10，观测器20，内窥镜 图像处理装置30。 光源单元IO射出用于进行基于内窥镜的观察的光，包括普通光源IOA，由射出进 行普通观察用的普通光LO的氙气灯等形成；和特殊光源IOB，由射出进行荧光观察用的激 励光Ll的可见激光装置等形成。光源单元10以光学方式与观测器20的光导15连接，在 普通观察时，从普通光源10A射出的普通光LO射入光导15内，在荧光观察时，从特殊光源 IOB射出的激励光LI射入到光导15内。而且，普通光L0和激励光L1经由光导15，从观察 窗16照射拍摄对象。 观测器20包括成像光学系统21，拍摄元件22， CDS/AGC电路23， A/D转换部24， CCD驱动部25，透镜驱动部26等，各构成要素通过观测器控制器27控制。拍摄元件22由 例如CCD或CMOS等形成，对通过成像光学系统21成像的拍摄对象图像进行光电转换，获得 彩色图像P。作为该拍摄元件22，采用例如在拍摄面上具有Mg(红紫色(magenta))、Ye(黄 色)、Cy(蓝绿色(cyan))、G(绿色)的滤色器的补色型，或具有RGB的滤色器的原色型。另 外，拍摄元件22的操作通过CCD驱动部25而控制。在拍摄元件22获得了图像(影像)信 号时，CDS/AGC(相关二重取样/自动增益控制)电路23进行取样并放大，A/D转换器24对 从CDS/AGC电路17输出的彩色图像P进行A/D转换，将其输出给内窥镜图像处理装置30。
另外，为了防止拍摄元件22达到极限，也能在观测器20中荧光观察时，在拍摄元 件22的感光面侧，设置遮挡激励光L1的波长频带的光的带截止(band cut)滤波器。
下面，参照图l，对本发明的内窥镜图像处理装置的优选的实施方式进行说明。内窥镜图像处理装置30进行从观测器20输出的彩色图像的图像处理，包括图像获得部31 ，噪 声去除部33，分光图像生成部34，显示控制部36等。 图像获得部31由例如DSP (数字信号处理器)等形成，在对通过观测器20的拍摄 元件22拍摄的拍摄对象照射激励光LI时，对从拍摄对象反射的激励光LI和通过激励光LI 的照射而形成自身荧光的荧光L2作为彩色图像P进行获得。另外，该图像获得部31具有 在获得由Mg(红紫色)，Ye(黄色)，Cy(蓝绿色)，G(绿色)形成的彩色图像P时，转换为 由RGB形成的彩色图像的功能。 Y补偿部32根据图2所示的y曲线，对彩色图像P的各像素值进行补偿。艮卩， 由于荧光L2比激励光L1微弱，因此通过对彩色图像P实施y补偿，使荧光L2的信号值增 大，并且使激励光L1的信号值衰减。由此，能获得画质好的荧光图像SPr。噪声去除部33 去除通过y补偿部32进行y补偿的彩色图像P内的噪声，噪声去除方法能采用公知的技 术。 分光图像生成部34从由图像获得部31获得的、通过噪声去除部33进行噪声去除 的彩色图像P，生成将激励光LI的波长成分和荧光的波长成分分配给各个原色成分的分光 推导图像。在JP特开2003-93336号公报中，记载了分光图像生成部34的操作实例的详细 内容。 具体来说，分光图像生成部34通过进行下述数学式(1)所示的矩阵计算，提取由 彩色图像P中的激励光的波长成分A A工形成的背景图像。
-Rsp一、Gsp、X
Bsp入、^ 一(数学式1) 另外，在所述数学式(1)中，Rs"Gs"Bsp分别表示分光推导图像SP的RGB成分，Rp、 GP、 BP分别表示彩色图像P的RGB成分，klr、 klg、 klb、 k2r、 k2g、 k2b分别表示进行矩阵计 算用的矩阵用的矩阵参数。 这里，如图3所示，在参数数据库35中存储例如将400nm 700nm的波长频带按 照5nm间隔分割的每个波长频带矩阵参数& = Gov kgi， kb》(i = 1 61)。图4为表示 自身荧光的激励光Ll和荧光L2的波长频带的一个实例的曲线图。如图4所示，激励光Ll 由大致405 460nm的波长频带A A工形成，荧光L2由460 700nm的波长频带A A 2形 成。 于是，分光图像生成部34根据参数数据库DB中的矩阵参数Pi，计算第1波长频带 △入i中的矩阵参数Pi的各成分的总和，求得参数klr，klg，klb。同样，分光图像生成部34 计算第2波长频带A入2中的矩阵参数Pi的各成分的总和，求得参数k2r，k2g，k2b。而且， 分光图像生成部34生成分光推导图像SP，该分光推导图像SP由通过所述数学式(1)将激 励光Ll分配给R成分和B成分的背景图像SPb和将荧光L2分配给G成分的荧光图像SPr 形成。 另外，由于荧光L2的强度比激励光Ll的强度微弱，因此在对拍摄对象照射激励光 Ll时，无法获得通常观察时的清楚的荧光图像。但是，由于激励光Ll与荧光L2由不同的 波长频带A A" A 、形成(参照图4)，体腔内的大部分由红色形成，因此在拍摄对象反射激励光L1的成分少。于是，能提取所述荧光L2的波长频带A入2，获得由分光推导图像SP 的G成分形成的荧光图像SPr。 另外，在图3和图4中，对荧光L2为自身荧光的情况进行了示例，但是，也能通过 例如对注入到体腔内的5-氨基乙酰丙酸(5-AminoLevulinic Acid(ALA)照射波长405nm 的激励光L1，对由636nm附近的波长形成的荧光L2进行拍摄。或者，也能通过例如对注入 到体腔内的靛青绿(ICG :Indocyanine Green)照射波长780nm的激励光Ll，对由840nm附 近的波长形成的荧光L2进行拍摄。此时，分光图像生成部34预先调查激励光Ll和荧光L2 的各波长频带A 、， A ^2，通过进行使用与各波长频带A A" A 、相对应的矩阵参数的 矩阵计算，生成将激励光Ll和荧光L2分配给各个原色成分的分光推导图像SP。
图1的显示控制部36在由液晶显示装置或CRT等形成的显示装置3中显示各种 图像。具体来说，显示控制部36具有下述功能按照来自输入部2的输入，选择或在显示装 置3中全部显示在图像获得部31中获得的彩色图像P、通过y补偿部32进行了 y补偿的 彩色图像P、通过噪声去除部33进行了噪声去除的彩色图像P、通过分光图像生成部34生 成了的分光推导图像SP、构成分光推导图像SP的背景图像SPb和荧光图像SPr。另外，显 示控制部36包括进行镜像处理的镜像处理部36a ;从各种图像形成掩模图像，并对其显示 的掩模产生部36b;和将与所述各种图像有关的信息作为特征(character)信息显示的特 征产生部36c，显示进行了各种信号处理的图像。 图5为表示本发明的内窥镜图像处理装置的优选的实施方式的流程图，参照图 1 图5，对内窥镜图像处理方法进行说明。首先，通过输入部2，设定内窥镜系统1整体观 察自身荧光用的荧光观察模式。于是，从光源单元10射出激励光Ll，经由光导15和观察窗 16，照射到拍摄对象(步骤ST1)。 而且，通过拍摄元件22，获得从拍摄对象反射的激励光L1和拍摄对象自身的荧光 L2作为彩色图像P(步骤ST2)。对该拍摄信号通过CDS/AGC电路17，进行基于相关二重取 样和自动增益控制的放大，在于A/D转换器18进行A/D转换之后，输出给内窥镜图像处理 装置30。 在内窥镜图像处理装置30中，通过图像获得部31获得彩色图像P(步骤ST3)。然 后，实施基于y补偿部32的y补偿处理，以及通过噪声去除部33，实施噪声去除处理(步 骤ST4)。而且，在分光图像生成部34中，采用彩色图像P，并采用所述数学式(1)和图3的 矩阵数据，进行矩阵计算，生成分光推导图像SP(步骤ST5)。已生成的光推导图像SP通过 显示控制部36，显示于显示装置3中。此时，在显示装置3中，伴随输入部2的输入，切换显 示由G成分形成的荧光图像SPr、由RGB成分形成的分光推导图像SP、表示由RB成分形成 的激励光的图像。 这样，通过生成将激励光Ll的波长成分A A工和荧光L2的波长成分A A 2分配给 各个原色成分的分光推导图像SP，如以往那样，不必设置各自的拍摄元件，就能通过简单的 结构获得荧光图像SPr，确认荧光L2的发光状态。另外，由于能从同一彩色图像P，获得背 景图像SPb和荧光图像SPr，因此，能防止产生基于背景图像SPb和荧光图像SPr的获得时 刻的偏移的位置错位，能正确地进行照射激励光L1的部位和发出荧光L2的部位的比较。
图6为表示本发明的内窥镜图像处理装置的另一实施方式的方框图。另外，图6的 内窥镜图像处理装置130中，在具有与图1的内窥镜图像处理装置30相同的结构的部位，
7附加同一标记，省略对其的说明。图6的内窥镜图像处理装置130与图1的内窥镜图像处 理装置30的不同点在于设置了病变图像生成部135。 病变图像生成部135计算病变指数，并且根据病变指数的值生成带有颜色的病变 指数图像。具体来说，分光图像生成部34具有从彩色图像P或分光推导图像SP，生成由绿 色(大致500 550nm)的波长频带形成的副荧光图像SPrlO的功能。即，相对荧光图像 SPr为表示绿色 红色(470 700nm)的波长频带的图像，副荧光图像SPrlO为表示荧光图 像SPr中的绿色的波长频带(大致500 550nm的波长频带)的图像。
病变图像生成部135将副荧光图像SPrlO的像素值相对荧光图像SPr的像素值的 比作为病变指数(0. 0 1. 0)，对每个像素计算，根据已计算出的病变指数的值生成带有颜 色的病变指数图像。例如，伴随病变指数的变高，进行亮度变大的着色处理。而且，显示控 制部36在显示装置3中显示伴随来自输入部2的输入而生成的病变指数图像。
这样，着眼于在自身荧光L2的波长频带，相对病变部位，正常部位的绿色的波长 频带的强度所占的比例高的情况，通过将作为发出荧光的部分中的绿色的波长频带的大致 500 550nm的所占比例作为病变指数图像进行可视化处理，能进行正确的荧光诊断。
按照所述各实施方式，通过在对拍摄对象照射激励光Ll时，对从拍摄对象反射的 激励光Ll和从拍摄对象发出的荧光L2进行拍摄，获得彩色图像P，生成将已获得的彩色图 像P中的激励光L1的波长成分和荧光L2的波长成分分配给各个原色成分的分光推导图像 SP，如以往那样，即使不必设置各自的拍摄元件，仍能根据激励光Ll和荧光L2的波长频带 信息，从彩色图像P生成背景图像SPb和荧光图像SPr，能通过简单的结构，确认荧光L2的 发光状态。 另外，如图1和图2所示，还包括y补偿部33，其对在图像获得部31获得的彩色 图像P，进行y补偿，如果分光图像生成部34通过y补偿部32使用进行了 y补偿的彩色 图像P，生成分光推导图像SP的话，由于能减小表示分光推导图像SP中的激励光Ll的信号 值，并增加表示荧光L2的信号值，因此能生成强调了荧光部分的分光推导图像SP。
此外，如图6所示，激励光Ll具有蓝色的波长频带，荧光L2为自身荧光，分光图 像生成部具有根据彩色图像P或光推导图像SP，生成由绿色的波长频带形成的副荧光图像 SPrlO的功能，如果还具有病变图像生成部135，其将副荧光图像SPrlO的像素值相对荧光 图像SPr的像素值的比作为病变指数，对每个像素计算，根据计算出的病变指数的值生成 带有颜色的病变指数图像，则着眼于相对病变部位，正常部位的自身荧光L2的波长频带中 的绿色的波长频带的强度所占的比例高，将作为发出荧光L2的部分中的绿色的波长频带 的大致500 550nm的所占比例作为病变指数图像，进行可视化处理，由此，能进行正确的 荧光诊断。 再有，观测器20还包括截止滤波器，其设置于拍摄元件22的感光面侧，减少拍摄 元件中的激励光Ll的感光光量，此时，即使在为了增加荧光L2的发光量，增大激励光Ll的 照射光量的情况下，也能防止拍摄元件达到极限，能以良好的精度，进行激励光Ll和荧光 L2的拍摄。 本发明的实施方式并不限于所述实施方式。例如，在所述数学式(1)中，对将分光 推导图像SP中的激励光Ll的波长频带A A工分配给R成分和B成分、将荧光L2的波长频 带A 、分配给G成分的情况进行了示例，但是，激励光L1和荧光L2也能分配给分光推导
8图像SP的任意的RGB成分。 另外，在所述实施方式中，对使用DSP等的硬件构成内窥镜图像处理装置30的情 况进行了示例，但是，内窥镜图像处理装置30也能由个人计算机等的计算机构成。此时，图 1的内窥镜图像处理装置30的结构通过在计算机(例如，个人计算机等)上执行读入到辅 助存储装置中的内窥镜图像处理程序来实现。 再有，在所述实施方式中，对内窥镜系统1能进行普通观察和荧光观察双方的情 况进行了示例，但是，对仅仅进行荧光观察的内窥镜系统1也能应用所述内窥镜图像处理 装置30。
权利要求
一种内窥镜图像处理方法，其特征在于在对拍摄对象照射了激励光时，对从该拍摄对象反射了的激励光和该拍摄对象发出了的荧光进行拍摄，获得彩色图像，通过将已获得的所述彩色图像中的所述激励光的波长成分和所述荧光的波长成分分配给各个原色成分，生成由表示所述激励光的背景图像和表示所述荧光的荧光图像形成的分光推导图像。
2. —种内窥镜图像处理装置，其特征在于，包括图像获得部，在对拍摄对象照射了激励光时，对从该拍摄对象反射了的激励光和该拍 摄对象发出了的荧光进行拍摄，获得彩色图像；分光图像生成部，从通过该图像获得部获得到的所述彩色图像中，将所述激励光的波 长成分和所述荧光的波长成分分配给各个原色成分，从而生成由表示所述激励光的背景图 像和表示所述荧光的荧光图像形成的分光推导图像。
3. 根据权利要求2所述的内窥镜图像处理装置，其特征在于还包括Y补偿部，对在所述图像获得部中获得到的所述彩色图像进行Y补偿， 所述分光图像生成部采用通过所述Y补偿部进行了 Y补偿的所述彩色图像，生成所 述分光推导图像。
4. 根据权利要求2或3所述的内窥镜图像处理装置，其特征在于 所述激励光具有蓝色的波长频带，所述荧光为自身荧光，所述分光图像生成部采用与所述激励光的波长频带相对应的矩阵参数、和与所述荧光 的波长频带相对应的矩阵参数，生成所述分光推导图像。
5. 根据权利要求4所述的内窥镜图像处理装置，其特征在于所述分光图像生成部具有从所述彩色图像或所述分光推导图像，生成由绿色的波长频 带形成的副荧光图像的功能，所述内窥镜图像处理装置还包括病变图像生成部，将所述副荧光图像的像素值相对于 所述荧光图像的像素值的比作为病变指数对每个像素进行计算，根据计算出的该病变指数 的值生成着色的病变指数图像。
6. 根据权利要求2或3所述的内窥镜图像处理装置，其特征在于所述激励光为蓝色的波长频带，所述荧光从由5-氨基乙酰丙酸染色的所述拍摄对象 射出。
7. 根据权利要求2或3所述的内窥镜图像处理装置，其特征在于所述激励光为红外光，所述荧光从由靛青绿染色的所述拍摄对象射出。
全文摘要
本发明提供一种内窥镜图像处理方法及装置以及采用它的内窥镜系统。能通过简单系统结构获得荧光图像和背景图像。在对拍摄对象照射激励光(L1)时，通过拍摄元件(22)对从拍摄对象反射的激励光(L1)和拍摄对象发出的荧光(L2)进行拍摄，在图像获得部(31)中获得彩色图像(P)。然后，通过在分光图像生成部(34)，将彩色图像(P)中的激励光(L1)的波长成分(Δλ1)和荧光(L2)的波长成分(Δλ2)分配给各个原色成分，生成由表示激励光(L1)的背景图像(SPb)和表示荧光的荧光图像(SPr)形成的分光推导图像(SP)。
文档编号A61B5/00GK101779945SQ20091013468
公开日2010年7月21日 申请日期2009年1月14日 优先权日2009年1月14日
发明者石井秀一, 竹内信次, 绫目大辅, 藤田宽 申请人:富士胶片株式会社