内窥镜系统、该内窥镜系统的处理器装置和图像生成方法

专利名称：内窥镜系统、该内窥镜系统的处理器装置和图像生成方法
技术领域：
本发明涉及一种用于顺次施加两种或多种彩色光并计算血液中的血色素的氧饱和度水平以及对计算的氧饱和度水平进行成像的内窥镜系统、用于内窥镜系统的处理器装置和图像生成方法。
背景技术：
近年来在医学领域，使用内窥镜系统进行诊断已经变得通用。内窥镜系统包括光源装置、处理器装置、和内窥镜装置。使用内窥镜系统进行正常观察和特殊观察是已知的。在正常观察中，诸如白光的宽波段光用于照射对像中的感兴趣区。这能够有效地在总体上观察感兴趣区。在特殊观察中，根据观察的目的使用特定波长(一个或多个)的照明光。在正常观察中，来自光源装置的诸如氙的宽波段光通过内窥镜装置的发光部被施加到感兴趣区。通过彩色图像传感器对反射图像进行成像。获取到的图像信号被发送到处理器装置。因此，彩色标准图像显示在处理器装置的监视器上。在特殊观察中，观察血管强调图像和氧饱和度图像。这能够发现在正常观察中难以发现的肿瘤。为了观察血管强调图像，在血液中的血色素的吸收系数较高的波长范围内的照明光用于在监视器显示特定深度的血管被强调的图像，使用吸收率基于血液中的血色素的量而变化的波长范围内的照明光计算氧饱和度水平。氧饱和度水平被成像并显示在监视器上。氧饱和度水平的观察被认为能够有效地发现肿瘤，这是因为肿瘤组织处于缺氧或低氧状态。例如，在美国专利申请公开第2011/0237884号(对应于日本专利公开待审出版物第2011-194151号)中，使用 蓝波段中的三种窄波段光(分别具有405nm、440nm和560nm的峰值波长)或绿波段中的三种窄波段光(分别具有540nm、560nm和580nm)。当三种窄波段光逐帧地朝向感兴趣区被顺次发射时，图像传感器对感兴趣区成像。因此，获取图像数据的三个帧。在图像数据的三个帧的获取之间存在时间滞后，从而导致三个相应帧的图像中的位置偏移。为了解决该问题，用于提取血管的装置用于在各个图像中提取相应的血管，并且计算图像的偏移量以使相应的血管彼此对准。三个帧的图像中的一个相对于参考帧的图像移动偏移量，剩余图像也相对于参考帧的图像移动偏移量。因此，三个帧的图像相互对准。之后，由三个帧的图像数据逐像素地计算血管的氧饱和度水平。然后，表示氧饱和度水平的分布的氧饱和度图像被生成并以伪色彩显示在监视器上。血色素的吸收特性和消化道粘膜的散射特性基于波段而显著变化。因此，用三种相应的波长观察到的血管的形状彼此不同。在美国专利申请公开第2011/0237884号中，难以执行图像的精确配准或对准，这是因为要计算不同波长的图像之间的偏移量。血管根据与表层的深度被分为表层血管和深层血管(中间深和深)。必须计算包括表层血管和深层血管的血管的氧饱和度水平。为了检测表层血管，蓝色波长范围中的窄波段光是有效的。为了检测中间深度血管，绿色波长范围内的窄波段光是有效的。为了检测深层血管，红色波长范围内的窄波段光是有效的。因此，需要蓝色图像、绿色图像和红色图像来计算表层血管和深层血管的氧饱和度水平。在蓝色图像中，强调表层血管，而深层血管不显眼。相反，在红色图像中，深层血管被强调，而表层血管不显眼。为了使各个帧的图像彼此配准或对准，例如，由蓝色图像和红色图像中的相应血管的位置计算偏移量。在这种情况下，比较表层血管被强调的图像与不显眼的表层血管的图像。因此，不能准确地计算偏移量，从而使得配准困难。发明内容
本发明的目标是提供一种能够精确地匹配帧(frame)之间的图像的内窥镜系统、 所述内窥镜系统的处理器装置和图像生成方法。
为了实现以上目的，本发明的内窥镜系统包括发光部、图像信号获取部、偏移量计算器、配准部、氧饱和度图像发生器和显示部。发光部在相应的帧中至少将第一照明光和第二照明光施加到感兴趣区。第一照明光的波长范围不同于第二照明光的波长范围。感兴趣区包括血管。图像信号获取部具有彩色图像传感器，所述彩色图像传感器具有至少由三原色构成的像素阵列。图像信号获取部在每一个帧中对感兴趣区进行成像。图像信号获取部对被第一照明光照射的感兴趣区进行成像以获取第一帧的三色信号。图像信号获取部对被第二照明光照射的感兴趣区进行成像以获取第二帧的三色信号。偏移量计算器根据相同色彩的色彩信号计算第一帧的图像与第二帧的图像之间的偏移量。配准部根据偏移量使第一帧和第二帧的色彩信号中用于计算血液中的血色素的氧饱和度水平的预定色彩信号的图像对准。氧饱和度图像发生器根据对准的预定色彩信号生成氧饱和度水平的氧饱和度图像。显示部显示氧饱和度图像。
优选的是三色信号是蓝色信号、绿色信号和红色信号，并且第一照明光和第二照明光中的每一个都是白色光，并且偏移量计算器计算根据绿色信号所生成的绿色图像之间的偏移量。
优选的是第一帧的蓝色信号以及第二帧的绿色信号和红色信号用于计算氧饱和度水平，并且配准部移动第一帧的蓝色信号以与第二帧的绿色信号和红色信号对准。
优选的是第一照明光和第二照明光是通过利用波长转换器对具有不同波长范围的相应窄波段光进行波长转换而被生成的。优选的是每一个窄波段光都是激光束。优选的是激光束的中心波长分别是473nm和445nm。
优选的是发光部在相应的帧中将第一照明光、第二照明光和第三照明光施加到感兴趣区。第三照明光的波长范围不同于第一照明光和第二照明光中的每一个的波长范围。 图像信号获取部在每一个帧中对感兴趣区进行成像。优选的是图像信号获取部对被第一照明光照射的感兴趣区进行成像以获取第一帧的三色信号。优选的是图像信号获取部对被第二照明光照射的感兴趣区进行成像以获取第二帧的三色信号。优选的是图像信号获取部对被第三照明光照射的感兴趣区进行成像以获取第三帧的三色信号。优选的是偏移量计算器计算第一帧与第二帧的相同色彩的色彩信号的图像之间的第一偏移量和第二帧与第三帧的相同色彩的色彩信号的图像之间的第二偏移量。优选的是配准部根据第一偏移量和第二偏移量使第一帧、第二帧和第三帧的色彩信 号中用于计算氧饱和度水平的预定色彩信号的图像对准。
本发明的用于内窥镜系统的处理器装置包括接收器、偏移量计算器、配准部和氧饱和度图像发生器。接收器从内窥镜装置接收第一帧和第二帧中的每一个的三色信号。偏移量计算器根据相同色彩的色彩信号计算第一帧的图像与第二帧的图像之间的偏移量。配准部根据偏移量使第一帧和第二帧的色彩信号中用于计算血液中的血色素的氧饱和度水平的预定色彩信号的图像对准。氧饱和度图像发生器根据对准的预定色彩信号生成氧饱和度水平的氧饱和度图像。本发明的图像生成方法包括获取步骤、计算步骤、配准步骤以及生成不好走。在获取步骤中，至少具有不同波长范围的第一照明光和第二照明光在相应的帧中被施加到包括血管的感兴趣区。通过具有至少由三原色构成的像素阵列的彩色图像传感器在每一个帧中对感兴趣区进行成像。彩色图像传感器图像对被第一照明光照射的感兴趣区进行成像以获取第一帧的三色信号。彩色图像传感器图像对被第二照明光照射的感兴趣区进行成像以获取第二帧的三色信号。在计算步骤中，根据相同色彩的色彩信号计算第一帧的图像与第二帧的图像之间的偏移量。在对准步骤中，根据偏移量使第一帧和第二帧的色彩信号中用于计算血液中的血色素的氧饱和度水平的预定色彩信号的图像。在生成步骤中，根据对准的色彩信号生成氧饱和度水平的氧饱和度图像。根据本发明，相应帧的根据相同色彩的色彩信号生成的图像之间的偏移量被计算以使帧彼此对准。因此，色彩信号彼此被精确地对准。根据精确对准的色彩信号对氧饱和度水平进行成像。因此，氧饱和度水平的信息被准确地显示。图像中表层血管和深层血管彼此对精确对准。


本发明的以上及其它目的和优点当结合附图获悉时从优选实施例的以下具体描述变得更加清楚，其中整个视图中相同的附图表示相同或相应的部件，其中:图1是内窥镜系统的外视图；图2是内窥镜系统的方框图；图3是显示第一白色光和第二白色光的发射光谱的曲线图；图4A显示了图像传感器的B、G和R像素的排列；

图4B是显示B、G和R像素中的每一个的光谱透射率的曲线图；图5A是描述在正常模式下图像传感器的成像控制的说明图；图5B被描述在氧饱和度模式下的图像传感器的成像控制的说明图；图6是描述帧之间的偏移量的计算和配准处理的说明图；图7A-7G是描述用于计算方形区域SI在X方向上的偏移量Λ Xl和方形区域SI在Y方向上的偏移量Λ Yl的方法的说明图；图8是显示蓝色图像FRlb和绿色图像FR2g的配准的说明图；图9是显示氧饱和度水平和信号比B1/G2和R2/G2的相关性的曲线图；图10是显示血色素的吸收系数的曲线图；图11是显示血量和信号比R2/G2的相关性的曲线图；图12是描述如何使用图9的曲线图从信号比获得氧饱和度水平的曲线图；图13是显示在氧饱和度模式下的过程的流程图14是另一个实施例的内窥镜系统的方块图15示出了旋转滤光器；
图16是显示旋转滤光器的B滤光部、G滤光部、R滤光部和BN滤光部中的每一个的光谱透射率的曲线图17A是描述另一个实施例的在正常模式下的成像控制的说明图17B是描述另一个实施例的在氧饱和度模式下的成像控制的说明图18是显示另一个实施例的帧之间的偏移量的计算和配准处理的说明图19是显示蓝色图像FRlb和绿色图像FR2g的配准的说明图；以及
图20是显示红色图像FR3r和绿色图像FR2g的配准的说明图。
具体实施方式
如图1所示，内窥镜系统10设有光源装置11、内窥镜装置12、处理器装置13、显示装置14和输入装置15。光源装置11产生照明光。当用照明光照射对像中的感兴趣区时， 内窥镜装置12对所述感兴趣区成像。处理器装置13执行通过用内窥镜装置12成像而获得图像信号的图像处理。显示装置14显示由图像处理等生成的内窥镜图像。输入装置15 包括键盘等。
内窥镜装置12从操作部16侧依此顺序设有柔性管部17、弯曲部18和远端部19。 柔性管部17在体腔内并沿着体腔弯曲。两个角度旋钮16a设置在操作部16上。弯曲部18 通过旋转两个角度旋钮16a而在彼此正交的两个方向上弯曲。通过在两个方向上的弯曲组合，弯曲部18以任意期望的角度并在任意期望的方向上弯曲以将远端部19朝向感兴趣区引导。
内窥镜系统10设有正常模式和氧饱和度模式。在正常模式下，正常图像被显示在显示装置14上。正常图像是在从蓝色到红色的波长范围内的可见光的对像图像。在氧饱和度模式下，氧饱和度图像被显示在显示装置14上。氧饱和度图像是表示感兴趣区中的血管内的血色素的氧饱和度水平的图像。这些模式基于信息输入根据需要通过内窥镜装置12 的切换开关21、输入装置15等被切换。
如图2所示，光源装置11设有两种激光器LDl和LD2以及光源控制器20。激光器 LDl发射具有473nm的中心波长的第一激光束。通过设置在内窥镜装置12的远端部19中的磷光体50对第一激光束进行波长转换。磷光体50将第一激光束转换成第一白色光(伪白色光)。激光器LD2发射具有445nm的中心波长的第二激光束。通过磷光体50也对第二激光束进行波长转换，并且第二激光束被转换成第二白色光。要注意的是第一激光束优选地在440nm至460nm的波长范围 内。第二激光束优选地在460nm至480nm的波长范围内。
从激光器LDl发射的第一激光束通过聚光透镜(未不出)入射在光纤24上。从激光器LD2发射的第二激光束通过聚光透镜(未不出)入射在光纤25上。要注意的是激光器LDl和LD2可以例如是宽区域类型InGaN激光二极管、InGaNAs激光二极管或GaNAs激光二极管。
光源控制器20控制或调节激光器LDl和LD2中的每一个的发射时序。在该实施例中，在正常模式中，激光器LD2被打开，同时激光器LDI关闭。在氧饱和度模式中，激光器 LDl和LD2逐帧地被相互切换。即，例如，在一个帧中，激光器LDl被打开，同时激光器LD2被关闭。在下一个巾贞中，LDl被打开，同时激光器LD2被关闭。分束器22将来自光纤24的第一激光束分成两个路径。激光束的两个路径入射在相应的光导28和29上。分束器22还将来自光纤25的第二激光束分成两个路径。激光束的两个路径入射在相应的光导28和29上。光导28和29中的每一个都由光纤的光纤束构成。内窥镜装置12是电子内窥镜。内窥镜装置12设有发光部33、成像部34和连接器36。发光部33将透射通过光导28和29的激光束的两个路径施加到感兴趣区。成像部34对感兴趣区成像。连接器36以可拆卸的方式连接内窥镜装置12、光源装置11和处理器装置13。发光部33设有两个照明窗43和44。成像部34设置在照明窗43与44之间。照明窗43和44中的每一个都将第一白色光或第二白色光施加到感兴趣区。成像部34设有位于远端部19的近似中心处的捕获窗42。捕获窗42接收从感兴趣区反射的反射光。投射单兀47和54分别容纳在照明窗43和44的后面。来自光导28的第一激光束或第二激光束从投射单元47被投射到磷光体50。来自光导29的第一激光束或第二激光束从投射单元54被投射到另一磷光体50。在通过第一激光束进行照射时，磷光体50通过相应的透镜51朝向感兴趣区发射第一白色光。在通过第二激光束进行照射时，磷光体50通过相应的透镜51朝向感兴趣区发射第二白色光。磷光体50包括诸如YAG或BAM(BaMgAlltlO17)的荧光物质。这些荧光物质吸收来自激光器LDl和LD2的第一激光束和第二激光束的一部分。当通过第一激光束或第二激光束进行照射时，被激发的磷光体50发射从绿色到红色的光(荧光)。荧光和未被吸收并透射通过磷光体50的激发光(第一激光束或第二激光束)合并以产生白色光(伪白色光)。要注意的是磷光体50优选地具有大致长方体形状。荧光物质可以通过粘合剂形成为大致长方体磷光体50。·荧光物质的混合物可以在诸如无机玻璃的树脂上形成为大致长方体磷光体50。Micro White (或丽,注册商标)可以用作磷光体50。如图3所示，当第一激光束入射在投射单元47和54上时，具有中心波长为473nm的第一激光束的波长范围和近似480nm至700nm的波长范围的第一白色光朝向感兴趣区被发射。通过第一激光束激发的荧光的发射强度在近似480nm至700nm的波长范围内增加。当第二激光束入射在投射单元47和54上时，具有中心波长为445nm的第二激光束的波长范围和近似460nm至700nm的波长范围的第二白色光朝向感兴趣区被发射。由第二激光束激发的荧光的发射强度在近似460nm至700nm的波长范围内增加。要注意的是本发明的白色光不需要包括可见光的所有波长成分。以示例的方式使用上述伪白色光。白色光可以包括在特定波长范围内的诸如原色(红色(R)、绿色(G)或蓝色(B))的光的光。本发明的白色光可以例如是具有从绿色到红色的波长成分的光或具有从蓝色到绿色的波长成分的光。诸如物镜单元(未示出)的光学系统设置在捕获窗42的后面。物镜单元捕获对像中的感兴趣区的图像光。图像传感器60设置在物镜单元的后面。图像传感器60接收感兴趣区的图像光以对该图像光成像。图像传感器60例如是CCD (电荷耦合装置)或CMOS (互补金属氧化物半导体器)。图像传感器60由成像控制器70控制。图像传感器60的光接收表面(成像表面)接收来自物镜单元光。图像传感器60以光电方式将接收到的光转换成图像信号(模拟信号)并输出该图像信号。图像传感器60是彩色CCD。如图4A所示，像素群以矩阵阵列布置在图像传感器60的光接收表面中。像素群由多个像素组构成，且每一个都包括B像素60b、 G像素60g和R像素60r。B像素60b设有B滤色器。G像素60g设有G滤色器。R像素60r 设有R滤色器。B滤色器、G滤色器和R滤色器分别显示如在图4B中由曲线63、64和65所示的在蓝色波段、绿色波段和红色波段中的光谱透射率。因此，来自被第一白色光或第二白色光照射的感兴趣区的反射光根据反射光的波长穿过R滤色器、G滤色器和B滤色器。
从图像传感器60输出的模拟图像信号通过仪器电缆67被输入到A/D转换器68。 A/D转换器68根据模拟图像信号的电压电平将模拟图像信号转换成数字图像信号。数字图像信号通过连接器36被输入给处理器装置13的图像处理器73。
处理器装置13设有控制器72、图像处理器73、和存储器74。显示装置14和输入装置15连接到控制器72。控制器72根据从输入装置15或内窥镜装置12的切换开关输入的信息控制图像处理器73、光源装置11的光源控制器20、内窥镜装置12的成像控制器70 和显示装置14中的每一个的操作。
图像处理器73设有正常图像处理器80和氧饱和度图像处理器81。图像处理器 73执行从内窥镜装置12获取到的图像信号的图像处理。正常图像处理器80执行在正常模式下获取到的图像信号的图像处理。因此，正常图像被生成。
如图5A所示，在正常模式下，在一个帧周期中执行两个步骤:累积步骤和读取步骤。在累积步骤中，由第二白色光(被表示为“445nm+磷光体”，表示通过将445nm的第二激光束施加到磷光体50生成第二白色光)的光电转换产生的电荷。在读取步骤中，累积的电荷被读出。累积步骤和读取步骤在正常模式中交替重复。
在氧饱和度模式中，如图5B所示，在第一帧和第二帧中的每一个中执行累积步骤和读取步骤。在第一帧的累积步骤中，由第一白色光(表示为“473nm+MW”，表示通过将 473nm的第一激光束施加到磷光体50生成第一白色光)的光电转换产生的电荷被累积。在第一帧的读取步骤中，读出被累积的电荷。在第二帧的累积步骤中，由第二白色光的光电转换生成的电荷被累积。在第二帧的读取步骤中，读出累积的电荷。在氧饱和度模式中重复对两个帧的成像控制。
在氧饱和度模式下在第一帧中，蓝色信号B1、绿色信号Gl和红色信号Rl从图像传感器60的相应B像素、G像素和R像素被输出。在氧饱和度模式下在第二帧中，蓝色信号 B2、绿色信号G2和红色信号R2分别从B像素、G像素和R像素被输出。
如图6所示，基于从内窥镜装置12输入的图像信号，氧饱和度图像处理器81计算感兴趣区中的血液内的血色素的氧饱和度水平并生成表示氧饱和度水平的氧饱和度图像。 为了计算氧饱和度水平，如图6所示，以示例的方式使用第一帧的蓝色信号BI以及第二帧的绿色信号G2和红色信号R2。
在计算氧饱和 度水平之前，在用于计算氧饱和度水平的信号B1、G2和R2中执行配准或对准过程以校正对准误差(第一帧与第二帧之间的色彩配准误差和图像配准误差)。 使用同样色彩的图像计算帧之间的偏移量。通常，由于血色素的吸收特性和消化道粘膜的散射特性，因此根据所使用的波长不同地对血管进行成像。为此，使用同样色彩的图像信号计算的偏移量(或图像之间的偏移量)比使用不同色彩的图像信号(例如，蓝色信号和红色信号)计算的偏移量更加准确。在该实施例中，使用绿色信号Gl和G2计算各个帧的图像之间的偏移量。氧饱和度图像处理器81设有偏移量计算器82、配准部83、信号比计算器84、相关性存储器85、氧饱和度计算器86和氧饱和度图像发生器88。偏移量计算器82计算第一帧的图像信号与第二帧的图像信号之间的偏移量AF(更确切地，相应帧的图像之间的偏移量Λ F)。使用第一帧的绿色信号Gl和第二帧的绿色信号G2计算偏移量AF。绿色信号Gl的信号特征类似于绿色信号G2的信号特征。首先，如图7Α和7Β所示，一个帧中的每一个绿色信号Gl和G2的所有像素被分成在纵向方向和横向方向上以3X3的方式排列的九个方形区域SI至S9。这里，X方向表示诸如绿色信号Gl和2的图像信号的纵向方向。Y方向表不图像信号的横向方向。接下来，如图7C-7F所示，产生绿色信号Gl的方形区域SI在X方向上的累积直方图ΗΧ1，并且产生绿色信号Gl的方形区域SI在Y方向上的累积直方图ΗΥ1。累积直方图中的每一个都表示方形区域SI在X方向或Y方向上的像素值的频率(发生的数量)。在累积直方图中，垂直轴线表示频率，而水平轴线表示像素值。以类似的方式，产生绿色信号G2的方形区域SI在X方向上的累积直方图ΗΧ2，并且产生绿色信号G2的方形区域SI在Y方向上的累积直方图ΗΥ2。然后，如图7G所示，由累积直方图HXl与累积直方图ΗΧ2之间的比较运算计算方形区域SI在X方向上的偏移量ΛΧ1。当累积直方图HXl的图案基本上与累积直方图ΗΧ2的图案相同时，偏移量ΛΧ1是零或极小。偏移量ΛΧ1随着累积直方图HXl和ΗΧ2的图案之间的差异增加而增加。以类似的方式，由累积直方图HYl与累积直方图ΗΥ2之间的比较运算计算方形区域SI在Y方向上的偏移量ΛΥ1。当计算方形区 域SI的偏移数量ΛΧ1和Λ Yl时，以类似于以上方式分别计算方形区域S2至S9的偏移量ΛΧ2至ΛΧ9以及偏移量八￥2至八￥9。在计算所有方形区域SI至S9在绿色信号Gl与G2之间的偏移量ΛΧ1至ΛΧ9以及偏移量Λ Yl至Λ Υ9之后，由公式(I)和(2)所示计算整个信号在X方向上的总偏移量(以下简称为偏移量)AFx和整个信号在Y方向上的总偏移量(以下简称为偏移量)AFy。AFx=AXl+AX2+...+ Δ X9 (I)AFy=AYl+AY2+...+ Δ Y9 (2)如图8所不,偏移量AFx和AFy对应于第一巾贞和第二巾贞的图像之间的偏移量。图8概念上显不了图像之间的偏移。偏移量计算器82计算偏移量AFx和AFy。配准部83使用图像之间的偏移量Λ Fx和Λ Fy对准第一帧的蓝色信号B1、第二帧的绿色信号G2和第二帧的红色信号R2。蓝色信号B1、绿色信号G2和红色信号R2用于计算氧饱和度水平。配准部83使由第一帧的蓝色信号BI构成的蓝色图像FRlb在一个方向上移动偏移量AFx和AFy以消除相应的第一帧与第二帧的图像之间的偏移。这消除了相应帧的图像之间的偏移。因此，在第一帧的相应蓝色图像FRlb、第二帧的绿色图像FR2g和红色图像FR2r中的像素相互对准。绿色图像FR2g由第二帧的绿色信号G2构成。红色图像FR2r由第二帧的红色信号R2构成。要注意的是，反之，可以移动第二帧的图像FR2g和FR2r以与第一帧的蓝色图像FRlb对准。配准(对准)允许准确地计算氧饱和度水平。在配准之后，信号比计算器84计算信号比B1/G2和R2/G2。信号比B1/G2是第一帧的蓝色图像FRlb和第二帧的绿色图像FR2g中的相应像素之间的信号比。信号比R2/G2 是第二帧的红色信号FR2r和第二帧的绿色图像FR2g中的相应像素之间的信号比。对第一帧和第二帧中的每一个像素计算信号比。要注意的是可以仅对图像信号的脉管部分中的像素计算信号比。根据脉管部分的图像信号与不是脉管部分的部分的图像信号之间的差异确定脉管部分。
相关性存储器85储存信号比B1/G2、R2/G2和氧饱和度水平间的相关性。如图9 所示，相关性存储在二维表格中，在所述二维表格中，氧饱和度水平的等高线被限定在二维空间中。等高线的位置和形状由光散射的物理模拟获得，并根据血量变化。例如，等高线之间的间隔随着血量的变量增加或减小。这里，信号比B1/G2和R2/G2以对数标尺被存储。
上述相关性与图10所示的氧基血红素和去氧基血红素的光吸收特性和光散射特性密切相关。这里，曲线90显示了氧基血红素的吸收系数。曲线91显示了去氧基血红素的吸收系数。容易通过473nm的光获得关于氧饱和度水平的信息，其中在473nm的光下，氧基血红素的吸收系数与去氧基血红素的吸收系数之间的差较大。然而，包括对应于473nm 的光的信号成分的蓝色信号BI高度取决于氧饱和度水平和血量。为了在不依赖于血量的情况下准确地计算氧饱和度水平，除了蓝色信号BI之外，还使用信号比B1/G2和R2/G2。利用蓝色信号B1、红色信号R2和绿色信号G2计算信号比B1/G2和R2/G2。红色信号R2对应于主要基于血量变化的光。绿色信号G2是蓝色信号BI和红色信号R2的基准信号。
要注意的是相关性存储器85还存储如图11所示的信号比R1/G1与血量之间的相关性。相关性被存储在一维表格中，在所述一维表格中，血量随着信号比R1/G1的增加而增加。信号比R1/G1与血量之间的相关性用于计算血量。
基于血液中的血色素的吸收系数的波长相关特性，存在三个要点。
1.在接近470nm的波长范围内(例如，在具有470nm±10nm的中心波长的蓝色波长范围内)，吸收系数根据氧饱和度水平的变化而显著变化。
2.当在从540nm到580nm的绿色波长范围内被平均时，吸收系数很可能不受氧饱和度水平的影响。
3.在从590nm至700nm的红色波长范围内，吸收系数表现根据氧饱和度水平的变化而显著变化。然而，实际上，吸收系数很可能不受氧饱和度水平的影响，这是因为吸收系数的值极其小。
如图9所示， 信号比B1/G2的信号值随着信号比R2/G2的增加而增加(即，等于0% 极限的氧饱和度水平的等高线朝向右上方方向延伸)。这是因为血量和信号比R2/G2彼此相关，即，血量随着信号比R2/G2的增加而增加。在信号B1、G2和R2的信号值中，当血量增加时，绿色信号G2的信号值在蓝色信号BI的信号值之后最大程度地减小。这是因为绿色信号G2中的波长成分(540nm至580nm)的吸收系数高于蓝色信号BI中的波长成分(大约 470nm)的吸收系数(参见图10)。因此，在信号比B1/G2中，随着血量的增加，信号值G2 (分母)的减小大于信号值BI (分子)的减小。即，信号比B1/G2随着血量的增加而增加。
氧饱和度计算器86借助于存储在相关性存储器85中的相关性以及由信号比计算器84计算的信号比B1/G2和R2/G2计算每一个像素中的氧饱和度水平。如图12所示，根据存储在相关性存储器85中的相关性确定对应于由信号比计算器84计算的信号比Bl*/G2* 和R2*/G2*的点P。当点P位于下限线93 (氧饱和度水平=0%极限)和上限线94 (氧饱和度水平=100%极限)之间时，氧饱和度水平是由点P所定位的等高线表示的百分比。例如，在图12中，点P位于“60%”的等高线上，使得氧饱和度水平的百分比为60%。如果点P位于下限线93与上限线94之间的范围外，例如，当点P位于下限线93以上时，确定氧饱和度水平为0%。当点P位于上限线94以下时，确定氧饱和度水平为100%。要注意的是当点P位于下限线93与上限线94之间的范围外时，像素中的氧饱和度水平的可靠性可能会降低从 而不显示氧饱和度水平。氧饱和度图像发生器88根据由氧饱和度计算器86计算的氧饱和度水平生成氧饱和度图像。氧饱和度图像被显示在显示装置14上。氧饱和度图像可以以例如对应于不同氧饱和度水平的色彩(称为“伪色彩”，其中伪色彩不同于在正常图像中使用的标准色彩)被显示。可选地，在氧饱和度图像中仅氧饱和度水平小于预定值的缺氧或低氧区域可以以伪色彩被显示，而除了该缺氧或低氧区域之外的区域可以以在正常图像中所使用的标准色彩被显示。接下来，参照图13的流程图，描述本发明的操作。当使用内窥镜装置12的切换开关21将正常模式切换到氧饱和度模式时，具有473nm的中心波长的第一激光束激发磷光体50以发射第一白色光。第一白色光照射感兴趣区。作为由B像素、G像素和R像素构成的彩色CCD的图像传感器60对来自感兴趣区的反射光进行成像。因此，获得第一帧的图像信号。图像信号由蓝色信号B1、绿色信号Gl和红色信号Rl构成。之后，具有445nm的中心波长的第二激光束激发磷光体50以发射第二白色光。第二白色光照射感兴趣区。图像传感器60对来自感兴趣区的反射光进行成像。因此，获得第二帧的图像信号。该图像信号由蓝色信号B2、绿色信号G2和红色信号R2构成。当获得第二帧的图像信号时，偏移量计算器82计算第一帧的绿色图像FRlg与第二帧的绿色图像FR2g在X方向上的偏移量Λ Fx和在Y方向上的偏移量AFy。根据绿色图像FRlg和FR2g的方形区域SI之间的偏移量、方形区域S2之间的偏移量、方形区域S3之间的偏移量、方形区域S4之间的偏移量、方形区域S5之间的偏移量、方形区域S6之间的偏移量、方形区域S7之间的偏移量、方形区域S8之间的偏移量、方形区域S9之间的偏移量计算偏移量Λ Fx和AFy。根据偏移量Λ Fx和Λ Fy，用于计算氧饱和度水平的蓝色图像FRlb、绿色图像FR2g和红色图像FR2r相互对准。然后，信号比计算器84计算第一帧与第二帧的图像或第二帧的图像的相应像素之间的信号比B1/G2和R2/G2。对每一个像素计算该信号比B1/G2和R2/G2。之后，氧饱和度计算器86由存储在相关性存储器85中的相关性计算对应于由信号比计算器84计算的信号比B1/G2和R2/G2的氧饱和度水平。对每一个像素计算氧饱和度水平。根据氧饱和度水平，生成氧饱和度图像。将氧饱和度图像显示在显示装置14上。要注意的是，在以上实施例中，来自半导体光源的照明光用于照射对像中的感兴趣区。可选地，可以使用发射宽波段光的诸如氙气灯的白色光源。在这种情况下，旋转滤光器用于分离期望波长(一个或多个)的光与宽波段光以照射感兴趣区(旋转滤光法)。在图14中，除了内窥镜装置101和光源装置102之外，内窥镜系统100具有类似于内窥镜系统10的结构的结构。以下，描述内窥镜装置101和光源装置102中的每一个的结构及其相关部件。除了内窥镜装置101和光源装置102之外的部件的描述被省略。内窥镜装置101与内窥镜装置12的不同在于远端部的发光部33不设有磷光体50。来自光源装置102的光通过光导28和29施加到感兴趣区。除了此，内窥镜装置101 类似于内窥镜装置12。
光源装置102设有白色光源110、旋转滤光器112、电动机113、切换结构114。白色光源Iio发射宽波段光BB(400nm至700nm)。旋转滤光器112将宽波段光BB分离成B、G 和R三种色彩。电动机113连接到旋转滤光器112的旋转轴线112a从而以恒定转速旋转旋转滤光器112。切换机构114在径向方向上切换旋转滤光器112。
白色光源110设有光源主体I IOa和孔径光阑110b。光源主体IlOa发射宽波段光 BB。孔径光阑IlOb改变或调节宽波段光BB的光量。光源主体IlOa例如由氙气灯、卤素灯或金属卤素灯构成。孔径光阑IlOB的开口的尺寸由光量控制器(未示出)控制。
如图15所示，旋转滤光器112绕着连接到电动机113的旋转轴112a旋转。旋转滤光器112沿径向方向从旋转轴112a依此顺序设有第一滤光区域120和第二滤光区域121。 第一滤光区域120和第二滤光区域121具有不同的蓝色通带。第一滤光区域120和第二滤光区域121中的一个根据所选择的模式设定在宽波段光BB的光路上。在正常模式中，第一滤光区域120设定在宽波段光BB的光路上。在氧饱和度模式中，第二滤光区域121设定在宽波段光BB的光路上。切换机构114在径向方向上切换旋转滤光器112以从第一滤光区域120切换到第二滤光区域121，反之亦然。
第一滤光区域120设有B滤光部120a、G滤光部120b和R滤光部120c，每一个都为具有120度圆心角的扇形形状。如图16所示，B滤光部120a将蓝色波段(380nm至500nm) 的B光从宽波段光BB发射出来。G滤光部120b将绿色波段(450nm至630nm)的G光从宽波段光BB发射出来。R滤光部120c将红色波段(580nm至760nm)的R光从宽波段光BB发射出来。B光、G光和R光根据旋转滤光器112的旋转顺次通过旋转滤光器112。B光、G光和RR通过聚光透镜116和光纤117入射在光导28和29上。
第二滤光区域121设有BN滤光部121a、G滤光部121b和R滤光部121c，每一个都为具有120度圆心角的扇形形状。G滤光部121b的光透射特性类似于G滤光部120b的光透射特性。R滤光部121c的光透射特性类似于R滤光部120c的光透射特性。如图16所示，BN滤光部121从宽波段光BB中发射在450nm至500nm的波长范围中的蓝色窄波段光 BN。类似于G滤光部120b，G滤光部121b发射在绿色波段(450nm至630nm)中的G光。类似于R滤光部120c，R滤光部121c发射在红色波段(580nm至760nm)中的R光。因此，BN 光、·G光和R光根据旋转滤光器112的旋转顺次通过旋转滤光器112。BN光、G光和R光通过聚光透镜116和光纤117入射在光导28和29上。
因为内窥镜系统100采用旋转滤光法，因此对内窥镜系统100的成像控制不同于内窥镜系统10的成像控制。在正常模式中，如图17A所示，B光、G光和R光通过旋转滤光器的单个旋转被连续发射。同时，彩色图像传感器60对感兴趣区顺次成像并输出帧顺序图像信号(用于每一个色彩的照明光的蓝色信号、绿色信号和红色信号，在三个帧中总共9个色彩信号)。在正常模式中重复该过程。根据输出的帧顺序图像信号中对应于B光的蓝色信号、对应于G光的绿色信号和对应于R光的红色信号生成作为通过白色光的照射获得的图像的正常光图像。
在氧饱和度模式中，如图17B所示，通过彩色图像传感器60在三个相应帧中顺次捕获BN光的图像光、G光的图像光和R光的图像光，并相应地输出帧顺序图像信号。在氧饱和度模式中重复该过程。要注意的是，在第一帧中，通过用BN光照射来进行成像而分别获得蓝色信号、绿色信号和红色信号，并且所述蓝色信号、所述绿色信号和所述红色信号被表示为bl、gl和rL.在第二帧中，通过用G光照射来进行成像而分别获得蓝色信号、绿色信号和红色信号，并且所述蓝色信号、所述绿色信号和所述红色信号被表示为b2、g2和r2。在第三帧中，通过用R光照射来进行成像而分别获得蓝色信号、绿色信号和红色信号，并且所述蓝色信号、所述绿色信号和所述红色信号被表示为b3、g3和r3。不同于以上实施例，内窥镜系统100使用第一帧的蓝色信号bl、第二帧的绿色信号g2和第三帧的红色信号r3计算氧饱和度水平。在使用信号bl、g2、和r3计算氧饱和度水平之前，执行配准过程。在配准过程中，由蓝色信号bl构成的图像和由红色信号r3构成的图像与由绿色信号g2构成的图像对准。要注意的是蓝色信号bl中的波长成分(450nm至500nm)不同于图6所示的蓝色信号BI中的波长成分(473nm的中心波长)。然而，在每一个波长成分中，氧基血红素的吸收系数高于去氧基血红素的吸收系数。因此，波长成分之间的差不会影响氧饱和度水平的计算。在配准过程中，如图18所示，计算第一帧与第二帧之间的第一偏移量和第二帧与第三帧之间的第二偏移量。第一偏移量是由绿色信号gl构成的图像与由绿色信号g2构成的图像之间的偏移量，其中由绿色信号gl构成的图像和由绿色信号g2构成的图像在信号特征和图像结构方面是类似的。为了计算第一偏移量，使用以上实施例中描述的用于计算偏移量的方法。因此，计算由绿色信号gl构成的图像与由绿色信号g2构成的图像之间在X方向上的偏移量Λ Flx和在Y方向上的偏移量Λ Fly。第二偏移量是由红色信号r2构成的图像与由红色信号r3构成的图像之间的偏移量，其中由红色信号r2构成的图像和由红色信号r3构成的图像在信号特征和图像结构方面是类似的。使用以上实施例中描述的用于计算偏移量的方法计算第二偏移量。因此，计算由红色信号r2构成的图像与由红色信号r3构成的图像之间在X方向上的偏移量Λ F2x和在Y方向上的偏移量AF2y。在计算相应帧的图 像之间的第一偏移量和第二偏移量中的每一个之后，如图19所不，由第一巾贞的蓝色信号bl构成的图像FRlb在一个方向上移动第一偏移量(AFlx、AFly)以消除第一帧与第二帧之间的偏移。因此，由第一帧的蓝色信号bl构成的图像FRlb与由第二帧的绿色信号g2构成的图像FR2g之间的偏移量被消除，因此，图像FRlb和FR2g中的相应像素相互对准。如图20所示，由第三帧的红色信号r3构成的图像FR3r在一个方向上移动第二偏移量(AF2x、AF2y)以消除第二帧与第三帧之间的偏移。因此，由第二帧的绿色信号g2构成的图像FR2g与由第三帧的红色信号r3构成的图像FR3r之间的偏移量被消除，因此，图像FRlb、FR2g和FR3r相互对准或配准。在图像的配准之后，根据蓝色信号b1、绿色信号g2和红色信号r3计算氧饱和度水平。因为三个图像(FRlb、FR2g和FR3r)彼此对准，因此，每一个像素中的氧饱和度水平被准确地计算。以类似于以上实施例的方式计算氧饱和度水平。要注意的是信号比bl/g2对应于以上实施例的信号比B1/G2。信号比r3/g2对应于以上实施例的信号比R2/G2。相关性存储器85存储信号比bl/g2和r3/g2与氧饱和度水平间的相关性。要注意的是氧饱和度水平在以上实施例中被成像。可选地或此外，氧基血红素指标或去氧基血红素可以被成像。使用公式“血量(氧基血红素和去氧基血红素的总和)X氧饱和度水平(%) ”计算氧基血红素指标。使用公式“血量X (100-氧饱和度水平)(%) ”计算去氧基血红素指标。
在本发明中可以进行各种改变和修改，并且所述改变和修改可以被理解为在本发明内。
要注意的是在以上实施例中，彩色图像传感器具有以矩阵布置的加原色(B、G和 R)的像素。代替地，可以使用减原色(￥』和0的像素阵列。可以使用例如包括单色`的4 种或更多种像素。
权利要求
1.一种内窥镜系统，包括发光部，用于在相应的帧中至少将第一照明光和第二照明光施加到感兴趣区，所述第一照明光的波长范围不同于所述第二照明光的波长范围，所述感兴趣区包括血管；图像信号获取部，所述图像信号获取部具有彩色图像传感器，所述彩色图像传感器具有至少由三原色构成的像素阵列，所述图像信号获取部在每一个帧中对所述感兴趣区进行成像，所述图像信号获取部对被所述第一照明光照射的感兴趣区进行成像以获取第一帧的三色信号，所述图像信号获取部对被所述第二照明光照射的感兴趣区进行成像以获取第二帧的三色信号；偏移量计算器，用于根据相同色彩的色彩信号计算所述第一帧的图像与所述第二帧的图像之间的偏移量；配准部，用于根据所述偏移量对准所述第一帧和所述第二帧的色彩信号中用于计算血液中的血色素的氧饱和度水平的预定色彩信号的图像；氧饱和度图像发生器，用于根据对准的所述预定色彩信号生成所述氧饱和度水平的氧饱和度图像；以及显示部，用于显示所述氧饱和度图像。
2.据权利要求I所述的内窥镜系统，其中，所述三色信号是蓝色信号、绿色信号和红色信号，所述第一照明光和所述第二照明光中的每一个都是白色光，以及所述偏移量计算器计算根据所述绿色信号生成的绿色图像之间的偏移量。
3.根据权利要求2所述的内窥镜系统，其中，所述第一帧的蓝色信号和所述第二帧的绿色信号和红色信号用于计算所述氧饱和度水平，并且所述配准部移动所述第一帧的蓝色信号以与所述第二帧的绿色信号和红色信号对准。
4.根据权利要求2或3所述的内窥镜系统，其中，所述第一照明光和所述第二照明光是通过利用波长转换器对具有不同波长范围的相应窄波段光进行波长转换而生成的。
5.根据权利要求4所述的内窥镜系统,其中,所述窄波段光中的每一个都是激光束。
6.根据权利要求5所述的内窥镜系统，其中，所述激光束的中心波长分别是473nm和 445nm。
7.根据权利要求I所述的内窥镜系统，其中，所述发光部在相应的帧中将所述第一照明光、所述第二照明光和所述第三照明光施加到所述感兴趣区，并且所述第三照明光的波长范围不同于所述第一照明光和所述第二照明光中的每一个的波长范围，以及所述图像信号获取部在每一个帧中对所述感兴趣区成像，并且所述图像信号获取部对被所述第一照明光照射的感兴趣区进行成像以获取所述第一帧的三色信号，所述图像信号获取部对被所述第二照明光照射的感兴趣区进行成像以获取所述第二帧的三色信号，以及所述图像信号获取部对被所述第三照明光照射的感兴趣区进行成像以获取第三帧的三色信号，并且所述偏移量计算器计算第一帧与第二帧的相同色彩的色彩信号的图像之间的第一偏移量和所述第二帧与所述第三帧的相同色彩的色彩信号的图像之间的第二偏移量，并且配准部根据所述第一偏移量和所述第二偏移量使所述第一帧、所述第二帧和所述第三帧的色彩信号中用于计算所述氧饱和度水平的预定色彩信号的图像对准。
8.一种用于内窥镜系统的处理器装置，所述内窥镜系统包括照明装置和内窥镜装置， 所述照明装置在相应的帧中至少将第一照明光和第二照明光施加到包括血管的感兴趣区，所述第一照明光的波长范围不同于所述第二照明光的波长范围，所述内窥镜装置利用彩色图像传感器在每一个帧中对所述感兴趣区进行成像，所述彩色图像传感器具有至少由三原色构成的像素阵列，所述内窥镜装置对被所述第一照明光照射的感兴趣区进行成像以获取第一帧的三色信号，所述内窥镜装置对被所述第二照明光照射的感兴趣区进行成像以获取第二帧的三色信号，所述处理器装置包括 接收器，用于从所述内窥镜装置接收所述第一帧和所述第二帧中的每一个的三色信号; 偏移量计算器，用于根据相同色彩的色彩信号计算所述第一帧的图像与所述第二帧的图像之间的偏移量； 配准部，用于根据所述偏移量使所述第一帧和所述第二帧的色彩信号中的用于计算血液中的血色素的氧饱和度水平的预定色彩信号对准；和 氧饱和度图像发生器，用于根据对准的所述预定色彩信号生成所述氧饱和度水平的氧饱和度图像。
9.一种图像生成方法，包括以下步骤 在相应的帧中至少将具有不同波长范围的第一照明光和第二照明光施加到包括血管的感兴趣区，并且通过彩色图像传感器在每一个帧中对所述感兴趣区进行成像，所述彩色图像传感器具有至少由三原色构成的像素阵列，所述彩色图像传感器对被所述第一照明光照射的感兴趣区进行成像以获取第一帧的三色信号，所述彩色图像传感器对被所述第二照明光照射的感兴趣区进行成像以获取第二帧的三色信号； 根据相同色彩的色彩信号计算所述第一帧的图像与所述第二帧的图像之间的偏移量; 根据所述偏移量使所述第一帧和所述第二帧的色彩信号中的用于计算血液中的血色素的氧饱和度水平的预定色彩信号的图像对准；以及 根据对准的所述预定色彩信号生成所述氧饱和度水平的氧饱和度图像。
全文摘要
本发明公开了一种内窥镜系统、该内窥镜系统的处理器装置和图像生成方法。第一白色光和第二白色光分别通过被具有473nm和445nm的中心波长的第一激光束和第二激光束的磷光体激发而产生。第一白色光和第二白色光在相应的帧中被顺次施加到对像中的感兴趣区。彩色图像传感器在每一个帧中对感兴趣区进行成像。根据由第一帧和第二帧的绿色信号计算的图像之间的偏移量，第一帧的蓝色信号的图像移动以与第二帧的绿色信号的图像和红色信号的图像对准。在对准之后，表示血液中的血色素的氧饱和度水平的氧饱和度图像从第一帧的蓝色信号以及第二帧的绿色信号和红色信号生成，并被显示在显示器上。
文档编号A61B1/06GK103251370SQ20131003849
公开日2013年8月21日 申请日期2013年1月31日 优先权日2012年2月14日
发明者山口博司, 斋藤孝明, 饭田孝之 申请人:富士胶片株式会社