成像装置的制作方法

本发明涉及一种对被注入到被摄体的荧光色素照射激发光并拍摄从荧光色素产生的荧光的成像装置。

背景技术：

近年来，在外科手术中利用一种被称为近红外荧光成像的方法。在该近红外荧光成像中，向患部注入作为荧光色素的靛氰绿(icg)。然后，当将大致600nm(纳米)～850nm(纳米)的近红外光作为激发光对该靛氰绿进行照射时，靛氰绿发出以大致810nm为峰的近红外区域的荧光。利用能够检测近红外光的摄像机来拍摄该荧光，并在液晶显示面板等显示部中显示其图像。通过该近红外荧光成像，能够观察存在于距体表20mm左右的深度的血管、淋巴管等。

在专利文献1中公开了如下一种数据收集方法：将近红外荧光的强度分布图像与癌病灶分布图像进行比较，收集在近红外荧光的强度分布图像中被检测到而在癌病灶分布图像中未被检测到的区域的数据来作为癌的副病灶区域数据，其中，该近红外荧光的强度分布图像是对被投放了靛氰绿的生物体的被检脏器照射靛氰绿的激发光而得到的，该癌病灶分布图像是使x射线、核磁共振或超声波作用于靛氰绿投放前的被检脏器而得到的。

另外，在专利文献2中公开了如下一种手术辅助方法：对被投放了血管造影剂的被检体交替地照射激发光和可见光，利用摄像单元交替地获取照射激发光而得到的荧光图像和可见光图像，并且基于规定的阈值对荧光图像进行阈值处理来提取血管图像，制作将可见光图像与提取到的血管图像相叠加而得到的合成图像。

专利文献1：国际公开第2009/139466号公报

专利文献2：日本特开2009-226072号公报

技术实现要素：

发明要解决的问题

如在专利文献2中记载的那样，在制作将可见光图像与荧光图像进行合成而得到的合成图像的情况下，在对黑白的荧光图像进行着色之后，例如使用相加合成、网屏合成等方法将可见光图像与着色后的荧光图像进行合成。此时，在将可见光图像与着色后的荧光图像单纯地进行合成的情况下，产生难以辨别可见光图像和被着色后的荧光图像这样的问题。

即，在单纯地进行了合成的情况下，可见光图像的背景的颜色与着色后的荧光图像的颜色互相混合，荧光图像与原来的颜色相差甚远，因此难以辨别荧光图像中的荧光区域到何处为止。

本发明是为了解决上述问题而完成的，其目的在于提供一种能够在将被摄体的可见光图像与荧光图像进行合成来制作合成图像时提高荧光图像的可视性的成像装置。

用于解决问题的方案

在第一发明中，成像装置具备：激发用光源，其向被摄体照射用于使被注入到所述被摄体的荧光色素激发的激发光；可见光源，其向所述被摄体照射可见光；摄像机，其用于拍摄通过照射激发光而从所述荧光色素产生的荧光和被所述被摄体的表面反射的可见光，且能够检测荧光和可见光；以及合成部，其通过将由所述摄像机拍摄到的所述被摄体的可见光图像与所述被摄体的荧光图像进行合成来制作合成图像，其中，所述合成部将利用所述可见光图像和所述荧光图像进行运算而得到的第一校正图像与对所述荧光图像进行着色而得到的第二校正图像进行合成，由此制作所述合成图像。

在第二发明中，所述合成部将从所述可见光图像减去基于所述荧光图像的图像而得到的第一校正图像与对所述荧光图像进行着色而得到的第二校正图像进行合成，由此制作所述合成图像。

在第三发明中，通过从所述可见光图像的颜色空间的值减去对所述荧光图像的像素值乘以大于0且小于1的系数而得到的像素值，来制作所述第一校正图像。

在第四发明中，所述激发光和所述荧光是近红外光。

发明的效果

根据第一发明至第四发明所述的发明，在将被摄体的可见光图像与荧光图像进行合成来制作合成图像时，将利用可见光图像和荧光图像进行运算而得到的第一校正图像与对荧光图像进行着色而得到的第二校正图像进行合成，因此能够使荧光图像的可视性提高。

附图说明

图1是本发明所涉及的成像装置的概要图。

图2是照明摄影部12的立体图。

图3是表示本发明所涉及的成像装置的主要控制系统的框图。

图4是利用本发明所涉及的成像装置将可见光图像与近红外图像进行合成来制作合成图像的图像合成工序的流程图。

图5是利用本发明所涉及的成像装置将可见光图像与近红外图像进行合成来制作合成图像的其它实施方式所涉及的图像合成工序的流程图。

具体实施方式

下面，基于附图来说明本发明的实施方式。图1是本发明所涉及的成像装置的概要图。

该成像装置具备：主体10，其具有触摸面板等输入部11，且内置有后述的控制部30等；照明摄影部12，其以能够移动的方式被臂13支承；显示部14，其由液晶显示面板等构成；以及治疗台16，其用于载置患者17。此外，照明摄影部12并不限定于被臂13支承，也可以由手术操作者拿在手中。

图2是上述照明摄影部12的立体图。

该照明摄影部12具备：摄像机21，其能够检测近红外线和可见光；可见光源22，其包括配设在该摄像机21的外周部的多个led；以及激发用光源23，其包括配设在该可见光源22的外周部的多个led。可见光源22照射可见光。激发用光源23照射作为用于使靛氰绿激发的激发光的、其波长为760nm的近红外光。

图3是表示本发明所涉及的成像装置的主要控制系统的框图。

该成像装置具备控制部30，该控制部30由执行逻辑运算的cpu、存储有装置控制所需的动作程序的rom以及在控制时暂时存储数据等的ram等构成，用于对装置整体进行控制。该控制部30具备图像处理部31，该图像处理部31执行后述的各种图像处理且具有合成部32。另外，该控制部30与上述输入部11和显示部14相连接。另外，该控制部30与具备摄像机21、可见光源22以及激发用光源23的照明摄影部12相连接。该控制部30还与存储由摄像机21拍摄到的图像的图像存储部33相连接。该图像存储部33包括存储近红外图像的近红外图像存储部34和存储可见光图像的可见光图像存储部35。此外，也可以具备存储将可见光图像与近红外图像进行合成而得到的图像的合成图像存储部，来替代具备近红外图像存储部34和可见光图像存储部35。

以下，对使用本发明所涉及的成像装置进行外科手术的情况下的动作进行说明。此外，在以下的说明中，说明对患者17进行乳腺癌手术的情况。

在使用本发明所涉及的成像装置进行乳腺癌手术的情况下，将靛氰绿以注射方式注入到治疗台16上的仰卧的患者17的乳房。然后，从激发用光源23向包括患部在内的被摄体照射近红外线，并且从可见光源22向包括患部在内的被摄体照射可见光。此外，作为从激发用光源23照射的近红外光，如上所述那样采用作为用于使靛氰绿发出荧光的激发光而发挥作用的760nm的近红外光。由此，靛氰绿产生以大约800nm为峰的近红外区域的荧光。

然后，利用摄像机21拍摄患者17的患部附近。该摄像机21能够检测近红外光和可见光。向患者17照射可见光，利用摄像机21拍摄该可见光而得到的图像为可见光图像，向患者17照射近红外光，利用摄像机21拍摄来自靛氰绿的荧光而得到的图像为近红外图像。利用摄像机21拍摄到的近红外图像和可见光图像被发送到图3所示的图像处理部31。在图像处理部31中，将近红外图像和可见光图像转换为能够显示于显示部14的图像数据。近红外图像的数据被存储于图像存储部33中的近红外图像存储部34。另外，可见光图像的数据被存储于图像存储部33中的可见光图像存储部35。

在该状态下，图像处理部31中的合成部32如后述那样利用近红外图像数据和可见光图像数据来制作使可见光图像与近红外图像进行融合而得到的合成图像。然后，图像处理部31将近红外图像、可见光图像以及合成图像分区域地同时显示或选择性地显示于显示部14。

接着，对作为本发明的特征部分的合成图像的制作动作进行说明。图4是利用本发明所涉及的成像装置将可见光图像与近红外图像进行合成来制作合成图像的图像合成工序的流程图。

图像处理部31中的合成部32使用可见光图像中的各像素的包含rgb值、亮度、明度、彩度以及色相中的任一个的颜色空间中的一个以上的参数和拍摄来自靛氰绿的荧光而得到的近红外图像中的各像素的像素值来制作第一校正图像，将该第一校正图像与作为着色后的近红外图像的第二校正图像进行合成，由此制作合成图像。以下，对使用rgb颜色空间中的三个参数r、g、b来制作合成图像的情况的实施方式进行说明。

将可见光图像中的各像素的像素值(即，可见光图像中的各像素的包含rgb值、亮度、明度、彩度以及色相中的任一个的颜色空间中的一个以上的参数的值)设为p10i，将近红外图像中的各像素的像素值设为p20v。另外，将进行了后述的减法处理后的第一校正图像的像素值设为p11i，将对近红外图像进行着色而得到的第二校正图像的像素值设为p21i。并且，将使可见光图像与近红外图像进行合成而得到的合成图像的像素值设为p30i。在此，i表示rgb中的任一个，另外，v是表示像素值的从0到255的整数值。

如下述式(1)所示，通过从可见光图像的像素值p10i减去对近红外图像的像素值乘以由小于1的自然数构成的系数α而得到的像素值，来获得第一校正图像的各像素的像素值p11i。在此，α是大于0且小于1的系数。另外，[]表示高斯符号。

p11i＝p10i-[α×p20v+0.5]···(1)

然后，如下述式(2)所示，通过利用第一校正图像的像素值p11i和作为着色后的近红外图像的第二校正图像的像素值p21i执行网屏合成，来运算合成图像的像素值p30i。此外，在作为背景的可见光图像中红色的区域多的情况下，作为要对近红外图像进行着色的颜色，例如能够选择可视性良好的蓝色。

p30i＝(p11i+p21i)-(p11i×p21i)/255···(2)

通过进行这种运算来利用近红外图像对作为背景的可见光图像进行预处理，由此能够在保持被着色后的近红外图像的颜色的状态下将可见光图像与近红外图像进行合成。即，能够在从可见光图像去除与荧光相当的近红外图像的部分之后将可见光图像与近红外图像进行合成。因此，能够使近红外图像的可视性提高。

接着，对作为本发明的特征部分的合成图像的其它实施方式所涉及的制作动作进行说明。图5是利用本发明所涉及的成像装置将可见光图像与近红外图像进行合成来制作合成图像的其它实施方式所涉及的图像合成工序的流程图。

在上述实施方式中，通过从可见光图像的像素值p10i减去对近红外图像的像素值乘以由小于1的自然数构成的系数α而得到的像素值，来获得第一校正图像的各像素的像素值p11i。与此相对地，在本实施方式中为通过下述式(3)来对第一校正图像的各像素的像素值p11i进行运算的结构。此外，关于除制作第一校正图像的工序以外的其它各工序，与上述第一实施方式相同。

p11i＝255-[255×(255-p10i)/(255-p20v+1)···(3)

在采用了这种实施方式的情况下，也能够在从可见光图像去除与荧光相当的近红外图像的部分之后将可见光图像与近红外图像进行合成，因此能够使近红外图像的可视性提高。

此外，在上述实施方式中，均将rgb颜色空间作为参数来制作第一校正图像，但也可以替代rgb颜色空间，而使用在hsv颜色空间中使用的色相(hue)、彩度(saturation)、明度(value)或者在hls颜色空间中使用的色相、彩度、亮度(luminance)等其它颜色空间中的任意一个以上的参数来制作第一校正图像。

另外，在上述实施方式中，通过对第一校正图像与第二校正图像执行网屏合成来制作出合成图像，但也可以使用相加合成等其它合成方法来替代网屏合成。

另外，在上述实施方式中，均是使用照射波长为760nm的近红外光的光源来作为激发用光源23，但能够使用照射能够激发靛氰绿使其产生激发光的750nm～810nm左右的近红外光的光源来作为激发用光源23。

另外，在上述实施方式中均说明了通过使用靛氰绿作为含有荧光色素的材料并对该靛氰绿照射760nm的近红外光作为激发光而从靛氰绿发出以大致810nm为峰的近红外区域的荧光的情况，但也可以使用近红外线以外的光。

例如，作为荧光色素，能够使用5-ala(5-氨基乙酸丙酸/5-aminolevulinicacid)。在使用了该5-ala的情况下，侵入到患者17的体内的5-ala变化为作为荧光物质的原卟啉(protoporphyrinix/ppix)。当向该原卟啉照射400nm左右的可见光时，从原卟啉照射红色的可见光来作为荧光。因此，在使用5-ala的情况下，作为激发用光源，使用照射其波长为400nm左右的可见光的光源即可。

附图标记说明

10：主体；11：输入部；12：照明摄影部；13：臂；14：显示部；16：治疗台；17：患者；21：摄像机；22：可见光源；23：激发用光源；30：控制部；31：图像处理部；32：合成部；33：图像存储部；34：近红外图像存储部；35：可见光图像存储部。