医疗图像处理系统的制作方法

文档序号:23098921发布日期:2020-11-27 13:03阅读:74来源:国知局
医疗图像处理系统的制作方法

本发明涉及一种进行观察对象的照明中所使用的短波长的窄频带光的发光量的控制的医疗图像处理系统。



背景技术:

在医疗领域中广泛使用具备光源装置、内窥镜及处理器装置的内窥镜系统。在内窥镜系统中,从内窥镜对观察对象照射照明光,并根据通过内窥镜的摄像传感器拍摄用该照明光照明中的观察对象而获得的rgb图像信号,将观察对象的图像显示于显示器上。

并且,在使用内窥镜的诊断中,因具有摄像传感器的内窥镜的前端部与观察对象之间的距离发生变化而观察对象的亮度改变,因此根据观察对象的亮度信息的变化,控制照明光的发光量。并且,当为了观察存在于粘膜组织的较深位置的血管而作为照明光使用多个红色频带(540nm、600nm、630nm)的光时,计算与这些多个红色频带光相应的观察对象的亮度信息(调光基准信号),并进行照明光的发光量的控制(参考专利文献1)。

以往技术文献

专利文献

专利文献1:国际公开2013/145410号



技术实现要素:

发明要解决的技术课题

在近年的内窥镜诊断中,为了观察表层血管或红细胞等特定结构,中心波长为410nm、450nm前后的短波长的窄频带光正在使用于观察对象的照明。在使用照明了这种短波长的窄频带光的观察对象的情况下,也要求准确地计算观察对象的亮度信息,并且稳定地进行短波长的窄频带光的发光量的控制。

本发明的目的在于提供一种在观察对象的照明中使用了短波长的窄频带光的情况下,能够稳定地进行短波长的窄频带光的发光量的控制的医疗图像处理系统。

用于解决技术课题的手段

本发明的医疗图像处理系统具备:光源部,发射短波长的特定窄频带光;摄像传感器,拍摄由特定窄频带光照明的观察对象,且具备包含第1像素的第1像素组及至少包含第2像素的第2像素组;及光源控制部,控制特定窄频带光的发光量,第1像素对特定窄频带光的灵敏度比第2像素高,第2像素对波长长于特定窄频带光的第1长波光及特定窄频带光具有灵敏度,光源控制部根据由第1像素获得的第1像素的像素值及由第2像素获得的第2像素的像素值,进行特定窄频带光的发光量的控制。

优选在第2像素组中包含对包含特定窄频带光及第1长波光的宽频带的照明光具有灵敏度的第3像素,光源控制部除了第1像素的像素值及第2像素的像素值以外,还根据第3像素的像素值,进行特定窄频带光的发光量的控制。优选在第2像素组中包含对波长长于第1长波光的第2长波光及特定窄频带光具有灵敏度的第4像素,光源控制部除了第1像素的像素值及第2像素的像素值以外,还根据第4像素的像素值,进行特定窄频带光的发光量的控制。

优选具有根据相乘了第1像素用亮度调整系数的第1像素的像素值及相乘了第2像素用亮度调整系数的第2像素的像素值,计算表示观察对象的亮度的亮度信息的亮度信息计算部,光源控制部根据亮度信息,进行特定窄频带光的发光量的控制,第1像素用亮度调整系数及第2像素用亮度调整系数的比率根据第1像素的灵敏度中对包含特定窄频带光的短波长光的短波长侧灵敏度及第2像素的短波长侧灵敏度来设定。

第2像素的短波长侧灵敏度优选为第2像素的最高灵敏度的10%以上或第1像素的短波长侧灵敏度的10%以上。第2像素的短波长侧灵敏度优选为第2像素的最高灵敏度的35%以下或第1像素的短波长侧灵敏度的35%以下。

优选具有根据相乘了第1像素用亮度调整系数的第1像素的像素值、相乘了第2像素用亮度调整系数的第2像素的像素值及相乘了第3像素用亮度调整系数的第3像素的像素值,计算表示观察对象的亮度的亮度信息的亮度信息计算部,光源控制部根据亮度信息,进行特定窄频带光的发光量的控制,第1像素用亮度调整系数、第2像素用亮度调整系数及第3像素用亮度调整系数的比率根据第1像素的灵敏度中对包含特定窄频带光的短波长光的短波长侧灵敏度、第2像素的短波长侧灵敏度及第3像素的短波长侧灵敏度来设定。

优选具有相乘了第1像素用亮度调整系数的第1像素的像素值、相乘了第2像素用亮度调整系数的第2像素的像素值及相乘了第4像素用亮度调整系数的第4像素的像素值,计算表示观察对象的亮度的亮度信息的亮度信息计算部,光源控制部根据亮度信息,进行特定窄频带光的发光量的控制,第1像素用亮度调整系数、第2像素用亮度调整系数及第4像素用亮度调整系数的比率根据第1像素的灵敏度中对包含特定窄频带光的短波长光的短波长侧灵敏度、第2像素的短波长侧灵敏度及第4像素的短波长侧灵敏度来设定。

第2像素组的像素数优选多于第1像素组的像素数。优选特定窄频带光的中心波长包含于400nm以上且450nm以下的范围内,特定窄频带光的半宽度为40nm以下。

发明效果

根据本发明,在观察对象的照明中使用了短波长的窄频带光的情况下,能够稳定地进行短波长的窄频带光的发光量的控制。

附图说明

图1是内窥镜系统的外观图。

图2是表示内窥镜系统的功能的框图。

图3是表示紫色光v、蓝色光b、绿色光g及红色光r的光谱的图表。

图4是表示短波长的特定窄频带光的光谱的图表。

图5是表示设置于摄像传感器的r像素(r)、g像素(g)、b像素(b)及w像素(w)的说明图。

图6是表示本实施方式的摄像传感器所具有的b滤波器、g滤波器及r滤波器的光谱透射率的图表。

图7是表示对食道照明了短波长的特定窄频带光时的b像素及g像素的受光强度的说明图。

图8是表示对食道照明了短波长的特定窄频带光时的b像素及r像素的受光强度的说明图。

图9是表示对观察对象照明了普通光时的w像素及g像素的受光强度的说明图。

图10是表示对食道照明了普通光时的w像素及r像素的受光强度的说明图。

图11是表示图像信号中位于特定位置sp的g像素的说明图。

图12是表示低频分量mw的计算方法的说明图。

图13是表示低频分量mbx的计算方法的说明图。

图14是表示低频分量mby的计算方法的说明图。

图15是表示拜耳排列的摄像传感器的说明图。

图16是拜耳排列的摄像传感器中的g像素位置的b像素的像素值的计算方法的说明中使用的说明图。

图17是拜耳排列的摄像传感器中的r像素位置的b像素的像素值的计算方法中使用的说明图。

图18是表示常规摄像传感器所具有的b滤波器、g滤波器及r滤波器的光谱透射率的图表。

具体实施方式

[第1实施方式]

如图1所示,第1实施方式的内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、显示器18及用户接口19。内窥镜12与光源装置14光学连接,且与处理器装置16电连接。内窥镜12具有插入于受检体内的插入部12a、设置于插入部12a的基端部分的操作部12b以及设置于插入部12a的前端侧的弯曲部12c及前端部12d。通过操作操作部12b的弯角钮12e,弯曲部12c进行弯曲动作。伴随该弯曲动作,前端部12d朝向所期望的方向。另外,用户接口19除了所图示的键盘以外,还包含鼠标等。

并且,在操作部12b,除了弯角钮12e以外,还设置有模式切换sw13a及静态图像获取命令部13b。模式切换sw13a用于普通观察模式、特殊观察模式及短波长观察模式之间的切换操作。普通观察模式为由白色光等普通光(参考图9、图10)进行观察对象的照明而将普通图像显示于显示器18上的模式。特殊观察模式为由蓝色窄频带光等特殊光进行观察对象的照明而将强调了特定深度的血管等结构的特殊观察图像显示于显示器18上的模式。短波长观察模式为通过在观察对象的照明中使用短波长的特定窄频带光(与后述的紫色光v对应)而将表示用短波长的特定窄频带光能够观察的结构物的短波长观察图像显示于显示器18上的模式。另外,作为用于切换模式的模式切换部,除了模式切换sw13a以外,还可以使用脚踏开关。

处理器装置16与显示器18及用户接口19电连接。显示器18输出显示图像信息等。用户接口19作为接收功能设定等输入操作的ui(userinterface:用户接口)而发挥功能。另外,在处理器装置16中也可以连接记录图像信息等的外置记录部(省略图示)。

如图2所示,光源装置14具有光源部20、光源控制部21及光路结合部23。光源部20具有v-led(violetlightemittingdiode:紫色发光二极管)20a、b-led(bluelightemittingdiode:蓝色发光二极管)20b、g-led(greenlightemittingdiode:绿色发光二极管)20c及r-led(redlightemittingdiode:红色发光二极管)20d。光源控制部21控制led20a~20d的驱动。光路结合部23结合从四个颜色的led20a~20d发射的四个颜色的光的光路。由光路结合部23结合的光经由插入贯通于插入部12a内的光导件41及照明透镜45照射于受检体内。另外,也可以代替led而使用ld(laserdiode:激光二极管)。

如图3所示,v-led20a产生中心波长包含于400nm以上且450nm的范围内(例如,405nm)且半宽度为40nm以下的紫色光v。b-led20b产生中心波长包含于450nm以上且500nm以下的范围内(例如,460nm)且半宽度为40nm以下的蓝色光b。g-led20c产生波长范围达到480~600nm的绿色光g。r-led20d产生中心波长620~630nm且波长范围达到600~650nm的红色光r。

光源控制部21在普通观察模式及特殊观察模式下进行点亮v-led20a、b-led20b、g-led20c及r-led20d的控制。并且,当为普通观察模式时,光源控制部21以发射紫色光v、蓝色光b、绿色光g及红色光r之间的光强度比成为vc∶bc∶gc∶rc的普通光的方式,控制各led20a~20d。并且,当为特殊观察模式时,光源控制部21以发射紫色光v、蓝色光b、绿色光g及红色光r之间的光强度比成为vs∶bs∶gs∶rs的特殊光的方式,控制各led20a~20d。特殊光优选能够强调特定深度的血管等结构。并且,如图4所示,当为短波长观察模式时,光源控制部21以发射短波长的特定窄频带光即紫色光v的方式,控制各led20a~20d。

另外,在本说明书中,光强度比包含至少一个半导体光源的比率为0(零)的情况。因此,包含各半导体光源中的任一个或两个以上不点亮的情况。例如,设为如紫色光v、蓝色光b、绿色光g及红色光r之间的光强度比为1∶0∶0∶0的情况,即使在半导体光源中仅点亮一个而其他三个不点亮的情况下,也具有光强度比。

并且,光源控制部21根据从处理器装置16的亮度信息计算部54传送的亮度信息,控制从各led20a~20d发出的照明光的发光量。在普通观察模式的情况下,光源控制部21根据普通观察模式用亮度信息,以满足下述式a)的方式,控制普通光的发光量。例如,当“普通观察模式用亮度信息/256”小于规定数时,进行提高普通光的发光量的控制。与此相对,当“普通观察模式用亮度信息/256”大于规定数时,进行降低普通光的发光量的控制。

式a)普通观察模式用亮度信息/256=规定数

在特殊观察模式的情况下,光源控制部21根据特殊观察模式用亮度信息,以满足下述式b)的方式,控制特殊光的发光量。例如,当“(特殊观察模式用亮度信息+特殊观察模式用相加系数)/256”小于规定数时,进行提高特殊光的发光量的控制。与此相对,当“(特殊观察模式用亮度信息+特殊观察模式用相加系数)/256”大于规定数时,进行降低特殊光的发光量的控制。

式b)(特殊观察模式用亮度信息+特殊观察模式用相加系数)/256=规定数

在短波长观察模式的情况下,光源控制部21根据短波长观察模式用亮度信息,以满足下述式c)的方式,控制短波长的特定窄频带光的发光量。例如,当“(短波长观察模式用亮度信息+短波长观察模式用相加系数)/256”小于规定数时,进行提高短波长的特定窄频带光的发光量的控制。与此相对,当“(短波长观察模式用亮度信息+短波长观察模式用相加系数)/256”大于规定数时,进行降低短波长的特定窄频带光的发光量的控制。

式c)(短波长观察模式用亮度信息+短波长观察模式用相加系数)/256=规定数

另外,短波长观察模式用亮度信息为除了b图像信号以外还包含具有与特定窄频带光对应的信号值的g图像信号而计算出的信息,因此能够稳定地进行特定窄频带光的发光量的控制。例如,当在观察对象中散布有蓝色关联的色素时,只要短波长观察模式用亮度信息为仅根据b图像信号计算的信息,则难以稳定地进行短波长的特定窄频带光的发光量的控制。如本实施方式,通过除了b图像信号以外,还根据g图像信号计算短波长观察模式用亮度信息,变得不易受到蓝色关联的色素的影响,因此能够稳定地进行短波长的特定窄频带光的发光量的控制。

另外,在根据b图像信号、g图像信号及w图像信号计算了短波长观察模式用亮度信息的情况下,w图像信号也变得不易受到蓝色关联的色素的影响,因此按照基于b图像信号、g图像信号及w图像信号的亮度信息,能够稳定地进行特定窄频带光的发光量的控制。相同地,在根据b图像信号、g图像信号及r图像信号计算了短波长观察模式用亮度信息的情况下,r图像信号也变得不易受到蓝色关联的色素的影响,因此按照基于b图像信号、g图像信号及r图像信号的亮度信息,能够稳定地进行特定窄频带光的发光量的控制。

如图2所示,光导件41内置于内窥镜12及通用塞绳(连接内窥镜12与光源装置14及处理器装置16的塞绳)内,并将由光路结合部23结合的光传播至内窥镜12的前端部12d。另外,作为光导件41,能够使用多模光纤。作为一例,能够使用芯部直径105μm、包层直径125μm及包含成为外皮的保护层的直径φ0.3~0.5mm的细径的光缆。

在内窥镜12的前端部12d设置有照明光学系统30a及摄像光学系统30b。照明光学系统30a具有照明透镜45,并且来自光导件41的光经由该照明透镜45照射到观察对象。摄像光学系统30b具有物镜46及摄像传感器48。来自观察对象的反射光经由物镜46入射到摄像传感器48。由此,在摄像传感器48中成像观察对象的反射像。

摄像传感器48为彩色摄像传感器,并且拍摄受检体的反射像而输出图像信号。该摄像传感器48优选为ccd(chargecoupleddevice:电荷耦合器件)摄像传感器或cmos(complementarymetal-oxidesemiconductor:互补金属氧化物半导体)摄像传感器等。

本发明中所使用的摄像传感器48为用于获得r(红色)、g(绿色)、b(蓝色)及w(白色)这四个颜色的rgbw图像信号的彩色摄像传感器。即,如图5所示,摄像传感器48具备设置有r滤波器的r像素(第4像素)、设置有g滤波器的g像素(第2像素)、设置有b滤波器的b像素(第1像素)及设置有w滤波器的w像素(第3像素)。

另外,摄像传感器48分为两个第1像素组及第2像素组,第2像素组的像素数多于第1像素组的像素数。在第1像素组中包含b像素,在第2像素组中包含g像素、r像素及w像素。

在摄像传感器48中,w像素以成为棋盘格花纹的方式排列。并且,为了在短波长观察模式下对由摄像传感器48获得的信号提高分辨率,如后述的去马赛克处理所示,通过使g像素也持有规定以上的对特定窄频带光的灵敏度,并且使用w像素与g像素之间的相关,使得在g像素位置上也获得特定窄频带光的信号。相同地,通过使r像素也持有规定以上的对特定窄频带光的灵敏度,并且使用w像素与r像素之间的相关,使得在r像素位置上也获得特定窄频带光的信号。

如上所述,当照明短波长的特定窄频带光时,为了在g像素位置上获得特定窄频带光的信号,如图6所示,关于g像素,以不仅对500nm~600nm的绿色频带光(第1长波光)具有灵敏度,而且对包含短波长的特定窄频带光的短波长(波长频带为450nm以下,例如为400nm~450nm)的光也具有短波长侧灵敏度的方式,设定g滤波器的透射率。由此,如图7所示,当相乘了特定窄频带光、g滤波器的透射率及各部位反射率(在图7的情况下,使用“食道”的反射率。胃、大肠的反射率以点线来表示。)时,作为g像素的受光强度,获得与特定窄频带光的波长区域对应的受光强度。另外,b像素的受光强度以相乘特定窄频带光、b滤波器的透射率(400nm~500nm的蓝色频带)及各部位反射率而获得,成为g像素的受光强度的强度值的规定倍数。

另外,若由g像素获得的信号值小,则噪声的影响变大,去马赛克处理之后的图像的画质变差,因此例如关于g像素的短波长侧灵敏度,在400~450nm的范围内优选设为g像素的最高灵敏度的10%以上。即,在g滤波器中,将400~450nm的透射率优选设为与g像素的最高灵敏度对应的波长范围(例如,540~560nm)的透射率的10%以上。或者,关于g像素的短波长侧灵敏度,优选设为b像素的短波长侧灵敏度的10%以上。即,在g滤波器中,将400~450nm的透射率优选设为b滤波器的400~450nm的透射率的10%以上。另外,g像素的最高灵敏度是指,对g滤色器的透射率为规定以上(例如,70%)的波长区域的光的灵敏度。关于r像素的最高灵敏度也相同。

另一方面,若g像素的短波长侧灵敏度过度变高,则普通图像中的颜色再现性下降,因此关于g像素的短波长侧灵敏度,在400~450nm的范围内,优选设为g像素的最高灵敏度的35%以下。即,在g滤波器中,将400~450nm的透射率优选设为与g像素的最高灵敏度对应的波长范围(例如,540~560nm)的透射率的35%以下。或者,关于g像素的短波长侧灵敏度,优选设为b像素的短波长侧灵敏度的35%以下。即,在g滤波器中,将400~450nm的透射率优选设为b滤波器的400~450nm的透射率的35%以下。

并且,当照明短波长的特定窄频带光时,为了在r像素位置上获得特定窄频带光的信号,如图6所示,关于r像素,以不仅对600nm~700nm的红色频带光(第2长波光)具有灵敏度,而且对包含短波长的特定窄频带光的短波长光(400nm~450nm)也具有短波长侧灵敏度的方式,设定r滤波器的透射率。由此,如图8所示,当相乘了特定窄频带光、r滤波器的透射率及各部位反射率(在图8的情况下,使用“食道”的反射率。胃、大肠的反射率以点线来表示。)时,作为r像素的受光强度,获得与特定窄频带光的波长区域对应的受光强度。另外,b像素的受光强度成为r像素的受光强度的规定倍数。

但是,若由r像素获得的信号值小,则噪声的影响变大,去马赛克处理之后的图像的画质变差,因此例如关于r像素的短波长侧灵敏度,在400~450nm的范围内,优选设为r像素的最高灵敏度的10%以上。即,在r滤波器中,将400~450nm的透射率优选设为与r像素的最高灵敏度对应的波长范围(例如,640~660nm)的透射率的10%以上。或者,关于r像素的短波长侧灵敏度,优选设为b像素的短波长侧灵敏度的10%以上。即,在r滤波器中,将400~450nm的透射率优选设为b滤波器的400~450nm的透射率的10%以上。

另一方面,若r像素的短波长侧灵敏度过度变高,则普通图像中的颜色再现性下降,因此关于r像素的短波长侧灵敏度,在400~450nm的范围内,优选设为r像素的最高灵敏度的35%以下。即,在r滤波器中,将400~450nm的透射率优选设为与r像素的最高灵敏度对应的波长范围(例如,640~660nm)的透射率的35%以下。或者,关于r像素的短波长侧灵敏度,优选设为b像素的短波长侧灵敏度的35%以下。即,在r滤波器中,将400~450nm的透射率优选设为b滤波器的400~450nm的透射率的35%以下。

在摄像传感器48中,关于w像素,以包含短波长的特定窄频带光、绿色频带光及红色频带光的方式,对从蓝色频带至红色频带的宽频带光的照明光具有光谱灵敏度,因此与b像素、g像素、r像素等其他像素相比,像素值的饱和快。因此,w像素的灵敏度设定为低于b像素、g像素、r像素等其他像素的灵敏度。具体而言,w像素的灵敏度相对于b像素的最高灵敏度(例如,440~460nm的灵敏度)或g像素的最高灵敏度(例如,540~560nm的灵敏度),优选设为30%~50%。

例如,在与w像素及g像素的灵敏度相关的关系中,如图9所示,以使相乘普通光的光源光谱与w滤波器的透射率而获得的w像素的受光强度成为相乘普通光的光源光谱与g滤波器的透射率而获得的g像素的受光强度的50%左右(例如,45%~55%)的方式,设定w滤波器的透射率。或者,在与w像素及b像素的灵敏度相关的关系中,如图10所示,以使相乘普通光的光源光谱与w滤波器的透射率而获得的w像素的受光强度成为相乘普通光的光源光谱、b滤波器的透射率及食道的反射率而获得的b像素的受光强度的50%左右(例如,45%~55%)的方式,设定w滤波器的透射率。

另外,作为摄像传感器48,代替rgbw的彩色摄像传感器,也可以是具备c(青色)、m(品红色)、y(黄色)及g(绿色)的补色滤波器的所谓的补色摄像传感器。当使用补色摄像传感器时,输出cmyg这四个颜色的图像信号,因此需要通过补色-原色颜色转换,将cmyg这四个颜色的图像信号转换为rgb这三个颜色的图像信号。并且,摄像传感器48也可以是没有设置滤色器的单色摄像传感器。

如图2所示,从摄像传感器48输出的图像信号发送至cds/agc电路50。cds/agc电路50对模拟信号即图像信号进行相关双采样(cds(correlateddoublesampling))或自动增益控制(agc(autogaincontrol))。经过了cds/agc电路50的图像信号通过a/d转换器(a/d(analog/digital:模拟/数字)变频器)52转换为数字图像信号。被a/d转换的数字图像信号输入于处理器装置16。

处理器装置16具备图像获取部53、亮度信息计算部54、dsp(digitalsignalprocessor:数字信号处理器)56、去噪部58、图像处理部60、参数切换部62及显示控制部64。

图像获取部53获取在内窥镜12中通过拍摄观察对象而获得的观察图像。具体而言,作为观察图像,来自内窥镜12的数字彩色图像信号输入于图像获取部53。彩色图像信号为由从摄像传感器48的r像素输出的r图像信号(r像素的像素值)、从摄像传感器48的g像素输出的g图像信号(g像素的像素值)、从摄像传感器48的b像素输出的b图像信号(b像素的像素值)及从摄像传感器48的w像素输出的w图像信号(w像素的像素值)构成的rgbw图像信号。

亮度信息计算部54根据从图像获取部53输入的rgbw图像信号,按每个观察模式计算表示观察对象的亮度的亮度信息。计算出的亮度信息传送至光源控制部21,并且用于控制照明光的发光量。亮度信息例如以比特数等来表示。

在普通观察模式的情况下,由下述式k)计算普通观察模式用亮度信息。

式k)普通观察模式用亮度信息=亮度调整系数kcr×r图像信号+亮度调整系数kcg×g图像信号+亮度调整系数kcb×b图像信号+亮度调整系数kcw×w图像信号

在特殊观察模式的情况下,由下述式l)计算特殊观察模式用亮度信息。

式l)特殊观察模式用亮度信息=亮度调整系数ksr×r图像信号+亮度调整系数ksg×g图像信号+亮度调整系数ksb×b图像信号+亮度调整系数ksw×w图像信号

在短波长观察模式的情况下,由下述式m)计算短波长观察模式用亮度信息。

式m)短波长观察模式用亮度信息=亮度调整系数ktr×r图像信号+亮度调整系数ktg×g图像信号+亮度调整系数ktb×b图像信号+亮度调整系数ktw×w图像信号

在短波长观察模式下,是仅短波长的特定窄频带光的照明,因此在短波长观察模式用亮度信息的计算中,仅使用具有与短波长的特定窄频带光对应的像素值的b图像信号及w图像信号即可,但在本实施方式中,在g像素及r像素中具有短波长侧灵敏度,因此在短波长观察模式用亮度信息的计算中也一并使用g图像信号及r图像信号。

为了准确地计算与仅短波长的特定窄频带光的照明对应的短波长观察模式用亮度信息,关于亮度调整系数ktr(第4像素用亮度调整系数)、亮度调整系数ktg(第2像素用亮度调整系数)、亮度调整系数ktb(第1像素用亮度调整系数)及亮度调整系数ktw(第3像素用亮度调整系数)的比率,优选根据r像素、g像素、b像素及w像素的短波长侧灵敏度和粘膜的反射率来设定。

在此,在使用式m)的情况下,当将w像素的光谱灵敏度设为b像素的420~420nm的光谱灵敏度的45%左右、g像素及r像素的400~420nm的光谱灵敏度的15~20%时,也考虑粘膜的反射率,而优选将亮度调整系数ktr、亮度调整系数ktg、亮度调整系数ktb及亮度调整系数ktw的比率设为“2∶2∶5∶4”。

另外,关于短波长观察模式用亮度信息,优选至少根据b图像信号及g图像信号这两个图像信号进行计算。当根据b图像信号及g图像信号计算短波长观察模式用亮度信息时,由式m1)进行计算。

式m1)短波长观察模式用亮度信息=亮度调整系数ktg×g图像信号+亮度调整系数ktb×b图像信号

在此,在使用式m1)的情况下,当将g像素的400~420nm的光谱灵敏度设为b像素的400~420nm的光谱灵敏度的15~20%时,也考虑粘膜的反射率,而优选将亮度调整系数ktg与亮度调整系数ktb的比率设为“2∶5”。

并且,当根据b图像信号、g图像信号、w图像信号计算短波长观察模式用亮度信息时,由式m2)进行计算。

式m2)短波长观察模式用亮度信息=亮度调整系数ktg×g图像信号+亮度调整系数ktb×b图像信号+亮度调整系数kgw×w图像信号

在此,在使用式m2)的情况下,当将w像素的光谱灵敏度设为b像素的400~420nm的光谱灵敏度的45%左右时,也考虑粘膜的反射率,而优选将亮度调整系数ktg、亮度调整系数ktb及亮度调整系数ktw的比率设为“2∶5∶4”。

并且,当根据b图像信号、g图像信号、r图像信号计算短波长观察模式用亮度信息时,由式m3)进行计算。

式m3)短波长观察模式用亮度信息=亮度调整系数ktr×r图像信号+亮度调整系数ktg×g图像信号+亮度调整系数ktb×b图像信号

在此,在使用式m3)的情况下,当将g像素及r像素的400~420nm的光谱灵敏度设为b像素的400~420nm的光谱灵敏度的15~20%时,也考虑粘膜的反射率,而优选将亮度调整系数ktr、亮度调整系数ktg及亮度调整系数ktb的比率设为“2∶2∶5”。

dsp56对接收的图像信号实施缺陷校正处理、偏移补偿处理、增益校正处理、线性矩阵处理或伽马转换处理等各种信号处理。在缺陷校正处理中,校正摄像传感器48的缺陷像素的信号。在偏移补偿处理中,从实施了缺陷校正处理的图像信号去除暗电流分量,并设定准确的零电平。在增益校正处理中,通过对偏移补偿处理之后的图像信号乘以特定的增益而调整信号电平。对增益校正处理之后的图像信号实施用于提高颜色再现性的线性矩阵处理。然后,通过伽马转换处理调整亮度或彩度。

在去马赛克处理部56a中对线性矩阵处理之后的图像信号实施去马赛克处理(也称为各向同性化处理、同步化处理)。在普通观察模式及特殊观察模式下,通过捅值生成各像素中颜色不足的信号。通过该去马赛克处理,变得所有像素具有rgb各颜色的信号。另外,关于使用用于获得rgbw图像信号的彩色摄像传感器时的去马赛克处理,例如能够使用日本特开2011-055038号公报中所记载的方法。

在短波长观察模式下,对观察对象仅照明短波长的特定窄频带光,但关于常规rgb摄像传感器(由r像素、g像素、b像素构成的摄像传感器),如图18所示,g滤波器及r滤波器在特定窄频带中几乎不具有透射率,g像素及r像素对特定窄频带光几乎没有灵敏度。因此,根据短波长的特定窄频带光而获得的短波长观察图像仅从对特定窄频带光具有灵敏度的b像素及w像素获得信号,而几乎不会从g像素及r像素获得信号。因此,即便进行基于与w像素之间的相关的去马赛克处理,也不会获得分辨率高的短波长观察图像。但是,如本实施方式所示,通过使g像素及r像素对特定窄频带光持有灵敏度,变得也可以从g像素及r像素获得与特定窄频带光对应的规定的信号,通过基于与w像素之间的相关的去马赛克处理,获得分辨率高的短波长观察图像。另外,关于常规rgb摄像传感器,如图18所示,g滤波器及r滤波器在蓝色频带中几乎不具有透射率,因此g像素及r像素对蓝色频带几乎没有灵敏度。

另外,以下,关于在短波长观察模式下从b像素及w像素获得的信号和通过基于与w像素之间的相关的去马赛克处理从g像素及r像素获得的信号,具有与特定窄频带光对应的规定的信号,因此将各信号称为短波长观察信号。

关于通过基于与w像素的像素值之间的相关的去马赛克处理而作为短波长观察信号计算g像素位置上的b像素的像素值的方法如下。例如,如图11所示,当在从摄像传感器48输出的图像信号80中,计算位于特定位置sp的g像素位置的b像素的像素值bd时,通过与附近的w像素值相应的方向判别插值对图像信号80中所包含的离散的w像素信号计算所有像素位置上的w像素值,通过维纳滤波器处理对计算出的w像素值进行消除图像模糊的图像模糊消除处理,计算图像模糊消除处理之后的w像素信号(=wd)(已进行图像模糊消除处理的信号)。接着,如图12所示,通过对5×5的像素区域(特定像素区域)的像素值乘以第1平滑滤波器82,获得低频分量mw(已进行第1平滑滤波的分量)。第1平滑滤波器82对图像信号80中存在w像素的位置设置滤波系数(“1”或“2”等)。

接着,如图13所示,通过对5×5的像素区域的像素值乘以第2平滑滤波器84,获得低频分量mbx(已进行第2平滑滤波的分量)。第2平滑滤波器84对按g像素位于特定位置sp的5×5的每个像素区域实施的滤波器且图像信号80中存在b像素的位置设置滤波系数(“1”)。在该第2平滑滤波器84中,进行设定为均匀地获取靠近特定位置sp的位置的b像素的像素值的滤波系数设定。然后,由以下式x)计算g像素位置上的b像素的像素值bd。

式x)bd=(mbx/mw)×wd

关于通过基于与w像素的像素值之间的相关的去马赛克处理而作为短波长观察信号计算r像素位置上的b像素的像素值的方法如下。与上述情况相同地,获取模糊校正白色(w)信号(=wd)及低频分量mw。然后,如图14所示,通过对5×5的像素区域的像素值乘以第3平滑滤波器86,获取低频分量mby(已进行第3平滑处理的分量)。第3平滑滤波器86对按r像素位于特定位置sp的5×5的每个像素区域实施的滤波器且图像信号80中存在b像素的位置设置滤波系数(“1”)。然后,由以下式y)计算r像素位置上的b像素的像素值bd。

式y)bd=(mby/mw)×wd

去噪部58对通过dsp56实施了伽马校正处理的图像信号实施去噪处理(例如移动平均法或中值滤波法等),由此从rgb图像信号去除噪声。去除了噪声的图像信号发送至图像处理部60。

图像处理部60进行与各观察模式对应的图像处理。作为图像处理的方法,例如有准备与各观察模式对应的灰度处理或彩度强调等的图像处理参数,并根据各观察模式,对图像信号相乘的方法。若为普通观察模式,则对rgb图像信号乘以普通观察模式用参数,若为特殊观察模式,则对rgb图像信号乘以特殊观察模式用参数。并且,若为短波长观察模式,则对b图像信号乘以短波长观察模式用参数。以上的普通观察模式用参数、特殊观察模式用参数及短波长观察用参数伴随模式切换sw13a的模式切换而由参数切换部62切换。

显示控制部64进行用于将从图像信号输入的图像信号作为能够显示于显示器18的图像来显示的控制。若为普通观察模式,则通过对显示器18的r通道分配r图像信号,对显示器18的g通道分配g图像信号,对显示器18的b通道分配b图像信号,将普通图像显示于显示器18。并且,若为特殊光观察模式,则通过对显示器18的r通道分配g图像信号,对显示器18的g通道及b通道分配b图像信号,将特殊观察图像显示于显示器18(在进行分配时,优选进行灰度处理、彩度强调)。另一方面,若为短波长观察模式,则通过对显示器18的r、g、b的各通道分配短波长观察信号,将短波长观察图像显示于显示器18。在分配短波长观察信号时,对短波长观察图像乘以r、g、b的各通道用增益等之后对各通道进行分配。由此,能够将映出用短波长的特定窄频带光能够观察的结构物的短波长观察图像作为具有血管等结构的视觉辨认度比灰色图像更良好的特定背景颜色的图像来显示于显示器18。

[第2实施方式]

在第1实施方式中,作为摄像传感器48使用了rgbw摄像传感器,但如图15所示,也可以使用g像素、b像素、r像素的像素数的比率为2∶1∶1的拜耳排列的摄像传感器。当使用拜耳排列的摄像传感器时,作为用于在所有像素位置上获得单色b图像信号的短波长观察模式的去马赛克处理,优选以如下方式计算g像素位置上的b像素的像素值bg及r像素位置上的b像素的像素值br。

例如,如图16所示,当计算位于特定位置sp的g像素(g22)的像素位置上的b像素的像素值bg(22)时,由式z1)进行计算。

式z1)bg(22)=g22×2(b21+b23)/(g11+g13+g31+g33)

根据该式z1),通过不仅使用特定位置sp周边的b像素的像素值,而且还使用g像素的像素值,关于bg(22),能够获得更接近真实的像素值。

另外,如图17所示,当计算位于特定位置sp的r像素(g32)的像素位置上的b像素的像素值br(32)时,由式z2)进行计算。

式z2)br(32)=(b21+b23+b41+b43)/4

另外,在上述第1及第2实施方式中,设为短波长观察模式下的去马赛克处理计算g像素位置及r像素位置上的b像素的像素值(b图像信号),但也可以以与普通观察模式或特殊观察模式相同的方式,设为在各像素位置上分别计算r像素、g像素、b像素的像素值。

在上述实施方式中,图像获取部53、亮度信息计算部54、dsp56、去噪部58、图像处理部60、参数切换部62及显示控制部64等包含于处理器装置16的处理部(processingunit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包含执行软件(程序)而作为各种处理部发挥功能的通用的处理器即cpu(centralprocessingunit/中央处理器)、fpga(fieldprogrammablegatearray/现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(programmablelogicdevice:pld)及具有为了执行各种处理而专门设计的电路结构的处理器即专用电气电路等。

一个处理部可以由这些各种处理器中的一个构成,也可以由相同种类或不同种类的两个以上的处理器的组合(例如,多个fpga或cpu与fpga的组合)构成。并且,也可以将多个处理部由一个处理器来构成。作为将多个处理部由一个处理器来构成的例子,第1,有如以客户端或服务器等计算机为代表,由一个以上的cpu与软件的组合来构成一个处理器,且该处理器作为多个处理部而发挥功能的方式。第2,有如以片上系统(systemonchip:soc)等为代表,使用将包含多个处理部的整个系统的功能由一个ic(integratedcircuit/集成电路)芯片来实现的处理器的方式。

如此,各种处理部作为硬件结构使用一个以上上述各种处理器而构成。

而且,更具体而言,这些各种处理器的硬件结构为组合了半导体元件等电路元件的方式的电气电路(circuitry)。

另外,在上述实施方式中,对进行医疗图像之一即内窥镜图像的处理的内窥镜系统适用了本发明,但对处理除了内窥镜图像以外的医疗图像的医疗图像处理系统也能够适用本发明。

符号说明

10-内窥镜系统,12-内窥镜,12a-插入部,12b-操作部,12c-弯曲部,12d-前端部,12e-弯角钮,13a-模式切换sw,13b-静态图像获取命令部,14-光源装置,16-处理器装置,18-显示器,19-用户接口,20-光源部,20a-v-led(violetlightemittingdiode/紫色发光二极管),20b-b-led(bluelightemittingdiode/蓝色发光二极管),20c-g-led(greenlightemittingdiode/绿发光二极管),20d-r-led(redlightemittingdiode/红色发光二极管),21-光源控制部,23-光路结合部,30a-照明光学系统,30b-摄像光学系统,41-光导件,45-照明透镜,46-物镜,48-摄像传感器,50-cds/agc电路,52-a/d,53-图像获取部,54-亮度信息计算部,56-dsp(digitalsignalprocessor/数字信号处理器),56a-去马赛克处理部,58-去噪部,60-图像处理部,62-参数切换部,64-显示控制部,80-图像信号,82-第1平滑滤波器,84-第2平滑滤波器,86-第3平滑滤波器。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1