本发明涉及一种对使用内窥镜拍摄摄像对象而获得的rgb信号实施灰度处理的内窥镜图像信号处理装置及方法以及程序。
背景技术
在医疗领域，普遍进行使用了具备光源装置、内窥镜及处理器装置的内窥镜系统的诊断。尤其，基于彩色内窥镜系统的性能提高，通过观察所拍摄的内窥镜图像的颜色来进行消化器官的粘膜等的病情的诊断。
例如，已知当胃粘膜被认为是胃癌原因的幽门螺旋杆菌感染时，在胃的粘膜上以萎缩或斑状出现红色炎症部分。因此，通过利用内窥镜图像观察这种萎缩或炎症部分的颜色，进行有无幽门螺旋杆菌的感染的确认。
在此，例如，专利文献1中提出有如下内容，即，在通过将白色光照射摄像对象而拍摄到的内窥镜图像中，为了强调显示血管或病变部等，使用rgb灰度表对从成像元件输出的rgb信号实施灰度处理。
以往技术文献
专利文献
专利文献1：日本专利第5467754号公报
专利文献2：日本专利公开2000-330037号公报
专利文献3：日本专利公开2011-10131号公报
技术实现要素：
发明要解决的技术课题
然而，例如，在大肠及小肠等这种管腔器官中插入内窥镜而拍摄粘膜的情况下，相对于内窥镜的末端照明光充分照射近前侧的范围，但照明光无法充分到达里侧的范围，从而导致成为暗图像。
当对拍摄这种较亮的范围及较暗的范围混在一起的摄像对象而获得的rgb信号一律使用相同的灰度表来进行了灰度处理时，在较亮的范围及较暗的范围强调的程度不同，从而强调过强，或相反地强调过弱，而存在在较亮的范围及较暗的范围中正常粘膜的彩色平衡不同的图像被拍摄的问题。以下，说明具体例，但在此，为了便于说明，对将摄像对象视为灰色且r信号、g信号及b信号之比为1∶1∶1的情况进行说明。
例如，在设定有如图15所示那样的r成分的灰度表rc、g成分的灰度表gc及b成分的灰度表bc的情况下，当r信号、g信号及b信号的输入值为a时，基于灰度处理的输出值成为r_out1、g_out1、b_out1。相对于此，当r信号、g信号及b信号的输入值为b时，基于灰度处理的输出值成为r_out2、g_out2、b_out2。若要在输入值a及输入值b的条件下使输出值的彩色平衡不变，则各输出值需存在于图15所示的点线上，但相对于输入值b的输出值g_out2、b_out2变得大于点线，其结果，与输入值为a的情况相比，成为青色较强的图像。即，根据输入值的亮度而rgb的彩色平衡不同。
在这种失去彩色平衡的图像中，例如，因应以红色强调的范围未得到强调，或导致正常粘膜的色调改变，而存在无法准确地进行图像诊断的可能性。
另外，专利文献2中公开有如下内容，即，对r信号、g信号及b信号分别实施γ校正，并且以亮图像的情况及暗图像的情况来变更γ校正的曲线。
并且，专利文献3中公开有如下内容，即，由图像中的支配色(例如红色)的信号检测亮度等级，并根据该亮度等级，对rgb图像信号实施灰度处理。
然而，在专利文献2及专利文献3中所记载的方法中，无法抑制如上述那样的彩色平衡的失衡。
本发明鉴于上述问题，提供一种即使在拍摄了较亮的范围及较暗的范围混在一起的摄像对象的情况下，也能够在较亮的范围及较暗的范围例如维持正常粘膜的彩色平衡的内窥镜图像信号处理装置及方法以及程序。
用于解决技术课题的手段
本发明的第1内窥镜图像信号处理装置具备：图像信号获取部，获取使用内窥镜拍摄摄像对象而获得的rgb信号；及灰度处理部，使用将rgb的输入值与输出值建立对应关联的rgb灰度表对rgb信号实施灰度处理，对rgb灰度表分别按每一亮度或r成分大小进行设定，且该每一亮度或r成分大小的rgb灰度表以如下方式进行设定，即，当对该各rgb灰度表输入了rgb比率为第1比率的rgb信号时，将rgb比率成为第2比率的输出值从各rgb灰度表输出，灰度处理部根据rgb信号获取亮度或r成分，并使用与该亮度或r成分大小相应的rgb灰度表实施灰度处理。
在此，上述“亮度”表示亮度的程度，且视为还包含所谓的颜色空间上的明度。
并且，在上述本发明的第1内窥镜图像信号处理装置中，灰度处理部能够对构成rgb信号的各像素分别获取亮度或r成分，并按该每一像素实施灰度处理。
并且，在上述本发明的第1内窥镜图像信号处理装置中，rgb灰度表能够仅对一部分亮度或r成分大小进行设定。
并且，在上述本发明的第1内窥镜图像信号处理装置中，灰度处理部能够通过将按每一一部分亮度或r成分大小进行设定的rgb灰度表进行内插后使用来实施灰度处理。
并且，在上述本发明的第1内窥镜图像信号处理装置中，每一亮度或r成分大小的rgb灰度表能够在输入了第1比率即rgb信号时维持色相，并输出明度及彩度发生变化的输出值。
并且，上述本发明的第1内窥镜图像信号处理装置具备：低频图像生成处理部，对rgb信号实施低频图像生成处理而生成低频图像，灰度处理部能够根据低频图像获取亮度或r成分。
并且，在上述本发明的第1内窥镜图像信号处理装置中，作为rgb信号能够使用拍摄由包含窄频带光的照明光照射的摄像对象而获得的rgb信号。
并且，在上述本发明的第1内窥镜图像信号处理装置中，作为窄频带光能够使用蓝色窄频带光或绿色窄频带光。
并且，在上述本发明的第1内窥镜图像信号处理装置中，作为rgb信号能够使用作为摄像对象拍摄管腔器官而获得的rgb信号。
并且，在上述本发明的第1内窥镜图像信号处理装置中，第1比率优选为拍摄正常粘膜而获得的rgb信号的rgb比率。
并且，在上述本发明的第1内窥镜图像信号处理装置中，关于各rgb灰度表，优选与输入了拍摄正常粘膜而获得的rgb信号时的r输出值与r输入值之比相比，加大输入了拍摄存在发红的粘膜而获得的rgb信号时的r输出值与r输入值之比。
并且，在上述本发明的第1内窥镜图像信号处理装置中，关于各rgb灰度表，优选与输入了拍摄正常粘膜而获得的rgb信号时的r输出值与r输入值之比相比，减小输入了拍摄萎缩粘膜而获得的rgb信号时的r输出值与r输入值之比。
本发明的第2内窥镜图像信号处理装置的特征在于，具备：图像信号获取部，获取使用内窥镜拍摄摄像对象而获得的rgb信号；及灰度处理部，使用将rgb的输入值与输出值建立对应关联的rgb灰度表对rgb信号实施灰度处理，对rgb灰度表分别按每一亮度或r成分大小进行设定，且该每一亮度或r成分大小的rgb灰度表以如下方式进行设定，即，当对该各rgb灰度表输入了拍摄rgb比率为第1比率的正常粘膜而获得的rgb信号时，将rgb比率成为第2比率的输出值从各rgb灰度表输出，灰度处理部对构成rgb信号的各像素分别获取亮度或r成分，并使用与该亮度或r成分大小相应的rgb灰度表对每一像素实施灰度处理。
本发明的内窥镜图像信号处理方法获取使用内窥镜拍摄摄像对象而获取的rgb信号，并使用将rgb的输入值与输出值建立对应关联的rgb灰度表对rgb信号实施灰度处理，该内窥镜图像信号处理方法中，将rgb灰度表分别按每一亮度或r成分大小进行设定，且该每一亮度或r成分大小的rgb灰度表以如下方式进行设定，即，当对该各rgb灰度表输入了rgb比率为第1比率的rgb信号时，将rgb比率成为第2比率的输出值从各rgb灰度表输出，根据上述rgb信号获取亮度或r成分，并使用与该亮度或r成分大小相应的rgb灰度表实施灰度处理。
本发明的内窥镜图像信号处理程序使计算机作为如下发挥功能：图像信号获取部，获取使用内窥镜拍摄摄像对象而获得的rgb信号；及灰度处理部，使用将rgb的输入值与输出值建立对应关联的rgb灰度表对rgb信号实施灰度处理，其中，rgb灰度表分别按每一亮度或r成分大小进行设定，且该每一亮度或r成分大小的rgb灰度表以如下方式进行设定，即，当对该各rgb灰度表输入了rgb比率为第1比率的rgb信号时，将rgb比率成为第2比率的输出值从各rgb灰度表输出，灰度处理部根据rgb信号获取亮度或r成分，并使用与该亮度或r成分大小相应的rgb灰度表实施灰度处理。
发明效果
根据本发明的内窥镜图像信号处理装置及方法以及程序，将rgb灰度表分别按每一亮度或r成分大小来进行设定。而且，该每一亮度或r成分大小的rgb灰度表以如下方式进行设定，即，当对该各rgb灰度表输入了rgb比率为第1比率的rgb信号时，rgb比率成为第2比率的输出值从各rgb灰度表输出。设成基于这种rgb灰度表的进行设定，根据使用内窥镜拍摄摄像对象而获得的rgb信号获取亮度或r成分，并使用与该亮度或r成分大小相应的rgb灰度表对rgb信号实施灰度处理，因此即使在拍摄了较亮的范围及较暗的范围混在一起的摄像对象的情况下，能够在较亮的范围及较暗的范围例如维持正常粘膜的彩色平衡。
附图说明
图1是表示使用了本发明的内窥镜图像信号处理装置的一实施方式的内窥镜系统的概略结构的图
图2是表示第1实施方式的内窥镜系统的内部结构的框图
图3是表示白色光的分光光谱的图
图4是表示窄频带光的分光光谱的图
图5是表示正常光图像生成部的灰度处理部的具体结构的框图
图6是表示每一亮度的rgb灰度表的一例的图
图7是表示窄频带光图像生成部的灰度处理部的具体结构的框图
图8是表示特殊光观察模式下所使用的每一亮度的rgb灰度表的一例的图
图9是表示特殊光观察模式下所使用的每一亮度的rgb灰度表的另一例的图
图10是用于说明第1实施方式的内窥镜系统的作用的流程图
图11是表示第2实施方式的内窥镜系统的灰度处理部的内部结构的框图
图12是表示c灰度表、h灰度表及l灰度表的一例的图
图13是表示第1实施方式的内窥镜系统的变形例的框图
图14是表示紫色光v、蓝色光b、绿色光g及红色光r的发光光谱的图
图15是用于说明使用了以往rgb灰度表的灰度处理的图
具体实施方式
以下，参考附图对使用了本发明的内窥镜图像信号处理装置及方法以及程序的第1实施方式的内窥镜系统进行详细说明。图1是表示本实施方式的内窥镜系统10的概略结构的图。
本实施方式的内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、显示器18及输入装置20。内窥镜12与光源装置14光学连接，且与处理器装置16电连接。
内窥镜12具有插入于受检体内的插入部21、设置于插入部的基端部分的操作部22、设置于插入部21的末端侧的弯曲部23及末端部24。在操作部22设置有弯角钮22a，通过旋转操作该弯角钮22a，弯曲部23进行弯曲动作。伴随该弯曲动作，末端部24朝向所希望的方向。
并且，在操作部22设置有模式切换开关22b及变焦操作部22c。模式切换开关22b用于正常光观察模式及窄频带光观察模式这2种模式之间的切换操作。正常光观察模式为受检体内的摄像对象的照明中使用白色光的模式。窄频带光观察模式为受检体内的摄像对象的照明中使用带蓝色调的窄频带光的模式，且为强调由萎缩性胃炎而引起的粘膜颜色的变化或血管透视像的模式。变焦操作部22c驱动内窥镜12内的变焦透镜47(参考图2)而放大摄像对象的变焦操作中使用。
显示器18及输入装置20与处理器装置16电连接。显示器18显示通过内窥镜12拍摄的内窥镜图像及后述的颜色数值信息。输入装置20接收功能设定等输入操作，且具备键盘及鼠标等。另外，也可以通过使用触摸面板而兼用显示器18及输入装置20。
图2是表示本实施方式的内窥镜系统10的内部结构的框图。
光源装置14具备发射中心波长为445nm的蓝色激光的蓝色激光源34及发射中心波长为405nm的蓝紫色激光的蓝紫色激光源36。各光源34、36由光源控制部40独立控制，且能够变更蓝色激光源34的射出光与蓝紫色激光源36的射出光的光量比。
当为正常光观察模式时，光源控制部40主要驱动蓝色激光源34。另外，关于蓝紫色激光源36，也可以以微弱地发射蓝紫色激光的方式控制。
相对于此，当为窄频带光观察模式时，光源控制部40驱动蓝色激光源34及蓝紫色激光源36这两者，并且以蓝色激光的光强度大于蓝紫色激光的光强度的方式控制。另外，优选将蓝色激光或蓝紫色激光的半宽度设为±2nm左右，且设为蓝色窄频带光。并且，作为蓝色激光源34及蓝紫色激光源36，能够使用大面积型ingan类激光二极管、ingaasn类激光二极管及gaasn类激光二极管等。并且，作为上述光源，可以设为使用了发光二极管等发光体的结构。
从各光源34、36射出的激光经由聚光透镜等光学部件(省略图示)入射于光导管(lg)41。光导管41容纳于通用塞绳13内，且与内窥镜12光学连接。
蓝色激光或蓝紫色激光经由光导管41传播至内窥镜12的末端部24。另外，作为光导管41，能够使用多模光纤。
内窥镜12的末端部24具有照明光学系统24a及摄像光学系统24b。在照明光学系统24a中设置有从光导管41射出的蓝色激光或蓝紫色激光入射的荧光体44及照明透镜45。通过对荧光体44照射蓝色激光而被激发，从而从荧光体44发射荧光。并且，一部分蓝色激光直接透射荧光体44。蓝紫色激光不会激发荧光体44而透射。射出了荧光体44的光经由照明透镜45照射到摄像对象。
在此，在正常光观察模式下，主要以蓝色激光入射于荧光体44。因此，如图3所示，合波了蓝色激光bl和从荧光体44发射的荧光fl的白色光wl照射到摄像对象。另一方面，在窄频带光观察模式下，蓝紫色激光及蓝色激光这两者入射于荧光体44。因此，如图4所示，合波了蓝紫色激光vl、蓝色激光bl及荧光fl的光sl照射到摄像对象。在该窄频带光观察模式下，除了蓝色激光以外，还包含窄频带光即蓝紫色激光，因此多含蓝色成分且波长范围几乎遍及可见光整个区域的宽频带光照射到摄像对象。另外，在本说明书中，将窄频带光观察模式下照射于摄像对象的光简称为窄频带光。即，将图4所示的光sl简称为窄频带光sl。
如本实施方式的蓝色激光及蓝紫色激光那样的蓝色窄频带光相对于粘膜内的吸光物质具体而言在消化器官中较多地包含的血液(尤其血红蛋白)的吸收较大。因此，在窄频带光观察模式下进行拍摄时，能够加大正常的粘膜区域与萎缩粘膜区域之差。
另外，荧光体44优选使用构成为包含吸收蓝色激光的一部分而以绿色～黄色激励发光的多种荧光体(例如yag(yttriumaluminumgarnet：钇铝石榴石)系荧光体，或bam(bamgal10o17)等荧光体)的荧光体。如本实施方式，若将半导体发光元件用作荧光体44的激励光源，则能够以高发光效率获得高强度的白色光，并能够轻松地调整白色光的强度，而且能够将白色光的色温、色度的变化抑制为较小。
另外，在本实施方式中，将荧光体44设置于内窥镜12的末端部24，但也可以将荧光体44设置于光源装置h内来代替。在该情况下，优选在光导管41与蓝色激光源34之间设置荧光体44。
并且，内窥镜12的摄像光学系统24b具有成像透镜46、变焦透镜47及成像元件48。来自摄像对象的反射光经由成像透镜46及变焦透镜47入射于成像元件48。由此，摄像对象的反射像成像于成像元件48。变焦透镜47通过操作变焦操作部22c而移动。
成像元件48为彩色的图像传感器，拍摄摄像对象的反射像并输出raw信号。另外，成像元件48优选为ccd(chargecoupleddevice：电荷耦合器件)图像传感器或cmos(complementarymetal-oxidesemiconductor：互补金属氧化物半导体)图像传感器等。
并且，本实施方式的成像元件48为在成像面设置有rgb滤色器的同步式成像元件。从设置有r(红)滤色器的元件输出r成分的r信号，从设置有g(绿色)滤色器的元件输出g成分的g信号，从设置有b(蓝色)的滤色器的元件输出b成分的b信号。另外，以下，有时将r信号、g信号及b信号总称为rgb信号。作为滤光片排列，可以是拜耳排列，也可以是蜂窝排列。
并且，作为成像元件48，可以是在成像面具备c(青色)、m(品红色)、y(黄色)及g(绿色)的cmyg滤光片的图像传感器。当为具备cmyg滤光片的图像传感器时，从设置有c(青色)滤色器的元件输出c成分的c信号，从设置有m(品红色)滤色器的元件输出m成分的m信号，从设置有y(黄色)滤色器的元件输出y成分的y信号，从设置有g(绿色)滤色器的元件输出g成分的g信号。
从成像元件48输出的rgb信号输出至cds/agc电路50。cds/agc电路50对模拟信号即rgb信号进行相关双采样(cds(correlateddoublesampling))或自动增益控制(agc(autogaincontrol))。经过cds/agc电路50的rgb信号在伽马转换部51实施伽马转换之后，通过a/d转换部52转换为数字信号。被a/d转换的rgb信号输入于处理器装置16。
处理器装置16具备图像信号获取部60、干扰去除部61、正常光图像生成部62、窄频带光图像生成部63及显示控制部65。处理器装置16由具备cpu(centralprocessingunit：中央处理器)、半导体存储器及硬盘等的计算机构成，且安装有本发明的内窥镜图像信号处理程序的一实施方式。通过由cpu执行该内窥镜图像信号处理程序，上述各部发挥功能。
图像信号获取部60获取从内窥镜12输出的rgb信号。通过图像信号获取部60获取的rgb信号临时存储于存储器等。并且，通过省略图示的去马赛克处理部对由图像信号获取部60获取的rgb信号实施去马赛克处理，并按每一像素生成r信号、g信号及b信号。
干扰去除部61对实施了去马赛克处理的rgb信号实施干扰去除处理。具体而言实施移动平均滤波或中值滤波处理。
正常光图像生成部62具备矩阵处理部62a、灰度处理部62b、三维lut处理部62c、色彩增强部62d及结构增强部62e。矩阵处理部62a、灰度处理部62b及三维lut处理部62c对rgb信号实施颜色转换处理。具体而言，通过，矩阵处理部62a对rgb信号实施3×3的矩阵处理，通过灰度处理部62b实施灰度处理，通过三维lut处理部62c实施三维lut处理。
在灰度处理部62b预先存储有将rgb信号的输入值与输出值建立对应关联的rgb灰度表，灰度处理部62b使用该rgb灰度表对所输入的rgb信号实施灰度处理。
图5是表示灰度处理部62b的具体结构的框图。如图5所示，灰度处理部62b具备第1lut处理部70、第2lut处理部71及亮度计算部72。
第1lut处理部70预先设定有正常光观察模式下生成正常图像时所使用的正常图像用rgb灰度表。
第2lut处理部71预先设定有正常光观察模式下生成特殊图像时所使用的特殊图像用rgb灰度表。
第1lut处理部70与第2lut处理部71以接收了正常图像生成的命令输入的情况及接收了特殊图像生成的命令输入的情况来切换使用。
在第2lut处理部71分别设定有由rgb信号计算的每一亮度的rgb灰度表。亮度计算部72计算输入到灰度处理部62b的rgb信号的亮度。通过亮度计算部72计算出的亮度输入于第2lut处理部71，第2lut处理部71使用与所输入的亮度相应的rgb灰度表对rgb信号实施灰度处理。
图6i及图6ii是表示按每一亮度设定的rgb灰度表的一例的图。以下，对图6i及图6ii所示的rgb灰度表进行说明，但在此，为了便于说明，对摄像对象为灰色，且从内窥镜12输出的r信号、g信号及b信号之比为1∶1∶1的情况进行说明。
图6i示出了输入值即r信号、g信号及b信号分别为r_in1、g_in1及b_in1时所使用的rgb灰度表的一例，图6ii示出了输入值即r信号、g信号及b信号分别为r_in2、g_in2及b_in2时所使用的rgb灰度表的一例。即，图6i为与由r_in1、g_in1及b_in1计算的亮度相应的rgb灰度表，图6ii为与由r_in2、g_in2及b_in2计算的亮度相应的rgb灰度表。另外，在图6i及图6ii中，以“a”来表示r_in1、g_in1及b_in1，以“b”来表示r_in2、g_in2及b_in2。
如图6i及图6ii所示，rgb灰度表具备将r信号的输入值与输出值建立对应关联的r灰度表rc1、rc2；将g信号的输入值与输出值建立对应关联的g灰度表gc1、gc2及将b信号的输入值与输出值建立对应关联的b灰度表bc1、bc2。
r灰度表rc1、rc2；g灰度表gc1、gc2及b灰度表bc1、bc2例如优选为使正常粘膜等特定的摄像对象的色相及彩度成为规定的位置，并且发红等其他摄像对象的颜色得到强调的灰度表。即，优选设为如下灰度表，即，关于表示正常粘膜的rgb信号，灰度处理后使其rgb比率成为规定比率，关于表示发红的rgb信号，灰度处理后使r成分的比率比上述规定比率变大。这种灰度表能够通过如下方式进行设定，即，预先获取表示正常粘膜的rgb信号的分布及表示发红的rgb信号的分布，并分析这些分布与输出值的关系。
而且，如上所述，图6i所示的rgb灰度表及图6ii所示的rgb灰度表为按每一亮度设定的rgb灰度表，但这些rgb灰度表即使在由输入值的rgb信号计算的亮度发生了变化的情况下，也以rgb比率相对于规定比率的rgb信号的输入，输出值的rgb比率成为规定比率的方式进行设定。即，以如下方式进行设定，即，当对图6i及图6ii所示的各rgb灰度表输入了rgb比率为第1比率的rgb信号(例如拍摄正常粘膜而获得的rgb信号)时，rgb比率为第2比率的输出值从各rgb灰度表输出。
具体而言，图6i所示的rgb灰度表是输入值为a时所使用的rgb灰度表，r信号的输出值成为r_out1、g信号的输出值成为g_out1及b信号的输出值成为b_out1。另一方面，图6ii所示的rgb灰度表是输入值为b时所使用的rgb灰度表，r信号的输出值成为r_out2、g信号的输出值成为g_out2及b信号的输出值成为b_out2。而且，图6i及图6ii所示的rgb灰度表以r_out1与g_out1与b_out1的比率和r_out2与g_out2与b_out2的比率成为相同的方式进行设定。另外，可知图6i所示的直线rl、bl及gl和图6ii所示的直线rl、bl及gl为相同的直线，r_out1与g_out1与b_out1的比率和r_out2与g_out2与b_out2的比率没有发生变化。
如此，即使在按每一亮度进行设定rgb灰度表，且规定的输入值的亮度发生了变化的情况下，设成输出值的r信号、g信号及b信号的比率也不会发生变化，由此例如在通过内窥镜12拍摄了大肠或小肠等管腔器官时，能够在亮度不同的近前的摄像范围及里侧的摄像范围例如维持正常粘膜的彩色平衡，从而能够生成表示更准确的颜色的图像。由此，能够进行更高精度的图像诊断。
具体而言，第2lut处理部71对每一像素按照下式计算亮度y，并使用与该亮度相应的rgb灰度表计算每一像素的输出值r_out、g_out及b_out。另外，下式中的lut_r[r][y]为与亮度相应的r灰度表，lut_g[g][y]为与亮度相应的g灰度表，lut_b[b][y]为与亮度相应的b灰度表。
y＝0.3×r_in+0.6×g_in+0.1×b_in
r_out＝lut_r[r_in][y]
g_out＝lut_g[g_in][y]
b_out＝lut_b[b_in][y]
另外，亮度y成为0～255的值，但rgb灰度表无需对所有的0～255的值进行设定，可以仅对0～255的值中的一部分亮度值进行设定。
而且，例如，当预先设定有与由输入值r_in、g_in、b_in计算出的亮度y对应的rgb灰度表时，使用对该亮度y前后的亮度值设定的rgb灰度表来计算输出值r_out、g_out、b_out即可。具体而言，将对前后的亮度设定的rgb灰度表进行内插后来使用即可。
并且，当成像元件48具备cmyg的互补色系的滤色器时，将cmyg信号转换为rgb信号之后，进行使用了上述rgb灰度表的灰度处理即可。
返回到图2，色彩增强部62d接收基于用户的设定输入而对已进行颜色转换的rgb信号进一步实施各种色彩增强处理。结构增强部62e对已结束色彩增强处理的rgb信号进行空间频率增强等结构增强处理。
在矩阵处理部62a、色彩增强部62d及结构增强部62e分别预先设定有正常图像生成用参数及特殊图像生成用参数。
正常图像生成与特殊图像生成通过用户从输入装置20进行命令输入而被切换。另外，并不限于来自输入装置20的命令输入，也可以在操作部22设置切换正常图像生成与特殊图像生成的开关。
当由用户进行了正常图像生成的命令输入时，在各部对输入到正常光图像生成部62的rgb信号实施正常图像用处理，并作为正常图像信号从正常光图像生成部62输出至显示控制部65。当由用户进行了特殊图像生成的命令输入时，在各部对输入到正常光图像生成部62的rgb信号实施特殊图像用处理，并作为特殊图像信号从正常光图像生成部62输出至显示控制部65。
窄频带光图像生成部64具备矩阵处理部64a、灰度处理部64b、三维lut处理部64c、色彩增强部64d及结构增强部64e。矩阵处理部64a、灰度处理部64b及三维lut处理部62c对rgb信号实施狭频带图像用的颜色转换处理。具体而言，通过矩阵处理部64a对rgb信号实施3×3的矩阵处理，通过灰度处理部64b实施灰度处理，通过三维lut处理部64c实施三维lut处理。
与灰度处理部62b相同地，在灰度处理部64b预先设定有将rgb信号的输入值与输出值建立对应关联的rgb灰度表，灰度处理部64b使用该rgb灰度表对所输入的rgb信号实施灰度处理。
如图7所示，灰度处理部64b的基本结构与灰度处理部62b相同，具备第1lut处理部73、第2lut处理部74及亮度计算部75。
第1lut处理部73预先设定有窄频带光观察模式下生成狭频带图像时所使用的狭频带图像用rgb灰度表。
第2lut处理部74预先设定有窄频带光观察模式下生成特殊狭频带图像时所使用的特殊狭频带图像用rgb灰度表。
第1lut处理部73及第2lut处理部74以接收了狭频带图像生成的命令输入的情况及接收了特殊狭频带图像生成的命令输入的情况来切换使用。
而且，与正常光图像生成部62的第2lut处理部71相同，第2lut处理部74具有按每一亮度设定的rgb灰度表。该每一亮度的rgb灰度表也以如下方式进行设定，即，当对每一亮度的各rgb灰度表输入了rgb比率为第1比率的rgb信号时，rgb比率成为第2比率的输出值从各rgb灰度表输出。图8及图9是表示灰度处理部64b中所设定的rbg灰度表的具体例的图。
图8i及图8ii所示的rgb灰度表以所输入的rgb信号的rgb比率(第1比率)与灰度处理后的rgb信号的rgb比率(第2比率)成为相同的方式进行设定。而且，图8i所示的rgb灰度表是亮度为y＝82时所使用的rgb灰度表，图8ii所示的rgb灰度表是亮度为y＝143时所使用的rgb灰度表。
图8i所示的rgb灰度表(rc1、gc1、bc1)对r_in＝128、g_in＝67、b_in＝34的rgb信号输出r_out＝128、g_out＝67、b_out＝34的输出值。此时，所输入的rgb信号的rgb比率是r∶g∶b＝1∶0.53∶0.27，输出值的rgb比率也是r∶g∶b＝1∶0.53∶0.27。
另一方面，图8ii所示的rgb灰度表(rc2、gc2、bc2)对r_in＝224、g_in＝118、b_in＝59的rgb信号输出r_out＝224、g_out＝118、b_out＝59的输出值。此时，所输入的rgb信号的rgb比率是r∶g∶b＝1∶0.53∶0.27，输出值的rgb比率也是r∶g∶b＝1∶0.53∶0.27。
即，图8i所示的rgb灰度表及图8ii所示的rgb灰度表均以如下方式进行设定，即，当输入了rgb比率为r∶g∶b＝1∶0.53∶0.27(第1比率)的rgb信号时，rgb比率为r∶g∶b＝1∶0.53∶0.27(第2比率)的输出值从各rgb灰度表输出。
接着，图9i及图9ii所示的rgb灰度表以如下方式进行设定，即，当所输入的rgb信号的rgb比率(第1比率)为r∶g∶b＝1∶0.53∶0.27时，灰度处理后的rgb信号的rgb比率(第2比率)成为r∶g∶b＝1∶0.5∶0.3。
而且，图9i所示的rgb灰度表(rc1、gc1、bc1)是亮度为y＝82时所使用的rgb灰度表，图9ii所示的rgb灰度表是亮度为y＝143时所使用的rgb灰度表。
图9i所示的rgb灰度表对r_in＝34、g_in＝67、b_in＝128的rgb信号输出r_out＝128、g_out＝63、b_out＝38的输出值。此时，如上所述，所输入的rgb信号的rgb比率为r∶g∶b＝1∶0.53∶0.27，输出值的rgb比率为r∶g∶b＝1∶0.5∶0.3。
另一方面，图9ii所示的rgb灰度表(rc2、gc2、bc2)对r_in＝224、g_in＝118、b_in＝59的rgb信号输出r_out＝224、g_out＝111、b_out＝66的输出值。此时，如上所述，所输入的rgb信号的rgb比率为r∶g∶b＝1∶0.53∶0.27，输出值的rgb比率为r∶g∶b＝1∶0.5∶0.3。
即，图9t所示的rgb灰度表及图9ii所示的rgb灰度表均以如下方式进行设定，即，当输入了rgb比率为r∶g∶b＝1∶0.53∶0.27(第1比率)的rgb信号时，rgb比率成为r∶g∶b＝1∶0.5∶0.3(第2比率)的输出值从各rgb灰度表输出。
关于在窄频带光观察模式下欲强调显示的萎缩粘膜，当萎缩粘膜与正常粘膜为相同亮度时，g信号及b信号大于正常粘膜的g信号及b信号，r信号小于正常粘膜相的r信号。并且，关于发红，当发红与正常粘膜为相同亮度时，r信号大于正常粘膜的r信号，g信号及b信号小于正常粘膜的g信号及b信号。如图8及图9所示的rgb灰度表，针对高于基准点的输入值，比基准点提高输出值相对于输入值的比率，针对低于基准点的输入值，比基准点降低输出值相对于输入值的比率，由此能够进行颜色增强。即，各rgb灰度表优选以如下方式进行设定，即，输入值变得越大，使输出值相对于输入值之比变得越大。
更具体而言，各rgb灰度表优选，与输入了拍摄正常粘膜而获得的rgb信号时的r输出值与r输入值之比相比，加大输入了拍摄存在发红的粘膜而获得的rgb信号时的r输出值与r输入值之比。
并且，各rgb灰度表优选，与输入了拍摄正常粘膜而获得的rgb信号时的r输出值与r输入值之比相比，减小输入了拍摄萎缩粘膜而获得的rgb信号时的r输出值与r输入值之比。
返回到图2，色彩增强部64d接收基于用户的设定输入而对已结束颜色转换的rgb信号进一步实施各种色彩增强处理。结构增强部64e对已结束色彩增强处理的rgb信号进行空间频率增强等结构增强处理。
在矩阵处理部64a、色彩增强部64d及结构增强部64e分别预先设定有狭频带图像生成用参数及特殊狭频带图像生成用参数。
狭频带图像生成与特殊狭频带图像生成通过用户从输入装置20进行命令输入而被切换。另外，并不限于来自输入装置20的命令输入，也可以在操作部22设置切换狭频带图像生成与特殊狭频带图像生成的开关。
当由用户进行了狭频带图像生成的命令输入时，在各部对输入到窄频带光图像生成部64的rgb信号实施狭频带图像用处理，并作为狭频带图像信号从窄频带光图像生成部64输出至显示控制部65。当由用户进行了特殊狭频带图像生成的命令输入时，在各部对输入到窄频带光图像生成部64的rgb信号实施特殊狭频带图像用处理，并作为特殊狭频带图像信号从窄频带光图像生成部64输出至显示控制部65。
显示控制部65经由正常光图像生成部62或窄频带光图像生成部64输出的正常图像信号、特殊图像信号、狭频带图像信号或特殊狭频带图像信号转换为能够显示于显示器18的显示图像信号。显示器18根据显示图像信号显示正常图像、特殊图像、狭频带图像或特殊狭频带图像。
接着，参考图10所示的流程图对本实施方式的内窥镜系统的作用进行说明。
首先，由用户操作模式切换开关22b而选择设定正常光观察模式或窄频带光观察模式(s10)。当设定了正常光观察模式时，通过内窥镜12对摄像对象照射白色光wl并通过拍摄摄像对象而从成像元件48输出的rgb信号被处理器装置16的图像信号获取部60获取而实施去马赛克处理(s12)。
实施了去马赛克处理的rgb信号输入于干扰去除部61，并在干扰去除部61实施干扰去除处理之后，输入于正常光图像生成部62。输入到正常光图像生成部62的rgb信号在矩阵处理部62a实施矩阵处理。
而且，当由用户进行了正常图像生成的命令输入时(s14，正常图像)，rgb信号输入于灰度处理部62b的第1lut处理部70，并对该rgb信号实施使用了正常图像用rgb灰度表的灰度处理(s24)。
实施了灰度处理的rgb信号输入于三维lut处理部62c，并在实施三维lut处理之后，输入于色彩增强部62d而实施色彩增强处理。接着，在结构增强部62e对已结束色彩增强处理的rgb信号实施结构增强处理而生成正常图像信号(s26)，并输出至显示控制部65。显示控制部65根据所输入的正常图像信号在显示器18中显示正常图像(s28)。
当用户欲结束处理时，输入处理结束命令而结束处理(s48，“是”)。或者，当不结束处理时(s48，“否”)，返回到s10，接着继续正常光观察模式，或切换为窄频带光观察模式。
另一方面，当由用户进行了特殊图像生成的命令输入时(s14，特殊图像)，rgb信号输入于第2lut处理部71及亮度计算部72。亮度计算部72根据所输入的每一像素的rgb信号按每一像素计算亮度(s16)。而且，通过亮度计算部72计算出的亮度输出至第2lut处理部71，第2lut处理部71根据所输入的亮度，并使用按每一亮度设定的特殊图像用rgb灰度表对每一像素的rgb信号实施灰度处理(s18)。
实施了灰度处理的rgb信号输入于三维lut处理部62c，并在实施三维lut处理之后，输入于色彩增强部62d而实施色彩增强处理。接着，在结构增强部62e对已结束色彩增强处理的rgb信号实施结构增强处理而生成特殊图像信号(s20)，并输出至显示控制部65。显示控制部65根据所输入的特殊图像信号在显示器18中显示特殊图像(s22)。
当用户欲结束处理时，输入处理结束命令而结束处理(s48，“是”)。或者，当不结束处理时(s48，“否”)，返回到s10，接着继续正常光观察模式，或切换为窄频带光观察模式。
当由用户操作模式切换开关22b而设定了窄频带光观察模式时，通过内窥镜12对摄像对象照射窄频带光sl，并通过拍摄摄像对象而从成像元件48输出的rgb信号被处理器装置16的图像信号获取部60获取而实施去马赛克处理(s30)。
实施了去马赛克处理的rgb信号输入于干扰去除部61，并在干扰去除部61实施干扰去除处理之后，输入于窄频带光图像生成部64。输入到窄频带光图像生成部64的rgb信号在矩阵处理部64a实施矩阵处理之后，输入于灰度处理部64b。
而且，当由用户进行了狭频带图像生成的命令输入时(s32，狭频带图像)，rgb信号输入于灰度处理部64b的第1lut处理部73，并对该rgb信号实施使用了狭频带图像用rgb灰度表的灰度处理(s42)。
实施了灰度处理的rgb信号输入于三维lut处理部64c，并在实施三维lut处理之后，输入于色彩增强部64d而实施色彩增强处理。接着，在结构增强部64e对已结束色彩增强处理的rgb信号实施结构增强处理而生成狭频带图像信号(s44)，并输出至显示控制部65。显示控制部65根据所输入的狭频带图像信号在显示器18中显示狭频带图像(s46)。
当用户欲结束处理时，输入处理结束命令而结束处理(s48，“是”)。或者，当不结束处理时(s48，“否”)，返回到s10，接着继续正常光观察模式，或切换为窄频带光观察模式。
另一方面，当由用户进行了特殊狭频带图像生成的命令输入时(s32，特殊图像)，rgb信号输入于第2lut处理部74及亮度计算部75。亮度计算部75根据所输入的每一像素的rgb信号按每一像素计算亮度(s34)。而且，通过亮度计算部75计算出的亮度输出至第2lut处理部74，第2lut处理部74根据所输入的亮度，并使用按每一亮度设定的特殊狭频带图像用rgb灰度表对每一像素的rgb信号实施灰度处理(s36)。
实施了灰度处理的rgb信号输入于三维lut处理部64c，并在实施三维lut处理之后，输入于色彩增强部64d而实施色彩增强处理。接着，在结构增强部64e对已结束色彩增强处理的rgb信号实施结构增强处理而生成特殊狭频带图像信号(s38)，并输出至显示控制部65。显示控制部65根据所输入的特殊狭频带图像信号在显示器18中显示特殊狭频带图像(s40)。
当用户欲结束处理时，输入处理结束命令而结束处理(s48，“是”)。或者，当不结束处理时(s48，“否”)，返回到s10，接着继续窄频带光观察模式，或切换为正常光观察模式。
接着，对使用本发明的内窥镜图像信号处理装置及方法以及程序的第2实施方式的内窥镜系统进行说明。图11是表示本实施方式的内窥镜系统的灰度处理部的概略结构的图。另外，图11是汇集表示图2所示的正常光图像生成部62的灰度处理部62b及特殊光图像生成部64的灰度处理部64b的图。第2实施方式的内窥镜系统的灰度处理部62b、64b进一步对第1实施方式的内窥镜系统的各灰度处理部62b、64b分别设置有低频图像生成处理部66、67。
低频图像生成处理部66、67对在图像信号获取部60实施了去马赛克处理的rgb信号实施低频图像生成处理。而且，灰度处理部62b、64b的亮度计算部72，75使用在低频图像生成处理部66、67实施了低频图像生成处理的rgb信号计算亮度。低频图像生成处理为所谓的模糊处理，能够使用公知的滤波处理等。
如此，通过使用计算亮度时实施了低频图像生成处理的rgb信号，能够去除亮度极高的干扰信号等，且变得容易掌握结构，因此能够使用更适当的rgb灰度表。另外，灰度处理部62b作为灰度处理的输入值使用未实施低频图像生成处理的rgb信号。
另外，关于其他结构，与上述第1实施方式的内窥镜系统10相同。
并且，在上述第1及第2实施方式的内窥镜系统10、11中，设成作为rgb灰度表使用r灰度表rc1、rc2；b灰度表bc1、bc2及g灰度表gc1、gc2，且使用对输入值的r_in、g_in及b_in直接输出r_out、g_out及b_out的灰度表，但rgb灰度表的结构并不限定于此。
例如也可以由将rgb信号转换为rgb以外的颜色空间的颜色空间转换表、进行该转换的颜色空间灰度表及将该灰度表的输出值再次转换为rgb信号的rgb转换表来构成rgb灰度表。即，将本发明的rgb灰度表视为还包含如此使用rgb以外的颜色空间的灰度表来进行灰度处理的rgb灰度表。
具体而言，例如将rgb信号转换为hcl颜色空间的信号。而且，预先存储将通过该转换获得的输入值的亮度in_l与c(彩度)的输出值out_c建立对应关联的c灰度表、将输入值的亮度in_l与h(色相)的输出值out_h建立对应关联的h灰度表及将输入值的亮度in_l与l(明度)的输出值out_l建立对应关联的l灰度表，并使用这些灰度表，计算与亮度in_l相应的输出值out_c、out_h、out_l。
如图12所示，c灰度表、h灰度表及l灰度表优选以如下方式进行设定，即，即便亮度发生变化也维持规定的色相，且明度及彩度根据亮度而发生变化。如此，即便亮度发生变化，色相也不会发生变化，因此与上述第1及第2实施方式相同地，能够获得对亮度的变化维持彩色平衡的效果。
而且，使用rgb转换表将输出值out_c、out_h、out_l再次转换为rgb信号。关于转换为rgb信号之后的处理，与上述第1及第2实施方式相同。
并且，在上述第1及第2实施方式的内窥镜系统10、11中，设成预先设定每一亮度的rgb灰度表，但也可以设成代替亮度而设定每一rgb信号中的r成分的r信号大小的rgb灰度表。长波长的光对血管等较多的粘膜的吸收特性低于其他g成分及b成分。因此，r信号不受粘膜的吸收特性的影响而成为表示粘膜表面的大致结构的信号，因此能够代替亮度来使用。
如此，当设成代替亮度而使用r信号时，能够省略由rgb信号计算亮度的结构，从而能够简化处理。另外，当代替亮度而使用r信号时，也无需对所有0～255的值设定rgb灰度表，可以仅对0～255的值中的一部分r信号的值进行进行设定。在代替亮度而使用r信号的情况下，电可以使用实施了模糊处理的r信号。
并且，在上述第1及第2实施方式的内窥镜系统中，也可以在正常光观察模式及窄频带光观察模式下具备不同的rgb灰度表。
并且，在上述第1及第2实施方式的内窥镜系统中，设成在将正常光照射摄像对象的正常光观察模式下，生成正常图像，但也可以设成通过进一步对输入到正常光图像生成部62的rgb信号实施预先设定的矩阵运算，生成所希望的波长频带的图像信号。具体而言，通过进行上述矩阵运算，例如可以生成如在窄频带光观察模式下获取的rgb信号。另外，作为这种矩阵运算，能够使用所公知的运算方法。
并且，在上述第1及第2实施方式的内窥镜系统中，设成在将窄频带光照射摄像对象的窄频带光观察模式下，生成狭频带图像，但也可以设成通过进一步对输入到窄频带光图像生成部64的rgb信号实施预先设定的矩阵运算，生成所希望的波长频带的图像信号。具体而言，可以通过进行上述矩阵运算，例如生成蓝紫色激光vl的波长频带的图像信号。另外，作为这种矩阵运算，能够使用所公知的运算方法。
并且，在上述第1及第2实施方式的内窥镜系统10、11中，设成对使用了包含对粘膜的吸收物质光吸收性高的蓝色窄频带光(蓝色激光及蓝紫色激光)的窄频带光的情况进行了说明，但也可以设成使用包含对粘膜的吸收物质光吸收性高的绿色窄频带光(例如，540～560nm的波长成分)的光。
并且，在上述第1及第2实施方式的内窥镜系统10、11中，设成作为光源使用蓝色激光源34及蓝紫色激光源36，并通过对荧光体44照射蓝色激光而获得白色光，但光源装置14的结构并不限于此，也可以是其他结构。
具体而言，如图13所示的内窥镜系统15，光源装置14可以具备v-led(violetlightemittingdiode：紫色发光二极管)42a、b-led(bluelightemittingdiode：蓝色发光二极管)42b、g-led(greenlightemittingdiode：绿色发光二极管)42c及r-led(redlightemittingdiode：红色发光二极管)42d。光源装置14还具备控制4种颜色的led42a～42d的驱动的光源控制部40及结合由4种颜色的led42a～42d发射的4色光的光路的光路结合部43。通过光路结合部43结合的光经由光导管41照射于受检体内。
如图14所示，v-led42a产生中心波长为405±10nm且波长范围为380～420nm的紫色光v。b-led42b产生中心波长为460±10nm且波长范围为420～500nm的蓝色光b。g-led42c产生波长范围达到480～600nm的绿色光g。r-led42d产生中心波长为620～630nm且波长范围达到600～650nm的红色光r。
光源控制部40即使在正常光观察模式、第1窄频带光观察模式及第2窄频带光观察模式中的任一观察模式下，也点亮v-led42a、b-led42b、g-led42c、r-led42d。因此，紫色光v、蓝色光b、绿色光g及红色光r这4色光混合而成的光照射于观察对象。并且，光源控制部40在正常光观察模式时，以使紫色光v、蓝色光b、绿色光g、红色光r之间的光量比成为vc∶bc∶ge∶rc的方式控制各led42a～42d。另一方面，光源控制部40在第1及第2窄频带光观察模式时，以使紫色光v、蓝色光b、绿色光g、红色光r之间的光量比成为vs∶bs∶gs∶rs的方式控制各led42a～42d。另外，第1窄频带光观察模式在判断幽门螺旋杆菌的除菌是否成功时使用，是将第1狭频带图像显示于显示器18上的模式。第2窄频带光观察模式在判断是否被幽门螺旋杆菌感染时使用，是将第2狭频带图像显示于显示器18上的模式。
并且，在上述第1及第2实施方式的内窥镜系统10、11中，设成使用同步式成像元件，但本发明也能够适用于所谓的帧顺序显示方式的内窥镜系统中。
在帧顺序显示方式的内窥镜系统中，当为正常光观察模式时，通过使沿周向设置有r(红色)滤光片、g(绿色)滤光片及b(蓝色)滤光片的旋转滤光片旋转，蓝色光、绿色光及红色光依次照射于摄像对象。
来自基于蓝色光、绿色光及红色光照射的摄像对象的反射像被单色成像元件拍摄，并从成像元件依次输出r信号、g信号及b信号，该信号被图像信号获取部60获取。
并且，在窄频带光观察模式下，通过使沿周向设置有使中心波长为415nm的蓝色窄频带光透射的bn滤光片、g滤光片及r滤光片的旋转滤光片旋转，对摄像对象依次照射蓝色窄频带光、绿色光及红色光。
来自基于蓝色窄频带光、绿色光及红色光照射的摄像对象的反射像被单色成像元件拍摄，并从成像元件依次输出r信号、g信号及bn信号，该信号被图像信号获取部60获取。另外，bn信号与b信号以相同的操作方式而被处理。
并且，本发明并不限于具备如第1及第2实施方式的内窥镜系统10、11那样的插入部21的内窥镜系统，也能够适用于胶囊内窥镜中。
符号说明
10、11、15-内窥镜系统，12-内窥镜，13-通用塞绳，14-光源装置，16-处理器装置，18-显示器，20-输入装置，21-插入部，22-操作部，22a-弯角钮，22b-模式切换开关，22c-变焦操作部，23-弯曲部，24-末端部，24a-照明光学系统，24b-摄像光学系统，34-蓝色激光源，36-蓝紫色激光源，40-光源控制部，41-光导管，43-光路结合部，44-荧光体，45-照明透镜，46-成像透镜，47-变焦透镜，48-成像元件，50-cds/agc电路，51-伽马转换部，52-a/d转换部，60-图像信号获取部，62b-灰度处理部，62-干扰去除部，63-正常光图像生成部，64-窄频带光图像生成部，65-显示控制部，66-模糊处理部，70、73-第1lut处理部，71、74-第2lut处理部，72、75-亮度计算部，a-输入值，b-输入值，bc、bc1、bc2-b灰度表，gc、gc1、gc2-g灰度表，rc、rc1、rc2-r灰度表，rl、bl、gl-直线，sl-窄频带光，bl-蓝色激光，fl-荧光，vl-蓝紫色激光，wl-白色光，v-紫色光，r-红色光，g-绿色光，b-蓝色光，42a-v-led，42b-b-led，42c-g-led，42d-r-led。