图像处理装置和内窥镜装置制造方法
【专利摘要】本发明配备有：采集装置、色彩空间转换装置、病变像素确定装置、叠加处理装置以及叠加图像显示装置，其中，所述采集装置用于采集内窥镜彩色图像数据；所述色彩空间转换装置用于将内窥镜彩色图像数据的色彩空间转换至基于色调、饱和度和强度的HSI色彩空间，或基于色调、饱和度和亮度的HSV色彩空间；所述病变像素确定装置对于每个组成内窥镜彩色图像的像素，基于其色调和饱和度而确定每个像素是否处于病变区域；所述叠加处理装置用于执行叠加处理，所述叠加处理用于调整由病变像素确定装置确定为处于病变区域中的像素的像素的颜色；所述叠加图像显示装置用于显示使内窥镜彩色图像经过叠加过程而得到的叠加图像。
【专利说明】图像处理装置和内窥镜装置
【技术领域】
[0001]本发明涉及一种用于内窥镜诊断的图像处理装置和设置有图像处理装置的医用内窥镜装置，更具体地，涉及一种基于彩色内窥镜图像的彩色信息而具有获得并显示病变部分信息的功能的装置。
【背景技术】
[0002]一般而言，病变部分会与正常的粘膜组织显示出不同的颜色。由于彩色内窥镜装置性能的提升，已经可以识别颜色轻微不同于正常组织颜色的病变部分。然而，为了基于内窥镜图像上颜色的轻微差别而能够精确地从正常组织中识别出病变部分，医生需要在专业人员的指导下进行长期的训练。并且，即使对于经过训练的医生，也不能轻易地基于颜色上的轻微差别而识别出病变部分，所以需要细致认真地工作。因此，提出了这样的电子内窥镜装置:对于使用白光得到的内窥镜图像数据，能够执行用于突出颜色上差别的色彩转换处理，从而轻易地识别出病变部分，例如，日本专利临时出版物第2009-106424A号(在下文中称作专利文件I)。
【发明内容】
[0003]可以说专利文献I中描述的电子内窥镜产生的图像在与正常内窥镜图像的比较中，很容易识别出病变部分等。然而，在正常黏膜和病变部分等的边界上的颜色改变是连续的，并且依据疾病的类型，正常粘膜和病变部分的颜色差别变得非常小。因此，即使在使用专利文献I描述的电子内窥镜装置时，也无法解决难以识别病变部分等的问题。此外，即使在使用专利文献I描述的电子内窥镜装置时，是否为病变部分的判断最终也交付于医生基于色彩感知的主观判断，而色彩感知是一种模棱两可的感觉，所以无法得到具有客观性和再现性(这不取决于医生的技能)的诊断结果。
[0004]根据本发明的实施方案，提供了一种图像处理装置，其包括获取装置、色彩空间(色空間)转换装置、病变像素判断装置、叠加处理装置以及叠加图像显示装置，其中，所述获取装置获得彩色内窥镜图像数据；所述色彩空间转换装置将彩色内窥镜图像数据的色彩空间转换至基于色调(色相)、饱和度(彩度)和强度(輝度)的HSI色彩空间，或基于色调、饱和度和明度的HSV色彩空间；所述病变像素判断装置对于组成彩色内窥镜图像的每个像素，基于色调和饱和度而判断每个像素是否为病变部分；所述叠加处理装置执行改变由病变像素判断装置判断为病变部分的像素的颜色；所述叠加图像显示装置显示使彩色内窥镜图像经过叠加过程而得到的叠加图像。
[0005]利用该配置，由于是在病变部分和正常部分之间出现明显差异的HSV色彩空间中对病变部分做出的判断，所以可以对病变部分和正常部分做出准确的判断。另外，通过显示病变部分的像素颜色改变的叠加图像，可以使医生更清晰地识别病变部分，进而可以进行具有尚准确性和再现性的诊断。
[0006]对于多种病变类型中的每一种，病变像素判断装置可以判断每个像素是否为病变部分的像素，并且叠加图像显示装置可以依据病变类型而改变病变部分像素的颜色。
[0007]利用该配置，可以对附带有多种病变类型中的表现的疾病(例如炎症性肠病)进行更适当的诊断。
[0008]在上述的图像处理装置中，叠加处理装置可以将对应于病变类型的预定的值加在判断为病变部分的像素的像素值上。
[0009]利用该配置，根据其颜色而显示不同类型的病变部分，可以直观并准确地识别疾病状态的更详细的信息。
[0010]在上述图像处理装置中，叠加图像显示装置可以同时显示彩色内窥镜图像和叠加图像。
[0011]利用该配置，很容易对拍摄在彩色内窥镜图像上的病变部分进行识别。
[0012]在上述图像处理装置中，图像处理装置可以进一步包括有效像素判断装置和病变像素判断装置，其中，所述有效像素判断装置对于组成彩色内窥镜图像的每个像素，通过判断像素值是否在预定的范围内而判断每个像素是否是有效的；所述病变像素判断装置对于由有效像素判断装置判断为有效的像素，可以判断每个像素是否为病变部分的像素。
[0013]利用该配置，通过从判断目标中排除无效像素(例如，具有低精确度的像素值的像素，比如极高的像素值或极低的像素值)，可以对病变部分进行更准确的识别。
[0014]在上述图像处理装置中，图像处理装置可以进一步包括色调增强装置，其将非线性增益应用至像素值而执行色调增强过程，从而对于判断为病变部分的像素，扩大接近像素值的边界区域的动态范围，并且病变像素判断装置可以在色调增强过程后基于像素值而做出判断。
[0015]利用该配置，扩大了在病变部分接近判断的边界(阈值)的动态范围，可以对病变部分进行更精确的判断。
[0016]在上述图像处理装置中，在RGB色彩空间中经过色调增强过程后，彩色内窥镜图像数据可以转换至HSI色彩空间或HSV色彩空间。
[0017]在上述图像处理装置中，色调增强装置可以在将不同的增益曲线分别应用至原色R、G和B的强度值时执行色调增强过程。
[0018]利用该配置，可以通过具有高自由度的色调增强过程而对病变部分进行更准确的判断。
[0019]在上述图像处理装置中，病变可以包括炎症性肠病中的发炎和溃疡。
[0020]根据本发明的实施方案的配置，提供了一种内窥镜装置，其包括上述的图像处理装置和内窥镜，所述内窥镜生成彩色内窥镜图像数据并将所述彩色内窥镜图像数据输出至图像处理装置。
[0021]如上所述，根据本发明的实施方案，可以在病变部分和正常部分之间进行准确的识别。
【专利附图】
【附图说明】
[0022]图1为显示了根据本发明的实施方案的电子内窥镜装置的常规配置的方框图。
[0023]图2为显示了根据本发明的实施方案的图像处理单元的常规配置的方框图。
[0024]图3为显示了图像存储器224的存储区域的常规配置的示意图。
[0025]图4为显示了存储器226的存储区域的常规配置的示意图。
[0026]图5为显示了通过图像处理单元执行过程的顺序的流程图。
[0027]图6为用于TE过程的增益曲线的示例。
[0028]图7为显示了有效像素判断过程的顺序的流程图。
[0029]图8为显示了病变判断过程的顺序的流程图。
[0030]图9为绘制于HS坐标中的活组织图像的像素值的散布图。
[0031]图10为显示了叠加过程的顺序的流程图。
[0032]图11为画面显示过程产生的显示画面的示例。
【具体实施方式】
[0033]在下文中，将参考附图对本发明的实施方案进行详细的解释。
[0034]图1为显示了根据本发明的实施方案的电子内窥镜装置I的常规配置的方框图。如图1所示，根据实施方案的电子内窥镜装置I包括电子镜(電子只3 —7°) 100、用于电子内窥镜的处理器200、监视器300以及打印机400。
[0035]用于电子内窥镜的处理器200包括系统控制器202和时间控制器206。系统控制器202执行存储在存储器204中的各个程序，并且完全控制整个电子内窥镜装置I。另外，系统控制器202根据使用者(医生或辅助人员)输入至操作面板208的命令而改变电子内窥镜装置I的各个设定。时间控制器206将用于调整每个部分的操作时间的时钟脉冲输出至电子内窥镜装置I中的各个电路。
[0036]另外，用于电子内窥镜的处理器200包括光源230，其将为白色光束的照明光供应至电子镜100的LCB(光导束(Light Carrying Bundle)) 102。光源230包括灯232、灯电源234、聚光透镜236以及调光器控制装置240。灯232为高亮度灯，其在由灯电源供应器234供应驱动电力时发出照明光，并且使用例如氙灯、金属卤素灯、汞灯或卤素灯。灯232发出的照明光线通过聚光透镜236而汇聚，经由调光器控制装置240而被引导至LCB102。
[0037]调光器控制装置240是基于系统控制器202的控制，对引导至LCB102的照明光线的光量进行调节的装置，其包括孔径光栅(絞*9 ) 242、电机243以及驱动器244。驱动器244产生用于驱动电机243的驱动电流，并将驱动电流供应至电机243。孔径光栅242由电机243驱动，并且改变照明光线行进通过的孔径，进而控制经过孔径的照明光线的光量。
[0038]被引导至LCB102照明光线从入口面传播通过LCB102的内部，从设置于电子镜100的尖端部分的LCB102的出口面射出，并且经由配光透镜104而照亮对象。从对象反射的光经由物镜106而在固态摄像装置108的光接收表面上形成光学图像。
[0039]固态摄像装置108为例如具有各种滤光片(例如IR(红外)截止滤光片108a和拜耳阵列彩色滤光片108b)的单片彩色CCD (电荷耦合装置)图像传感器，所述滤光片设置于所述固态摄像装置108的光接收表面上，并且产生响应于汇聚在光接收表面上的光学图像的每个三原色的图像捕捉信号。产生的图像捕捉信号通过设置在电子镜100的连接部分的驱动器信号处理电路112而放大，随后转换至由亮度信号Y以及色差信号Cb和Cr组成的图像信号。转换至亮度信号Y和色差信号Cb和Cr的图像信号进一步转换至数字信号，随后传输至用于电子内窥镜的处理器200的图像处理单元220。另外，驱动器信号处理电路112通过访问存储器114而读出对于电子镜100独特的独特信息。记录在存储器114上的电子镜100的独特信息包括例如固态摄像装置108的像素数和敏感度、可操作的帧速度等。驱动器信号处理电路112将从存储器114读取的独特信息输出至系统控制器202。
[0040]系统控制器202基于电子镜100的独特信息而执行各种计算，并产生控制信号。利用产生的控制信号，系统控制器202在用于电子内窥镜的处理器200中控制各个电路的操作和时间，从而执行适用于电子镜100的过程，所述电子镜100连接至用于电子内窥镜的处理器200。
[0041]时间控制器206根据系统控制器202的时间控制，将时钟脉冲供应至驱动器信号处理电路112和图像处理单元220。驱动器信号处理电路112在时间与视频的帧速度同步时，根据从时间控制器206供应的时钟脉冲而驱动和控制固态摄像装置108，所述视频是由用于电子内窥镜侧的处理器200处理的。
[0042]在系统控制器202的控制下，用于电子内窥镜的处理器200的图像处理单元220产生用于监视器的视频信号，并且将视频信号输出至监视器300，所述监视器基于从电子镜100的驱动器信号处理电路112传输来的图像信号而显示内窥镜图像等。当检查到内窥镜图像显示在监视器300上时，医生对例如消化道的内部进行观察或治疗。
[0043]用于电子内窥镜的处理器200经由NIC(网络接口卡)210和网络500而连接至服务器600。用于电子内窥镜的处理器200从服务器600获得关于内窥镜检查的信息(例如，病人的电子病历或医生的信息)，并且将信息显示在监视器300或操作面板208上。另外，用于电子内窥镜的处理器200将内窥镜检查结果(内窥镜图像数据、检查条件、下文将描述的图像分析结果、医生的意见等)传输至服务器600，以使服务器600存储内窥镜检查结果。
[0044]另外，电子镜装置I包括记录多个与捕捉部分(即，在图像捕捉时，电子镜100的尖端部分的位置(插入长度))的信息相关的内窥镜图像的静止图像的功能。在电子镜100的插入单元130的外圆周表面上，多个光学传感器132以恒定的间隔(例如，间隔5厘米)设置在长度方向上。光学传感器132为光接收装置(例如光电二极管)，并检测外部光线(在进行内窥镜检查的房间中的室内光线)。设置在插入单元130的插入消化道的部分上的光学传感器130不对外部光线进行检测，设置在插入单元130的不插入消化道的部分上的光学传感器132对外部光线进行检测。所以，通过判断不检测光线的光学传感器的长度分布为插入消化道内部的插入单元130的长度，可以得到关于电子镜100的尖端部分位置的信息(插入长度)。光学传感器132连接至驱动器信号处理电路112，并且将表明检测的光的量的传感器信号传输至驱动器信号处理电路112。驱动器信号处理电路112基于来自光学传感器132的传感器信号而计算电子镜100的尖端部分的位置Pos (插入长度)。
[0045]当对于电子镜100的操作单元120实施用于指示获得静止图像的操作时，将操作信号从操作单元120传输至驱动器信号处理电路112。当系统控制器202从操作单元120获得用于获取静止图像的操作信号时，系统控制器202将用于获取静止图像的指令与电子镜100的尖端部分的当前位置信息(插入长度)Pos —起传输至图像处理单元202。结果，在图像处理单元220中，对内窥镜观察图像的静止图像进行记录，而所述内窥镜观察图像与图像捕捉时电子镜100的位置信息Pos有关。随后将对图像处理单元220记录静止图像的过程进行详细描述。
[0046]图2为显示了图像处理单元220的常规配置的方框图。图像处理单元220包括第一图像处理电路222、图像存储器224、存储器226以及第二图像处理电路228。第一图像处理电路222对来自驱动器信号处理电路112的图像信号执行各个类型的图像处理，并将信号输出至图像存储器224。
[0047]如图2所示，第一图像处理电路222包括RGB转换单元222a、TE处理单元222b、有效像素判断单元222c、色彩空间转换单元222d、病变判断单元(阈值处理单元)222e以及叠加处理单元222f。另外，第二图像处理电路228包括显示画面生成单元228a。随后将对第一图像处理电路222和第二图像处理电路228的每个单元执行的具体过程进行解释。
[0048]图3显示了设置在图像存储器224中的存储区域的常规配置。在根据实施方案的图像存储器224中，设置了七组存储器Pk(k = O至6)。每个存储区域组Pk包括:正常图像存储区域KnR, KnG, KnB (k = O至6)、色调增强图像存储区域KeR, KeG, KeB (k = O至6)以及叠加图像存储区域KsR、KsG、KsB(k = O至6)，其中，所述正常图像存储区域KnR、KnG、KnB(k = O至6)分别存储正常观察图像数据N的三原色信号R、G、B ;所述色调增强图像存储区域KeR、KeG, KeB (k = O至6)分别存储TE过程S3产生的色调增强的图像数据E的原色信号R’、G’、B’，随后将对TE过程S3进行描述；所述叠加图像存储区域KsR、KsG, KsB (k=O至6)分别存储叠加过程S7产生的叠加图像数据S的三原色R”、G”、B”，随后将对叠加过程S7进行描述。也就是说，图像存储器224最多可以存储七组正常观察图像数据N、色调增强的图像数据E和叠加图像数据S。图像存储器224配置为根据系统控制器202的控制，在存储区域组PO至P6中的一个中存储第一图像处理电路222输出的图像数据(正常观察图像数据N、色调增强的图像数据E或叠加图像数据S)。应该注意的是存储区域PO被从第一图像处理电路222顺序输出的图像数据重写，从而使组成实时视频图像的图像数据在其上保留。另一方面，只有当指令从系统控制器202输入时，从第一图像处理电路222输出至存储器Pl至P6的图像数据才被写入。即，图像存储器224最多可以记录六个静止图像。
[0049]图4显示了设置在存储器226中的存储区域的常规配置。存储器226包括RGB矩阵存储区域226a、标识存储区域226b、以及设定信息存储区域226c。在RGB矩阵存储区域226a中，存储用于RGB转换过程SI中的RGB转换矩阵系数M，随后将对RGB转换过程SI进行描述。在标识存储区域226b内，存储用于第一图像处理电路222中的过程的标识表F。标识表F为由标识f(x，y)组成的数值表，标识f(x，y)表示关于组成图像数据的每个像素(x，y)的分析结果。在设定信息存储区域226c中，存储用于图像处理单元220的过程中的各个类型的设定。
[0050]存储器区域组Pk与电子镜100的尖端部分的位置信息(插入长度)Pos有关。特别地，存储区域组Pl对应于在检查区域中最深部分(例如，接近横结肠的结肠右曲的部分)的插入长度Pos的范围，并且插入长度Pos随着k值的增加而变短。存储区域组P6对应于插入长度Pos的范围，所述插入长度Pos对应于直肠周围的区域。也就是说，在从检查区域的最深部分牵引电子镜100的插入单元130而得到静止图像时，将静止图像记录在k = I至6的存储区域内。从而得到静止图像。将定义了位置信息Pos和存储区域组Pk(k= I至6)之间的对应关系的设定信息记录在设定信息存储区域226c中。记录了图像数据的存储区域组Pk依据图像数据的位置信息Pos (在图像捕捉时电子镜100的尖端部分的位置)而被确定。
[0051]第二图像处理电路228利用存储在图像存储器224中的图像信号而产生用于监视器显示的视频信号，并且将视频信号输出至监视器300。
[0052]接下来，将详细解释图像处理单元220执行的过程。图5为显示了图像处理单元220执行的过程的顺序的流程图。当图像处理单元220的过程开始时，由第一图像处理电路222的RGB转换电路222a执行第一 RGB转换过程SI。在RGB转换过程SI中，RGB转换单元222a分别放大从驱动器信号处理电路112传输来的照明信号Y以及色差信号Cb和Cr，并随后将信号转换为三原色信号R、G、B。使用存储在RGB矩阵存储区域226a中的RGB转换矩阵系数M执行RGB转换过程SI。根据用于图像捕捉的照明光线的光谱特性而提前设定RGB转换矩阵系数M，并且同时进行对照明光线的光谱特性的修正与信号格式从Y、Cr、Cb信号至R、G、B信号的转换。另外，当RGB转换过程SI结束时，将产生的正常观察图像数据N的三原色信号R、G、B输出至图像存储器224，并且分别存储在正常图像存储区域0nR、0nG、OnB 中。
[0053]接下来，确定模式是否设定为图像分析模式(S2)。根据本发明的实施方案的图像分析模式为这样的操作模式:分析用于图像数据的每个像素的色彩信息(特别是色调和饱和度)，从色彩信息的分析结果，基于预定的判定准则而判断是否为病变部分的像素，并且以差别方式显示病变部分的像素。待判断的病变的类型可以依据检查内容而选择。在下述解释的示例中，提取出在色彩区域(色域)中分别针对于溃疡(包括白色苔藓(白苔)或粘液的白色病变)和发炎(包括水肿或出血的红色病变)的观察图像的像素，所述溃疡为炎症性肠病(IBD)的病变，并以差别方式显示所述像素。
[0054]根据实施方案的电子内窥镜装置I配置为在两种操作模式下工作，所述两种操作模式包括图像分析模式和正常观察模式。通过使用者对电子镜100的操作单元120或对用于电子内窥镜的处理器200的操作面板208的操作而改变操作模式。当操作模式被设定为正常观察模式时(S2:否)，流程前进至S9。
[0055]当选择图像分析模式时(S2:是)，随后通过色调增强(TE)处理单元222b而执行TE过程S3。TE过程S3是这样的过程:为了提升病变判断的准确性，执行用于为每个原色信号R、G、B提供非线性增益的增益调整，针对于待判断的病变的色彩区域周围的动态区域(特别是边界区域)大幅扩大，并且提升了用于色彩表示的有效分辨率。特别地，在TE过程S3中，执行将如图6所示的单调增加非线性增益提供给原色信号R、G、B中的每一个，从而得到原色信号R’、G’、B’(色调增强的图像数据E)的过程。例如，当边界区域^表示针对于R空间溃疡的彩色区域边界的映射，边界区域Rb表示针对于R空间发炎的彩色区域边界的映射时，增益曲线的斜率在边界区域RdP Rb的周围变得最陡。通过根据这样的增益曲线设置增益，可以大幅增加边界区域RdP R 围的原色信号R’ (通过使原信号R处于TE过程S3中而得到此信号)的动态范围，进而可以更加精确地进行阈值判断。
[0056]这里，对于原色信号R、G、B将分别进行不同的增益调整。并且，可以执行给原色信号G、B提供相同的非线性增益并且给原色信号R提供不同的非线性增益的过程。另外，将TE过程S3生成的三原色信号R’、G’、B’(色调增强的图像数据E)输出至图像存储器224，并且分别存储在色调增强图像存储区域0eR、0eG、0eB中。
[0057]通过TE过程S3，发炎部分改变为红色，溃疡部分改变为白色，并且正常部分改变为绿色。所以，当由TE过程S3生成的色调增强的图像数据E显示在监视器300上时，相对于正常观察图像数据N，可以轻易通过视觉识别出病变部分(发炎部分或溃疡部分)。
[0058]当TE过程S3完成时，接下来通过有效像素判断单元222c而对于色调增强的图像数据E执行有效像素判断过程S4。图7为显示了有效像素判断过程S4的顺序的流程图。对于所有的组成图像数据的像素(x，y)顺序执行显示在图7中的有效像素判断过程S4。在有效像素判断过程S4中，对于每个像素(1，7)，根据下述公式1，由原色信号1?’(x，y)、G’(x，y)、B，(x，y)计算第一修正强度 int (x，y) (S41)。
[0059](表达式I)
[0060]int (x, y) = 0.3*R，(x, y)+0.59*G，(x, y)+0.11*B，(x, y)
[0061]计算出的修正强度int(x，y)的值用于适当曝光判断S42。另外，可以从表达式I中看出，不是以简单的原色信号R’(X，y)、G’(X，y)、B’(x，y)的平均值而获得修正强度int (x，y)，而是以基于个人(医生)的相对照明效率性能的加权平均值而获得修正强度
int (X，y) ο
[0062]随后，基于在过程S41中计算出的修正强度int (x，y)和色调增强的图像数据E的原色信号R’(X，y)、G’(X，y)、B’(x，y)而判断曝光的适用性(是否为图像分析要求的曝光等级)(S42)。在适当曝光判断过程S42中，当满足以下两个条件(表达式2和表达式3)中的至少一个时，判断为适当曝光(S42:是)。应该注意的是，修正强度int(x，y)的上限是通过表达式2而定义的，原色信号R’(x，y)、G’(x，y)、B’ (x, y)中的每一个的下限是通过表达式3而定义的。
[0063](表达式2)
[0064]int (X，y) <235
[0065](表达式3)
[0066]Max {R，(x，y)，G，(x，y)，B，(x, y)} >20
[0067]对于像素(X，y)，当满足表达式(2)和(3)并且判断为适当曝光(S42:是)时，有效像素判断单元222c将对应于标识表F的像素(X，y)的标识f(x，y)的值改变为“1”，所述标识表F存储在存储器226的标识存储区域226b中(S43)。标识f (x，y)在O至3中取一个值。下面对每个标识值进行定义。
[0068]O:无效图像数据
[0069]1:无病变(正常)或没有判断病变(图像数据有效)
[0070]2:病变A (发炎)
[0071]3:病变B (溃疡)
[0072]当不满足表达式2和表达式3，且在适当曝光判断S42中判断曝光为不适当时(S42:否)，有效像素判断单元222c将标识表F的标识f (X，y)的值改变为“O” (S44)。
[0073]接下来，在过程S45中，判断是否对于所有像素(x，y)均完成此过程。重复上述过程S41至S45，直到对于所有像素(X，y)均完成此过程。
[0074]当有效像素判断过程S4完成时，接下来通过色彩空间转换单元222d执行色彩空间转换过程S5。色彩空间转换过程S5是这样的过程:在RGB空间中由RGB三原色定义的色调增强的图像数据被转换为由色调、饱和度和强度三个元素所定义的HSI (色调-饱和度-强度)空间中的图像数据。具体而言，在色彩空间转换过程S5中，将色调增强的图像数据E的每个像素(X，y)的原色信号R’(X，y)、G’(x，y)、B’(x，y)转换为色调H(x，y)、饱和度S(x，y)、强度(x，y)。由于在此实施方案的下述过程中不使用强度I (x，y)，所以不进行对强度I(x，y)的计算，只计算色调H(x，y)和饱和度S (x，y)，从而提高了处理效率。
[0075]曝光短或过度的像素的数据准确性较低，会使分析结果的可靠性变差。所以，只对标识f (x，y)的值设定为“I”的像素(x，y)(也即，在上述有效像素判断过程S4中判断像素(x，y)为适当曝光)执行色彩空间转换过程S5。
[0076]当完成色彩空间转换过程S5时，随后通过病变判断单元222e执行病变判断过程S6。根据本发明实施方案的病变判断过程S6是这样的过程:对于内窥镜图像的每个像素(x，y)，依据在下面描述的图9中像素(x，y)绘制在的区域I至III中的哪个区域而判断对应于像素的部分的预测状态(正常、发炎、溃疡)。
[0077]图8为显示了病变判断过程S6的顺序的流程图。对于所有的组成图像数据的像素(x，y)顺序执行显示在图8中的病变判断过程S6。在病变判断过程S6中，首先参考标识表F而判断每个像素(X，y)的数据是否有效(S61)。当标识f(x，y)的值为“I”时(图像数据有效)，随后执行发炎判断过程S62。当标识f (X，y)的值为“O”时(图像数据无效)，在不执行发炎判断过程S62的情况下，流程前进至过程S66。
[0078]这里解释了随后将描述的发炎判断过程S62和溃疡判断过程S64。图9为绘制了从多个炎症性肠炎患者的内窥镜图像数据中提取的活组织图像的图像数据(由色调H(x，y)和饱和度S(x，y)组成的成对数据)的散布图。图9的散布图分为在左侧由虚线包围的区域II1、在右下侧被点划线包围的区域II和其他区域的区域I。通过本发明的发明人的研宄，发现对于炎症性肠病，在内窥镜诊断中由专业医生判断为溃疡部分的像素的主要部分绘制在图9的区域III中，由专业医生判断为发炎部分的像素的主要部分绘制在图9的区域II中，由专业医生判断为正常部分的像素的主要部分绘制在区域I中。这表示可以从通过捕捉活组织而得到的内窥镜观察图像的色调(颜色的色调)和饱和度(生动)这两种信息而对活组织(溃疡或发炎)的状态进行高精度的判断。
[0079]在发炎判断过程S62中，判断是否每个像素值(H(x，y)、S(x，y))均绘制在图9的区域II中。特别地，当像素值(H(x，y)、S(x，y))满足下述表达式4和表达式5时，判断像素值绘制在区域II中(也即，发炎部分的像素)。应当注意的是SH1、Ssi和δ 32是医生可以设定的修正值，并且通过设定修正值，可以适当调整判断的严重性(敏感度)。
[0080](表达式4)
[0081]130+δ J11^ H(x, y)
[0082](表达式5)
[0083]60+ δ S1 彡 S (X，y)彡 100+ δ S2
[0084]当像素值(H(x，y)、S(x，y))绘制在区域II中时(S62:是)，对应于像素(x，y)的标识f(x，y)被重写为“2”(发炎)(S63)，并且流程前进至过程S66。当像素值(H(x，y)、S(x，y))没有绘制在区域II中时(S62:否)，顺序执行溃疡判定过程S64。
[0085]在溃疡判断过程S64中，判断是否像素值(H(x，y)、S (x，y))均绘制在图9的区域III中。特别地，当H(x，y)和S(x，y)满足表达式6或表达式7和表达式8时，判断像素值(H(x，y)、S(x, y))绘制在区域III中(也就是说，其为溃疡区域的像素)。应当注意的是\3、\4、δΗ2和δ Η3是医生设定的修正值，并且通过这些修正值的设定，可以适当调整判断的严重性(敏感度)。
[0086](表达式6)
[0087]S (x, y) ( 65+ δ S3
[0088](表达式7)
[0089]S (x, y) ( 85+ δ s4
[0090](表达式8)
[0091 ] 120+δ H2^ H (X，y)彡 200+ δ Η3
[0092]当像素值(H(x，y)、S(x，y))绘制在区域III中时(S64:是)，对应于像素(x，y)的标识f(x，y)的值被重写为“3”(溃疡)(S65)，并且流程前进至过程S66。当像素值(H(x，y)、S(x，y))没有绘制在区域III中时(S64:否)，判断像素为正常部分，流程直接前进至过程S66而不重写标识f (X，y)的值“ I ”。
[0093]在过程S66中，判断是否对于所有像素(X，y)均完成此过程。重复上述过程S61至S66，直到对于所有像素(x，y)均完成此过程。
[0094]当完成病变判断过程S6时，接下来由叠加过程单元222f执行根据本发明的实施方案的叠加过程S7。叠加过程S7是这样的过程:对于通过病变判断过程S6判断为病变部分的像素(例如发炎或溃疡)，颜色改变为与病变(标识值)相关的色调，从而可以将所述病变部分的像素区别于判断为正常的像素(没有病变)。在此实施方案中执行如下过程:对于判断为溃疡的像素增强红色(具体而言，增加红色组分)，对于判断为发炎的像素增强黄色(具体而言，增强绿色和蓝色组分)。
[0095]图10为显示了叠加过程S7的顺序的流程图。对于组成正常观察图像数据N的所有像素(x，y)顺序执行显示在图10中的叠加过程S7。在叠加过程S7中，首先参考标识表F判断对应于每个像素(X，y)的标识f (X，y)的值(S71，S72，S74)。当标识值为“O”时(图像数据无效)(S71:是)，流程直接前进至过程S77。当标识值f (x，y)为“I”时(正常)(S71:否，S72:是)，在不做改变的情况下将正常观察图像数据N的原色信号R(x，y)、G(x，y)、B(x，y)定义为覆盖图像数据S的原色信号R”(X，y)、G”(x，y)、B”(x，y) (S73)，并且流程前进至过程S77。当标识f(x，y)的值为“2”时(发炎)(S71:否，S72:否，S74:是)，将通过在正常观察图像数据N的原色信号R(x，y)的值上加上100而得到的值定义为叠加图像数据S的原色信号R”(X，y)，在不做改变的情况下将正常观察图像数据N的原色信号G(x，y)和B(x，y)定义为叠加图像数据S的原色信号G”(x，y)和B”(x，y) (S75)，并且流程前进至过程S77。当标识f(x，y)的值为“3”时(溃疡)(S71:否，S72:否，S74:否)，将通过在正常观察图像数据N的原色信号G(x，y)和B(x，y)的值上加上100而得到的值定义为叠加图像数据S的G”(x，y)和B”(x，y)的值，在不做改变的情况下将正常观察图像数据N的原色信号R(x，y)定义为叠加图像数据S的原色信号R”(X，y) (S76)，并且流程前进至过程S77。这里，尽管在此实施方案中将正常观察图像数据N的三原色信号R、G、B用于叠加过程S7，但是在另一个实施方案中可以使用色调增强的图像数据E的原色信号R’(X，y)、G，(X，y)、B，(x，y)。
[0096]在过程S77中，判断是否对于所有像素(X，y)均完成此过程。重复上述过程S71至S77，直到对于所有像素(x，y)均完成此过程。
[0097]当叠加过程S7完成时，将由叠加过程S7生成的覆盖图像数据S输出至图像存储器224，并且分别存储在叠加图像存储区域0成、0$、0成& = O至6)中。
[0098]接下来，执行是否发出存储静止图像的指令的判断S8 (图5)。当图像处理单元220接收电子镜100的尖端部分的位置信息Pos和来自驱动器信号处理电路112的存储静止图像的指令时(S8:是)，图像处理单元220将存储在图像存储器224的存储区域组PO中的正常观察图像数据N、色调增强的图像数据E和叠加图像数据S的拷贝存储至对应于位置信息Pos的存储区域组Pl至P6中的一个中(S9)。随后，执行画面显示过程S10。当未从驱动器信号处理电路112接收到用于存储静止图像的信号时(S8:否)，在不执行过程S9的情况下流程前进至画面显示过程SlO。
[0099]随后的画面显示过程SlO为这样的过程:生成用于在监视器300上显示的画面显示数据，并且将所述画面显示数据转换为视频信号并输出，所述过程由第二图像处理电路228的显示画面生成单元228a执行。显示画面生成单元228a可以根据系统控制器202的控制而生成多种类型的显示画面数据。
[0100]图11是由画面显示过程SlO生成显示画面的示例，并且为在图像分析模式中在内窥镜观察期间显示的分析模式观察画面320。分析模式观察画面320包括显示图像捕捉的数据和时间的数据和时间显示区域321、显示关于诊断的基本信息(例如，病历号、患者姓名和医生姓名)的基本信息显示区域322、显示正常观察图像数据N(或色调增强的图像数据E)的正常图像显示区域324以及显示叠加图像数据S(在叠加过程S7后的观察图像)的分析图像显示区域325。
[0101]在画面显示过程SlO中，显示画面生成单元228a从图像存储器224的存储区域组PO读取实时正常观察图像数据N和叠加图像数据S，并且分别将所述数据显示在正常图像显示区域324和分析图像显示区域325上。而且，在数据和时间显示区域321和基本信息显示区域322上显示了由系统控制器202所提供的信息。
[0102]医生在检视分析模式观察画面320时进行内窥镜观察。具体而言，医生在检视显示在正常图像显示区域324上的正常观察图像数据N(或者色调增强的图像数据E)并参考显示在分析图像显示区域325上的叠加图像数据S时，进行内窥镜观察。通过对叠加图像数据S的仔细观察(特别是对于彩色部分)，可以进行准确的诊断而不忽视病变部分。
[0103]随后，判断内窥镜观察是否应该继续(Sll)。重复上述过程SI至S11，直到对用于电子内窥镜的处理器的操作面板208实施用于指示停止内窥镜检查或停止电子内窥镜装置I的工作的用户操作(Sll:否)。
[0104]上述是关于实施方案的解释；然而，本发明并不限于上述实施方案，而可以在权利要求表达的技术准则的范围内变化。
[0105]尽管在上述实施方案中，在HSI空间中进行了对于病变的判断，但是也可以由基于色调、饱和度和明度(或亮度)的HSV(HSB)空间内代替HSI空间而做出判断。
[0106]在上述实施方案中，在RGB空间内执行TE过程S3 ;然而，可以在色彩空间转换过程S5之后在HSI空间中执行TE过程S3。
[0107]在上述实施方案中，配置为利用光学传感器132而得到电子镜100的尖端部分位置(图像捕捉位置)的信息；然而，本发明并不限于这样的配置，并且可以使用通过其他方式而得到图像捕捉位置的信息的配置。例如，可以使用设置在电子镜100的插入单元130中的具有光源的光学接近度传感器和光接收元件的配置而代替光学传感器132。在此情况下，当光学接近度传感器插入消化道时，通过光接收元件检测到从消化道的内壁反射的光，从而检测出接近度。所以，对比上述实施方案，通过判断光学接近度传感器的分布长度为插入消化道的插入单元130的长度，所述光学接近度传感器的光接收元件接收光线，可以得到电子镜100的尖端部分的位置信息。
[0108]可以使用将移动量传感器设置在电子镜100的插入单元130中而代替光学传感器132的配置，所述移动量传感器通过与光电鼠标相同的原理而检测移动量(移动的距离和方向)。在此情况下，只有一个移动量传感器可以设置为接近插入单元130的尖端。
[0109]应当注意的是，作为光学接近度传感器或移动量传感器的光源，可以使用波长在近红外线至可见光区域内的光源(LD或LED);然而，通过在活组织的表面使用具有高度反射率的红光区域的光源，可以获得高水平的检测精度。
[0110]而且，通过在内窥镜检查期间，从患者的身体外得到核磁共振图像、X射线图像或超声图像，可以从这些图像中得到电子镜的尖端部分的位置。另外，通过由内窥镜图像的图像分析而计算内窥镜的尖端部分在消化道内的移动量，可以确定内窥镜的尖端部分的位置。
[0111]上述实施方案为本发明应用于对于炎症性疾病的内窥镜检查中的示例；然而，本发明自然可以应用至对于其他疾病的内窥镜检查中。
[0112]尽管配置了上述实施方案，从而通过医生的人为操作而记录了静止图像，但是也可以使用如下配置:当插入单元130的尖端部分到达预定的静止图像获得位置(观察点)而电子镜100的插入部分130从检查区域的最深位置退出时，驱动器信号处理电路112自动地发出用于存储静止图像的指令，并且自动地存储静止图像。
[0113]在上述实施方案中，CXD图像传感器用作固态摄像装置108 ;然而，也可以使用具有不同配置的固态摄像装置的配置，例如CMOS(互补金属氧化物半导体)。
[0114]在上述实施方案中，使用了具有RGB拜耳阵列彩色滤光片108b的固态摄像装置108 ;然而，也可以使用具有Cy(蓝绿色)、Mg(洋红色)、Ye(黄色)和G(绿色)的互补色滤光片的固态摄像装置的配置。
【权利要求】
1.一种图像处理装置，包括: 获取装置，其获取彩色内窥镜图像数据； 色彩空间转换装置，其将彩色内窥镜图像数据的色彩空间转换至基于色调、饱和度和强度的HSI色彩空间或基于色调、饱和度和明度的HSV色彩空间； 病变像素判断装置，其对于组成彩色内窥镜图像的每个像素，基于色调和饱和度而判断每个像素是否为病变部分； 叠加处理装置，其执行改变由所述病变像素判断装置判断为病变部分的像素的颜色的叠加过程；以及 叠加图像显示装置，其显示通过使彩色内窥镜图像经过叠加过程而获得的叠加图像。
2.根据权利要求1所述的图像处理装置， 其中: 病变像素判断装置，其对于多种病变类型的每种，判断每个像素是否为病变部分的像素；以及 叠加图像显示装置，其依据病变类型而改变病变部分的像素的颜色。
3.根据权利要求2所述的图像处理装置，其中所述叠加处理装置将对应于病变类型的预定的值加在判断为病变部分的像素的像素值上。
4.根据权利要求1至3中任意一项所述的图像处理装置， 其中所述叠加图像显示装置同时显示彩色内窥镜图像和叠加图像。
5.根据权利要求1至4中任意一项所述的图像处理装置， 进一步包括有效像素判断装置，其对于组成彩色内窥镜图像的每个像素，通过判断像素值是否在预定的范围内而判断每个像素是否有效；以及 病变像素判断装置，其对于由所述有效像素判断装置判断为有效的像素，判断每个像素是否为病变部分的像素。
6.根据权利要求1至5中任意一项所述的图像处理装置， 进一步包括色调增强装置，其将非线性增益应用至像素值而执行色调增强过程，从而对于判断为病变部分的像素扩大接近像素值的边界区域的动态范围， 其中所述病变判断装置在色调增强过程后基于像素值而作出判断。
7.根据权利要求6所述的图像处理装置， 其中在RGB色彩空间中经过色调增强过程后，所述彩色内窥镜图像数据被转换至HSI色彩空间或HSV色彩空间。
8.根据权利要求7所述的图像处理装置，其中所述色调增强装置在将不同的增益曲线分别应用至原色R、G和B的强度值时执行色调增强过程。
9.根据权利要求1至8中任意一项所述的图像处理装置，其中病变包括炎症性肠病中的发炎和溃疡。
10.一种内窥镜装置，包括: 根据权利要求1至9所述的图像处理装置；以及 内窥镜，其生成彩色内窥镜图像数据，并且将所述彩色内窥镜图像数据输出至所述图像处理装置。
【文档编号】A61B1/04GK104470416SQ201380037982
【公开日】2015年3月25日 申请日期:2013年5月14日 优先权日:2012年7月17日
【发明者】池本洋祐 申请人:Hoya株式会社