医疗用图像处理装置制造方法

文档序号:1292602阅读:313来源:国知局
医疗用图像处理装置制造方法
【专利摘要】设置于医疗用图像处理装置的运算部(41b)具有:输入部(43a),其被输入拍摄生物体粘膜得到的生物体粘膜图像;区域提取部(43c),其从被输入的生物体粘膜图像中提取与粘膜微细构造对应的粘膜微细构造区域;封闭区域识别部(43d),其识别视为被粘膜微细构造区域包围的至少一个封闭区域;以及单位区域设定部(43e),其根据粘膜微细构造区域和封闭区域来设定单位区域。
【专利说明】医疗用图像处理装置

【技术领域】
[0001] 本发明涉及一种对拍摄生物体粘膜得到的医用图像进行图像处理的医疗用图像 处理装置。

【背景技术】
[0002]以往,在医疗领域中广泛进行着使用了内窥镜(包含胶囊型)装置等图像摄像装 置的观察。内窥镜装置例如具有插入到作为生物体的体腔内的细长的插入部,并具有以下 结构和作用:使用固体摄像元件等摄像单元拍摄通过配置于该插入部的前端部的物镜光学 系统而成像的体腔内的像并作为摄像信号而输出,根据该摄像信号在监视器等显示单元中 显示体腔内的像的图像。
[0003] 而且,用户根据监视器等显示单元所显示的体腔内的像的图像,例如观察体腔内 的脏器等。另外,内窥镜装置能够直接拍摄消化管粘膜的像。因此,用户例如能够综合地观 察粘膜的色调、病变形状以及粘膜表面的微细的构造(粘膜微细构造)等各种观察结果。 [0004]以大肠、胃部、食道等各种脏器为对象提出了很多使用上述粘膜微细构造(血管、 pit(腺口)、上皮构造等)的观察结果来对病情进行分类、诊断的诊断学。例如在日本广泛 使用的诊断学之一存在大肠的腺口形态(pit pattern)分类。并且,近年来,由于窄频带光 观察(NBI)用内窥镜的普及,对通过NBI拍摄到的医疗用图像的诊断学的研究正在盛行。 [000 5] 但是,在这些诊断学的理解、实践中需要足够的经验等,因此存在由于医生的不同 而判断不同的情况、经验少的医生难以熟练掌握诊断学等问题。因此,正在研究、开发着以 下的计算机辅助诊断(Computer Aided Diagnosis :CAD):通过对医疗用图像进行图像处 理,来提供以下辅助信息:由在定量的判断标准的提供和诊断时要关注的微细构造的确定、 图像分析得到的病情估计结果等。
[0006] 关于内窥镜图像中的粘膜微细构造,以复杂的方式来拍摄连续的图案,难以通过 以往的图像分析方法来进行高精度的提取、分析。另外,由于胃部、大肠等脏器不同而拍摄 到的粘膜微细构造的图案不同,并且即使在同一脏器中,例如在胃部中幽门腺与胃底腺处 也不同。
[0007] 进一步说,血管、上皮构造等粘膜微细构造在内窥镜图像上二维地进行拍摄,但是 如八尾建史:胃放大内視镜;79-87、2009(以后称为非专利文献)所记载那样,实际呈三维 的构造。
[0008]因此,存在以下问题:难以通过以往例的图像分析来识别检测各构造、在生物体组 织学上成为一个单位的范围。
[0009] 例如当通过NBI拍摄胃部的幽门腺粘膜时,以腺窝边缘上皮(MCE)包围窝间部的 周围的方式分布。由于它们连续地连结,因此与一个窝间部对应的MCE(=各构造)的范围 不明确,难以通过以往例的图像处理来进行分析。
[0010] 针对上述问题,例如在本 申请人:的日本专利第2918162号公报中,记载了一种以 胃粘膜中的胃小区为单位区域来分割、检测小区域的方法,但是作为对象的区域的最小单 位为胃小区,没有以对上述在生物体组织学上成为一个单位的范围大小的复杂且微小的构 造的分析为对象。并且,并非是考虑了三维构造的区域分割方法,因此具有以下问题:在以 多个单位区域堆叠或者连结的方式进行拍摄等情况下难以良好地分割各单位区域。
[0011] 另一方面,关于内窥镜图像中的粘膜微细构造,以复杂的方式拍摄连续的图案,难 以通过以往的图像分析方法进行高精度的提取、分析。另外,由于胃部、大肠等脏器的不同 而拍摄到的粘膜微细构造的图案不同,并且即使在同一脏器中,例如在胃部中幽门腺与胃 底腺处也不同。
[0012] 进一步说,血管、上皮构造等粘膜微细构造在内窥镜图像上二维地进行拍摄,但是 如上述非专利文献所记载的那样,实际呈三维构造。
[0013] 因此,存在以下问题:难以通过以往例的图像分析来识别检测各构造、在生物体组 织学上成为一个单位的范围。
[0014] 例如当通过NBI拍摄胃部的幽门腺粘膜时,以腺窝边缘上皮(MCE)包围窝间部的 周围的方式分布。由于它们连续地连结,因此与一个窝间部对应的MCE(=各构造)的范围 不明确,难以通过以往例的图像处理来进行分析。
[0015] 针对上述问题,例如在本 申请人:的日本专利第2918162号公报中,记载了一种以 胃粘膜中的胃小区为单位区域来分割、检测小区域的方法,但是作为对象的区域的最小单 位为胃小区,没有以对上述在生物体组织学上成为一个单位的范围大小的微小的构造的分 析为对象。并且,并非是考虑了三维构造的区域分割方法,因此具有以下问题:在以多个单 位区域堆叠或者连结的方式进行拍摄等情况下难以良好地分割各单位区域。
[0016] 另外,在日本专利第4451460号公报中公开了以下内容:对内窥镜图像设定多个 关心区域(简称为R0I),基于各R0I计算特征量,对pit pattern分类进行估计、辨别。此 夕卜,以手动方式进行R0I的设定。
[0017] 但是,在该现有例中,如上所述以手动方式设定R0I,未公开自动地将在生物体组 织学上成为一个单位的范围设定为R0I,因此难以自动地设定R0I。
[0018] 本发明是鉴于上述问题而完成的,其目的在于提供一种能够通过能够根据粘膜微 细构造分割设定单位区域来辅助医疗用图像上的各构造的诊断等的医疗用图像处理装置。
[0019] 另外,本发明是鉴于上述点而完成的,其目的在于提供一种能够以将单位区域作 为单位的尺寸来适当地设定辨别对象区域并且对辨别对象区域的生物体粘膜的状态进行 辨别的医疗用图像处理装置。


【发明内容】

[0020] 本发明的一个方式所涉及的医疗用图像处理装置具有:输入部,其被输入拍摄生 物体粘膜得到的生物体粘膜图像;区域提取部,其从输入到上述输入部的上述生物体粘膜 图像中提取与粘膜微细构造对应的粘膜微细构造区域;封闭区域识别部,其识别视为被上 述粘膜微细构造区域包围的至少一个封闭区域;以及单位区域设定部,其基于由上述区域 提取部提取出的上述粘膜微细构造区域以及由上述封闭区域识别部识别出的上述封闭区 域来设定单位区域。

【专利附图】

【附图说明】
[0021]图1是表示本发明的第一实施方式所涉及的具有医疗用图像处理装置的内窥镜 装置的概要结构的-例的图。
[0022]图2是表示图1的光源装置所具有的旋转滤波器的结构的一例的图。
[0023]图3是表示图2的第一滤波器组所具有的各滤波器的透过特性的一例的图。
[0024] 图4是表示图2的第二滤波器组所具有的各滤波器的透过特性的一例的图。
[0025] 图5是表示图1的运算部的结构的框图。
[0026] 图6A是表示第一实施方式中的处理内容的流程图。
[0027] 图6B是表示用于模板匹配的半椭圆形状的图。
[0028]图7是内窥镜图像的示意图。
[0029]图8是放大图7的一部分的示意图。
[0030]图9是表示第一实施方式中的MCE区域MA1的检测结果的一例的图。
[0031] 图10是表示第一实施方式中的包含MCE区域MA1的区域的加标记结果的-例的 图。
[0032] 图11是表示第一实施方式中的计算作为MCE区域MAi的特征量的宽度的情况 下的一例的图。
[0033] 图12是表示第一实施方式中的单位区域UA3的设定的一例的图。
[0034] 图13是表示第一实施方式中的单位区域UA2、UA3重叠的一例的图。
[0035] 图14A是表示第一实施方式的变形例中的作为对象的粗略封闭区域CAj的一例的 图。
[0036] 图14B是表示变形例中的处理内容的一例的流程图。
[0037] 图15是表示变形例中的芯线CL1的检测结果的一例的图。
[0038] 图16是表示变形例中的虚拟线VL1的一例的图。
[0039] 图17是表示变形例中的使用虚拟线VL1的加标记结果的一例的图。
[0040] 图18是表示变形例中的虚拟线VL1、VL2的设定例的图。
[0041]图19A是表示本发明的第二实施方式中的运算部的结构的框图。
[0042] 图1卵是表示本发明的第二实施方式中的处理内容的一例的流程图。
[0043] 图20是表示在内窥镜图像中MCE区域不清楚的情况下的一例的示意图。
[0044] 图21是表示对图20应用在第一实施方式中说明的处理的情况下的单位区域UAj 的一例的图。 -
[0045] 图22是表示第二实施方式中的MCE区域MA2的检测结果的一例的图。
[0046] 图23是表示在第二实施方式中使用的匹配滤波器MF的一例的图。
[0047] 图24是表示第二实施方式中的图像数据的像素值设定的一例的图。
[0048] 图25是表不第二实施方式中的粗略封闭区域候选像素 CPz的检测结果的一例的 图。
[0049] 图26是表示第二实施方式中的对粗略封闭区域候选像素 CPz的加标记结果的一 例的图。 _
[0050] 图27是表不第二实施方式中的单位区域UA2的设定的一例的图。
[0051] 图28是表不本发明的第二实施方式所涉及的具有医疗用图像处理装置的内窥镜 装置的概要结构的一例的图。
[0052]图29是表示图28的光源装置所具有的旋转滤波器的结构的一例的图。
[0053]图30是表示图29的第一滤波器组所具有的各滤波器的透过特性的一例的图。 [0054]图31是表示图29的第二滤波器组所具有的各滤波器的透过特性的一例的图。 [0055] 图32是表示图28的运算部的结构的框图。
[0056]图33A是表示第三实施方式中的处理内容的流程图。
[0057]图33B是表示用于模板匹配的半椭圆形状的图。
[0058] 图34是内窥镜图像的示意图。
[0059] 图35是放大图34的一部分的示意图。
[0060]图36是表示第三实施方式中的MCE区域MB1的检测结果的一例的图。
[0061]图37是表示第三实施方式中的包含MCE区域MB1的区域的加标记结果的一例的 图。
[0062] 图38是表示第三实施方式中的计算作为MCE区域MBi的特征量的宽度Tk的情况 下的一例的图。
[0063] 图39是表示第三实施方式中的单位区域UB3的设定的一例的图。
[0064] 图40是表示第三实施方式中的单位区域UB2、UB重叠的一例的图。
[0065]图41A是表示所设定的关注单位区域的图。
[0066] 图41B是表示设定为包含关注单位区域的辨别对象区域Ad的设定例的图。
[0067] 图42是表示图33A的步骤S509和S510的详细的处理内容的流程图。
[0068]图43A是示意性地表示输入到运算部的拍摄生物体粘膜得到的与图35示出的图 像不同的图像例的图。
[0069]图4:3B是表示设定在图43A的图像的情况下设定的关注单位区域的例子的图。 [0070] 图43C是表示在图43B中进一步设定了矩形区域的例子的图。
[0071]图43D是表示在图43C中将矩形区域内设定为辨别对象区域的例子的图。
[0072]图44是表示根据针对关注单位区域计算出的第二特征量来设定辨别对象区域的 处理内容的流程图。
[0073]图45A是表示在图44的处理中在面积为阈值以上的情况下设定的辨别对象区域 的图。
[0074] 图45B是表示在图44的处理中在面积小于阈值的情况下设定的辨别对象区域的 图。
[0075] 图46是表示根据针对关注单位区域计算出的第二特征量使用两个阈值来设定辨 别对象区域的处理内容的流程图。
[0076] 图47是表示针对图4M的图像使用次数作为第三特征量来设定辨别对象区域的 情况下的处理内容的流程图。
[0077] 图48是表示在图47的处理中设定的辨别对象区域的例子的图。
[0078] 图49是利用识别部识别通过共用的MCE连接的单位区域数的说明图。
[0079] 图50是表示第三实施方式的变形例中的处理内容的流程图。

【具体实施方式】
[0080] 下面,参照【专利附图】
附图
【附图说明】本发明的实施方式。
[0081](第一实施方式)
[0082]在本发明的第-实施方式中,翻棚被拍摄为医疗酬像即内纖图像的粘膜 微细构造来设定被分割为单位区域的区域的处理装置和处理方法。图i至图13是本发明 的第一实施方式所涉及的图。
[0083]、如图1所示,内窥镜装置1构成为具有:内窥镜2,其被插入到被检者的体腔内,对 拍摄该体腔内的生物体组织101等被摄体而得到的图像进行信号输出;光源装置3,其发出 用于照^生物体组织101的照明光;处理器4,其构成医疗酬像处理装置,该医疗用图像 处理装直对来自内窥镜2的输出信号实施各种处理;显示装置 5,其显示与来自处理器4的 影像信号相应的图像;以及外部存储装置6,其存储与处理器4中的处理结果相应的输出信 号。
[0084]内窥镜2构成为具有:插入部21a,其具备能够插入到被检者的体腔内的细长的形 状和尺寸^前端部21b,其被设置于插入部2la的前端侧;以及操作部21c,其设置于插入部 21a的基端侧。另外,在插入部21a的内部贯穿有光导件 7,该光导件7用于将在光源装置 3中发出的照明光传送到前端部21b。
[0085]光导件7的一个端面(光入射端面)装卸自如地连接于光源装置3。另外,光导件 I的另一个端面(光出射端面)被配置在设置于内窥镜2的前端部Wb的未图示的照明光 学系统附近。根据这种结构,在光源装置3中发出的照明光在经过与光源装置 3相连接的 光导件7以及设置于前端部21b的未图示的照明光学系统之后射出到体腔内的生物体组织 101。
[0086]在内窥镜2的前端部21b设置有对被摄体的光学像进行成像的物镜光学系统22 ^及电荷耦合元件(简称为CCD) 23,该电荷耦合元件23被配置于物镜光学系统22的成像 位置,构成拍摄光学像而获取为图像的摄像部。另外,在内窥镜2的操作部21c中设置有观 察模式切换开关24,该观察模式切换开关 24能够进行用于将观察模式切换为通常光观察 模式和窄频带光观察模式中的任一个的指示。
[0087]光源装置3具有:白色光源31,其由氚气灯等构成;旋转滤波器32,其将从白色光 源31发出的白色光设为面顺序式的照明光;电动机33,其驱动旋转滤波器32进行旋转;电 动机34,其使旋转滤波器32和电动机33在与白色光源 31的射出光路垂直的方向(在图1 中附图标记A)上进行移动;旋转滤波器驱动部35,其根据处理器4的控制部42的控制来 驱动电动机33和 34 ;以及聚光光学系统36,其会聚通过了旋转滤波器32的照明光并提供 给光导件7的入射端面。
[0088]如图2所示,旋转滤波器32呈以中心为旋转轴的圆盘形状,具有:第一滤波器组 32A,其具备沿着内周侧的周向设置的多个滤波器;以及第二滤波器组32B,其具备沿着外 周侧的周向设置的多个滤波器。而且,电动机3 3的驱动力传递到上述旋转轴,由此使旋转 滤波器32旋转。此外,在旋转滤波器32中,除配置有第一滤波器组 32A和第二滤波器组 32B的各滤波器的部分以外的部分由遮光构件构成。
[0089]第一滤波器组32A构成为具有使红色波长频带的光通过的R滤波器32r、使绿色 波长频带的光通过的G滤波器32g以及使蓝色波长频带的光通过的B滤波器32b,R滤波器 32r、G滤波器32g以及B滤波器32b各自沿着旋转滤波器32内周侧的周向设置。
[0090] 例如图3所示,R滤波器32r具有主要使600nm至7〇Onm的光(R光)透过那样的 结构。另外,例如图3所不,G滤波器32g具有主要使500nm至600nm的光(G光)透过那 样的结构。并且,例如图3所示,B滤波器32b具有主要使400nm至500nm的光(B光)透 过那样的结构。此外,在图3中,简单用R、G、B来表示R滤波器32r、G滤波器32g、B滤波 器 32b。
[0091] 而且,在白色光源31中发出的白色光经由第一滤波器组32A,由此生成通常光观 察模式用的宽频带光。
[0092] 第二滤波器组32B构成为具有使蓝色且窄频带的光透过的Bn滤波器321b以及使 绿色且窄频带的光透过的Gn滤波器321g,Bn滤波器321b以及Gn滤波器321g各自沿着旋 转滤波器32外周侧的周向设置。
[0093] 例如图4所示,Bn滤波器321b构成为使中心波长被设定为415nm左右并且与B光 相比窄频带的光(Bn光)透过。
[0094] 另外,例如图4所不,Gn滤波器321g构成为使中心波长被设定为540nm左右且与 G光相比窄频带的光(Gn光)透过。此外,在图4中,简单用Bn、Gn表示Bn滤波器321b、Gn 滤波器321g。
[0095] 而且,在白色光源31中发出的白色光经由第二滤波器组32B,由此生成离散化的 窄频带光观察模式用的多个频带的窄频带光。
[0096] 处理器4具有具备作为本实施方式的医疗用图像处理装置的功能的结构。具体地 说,如图1所示那样处理器4构成为具有图像处理部41和控制部42。另外,图像处理部41 构成为具有图像数据生成部41a、运算部41b以及影像信号生成部41c。
[0097] 图像处理部41的图像数据生成部41a根据控制部42的控制对来自内窥镜2的输 出信号实施噪声去除和A/D变换等处理,由此生成与在CCD 23中得到的图像对应的图像数 据。
[0098] 图像处理部41的运算部41b使用由图像数据生成部41a生成的图像数据来进行 规定的处理,由此从拍摄生物体组织101得到的图像数据中提取生物体的粘膜微细构造, 并且进行如下运算:根据上述粘膜微细构造来设定基于规定条件的单位区域。
[0099] 此外,在本实施方式中,设为在上述图像数据中含有生物体的粘膜微细构造,针对 上述粘膜微细构造进行单位区域设定处理,该单位区域设定处理是将在生物体组织学上成 为一个单位的范围设定为单位区域的处理。在后文中详细说明这种单位区域设定处理。
[0100] 图像处理部41的影像信号生成部41c对由图像数据生成部41a生成的图像数据 实施伽马变换和D/A变换等处理,由此生成影像信号并输出到显示装置5等。
[0101] 控制部42在根据观察模式切换开关24的指示检测出进行了切换为通常光观察模 式的指示的情况下,对旋转滤波器驱动部35进行用于使通常光观察模式用的宽频带光从 光源装置3射出的控制。而且,旋转滤波器驱动部35根据控制部42的控制使电动机34进 行动作,使得第一滤波器组 32A插进白色光源31的射出光路上且使第二滤波器组32B从白 色光源31的射出光路上退离。
[0102] 另外,控制部42在根据观察模式切换开关24的指示检测出进行了切换为窄频带 光观察模式的指示的情况下,对旋转滤波器驱动部35进行用于使窄频带光观察模式用的 多个频带的窄频带光从光源装置3射出的控制。
[0103] 而且,旋转滤波器驱动部35根据控制部42的控制使电动机34进行动作,使得第 二滤波器组32B插进白色光源31的射出光路上且使第一滤波器组32A从白色光源31的射 出光路上退离。
[0104] ΕΦ,根据上述说明的内窥镜装置1的结构,在选择了通常光观察模式的情况下,能 够使具有与用肉眼观察生物体组织101等观察对象物的情况大致相同的色调的图像(通常 光图像)显示于显示装置5,并且存储于外部存储装置6。另外,根据上述说明的内窥镜装 置1的结构,在选择了窄频带光观察模式的情况下,能够使生物体组织101内包含的表层附 近的血管被强调的图像(窄频带光图像)显示于显示装置5,并且存储于外部存储装置6。
[0105] 如图5所示,构成图1的医疗用图像处理装置的运算部41b具有:图像输入部(简 称为输入部)43a,其从图像数据生成部41a被输入由CCD 23拍摄生物体粘膜得到的生物体 粘膜图像(的图像数据);预处理部43b,其对输入到输入部43a的上述生物体粘膜图像进 行预处理;区域提取部43c,其提取与预处理过的粘膜微细构造对应的粘膜微细构造区域; 封闭区域识别部(或者粗略封闭区域识别部)43d,其识别视为被上述粘膜微细构造区域包 围的至少一个封闭区域(或者包围区域);以及单位区域设定部43e,其根据由上述区域提 取部43c提取出的上述粘膜微细构造区域以及由上述封闭区域识别部43d识别出的上述封 闭区域来设定单位区域。此外,并不限定于运算部41b具备输入部43a的结构,也可以设为 除运算部41b以外的图像处理部41 (例如图像数据生成部41a)具备输入部43a的结构。
[0106] 这样,本实施方式的作为医疗用图像处理装置的处理器4的特征在于具备运算部 41b,该运算部41b具有上述输入部43a、区域提取部43c、封闭区域识别部43d以及单位区 域设定部43e。此外,也可以构成为:不进行预处理,而区域提取部43c从输入到输入部43a 的上述生物体粘膜图像中提取与粘膜微细构造对应的粘膜微细构造区域。
[0107]另外,图5示出的单位区域设定部43e具备:作为特征量计算部的宽度计算部 44a,其根据粘膜微细构造区域或者封闭区域来计算带(belt)状的粘膜微细构造区域的宽 度,该宽度作为用于设定单位区域的范围的特征量;以及范围设定部44b,其根据上述宽度 的特征量来设定上述单位区域的范围。
[0108] 此外,构成运算部41b的输入部43a也可以由对运算部41b输入图像数据的输入 端构成。另外,示出将区域提取部43c、封闭区域识别部43d、单位区域设定部43e、宽度计算 部44a、范围设定部44b设置于由中央处理装置(CPU)等构成的运算部41b内的结构,但是 本实施方式并不限定于这种情况,也可以使用进行各个处理的专用的硬件来构成。例如,也 可以由区域提取电路、封闭区域识别电路、单位区域设定电路、宽度算出电路、范围设定电 路分别构成区域提取部43c、封闭区域识别部43d、单位区域设定部43e、宽度计算部44a、范 围设定部44b。关于后述的实施方式中的卷积运算部45a、粗略封闭区域候选像素检测和加 标记部45b等,也是同样的。
[0109] 接着,说明具备作为医疗用图像处理装置的处理器4的内窥镜装置1的作用。
[0110] 首先,手术师在接通内窥镜装置1各部的电源之后,在观察模式切换开关24中选 择通常光观察模式。而且,手术师一边观察在选择通常光观察模式时显示装置5所显示的 图像、即具有与用肉眼观察对象物的情况大致相同的色调的图像一边将内窥镜2插入到体 腔内,由此使前端部21b接近观察对象的生物体组织101所存在的部位。
[0111] 当通过观察模式切换开关24选择通常光观察模式时,R光、G光以及B光各色光从 光源装置 3依次向生物体组织101射出,在内窥镜2中分别获取与该各色光相应的图像。
[0112] 图像处理部41的图像数据生成部41a当被输入与R光相应的图像、与G光相应的 图像以及与B光相应的图像时,分别生成与各图像对应的颜色成分的图像数据。
[0113] 接着,详细说明图像处理部41的运算部41b内包含的进行用于设定单位区域的单 位区域设定处理的动作。图6A示出用于进行单位区域设定处理的主要处理。
[0114]下面,在本实施方式中,在窄频带光观察模式下拍摄生物体组织1〇1上的形成上 皮形态(上皮构造)的胃部的幽门腺而得到的图像数据的例子中,针对将该图像数据内包 含的粘膜微细构造设为腺窝边缘上皮(MarginalCryptEpithelium :MCE)的情况,说明单位 区域设定处理。
[0115]图7示意性地示出在窄频带光观察模式下拍摄胃部的幽门腺得到的图像。在窄频 带光观察模式下进行拍摄,由此具有与宽频带光观察模式的情况相比更清楚地显示表层附 近的构造等的优点。另外,图8示出局部地切出图 7那样的图像的一部分的图像。在图7? 图8中,多个带状的MCE 51重叠存在,在被MCE 51包围的内侧的(通常成为封闭区域)区 域内存在窝间部52。另外,在窝间部52中分布血管53。
[0116]并且,由内窥镜2拍摄到的图像数据依赖于距离、角度等摄像条件、粘膜本身的状 态,因此既存在一个MCE 51的边界清楚的情况,又存在邻接的MCE 51的边界不清楚的情 况。
[0117]如图6A的步骤S1所示,将由图像数据生成部41a生成的图像数据从输入部43a 输入到运算部41b内的预处理部4?内。此外,本实施方式以及其它实施方式中的图像数 据由大小(横X纵的像素数)为ISXXISY、RGB这三个(颜色成分)图像构成, R、G以及 B的各图像分别具备由0至255的值构成的8比特的灰度。例如为ISXXISY二640X480。 [0118] 在下一步骤S2中,预处理部43b对被输入的图像数据进行噪声抑制、逆伽马校正 等预处理。在本实施方式中,作为噪声抑制,以大小为3X3的掩模尺寸应用公知的中值滤 波器(将包含关注像素的掩模内的像素值按大小排序,用中央值替换关注像素的值)。 [0119] 此外,伽马校正是为了在监视器等显示图像时视觉性地附加线性的灰度而应用的 非线性处理,逆伽马校正是将其恢复为原线性灰度的处理。因此,在未对输入到预处理部 43b的图像数据实施伽马校正的情况下,不需要进行逆伽马校正。
[0120] 进行了预处理的图像数据被输出到区域提取部43c。如步骤S3所示,区域提取部 41提取带状的MCE区域MAi(i > 1)作为与粘膜微细构造对应的粘膜微细构造区域。 [0121] MCE区域MAi的提取方法例如使用日本专利第44091明号公报所记载的基于模板 匹配的构造成分提取方法。图6B示出用于模板匹配的半椭圆形状。
[0122] 此外,也可以将用于模板制作的半椭圆形状的宽度W设为W = 3?9 (1. 0步长), 将深度D设定为与MCE区域MAi的深度对应的值。其它参数直接使用日本专利第4409166 号公报的实施例所记载的值即可。
[0123] 另外,与日本专利第44〇9166号公报的实施例同样地,以RGB三个图像中的G图像 为对象来实施处理即可。将这种提取方法应用于图7或者图8的图像数据,例如图9所示 提取MCE区域MA1。将提取出的MCE区域MA1输出到封闭区域识别部43d。此外,在图9中 用斜线表示提取出的MCE区域Ml·。
[0124]在图6A中的下一步骤S4中,封闭区域识别部43d进行以下处理:检测或者识别由 被检测为粘膜微细构造区域的MCE区域MAi粗略包围的(换言之,作为被MCE区域MAi包围 的封闭区域或者视为被MCE区域MAi包围的粗略的封闭区域的)粗略封闭区域 [0125]此外,在第一实施方式及其变形例中,粗略封闭区域CAj成为被包围的封闭区域, 在后述的第二实施方式中,粗略封闭区域CAj包括被包围的封闭区域以及没有被完全包围 但被粗略包围的粗略的封闭区域。
[0126]为了进行步骤S4的处理,对于除被检测为MCE区域MAi的区域以外的像素的区域 实施公知的加标记。在对于图9的MCE区域MA1的检测结果进行应用的情况下,MCE区域 MA1如图10所示那样被分割为七个标签u?L7。此外,在图10中,在图9的MCE区域MA1 实施包围开口的区域、使未闭合的端部闭塞的处理。在图10中用斜线表示 MCE区域MAh [0127]将各标签L1?L7中的除标签内的像素包含图像数据的最外周像素 (X坐标为〇 或者639的像素、以及Y坐标为0或者479的像素)的标签以外的标签设为粗略封闭区域 CAj。在应用于图10的情况的例子中,除标签L7以外的标签L1?L6分别成为粗略封闭区 域CA1?CA6。由封闭区域识别部43d检测或者识别出的粗略封闭区域CA1?CA6的信息 被输出到单位区域设定部43e。
[0128] 在下一步骤S5中,单位区域设定部4:3e的范围设定部44b进行以下处理:根据粗 略封闭区域CAj计算作为MCE区域MAi的特征量的宽度,并设定单位区域UAj的范围。
[0129] 单位区域设定部43e的宽度计算部44a首先计算作为与粗略封闭区域CAj邻接的 MCE区域MAi的特征量的宽度Wk(k彡1)。宽度计算部44a例如从与邻接于粗略封闭区域 CAj的MCE区域MAi之间的(例如粗略封闭区域CAj侧的)边界像素 BPk起,在与邻接于 MCE区域MAi的该粗略封闭区域CAj相反的方向上扫描像素,对MCE区域MAi的像素数进行 计数,由此计算该边界像素 BPk处的宽度Wk。
[0130] 图11示出计算以粗略封闭区域CA3为对象的情况下的例如三个代表方向上的宽 度Wl、W2、W3的例子以及关注边界像素 BP2而计算一个方向上的宽度W2的情况下的放大 图。此外,在图11中用斜线表示MCE区域MA1。
[0131] 在图11中,示出在粗略封闭区域CA3外周设定三个边界像素 BP1、BP2、BP3的情况 下分别从各边界像素 BP1、BP2、BP3起计算与粗略封闭区域CA3邻接的MCE区域MA1的宽度 W1、W2、W3的情形。下面,针对一个边界像素 BP2的情况进行参照包含该边界像素 BP2的一 部分放大图计算宽度W2的说明。
[0132] 如图11的放大图所示,与边界像素 BP2邻接的粗略封闭区域CA3位于左下方向 (在图11中用A表示的方向),因此从边界像素 BP2起在成为与该左下方向相反方向的右 上方向上扫描像素。当一边在右上方向(在图11中为粗略封闭区域CA4侧)上进行扫描 一边对MCE区域MA1的像素数进行计数时成为8像素(pixels),该8pixels成为宽度W2的 值。
[0133] 此外,在与边界像素 BPk邻接的粗略封闭区域CAj存在多个像素的情况下,在各方 向上进行扫描并对像素数进行计数,将像素数最小的值设为宽度Wk的值。在图11中仅例 示了粗略封闭区域CA3中的离散地示出的边界像素 BP1、BP2、BP3这三个像素,但是在全部 边界像素 BPk实施该宽度Wk的计算。
[0134] 接着,将用全部边界像素 BPk计算出的宽度Wk的平均值设为与粗略封闭区域CAj 邻接的MCE区域MAi的区域尺寸ASj。而且,范围设定部44b根据宽度计算部44a对宽度的 计算,设定或者决定将粗略封闭区域CAj与位于从粗略封闭区域CAj起区域尺寸ASj的范 围的MCE区域Mi加在一起而得到的区域作为单位区域UAj的范围。
[0135] 图12示出在将图11中说明的粗略封闭区域CA3设为对象的情况下设定的单位区 域UA3的例子以及与粗略封闭区域CA3邻接的MCE区域MA1的区域尺寸AS3。此外,在图12 中用斜线表示所设定的单位区域UA3。图12的单位区域UA3成为将粗略封闭区域CA3与带 状的MCE区域MA1加在一起而得到的区域,该带状的MCE区域MA1以包围该粗略封闭区域 CA3的方式位于从该粗略封闭区域CA3的外周边界(周缘边界)起以上述宽度的平均值决 定的区域尺寸AS3的范围。此外,也可以将位于包围粗略封闭区域CA3的(例如以宽度的 平均值决定的)区域尺寸AS3的范围的带状的MCE区域MA1标记为MCE区域MA1-3。当使 用该标记时,图12的单位区域UA3由粗略封闭区域CA3以及包围该粗略封闭区域CA3的带 状的MCE区域MA1-3构成。
[0136] 在上述说明中以粗略封闭区域CA3为对象,例示了根据粗略封闭区域CAj计算作 为包围该粗略封闭区域CAj的带状的MCE区域MAi的特征量的宽度Wk并设定单位区域UAj 的范围的处理或者方法,但是实际上对于所有的粗略封闭区域CAj均实施。
[0137] 此时,如图13所示,允许某一单位区域UA3的范围与其它单位区域UA2的范围重 叠。
[0138] 根据图13,用斜线表示根据在图12中说明的粗略封闭区域CA3设定的单位区域 UA3。另外,根据图13,通过与粗略封闭区域CA3的情况相同的处理,用斜线表示根据粗略封 闭区域CA2设定的单位区域UA2。
[0139] 而且,根据图13,单位区域UA2与单位区域UA3的用交叉影线表示的区域重叠,但 是在设定单位区域的情况下,允许像这样某个单位区域的一部分与其它单位区域的一部分 重叠。换言之,单位区域设定部43e在对多个封闭区域进行单位区域的设定的情况下,对上 述多个封闭区域分别独立地进行上述单位区域的设定,其结果,允许如图13所示那样单位 区域的一部分(具体地说带状的MCE区域)相互重叠。
[0140] 如上所述,能够根据图像数据将在生物体组织学上成为一个单位的区域设定为单 位区域UAj。换言之,能够根据图像数据将包含血管 53的窝间部52那样的一个封闭区域或 被视为封闭区域的粗略封闭区域CAj以及包围该粗略封闭区域CAj的带状的闭合环状的一 个MCE区域MAi设定为单位区域UAj。
[0141] 在上述说明中,说明在计算MCE区域MAi的宽度Wk的情况下使用粗略封闭区域 CAj的边界像素 BPk来进行计算的情况,但是也可以根据MCE区域MAi来进行计算。换言 之,宽度计算部44a那样的特征量计算部可以根据作为粘膜微细构造区域的MCE区域MAi 来计算用于设定单位区域的范围的特征量,或者也可以根据作为封闭区域的粗略封闭区域 CAj来计算用于设定单位区域的范围的特征量。
[0142] 此外,图6A中的步骤S2中的预处理内容并不限定于噪声抑制与逆伽马校正,也可 以施加明亮度、色调的校正等。另外,预处理的各方法也并不限定方法,也可以根据作为对 象的图像、设备的特性来进行变更。例如在本实施方式中,使用中值滤波器作为噪声抑制的 方法,但是也可以使用平滑化滤波器等其它方法作为噪声抑制的方法。
[0143] 步骤S3中的MCE区域MAi的检测或者提取方法并不限定于上述构造成分提取方 法,也可以使用其它方法。例如也可以是对亮度值、色调等像素值的阈值处理、使用了伽柏 滤波器等各种频率滤波器的方法、使用了作为公知技术的海赛矩阵(Hessian matrix)、矢 量集中度的线段检测处理。
[0144] 步骤S4中的粗略封闭区域CAj的检测或者识别方法并不限定于使用上述加标记 的方法,也可以使用其它方法。例如也可以通过扫描检测出的MCE区域MAi的边界像素BPk 来搜索封闭区域,从而检测粗略封闭区域CAj。
[0145] 在步骤S5中,宽度Wk是通过从边界像素 BPk起对像素数进行计数来进行计算的, 但是并不限定于该方法,也可以使用将在步骤S3的提取MCE区域MAi时使用的模板、滤波 器的尺寸用作宽度Wk等其它方法。
[0146] 另外,在全部边界像素 BPk中实施了宽度Wk的计算,但是并不限定于使用全部边 界像素BPk的情况,例如也可以从每隔几个像素进行采样的像素起计算宽度Wk。
[0147] 并且,区域尺寸ASj的计算并不限定于宽度Wk的平均值,也可以使用宽度Wk的最 频值、最小值、最大值等其它统计量。
[0148] 另外,区域尺寸ASj的计算并不限定于使用宽度Wk的方法,也可以根据粗略封闭 区域CAj的尺寸、形状等来计算,还可以由用户设定任意的值。另外,也可以根据粗略封闭 区域CAj的面积等来决定用于规定单位区域的范围的区域尺寸ASj。
[0149] 并且,在本实施方式中,以距粗略封闭区域CAj的边界像素的距离来设定单位区 域UAj的范围,但是并不限定于该方法,例如也可以以粗略封闭区域CAj的中心点(重心) 等为基准来设定单位区域UAj的范围。
[0150] 在图13中示出允许各单位区域UAj重叠的例子,但是也可以判断重叠的部分属于 哪一个单位区域UAj并分割重叠的区域。
[0151] 另外,在上述说明中,说明了单位区域UAj包含MCE区域MAj,但是也可以定义为单 位区域UAj不包含MCE区域MAj。在该定义的情况下,成为单位区域UAj =粗略封闭区域 CAj。
[0152] 也可以将被设定为单位区域UAj的各像素保持为图像数据,通过影像信号生成部 41c生成影像信号,由此在显示装置5等中进行图像显示。
[0153] 根据本实施例的方式,针对粘膜微细构造,能够将在生物体组织学上成为一个单 位的范围以能够分离或提取为单位区域的方式进行设定,因此能够辅助作为医疗用图像的 内窥镜图像上的各构造的诊断等。换言之,根据本实施例的方式,能够针对粘膜微细构造将 在生物体组织学上成为一个单位的范围分离设定或者提取为单位区域等。
[0154] 因此,在复杂的图像数据中也能够从要诊断的区域中按每个在生物体组织学上成 为一个单位的范围的单位区域进行分离或者提取,因此容易进行诊断等。与此相对地,在无 法设定本实施方式那样的在生物体组织学上成为一个单位的范围的以往例的情况下,需要 对在生物体组织学上多个单位地连接而成的复杂的范围进行诊断,从而难以进行诊断等。 因而,根据第一实施方式,如上所述容易进行诊断,从而能够有效地辅助手术师等进行诊断 等。另外,在要提取比单位区域大的区域的情况下,也能够以单位区域为单位来容易地提取 所期望的区域尺寸的区域。
[0155] 接着,说明第一实施方式的变形例。在本变形例中,说明例如能够在由于由癌症引 起的组织被破坏、摄像条件等导致MCE区域MAi没有呈现完整的闭合曲线的情况下高精度 地检测单位区域UAj的图像处理装置以及处理方法。具体地说,由于癌细胞的增殖而正常 粘膜细胞被破坏或者被替换,由此有时MCE变得不清楚。下面,主要参照图14A至图18来 进行说明。
[0156]本变形例相当于与对第一实施方式中的步骤S4的粗略封闭区域CAj进行检测的 处理有关的变形例,在第一实施方式中的步骤S3中检测出的MCE区域MAi没有呈现完整的 闭合曲线的情况等在第一实施方式中无法高精度地检测粗略封闭区域CAj的情况下也能 够应用本变形例。
[0157] 本变形例的结构与第一实施方式几乎相同。具体地说,第一实施方式中的构成图 像处理部41的运算部41b如在图5中用虚线所示的那样,还具有对生物体粘膜图像设定虚 拟的粘膜微细构造区域的虚拟粘膜微细构造设定部43f。
[0158] 在本变形例的情况下,虚拟粘膜微细构造设定部43f设定虚拟的MCE区域MAi作 为虚拟的粘膜微细构造区域。因此,虚拟粘膜微细构造设定部43f具有虚拟的MCE区域设 定部的功能。
[0159] 另外,在本变形例中,封闭区域识别部43d将被由区域提取部43c提取出的粘膜微 细构造区域以及由虚拟粘膜微细构造设定部43f设定的虚拟的粘膜微细构造区域(具体地 说虚拟的MCE区域MAi)包围的区域识别为在第一实施方式中说明的封闭区域(或者粗略 封闭区域)。
[0160] 另外,本变形例的处理如图14B所示,在图6的处理中,在步骤S3之后,在步骤S11 中,如在后文中所述检测MCE区域MAj处的开口的开口端,虚拟粘膜微细构造设定部43f进 行用虚拟腺VLx连接开口端的处理,在用该虚拟腺VLx进行连接的处理之后进行步骤S4的 处理。其它处理成为与第一实施方式相同的处理。因而,主要仅对与第一实施方式的区别 点进行说明。
[0161] 图14A示出在步骤S3中检测或者提取MCE区域MA1的例子。下面,作为图14A中 的用阴影表示的未闭合的粗略封闭区域CAj的候选区域CCAj而进行说明。而且,在本变形 例中,对于候选区域CCAj,也与实质上(闭合的)粗略封闭区域CAj的情况同样地识别为封 闭区域,能够与粗略封闭区域CAj的情况同样地设定单位区域。
[0162] 与在图6A中说明的处理同样地进行图14B中的步骤S1至S3的处理。然后,在步 骤S3中,区域提取部43c提取如图14A所示的MCE区域MAi(在图14A中i = 1),输出到虚 拟粘膜微细构造设定部43f。在如上所述那样提取出的MCE区域MAi中,在具有未闭合的两 个开口端的情况下,被该两个开口端以外的部分包围的开放区域成为粗略封闭区域CAj的 候选区域CCAj。因此,对于这种开放区域的候选区域CCAj的情况,也(如下所述那样检测 芯线Cli并)连接开口端等从而设定封闭区域,使得能够设定在生物体组织学上成为一个 单位的单位区域。
[0163] 本变形例中的虚拟粘膜微细构造设定部43f进行以下那样的处理。
[0164] 虚拟粘膜微细构造设定部43f首先针对MCE区域MAj通过公知的细线化等方法检 测MCE区域MAi的芯线CLi。图15示出芯线CLi的检测例。此外,在图15至图18中用斜 线表示MCE区域MAi(i = 1)。接着,虚拟粘膜微细构造设定部43f在如图14B的步骤S11 所示那样检测出的芯线CLi存在未闭合的端点(还称为开口的端)的情况下,用虚拟线 VLX(X > 1)将端点之间进行连接。
[0165] 图16示出虚拟线VLx的连接例。接着,与第一实施方式中的进行图6A的步骤S4 的情况同样地实施公知的加标记,但是将作为加标记的对象的像素设为除被检测为MCE区 域MAi的区域和虚拟线VLx以外的像素。在此以后的处理与第一实施方式相同。
[0166] 如图17所示,通过使用虚拟线VLx,能够检测出仅在MCE区域MA1中未形成封闭 区域的标签L7的区域。此外,在区域尺寸ASj和宽度Wk的计算中,不使用虚拟线VLx的像 素,与第一实施方式同样地仅使用MCE区域MAi的边界像素 BPk。然后,在步骤S4之后进行 步骤S5的单位区域UAj的设定,结束图14B的处理。
[0167] 此外,在本变形例中,用直线的虚拟线VLx将芯线CLi的端点之间进行了连接,但 是也可以用曲线等进行连接。
[0168] 另外,如图18所示,也可以从各芯线CLi的端点起在端点上的芯线CLi的延伸方 向或者带状的MCE区域的延伸方向上划虚拟线VLx (在图18中为VL1、VL2),使用其交叉点 来检测或者识别粗略封闭区域CAj。由此,存在能够与用直线将端点之间进行连接的情况相 比高精度地检测复杂形状的粗略封闭区域CAj的情况。
[0169] 根据本变形例,除了具有与第一实施方式相同的效果以外,还在由于由癌症引起 组织被破坏等导致MCE区域MAi没有呈现完整的闭合曲线的情况下,也能够以高精度来设 定单位区域UAj。
[0170] (第二实施方式)
[0171] 接着,参照图19A-图27来说明本发明的第二实施方式。关于拍摄粘膜微细构造 得到的内窥镜图像,如图20的示意图所示,例如由于由癌症引起组织被破坏、摄像条件等 导致邻接的窝间部52之间的MCE 51有时如用虚线所示那样变得不清楚。
[0172] 在本实施方式中,说明在这种情况下不像用图21的阴影图案所示那样设定为一 个大的单位区域UAj而能够将各窝间部52设定为分开的单位区域的图像处理装置以及其 处理方法。下面,参照图19A至图27来进行说明。
[0173] 本实施方式相当于在第一实施方式中的步骤S1至步骤S3进行相同的处理而在步 骤S4以后的粗略封闭区域CAj的检测和单位区域UAj的设定中使用不同的处理的情况,说 明其处理。因而,仅说明与第一实施方式的区别点。
[0174] 本实施方式的医疗用图像处理装置具有与图1相同的结构,如图19A所示,本实施 方式中的运算部41b具有(在第一实施方式中)上述输入部43a、预处理部43b、区域提取 部43c、封闭区域识别部43d以及单位区域设定部43e。
[0175] 在本实施方式中,封闭区域识别部43d具有使用匹配滤波器的卷积运算部45a以 及对粗略封闭区域的候选像素进行检测和加标记的粗略封闭区域候选像素检测和加标记 部4此。此外,也可以构成为将粗略封闭区域候选像素检测和加标记部45b分为对粗略封闭 区域的候选像素进行检测的粗略封闭区域候选像素检测部以及对检测出的粗略封闭区域 的候选像素进行加标记的加标记部。另外,本实施方式中的单位区域设定部43e使用与第 一实施方式不同的处理(具体地说上述匹配滤波器的信息)来进行单位区域的设定。
[0176] 然后,按照图19B示出的处理来进行设定单位区域的处理。
[0177] 图19B的步骤S21与第一实施方式的步骤S3的MCE区域检测相等,例如当在图20 中应用该MCE检测处理时得到图22那样的MCE区域MAi的检测结果。此时,MCE不清楚的 区域有时不被检测为MCE区域MAi。此外,在图20中用阴影图案表示MCE 51。图22的MCE 区域MAi也同样用阴影图案表示。
[0178] 接着,如步骤S22所示,封闭区域识别部43d的卷积运算部45a对该MCE区域MAi 实施使用了匹配滤波器MF的卷积运算。关于匹配滤波器MF,例如在图23那样的43 X 43尺 寸的矩形区域中使用设计了内侧半径llpixels、外侧半径21pixels的环型的匹配滤波器 MF。此外,关于匹配滤波器MF中的滤波器系数,将灰色的环型部分设为丨,将除此以外的白 色部分设为0。
[0179] 另外,在使用该匹配滤波器MF对MCE区域MAi的图像数据进行卷积运算时,关于 该图像数据的像素值,如图24所示,将用阴影图案表示的属于MCE区域MAi的像素设为1, 将除此以外的像素设为0。
[0180]然后,卷积运算的结果是,对图像数据的全部像素计算匹配滤波器响应值 RVy(0 彡 y<ISXXISY)。
[0181]在下一步骤S23中,封闭区域识别部43d的粗略封闭区域候选像素检测和加标记 部45b使用以下式(1),利用阈值Threl来检测或者识别匹配滤波器响应值RVy高的像素、 即粗略封闭区域候选像素 CPz(z > 1)。此外,本实施方式中的匹配滤波器mf的系数的合 计CT为908。另外,例如将阈值Threl设为〇· 6。当检测满足式(1)的像素(=粗略封闭 区域候选像素 CPz)时得到图25那样的结果。此外,粗略封闭区域候选像素CPz表示满足 式⑴的各像素。在图25中用阴影图案表示MCE区域MAi。
[0182] 匹配滤波器响应值RVyA匹配滤波器MF的系数的合计CT)>Threl …(1)
[0183]在下一步骤S24中,粗略封闭区域候选像素检测和加标记部45b对粗略封闭区域 候选像素 CPz头施公知的加标记。其结果,例如图26所不,被分割为六个标签(L1,?L6,)。 [0184]在下一步骤S25中,单位区域设定部43e从各标签L1,?L6,各自的标签的边界 像素起将匹配滤波器MF外侧的圆的半径长度(在本实施方式中为 21pixels)的范围分别 设定为单位区域UAj。在图27中示出以标签L2,为例的情况下的单位区域UA2。对与该单 位区域UA2邻接的标签L3'等也应用同样的处理,由此能够设定单位区域。此外,与第一实 施方式及其变形例同样地,允许各单位区域UAj的范围重叠。
[0185]此外,在本实施方式中,作为匹配滤波器MF,仅利用一种环型滤波器,但是形状、尺 寸、滤波器的个数并不限定于此,也可以使用类圆形、多角形等匹配滤波器,还可以应用尺 寸、形状不同的多个匹配滤波器,并在应用多个匹配滤波器的情况下采用滤波器的响应值 RVy最大的匹配滤波器。
[0186]另外,在本实施方式中,根据匹配滤波器MF的半径来设定单位区域UAj的范围,但 是并不限定于该方法,也可以根据各标签L1'?L6,的大小来计算范围,还可以由用户预先 指定。
[0187]根据本实施方式,在由于由癌症引起组织被破坏、摄像条件等导致邻接的窝间部 之间的MCE不清楚而多个单位区域UAj结合的情况下,或者在使用公知的细线化提取出的 芯线CLi的端点不清楚的情况下,也能够将它们进行分割而高精度地设定各单位区域 UAj 的范围。
[0188]在包含上述变形例的情况的全部实施方式中,说明了使用输入了处理对象的图像 数据整体的情况,但是也可以由用户设定任意的区域而仅将所设定的区域的范围内作为处 理对象区域。
[0189]另外,使用在窄频带观察模式下拍摄到的G图像来进行了说明,但是也可以使用 RGB的其它颜色信号(具体地说R图像或者b图像),还可以使用通过G/R、G(R+G+B)等各 颜色信号的组合计算出的运算结果。另外,也可以使用除窄频带观察模式以外的观察模式 下拍摄到的图像数据。
[0190]另外,在包含变形例的情况的全部实施方式中,举例说明了胃部的幽门腺粘膜的 MCE,但是并不限定作为对象的脏器,也能够应用于胃部的胃底腺粘膜、肠上皮化生、大肠、 小肠、食道等其它消化管脏器。具体地说,可举出大肠的呈现管状、绒毛状观察结果的肿瘤 性病变、巴雷特食道粘膜等。
[0191] 同样地,作为对象的粘膜微细构造并不限定于MCE,也可以使用血管、pit、SurfaCe pattern(表面图案)等其它粘膜微细构造。在该情况下,根据作为对象的粘膜微细构造适 当地变更检测粘膜微细构造时的阈值、滤波器系数等。
[0192]阈值、滤波器的系数等数值并不限定于本说明书所记载的数值,也可以施加值的 变更。
[0193] 除此以外,也可以在不改变发明的宗旨的范围内进行各种变更。
[0194] 如上所述,根据本发明的医疗用图像处理装置以及使用了医疗用图像处理装置的 医疗用图像处理方法,能够根据被拍摄为医疗用图像的粘膜微细构造来设定分割、提取为 单位区域的区域,其结果,能够辅助用户的观察和诊断。
[0195](第三实施方式)
[0196]在本发明的第三实施方式中,说明根据被拍摄为作为医用图像的内窥镜图像的粘 膜微细构造来设定单位区域、并根据所设定的单位区域来辨别包含一个以上作为单位的单 位区域的区域的粘膜的状态的医疗用图像处理装置。图28至图43D涉及本发明的第三实 施方式。
[0197]如图28所示,内窥镜装置501构成为具有:内窥镜502,其被插入到被检者的体 腔内,对拍摄该体腔内的生物体组织601等被摄体而得到的图像进行信号输出;光源装置 5〇3,其发出用于照明生物体组织 6〇1的照明光;处理器504,其构成医疗用图像处理装置, 该医疗用图像处理装置对来自内窥镜5〇2的输出信号实施各种处理;显示装置505,其显示 与来自处理器 5〇4的影像信号相应的图像;以及外部存储装置506,其存储与处理器5〇4中 的处理结果相应的输出信号。
[0198]内窥镜502构成为具有:插入部521a,其具备能够插入到被检者的体腔内的细长 的形状和尺寸;前端部521b,其设置于插入部521a的前端侧;以及操作部521c,其设置于 插入部521a的基端侧。另外,在插入部 52ia的内部贯穿有光导件507,该光导件507用于 将在光源装置503中发出的照明光传送到前端部521b。
[0199]光导件507的一端面(光入射端面)装卸自如地连接于光源装置5〇3。另外,光导 件507的另一端面(光出射端面)被配置在设置于内窥镜5〇2的前端部521b的未图示的 照明光学系统附近。根据这种结构,在光源装置 503中发出的照明光在经过与光源装置5〇3 相连接的光导件507以及设置于前端部52ib的未图示的照明光学系统之后射出到体腔内 的生物体组织601。
[0200]在内窥镜j〇2的前端部52lb设置有对被摄体的光学像进行成像的物镜光学系统 522以及电荷耦合元件(简称为CCD)523,该电荷耦合元件523被配置于物镜光学系统 522 的成像位置,构成拍摄光学像而获取为图像的摄像部。另外,在内窥镜5〇2的操作部521c 中设置有观察模式切换开关524,该观察模式切换开关524能够进行用于将观察模式切换 为通常光观察模式和窄频带光观察模式中的任一个的指示。
[0201]光源装置5〇3具有:白色光源531,其由氙气灯等构成;旋转滤波器532,其将从白 色光源531发出的白色光设为面顺序式的照明光;电动机533,其驱动旋转滤波器532进行 旋转;电动机 534,其使旋转滤波器532和电动机533在与白色光源531的射出光路垂直的 方向(在图1中附图标记B)上进行移动;旋转滤波器驱动部 535,其根据处理器504的控 制部542的控制来驱动电动机533和34 ;以及聚光光学系统536,其会聚通过了旋转滤波器 532的照明光并提供给光导件507的入射端面。
[0202]如图29所示,旋转滤波器532呈以中心为旋转轴的圆盘形状,具有:第一滤波器 组532A,其具备沿着内周侧的周向设置的多个滤波器;以及第二滤波器组532B,其具备沿 着外周侧的周向设置的多个滤波器。而且,电动机533的驱动力传递到上述旋转轴,由此使 旋转滤波器5 32旋转。此外,在旋转滤波器532中,除配置有第一滤波器组532A和第二滤 波器组53?的各滤波器的部分以外的部分由遮光部件构成。
[0203]第一滤波器组532A构成为具有使红色波长频带的光通过的R滤波器532r、使绿 色波长频带的光通过的G滤波器532g以及使蓝色的波长频带的光通过的B滤波器532b,R 滤波器532r、G滤波器532g以及B滤波器532b各自沿着旋转滤波器532内周侧的周向设 置。
[0204] 例如图3〇所示,R滤波器5:32r具有主要使600nm至700nm的光(R光)透过那样 的结构。另外,例如图30所示,G滤波器532g具有主要使500nm至600nm的光(G光)透过 那样的结构。并且,例如图30所示,B滤波器532b具有主要使400nm至500nm的光(B光) 透过那样的结构。此外,在图30中,简单用R、G、B表示R滤波器532r、G滤波器532g、B滤 波器532b。
[0205] 而且,在白色光源531中发出的白色光经由第一滤波器组532A,由此生成通常光 观察模式用的宽频带光。
[0206] 第二滤波器组532B构成为具有使蓝色且窄频带的光透过的Bn滤波器821b以及 使绿色且窄频带的光透过的Gn滤波器821g,Bn滤波器821b以及Gn滤波器821g各自沿着 旋转滤波器532外周侧的周向设置。
[0207] 例如图31所示,Bn滤波器821b构成为使其中心波长被设定为415nm左右并且与 B光相比窄频带的光(Bn光)透过。
[0208]另外,例如图31所示,Gn滤波器821g构成为使中心波长被设定为540nm左右并 且与G光相比窄频带的光(Gn光)透过。此外,在图31中,简单用Bn、Gn表示Bn滤波器 821b、Gn 滤波器 821g。
[0209] 而且,在白色光源531中发出的白色光经过第二滤波器组532B,由此生成离散化 的窄频带光观察模式用的多个频带的窄频带光。
[0210] 处理器504具有具备作为本实施方式的医疗用图像处理装置的功能的结构。具体 地说,如图1所示那样处理器504构成为具有图像处理部541和控制部542。另外,图像处 理部541构成为具有图像数据生成部541a、运算部541b以及影像信号生成部541c。
[0211] 图像处理部541的图像数据生成部541a根据控制部542的控制对来自内窥镜502 的输出信号实施噪声去除和A/D变换等处理,由此生成与在CCD 523中得到的图像对应的 图像数据。
[0212] 图像处理部541的运算部541b使用由图像数据生成部541a生成的图像数据来进 行规定的处理,由此从拍摄生物体组织601得到的图像数据中提取出生物体的粘膜微细构 造,并且进行根据上述粘膜微细构造来设定基于规定条件的单位区域的运算,并且在设定 包含作为要关注的单位区域的关注单位区域的辨别对象区域之后,根据特征量的计算,进 行辨别辨别对象区域的粘膜状态的处理。
[0213] 此外,在本实施方式中,设为在上述图像数据中含有生物体的粘膜微细构造,针对 上述粘膜微细构造进行单位区域设定处理,该单位区域设定处理是将在生物体组织学上成 为一个单位的区域或者范围设定为单位区域的处理。在后文中详细说明这种单位区域设定 处理。
[0214] 图像处理部541的影像信号生成部541c对由图像数据生成部541a生成的图像数 据实施伽马变换和D/A变换等处理,由此生成影像信号并输出到显示装置505等。
[0215] 控制部542在根据观察模式切换开关524的指示检测出进行了切换为通常光观察 模式的指示的情况下,对旋转滤波器驱动部535进行用于使通常光观察模式用的宽频带光 从光源装置503射出的控制。而且,旋转滤波器驱动部535根据控制部542的控制使电动 机534进行动作,使得第一滤波器组532A插进白色光源531的射出光路上且使第二滤波器 组532B从白色光源531的射出光路上退离。
[0216] 另外,控制部542在根据观察模式切换开关524的指示检测出进行了切换为窄频 带光观察模式的指示的情况下,对旋转滤波器驱动部535进行用于使窄频带光观察模式用 的多个频带的窄频带光从光源装置503射出的控制。
[0217] 而且,旋转滤波器驱动部535根据控制部542的控制使电动机534进行动作,使得 第二滤波器组532B插进白色光源531的射出光路上且使第一滤波器组532A从白色光源 531的射出光路上退离。
[0218] 即,根据上述说明的内窥镜装置501的结构,在选择了通常光观察模式的情况下, 能够使具有与用肉眼观察生物体组织601等观察对象物的情况大致相同的色调的图像(通 常光图像)显示于显示装置505,并且存储于外部存储装置506。另外,根据上述说明的内 窥镜装置501的结构,在选择了窄频带光观察模式的情况下,能够使生物体组织601内包含 的表层附近的血管被强调的图像(窄频带光图像)显示于显示装置505,并且存储于外部存 储装置506。
[0219] 如图32所示,构成医疗用图像处理装置的运算部541b具有:图像输入部(简称为 输入部)543a,其从图像数据生成部541a被输入由(XD 523拍摄生物体粘膜得到的作为医 用图像信息的生物体粘膜图像(的图像数据);预处理部543c,其对输入到输入部543a的 上述生物体粘膜图像进行预处理;区域提取部543c,其提取与预处理过的粘膜微细构造对 应的粘膜微细构造区域;以及封闭区域识别部(或者粗略封闭区域识别部)543d,其识别视 为被上述粘膜微细构造区域包围的至少一个封闭区域(或者包围区域)。
[0220] 该运算部541b还具有:单位区域设定部543e,其根据由上述区域提取部543c提 取出的上述粘膜微细构造区域以及由上述封闭区域识别部543d识别出的上述封闭区域来 设定一个以上的单位区域;以及特征量计算部543f,其根据由该单位区域设定部543e设定 的上述单位区域计算包含第一特征量等的特征量。
[0221] 该运算部541b还具有:辨别对象区域设定部543g,其基于由上述特征量计算部 54:3f计算出的特征量(具体地说第二特征量),根据多个单位区域设定辨别对象区域;辨别 部543h,其根据由上述特征量计算部54沉计算出的第一特征量,来辨别上述辨别对象区域 的粘膜的状态;以及关注单位区域设定部543i,其在由上述单位区域设定部543e设定了多 个单位区域的情况下,从多个单位区域中设定符合规定条件的、手术师等用户所关注的作 为一个单位区域的关注单位区域。此外,并不限定于将关注单位区域设定部543i设置于运 算部541b内部的情况,也可以设置于其外部。
[0222] 上述特征量计算部543f具有:第一特征量计算部544a,其计算作为用于辨别 部 543h辨别具有辨别对象区域的粘膜的状态的特征量的第一特征量;第二特征量计算部 544b,其计算作为用于设定辨别对象区域的特征量的第二特征量;以及第三特征量计算部 544c,其针对关注单位区域周围的单位区域计算与关注单位区域的相关性有关的第三特征 旦 -?. 〇
[0223] 此外,并不限定于运算部541b具备输入部543a的结构,也可以设为除运算部541b 以外的图像处理部541 (例如图像数据生成部541a)具备输入部543a的结构。
[0224] 这样,本实施方式的作为医疗用图像处理装置的处理器504的特征在于具有运算 部541b,该运算部541b具备上述输入部 543a、区域提取部543c、封闭区域识别部543d、单 位区域设定部54:3e、特征量计算部 543f(的第一特征量计算部544a)以及辨别部543h,也 可以根据需要来设置作为特征的结构要素以外的结构要素。此外,也可以构成为:不进行预 处理,而区域提取部541从输入到输入部54?的上述生物体粘膜图像中提取与粘膜微细 构造对应的粘膜微细构造区域。
[0225] 另外,图32示出的单位区域设定部543e具备:作为特征量计算部的宽度计算部 545a,其根据粘膜微细构造区域或者封闭区域来计算作为用于设定单位区域的范围的特征 量的带(belt)状的粘膜微细构造区域的宽度;以及范围设定部545b,其根据上述宽度的特 征量来设定上述单位区域的范围。
[0226] 在单位区域设定部543e设定多个单位区域的情况下,辨别对象区域设定部543g 根据第二特征量从上述多个单位区域中设定辨别对象区域,第一特征量计算部544a在辨 别对象区域设定部543g设定的辨别对象区域中进行第一特征量的计算。
[0227] 上述辨别对象区域设定部543g也可以具有设定在根据第二特征量设定辨别对象 区域时使用的阈值的阈值设定部 546a,根据由阈值设定部546a设定的阈值和第三特征量, 从关注单位区域及其周围的多个单位区域中设定辨别对象区域。另外,也可以在上述阈值 设定部546a中如图 32中用虚线表示的那样设置阈值选择部546b,通过阈值选择部546b从 作为多种阈值的距离的阈值、面积的阈值、次数的阈值中选择实际使用的一个阈值,使用所 选择的阈值来设定辨别对象区域。
[0228] 另外,辨别部543h具有辨别用阈值设定部547a,该辨别用阈值设定部547a设定用 于根据由第一特征量计算部544a计算出的第一特征量辨别粘膜的状态的辨别用阈值。
[0229] 此外,构成运算部541b的输入部543a也可以由对运算部541b输入图像数据的输 入端构成。另外,示出将区域提取部543c、封闭区域识别部543d、单位区域设定部543e、特 征量计算部543f、辨别对象区域设定部543g、辨别部543h以及关注单位区域设定部543i 等设置于运算部541b内的结构,但是本实施方式并不限定于这种情况,也可以使用进行各 个处理的专用的硬件来构成。
[0230] 接着,说明具备作为医疗用图像处理装置的处理器504的内窥镜装置501的作用。
[0231] 首先,手术师在接通内窥镜装置501各部的电源之后,在观察模式切换开关524中 选择通常光观察模式。而且,手术师一边观察在选择通常光观察模式时显示装置505所显 示的图像、即具有与用肉眼观察对象物的情况大致相同的色调的图像一边将内窥镜502插 入到体腔内,由此使前端部521b接近观察对象的生物体组织601所存在的部位。
[0232]当通过观察模式切换开关524选择通常光观察模式时,R光、G光以及B光各色光 从光源装置503依次向生物体组织601射出,在内窥镜502中分别获取与该各色光相应的 图像。
[0233] 图像处理部541的图像数据生成部541a当被输入与R光相应的图像、与G光相应 的图像以及与B光相应的图像时,分别生成与各图像对应的颜色成分的图像数据。
[0234] 接着,详细说明图像处理部541的运算部541b内包含的进行用于设定单位区域的 单位区域设定处理的动作。图33A中的步骤S501至S505表示用于进行单位区域设定处理 的主要处理。
[0235]下面,在本实施方式中,在窄频带光观察模式下拍摄生物体组织601上的形成上 皮形态(上皮构造)的胃部的幽门腺而得到的图像数据的例子中,针对将该图像数据内包 含的粘膜微细构造设为腺窝边缘上皮(MarginalCryptEpithelium :MCE)的情况,说明单位 区域设定处理。
[0236]图34示意性地示出在窄频带光观察模式下拍摄胃部的幽门腺得到的图像。在窄 频带光观察模式下进行拍摄,由此具有与宽频带光观察模式的情况相比更清楚地显示表层 附近的构造等的优点。另外,图35示出局部地切出图34的一部分或者与图34的一部分类 似的图像的一部分而得到的图像。在图34?图35中,多个带状的MCE 551重叠存在,在被 MCE 5δ1包围的内侧的(通常成为封闭区域的)区域内存在窝间部552。另外,在窝间部 552中分布血管553。
[0237] 并且,由内窥镜5〇2拍摄到的图像数据依赖于距离、角度等摄像条件、粘膜本身的 状态,因此既存在一个MCE 551的边界清楚的情况,又存在邻接的MCE 551的边界不清楚的 情况。在图35中,例如用附图标记B1表示的MCE5S1的边界清楚,但是用附图标记B2表示 的MCE 551的边界不清楚。
[0238]如图33A的步骤S5〇l所示,将由图像数据生成部541a生成的图像数据从输入部 543a输入到运算部541b内的预处理部54:3c内。此外,本实施方式以及其它实施方式中 的图像数据由大小(横X纵的像素数)为ISXXISY、RGB这三个(颜色成分)图像构成, R、G以及B的各图像分别具备由〇至255的值构成的8比特的灰度^例如为ISXXISY = 640X480。
[0239] 在下一步骤S502中,预处理部543c对被输入的图像数据进行噪声抑制、逆伽马校 正等预处理。在本实施方式中,作为噪声抑制,以大小3X3的掩模尺寸应用公知的中值滤 波器(将包含关注像素的掩模内的像素值按大小排列,用中央值来替换关注像素的值)。 [0240] 此外,伽马校正是为了在监视器等显示图像时视觉性地附加线性的灰度而应用的 非线性处理,逆伽马校正是将其恢复到原线性灰度的处理。因此,在未对输入到预处理部 543c的图像数据实施伽马校正的情况下,不需要进行逆伽马校正。
[0241]进行了预处理的图像数据被输出到区域提取部543c。如步骤S503所示,区域提取 部543c提取带状的MCE区域MBi (i彡1)作为与粘膜微细构造对应的粘膜微细构造区域。 [0242] MCE区域MBi的提取方法例如使用日本专利第4409166号公报所记载的基于模板 匹配的构造成分提取方法。图33B示出用于模板匹配的半椭圆形状。
[0243]此外,也可以将用于模板制作的半椭圆形状的宽度T设为T = 3?9(1. 0步长), 将深度Η设定为与MCE区域MBi的深度对应的值。其它参数直接使用日本专利第44〇9166 号公报的实施例所记载的值即可。
[0244] 另外,与日本专利第44〇9166号公报的实施例同样地,以RGB三个图像中的G图像 为对象来实施处理即可。将这种提取方法应用于图34或者图35的图像数据,例如图36所 示提取MCE区域MB1。将提取出的MCE区域MB1输出到封闭区域识别部543d。此外,在图 36中用斜线表示提取出的MCE区域MB1。
[0245] 在图33A中的下一步骤S504中,封闭区域识别部543d进行以下处理:检测或者 识别被检测为粘膜微细构造区域的MCE区域MBi粗略包围的(换言之,作为被MCE区域 MBi包围的封闭区域或者视为被MCE区域MBi包围的粗略的封闭区域的)粗略封闭区域 CBj (j 彡 1)。
[0246] 此外,在第三实施方式中,粗略封闭区域CBj成为被包围的封闭区域,但是也可以 在如上所述那样视为被包围的粗略的封闭区域的情况下应用。
[0247] 为了进行步骤S504的处理,对于除被检测为MCE区域MBi的区域以外的像素区域 实施公知的加标记。在对于图36的MCE区域MB1的检测结果进行应用的情况下,MCE区域 MB1如图37所示那样被分割为八个标签L11?L1S。此外,在图37中用斜线表示MCE区域 MBlo
[0248] 将各标签L11?L18中的除标签内的像素包含图像数据的最外周像素(X坐标为 〇或者639的像素、以及Y坐标为0或者479的像素)的标签L18以外的标签设为粗略封 闭区域CBj。在应用于图 37的情况的例子中,除标签L18以外的标签L11?L17分别成为 粗略封闭区域CB1?CB7。在图37中,没用附图标记明确表示全部CB1?CB7,但是例如在 图40中将标签L12、L13的封闭区域表示为CB2、CB3,在图38中将标签L13、L14的封闭区 域明确表示为CB3、CB4。由封闭区域识别部543d检测或者识别出的粗略封闭区域CB1? CB7的信息被输出到单位区域设定部543e。
[0249] 在下一步骤S505中,单位区域设定部543e的范围设定部545b进行以下处理:根 据粗略封闭区域CBj计算作为MCE区域MBi的特征量的宽度,并设定单位区域UBj的范围。
[0250] 单位区域设定部543e的宽度计算部545a首先计算作为与一个粗略封闭区域CBj 邻接的MCE区域MBi的特征量的宽度Tk (k彡1)。宽度计算部545a例如从与邻接于粗略封 闭区域CBj的MCE区域MBi之间的(例如粗略封闭区域CBj侧的)边界像素 BQk起,在与 邻接于MCE区域的该粗略封闭区域CBj相反的方向上扫描像素,对MCE区域MBi的像 素数进行计数,由此计算该边界像素 BQk处的宽度Tk。 t〇251] 图38示出计算以(j = 3的情况下的)粗略封闭区域CB3为对象的情况下的例如 三个代表方向上的宽度Tl、T2、T3的例子以及关注边界像素 BQ2而计算一个方向上的宽度 T2的情况下的放大图。此外,在图38中用斜线表示MCE区域MB1。
[0252] 在图38中,示出在粗略封闭区域CB3外周设定三个边界像素 BQ1、BQ2、BQ3的情况 下分别从各边界像素 BQ1、BQ2、BQ3起计算与粗略封闭区域CB3邻接的MCE区域MB1的宽度 T1、T2、T3的情形。下面,针对一个边界像素 BQ2的情况进行参照包含该边界像素 BQ2的一 部分放大图计算宽度Τ2的说明。
[0253] 如图38的放大图所示,与边界像素 BQ2邻接的粗略封闭区域CB3位于左下方向 (在图38中用Α表示的方向),因此从边界像素 BQ2起在成为与该左下方向相反方向的右 上方向上扫描像素。当一边在右上方向(在图38中为粗略封闭区域CB4侧)上进行扫描 -边对MCE区域MB1的像素数进行计数时成为8pixels,该8pixels成为宽度T2的值。
[0254] 此外,在与边界像素 BQk邻接的粗略封闭区域CBj存在多个像素的情况下,在各方 向上进行扫描并对像素数进行计数,将像素数最小的值设为宽度Tk的值。在图38中仅例 示了粗略封闭区域CB3中的离散地示出的边界像素 BQ1、BQ2、BQ3这三个像素,但是在全部 边界像素 BQk实施该宽度Tk的计算。
[0255] 接着,将用全部边界像素 BQk计算出的宽度Tk的平均值设为与粗略封闭区域CBj 邻接的MCE区域MBi的区域尺寸BSj。而且,范围设定部545b根据宽度计算部545a对宽度 的计算,设定或者决定将粗略封闭区域CBj与位于从粗略封闭区域CBj起区域尺寸BSj的 范围的MCE区域Mbi加在一起而得到的区域作为单位区域UBj的范围。
[0256] 图39示出在将图38中说明的粗略封闭区域CB3设为对象的情况下设定的单位区 域UB3的例子以及与粗略封闭区域CB3邻接的MCE区域MB1的区域尺寸BS3。此外,在图 39中用斜线表示所设定的单位区域UB3。在图39中单位区域BA3成为将粗略封闭区域CB3 与带状的MCE区域MB1加在一起而得到的区域,该带状的MCE区域MB1以包围该粗略封闭 区域CB3的方式位于从该粗略封闭区域CB3的外周边界起以上述宽度的平均值决定的区域 尺寸BS3的范围。
[0257] 在上述说明中以(j = 3的)粗略封闭区域CBj为对象,例示了根据粗略封闭区域 CBj计算作为包围该粗略封闭区域CBj的带状的MCE区域MBi的特征量的宽度Tk并设定单 位区域UBj的范围的处理或者方法,但是实际上对于所有的粗略封闭区域CBj均实施。
[0258] 此时,如图40所示,允许某一单位区域UB3的范围与其它单位区域UB2的范围重 叠。
[0259] 根据图40,用斜线表示根据在图39中说明的粗略封闭区域CB3设定的单位区域 UB3。另外,根据图40,通过与粗略封闭区域CB3的情况相同的处理,用斜线表示根据粗略封 闭区域CB2设定的单位区域UB2。
[0260] 而且,根据图40,单位区域UB2与单位区域UB3的用交叉影线表示的区域重叠,但 是在设定单位区域的情况下,允许像这样某个单位区域的一部分与其它单位区域的一部分 (具体地说带状的MCE区域)重叠。换言之,单位区域设定部543e在以将MCE区域设定成 包围多个封闭区域的方式进行单位区域的设定情况下,对上述多个封闭区域分别独立地进 行上述单位区域的设定,其结果,允许如图40所示那样单位区域的一部分的MCE区域相互 重叠。
[0261] 如上所述,能够根据图像数据将在生物体组织学上成为一个单位的区域设定为单 位区域UBj。换言之,能够根据图像数据将包含血管553的窝间部552那样的一个封闭区域 或被视为封闭区域的粗略封闭区域CBj以及包围该粗略封闭区域CBj的带状的闭合环状的 一个MCE区域MBi设定为单位区域UBj。此外,通过对拍摄生物体组织得到的图像中的处理 对象的区域应用单位区域的设定处理,由此能够将处理对象(或者其一部分)的区域识别 为以单位区域为单位的单位区域群(或者单位区域集合区域)。因此,还能够将上述单位区 域设定部543e视为将处理对象的区域识别为以单位区域为单位的单位区域的集合的单位 区域识别部。
[0262] 当这样图33A中的步骤S505的单位区域UBj的设定处理结束时,如下说明那样计 算单位区域UBj的特征量,由此设定包含单位区域UBj的辨别对象区域Ad,能够进行用于辨 别具有所设定的辨别对象区域Ad的粘膜的状态的处理。
[0263] 因此,在步骤S505之后的步骤S506中,关注单位区域设定部543i将存在于最 接近图像中心的距离的一个单位区域设定为关注单位区域UBin。图41A示出符合该条件 C1 (也就是说,存在于最接近图像中心的距离的一个单位区域)设定的关注单位区域UBin 的一例。
[0264] 在图41A示出的例子中,示出将图40所示的单位区域UB3设定为关注单位区域 UBin的情况。
[0265] 如图33A所示,在下一步骤S5〇7中,第二特征量计算部544b计算关注单位区域 UBin的外形(轮廓)的宽度的最大值,作为与该关注单位区域UBin的区域尺寸大小或者 区域形状有关的第二特征量。第二特征量计算部544b将计算出的宽度的最大值输出到辨 别对象区域设定部543g。此外,第二特征量计算部544b计算出的特征量并不限定于关注 单位区域UBin的宽度的最大值,也可以是宽度的平均值,还可以如后文中所述那样计算面 积。另外,也可以不计算面积,而计算关注单位区域UBin的周围长度。
[0266] 在下一步骤S508中,辨别对象区域设定部543g设定将作为由阈值设定部546a设 定的距离的阈值的、计算出的宽度的最大值Tmax的例如3倍设为直径的圆形区域Ac,将该 圆形区域Ac的内侧设定为辨别对象区域Ad。也就是说,阈值设定部546a根据作为第二特 征量的宽度的最大值来设定距离的阈值。
[0267] 在图41B中,示出将由步骤S508设定的圆形区域Ac的内侧(即距离的阈值以下) 设定为辨别对象区域Ad的设定例(在图41B中简称为Ac = Ad,但是Ac的内侧为Ad)。在 图41B示出的例子中,将以关注单位区域UBin(的重心位置)为中心、以计算出的宽度的最 大值Tmax的I/ 2的3倍为半径的圆形区域Ac设定为辨别对象区域Ad。而且,圆形区域Ac 的内侧包含的单位区域被设定为辨别对象区域Ad的单位区域群。在图41B中,还图示了在 图41A中示出的区域外侧的辨别对象区域Ad内包含的区域。
[0268] 此外,并不限定于将圆形区域Ac内侧设为辨别对象区域Ad的情况,例如也可以将 至少一部分包含在圆形区域Ac内的单位区域设定为辨别对象区域Ad的单位区域,或者将 至少一半以上的区域包含在圆形区域Ac内的单位区域设定为辨别对象区域Ad的单位区 域。另外,也可以将几乎整体包含在圆形区域Ac内的单位区域设定为辨别对象区域Ad的 单位区域。
[0269] 辨别对象区域设定部54:3g在设定(决定)辨别对象区域Ad之后,将其设定(决 定)的信息输出到特征量计算部543f的第一特征量计算部544a。
[0270] 如图33A中的步骤S5〇9所示,第一特征量计算部544a例如计算辨别对象区域 Ad 内包含的各单位区域的圆形度,并计算它们的平均圆形度,来作为辨别对象区域Ad的第一 特征量。
[0271] 图42示出作为图ΜΑ中的步骤S5〇9的第一特征量计算的圆形度计算的处理以及 基于圆形度计算的处理结果的步骤S510的粘膜状态辨别的详细处理。此外,在图42中,作 为第一特征量的统计量计算平均圆形度,在步骤S510中,根据平均圆形度的计算结果来进 行粘膜状态的辨别,但是并不限定于平均圆形度。
[0272] 当开始进行图42示出的处理时,如步骤S5M所示,(构成)第一特征量计算部 544a(的圆形度计算部)从关注单位区域Ubin起按编号参数J对辨别对象区域Ad内包含 的单位区域附加编号(附加标记),并且设定辨别对象区域Ad内包含的单位区域的总数N。
[0273] 在下一步骤S522中,圆形度计算部通过参数J = 1的单位区域的轮廓追踪,来计 算(单位区域的)轮廓的周围长度L(J),并且计算轮廓内的面积S(J)。
[0274] 在下一步骤S523中,圆形度计算部计算参数J的单位区域的圆形度C(J)。例如用 以』)=41^(1>凡(_1) 2来表示圆形度0(1)。在下一步骤3524中,圆形度计算部判断参数了 是否与总数N相等,在不与总数N相等的情况下,在步骤S525中将J增大一个之后,返回到 步骤S522的处理。
[0275] 这样,当对辨别对象区域Ad内包含的全部单位区域进行的圆形度的计算结束时, 在步骤S526中,圆形度计算部计算平均圆形度Cav作为第一特征量的统计量。
[0276] 关于平均圆形度Cav,通过计算以将参数J从1至N为止的圆形度C相加并除以总 数N的方式计算出的平均圆形度Cav,由此结束图33A的步骤S509的处理,转移到相当于步 骤S510的处理。
[0277] 在步骤S527中,辨别部543h将平均圆形度Cav与由辨别用阈值设定部547a设定 的辨别用阈值进行比较,根据平均圆形度Cav是否为辨别用阈值以上,来辨别辨别对象区 域Ad的粘膜状态。辨别用阈值设定部547a在使用平均圆形度作为第一特征量的情况下, 例如将辨别用阈值设定为〇. 6左右。在步骤S527的判断处理中,在平均圆形度Cav为辨别 用阈值以上的判断结果的情况下,在步骤S528中,辨别部543h辨别为粘膜(处于)具有规 则的构造(的状态)。
[0278] 与此相对地,在平均圆形度Cav小于辨别用阈值的判断结果的情况下,在步骤 S529中,辨别部543h辨别为粘膜(处于)具有不规则的构造(的状态)。在辨别为粘膜具 有不规则的构造的情况下,认为正常粘膜由于构造的破坏而其形状变为异常的状态的可能 性高。
[0279] 与此相对地,在平均圆形度Cav为辨别用阈值以上的情况下,认为从正常粘膜的 构造处于其形状无变化的状态的可能性高。
[0280] 在步骤SMS,S529之后,在步骤S30中,辨别部543h将辨别结果输出到运算部 541b的外部的影像信号生成部541c,将辨别结果显示在显示装置505,结束图42或者图 33A的处理。
[0281] 手术师能够根据由辨别部543h辨别出的粘膜的状态,得到是否辨别对象区域的 粘膜为病变部的可能性高的信息,通过参考由辨别部543h得到的辨别结果,能够高效地进 行诊断。
[0282] 因而,根据本实施方式,按以单位区域为单位的尺寸来适当地设定辨别对象区域, 从而能够对辨别对象区域内的生物体粘膜的状态进行辨别。
[0283] 此外,如上所述,说明了辨别对象区域设定部543g将以下圆形区域Ac设定为辨别 对象区域Ad的情况:以计算为关注单位区域UBin的第二特征量的关注单位区域UBin的外 形(轮廓)的宽度的最大值的规定倍(在具体例中1· 5倍)为半径的圆形区域Ac。并不限 定于这样将圆形区域Ac设定为辨别对象区域Ad的情况,例如也可以如图41B中用虚线所 示那样将矩形区域Ar设定为辨别对象区域Ad。此外,图41B示出的矩形区域Ar是在将关 注单位区域UBin的外形(轮廓)的宽度的最大值的3倍设为一边的长度的情况下进行表 示的,但是并不限定于该尺寸。
[0284] 也可以如图41B示出的例子那样,单位区域设定部543e具有(在图32中用虚线 表不的)圆形/矩形区域设定部545c,该圆形/矩形区域设定部545c根据弟_知·征里来设 定以关注单位区域UBin为中心的圆形区域Ac或者矩形区域Ar,将在圆形/矩形区域设定 部545c中设定的圆形区域Ac或者矩形区域Ar内包含的单位区域(群)设定为辨别对象 区域Ad。
[0285] 上述辨别对象区域Ad的设定方法除了能够在如图41B所示单位区域相连结的图 像的情况下应用以外,还能够在如图43A所示单位区域群例如分离为上侧区域A1与下侧区 域A2的构造的图像的情况下应用。在该情况下,如图4?所示,例如将存在于最接近图像 中心的距离的单位区域设定为关注单位区域UBin,如图43C所示,例如大致以关注单位区 域UBin为中心来设定矩形区域Ar,如图43D所示,能够将该矩形区域Ar设定为辨别对象区 域Ad'。而且,能够基于图43D示出的辨别对象区域Ad'内包含的单位区域,根据上述第一 特征量对辨别对象区域Ad'的粘膜状态进行辨别。
[0286] 但是,在图41B示出的图像的情况下,成为通过作为与各单位区域彼此邻接的单 位区域共用的粘膜微细构造的MCE来连结或者邻接的构造,与此相对地,在图4M的图像的 情况下,成为作为粘膜微细构造的带状的MCE没有连结或者邻接而分离为两个区域Al、A2 的构造。
[0287] 如图43A所示在分离为两个区域A1、A2的情况下,认为排除与关注单位区域UBin 分离的区域A1侧来设定辨别对象区域的话,能够更为适当地辨别粘膜状态。
[0288] 因此,也可以根据作为更重视与关注单位区域UBin的相关性的第三特征量的、与 关注单位区域UBin邻接的次数来设定辨别对象区域。在该情况下,也可以如下那样定义次 数。
[0289] 将关注单位区域UBin设定为0次单位区域,在存在于关注单位区域UBin周围的 多个单位区域中,将与上述0次单位区域邻接的单位区域设定为1次单位区域、将与该1次 单位区域邻接而不与上述〇次单位区域邻接的单位区域设定为2次单位区域、将与该2次 单位区域邻接而不与上述1次单位区域邻接的单位区域设定为 3次单位区域、…这种情况、 换言之将N作为自然数而将上述多个单位区域中的与N次单位区域邻接而不与N-1次单位 区域邻接的单位区域设定为N+1次单位区域。在后文中说明具体例。
[0290] 而且,上述第三特征量计算部544c计算将关注单位区域UBin设定为0次单位区 域、与上述〇次单位区域邻接的1次单位区域、与上述1次单位区域邻接的 2次单位区域、… 中的次数,来作为第三特征量。另外,与该次数相关联地,运算部541b具有识别部 543j,该 识别部543j在关注单位区域UBin及其其周围所存在的多个单位区域中将具有共同的粘膜 微细构造的单位区域识别为相互邻接的单位区域(图32参照)。而且,第三特征量计算部 544c根据由识别部543j得到的识别结果,针对存在于关注单位区域UBin周围的多个单位 区域计算与关注单位区域UBin邻接的次数。因此,第三特征量计算部 544c具备计算作为 第三特征量的次数的次数计算部的功能。
[0291]另外,在上述说明中,说明了关注单位区域设定部543i使用条件C1 (即存在于最 接近图像中心的距离的一个单位区域)来设定关注单位区域UBin的情况,但是并不限定 于该条件C1,也可以基于单位区域进行连接(连结)的次数的信息根据以下那样的条件 C2-C5设定关注单位区域UBin。
[0292] 关注单位区域设定部543i也可以通过以下条件C2-C5来设定关注单位区域 UBin :
[0293] C2 :相连结的单位区域的次数(后述的说明书的U-1、U-2等)被取为最髙次的单 位区域;
[0294] C3 :最接近相连结的单位区域群整体的中心(或者重心)的单位区域;
[0295] C4 :在图像中随机地设定的单位区域;
[0296] C5 :手动设定的单位区域。
[0297] 此外,关注单位区域UBin并不限定于一个,也可以设定多个。进一步说,关注单位 区域UBin并不限定于一个,也可以对全部单位区域进行辨别对象区域Ad的设定和粘膜状 态的辨别。作为此时的顺序,也可以从与上述条件(C1-C 5)匹配的单位区域起依次进行实 施,也可以随机地进行,也可以单纯地从图像的右上起依次进行实施。
[0298] 另外,在上述说明中,说明了第一特征量计算部544a计算平均圆形度作为第一特 征量的情况,但是并不限定于圆形度,也可以根据辨别对象区域Ad内包含的单位区域计算 面积、色调(亮度值、像素值)、周围长度等。另外,第一特征量计算部544a除了计算平均统 计量作为第一特征量以外,还可以计算分散(变动系数)统计量作为第一特征量。
[0299] 另外,也可以在进行图33A的处理的情况下,在步骤S507中,第二特征量计算部 544b如以下说明那样计算关注单位区域UBin的面积作为第二特征量(并非上述宽度),在 步骤S508中,辨别对象区域设定部543g基于计算出的面积,根据使用面积的阈值的比较结 果,使用次数来设定辨别对象区域。
[0300] 辨别对象区域设定部543g根据作为第二特征量而计算出的关注单位区域UBin的 面积是否为阈值(更具体地说面积的阈值)以上,来设定辨别对象区域Ad的范围。这样, 辨别对象区域设定部543g根据计算出的第二特征量以单位区域为单位来设定辨别对象区 域Ad (的范围)。也就是说,辨别对象区域设定部54把根据计算出的第二特征量将辨别对 象区域Ad设定为包含关注单位区域UBin的单位区域群。
[0301] 另外,辨别对象区域设定部543g也可以在设定辨别对象区域Ad的情况下,如以下 说明那样根据表示关注单位区域UBin及其周围的单位区域UBj的构造上的相关性的第三 特征量来设定(决定)。
[0302] 图44示出辨别对象区域设定部543g根据作为第三特征量的面积来设定(决定) 辨别对象区域Ad的处理。
[0303] 如步骤S511所示,向辨别对象区域设定部543g输入由第二特征量计算部 544b计 算出的面积。如步骤S512所示,辨别对象区域设定部543g判断由第二特征量计算部544b 计算出的面积是否为由阈值设定部546a设定的面积的阈值以上。此外,阈值设定部546a 例如将面积的阈值设定为5000左右、更具体地说5000像素数。
[0304] 在步骤S512的判断处理中,在面积为面积的阈值以上的判断结果的情况下,如步 骤S513所示,辨别对象区域设定部54?将关注单位区域UBin以及与该关注单位区域UBin 周围直接连接的所有单位区域UBj设定为辨别对象区域Ad。换言之,辨别对象区域设定部 543g将以下区域设定为辨别对象区域Ad :将关注单位区域UBin设为0次单位区域而得到 的〇次单位区域;以及与该〇次单位区域直接连接的1次单位区域的所有 (单位区域或者 单位区域群的)区域。
[0305] 例如在图41A示出的关注单位区域UBin的面积为面积的阈值以上的情况下,如图 45A所示,辨别对象区域设定部543g将关注单位区域UBin及其周围用斜线表示的所有1次 单位区域(群)U-1设定为辨别对象区域Ad。与此相对地,在图44中的步骤S512的判断 中,在关注单位区域UBin的面积小于面积的阈值的情况下,如步骤S 514所示,辨别对象区 域设定部543g将关注单位区域UBin、与该关注单位区域UBin直接连接的所有1次单位区 域(群)U-1以及与1次单位区域(群)U-1直接连接的所有 2次单位区域(群)U-2设定 为辨别对象区域Ad。换言之,辨别对象区域设定部54?将0次单位区域、1次单位区域以 及2次单位区域的所有(单位区域群的)区域设定为辨别对象区域Ad。该情况下的辨别对 象区域Ad如图45B那样。而且,结束图44示出的辨别对象区域Ad的设定处理、即结束图 33A中的步骤S508的处理。
[0306] 这样,在作为第二特征量的例如面积值小于阈值的情况下,与面积值为阈值以上 的情况相比扩大辨别对象区域Ad内包含的单位区域的范围,由此利用于从辨别对象区域 Ad辨别粘膜状态的信息不会不足,能够适当地进行辨别。
[0307] 辨别对象区域设定部543g在设定(决定)辨别对象区域Ad之后,将其设定(决 定)的信息输出到特征量计算部543f的第一特征量计算部544a。而且,如上所述,进行图 33A中的步骤S509以后的处理。
[0308] 此外,辨别对象区域Ad的设定并不限定于如图44所示根据关注单位区域UBin的 面积来设定为1次单位区域(群)U-1或者2次单位区域(群)U-2的情况。也可以设定为 使用3次单位区域(群)U-3。例如还可以在图44的步骤S512的判断中在关注单位区域 UBin的面积小于阈值(具体地说5000)的情况下,如图46的步骤S515所示,进一步判断关 注单位区域UBin的面积是否为(小于上述阈值的值的)第二阈值(例如3000)以上。
[0309] 而且,在关注单位区域UBin的面积值为第二阈值以上的情况下,如图42的步骤 S514所示,使到2次单位区域(群)U-2为止的区域包含在辨别对象区域Ad。
[0310] 与此相对地,也可以在关注单位区域UBin的面积的值小于第二阈值的情况下,如 步骤S516所示,使到与2次单位区域(群)U_ 2周围连接的3次单位区域(群)U-3为止的 区域包含在辨别对象区域Ad。这样,可以设定两个阶段的阈值并根据与阈值的比较结果来 设定辨别对象区域Ad内包含的单位区域(群)的次数,也可以设定三个阶段以上的阈值并 根据与阈值的比较结果来设定辨别对象区域Ad内包含的单位区域(群)的次数。
[0311] 或者,例如也可以通过以下式⑵那样的运算处理来设定辨别对象区域Ad内包含 的单位区域(群)的次数(将该次数定义为连接次数)N。
[0312] 连接次数P = l〇〇〇(V(关注单位区域UBin的面积)(2)
[0313] 在此,舍掉式(2)的运算结果中的小数点以下的部分。另外,在运算结果小于1的 情况下(即在关注单位区域UBin的面积超过10000的情况下),设为N = 1。
[0314] 接着,下面说明在图43A那样的图像的情况下利用了有效设定辨别对象区域的范 围的次数的辨别对象区域设定单元和辨别对象区域设定方法。如图47的步骤S541所示, 在对图43A的图像进行单位区域的设定之后,如步骤S542所示,进行关注单位区域的设定 的处理。
[0315] 在该情况下,识别部543j将具有共用的粘膜微细构造的单位区域识别为相互邻 接的单位区域(或者单位区域群)。而且,第三特征量计算部544c根据由识别部543 j得到 的识别结果,计算与关注单位区域UBin邻接的单位区域的次数作为第三特征量。
[0316] 如上所述,在图43A示出的图像中,例如图43B所示,例如设定关注单位区域UBin 作为存在于最接近图像中心的距离的单位区域。此外,也可以如上所述以符合Cl的条件以 外的例如C2或者C3的条件的方式设定关注单位区域UBin。
[0317] 如图47的步骤S543所示,第二特征量计算部544b进行关注单位区域UBin的面 积、宽度等第二特征量的计算。如步骤S544所示,辨别对象区域设定部543g根据第二特征 量的计算结果,识别成为次数的阈值以下的次数的单位区域并设定为辨别对象区域Ad。例 如在通过图44的处理来设定辨别对象区域Ad的情况下,在关注单位区域UBin的面积为阈 值以下的情况下,将次数为2以下的单位区域设定为辨别对象区域Ad。
[0318] 图48示出对于图43A的图像的情况在关注单位区域UBin的面积为阈值以下的情 况下设定的辨别对象区域Ad的例子。在该情况下,将关注单位区域UBin作为0次单位区 域,并利用以下区域来设定辨别对象区域Ad :由在关注单位区域UBin外侧经由共用的MCE 551连接的四个单位区域构成的1次单位区域(群)U-1以及由在1次单位区域(群)U-1 的外侧经由共用的MCE连接的七个单位区域构成的2次单位区域(群)U-2。此外,图49示 出关注单位区域UBin周围的单位区域经由共用的MCE 551连接的情况的说明图。如图49 所示,关注单位区域UBin的构成该关注单位区域UBin的带状的MCE 551的下侧部分与单 位区域UB1和UB2的MCE 551共用。其它单位区域也同样地经由共用的MCE 551连接。识 别部543 j将关注单位区域UBin周围的多个单位区域中的具有作为共用的粘膜微细构造的 MCE 551的单位区域识别为相互邻接的单位区域。
[0319] 在这样利用相对于关注单位区域UBin的次数来设定辨别对象区域Ad的情况下, 能够将与关注单位区域UBin相关性髙的区域设定为辨别对象区域Ad。如图4 7所示,在步 骤S544的下一步骤S545中,辨别部543h使用第一特征量计算部544a针对辨别对象区域 Ad计算第一特征量得到的计算结果来辨别粘膜状态。并且在下一步骤SW6中,辨别部543h 将辨别结果输出到影像信号生成部541c,在显示装置505中显示辨别结果。而且,结束图 47的处理。
[0320] 如图47所示,在利用次数来设定辨别对象区域Ad的情况下,如图41B所示单位区 域进行连结的情况不用说,在如图43A所示区域A1和A2那样单位区域未进行连结那样的 图像的情况下,也能够以包含与关注单位区域UBin的相关性高的单位区域的方式设定辨 别对象区域Ad,因此能够尚精度地辨别粘膜状态。
[0321] 此外,在图42中,使用平均圆形度Cav和辨别用阈值来进行辨别,但是也可以计算 圆形度、面积、周围长度的变动系数CV,在变动系数的阈值(例如〇. 3)以上的情况下辨别为 粘膜状态为不规则的构造,在小于阈值的情况下辨别为粘膜状态为规则的构造。
[0322] 另外,也可以将关注单位区域UBin的圆形度、面积、周围长度与辨别对象区域Ad 内的平均值进行比较,在前者与后者之比为1. 3的阈值以上的情况下辨别为粘膜状态为不 规则的构造,在小于阈值的情况下辨别为粘膜状态为规则的构造。
[0323] 另外,在上述说明中,说明了以辨别对象区域Ad内包含的各单位区域整体来计算 各种特征量的情况,但是也可以根据各单位区域内包含的血管、MCE、窝间部分别计算上述 各种特征量。另外,也可以使用与血管、 MCE、窝间部各自对应的阈值来辨别粘膜状态。
[0324] 另外,在上述用于设定(计算)单位区域的说明中,说明了在计算MCE区域MBi的 宽度Tk的情况下使用粗略封闭区域CBj的边界像素 BQk来计算的情况,但是也可以根据 MCE区域MBi来计算。换言之,宽度计算部545a那样的特征量计算部可以根据作为粘膜微 细构造区域的MCE区域MBi计算用于设定单位区域的范围的特征量,或者也可以根据作为 封闭区域的粗略封闭区域CBj计算用于设定单位区域的范围的特征量。
[0325] 此外,图33A中的步骤S502中的预处理内容并不限定于噪声抑制与逆伽马校正, 也可以施加明亮度、色调的校正等。另外,预处理的各方法也并不限定方法,也可以根据作 为对象的图像、设备的特性来进行变更。例如在本实施方式中,使用中值滤波器作为噪声抑 制的方法,但是也可以使用平滑化滤波器等其它方法作为噪声抑制的方法。
[0326] 步骤S503中的MCE区域MBi的检测或者提取方法并不限定于上述构造成分提取 方法,也可以使用其它方法。例如也可以是对亮度值、色调等像素值的阈值处理、使用伽柏 滤波器等各种频率滤波器的方法、使用了作为公知技术的海赛矩阵、矢量集中度的线段检 测处理。
[0327] 步骤S504中的粗略封闭区域CBj的检测或者识别方法并不限定于使用上述加标 记的方法,也可以使用其它方法。例如也可以通过扫描检测出的MCE区域MBi的边界像素 BQk来搜索封闭区域,从而检测粗略封闭区域CBj。
[0328] 在步骤S505中,宽度Tk是通过从边界像素 BQk起对像素数进行计数来进行计算 的,但是并不限定于该方法,也可以使用将在步骤S503的提取MCE区域MBi时使用的模板、 滤波器的尺寸用作宽度Tk等其它方法。
[0329] 另外,在全部边界像素 BQk实施了宽度Tk的计算,但是并不限定于使用全部边界 像素 BQk的情况,例如也可以从每隔几个像素进行采样的像素起计算宽度Tk。
[0330] 并且,区域尺寸BSj的计算并不限定于宽度Tk的平均值,也可以使用宽度Tk的最 频值、最小值、最大值等其它统计量。
[0331] 另外,区域尺寸BSj的计算并不限定于使用宽度Tk的方法,也可以根据粗略封闭 区域CBj的尺寸、形状等来计算,还可以由用户设定任意的值。另外,也可以根据粗略封闭 区域CBj的面积等来决定用于规定单位区域的范围的区域尺寸BSj。
[0332] 并且,在本实施方式中,以距粗略封闭区域CBj的边界像素的距离来设定单位区 域UBj的范围,但是并不限定于该方法,例如也可以以粗略封闭区域CBj的中心点(重心) 等为基准来设定单位区域UBj的范围。
[0333] 在图40中示出允许各单位区域UBj重叠的例子,但是也可以判断重叠的部分属于 哪一个单位区域UBj并分割重叠的区域。
[0334]也可以将被设定为单位区域UBj的各像素保持为图像数据,通过影像信号生成部 541c生成影像信号,由此在显示装置505等中进行图像显示。
[0335] 根据本实施例的方式,在表示粘膜微细构造的医用图像中,将在生物体组织学上 成为一个单位的区域以能够分离或者识别为单位区域的方式进行设定。而且,以单位区域 为单位,以包含要关注的关注单位区域UBin的方式在其周围设定由适当尺寸的单位区域 群构成的辨别对象区域,从而能够对辨别对象区域的粘膜状态进行辨别。
[0336] 因此,在复杂的图像数据中也能够以在生物体组织学上的单位区域为单位,将要 进行诊断的辨别对象区域设定为适当的尺寸,适当地对辨别对象区域的粘膜状态进行辨 另IJ,从而能够辅助诊断等。
[0337] 与此相对地,在无法设定在生物体组织学上的单位区域的以往例的情况下,需要 对在生物体组织学上多个单位地连接而成的复杂范围进行诊断,难以进行状态辨别。
[0338] 此外,上述第三实施方式中,也可以将关注单位区域UBin设定为辨别对象区域 Ad,(将)该关注单位区域UBin单体(设定为辨别对象区域Ad)进行第一特征量的计算, 根据计算出的第一特征量来进行关注单位区域UBin的粘膜状态的辨别。具体地说,例如将 在图41A中设定的关注单位区域UBin设定为辨别对象区域Ad。另外,也可以将图43B示出 的关注单位区域UBin设定为辨别对象区域Ad。
[0339] 图50示出该情况下的处理。图50示出的处理的步骤S501至S506与在图33A中 说明的内容相同,在步骤S506的处理之后,不进行图33A的S507、S508,而进行步骤S509与 S510的处理。
[0340] 此外,在图33A中,对包含关注单位区域UBin的由多个单位区域构成的辨别对象 区域Ad进行第一特征量的计算,但是在图50示出的步骤S509中,第一特征量计算部544a 对关注单位区域UBin进行第一特征量的计算。第一特征量计算部544a例如计算圆形度作 为关注单位区域UBin的第一特征量。另外,在步骤S510中,辨别部543h在计算出的圆形 度例如为作为阈值的0.6以上的情况下判断为关注单位区域UBin的粘膜为规则的构造,在 小于〇· 6的情况下判断为不规则的构造。或者也可以在关注单位区域UBin内包含的MCE 的粗度(宽度)的变动系数小于〇· 3的情况下判断为关注单位区域UBin的粘膜为规则的 构造,在0. 3以上的情况下判断为不规则的构造。
[0341]此外,在上述实施方式等中,作为用于辨别粘膜状态的例子,在是规则的构造还是 不规则的构造这种表示粘膜的"状态"的范畴的情况下进行了说明。并不限定于这种范畴 的情况,例如也可以将第一特征量的统计量的计算结果与阈值进行比较,进行如进行是癌 症还是非癌症的辨别那样的与"病情"或者"医学分类"有关的范畴的辨别。另外,在上述 实施方式中,在胃部的情况下进行了说明,但是还能够应用于拍摄其它大肠、食道等生物体 粘膜而得到的医用图像。
[0342]此外,也可以构成为辨别部54?具备用于计算第一特征量的第一特征量计算部 544a。另外,也可以构成为辨别部543h如图32的虚线所示具备用于计算第一特征量的统 计量的统计量计算部 547b。另外,也可以辨别部54?根据上述统计量来辨别粘膜状态。另 夕卜,部分地组合上述实施方式等而构成的实施方式也属于本发明。
[0343]此外,本发明并不限定于上述实施方式,当然在不脱离发明的宗旨的范围内能够 进行各种变更、应用。
[0344] 本申请是以2〇12年11月7日在日本申请的特愿2012-245667号以及2012年12 月5日在日本申请的特愿2012-266445号为优先权基础而申请的,上述公开内容被引用于 本申请说明书、权利要求书、附图。
【权利要求】
1. 一种医疗用图像处理装置,具有: 输入部,其被输入拍摄生物体粘膜得到的生物体粘膜图像; 区域提取部,其从输入到上述输入部的上述生物体粘膜图像中提取与粘膜微细构造对 应的粘膜微细构造区域; 封闭区域识别部,其识别视为被上述粘膜微细构造区域包围的至少一个封闭区域.以 及 , 单位区域设定部,其基于由上述区域提取部提取出的上述粘膜微细构造区域以及由上 述封闭区域识别部识别出的上述封闭区域来设定单位区域。
2. 根据权利要求1所述的医疗用图像处理装置,其特征在于, 上述区域提取部提取上述生物体粘膜图像中的带状的构造区域作为上述粘膜微细构 造区域。
3·根据权利要求1或2所述的医疗用图像处理装置,其特征在于, 上述单位区域设定部在针对多个封闭区域进行上述单位区域的设定的情况下,针对上 述多个封闭区域分别独立地进行上述单位区域的设定。
4. 根据权利要求1?3中的任一项所述的医疗用图像处理装置,其特征在于,还具有: 特征量计算部,其根据上述粘膜微细构造区域或者上述封闭区域来计算用于设定上述 单位区域的范围的特征量;以及 范围设定部,其基于上述特征量来设定上述单位区域的范围。
5. 根据权利要求1?4中的任一项所述的医疗用图像处理装置,其特征在于, 上述粘膜微细构造为生物体粘膜上的血管、基于腺构造的上皮形态或者腺口形态。
6. 根据权利要求1?5中的任一项所述的医疗用图像处理装置,其特征在于, 还具有虚拟粘膜微细构造设定部,该虚拟粘膜微细构造设定部针对上述生物体粘膜图 像设定虚拟的粘膜微细构造区域, 上述封闭区域识别部将被由上述区域提取部提取出的上述粘膜微细构造区域以及由 上述虚拟粘膜微细构造设定部设定的上述虚拟的粘膜微细构造区域包围的区域识别为上 述封闭区域。
7. 根据权利要求6所述的医疗用图像处理装置,其特征在于, 上述虚拟粘膜微细构造设定部将由上述区域提取部提取出的上述粘膜微细构造区域 中的未闭合的端点彼此进行连接,来设定上述虚拟的粘膜微细构造区域。
8. 根据权利要求6所述的医疗用图像处理装置,其特征在于, 上述虚拟粘膜微细构造设定部利用从由上述区域提取部提取出的上述粘膜微细构造 区域中的上述未闭合的端点向上述粘膜微细构造区域的延伸方向延伸的虚拟线,来设定上 述虚拟的粘膜微细构造区域。
9. 根据权利要求4所述的医疗用图像处理装置,其特征在于, 上述特征量计算部由宽度计算部构成,该宽度计算部计算包围上述封闭区域的上述粘 膜微细构造区域的宽度尺寸。
10. 根据权利要求5所述的医疗用图像处理装置,其特征在于, 在上述生物体粘膜为上皮形态的情况下,上述单位区域设定部设定腺窝边缘上皮的区 域以及作为一个上述封闭区域的窝间部的区域,该腺窝边缘上皮的区域与该窝间部的区域 的周缘的外侧邻接,构成包围上述窝间部的闭合的带状的上述粘膜微细构造区域。
11. 根据权利要求1所述的医疗用图像处理装置,其特征在于,还具有: 第一特征量计算部,其根据基于在上述单位区域设定部中设定的上述单位区域而设$ 的辨别对象区域来计算第一特征量;以及 辨别部,其根据由上述第一特征量计算部计算出的第一特征量来辨别具有上述辨别对 象区域的粘膜的状态。
12. 根据权利要求11所述的医疗用图像处理装置,其特征在于, 在上述单位区域设定部中设定有多个单位区域的情况下,还具有: 关注单位区域设定部,其从在上述单位区域设定部中设定的多个单位区域中设定作为 要关注的一个单位区域的关注单位区域; 第二特征量计算部,其根据上述关注单位区域计算第二特征量;以及 _ 辨别对象区域设定部,其根据上述第二特征量,从上述多个单位区域中设定进行上述 第一特征量的计算的上述辨别对象区域, 其中,上述第一特征量计算部在上述辨别对象区域设定部中设定的上述辨别对象区域 中进行上述第一特征量的计算。
13. 根据权利要求12所述的医疗用图像处理装置,其特征在于, 还具有第三特征量计算部,该第三特征量计算部针对上述多个单位区域计算表示与上 述关注单位区域的相关性的第三特征量, 上述辨别对象区域设定部具备阈值设定部,该阈值设定部设定在基于上述第二特征量 来设定上述辨别对象区域时使用的阈值, 上述辨别对象区域设定部基于上述阈值和上述第三特征量,从上述多个单位区域中设 定上述辨别对象区域。
14. 根据权利要求13所述的医疗用图像处理装置,其特征在于, 上述第三特征量计算部针对上述多个单位区域计算与上述关注单位区域邻接的次数 来作为上述第三特征量, 上述辨别对象区域设定部将具有上述阈值以下的次数的上述多个单位区域设定为上 述辨别对象区域。
15. 根据权利要求13所述的医疗用图像处理装置,其特征在于, 上述第三特征量计算部针对上述多个单位区域计算距上述关注单位区域的距离来作 为上述第三特征量, 上述辨别对象区域设定部将距上述关注单位区域的距离为上述阈值以下的多个单位 区域设定为上述辨别对象区域。
16. 根据权利要求12所述的医疗用图像处理装置,其特征在于, 上述单位区域设定部具备矩形区域设定部,该矩形区域设定部基于上述第二特征量来 设定以上述关注单位区域为中心的矩形区域的大小, 将在上述矩形区域设定部中设定的矩形区域内包含的上述多个单位区域设定为上述 辨别对象区域。
17. 根据权利要求14所述的医疗用图像处理装置,其特征在于, 上述第三特征量计算部计算上述多个单位区域的次数作为上述第三特征量,该多个单 位区域的次数是通过以下方式计算出的:将上述关注单位区域设定为0次单位区域,将上 述多个单位区域中的与上述0次单位区域邻接的单位区域识别为1次单位区域,将上述多 个单位区域中的与Ν次单位区域邻接并且不与Ν-1次单位区域邻接的单位区域设定为Ν+1 次单位区域,其中,Ν为自然数。
18. 根据权利要求14所述的医疗用图像处理装置,其特征在于, 还具有识别部,该识别部将上述多个单位区域中的具有共同的粘膜微细构造的单位区 域识别为相互邻接的单位区域, 上述第三特征量计算部基于上述识别部的识别结果,针对上述多个单位区域计算与上 述关注单位区域邻接的次数。
19. 根据权利要求11?18中的任一项所述的医疗用图像处理装置,其特征在于, 上述区域提取部在上述生物体粘膜图像中提取带状的构造作为上述粘膜微细构造区 域。
20. 根据权利要求11?I9中的任一项所述的医疗用图像处理装置,其特征在于, 上述辨别部具备统计量计算部,该统计量计算部计算上述第一特征量的统计量, 上述辨别部根据上述统计量来辨别上述粘膜的状态。
【文档编号】A61B1/04GK104203075SQ201380018296
【公开日】2014年12月10日 申请日期:2013年11月5日 优先权日:2012年11月7日
【发明者】田中健一, 柴田佐和子, 登本悠介, 西村博一 申请人:奥林巴斯医疗株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1