专利名称：图像处理装置及图像处理方法
技术领域：
本发明涉及对拍摄管腔内部而得到的管腔内部图像进行处理的图像处理装置及图像处理方法。
背景技术：
日本特开2007-236629号公报中公开了这样的方法根据管腔内部图像(内窥镜图像)推断活体组织的三维形状，并以推断的三维形状的各位置的曲率等形状特征量为基础，对息肉等具有隆起形状的病变部位进行检测。在此，在推断三维形状时，需要从管腔内部图像获取与拍摄对象的三维形状对应的像素值，但在上述的日本特开2007-2366 号公报中，将管腔内部图像的亮度信息看作对应于该三维形状的像素值，通过进行基于该像素值的几何学的转换处理来推断三维形状。但是，存在这样的问题管腔内部图像中会包含亮度值与三维形状不对应的区域。 例如，管腔内部图像中有时会映出存在于活体组织的表层的血管，而在这样的部分中，由于受到血液对照明光吸光的影响，亮度值会降低。此外，在产生镜面反射的区域(镜面反射部)，亮度值上升而与拍摄对象的三维形状无关。因此，在处理这样的含有与三维形状不对应的区域的管腔内部图像时，即使应用例如上述的日本特开2007-236629号公报，有时也会无法适当获取与拍摄对象的三维形状对应的像素值。并且，其结果是，进而有时会在后阶段的处理中无法准确地推断形状。
发明内容
本发明就是鉴于上述情况而作出的，其目的在于提供一种能够在管腔内部图像中确定像素值与拍摄对象的三维形状不对应的区域的图像处理装置、图像处理方法以及图像处理程序。本发明的图像处理装置具有区域提取部，其基于拍摄管腔内部而得到的管腔内部图像的像素值或相对于周边像素的像素值变化的信息，提取内部的像素值与拍摄对象的三维形状不对应的分类对象区域的候选区域；以及区域分类部，其基于所述候选区域的内部、所述候选区域的边界部、或者所述候选区域的周边部的像素值，从所述候选区域中对所述分类对象区域进行分类。此外，本发明的图像处理方法包含区域提取步骤，在该步骤中，基于拍摄管腔内部而得到的管腔内部图像的像素值或相对于周边像素的像素值变化的信息，提取内部的像素值与拍摄对象的三维形状不对应的分类对象区域的候选区域；以及区域分类步骤，在该步骤中，基于所述候选区域的内部、所述候选区域的边界部、或者所述候选区域的周边部的像素值，从所述候选区域中对所述分类对象区域进行分类。关于以上所述的内容以及本发明的其它目的、特点、优点和技术性及产业性的意义，通过参照附图来阅读下面的本发明的详细说明，将得到更进一步的理解。
图1是通过内窥镜拍摄的管腔内部图像的示意图。图2是图1中的管腔内部图像的三维像素值信息的示意图。图3是说明实施方式1的图像处理装置的主要结构的概要框图。图4是示出实施方式1的图像处理装置进行的处理过程的整体流程图。图5是示出血管、镜面反射部、颜色变化病变、粘膜起伏的截面方向的图。图6A是示出沿着图5中的截面方向a的镜面反射部的区域内部的像素值变化的示意图。图6B是示出沿着图5中的截面方向b的白色病变的区域内部的像素值变化的示意图。图6C是示出沿着图5中的截面方向c的血管的区域内部的像素值变化的示意图。图6D是示出沿着图5中的截面方向d的红色、黑色病变的区域内部的像素值变化的示意图。图6E是示出沿着图5中的截面方向e的粘膜阶梯差的区域内部的像素值变化的示意图。图6F是示出沿着图5中的截面方向f的粘膜槽的区域内部的像素值变化的示意图。图7是示出实施方式1的区域分类处理的详细的处理过程的流程图。图8是采用形态学开运算(Opening)处理的像素值增补的概念图。图9是采用形态学闭运算(Closing)处理的像素值增补的概念图。图10是示出实施方式1的像素值增补处理的详细的处理过程的流程图。图11是说明实施方式2的图像处理装置的主要结构的概要框图。图12是示出实施方式2的图像处理装置进行的处理过程的整体流程图。图13是不同方向的差分值计算的概念图。图14是示出血管、镜面反射部、颜色变化病变、粘膜起伏的截面方向的图。图15A是示出沿着图14中的截面方向a的镜面反射部的区域边界部的像素值变化的示意图。图15B是示出沿着图14中的截面方向b的血管的区域边界部的像素值变化的示意图。图15C是示出沿着图14中的截面方向c的颜色变化病变的区域边界部的像素值变化的示意图。图15D是示出沿着图14中的截面方向d的形状变化病变的区域边界部的像素值变化的示意图。图15E是示出沿着图14中的截面方向e的粘膜阶梯差的区域边界部的像素值变化的示意图。图15F是示出沿着图14中的截面方向f的粘膜槽的区域边界部的像素值变化的示意图。图16是示出实施方式2的区域分类处理的详细的处理过程的流程图。图17是采用函数近似的像素值增补的概念图。
图18是示出实施方式2的像素值增补处理的详细的处理过程的流程图。图19是说明实施方式3的图像处理装置的主要结构的概要框图。图20是示出实施方式3的图像处理装置进行的处理过程的整体流程图。图21A是示出沿着图5中的截面方向a的镜面反射部的区域周边部的像素值变化的示意图。图21B是示出沿着图5中的截面方向b的白色病变的区域周边部的像素值变化的示意图。图21C是示出沿着图5中的截面方向c的血管的区域周边部的像素值变化的示意图。图21D是示出沿着图5中的截面方向d的红色、黑色病变的区域周边部的像素值变化的示意图。图21E是示出沿着图5中的截面方向e的粘膜阶梯差的区域周边部的像素值变化的示意图。图21F是示出沿着图5中的截面方向f的粘膜槽的区域周边部的像素值变化的示意图。图22是示出实施方式3的区域分类处理的详细处理过程的流程图。图23是示出应用了本发明的计算机系统的结构的系统结构图。图M是示出构成图23中的计算机系统的主体部的结构的框图。
具体实施例方式下面，参照附图对本发明的优选实施方式进行详细说明。在本实施方式中，关于对通过内窥镜拍摄的管腔内部图像(消化管内部图像)进行处理的图像处理装置进行说明。 内窥镜是用于对消化管等这样的管腔的内部进行观察的医疗设备，内窥镜是一种系统设备，其由插入部、壳体部以及显示部等构成，所述插入部被插入到管腔内部，在该插入部的前端内设有用于摄像的照明系统、光学系统以及摄像系统等，所述壳体部与插入部连接，光源、图像处理装置等设在该壳体部内，所述显示部用于显示拍摄到的管腔内部图像。另外， 本发明不被该实施方式限定。此外，在各个附图的记述中对相同部分标注相同的标号。图1是通过内窥镜拍摄的管腔内部图像的示意图。此外，图2是图1中的管腔内部图像的三维像素值信息的示意图。如图1所示，管腔内部图像中基本上映出了消化管内壁的粘膜1，但有时也会映出粘膜表层下的血管2、镜面反射部3、病变4等。在病变4中具有几乎没有发红等粘膜表面的形状变化而仅仅颜色发生变化的颜色变化病变5、以及息肉等粘膜表面形状有变化的形状变化病变6。除此以外，在管腔内部图像中映有由于粘膜结构的层叠或起伏等产生的粘膜阶梯差或粘膜槽这样的粘膜起伏7，并且管腔的里侧(离摄像系统远的位置的粘膜)映成暗部区域8。在此，除了粘膜1及暗部区域8以外，形状变化病变6、粘膜阶梯差及粘膜槽等粘膜起伏7的像素值的变化与三维的形状对应。而粘膜表层下的血管2、镜面反射部3、颜色变化病变5是强烈受到吸光及镜面反射等影响的区域，且是像素值的变化与三维的形状不对应的部分。具体来说，如上所述，血管2的亮度值受到血液对照明光吸光的影响而降低。此外，颜色变化病变5的亮度值也同样地受到血液对照明光吸光的影响而降低。另一方面，在镜面反射部3，亮度值上升而与活体组织的三维形状无关。再者，通过内窥镜拍摄的管腔内部图像通常是在各像素位置具有针对R(红色)、G (绿色)、B(蓝色)的各波长成分的像素值的彩色图像。本实施方式的图像处理装置对上述的管腔内部图像进行处理，并根据管腔内部图像算出对应于作为活体组织的粘膜的三维形状的像素值(下面称为“三维像素值信息”)， 首先，对像素值不对应于拍摄对象(活体组织)的三维形状的血管2、镜面反射部3、颜色变化病变5的区域进行分类。然后，对分类的血管2、镜面反射部3、颜色变化病变5的区域以其周围的像素值为基础进行增补，从而算出三维像素值，对其以外的粘膜1、形状变化病变 6、粘膜起伏7、暗部区域8的区域，以其像素值为基础算出三维像素值，从而算出如图2所示的三维像素值信息。
实施方式1
首先，对实施方式1的图像处理装置10的结构进行说明。图3是说明实施方式1 的图像处理装置10的主要结构的概要框图。如图3所示，实施方式1的图像处理装置10 包含运算部20和记录部30。该图像处理装置10例如是组装于上述的内窥镜中的装置，输入通过内窥镜拍摄的管腔内部图像，输出通过对该管腔内部图像进行处理而算出的三维像
素值信息。运算部20通过CPU等硬件来实现，该运算部20进行各种运算处理，用来根据管腔内部图像算出三维像素值信息。该运算部20包含区域提取部21、区域分类部22、像素值计算部23、像素值增补部M。区域提取部21具有特定颜色区域提取部211。该区域提取部21是从管腔内部图像提取分类对象区域的候选区域(分类对象候选区域)的功能部，在实施方式1中，特定颜色区域提取部211以像素值为基础提取特定颜色的区域作为分类对象候选区域。区域分类部22以由分类对象候选区域的内部的像素值表示的分类对象候选区域的曲面形状的凹凸信息以及平滑度为基础，从分类对象候选区域中将血管、镜面反射部、颜色变化病变的区域分类为分类对象区域。该区域分类部22具有二次微分计算部221、内部凹凸判定部222、以及内部平滑性判定部223。二次微分计算部221针对分类对象候选区域的内部的像素应用二次微分滤波器，从而算出二次微分值。内部凹凸判定部222基于分类对象候选区域的内部的像素的二次微分值的符号，对分类对象候选区域的曲面形状(像素值变化)的凹凸进行判定。内部平滑性判定部223以分类对象候选区域的内部的像素的二次微分值的绝对值为基础，对分类对象候选区域的曲面形状(像素值变化)的平滑度进行判定。像素值计算部23算出在分类对象区域以外的区域中根据活体内的吸收或散射的程度而确定的特定波长成分的像素值作为三维像素值。该像素值计算部23具有R成分选择部231，该R成分选择部231将R成分作为特定波长成分，对分类对象区域以外的区域的 R成分的像素值进行选择。像素值增补部M以分类对象区域以外的区域的特定波长成分的像素值为基础， 对作为分类对象区域的血管、镜面反射部、颜色变化病变的区域的三维像素值进行增补。该像素值增补部M具有形态学处理部MI，该形态学处理部MI以分类对象区域的周边的特定波长成分的像素值为基础进行形态学处理。该形态学处理部241具有结构要素生成部 M2，该结构要素生成部M2以分类对象区域的特征量为基础生成形态学处理中使用的结
8构要素。记录部30通过能更新记录的闪存器等ROM、RAM这样的各种IC存储器、内置或通过数据通信端子连接的硬盘、例如CD-ROM等各种记录介质及其读取装置等来实现。该记录部30中记录有用来使图像处理装置10动作并实现该图像处理装置10具有的各种功能的程序、以及该程序执行中使用的数据等。例如，在记录部30中记录有通过内窥镜拍摄并被输入到图像处理装置10中的管腔内部图像的图像数据。此外，在记录部30中记录有用于根据管腔内部图像算出三维像素值信息的图像处理程序31。下面，对实施方式1的图像处理装置10进行的具体的处理过程进行说明。图4是示出实施方式1的图像处理装置10进行的处理过程的整体流程图。在这里说明的处理是通过运算部20执行记录在记录部30中的图像处理程序31来实现的。如图4所示，首先，运算部20获取处理对象的管腔内部图像(步骤al)。通过在这里的处理，能读取并获得例如通过内窥镜拍摄并记录到记录部30中的管腔内部图像。然后，在区域提取部21中，特定颜色区域提取部211以像素值为基础从处理对象的管腔内部图像中提取特定颜色的区域作为分类对象候选区域(步骤a3)。上述的血管、镜面反射部、颜色变化病变的区域示出各个特定的颜色。例如，血管示出红色或赤紫色，镜面反射部示出白色，颜色变化病变示出红色、黑色或白色等。在此，在实施方式1中，通过提取特定颜色的区域，提取成为血管、镜面反射部、颜色变化病变的候选的分类对象候选区域。存在有各种提取特定颜色区域的方法，在这里示出了这样的方法通过随机模型对事先的抽样数据的分布进行近似，并根据采用此方式进行的判别来进行提取。具体来说， 事先对属于血管、镜面反射部、颜色变化病变的各类别的多个像素进行抽样，并求出其像素的颜色特征量。在此，颜色特征量是指R、G、B的各成分的像素值、或以它们为基础通过已经公知的转换而二次算出的值、色差(YCbCr转换)、色调、彩度(HIS转换)、色比(G/R、B/G) 等。然后，算出由抽样的像素的颜色特征量构成的特征矢量而=(fn_l, fn_2, . . .，fn_k) t。在此，fn_j是第η个抽样像素的第j个颜色特征量，k是颜色特征量的个数。并且，以该特征矢量而为基础，根据下式(1)求出平均矢量μ、方差与协方差矩阵Ζ，并将其记录到记录部30中。其中，ND是抽样数据数。
权利要求
1.一种图像处理装置，其具有区域提取部，其基于拍摄管腔内部而得到的管腔内部图像的像素值或相对于周边像素的像素值变化的信息，对内部的像素值与拍摄对象的三维形状不对应的分类对象区域的候选区域进行提取；以及区域分类部，其基于所述候选区域的内部、所述候选区域的边界部、或者所述候选区域的周边部的像素值，从所述候选区域中对所述分类对象区域进行分类。
2.根据权利要求1所述的图像处理装置，其中，所述区域分类部基于所述候选区域内部的像素值所表示的所述候选区域的曲面形状的凹凸信息以及平滑度，从所述候选区域中对所述分类对象区域进行分类。
3.根据权利要求1所述的图像处理装置，其中，所述区域分类部基于所述候选区域的边界部的像素值变化的陡峭性，从所述候选区域中对所述分类对象区域进行分类。
4.根据权利要求1所述的图像处理装置，其中，所述区域分类部基于所述候选区域的周边部的像素值所表示的所述候选区域的曲面形状的连续性，从所述候选区域中对所述分类对象区域进行分类。
5.根据权利要求1所述的图像处理装置，其中，该图像处理装置具有像素值增补部，该像素值增补部基于该分类对象区域以外的区域的像素值，对所述分类对象区域的像素值进行增补。
6.根据权利要求1所述的图像处理装置，其中，该图像处理装置具有像素值计算部，该像素值计算部计算在所述分类对象区域以外的区域中根据活体内的吸收或散射的程度而确定的特定波长成分的像素值。
7.根据权利要求5所述的图像处理装置，其中，该图像处理装置具有像素值计算部，该像素值计算部计算在所述分类对象区域以外的区域中根据活体内的吸收或散射的程度而确定的特定波长成分的像素值，所述像素值增补部基于所述像素值计算部所计算出的所述特定波长成分的像素值，对所述分类对象区域的像素值进行增补。
8.根据权利要求1所述的图像处理装置，其中，所述区域提取部具有特定颜色区域提取部，该特定颜色区域提取部提取表现出特定颜色像素值的特定颜色区域作为所述候选区域。
9.根据权利要求1所述的图像处理装置，其中， 所述区域提取部具有凹凸区域提取部，该凹凸区域提取部提取凹区域以及凸区域作为所述候选区域，该凹区域表现出比周边像素的像素值的平均值小的像素值，该凸区域示出比周边像素的像素值的平均值大的像素值。
10.根据权利要求9所述的图像处理装置，其中，所述凹凸区域提取部具有不同方向差分计算部，其在多个方向上计算关注像素与以该关注像素为中心在预定方向上相对的周边像素间的平均值的差分值；最大最小值计算部，其计算所述多个方向上的所述差分值的最大值及最小值；以及阈值处理部，其对所述差分值的最大值及最小值进行阈值处理，所述凹凸区域提取部基于所述阈值处理部的阈值处理结果，提取所述凹区域以及所述凸区域。
11.根据权利要求2所述的图像处理装置，其中， 所述区域分类部具有二次微分计算部，其针对所述区域提取部所提取的所述候选区域内部的像素应用二次微分滤波器，计算二次微分值；内部凹凸判定部，其基于所述候选区域内部的像素的二次微分值的符号，对所述候选区域内部的像素值所表示的所述候选区域的曲面形状的凹凸进行判定；以及内部平滑性判定部，其基于所述候选区域内部的像素的二次微分值的绝对值，对内部的像素值所表示的所述候选区域的曲面形状的平滑度进行判定，所述区域分类部基于所述内部凹凸判定部及所述内部平滑性判定部的判定结果，对所述分类对象区域进行分类。
12.根据权利要求3所述的图像处理装置，其中， 所述区域分类部具有一次微分计算部，其针对所述候选区域边界部的像素应用一次微分滤波器，计算一次微分值；以及边界陡峭性判定部，其基于所述候选区域边界部的像素的一次微分值，对所述候选区域边界部的像素值变化的陡峭性进行判定，所述区域分类部基于所述边界陡峭性判定部的判定结果，对所述分类对象区域进行分类。
13.根据权利要求4所述的图像处理装置，其中， 所述区域分类部具有周边区域函数近似部，其对隔着所述候选区域而对置的至少两个区域周边部的像素值所表示的所述候选区域的曲面形状进行函数近似；以及周边连续性判定部，其通过比较针对所述两个区域周边部的函数近似结果，对所述两个区域周边部间的连续性进行判定，所述区域分类部基于所述周边连续性判定部的判定结果，对所述分类对象区域进行分类。
14.根据权利要求6所述的图像处理装置，其中， 所述管腔内部图像由多个波长成分构成，所述像素值计算部具有特定波长成分选择部，该特定波长成分选择部从所述多个波长成分或对多个波长成分进行转换后得到的波长成分中选择所述特定波长成分。
15.根据权利要求6所述的图像处理装置，其中， 所述管腔内部图像由多个波长成分构成，所述像素值计算部具有分光信息推断部，其基于所述多个波长成分对活体组织的分光信息进行推断；以及特定波长成分计算部，其基于所述分光信息计算所述特定波长成分的像素值。
16.根据权利要求5所述的图像处理装置，其中，所述像素值增补部具有形态学处理部，该形态学处理部基于所述分类对象区域周边的像素值进行形态学处理，所述像素值增补部基于该形态学处理部的形态学处理结果，对所述分类对象区域的像素值进行增补。
17.根据权利要求16所述的图像处理装置，其中，所述形态学处理部具有结构要素生成部，该结构要素生成部基于所述分类对象区域的特征量生成形态学处理的结构要素，所述形态学处理部采用该结构要素生成部生成的结构要素进行形态学处理。
18.根据权利要求5所述的图像处理装置，其中，所述像素值增补部具有函数近似部，该函数近似部基于所述分类对象区域周边的像素值进行函数近似，所述像素值增补部基于该函数近似部的函数近似结果对所述分类对象区域的像素值进行增补。
19.根据权利要求18所述的图像处理装置，其中，所述函数近似部具有抽样像素选择部，该抽样像素选择部分别从隔着所述分类对象区域而对置的至少两个周边区域选择用于函数近似的至少一个抽样像素，所述函数近似部基于所述抽样像素进行所述函数近似。
20.一种图像处理方法，该图像处理方法包含如下步骤区域提取步骤，在该步骤中，基于拍摄管腔内部而得到的管腔内部图像的像素值或相对于周边像素的像素值变化的信息，对内部的像素值与拍摄对象的三维形状不对应的分类对象区域的候选区域进行提取；以及区域分类步骤，在该步骤中，基于所述候选区域的内部、所述候选区域的边界部、或者所述候选区域的周边部的像素值，从所述候选区域中对所述分类对象区域进行分类。
全文摘要
本发明提供一种图像处理装置及图像处理方法。该图像处理装置具有区域提取部，其以拍摄管腔内部而得到的管腔内部图像的像素值或相对于周边像素的像素值变化的信息为基础，对内部像素值与拍摄对象的三维形状不对应的分类对象区域的候选区域进行提取；以及区域分类部，其以候选区域的内部、候选区域的边界部、或者候选区域的周边部的像素值为基础，从候选区域中将分类对象区域进行分类。
文档编号G06T7/00GK102332160SQ201110187370
公开日2012年1月25日 申请日期2011年7月5日 优先权日2010年7月5日
发明者北村诚, 弘田昌士, 松田岳博, 河野隆志, 神田大和 申请人:奥林巴斯株式会社