专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及图像处理装置和图像处理方法，特别涉及在活体组织的诊断等中使用的图像处理装置和图像处理方法。
背景技术：
以支援确定通过内窥镜等对体腔内的活体组织进行摄像而得到的图像中的病变部位(异常部位)为目的，近年来，与从该图像中检测活体粘膜下的血管行走图案和(或)上皮组织的规定构造等的图像处理有关的研究正在发展。 例如，在Alejandro F. Frangi, Wiro J. Niessen, Koen L. Vincken and MaxA. Viergever :“Multiscale Vessel Enhancement Filtering，，，LNCS, vol. 1496，SpringerVerlag, Berlin, Germany,pp. 130-137(以下称为非专利文献I)中，公开了如下的图像处理根据通过使用海赛(Hessian)矩阵的运算而得到的固有值对线状构造进行建模，使用该固有值计算规定评价值，根据该规定评价值的大小对图像内包含的线状构造进行强调。但是，在通过内窥镜或胶囊型内窥镜对体腔内进行摄像而得到的图像中，由于作为摄像对象的活体组织的特性和对作为摄像对象的活体组织进行照明时的照明强度等的要因复合地组合，不仅在不同的图像间，在同一图像内，也存在对比度的变动(偏差)较大的倾向。另一方面，根据非专利文献I所公开的图像处理，由于所述规定评价值依赖于对比度的大小而增减，所以例如产生如下课题针对通过X射线造影而得到的图像等的、难以产生对比度的变动的图像，能有效发挥作用，相反，针对通过内窥镜或胶囊型内窥镜对体腔内进行摄像而得到的图像等的、容易产生对比度的变动的图像，很难得到效果。本发明是鉴于上述情况而完成的，其目的在于，提供如下的图像处理装置和图像处理方法即使在对活体组织进行摄像而得到的图像的对比度大幅变动的情况下，也能够稳定地检测规定形状的构造。
发明内容
用于解决课题的手段本发明的图像处理装置具有 第I特征量计算部，其按照对活体组织进行摄像而得到的图像的各像素，计算表示包含关注像素和该关注像素附近的各像素的局部区域呈何种形状的指标的第I特征量；第2特征量计算部，其按照所述图像的各像素，计算表示所述局部区域中的梯度方向的分布状态的第2特征量；评价值计算部，其根据所述第I特征量和所述第2特征量的计算结果，按照所述图像的各像素计算能够判别所述图像中包含的规定形状的构造的形状评价值；以及区域提取部，其根据所述形状评价值的计算结果，从所述图像中提取被估计为存在所述规定形状的构造的候选区域。本发明的图像处理方法具有以下步骤第I特征量计算步骤，按照对活体组织进行摄像而得到的图像的各像素，计算表示包含关注像素和该关注像素附近的各像素的局部区域呈何种形状的指标的第I特征量；第2特征量计算步骤，按照所述图像的各像素，计算表示所述局部区域中的梯度方向的分布状态的第2特征量；评价值计算步骤，根据所述第I特征量和所述第2特征量的计算结果，按照所述图像的各像素计算能够判别所述图像中包含的规定形状的构造的形状评价值；以及区域提取步骤，根据所述形状评价值的计算结果，从所述图像中提取被估计为存在所述规定形状的构造的候选区域。
图I是示出具有本发明的实施例的图像处理装置的内窥镜装置的主要部分的结构的一例的图。图2是示出图I的光源装置所具有的旋转滤镜的结构的一例的图。图3是示出图2的第I滤镜组所具有的各滤镜的透射特性的一例的图。
图4是示出图2的第2滤镜组所具有的各滤镜的透射特性的一例的图。图5是示出在本发明的实施例中进行的处理的一例的流程图。图6是示出作为处理对象的图像数据的一例的示意图。图7是用于说明在梯度矢量集中度的计算时使用的要素的图。
具体实施例方式下面，参照附图对本发明的实施方式进行说明。图I 图7涉及本发明的实施例。如图I所示，内窥镜装置I构成为具有内窥镜2，其被插入被检者的体腔内，以信号方式输出对该体腔内的活体组织101等被摄体进行摄像而得到的图像；光源装置3，其发出用于对活体组织101进行照明的照明光；处理器4，其对来自内窥镜2的输出信号实施各种处理；显示装置5，其显示与来自处理器4的视频信号对应的图像；以及外部存储装置6，其存储与处理器4中的处理结果对应的输出信号。内窥镜2构成为具有具有能够插入被检者的体腔内的形状和尺寸的插入部21a、设置在插入部21a的前端侧的前端部21b、以及设置在插入部21a的基端侧的操作部21c。并且，在插入部21a的内部贯穿插入有用于向前端部21b传送在光源装置3中发出的照明光的光导7。光导7的一个端面(光入射端面)装卸自如地与光源装置3连接。并且，光导7的另一个端面(光出射端面)配置在设于内窥镜2的前端部21b中的未图示的照明光学系统的附近。根据这种结构，在光源装置3中发出的照明光经过与光源装置3连接的状态的光导7和设置在前端部21b的未图示的照明光学系统后，向活体组织101射出。在内窥镜2的前端部21b中设有形成被摄体的光学像的物镜光学系统22、以及对由物镜光学系统22形成的光学像进行摄像而取得图像的CCD23。并且，在内窥镜2的操作部21c中设有观察模式切换开关24，该观察模式切换开关24能够进行用于将观察模式切换为通常光观察模式或窄带光观察模式中的任意一方的指示。光源装置3具有由氙灯等构成的白色光源31、使从白色光源31发出的白色光成为面顺次的照明光的旋转滤镜32、使旋转滤镜32旋转驱动的电动机33、使旋转滤镜32和电动机33在与白色光源31的出射光路垂直的方向上移动的电动机34、根据处理器4的控制而驱动电动机33和34的旋转滤镜驱动部35、以及使通过旋转滤镜32后的照明光会聚并将其供给到光导7的入射端面的会聚光学系统36。如图2所示，旋转滤镜32构成为将中心作为旋转轴的圆板状，具有第I滤镜组32A和第2滤镜组32B，该第I滤镜组32A具备沿着内周侧的周方向设置的多个滤镜，该第2滤镜组32B具备沿着外周侧的周方向设置的多个滤镜。而且，通过使电动机33的驱动力传递到所述旋转轴，旋转滤镜32旋转。另外，在旋转滤镜32中，除了配置有第I滤镜组32A和第2滤镜组32B的各滤镜的部分以外的部分由遮光部件构成。第I滤镜组32A构成为具有分别沿着旋转滤镜32的内周侧的周方向设置的使红色波段的光透射的R滤镜32r、使绿色波段的光透射的G滤镜32g、以及使蓝色波段的光透射的B滤镜32b。例如如图3所示，R滤镜32r具有主要使600nm 700nm的光(R光)透射的结构。并且，例如如图3所示，G滤镜32g具有主要使500nm 600nm的光(G光)透射的结构。进而，例如如图3所示，B滤镜32b具有主要使400nm 500nm的光(B光)透射的结构。 S卩，在白色光源31中发出的白色光经过第I滤镜组32A，由此生成通常光观察模式用的宽带光。第2滤镜组32B构成为具有分别沿着旋转滤镜32的外周侧的周方向设置的使蓝色的窄带光透射的Bn滤镜321b、以及使绿色的窄带光透射的Gn滤镜321g。例如如图4所示，Bn滤镜321b构成为，中心波长设定在415nm附近，并且使比B光窄的频带的光(Bn光)透射。并且，例如如图4所示，Gn滤镜321g构成为，中心波长设定在540nm附近，并且使比G光窄的频带的光(Gn光)透射。S卩，在白色光源31中发出的白色光经过第2滤镜组32B而离散化，由此生成窄带光观察模式用的多个频带的窄带光。处理器4构成为具有作为图像处理装置的功能。具体而言，处理器4构成为具有图像处理部41和控制部42。并且，图像处理部41构成为具有图像数据生成部41a、运算部41b、视频信号生成部41c。图像处理部41的图像数据生成部41a根据控制部42的控制，对来自内窥镜2的输出信号实施噪声去除和A/D转换等处理，由此，生成与在CCD23中得到的图像对应的图像数据。图像处理部41的运算部41b使用由图像数据生成部41a生成的图像数据进行规定处理，由此，从所述图像数据中提取被估计为存在规定形状的粘膜微细构造(组织学的构造)的候选区域。另外，所述规定处理的详细情况在后面详细叙述。图像处理部41的视频信号生成部41c通过对由图像数据生成部41a生成的图像数据实施伽马转换和D/A转换等处理，生成视频信号并输出。控制部42根据观察模式切换开关24的指示，在检测到进行了切换为通常光观察模式的指示的情况下，对旋转滤镜驱动部35进行用于从光源装置3射出通常光观察模式用的宽带光的控制。然后，旋转滤镜驱动部35根据控制部42的控制，使电动机34进行动作，以使得在白色光源31的出射光路上插入第I滤镜组32A，并且，使第2滤镜组32B从白色光源31的出射光路上退避。
并且，控制部42根据观察模式切换开关24的指示，在检测到进行了切换为窄带光观察模式的指示的情况下，对旋转滤镜驱动部35进行用于从光源装置3射出窄带光观察模式用的多个频带的窄带光的控制。然后，旋转滤镜驱动部35根据控制部42的控制，使电动机34进行动作，以使得在白色光源31的出射光路上插入第2滤镜组32B，并且，使第I滤镜组32A从白色光源31的出射光路上退避。即，根据如上所述的内窥镜装置I的结构，在选择了通常光观察模式的情况下，能够在显示装置5中显示具有与利用肉眼观察对象物的情况大致相同的色度的图像(通常光图像)，进而存储在外部存储装置62中。并且，根据如上所述的内窥镜装置I的结构，在选择了窄带光观察模式的情况下，能够在显示装置5中显示对活体组织101中包含的血管进行了强调的图像(窄带光图像)，进而存储在外部存储装置62中。这里，对内窥镜装置I的作用进行说明。首先，手术医生接通内窥镜装置I的各部的电源后，在观察模式切换开关24中选择通常光观察模式。然后，手术医生一边观察在选择通常光观察模式时显示在显示装置5 中的图像、即具有与利用肉眼观察对象物的情况大致相同的色度的图像，一边将内窥镜2插入体腔内，由此，使前端部21b接近观察对象的活体组织101所存在的部位。当在观察模式切换开关24中选择了通常光观察模式时，R光、G光和B光的各种颜色的光依次从光源装置3向活体组织101射出，在内窥镜2中分别取得与该各种颜色的光对应的图像。当图像处理部41的图像数据生成部41a被输入与R光对应的图像、与G光对应的图像和与B光对应的图像时，分别生成与各图像对应的颜色分量的图像数据(图5的步骤SI)。另外，以下为了简化说明，将例如图6所示的与线状的粘膜微细构造(组织学的构造)相当的区域表示为圆点图案，将与块状的粘膜微细构造(组织学的构造)相当的区域表示为斜线图案，将与背景粘膜相当的区域表示为空白，并且，将这3个区域的边界线表示为细实线，针对这样的示意性的图像数据进行处理，由此进行说明。运算部41b通过对由图像数据生成部41a生成的图像数据进行使用海赛矩阵的运算，按照各像素计算与该海赛矩阵对应的固有值(图5的步骤S2)。具体而言，针对由图像数据生成部41a生成的图像数据，使用下述算式(I)所示的海赛矩阵 H,进行 Alejandro F. Frangi 等的论文“Multiscale Vessel EnhancementFiltering” (LNCS, vol. 1496, Springer Verlag, Berlin, Germany, pp. 130-137)所公开的运算，由此计算固有值入I和入2(其中，设I入1| ^ I入2|)。另外，下述算式(I)的右边所包含的标号L表示图像内的局部位置的图像强度，即，相当于Alejandro F. Frangi等的上述论文中的L (X。+5 X(l，s)。
权利要求
1.一种图像处理装置，其特征在于， 该图像处理装置具有 第I特征量计算部，其按照对活体组织进行摄像而得到的图像的各像素，计算表示包含关注像素和该关注像素附近的各像素的局部区域呈何种形状的指标的第I特征量； 第2特征量计算部，其按照所述图像的各像素，计算表示所述局部区域中的梯度方向的分布状态的第2特征量； 评价值计算部，其根据所述第I特征量和所述第2特征量的计算结果，按照所述图像的各像素计算能够判别所述图像中包含的规定形状的构造的形状评价值；以及 区域提取部，其根据所述形状评价值的计算结果，从所述图像中提取被估计为存在所述规定形状的构造的候选区域。
2.根据权利要求I所述的图像处理装置，其特征在于， 所述形状评价值被计算为能够分别判别所述图像中包含的线状构造和块状构造的值，所述区域提取部根据所述形状评价值的计算结果，从所述图像中单独提取被估计为存在所述线状构造的所述候选区域和被估计为存在所述块状构造的所述候选区域。
3.根据权利要求I所述的图像处理装置，其特征在于， 根据通过使用了海赛矩阵的运算而得到的固有值，计算所述第I特征量。
4.根据权利要求I所述的图像处理装置，其特征在于， 所述第2特征量被计算为所述局部区域中的梯度方向的集中度。
5.一种图像处理方法，其特征在于，该图像处理方法具有以下步骤 第I特征量计算步骤，按照对活体组织进行摄像而得到的图像的各像素，计算表示包含关注像素和该关注像素附近的各像素的局部区域呈何种形状的指标的第I特征量； 第2特征量计算步骤，按照所述图像的各像素，计算表示所述局部区域中的梯度方向的分布状态的第2特征量； 评价值计算步骤，根据所述第I特征量和所述第2特征量的计算结果，按照所述图像的各像素计算能够判别所述图像中包含的规定形状的构造的形状评价值；以及 区域提取步骤，根据所述形状评价值的计算结果，从所述图像中提取被估计为存在所述规定形状的构造的候选区域。
6.根据权利要求5所述的图像处理方法，其特征在于，所述形状评价值被计算为能够分别判别所述图像中包含的线状构造和块状构造的值，在所述区域提取步骤中，根据所述形状评价值的计算结果，从所述图像中单独提取被估计为存在所述线状构造的所述候选区域和被估计为存在所述块状构造的所述候选区域。
7.根据权利要求5所述的图像处理方法，其特征在于， 根据通过使用了海赛矩阵的运算而得到的固有值，计算所述第I特征量。
8.根据权利要求5所述的图像处理方法，其特征在于， 所述第2特征量被计算为所述局部区域中的梯度方向的集中度。
全文摘要
本发明的图像处理装置具有第1特征量计算部，其按照对活体组织进行摄像而得到的图像的各像素，计算表示包含关注像素和该关注像素附近的各像素的局部区域呈何种形状的指标的第1特征量；第2特征量计算部，其按照图像的各像素，计算表示局部区域中的梯度方向的分布状态的第2特征量；评价值计算部，其根据第1特征量和第2特征量的计算结果，按照各像素计算能够判别图像中包含的规定形状的构造的形状评价值；以及区域提取部，其根据形状评价值的计算结果，从图像中提取被估计为存在规定形状的构造的候选区域。
文档编号G06T7/00GK102740756SQ20118000761
公开日2012年10月17日 申请日期2011年3月31日 优先权日2010年6月30日
发明者登本悠介 申请人:奥林巴斯医疗株式会社