专利名称：图像处理装置、图像处理方法及计算机可读取的记录装置的制作方法
技术领域：
本发明涉及从图像中检测映出泡的区域的图像处理装置、图像处理方法以及计算机可读取的记录装置。
背景技术：
以往，作为导入患者等被检者体内以非侵袭的方式对活体内进行观察的医用观察装置，内窥镜得到广泛普及。近年来，开发了如下的吞入型内视镜(胶囊型内窥镜)在胶囊型的壳体内部收纳摄像装置和通信装置等，以无线的方式向体外发送由摄像装置摄像而得到的图像数据。通过这种医用观察装置对活体的管腔内进行摄像而得到的一系列图像(活体内图像)的数量庞大(几万张以上)，并且，针对各活体内图像的观察和诊断需要较多的经验。因此，希望具有辅助医师进行诊断的医疗诊断支援功能。作为实现这种功能的图像识别技术之一，提出了如下技术在医疗诊断时，从活体内图像中自动检测不需要观察的区域并去除。这里，不需要观察的区域是指作为活体组织的粘膜以外的区域，例如举出映出在管腔内产生的气泡(以下也简称为“泡”)的区域(以下称为“泡区域”)。例如，在日本特开2007-313119号公报中公开了如下方法根据像素的梯度强度和泡图像的特征计算与预先设定的泡模型之间的相关值，将相关值为规定阈值以上的区域检测为泡区域。
发明内容
本发明的一个方式的图像处理装置具有候选点提取部，其从图像中提取候选点， 该候选点是构成表示泡的圆形区域的点的候选；以及圆形区域检测部，其根据所述候选点所具有的信息，检测所述图像内的圆形区域。本发明的另一个方式的图像处理方法包括以下步骤从图像中提取候选点，该候选点是构成表示泡的圆形区域的点的候选，根据所述候选点所具有的信息，检测所述图像内的圆形区域。本发明的又一个方式的计算机可读取的记录装置记录有可执行的程序，其中，所述程序指示处理器执行以下步骤从图像中提取候选点，该候选点是构成表示泡的圆形区域的点的候选，根据所述候选点所具有的信息，检测所述图像内的圆形区域。参照附图阅读以下本发明的详细说明，能够更进一步理解以上所述的内容、本发明的其他特征、优点以及技术上和产业上的意义。
图1是示出本发明的实施方式1的图像处理装置的结构的框图。
图2是示出图1所示的初始候选点提取部的结构的框图。图3是示出图1所示的圆形区域检测部的结构的框图。图4是说明泡区域的构造的图。图5是示出图1所示的图像处理装置的动作的流程图。图6是示出图1所示的图像处理装置处理的活体内图像的一例的示意图。图7是说明像素值的梯度为凸的方向上的梯度强度的计算方法的图。图8是示出从图6所示的活体内图像中提取出的边缘像素的示意图。图9是示出从图8所示的图像中作为初始候选点而提取出的边缘像素的示意图。图10是示出根据距离值(R值)对图6所示的活体内图像进行分割后的分割区域的图。图11是示出距离值(R值)与圆形区域的尺寸之间的对应的表。图12是说明基于RANSAC的圆形区域的估计方法的图。图13是说明边界区域的设定方法的图。图14是说明表示边界区域中包含的边缘像素的连续性的评价值的计算方法的图。图15是说明表示边界区域中包含的边缘像素相对于圆形区域的中心坐标的相对性的评价值的计算方法的图。图16是说明表示边界区域中包含的边缘像素的圆形性的评价值的计算方法的图。图17是示出本发明的实施方式2的图像处理装置的结构的框图。图18是示出图17所示的投票部的结构的框图。图19是示出图17所示的图像处理装置的动作的流程图。图20是说明初始候选点针对参数空间的投票方法的图。图21是说明初始候选点针对参数空间的投票方法的图。图22是示出本发明的实施方式3的图像处理装置的结构的框图。图23是示出图22所示的图像处理装置的动作的流程图。图M是说明图22所示的图像处理装置的泡区域的判定方法的图。
具体实施例方式下面，参照
本发明的实施方式的图像处理装置。另外，本发明不被这些实施方式限定。并且，在各附图的记载中，对相同部分标注相同标号来示出。以下说明的实施方式的图像处理装置对通过内窥镜或胶囊内窥镜等医用观察装置摄像而得到的图像进行处理，具体而言，进行如下处理从对被检者的活体(管腔)内进行摄像而得到的图像中检测映出泡的泡区域。在以下的说明中，实施图像处理的活体内图像例如是在各像素中具有针对R(红)、G(绿)、B(蓝)的各颜色成分的256灰阶的像素等级(像素值)的彩色图像。另外，本发明的图像处理装置不限于活体内图像，在从一般图像中检测泡区域的情况下也能够应用。并且，由于表面张力的作用，在以下的实施方式中作为检测对象的泡区域通常具有圆形形状、扁圆形状或椭圆形状等类圆形状、或者这些圆周的一部分形状(圆弧等)的平面外观。因此，在本申请中，将正圆、扁圆和椭圆等类圆形状称为“圆形”，将圆形的一部分 (例如圆弧)的形状称为“圆弧形状”。实施方式1图1是示出本发明的实施方式1的图像处理装置的结构的框图。如图1所示，图像处理装置1具有对图像处理装置1整体的动作进行控制的控制部10、图像取得部11、输入部12、显示部13、存储部14和运算部15。图像取得部11取得通过医用观察装置摄像而得到的活体内图像的图像数据。图像取得部11根据包含医用观察装置的系统的形态而适当构成。例如，在医用观察装置是胶囊内窥镜、且使用可移动型记录介质在与医用观察装置之间交接图像数据的情况下，图像取得部11由装卸自如地装配该记录介质并读出所保存的活体内图像的图像数据的读出装置构成。并且，在设置预先保存通过医用观察装置摄像而得到的活体内图像的图像数据的服务器的情况下，图像取得部11由与服务器连接的通信装置等构成，与服务器进行数据通信来取得活体内图像的图像数据。或者，还可以利用经由电缆从内窥镜等医用观察装置输入图像信号的接口装置等构成图像取得部11。输入部12例如由键盘、鼠标、触摸面板、各种开关等实现，将输入信号输出到控制部10。显示部13由IXD或EL显示器等显示装置实现，在控制部10的控制下，显示包含活体内图像的各种画面。存储部14由可更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或者利用数据通信端子连接的硬盘、或CD-ROM等信息记录装置及其读取装置等实现。存储部14除了存储由图像取得部11取得的活体内图像的图像数据以外，还存储用于使图像处理装置1 动作并使图像处理装置1执行各种功能的程序、以及在该程序的执行中使用的数据等。具体而言，存储部14存储用于从活体内图像中检测泡区域的图像处理程序141。运算部15由CPU等硬件实现，通过读入图像处理程序141对活体内图像的图像数据进行处理，进行用于从活体内图像中检测泡区域的各种运算处理。运算部15具有初始候选点提取部16，其根据泡区域所具有的特征，从活体内图像中提取初始候选点，该初始候选点是构成表示泡的圆形区域的点的候选；以及圆形区域检测部17，其根据提取出的初始候选点所具有的信息，从活体内图像中检测圆形区域。控制部10由CPU等硬件实现，通过读入存储在存储部14中的各种程序，根据从图像取得部11输入的图像数据和从输入部12输入的操作信号等，进行针对构成图像处理装置1的各部的指示或数据转送等，对图像处理装置1整体的动作进行统一控制。接着，对运算部15的详细结构进行说明。图2是示出初始候选点提取部16的结构的框图。初始候选点提取部16具有梯度强度计算部161，其计算活体内图像中包含的各像素的像素值的梯度强度；边缘检测部 162，其根据梯度强度检测边缘；以及镜面反射区域检测部163，其从活体内图像中检测镜面反射区域。作为梯度强度计算部161执行的梯度强度的计算方法，能够使用一阶微分(索贝尔滤波器等)或二阶微分等已知的各种手法。作为一例，梯度强度计算部161具有凸部梯度强度计算部161a，通过进行二阶微分来计算像素值的梯度为凸的方向上的梯度强度。CN 102525381 A
边缘检测部162通过提取具有规定阈值以上的梯度强度的像素来检测边缘。 另外，作为边缘的检测方法，除此之外，能够使用已知的各种手法。例如，可以使用坎尼 (Canny)的边缘检测算法(参考CG_ARTS協会，r ^ ”夕义画像処理，p. 208 p. 210)等。镜面反射区域检测部163具有高亮度区域检测部163a，其计算活体内图像中包含的各像素的亮度值，检测具有规定值以上的亮度的高亮度区域；以及白色区域检测部 163b，其根据各像素的像素值，检测具有包含在表示白色的颜色范围中的像素值的像素的区域(白色区域)。作为表示白色的颜色范围，例如使用将在活体内产生的光晕部分的RGB 值转换为HSI值(H 色相；S 彩度；I :明度；参考=CG-ARTS協会，r ^ ”夕 > 画像処理， p. 64 p. 68)后的值的范围(例如S < 0. 2、I彡0. 8)。这种颜色范围作为教师数据预先存储在存储部14中，根据需要，白色区域检测部16 从存储部14中读出教师数据进行参照。图3是示出圆形区域检测部17的结构的框图。圆形区域检测部17具有估计用候选点提取部18，其从初始候选点内提取用于估计圆形区域的多个候选点(估计用候选点)； 圆形估计部19，其使用提取出的估计用候选点的坐标，通过稳健估计(robust estimation) 来估计圆形区域；评价值计算部20，其计算用于评价所估计出的圆形区域是否实际存在于活体内图像内的评价值；以及判定部21，其将该评价值与规定阈值进行比较，评价圆形区域是否实际存在于活体内图像内。估计用候选点提取部18具有圆形区域存储部181，其存储与已检测的圆形区域有关的信息；以及圆形区域尺寸估计部182，其估计圆形区域的大小。圆形区域尺寸估计部 182计算表示在活体内图像中映出的被摄体的进深的距离信息，根据该距离信息估计圆形区域的尺寸。评价值计算部20具有边界区域提取部201，其提取圆形区域的边界区域；以及边界区域信息计算部202，其取得与边界区域中包含的像素有关的信息(以下也称为边界区域信息)。作为边界区域信息，例如使用边界区域中的像素值的梯度强度的平均值。这里，对作为运算部15的检测对象的泡区域进行说明。图4是说明泡区域的构造例的图。如图4(a)所示，泡100是包含空气等气体的液体(水分等)由于表面张力的作用而变成圆形的，包含水分等的膜101及其内部的气体102。在对这种泡100照射光并进行摄像时，得到图4(b)所示的泡区域110的图像。该泡区域110在外形上具有圆形形状或圆弧形状，作为内部构造，包含与膜101的厚度部分对应的在泡区域110的周缘部中包含的边界区域111、位于其内侧的内部区域112、以及在内部区域112的内侧的多个部位能够看到的镜面反射区域113。其中，边界区域111是由于照射光在膜101上散射而产生的明亮区域。另一方面，内部区域112是由于较多的照明光透过膜101而产生的区域，是整体较暗的区域。镜面反射区域113是照射光在膜101的表面进行镜面反射而映入光源从而产生光晕的亮度极高的区域。接着，对图像处理装置1的动作进行说明。图5是示出图像处理装置1的动作的流程图。首先，在步骤SlO中，图像取得部11从外部取得活体内图像组，并将其存储在存储部14中。运算部15从存储部14中依次读出要实施图像处理的活体内图像。图6是示出从存储部14中读出的活体内图像的一例的示意图。如图6所示，在活体内图像120中，具有与活体的粘膜不同的特征的区域122有时重叠在粘膜区域121上映出。在步骤Sll中，梯度强度计算部161计算活体内图像120内的各像素中的像素值
的梯度强度。具体而言，首先，凸部梯度强度计算部161a针对位于坐标(X，y)的像素的像
素值P(x，y)，使用下式(1) 式G)，计算水平方向上的二阶微分dH、垂直方向上的二阶微
分dV、第1倾斜方向上的二阶微分dDl、第2倾斜方向上的二阶微分dD2(参照图7)。
权利要求
1.一种图像处理装置，其中，该图像处理装置具有候选点提取部，其从图像中提取候选点，该候选点是构成表示泡的圆形区域的点的候选；以及圆形区域检测部，其根据所述候选点所具有的信息，检测所述图像内的圆形区域。
2.根据权利要求1所述的图像处理装置，其中，所述候选点提取部根据泡区域所具有的内部构造，提取所述候选点。
3.根据权利要求2所述的图像处理装置，其中，所述候选点提取部具有梯度强度计算部，其计算所述图像中包含的各像素的像素值的梯度强度；以及边缘检测部，其根据所述梯度强度检测边缘。
4.根据权利要求3所述的图像处理装置，其中，所述梯度强度计算部具有凸部梯度强度计算部，该凸部梯度强度计算部针对所述各像素，计算像素值的梯度为凸的方向上的梯度强度。
5.根据权利要求2所述的图像处理装置，其中，所述候选点提取部具有镜面反射区域检测部，该镜面反射区域检测部从所述图像中检测在对泡照射照明光时进行镜面反射的区域。
6.根据权利要求5所述的图像处理装置，其中，所述镜面反射区域检测部具有高亮度区域检测部，该高亮度区域检测部从所述图像中检测具有规定值以上的亮度的高亮度区域。
7.根据权利要求5所述的图像处理装置，其中，所述镜面反射区域检测部具有白色区域检测部，该白色区域检测部从所述图像中检测具有包含在表示白色的颜色范围中的像素值的像素。
8.根据权利要求1所述的图像处理装置，其中，所述圆形区域检测部具有估计用候选点提取部，其从由所述候选点提取部提取出的候选点内，提取用于估计圆形区域的多个估计用候选点；圆形估计部，其根据由所述估计用候选点提取部提取出的所述多个估计用候选点，估计圆形区域；评价值计算部，其根据所述圆形区域所具有的信息，计算用于判定该圆形区域是否实际存在于所述图像内的评价值；以及判定部，其根据所述评价值，判定所述圆形区域是否实际存在于所述图像内。
9.根据权利要求8所述的图像处理装置，其中，所述图像处理装置还具有存储部，该存储部存储与所述判定部判定为实际存在于所述图像内的圆形区域有关的信息，所述估计用候选点提取部从存储在所述存储部中的圆形区域的外侧区域中，提取所述多个估计用候选点。
10.根据权利要求8所述的图像处理装置，其中，所述估计用候选点提取部具有圆形区域尺寸估计部，该圆形区域尺寸估计部估计所述圆形区域的大小。
11.根据权利要求10所述的图像处理装置，其中，所述圆形区域尺寸估计部根据所述图像中包含的各像素的像素值，计算表示在所述图像中映出的被摄体的进深的距离信息，根据该距离信息估计所述圆形区域的大小。
12.根据权利要求9所述的图像处理装置，其中， 所述评价值计算部具有边界区域提取部，其提取所述圆形区域的周缘部中包含的边界区域；以及边界区域信息计算部，其取得与所述边界区域中包含的像素有关的信息。
13.根据权利要求12所述的图像处理装置，其中，所述边界区域信息计算部计算所述边界区域中包含的像素的像素值的梯度强度的平均值。
14.根据权利要求12所述的图像处理装置，其中，所述边界区域信息计算部对所述边界区域中包含的边缘像素的个数进行计数。
15.根据权利要求12所述的图像处理装置，其中，所述边界区域信息计算部计算所述边界区域中包含的像素的亮度值的平均值。
16.根据权利要求12所述的图像处理装置，其中，所述边界区域信息计算部取得所述边界区域中包含的像素的颜色信息。
17.根据权利要求12所述的图像处理装置，其中，所述边界区域信息计算部计算表示所述边界区域中包含的边缘像素的形状的信息。
18.根据权利要求17所述的图像处理装置，其中，所述边界区域信息计算部计算表示所述边缘像素的连续性的评价值。
19.根据权利要求18所述的图像处理装置，其中，所述边界区域信息计算部对在所述边界区域中存在相邻边缘像素的边缘像素的数量进行计数。
20.根据权利要求17所述的图像处理装置，其中，所述边界区域信息计算部计算表示所述边界区域中包含的边缘像素关于所述圆形区域的中心坐标的相对性的评价值。
21.根据权利要求20所述的图像处理装置，其中，所述边界区域信息计算部对在所述边界区域中在关于所述圆形区域的中心坐标相对的位置处存在其他边缘像素的边缘像素的数量进行计数。
22.根据权利要求17所述的图像处理装置，其中，所述边界区域信息计算部计算表示所述边界区域中包含的边缘像素的圆形性的评价值。
23.根据权利要求22所述的图像处理装置，其中，所述边界区域信息计算部计算所述圆形区域的圆周与所述边界区域中包含的边缘像素之间的距离。
24.根据权利要求1所述的图像处理装置，其中， 所述圆形区域检测部具有投票部，其在由圆的半径和圆的中心坐标构成的参数空间内对所述候选点进行投票；以及投票评价值计算部，其根据所述参数空间中的投票频度，计算用于检测圆形区域的评价值。
25.根据权利要求M所述的图像处理装置，其中，所述投票部具有权重决定部，该权重决定部根据在所述参数空间内被投票的所述候选点所具有的信息，决定对该候选点赋予的权重。
26.根据权利要求25所述的图像处理装置，其中，所述权重决定部根据所述候选点的像素值的梯度强度决定所述权重。
27.根据权利要求25所述的图像处理装置，其中，所述权重决定部根据所述候选点的像素的亮度值决定所述权重。
28.根据权利要求25所述的图像处理装置，其中，所述权重决定部根据所述候选点的像素所具有的颜色信息决定所述权重。
29.根据权利要求M所述的图像处理装置，其中，所述投票部具有参数空间范围决定部，该参数空间范围决定部决定所述参数空间的范围。
30.根据权利要求四所述的图像处理装置，其中， 所述参数空间范围决定部具有距离信息计算部，其计算表示在所述图像中映出的被摄体的进深的距离信息；以及圆形区域尺寸估计部，其根据所述距离信息，估计作为检测对象的圆形区域的大小。
31.根据权利要求1所述的图像处理装置，其中， 所述图像处理装置还具有区域分割部，其将所述图像分割为多个区域；以及区域判定部，其根据各分割区域内的圆形区域的检测结果，判定在该分割区域整体中是否存在泡区域。
32.根据权利要求1所述的图像处理装置，其中，所述图像是对活体的管腔内进行摄像而得到的活体内图像。
33.一种图像处理方法，其中，该图像处理方法包括以下步骤从图像中提取候选点，该候选点是构成表示泡的圆形区域的点的候选， 根据所述候选点所具有的信息，检测所述图像内的圆形区域。
34.一种计算机可读取的记录装置，其记录有可执行的程序，其中， 所述程序指示处理器执行以下步骤从图像中提取候选点，该候选点是构成表示泡的圆形区域的点的候选， 根据所述候选点所具有的信息，检测所述图像内的圆形区域。
全文摘要
本发明提供一种图像处理装置、图像处理方法及计算机可读取的记录装置，图像处理装置具有候选点提取单元部，其从图像中提取候选点，该候选点是构成表示泡的圆形区域的点的候选；以及圆形区域检测单元部，其根据所述候选点所具有的信息，检测所述图像内的圆形区域。
文档编号A61B1/04GK102525381SQ20111042017
公开日2012年7月4日 申请日期2011年12月15日 优先权日2010年12月16日
发明者北村诚, 弘田昌士, 河野隆志, 神田大和 申请人:奥林巴斯株式会社