图像处理装置、程序以及图像处理方法
【技术领域】
[0001] 本发明涉及图像处理装置、程序以及图像处理方法等。
【背景技术】
[0002] 在使用了内窥镜装置的生物体内部的观察、诊断中，广泛使用了一种通过观察生 物体表面的微小的凹凸状态进行是否是早期病变部的识别的方法。另外，即使不是生物体 用的内窥镜装置而是工业用的内窥镜装置中，观察被摄体（狭义上是被摄体表面）的凹凸 结构也是有用的，例如能够检测出产生于难以直接目视的管内部等的龟裂等。另外，即使在 内窥镜装置以外的图像处理装置中，多数情况下从作为处理对象的图像中检测出被摄体的 凹凸结构也是有用的。
[0003] 以往，作为摄像图像的结构（例如槽等凹凸结构）的强调处理，广泛使用强调特定 的空间频率的处理，但这种方法不适用于上述那样的微小的凹凸状态的检测。另外，还有一 种方法广为人知，该方法不是通过图像处理检测凹凸状态，而是使被摄体侧产生某种变化， 再拍摄变化后的被摄体。作为一例，如果是生物体用的内窥镜装置，则具有通过散布靛蓝胭 脂红等色素使生物体本身染色而在表层粘膜形成对比度的方法。但是，色素散布既花费功 夫和成本，还有可能因为散布的色素而损伤被摄体本来的色调，或者降低凹凸以外的结构 的视觉辨认性。而且如果是对生物体散布色素，还能够产生对患者来说侵入性高的问题。
[0004] 在专利文献1中公开了一种方法，该方法对局部的提取区域的关注像素与其周边 像素的亮度等级进行比较，在关注区域比周边区域暗的情况下通过进行着色的处理而强调 凹凸结构。
[0005] 现有技术文献
[0006] 专利文献
[0007] 专利文献1 :日本特开2003-88498号公报
【发明内容】
[0008] 发明要解决的课题
[0009] 专利文献1的处理是基于以下假设的处理：在从摄像部到被摄体（生物体表面） 的距离较远的情况下，从生物体表面反射的反射光量变少而进行较暗的拍摄。因此，例如即 使是在由亮点周边部或手边的结构而造成的影子的区域、或血管与其周边的粘膜等与生物 体表面的细微的凹凸没有直接关系的情况下，也会在产生亮度变化的区域误检测出凹凸结 构。
[0010] 根据本发明的几种方式，能够提供一种根据与被摄体相关的已知特性信息而对该 被摄体的凹凸部进行适当的强调处理的图像处理装置、程序以及图像处理方法。
[0011] 用于解决课题的手段
[0012] 本发明的一个实施方式涉及一种图像处理装置，其包含：图像获取部，其通过摄像 部的拍摄而获取包含被摄体的像的摄像图像；距离信息获取部，其获取基于所述拍摄时从 所述摄像部到所述被摄体的距离的距离信息；凹凸信息获取部，其从所获取的所述距离信 息中获取提取凹凸信息，其中，该提取凹凸信息是提取出了所述被摄体的凹凸部的信息；以 及强调部，其将由所述提取凹凸信息所表示的所述凹凸部中的与由已知特性信息所确定的 特性一致的所述凹凸部作为强调对象进行强调处理，其中，该已知特性信息是表示与所述 被摄体的结构相关的已知特性的信息。
[0013] 在本发明的一个实施方式中，将由提取凹凸信息所表示的凹凸部中的与由已知特 性信息所确定的特性一致的凹凸部作为强调对象进行强调处理。因此，在对凹凸结构进行 强调处理时，判定被摄体的凹凸结构是否是强调对象，能够对被判定为是强调对象的凹凸 部进行适当地强调处理等。
[0014] 另外，本发明的其它方式涉及一种程序，该程序使计算机执行如下步骤：通过摄 像部的拍摄而获取包含被摄体的像的摄像图像，获取基于所述拍摄时从所述摄像部到所述 被摄体的距离的距离信息，从所获取的所述距离信息中获取提取凹凸信息，其中，该提取凹 凸信息是提取出了所述被摄体的凹凸部的信息，将由所述提取凹凸信息所表示的所述凹凸 部中的与由已知特性信息所确定的特性一致的所述凹凸部作为强调对象进行强调处理，其 中，该已知特性信息是表示与所述被摄体的结构相关的已知特性的信息。
[0015] 另外，本发明的其它方式涉及一种图像处理方法，通过摄像部的拍摄而获取包含 被摄体的像的摄像图像，获取基于所述拍摄时从所述摄像部到所述被摄体的距离的距离信 息，从所获取的所述距离信息中获取提取凹凸信息，其中，该提取凹凸信息是提取出了所述 被摄体的凹凸部的信息，将由所述提取凹凸信息所表示的所述凹凸部中的与由已知特性信 息所确定的特性一致的所述凹凸部作为强调对象进行强调处理，其中，该已知特性信息是 表示与所述被摄体的结构相关的已知特性的信息。
【附图说明】
[0016] 图1是图像处理装置的系统结构例。
[0017] 图2是包含本实施方式涉及的图像处理装置的内窥镜装置的结构图。
[0018] 图3是旋转滤色器的结构例。
[0019] 图4是滤色器的分光特性的例子。
[0020] 图5是凹凸信息获取部的结构例。
[0021] 图6(A)~图6(F)是通过形态学处理对提取凹凸信息进行提取处理的说明图。
[0022] 图7(A)~图7(D)是通过滤波处理对提取凹凸信息进行提取处理的说明图。
[0023] 图8是图像处理部的结构例。
[0024] 图9是强调部的结构例。
[0025] 图10是提取凹凸信息的例子。
[0026] 图11是说明凹部的宽度的计算处理的图。
[0027] 图12是说明凹部的深度的计算处理的图。
[0028] 图13(A)、图13(B)是凹部的强调处理中的强调量（增益系数）的设定例。
[0029] 图14(A)、图14⑶是凹部的强调处理的例子。
[0030] 图15是距离信息获取部的结构例。
[0031] 图16是距离信息获取部的其它的结构例。
[0032] 图17是计算机系统的结构例。
[0033] 图18是计算机系统的结构例。
[0034] 图19是说明本实施方式的处理的流程图。
[0035] 图20是说明提取凹凸信息的提取处理的流程图。
[0036] 图21是用于说明强调处理的流程图。
[0037] 图22是说明凸部的宽度的计算处理的图。
[0038] 图23(A)、图23(B)是凸部的强调处理中的强调量（增益系数）的设定例。
【具体实施方式】
[0039] 以下，对本实施方式进行说明。另外，以下说明的本实施方式并不对权利要求书中 记载的本发明的内容进行不恰当的限定。另外，本实施方式所说明的所有结构并非都是本 发明所必须的构成要件。
[0040] 1.本实施方式的方法
[0041] 本实施方式的图像处理装置如图1所示，包括：图像获取部310,其通过摄像部 (后述的图2的摄像部200等）的拍摄，而获取包含被摄体的像的摄像图像；距离信息获取 部350,其获取基于所述拍摄时从所述摄像部到所述被摄体的距离的距离信息；凹凸信息 获取部320,其从所获取的距离信息中获取提取凹凸信息，其中，该提取凹凸信息是提取出 了所述被摄体的凹凸部的信息；以及强调部333,其将由所述提取凹凸信息所表现的所述 凹凸部中的与由已知特性信息所确定的特性一致的所述凹凸部作为强调对象进行强调处 理，其中，该已知特性信息是表示与所述被摄体的结构相关的已知特性的信息。
[0042] 距离信息因为是与摄像部200到被摄体的距离对应的信息，所以如图6(A)所示， 是表示被摄体（如果是生物体用的内窥镜装置则是生物体，尤其是其表面）的结构的信息。 即，距离信息包含被摄体表面的微小的凹凸结构。
[0043] 但是，距离信息中也包含被摄体表面的其它的结构的信息。例如，用内窥镜装置 进行观察的生物体多是食道或者大肠等管腔状的物体。在该情况下，生物体壁面因为是具 有指定的曲率的曲面，所以由距离信息所表示的距离包含与该曲面对应的值的变动。在图 6(A)的例子中，距离信息包含各种其它的结构，并且整体上表现的结构为越往右方向行进 从摄像部到被摄体的距离越增加。
[0044] 另外，在被摄体表面也能够包含与希望通过本实施方式的方法输出的提取凹凸信 息对应的凹凸结构所不同的凹凸结构。例如，在胃或大肠等生物体的表面能观察到像图2 的2、3、4所示的褶皱结构。在距离信息中也能够包含与这些褶皱结构相关的信息，但在本 实施方式中在使用了内窥镜装置的观察中所假定的凹凸部是维度与那种当然能在生物体 表面观察到的结构所不同的微小的凹凸结构。
[0045] 因此，要想对应该关注的对象进行适当地强调处理，需要从包含各种结构所引起 的距离变动的距离信息中适当地确定出与期望的凹凸结构相关的信息。这在工业用的内窥 镜装置中也同样，距离信息中能够包含相当于圆形管的曲面的距离变动、为了使管具有指 定的功能而事先挖的槽、以及由于深刻度低而即使遗漏也不妨碍的伤等的信息，将它们除 去即可。
[0046] 因此本申请人提出一种方法，该方法获取表示与被摄体的结构相关的已知特性的 信息即已知特性信息（先验信息），对被摄体的与由该已知特性信息所确定的特性一致的 凹凸部进行强调。已知特性信息是能从被摄体表面的结构中分离出在本实施方式中有用的 结构和没用的结构的信息。具体地说，既可以将强调有用（例如，有助于早期病变部的发 现）的凹凸部的信息作为已知特性信息，在那种情况下，将与该已知特性信息一致的被摄 体作为强调对象。或者，也可以将即使强调也没用的结构的信息作为已知特性信息，在那种 情况下将与已知特性信息不一致的被摄体作为强调对象。或者，还可以事先保持有用的凹 凸部和没用的结构的双方的信息，并高精度地设定有用的凹凸部的范围。
[0047] 但是，在本实施方式中通过后述的图11等方法获取被摄体的凹凸部的维度信息， 并进行与已知特性信息的比较处理。在这种情况下，为了高精度地求出维度信息，需要设定 被摄体的基准面（与图11的Xl对应的面等），此时优选从距离信息中除去全局的距离变动 (狭义上由管腔结构造成的距离变动）。
[0048] 因此，在本实施方式中使用从距离信息中获取提取凹凸信息，并根据该提取凹凸 信息和已知特性信息决定强调对象等的方法，其中提取凹凸信息提取出了与特定的结构相 关的信息。狭义上，提取凹凸信息是除去了与管腔结构相关的信息的信息。对此，能够通过 事先获取与管腔结构相关的信息作为已知特性信息来实现。但是并不限于此，也可以事先 除去与不作为强调对象的其它的结构（褶皱结构等）相关的信息。这是因为如果尽可能地 事先除去与不能作为强调对象的被摄体的结构相关的信息，则在强调对象的设定等处理中 能够减轻处理负载等。该处理能够通过使用能够确定强调对象的已知特性信息来实现。
[0049] 但是，包含于提取凹凸信息中的结构不需要严密地限定为能够作为强调对象的结 构。这是因为本实施方式的强调处理通过以下的3个理由而将使用能够确定强调对象的已 知特性信息作为前提。第1，即使在提取凹凸信息的获取处理中使用了已知特性信息，也能 够通过在强调处理中再次使用已知特性信息而提高强调对象的选择精度。第2,在使用图 6(A)~图6(F)等如后所述获取提取凹凸信息时，着眼于凹凸部的宽度而不对深度或高度 进行考虑。即，如果希望在处理中使用深度或高度，则需要进行使用了有别于提取凹凸信息 的获取的已知特性信息的处理。第3,强调处理也可以采用根据维度信息等改变强调量的方 法。即，即使通过使用了已知特性信息的提取处理能够获取只提取出了强调对象的信息作 为提取凹凸信息，在设定它们的强调量时结果也需要已知特性信息。
[0050] 因此，在提取凹凸信息的提取处理中，只要能够进行仅能够适当地进行强调处理 的处理（狭义上除去全局的结构以能够设定基准面的处理）就足够了，不需要其它的处理。 另外，只要能够适当地设定基准面，在除去与全局的结构相关的信息时也可以不使用已知 特性信息。
[0051] 此外，能够在强调处理（及根据需要提取凹凸信息的提取处理）中使用的已知特 性信息即典型的褶皱的大小、或者有用的凹凸结构的维度等，假定根据作为观察对象的部 位（如果是上部消化系统则是胃、如果是下部消化系统则是大肠等）而不同。因此，已知