图像处理装置、电子设备、内窥镜装置、程序和图像处理方法
【技术领域】
[0001] 本发明涉及图像处理装置、电子设备、内窥镜装置、程序和图像处理方法等。
【背景技术】
[0002] 在使用内窥镜装置的活体内部的观察、诊断中，广泛利用通过观察活体表面的微 小的凹凸状态来识别是否是早期病变部的手法。并且，不仅是活体用的内窥镜装置，在工业 用的内窥镜装置中，观察被摄体（狭义地讲为被摄体表面）的凹凸构造也是有用的，例如能 够进行在很难直接目视的管内部等产生的龟裂的检测等。并且，在内窥镜装置以外的图像 处理装置中，多数情况下，根据作为处理对象的图像来检测被摄体的凹凸构造也是有用的。
[0003] 以往，作为摄像图像的构造（例如槽等凹凸构造）的强调处理，广泛利用对特定空 间频率进行强调的处理，但是，该手法不适用于上述这种微小的凹凸状态的检测。并且，还 公知有如下手法：不是通过图像处理来检测凹凸状态，而是在被摄体侧产生某种变化，对变 化后的被摄体进行摄像。作为一例，存在如下手法：如果是活体用的内窥镜装置，则通过散 布靛胭脂等色素，对活体自身进行染色并对表层粘膜施加对比度。但是，色素散布需要劳力 时间以及成本，而且，散布的色素可能会损害被摄体本来的色彩，或者导致凹凸以外的构造 的视觉辨认性降低。进而，如果是针对活体的色素散布，则还可能产生对患者的侵袭性较高 的问题。
[0004] 在专利文献1中公开了如下手法：对局部的提取区域的关注像素与其周边像素的 亮度级别进行比较，在关注区域比周边区域暗的情况下进行着色处理，由此对凹凸构造进 行强调。
[0005] 作为活体的凹凸构造的具体例，考虑使用活体表面的腺管构造（被称为腺管开口 形态（pit pattern))。例如，在大肠的早期病变诊断中利用腺管开口形态。该诊断方法被称 为腺管开口形态诊断，针对根据从正常状态到病变的种类而分类为6种类型（I型~V型） 的腺管开口形态形状，通过被观察的腺管开口形态与哪个分类相似来进行判定。
[0006] 在专利文献2中记载了使用内窥镜和光探针取得三维光断层图像的装置，并公开 了如下手法：根据该三维光断层图像，针对多个深度位置切出与活体组织的深度方向垂直 的平面的XY画面像，根据其平均图像对腺管开口形态形状进行强调显示。
[0007] 现有技术文献
[0008] 专利文献
[0009] 专利文献1 :日本特开2003-88498号公报
[0010] 专利文献2 :日本特开2010-68865号公报
【发明内容】
[0011] 发明要解决的课题
[0012] 专利文献1的处理是基于如下假设的处理：在从摄像部到被摄体（活体表面）的 距离较远的情况下，从活体表面反射的反射光量变少，从而较暗地进行摄像。由此，例如在 亮点周边部、基于近前构造的影子的区域、血管及其周边的粘膜等与活体表面的微细凹凸 没有直接关系的情况下，在产生亮度变化的区域内误检测凹凸构造。
[0013] 并且，实施腺管开口形态诊断的情况相当于已经在筛选观察中发现疑似病变部的 区域的状态并且是使内窥镜前端接近该区域进行精査观察的状态。在接近和放大观察状态 下，成为观察对象的活体表面的摄像图像的倍率增大，所以，活体与摄像部之间的相对运动 所引起的影响较大。特别是在通过专利文献2的手法取得上述三维光断层图像的情况下， 由于需要进行光探针的扫描动作，所以，无法忽视由于活体与摄像部之间的相对运动而引 起的XY图像内的腺管开口（pit)形状的变形。因此，存在无法稳定地计算与腺管开口形态 检测中使用的模型图案之间的相似度、无法取得高精度的图像的课题。
[0014] 根据本发明的若干个方式，能够提供根据与被摄体有关的已知特性信息和距离信 息而高精度地检测该被摄体的凹凸部的图像处理装置、电子设备、内窥镜装置、程序和图像 处理方法。
[0015] 用于解决课题的手段
[0016] 本发明的一个方式涉及一种图像处理装置，该图像处理装置包括：图像取得部，其 通过摄像部的摄像而取得包含被摄体像的摄像图像；距离信息取得部，其取得基于所述摄 像时的从所述摄像部到所述被摄体的距离的距离信息；已知特性信息取得部，其取得表示 与所述被摄体的构造有关的已知特性的信息即已知特性信息；以及凹凸确定部，其根据所 述距离信息和所述已知特性信息，进行从被摄像的所述被摄体中确定与由所述已知特性信 息确定的特性一致的所述被摄体的凹凸部的凹凸确定处理。
[0017] 在本发明的一个方式中，取得与被摄体之间的距离信息和已知特性信息，确定与 由已知特性信息确定的特性一致的被摄体的凹凸部。由此，能够通过使用图像处理的手法 高精度地确定凹凸部等。
[0018] 本发明的另一个方式涉及一种电子设备，该电子设备包括上述图像处理装置。
[0019] 本发明的另一个方式涉及一种内窥镜装置，该内窥镜装置包括上述图像处理装 置。
[0020] 根据本发明的另一个方式，由于能够在摄像图像中确定活体的凹凸部，所以，能够 容易地发现病变部等。
[0021] 本发明的另一个方式涉及一种程序，该程序使计算机作为上述各部发挥功能。
[0022] 本发明的另一个方式涉及一种图像处理方法，进行通过摄像部的摄像而取得包含 被摄体像的摄像图像的处理；进行取得基于所述摄像时的从所述摄像部到所述被摄体的距 离的距离信息的处理；进行取得表示与所述被摄体的构造有关的已知特性的信息即已知特 性信息的处理；以及根据所述距离信息和所述已知特性信息，进行从被摄像的所述被摄体 中确定与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部的凹凸确定处理。
【附图说明】
[0023] 图1是图像处理装置的系统结构例。
[0024] 图2是包含第1实施方式的图像处理装置的内窥镜装置的结构例。
[0025] 图3是第1实施方式的图像处理部的结构例。
[0026] 图4(A)~图4(F)是说明第1实施方式的提取处理的图。
[0027] 图5是第1实施方式的距离信息取得部、凹凸信息提取部的结构例。
[0028] 图6是包含第2实施方式的图像处理装置的内窥镜装置的结构例。
[0029] 图7是第2实施方式的图像处理部的结构例。
[0030] 图8(A)~图8(D)是说明第2实施方式的提取处理的图。
[0031] 图9是第2实施方式的凹凸信息提取部的结构例。
[0032] 图10是包含第3实施方式的图像处理装置的内窥镜装置的结构例。
[0033] 图11是第3实施方式的图像处理部的结构例。
[0034] 图12是第3实施方式的凹凸信息提取部的结构例。
[0035] 图13是第3实施方式的距离信息取得部的结构例。
[0036] 图14是包含第4实施方式的图像处理装置的图像记录再现装置和胶囊内窥镜的 结构例。
[0037] 图15是第4实施方式的图像处理部的结构例。
[0038] 图16是第5实施方式的图像处理部的结构例。
[0039] 图17㈧是腺管构造的剖视图的例子，图17⑶是摄像图像中的腺管构造的例子。 [0040] 图18(A)、图18⑶是求出表面形状信息的处理的说明图。
[0041] 图19(A)、图19⑶是基准图案和修正图案的例子。
[0042] 图20是表面形状计算部的结构例。
[0043] 图21是第5实施方式的分类处理部的结构例。
[0044] 图22是分类处理的结果即分类映射图的例子。
[0045] 图23是包含第6实施方式的图像处理装置的内窥镜装置的结构例。
[0046] 图24是第6实施方式的分类处理部的结构例。
[0047] 图25是保持多个基准图案的情况的例子。
[0048] 图26(A)~图26(D)是使用多个基准图案的情况下的分类处理的结果即分类映射 图的例子。
[0049] 图27㈧~图27(F)是说明相似度计算处理的图。
[0050] 图28(A)~图28(F)是腺管开口形态的例子。
【具体实施方式】
[0051] 下面，对本实施方式进行说明。另外，以下说明的本实施方式并非不合理地限定权 利要求范围所记载的本发明的内容。并且，本实施方式中说明的全部结构不一定是本发明 的必须结构要件。
[0052] 1.本实施方式的手法
[0053] 如图1所示，本实施方式的图像处理装置包括：图像取得部390,其通过摄像部 (后述图2的摄像部200等）的摄像而取得包含被摄体像的摄像图像；距离信息取得部340， 其取得基于摄像时的从摄像部到被摄体的距离的距离信息；已知特性信息取得部350,其 取得表示与被摄体的构造有关的已知特性的信息即已知特性信息；以及凹凸确定部310， 其根据距离信息和已知特性信息，进行从摄像图像中被摄像的被摄体中确定与由已知特性 信息确定的特性一致的被摄体的凹凸部的凹凸确定处理。
[0054] 这里，由凹凸确定部310确定的凹凸部可以是具有由已知特性信息确定的给定维 度（dimension)(宽度、深度、高度等）的槽或息肉等微小的凹凸构造，也可以是上述活体表 面的腺管构造（腺管开口形态）。
[0055] 首先，对将微小的凹凸构造作为对象的情况进行说明。由于距离信息取得部340 取得的距离信息是与从摄像部到被摄体的距离对应的信息，所以，如图4(A)所示是表示被 摄体（如果是活体用的内窥镜装置，则为活体，特别是其表面）的构造的信息。即，距离信 息包含被摄体表面的微小的凹凸构造。
[0056] 但是，在距离信息中还包含被摄体表面的其他构造的信息。例如，利用内窥镜装置 观察的活体大多是食道、大肠等管腔状部分。该情况下，由于活体壁面成为具有给定曲率的 曲面，所以，由距离信息表示的距离包含与该情况对应的值的变动。如果是图4(A)的例子， 则距离信息包含各种各样的其他构造，整体表示越向右方向行进则从摄像部到被摄体的距 离越增加的构造。
[0057] 并且，在被摄体表面可能还包含与希望由本实施方式的手法确定的凹凸构造不同 的凹凸构造。例如，如图2的2、3、4所示，在胃或大肠等活体的表面发现褶皱构造。在距离 信息中包含与这些褶皱构造有关的信息，但是，在本实施方式中，在使用内窥镜装置的观察 中假设的凹凸部是指与这种活体表面明显看到的构造不同维度的微小的凹凸构造。
[0058] 由此，为了在进行强调处理等时适当确定有用的凹凸部，需要适当提取包含由于 各种构造而引起的距离变动的距离信息中的与期望的凹凸构造有关的信息。在工业用的内 窥镜装置中也是同样的，在距离信息中包含与圆形管的曲面相当的距离变动、为了使管具 有给定功能而预先挖掘的槽、由于深度较低而使得即使遗漏也不会成为障碍的损伤等的信 息，但是，也可以将它们除外，提取有用的凹凸构造作为提取凹凸信息。
[0059] 因此，本申请人提出如下手法：取得表示与被摄体的构造有关的已知特性的信息 即已知特性信息，在摄像图像中确定与由该已知特性信息确定的特性一致的被摄体的凹凸 部。已知特性信息是能够分离被摄体表面的构造中的本实施方式中有用的构造和没用的构 造的信息。具体而言，可以保持上述活体壁面的曲率等信息、褶皱的维度信息等作为已知 特性信息，将距离信息中的与已知特性信息一致的信息除外，将除外处理后的信息作为提 取凹凸信息，由此确定凹凸部。或者，也可以将有用的凹凸构造的维度信息作为已知特性信 息，在该情况下，提取距离信息中的与已知特性信息一致的信息作为提取凹凸信息，确定凹 凸部即可。即，在已知特性信息中包含与除外对象对应的信息和与提取对象对应的信息，但 是，在以下说明中，使用该双方进行说明。这里的"由已知特性信息确定的特性"表示与提 取对象对应且不与除外对象对应的特性，例如是具有能够明确分离提取对象和除外对象的 值作为边界值（或具有由该边界值决定的范围的值）的特性。
[0060] 另外，假设典型的褶皱的尺寸或有用的凹凸构造的维度等根据作为观察对象的部 位（如果是上部消化器官系统则为胃、如果是下部消化器官系统则为大肠等）而不同。由 此，优选已知特性信息不是一个信息，能够根据观察对象进行选择、变更等。
[0061] 并且，即使取得已知特性信息作为被摄体的实际尺寸（例如微米等单位的尺寸） 的信息，也需要进行将其转换为图像上（距离信息上）的尺寸的处理。例如，关于给定实际 尺寸的褶皱构造，在与摄像部较近的位置处进行摄像的情况下，图像上的尺寸较大，与此相 对，在与摄像部较远的位置处进行摄像的情况下，图像上的尺寸较小。因此，在本实施方式 中，根据由距离信息表示的值（距离），自适应地变更处理。具体而言，根据距离信息的值而 自适应地控制从距离信息中提取出提取凹凸信息时使用的提取处理参数。
[0062] 接着，对确定腺管开口形态作为凹凸部的例子进行说明。另外，下面以腺管开口形 态为例进行说明，但是，本实施方式能够广泛应用于通过使用二维图案的匹配处理来确定 构造物的手法，可以使用腺管开口形态以外的图案。
[0063] 关于活体表面的腺管开口形态，如图28(A)~图28(F)所示，根据是正常状态还是 异常状态，并且在异常状态的情况下根据病变的发展度等，得知其形状变化。例如，如果是 正常粘膜，则如图28 (A)所示，腺管开口形态接近圆形，当病变发展时，成为图28 (B)的星芒 状、图28 (C)、图28 (D)的管状型这样的复杂形状，当进一步发展时，如图28 (F)所示，腺管开 口形态有时消失。由此，预先保持这些典型图案作为基准图案，通过判定摄像图像中被摄像 的被摄体表面与该基准图案的相似度等，能够判定被摄体的状态。这种对腺管开口形态诊 断进行辅助的手法在专利文献2等中被公开。
[0064] 但是，腺管开口形态的典型形状和摄像图像上的腺管开口形态的外貌不一定一 致。如上所述，在活体中包含管腔构造的壁面、褶皱等构造。由此，充分考虑摄像部的光轴 方向和活体表面不是正交的情况，该情况下，即使在活体表面存在圆形的腺管开口形态，也 认为在摄像图像上成为椭圆形等形状。例如，如图17(A)所示，考虑如下情况：在活体表面 存在褶皱2,对在该褶皱2的表面看到圆形的腺管开口形态（正常腺管40)的被摄体进行摄 像。该情况下，如图17(B)所示，由于摄像部的光轴方向与活体表面所成的角度，观察到本 来圆形状的腺管开口形态进行各种变形。
[0065] 根据图17(B)可知，即使简单地进行基准图案与摄像图像的匹配处理，在由于上 述理由而使腺管开口形态变形的区域中，也无法进行高精度的检测处理。而且，由于在接 近、放大观察时进行腺管开口形态诊断，所以，当考虑到由于摄像部与活体的相对运动而引 起的影响较大这点、以及专利文献2的手法中需要进行光探针的扫描动作这点时，不能忽 视摄像图像中的腺管开口形态的变形。
[0066] 因此，本申请人提出如下手法：根据已知特性信息和距离信息取得表示被摄体表 面的构造的表面形状信息，通过利用使用该表面形状信息设定的分类基准的分类处理来确 定凹凸部。这里，表面形状信息表示被摄体表面的全局的构造，可以是例如图18(B)所示的 曲面（将图18(A)的微小的凹凸构造除外的距离信息），也可以是该曲面的法线向量的集 合。
[0067] 通过使用表面形状信息，如图19 (A)、图19 (B)所示，如果在作为处理对象的被摄 体表面区域中存在基准图案，则能够估计出观察到该图案在摄像图像上如何变形。即，关于 是否在被摄体表面看到与基准图案对应的腺管开口形态，如图19(B)所示，只要将通过表 面形状信息进行变形处理后的图案（以下为修正图案）作为分类基准进行分类处理即可。
[0068] 另外，在以腺管开口形态为例进行说明的分类处理中，已知特性信息是腺管开口 形态，具体而言为腺管开口形状和尺寸等信息。
[0069] 下面，对第1~第6实施方式进行说明。另外，下面，如图2所示，以内窥镜装置为 例进行说明，但是，在图1中，如上所述，本实施方式不限于内窥镜装置，能够应用于图像处 理装置。
[0070] 第1~第4实施方式对应于使用提取凹凸信息来确定微小的凹凸构造的手法。在 第1实施方式中说明如下手法：根据从与多个视点对应的摄像图像中得到的视差信息来取 得距离信息，并且通过形态学处理而从距离信息中提取出提取凹凸信息。在第1实施方式 中，提取处理参数成为形态学处理中使用的构造要素的尺寸。并且，在第2实施方式中说明 如下手法：使用Time of Flight (飞行时间）方式取得距离信息，并且通过滤波处理（特别 是低通滤波处理）提取出提取凹凸信息。在第2实施方式中，提取处理参数成为决定滤波 处理中使用的滤波器的频率特性的参数。
[0071] 并且，在第3实施方式中说明如下手法：基于从与多个视点对应的摄像图像中得 到的视差信息的手法、以及与Time of Flight方式组合而取得距离信息并且通过滤波处理 (特别是高通滤波处理）提取出提取凹凸信息的手法。并且，在第4实施方式中，对将胶囊 内窥镜作为对象的实施方式进行说明。
[0072] 另外，距离信息的取得处理和提取凹凸信息的提取处理的组合能够进行各种变 更。即，可以组合基于视差信息的手法和滤波处理，也可以组合Time of Flight方式和形 态学处理。除此之外，本实施方式能够通过上述手法的任意组合来实现。
[0073] 并且，第5~第6实施方式对应于如下手法：通过使用表面形状信息生成分类基准 并进行分类处理，确定凹凸部（狭义地讲为腺管构造，但是不限于此）。在第5实施方式中 说明如下手法：保持正常状态的腺管开口形态作为基准图案，进行根据是否是正常状态而 对摄像图像的被摄体的各区域进行分