图像处理装置、内窥镜装置、程序以及图像处理方法
【技术领域】
[0001] 本发明涉及图像处理装置、内窥镜装置、程序以及图像处理方法等。
【背景技术】
[0002] 在活体内部的观察、诊断中，考虑使用活体表面的腺管构造（被称作腺管开口形 态（pit pattern))。例如，在大肠的早期病变诊断中利用了腺管开口形态。该诊断方法被称 作腺管开口形态诊断，针对根据从正常状态到病变的种类而被分成6种类型（I型到V型） 的腺管开口形态形状，通过被观察的腺管开口形态与哪个分类类似进行判定。
[0003] 作为使该腺管开口形态形状强调显示的方法，在专利文献1中记载了内窥镜装置 以及使用了光探头的取得三维光断层图像的装置，并公开了如下方法：根据该三维光断层 图像，针对多个深度位置，剪切出与活体组织的深度方向垂直的平面的XY画面图像，并根 据其平均图像强调显示腺管开口形态形状。
[0004] 现有技术文献
[0005] 专利文献
[0006] 专利文献1 :日本特开2010-68865号公报
【发明内容】
[0007] 发明所要解决的课题
[0008] 为了进行例如上述那样的强调显示等，考虑检测图像中所拍摄的活体的构造物， 并进行分类处理。在这样的分类处理中从图像中检测构造物的情况下，例如如果由于活体 的脉动等而在图像中产生运动模糊，则从图像得到的信息不充分，因此存在误检测构造物 的课题。在检测例如上述那样的腺管开口形态的情况下，考虑对已知的腺管开口形态形状 和图像进行匹配处理的方法。如果存在运动模糊，则在实际存在腺管开口形态的场所，也无 法通过匹配处理检测到腺管开口形态，从而成为错误的分类结果。
[0009] 根据本发明的若干方式，可提供一种能够抑制进行基于错误的分类结果的处理的 图像处理装置、内窥镜装置、程序以及图像处理方法等。
[0010] 用于解决课题的手段
[0011] 本发明的一个方式涉及一种图像处理装置，该图像处理装置包含：图像取得部，其 按照时间序列取得包含被摄体的像的拍摄图像；距离信息取得部，其取得基于在所述拍摄 时从摄像部到所述被摄体的距离的距离信息；运动检测部，其根据所述时间序列的所述拍 摄图像，检测所述被摄体的局部的运动信息；分类部，其根据所述距离信息，进行所述被摄 体的构造物的分类处理；以及强调处理部，其根据所述分类处理的结果进行所述拍摄图像 的强调处理，并根据所述局部的所述运动信息，进行所述强调处理的对象或强调量的控制。
[0012] 根据本发明的一个方式，根据距离信息进行被摄体的构造物的分类处理，根据该 分类处理的结果进行拍摄图像的强调处理，并根据被摄体的局部的运动信息，控制该强调 处理的对象或强调量。由此，能够抑制进行基于错误的分类结果的强调处理的情况。
[0013] 并且本发明的另一方式涉及一种图像处理装置，其包含：图像取得部，其按照时间 序列取得包含被摄体的像的拍摄图像；距离信息取得部，其取得基于在所述拍摄时从所述 摄像部到所述被摄体的距离的距离信息；运动检测部，其根据所述时间序列的所述拍摄图 像，检测所述被摄体的局部的运动信息；以及分类部，其根据所述距离信息，进行所述被摄 体的构造物的分类处理，并根据所述局部的所述运动信息，控制所述分类处理的对象。
[0014] 根据本发明的一个方式，根据距离信息进行被摄体的构造物的分类处理，并根据 被摄体的局部的运动信息，控制该分类处理的对象。由此，能够抑制进行基于错误的分类结 果的后级处理的情况。
[0015] 并且，本发明的又一方式涉及一种内窥镜装置，该内窥镜装置包含上述任意一个 图像处理装置。
[0016] 并且，本发明的又一方式涉及一种程序，该程序使计算机执行以下步骤：按照时间 序列取得包含被摄体像的拍摄图像；取得基于在所述拍摄时从摄像部到所述被摄体的距离 的距离信息；根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；根 据所述距离信息，进行所述被摄体的构造物的分类处理；以及根据所述分类处理的结果进 行所述拍摄图像的强调处理，并根据所述局部的所述运动信息，进行所述强调处理的对象 或强调量的控制。
[0017] 并且，本发明的又一方式涉及一种程序，该程序使计算机执行以下步骤：按照时间 序列取得包含被摄体像的拍摄图像；取得基于在所述拍摄时从所述摄像部到所述被摄的距 离的距离信息，根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；以 及根据所述距离信息，进行所述被摄体的构造物的分类处理，并根据所述局部的所述运动 信息，控制所述分类处理的对象。
[0018] 并且，本发明的另一方式涉及一种图像处理方法，按照时间序列取得包含被摄体 的像的拍摄图像；取得基于在所述拍摄时从摄像部到所述被摄体的距离的距离信息；根据 所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；根据所述距离信息，进 行所述被摄体的构造物的分类处理；以及根据所述分类处理的结果进行所述拍摄图像的强 调处理，并根据所述局部的所述运动信息，进行所述强调处理的对象或强调量的控制。
[0019] 并且，本发明的另一方式涉及一种图像处理方法，按照时间序列取得包含被摄体 的像的拍摄图像；取得基于在所述拍摄时从所述摄像部到所述被摄体的距离的距离信息， 根据所述时间序列的所述拍摄图像，检测所述被摄体的局部的运动信息；以及根据所述距 离信息，进行所述被摄体的构造物的分类处理，并根据所述局部的所述运动信息，控制所述 分类处理的对象。
【附图说明】
[0020] 图1的（A)是示出对异常部进行观察时的摄像部与被摄体之间的关系的图。图1 的（B)是所取得的图像的例子。
[0021] 图2的（A)是示出产生了运动模糊的情况下的摄像部与被摄体之间的关系的图。 图2的（B)是所取得的图像的例子。
[0022] 图3是图像处理装置的第1结构例。
[0023] 图4是图像处理装置的第2结构例。
[0024] 图5是内窥镜装置的结构例。
[0025] 图6是第1实施方式中的图像处理部的详细结构例。
[0026] 图7是畸变校正处理前和畸变校正处理后的图像例。
[0027] 图8是有关分类处理的说明图。
[0028] 图9是图像处理部进行的处理的流程图的例子。
[0029] 图10是第2实施方式中的图像处理部的详细结构例。
[0030] 图11是第2实施方式的变形例中的图像处理部的详细结构例。
[0031] 图12是第3实施方式中的图像处理部的详细结构例。
[0032] 图13是第4实施方式中的图像处理部的详细结构例。
[0033] 图14的（A)是示出第4实施方式中的摄像部与被摄体之间的关系的图。图14的 (B)、图14的（C)是所取得的图像的例子。
[0034] 图15是将距离和光学系统的倍率进行了对应的表的例子。
[0035] 图16是分类部的详细结构例。
[0036] 图17的（A)、图17的（B)是有关表面形状计算部进行的处理的说明图。
[0037] 图18的㈧是基本腺管开口的例子。图18的⑶是修正腺管开口的例子。
[0038] 图19是表面形状计算部的详细结构例。
[0039] 图20是第1分类处理方法中的分类处理部的详细结构例。
[0040] 图21的（A)~图21的（F)是有关分类处理的具体例的说明图。
[0041] 图22是第2分类处理方法中的分类处理部的详细结构例。
[0042] 图23是使用多个分类类型的情况下的分类类型的例子。
[0043] 图24的（A)~图24的（F)是腺管开口形态的例子。
【具体实施方式】
[0044] 下面，对实施方式进行说明。另外，以下说明的本实施方式并不对权利要求书中记 载的本发明的内容进行不恰当的限定。此外，本实施方式所说明的所有结构并非都是本发 明所必需的构成要件。
[0045] 1 ?本实施方式的概要
[0046] 以通过内窥镜装置进行腺管开口形态的分类处理的情况为例对本实施方式的概 要进行说明。
[0047] 图1的（A)示出对异常部（例如早期病变）进行观察时的摄像部200与被摄体之 间的关系。并且，图1的（B)示出此时取得的图像的例子。正常腺管40表示正常的腺管开 口形态，异常腺管50表示呈现不规整形状的异常的腺管开口形态，腺管消失区域60表示腺 管开口形态由于病变而消失的异常区域。
[0048] 如图1的（A)所示，当手术医生发现异常部（异常腺管50、腺管消失区域60)时， 使摄像部200接近异常部，使摄像部200和异常部尽量正对。如图1的（B)所示，在正常部 (正常腺管40)的腺管开口形态中，规则的构造以均匀的排列进行并列。
[0049] 为了通过图像处理检测这种正常部，事先登记或学习正常的腺管开口形态构造作 为已知特性信息（预见信息），由此能够通过例如匹配处理等来检测正常部。另一方面，异 常部的腺管开口形态呈现不规整形状或消失，因此与正常部相比呈现多种形状。因此，难以 根据事先的已知特性信息来检测异常部。在本实施方式中，将未被检测为正常部的区域分 类为异常部，由此将腺管开口形态分类为正常部和异常部。通过对这样分类出的异常部进 行强调显示，能够防止异常部的漏看并提高定性诊断的精度。
[0050] 但是，在上述方法中，将未检测为正常部的部分检测为异常部，因此将早期病变以 外的部分也检测为异常部的误检测成为课题。例如，在由于活体内的脉动等而被摄体相对 于摄像部运动那样的情况下，图像中的被摄体像产生运动模糊，由于该运动模糊而产生误 检测。这里，运动模糊是指由于被摄体或摄像部运动而在图像的部分或整体中产生的模糊。
[0051] 图2的（A)示出产生了运动模糊的情况下的摄像部200与被摄体之间的关系。并 且，图2的⑶示出该情况下取得的图像的例子。在如图2的（A)所示那样在活体的一部分 中产生运动MA时，如图2的（B)的图像下部所示，在图像上产生运动模糊MB。在产生了该 运动模糊MB的区域RMB中，被摄体的构造变得不清楚，因此在匹配处理中不被检测为正常 部，而被分类为异常部。该区域RMB是原本应显示为正常部的区域，但被分类成了异常部， 因此显示为异常部。
[0052] 因此如图3所示，本实施方式的图像处理装置包含：图像取得部305,其按照时间 序列取得包含被摄体像的拍摄图像；距离信息取得部340,其取得基于在拍摄时从摄像部 200到被摄体的距离的距离信息；运动检测部380,其根据时间序列的拍摄图像，检测被摄 体的局部的运动信息；分类部310,其根据距离信息，进行被摄体的构造物的分类处理；以 及强调处理部330,其根据分类处理的结果进行拍摄图像的强调处理，并根据局部的运动信 息，进行强调处理的对象或强调量的控制。
[0053] 这样，能够通过检测被摄体的局部的运动信息，检测分类结果的可靠性由于图像 的运动模糊而降低的区域RMB。然后，通过根据该局部的运动信息进行强调处理的对象或强 调量的控制，能够抑制根据可靠性低的分类结果而被强调显示的情况。
[0054] 例如在本实施方式中，作为基于距离信息的分类处理，根据距离信息求出被摄体 表面的形状，对与该形状一致地变形的基准腺管开口形态和图像进行匹配处理，并根据该 匹配结果，对图像上的腺管开口形态进行分类。在这样的处理中，匹配处理的精度由于运动 模糊而下降，但在本实施方式中，能够防止由于该精度下降而引起的误显示。
[0055] 此外，在进行腺管开口形态诊断的情况下，通常使摄像部200接近被摄体进行观 察，因此被摄体上的微小的运动在图像上成为大的运动模糊。因此，在腺管开口形态诊断中 排除运动模糊的影响来进行异常部检测对误检测的抑制是有效的。
[0056] 并且如图4所示，本实施方式的图像处理装置可以包含：图像取得部305,其按照 时间序列取得包含被摄体像的拍摄图像；距离信息取得部340,其取得基于在拍摄时从摄 像部200到被摄体的距离的距离信息；运动检测部380,其根据时间序列的拍摄图像，检测 被摄体的局部的运动信息；以及分类部310,其根据距离信息，进行被摄体的构造物的分类 处