图像处理装置、内窥镜装置、程序和图像处理方法
【技术领域】
[0001 ] 本发明涉及图像处理装置、内窥镜装置、程序和图像处理方法等。
【背景技术】
[0002]以往，在内窥镜诊断中存在希望提高体腔内的病变检测精度这样的要求，一般公知有具有如下放大光学系统的内窥镜(以后记为放大内窥镜)，其通过以与显微镜相当的倍率对病变部和正常部的组织上的差异进行接近放大观察，实现检测精度的提高。
[0003]这种放大内窥镜具有数十倍?数百倍的倍率，通过与基于色素散布的对比度强调一并使用，能够对粘膜表层的微细构造进行观察。公知在病变部和正常部中它们的图案(pattern)表现出差异，成为病变诊断的一个判定基准。
[0004]并且，尝试了不进行色素散布，而通过图像处理进一步对表层粘膜的构造赋予对比度来进行显示。例如在专利文献I中公开了如下手法:对局部的提取区域的关注像素的亮度级别与其周边像素的亮度级别进行比较，在关注区域比周边区域暗的情况下进行着色。该手法是基于如下的假定:在距离较远的情况下，从活体表面反射过来的反射光量减少，所以较暗地进行摄像。
[0005]并且，考虑如下手法，即通过选择性地强调显示病变部来提供防止了病变部的遗漏且提高了质的诊断精度的观察图像。例如在专利文献2中公开了如下手法:通过针对拍摄检体组织而得到的图像的网格分割和特征量提取来进行分类范畴化，按照每个分类进行不同形式的显示。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1:日本特开2003-088498号公报
[0009]专利文献2:日本特开2011-215680号公报
【发明内容】
[0010]发明要解决的课题
[0011]例如，在通过内窥镜装置进行接近放大观察的情况下，具有如下特征:随着成为高倍率，与通常观察时相比，景深变得极端的浅。S卩，在接近放大观察时的摄像图像中，可能产生处于对焦状态的区域和未对焦的区域。这种情况下，针对未对焦的区域，从图像中得到的信息不充分，所以很难准确地进行病变部的强调显示。
[0012]例如，作为对活体表面的腺管构造(被称为麻点图案(pit pattern))进行强调显示的手法，考虑如下手法:对已知的麻点图案形状和图像进行匹配处理，对图像上的麻点图案进行分类，显示该分类结果。在图像上的非对焦区域中，即使是实际上存在麻点图案的场所，通过匹配处理，也无法检测到麻点图案，成为错误的分类结果，显示的可靠性降低。
[0013]根据本发明的若干个方式，能够提供能够提高强调显示的可靠性的图像处理装置、内窥镜装置、程序和图像处理方法等。
[0014]用于解决课题的手段
[0015]本发明的一个方式涉及一种图像处理装置，该图像处理装置包括:图像取得部，其取得包含被摄体像的摄像图像；距离信息取得部，其取得基于摄像时的从摄像部到所述被摄体的距离的距离信息；对焦判定部，其根据所述距离信息，判定在所述摄像图像的像素或区域中所述被摄体是否处于对焦状态；分类部，其进行所述被摄体的构造物的分类处理，根据所述像素或所述区域的所述判定的结果，对所述分类处理的对象进行控制；以及强调处理部，其根据所述分类处理的结果进行所述摄像图像的强调处理。
[0016]根据本发明的一个方式，进行被摄体的构造物的分类处理，根据在摄像图像的像素或区域中被摄体是否处于对焦状态的判定结果对该分类处理的对象进行控制，根据该分类处理的结果进行强调处理。由此，能够提高强调显示的可靠性。
[0017]并且，本发明的另一个方式涉及一种内窥镜装置，该内窥镜装置包括上述中记载的图像处理装置。
[0018]并且，本发明的又一个方式涉及一种程序，该程序使计算机执行以下步骤:取得包含被摄体的像的摄像图像；取得基于摄像时的从摄像部到所述被摄体的距离的距离信息；根据所述距离信息，判定在所述摄像图像的像素或区域中所述被摄体是否处于对焦状态；进行所述被摄体的构造物的分类处理，根据所述像素或所述区域的所述判定的结果对所述分类处理的对象进行控制；以及根据所述分类处理的结果进行所述摄像图像的强调处理。
[0019]并且，本发明的又一个方式涉及一种图像处理方法，取得包含被摄体的像的摄像图像；取得基于摄像时的从摄像部到所述被摄体的距离的距离信息；根据所述距离信息，判定在所述摄像图像的像素或区域中所述被摄体是否处于对焦状态；进行所述被摄体的构造物的分类处理，根据所述像素或所述区域的所述判定的结果对所述分类处理的对象进行控制；以及根据所述分类处理的结果进行所述摄像图像的强调处理。
【附图说明】
[0020]图1(A)是示出对异常部进行观察时的摄像部与被摄体的关系的图。图1 (B)是所取得的图像的例子。
[0021]图2是图像处理装置的结构例。
[0022]图3是第I实施方式中的内窥镜装置的结构例。
[0023]图4是第I实施方式中的外部I/F部的结构例。
[0024]图5是示出相对于变焦杆的操作，摄像系统的景深的变化的图。
[0025]图6是图像处理部的详细结构例。
[0026]图7是第I实施方式中的对焦判定部的详细结构例。
[0027]图8是分类处理的说明图。
[0028]图9是第2实施方式中的内窥镜装置的结构例。
[0029]图10是第2实施方式中的外部I/F部的结构例。
[0030]图11是对焦控制部的详细结构例。
[0031]图12是第2实施方式中的对焦判定部的详细结构例。
[0032]图13是第2实施方式中的分类处理的说明图。
[0033]图14是分类部的详细结构例。
[0034]图15(A)、图15(B)是表面形状计算部进行的处理的说明图。
[0035]图16(A)是基本腺管开口的例子。图16(B)是修正腺管开口的例子。
[0036]图17是表面形状计算部的详细结构例。
[0037]图18是第I分类处理手法中的分类处理部的详细结构例。
[0038]图19(A)?图19(F)是分类处理的具体例的说明图。
[0039]图20是第2分类处理手法中的分类处理部的详细结构例。
[0040]图21是使用多个分类类型的情况下的分类类型的例子。
[0041]图22㈧?图22(F)是麻点图案的例子。
【具体实施方式】
[0042]下面，对本实施方式进行说明。另外，以下说明的本实施方式并非不合理地限定权利要求范围所记载的本发明的内容。并且，本实施方式中说明的全部结构不一定是本发明的必需结构要件。
[0043]1.本实施方式的概要
[0044]以通过内窥镜装置进行麻点图案的分类处理的情况为例对本实施方式的概要进行说明。
[0045]图1㈧示出对异常部(例如早期病变)进行观察时的摄像部200与被摄体的关系。并且，图1(B)示出此时取得的图像的例子。正常腺管40表示正常的麻点图案，异常腺管50表示呈现不规整形状的异常的麻点图案，腺管消失区域60表示由于病变而使麻点图案消失的异常区域。
[0046]如图1(A)所示，当手术医生发现异常部(异常腺管50、腺管消失区域60)时，使摄像部200接近异常部，极力使摄像部200和异常部正面对。如图1(B)所示，在正常部(正常腺管40)的麻点图案中，规则的构造以同样的排列进行并列。
[0047]在本实施方式中，为了通过图像处理来检测这种正常部，事前登记或学习正常的麻点图案构造作为已知特性信息(预见信息)，通过匹配处理等来检测正常部。另一方面，针对麻点图案呈现不规整形状或消失的异常部，例如将未检测到正常的麻点图案的区域视为异常部来进行分类。这样，将麻点图案分类为正常部和异常部，通过对该分类结果进行强调显示，能够防止异常部的遗漏并使诊断精度有质的提高。
[0048]但是，在通过匹配处理等进行分类的情况下，在图像的信息量较少的区域中，可能产生错误分类。具体而言，如图1(A)所示，在使摄像部200接近被摄体而进行放大观察的情况下，景深DA非常浅(例如几毫米)。因此，如图1(B)所示，容易在图像内产生非对焦的区域RB。在这种区域RB中，匹配处理的精度降低，所以，即使是本来应该分类为正常部的区域，也可能误分类为异常部并作为异常部进行显示。
[0049]因此，如图2所示，本实施方式的图像处理装置包括:图像取得部305，其取得包含被摄体像的摄像图像；距离信息取得部340，其取得基于摄像时的从摄像部200到被摄体的距离的距离信息；对焦判定部370，其根据该距离信息，判定在摄像图像的像素或区域中被摄体是否处于对焦状态；分类部310，其进行被摄体的构造物的分类处理，根据像素或区域中的判定的结果对分类处理的对象进行控制；以及强调处理部330，其根据该分类处理的结果进行摄像图像的强调处理。
[0050]这样，通过判定被摄体的局部的对焦/非对焦，能够检测由于在景深的范围外而使分类结果的可靠性降低的区域RB。然后，通过根据该检测结果进行分类处理，能够根据可靠性高的分类结果进行强调显示。
[0051]例如，在本实施方式中，作为分类处理的对象的控制，将判定为非对焦的像素或区域从匹配处理的对象中排除，将其分类为表示麻点图案的分类不明的“不明”类型。或者，与对焦判定的结果无关地进行匹配处理，将判定为非对焦的像素或区域重新分类为“不明”。通过这样根据对焦判定来进行分类处理，能够防止由于匹配处理的精度降低而导致的误显不O
[0052]这里，距离信息是将摄像图像的各位置和该各位置处的与被摄体之间的距离对应起来的信息，例如是将摄像部200的光轴方向上的距离与各像素对应起来的距离映射图。另外，如后所述，距离信息不限于距离映射图，只要是根据从摄像部200到被摄体的距离而取得的各种信息即可。
[0053]并且，分类处理不限于麻点图案的分类处理，只要是根据例如种类或状态等对被摄体的构造物进行分类的处理即可。所谓构造物是指能够通过对用户提示分类结果来辅助用户的观察和诊断的物体，例如如果采用活体用的内窥镜装置，则不限于麻点图案，也可以是粘膜中产生的息肉、消化道的褶皱、血管、癌等病变。在分类处理中，分类为与它们的种类、例如正常/异常等的状态或异常度对应的划分。
[0054]另外，作为具体的分类处理，可以假定各种分类处理。例如，可以如后述分类手法那样，根据距离信息求出被摄体表面的形状，对结合该形状进行变形后的基准麻点图案与图像进行匹配处理，根据该匹配结果对图像上的麻点图案进行分类。或者，也可以不进行使用距离信息的变形，通过例如POC (Phase Only Correlat1n，相位限定相关)等对基准麻点图案与图像进行匹配处理，对麻点图案进行分类。
[0055]或者，也可以通过提取息肉或槽等特定构造，对被摄体进行分类。例如，对立体图像进行立体匹配处理而取得距离映射图，通过对该距离映射图进行低通滤波处理或形态处理等，取得被摄体的全局性的形状信息。然后，从距