专利名称：内窥镜图像处理装置以及程序的制作方法
技术领域：
本发明涉及内窥镜图像处理装置以及程序等。
背景技术：
近年来，广泛应用了如下这样的内窥镜图像处理装置，可将细长的插入部插入体腔内，将设置到插入部的前端部的固体摄像元件等用于摄像单元并通过监视器画面观察、检查或诊断体腔内脏器等。另外，在最近的内窥镜图像处理装直中，随着闻画质化、固体摄像兀件((XD等)的高像素化以及既保持与通常内窥镜同等的外径和操作性又具有放大观察(缩放)功能的放大内窥镜的出现和普及，而能够观察到粘膜表面的极细微的毛细血管或胃、大肠的腺管开口分型(pit pattern)。因此,能够获得对U m级别的极细微构造的观察结果,并能够应用到病变种类或癌的深度诊断等。具体地说，已知有大肠的腺管开口分型的观察或食道的粘膜内细微血管观察即IPCL (上皮乳头内血管)。另一方 面，采用这些内窥镜图像处理装置的最终诊断大多要依赖于医师的主观判断，从而希望实现能直接结合客观的数据诊断的内窥镜图像处理装置。例如，在专利文献I所述的内窥镜图像处理装置中，采用基于图像内的粘膜细微构造成分的相互关系的排列特征量来进行客观的诊断辅助。现有技术文献专利文献专利文献1:日本特开2006 — 141734号公报
发明内容
发明所要解决的课题但是，专利文献I中诊断辅助仅停留在粘膜细微构造的排列评价，拿到评价结果后怎样进行处置大多还是要依据医师的主观以及经验。另外，当放大观察后医师决定进行处置时，需要根据放大观察时的记忆使放大观察图像中的处置范围与实际进行处置的通常观察图像相对应，从而处置的正确性或处置所需的时间非常受医师的能力影响。根据本发明的几个方式，可提供能够基于图像处理后的内窥镜图像的评价结果进行高效处置的内窥镜图像处理装置以及程序等。另外，根据本发明的几个方式，可提供能够使放大观察图像中的关注区域的边界与实际进行处置的图像即通常观察图像相对应的内窥镜图像处理装置以及程序等。用于解决课题的手段本发明的一个方式涉及内窥镜图像处理装置，其特征是包含:图像取得部，其取得包含被摄体像的图像作为通常观察图像，取得使作为上述通常观察图像内的一部分的观察区域内的被摄体像放大后的图像作为放大观察图像；关注区域确定部，其在上述放大观察图像上确定应该关注的区域即关注区域；以及边界设定部，其根据上述放大观察图像内的像素值，检测与所确定的上述放大观察图像上的关注区域的边界对应的上述通常观察图像上的边界的位置，并在检测到的上述通常观察图像上的边界的位置设定表示是上述关注区域的边界的边界图像。在本发明的一个方式中，取得放大观察图像和通常观察图像，并根据放大观察图像来确定关注区域，然后在与放大观察图像的关注区域的边界对应的通常观察图像上的边界的位置处设定边界图像。由此，能够使在放大观察图像上获得的信息与通常观察图像相对应等。本发明的其它方式涉及种程序，其特征是使计算机作为如下的部件发挥功能:图像取得部，其取得包含被摄体像的图像作为通常观察图像，取得使作为上述通常观察图像内的一部分的观察区域内的被摄体像放大后的图像作为放大观察图像；关注区域确定部，其在上述放大观察图像上确定应该关注的区域即关注区域；以及边界设定部，其根据上述放大观察图像内的像素值，检测与所确定的上述放大观察图像上的关注区域的边界对应的上述通常观察图像上的边界的位置，并在检测到的上述通常观察图像上的边界的位置设定表示是上述关注区域的边界的边界图像。
图1是本实施方式的系统结构例。图2是说明通常观察图像和放大观察图像的按时序的取得例的图。图3是关注区域确定部的结构例。图4是放大观察时关注区域检测部的结构例。图5是图像分割部的块分割的例子。
·
图6是边界设定部的结构例。图7 (A) 图7 (C)是在通常观察时关注区域的边界上设定控制点并求出关注区域边界候选的方法的说明图。图8 (A) 图8 (D)是说明根据放大观察的结果来更新通常观察图像上的边界图像的例子的图。图9是观察方向设定部的结构例。图10是观察候选区域的设定例。图11是说明没有完成放大观察的观察候选区域的图。图12是观察优先级和观察方向信息的例子。图13是说明通常观察图像与放大观察图像的对应的图。图14是观察区域位置的信息的数据结构的例子。图15是说明在第I时刻与第2时刻之间不取得放大观察图像时的边界的移动方法的图。图16是说明在第I时刻与第2时刻之间取得放大观察图像时的边界的移动方法的图。图17是关注区域确定部的其它结构例。图18是放大观察时的由用户进行的关注区域以及非关注区域的输入例。
图19 (A)、图19 (B)是通常观察时的由用户进行的关注区域的输入例。
具体实施例方式下面对本实施方式进行说明。另外，以下说明的本实施方式并不对权利要求书中记载的本发明的内容进行不恰当的限定。另外，本实施方式所说明的所有结构并非都是本发明所必须的构成要件。1.本实施方式的方法首先，说明本实施方式的方法。本实施方式中的内窥镜图像处理装置如后所述包含具有可变更光学系统放大率的放大功能的物镜230。由此，可进行基于通常倍率的观察模式即通常观察模式和比通常观察倍率高的观察模式即放大观察模式这两种模式的观察。在通常观察模式中取得通常观察图像，在放大观察模式中取得放大观察图像。用户(医生)采用通常观察图像进行宽范围的粗略观察或病变部的搜索等，如果发现目标区域则变更为放大观察模式，采用放大观察图像来详细地观察被摄体。然后，采用在放大观察图像中取得的被摄体的详细信息在通常观察模式下实际地进行处置(病变部的切除等)。但是，对于现有的内窥镜图像处理装置来说，只能由用户自身来进行在放大观察图像中取得的信息和通常观察图像之间的对应。即，例如，即使在放大观察图像中发现了病变部与正常部的边界，也需要在实际进行处置(与边界对应的区域的切除等)的通常观察图像中由用户进行所发现的边界位于哪里这样的判断。因此，用户需要记忆在放大观察图像中所取得的信息，并且由自身进行与通常观察图像的对应并进行处置，所以具有为了适当地应用内窥镜图像处理装置所提示的信息而需要熟练这样的课题。因此，本申请人提出了如下这样的内窥镜图像处理装置，通过在通常观察图像内也反映在放大观察图像中取得的病变部的边界信息并提示给用户，可顺畅地进行通常观察图像与放大观察图像的对应。如图2所示，采用在时刻tx至tx+k之间取得通常观察图像、然后在时刻ty至ty+m之间取得放大观察图像、然后在时刻tz至tz+n之间再次取得通常观察图像的例子来说明具体的方法。将对应的处理分为进行放大观察期间的更新处理和进行通常观察期间的移动处理。1.1更新处理首先，在从时刻tx到tx+k的期间没有取得放大观察图像，所以不进行对应等的处理(这里，为从时刻tx开始观察的处理)。然后，在时刻ty，当开始放大观察时，使在ty至ty+m期间取得的信息反映到tx+k的通常观察图像中。这里，虽然反映放大观察结果的通常观察图像(参照通常观察图像)不限于tx+k的通常观察图像，但鉴于进行放大观察的区域包含在紧前的通常观察区域内的可能性高，希望采用ty紧前即tx+k的通常观察图像。使放大观察图像的信息反映到通常观察图像中的方法具体地说为后述图8 (A) 图8 (D)这样的更新处理。作为前提，在通常观察图像x+k中进行关注区域的检测，并预先设定作为关注区域和非关注区域的边界候选的关注区域边界候选(显而易见精度比放大观察低)。然后，通过 如图8 (A) 图8 (D)那样更新已设定的关注区域边界候选来决定边界。具体地说，当利用放大观察图像判断出在关注区域边界候选的内部存在非关注区域时，如图8 (B)那样进行缩小被关注区域边界候选包围的图形面积的更新处理。另外，当利用放大观察图像判断出在关注区域边界候选的外部存在关注区域时，如图8 (D)那样进行扩大被关注区域边界候选包围的图形面积的更新处理。1.2移动处理在放大观察结束并再次返回通常观察的时刻tz，根据已反映放大观察中的信息的图像即参照通常观察图像(X+k)的信息来设定边界。具体地说，根据tx+k与tz之间的运动信息(表示被摄体与内窥镜装置的摄像部相对地运动多少的信息)，使通常观察图像x+k中的边界移动，由此成为通常观察图像Z中的边界。实际上如后述的图16所示，只要通过使边界移动与放大观察图像I对应的x+k的位置和与放大观察图像y+m对应的x+k的位置之间的距离来求出z的边界的位置即可。另外，在持续通常观察的时刻tz+1 tz+n期间，根据在通常观察图像间的运动信息使边界移动。例如，只要通过求出通常观察图像z与通常观察图像z+1之间的运动信息并根据所求出的运动信息使Z的边界移动，来设定在时刻tz+1的通常观察图像Z+1中的边界即可。关于以后的处理也是同样的。如果在时刻z+n之后开始放大观察，则只要将通常观察图像z+n作为参照通常观察图像进行上述更新处理即可，此后在返回通常观察时只要进行上述移动处理即可。以下，在第I实施方式中说明系统自动进行关注区域检测的例子，在第2实施方式中说明通过用户的输入来决定关注区域的例子。2.第I实施方式参照图1来说明本发明第I实施方式的内窥镜图像处理装置。本实施方式的内窥镜图像处理装置具备光源部100、插入部200、信号处理部300、输出部400和外部I/F部500。 光源部100具备白色光源110、旋转滤色器120、聚光透镜130。白色光源110发出白色光。在该白色光源110发出的白色光的光路上配置旋转滤色器120，透过特定波长。更具体地说，具备:透过一般的3原色光R、G、B的通常光滤色器和透过窄带光G2、B2的特殊光滤色器，可利用未图示的旋转滤色器切换机构来切换各个滤色器。聚光透镜130将透过该旋转滤色器120的光会聚到后述的光纤210。插入部200为了例如能够插入到体腔而形成为细长且可弯曲。插入部200具备光纤210、照明透镜220、物镜230和摄像元件240。光纤210将在光源部100会聚的光导向插入部200的前端。照明透镜220利用该光纤210使已导向前端的光扩散后照射到观察对象。物镜230将从观察对象返回的反射光会聚到摄像元件240。另外，物镜230具有可变更光学系统的放大率的放大功能，用户可通过操作外部I/F部500来在任意的时刻变更该放大率。更具体地说，后述的控制部350通过外部I/F部500的操作来生成控制信号，该物镜230根据该控制信号变更该放大率。摄像元件240将基于检测出的反射光的模拟信号输出到后述的A/D转换部310。信号处理部300具备A/D转换部310、图像取得部320、关注区域确定部330、边界设定部340和控制部350。将图像取得部320与关注区域确定部330、边界设定部340和输出部400连接。将关注区域确定部330与边界设定部340连接。将边界设定部340与输出部400连接。将控制部350与白色光源110、旋转滤色器120、A/D转换部310、图像取得部320、关注区域确定部330、边界设定部340、输出部400和外部I/F部500进行双向连接，并对它们进行相互控制。A/D转换部310将从摄像元件240输出的模拟信号转换为数字信号后输出至图像取得部320。图像取得部320根据由控制部350输出的控制信号来识别是通常光观察还是特殊光观察，根据各个观察方法对从A/D转换部310输出的数字信号进行现有的插值处理、白平衡、色转换、灰度转换等图像处理，生成通常光图像或特殊光图像。此外，还根据上述控制信号，来识别所生成的图像是在放大观察中取得的放大观察图像还是在通常观察中取得的通常观察图像。即，图像取得部320所取得的图像根据已取得该图像的观察状态，具备通常光图像或特殊光图像以及放大观察图像或通常观察图像这样的2个属性。图2示出按照时序连续地由上述图像取得部320取得放大观察图像以及通常观察图像的情况。这里，在从开始观察的时间tx到时间tx+k为止取得通常观察图像X至通常观察图像x+k，在从时间ty到时间ty+m为止取得放大观察图像y至放大观察图像y+m。另夕卜，在从时间tz到时间tz+n为止，由上述图像取得部320取得通常观察图像z至通常观察图像z+n，关于此情况以 下说明本实施例中的各构成要件的作用。关注区域确定部330当根据上述控制部350生成的控制信号在时间ty检测到放大观察开始时，根据通常观察图像x+k的像素值从通常观察图像x+k中检测关注区域。接着，根据从放大观察图像y到放大观察图像y+m的各个放大观察图像的像素值，针对每个放大观察图像来检测关注区域。边界设定部340在基于上述控制信号检测到放大观察执行的期间，根据从通常观察图像x+k检测出的关注区域以及从放大观察图像I至放大观察图像y+m检测出的关注区域在通常观察图像x+k上设定边界图像。接着，在时间tz中，关注区域确定部330根据上述控制信号检测到放大观察结束并停止。边界设定部340当基于上述控制信号检测到放大观察结束时，根据放大率、放大观察图像I与放大观察图像y+m之间的移动量以及在通常观察图像x+k上设定的上述关注区域以及上述边界图像，在通常观察图像z上设定上述关注区域以及上述边界图像。接着，在时间tz+1中，边界设定部340根据通常观察图像z与通常观察图像z+1之间的移动量以及在通常观察图像z上设定的上述关注区域以及上述边界图像，在通常观察图像Z+1上设定上述关注区域以及上述边界图像。以后，边界设定部340在基于上述控制信号检测到通常观察执行的期间，同样在通常观察图像上设定上述关注区域以及上述边界图像。当在其以后的观察中进行放大观察时，根据在开始放大观察紧前的通常观察图像上设定的上述关注区域以及上述边界图像以及利用放大观察设定的关注区域，在放大观察后取得的通常观察图像上设定关注区域以及边界图像。对关注区域确定部330的具体结构进行说明。图3是说明第I实施方式中的关注区域确定部330的结构的一例的框图。如图3所示，关注区域确定部330具备观察方法判定部331、放大观察时关注区域检测部332和通常观察时关注区域检测部333。由图像取得部320取得的放大观察图像输出到放大观察时关注区域检测部332。由图像取得部320取得的通常观察图像输出到观察方法判定部331和通常观察时关注区域检测部333。由控制部350生成的控制信号输出到观察方法判定部331、放大观察时关注区域检测部332和通常观察时关注区域检测部333，并控制它们。将观察方法判定部331与放大观察时关注区域检测部332和通常观察时关注区域检测部333连接。将放大观察时关注区域检测部332与边界设定部340连接。将通常观察时关注区域检测部333与边界设定部340连接。观察方法判定部331根据上述控制信号来判定是通常光观察以及特殊光观察中的哪个观察方法。在该观察方法是通常光观察的情况下，利用上述通常观察图像的色调来进一步判定是否是色素法或染色法这样的使用药剂的观察方法。更具体地说，上述通常观察图像的色度为一定以上，将色相处于-10° (350° ) 20°范围的像素数设为a，将色相处于20° 350°范围的像素数设为P，如果a >2.0X0则判定为非染色观察，如果a <2.0X ^则判定为基于色素法或染色法的观察。与像素数P对应的色相范围可以是与观察中使用的药剂相应的值。对放大观察时关注区域检测部332的具体结构进行说明。图4是说明第I实施方式中的放大观察时关注区域检测部332的结构的一例的框图。如图4所示，放大观察时关注区域检测部332具备图像分割部3321、特征量计算部3322、基准值取得部3323和特征量比较部3324。由图像取得部320取得的放大观察图像输出到图像分割部3321。由观察方法判定部331判定的观察方法输出到特征量计算部3322和基准值取得部3323。由控制部350生成的控制信号输出到图像分割部3321、特征量计算部3322、基准值取得部3323和特征量比较部3324，并控制它们。将图像分割部3321与特征量计算部3322连接。将特征量计算部3322与特征量比较部3324连接。将基准值取得部3323与特征量比较部3324连接。将特征量比较部3324与边界设定部340连接。图像分割部3321将上述放大观察图像分割为多个块图像。例如，将尺寸是MXN的上述放大观察图像分割为在图5所示的水平方向上为4 [个]、垂直方向上为4 [个]的块图像(尺寸(M/4)X (N/4))。通过这样分割上述放大观察图像并按照每个块图像计算后述的特征量，来高精度地设定关注区域与非关注区域的边界。
特征量计算部3322针对由上述图像分割部3321分割的每块图像，计算与上述观察方法判定部331所判定的观察方法对应的特征量。例如，在上述观察方法是特殊光观察的情况下，在放大观察中计算基于对癌的深度诊断有用的IPCL形态的特征量。另外，在上述观察方法是通常观察的情况下，计算基于在专利文献I中记载的腺管开口分型的特征量。这里，上述观察方法根据非染色观察或者基于色素法或染色法的观察，在专利文献I的
所记载的二值化处理中采用不同的阈值。基准值取得部3323针对每种上述观察方法将癌的各种深度的代表性的上述特征量作为基准值进行记录保存，取得与观察方法对应的基准值。这里，根据在已知的病变图像中可显著地判定上述深度的病变图像来预先计算与上述观察方法对应的上述特征量并设为基准值。然后，根据上述观察方法判定部331所判定的上述观察方法来取得该基准值。特征量比较部3324在每个上述块图像中比较上述特征量以及上述基准值并进行是否是放大观察时关注区域的判定。具体地说，计算与上述特征量以及上述基准值的差值，将该差值是预定的阈值以上的块图像判定为放大观察时关注区域。将该放大观察时关注区域输出到边界设定部340。通常观察时关注区域检测部333利用与观察方法判定部331所判定的上述观察方法对应的方法，根据上述通常观察图像的像素值来检测上述关注区域，并针对上述通常观察图像将该关注区域设定为通常观察时关注区域。具体地说，当判定为上述观察方法是特殊光观察时，将例如全部像素的色相处于5° 35°范围且面积是一定以上的区域设定为该通常观察时关注区域。这是因为在基于特殊光的通常观察中，上述IPCL是被称为褐斑病(brown spot)的褐色区域。当判定为上述观察方法是通常光观察时，用户可以设定该通常观察时关注区域。另外，当用户不设定该通常观察时关注区域时，例如在上述通常观察图像上将像素值的R通道是阈值以上且最接近于图像中央的区域设定为该通常观察时关注区域。另外，在本实施例中，通常观察时关注区域检测部333针对上述通常观察图像始终设定该通常观察时关注区域，但也可以仅针对在根据上述控制信号检测到通常观察结束的时刻输出的通常观察图像设定该通常观察时关注区域。另外，也可以仅针对没有设定上述边界图像的通常观察图像设定该通常观察时关注区域。对边界设定部340的具体结构进行说明。图6是说明第I实施方式中的边界设定部340的结构的一例的框图。如图6所示，边界设定部340具备观察区域位置检测部341、放大观察结果保存部342、边界候选设定部343、运动信息计算部344、放大观察结果移动部345、边界更新部346、边界移动部347和观察方向设定部348。将由图像取得部320取得的放大观察图像输出到观察区域位置检测部341。将由图像取得部320取得的通常观察图像输出到观察区域位置检测部341和运动信息计算部344。将由关注区域确定部330检测到的放大观察时关注区域输出至放大观察结果保存部342。将由关注区域确定部330检测到的通常观察时关注区域输出至边界候选设定部343。将由控制部350生成的控制信号输出至观察区域位置检测部341、放大观察结果保存部342、边界候选设定部343、运动信息计算部344、放大观察结果移动部345、边界更新部346、边界移动部347和观察方向设定部348，并控制它们。将观察区域位置检测部341与放大观察结果保存部342和观察方向设定部348连接。将放大观察结果保存部342与运动信息计算部344、放大观察结果移动部345、边界更新部346和观察方向设定部348连接。将边界候选设定部343与边界更新部346连接。将运动信息计算部344与放大观察结果移动部345和边界移动部347连接。将放大观察结果移动部345与边界更新部346连接。将边界更新部346与边界移动部347和观察方向设定部348连接。将边界移动部347与边界候选设定部343和输出部400连接。将观察 方向设定部348与输出部400连接。观察区域位置检测部341当根据上述控制信号检测到放大观察开始时，将在紧前的时刻取得的上述通常观察图像保持为参照通常观察图像，检测根据上述控制信号检测到放大观察结束之前取得的全部上述放大观察图像分别放大了该参照通常观察图像的哪个位置。具体地说，利用公知的方法对该参照通常观察图像和根据放大率来降低析像度后的上述放大观察图像进行图像匹配，将与上述放大观察图像的中心对应的该参照通常观察图像上的座标检测为观察区域位置。这里，当在上述放大观察图像紧前取得的图像也是放大观察图像的情况下(分别与图2的放大观察图像I以及在时刻ty+1取得的放大观察图像y+1相对应)，使在放大观察图像y中检测出的观察区域位置与按照上述方法降低析像度后的放大观察图像y+1的中心一致后开始图像匹配，并检测该参照通常观察图像中的放大观察图像y+1的观察区域位置。另一方面，当在上述放大观察图像紧前取得的图像是通常观察图像时(分别与图2的通常观察图像x+k以及放大观察图像y相对应)，使该参照通常观察图像的中心与按照上述方法降低析像度后的放大观察图像y的中心一致后开始图像匹配，并检测该参照通常观察图像中的放大观察图像y的观察区域位置。观察区域位置检测部341当检测到放大观察开始时将该参照通常观察图像输出至放大观察结果保存部342。另外，将在检测到放大观察结束之前检测出的该观察区域位置输出至放大观察结果保存部342。另外，将在放大观察开始时检测到的该观察区域位置以及在放大观察结束时检测到的该观察区域位置分别作为放大开始位置以及放大结束位置输出至放大观察结果保存部342。放大观察结果保存部342保存由上述观察区域位置检测部341输出的与在上述参照通常观察图像上对哪个区域进行了放大观察以及放大观察结果中哪个区域是上述关注区域相关的信息。具体地说，将以各个上述观察区域位置为中心按照放大率Z使上述放大观察图像中的上述放大观察时关注区域缩小的区域作为关注区域，将以各个上述观察区域位置为中心的(M/Z) X (N/Z)的区域作为放大观察完成区域，并将它们保存为放大观察结果。其中，图像的尺寸是MXN。另外，在输出上述放大结束位置之前保存上述观察区域位置检测部341所输出的上述放大开始位置，当输出上述放大结束位置时与上述放大开始位置一起输出到运动信息计算部344。边界候选设定部343当利用后述的边界移动部347在上述通常观察图像上移动上述边界图像时(即，设定已经反映了放大观察结果的边界时)，将上述边界图像设定为边界图像候选。当不是上述这样的情况时，将上述通常观察时关注区域的轮廓设定为边界图像候选。更具体地说，如图7 (A)所示，首先检测上述通常观察时关注区域的轮廓线。接着，根据构成轮廓线的像素数Ne来决定控制点的个数Np。这里，成为Np=Nc/10。接着，如图7(B)所示，从构成轮廓线的像素中以等间隔提取Np个像素作为控制点。然后如图7 (C)所示，将利用线段连结控制点之间而得到的Np角形的区域设定为边界图像候选。运动信息计算部344计算2个上述通常观察图像的移动量。首先，以前面在图2中记述的通常观察图像x+k以及通常观察图像z为例，对在取得2个上述通常观察图像的时刻间仅进行放大观察的情况进行说明。在此情况下，将观察区域位置Py与观察区域位置Py+m的差值作为移动量，所述观察区域位置Py从上述放大观察结果保存部342中作为放大开始位置输出，根据前面图2叙述的放大观察图像y由上述观察区域位置检测部341检测，所述观察区域位置Py+m从上述放大观察结果保存部342中作为放大结束位置输出，根据前面图2叙述的放大观察·图像y+m由上述观察区域位置检测部341检测。接着，以前面图2叙述的通常观察图像z以及在时刻tz+1取得的通常观察图像z+1为例，说明在取得2个上述通常观察图像的时刻间仅进行通常观察的情况。根据通常观察图像z以及通常观察图像z+1，利用公知的方法例如图像匹配来计算移动量。接着，对在已取得用于计算移动量的2个通常观察图像的时刻间双方都进行放大观察以及通常观察的情况进行说明。在此情况下，将在用于计算移动量的2个上述通常观察图像之间取得的图像分解为仅放大观察图像、仅通常观察图像的区间，对根据上述情况计算出的各个区间中的移动量进行总和计算。放大观察结果移动部345在通常观察中根据上述移动量使上述放大观察结果移动。具体地说，使作为上述放大观察结果保存的上述放大观察完成区域以及上述关注区域根据上述移动量进行移动。这样，在放大观察之后进行通常观察，并可以利用再次进行放大观察时之前进行的放大观察的结果。边界更新部346在放大观察中，首先根据上述放大观察结果保存部342所保存的上述放大观察结果、由上述放大观察结果移动部345输出的上述放大观察结果以及由上述边界候选设定部343设定的上述边界图像候选来设定边界图像。具体地说，根据构成上述边界图像候选的控制点的附近是否是上述关注区域来更新上述边界图像候选。对更新的具体方法进行说明。如上述那样利用Np个控制点表示边界图像候选。这里，将各个控制点作为2维矢量pi。其中，p1-1和p1、pi和pi+1是邻接的控制点，i=0 Np-1, pO=pNp。另夕卜，针对上述边界图像的轮廓以顺时针增加的方式分配控制点的后缀i。当前，利用以下的式子将控制点Pi更新为pi’。 p I p- + CiJP^)
'' Ia.1 -/7Z-1I
fo -1lT Ap, = ^j( I )a是表示控制点更新的大小以及方向的系数。如果a的绝对值大，则意味着大幅更新控制点。另外，如果a >0则向上述边界图像内部的面积增大的方向更新控制点，如果a〈O则向上述边界图像内部的面积减少的方向更新控制点。这里，成为a =±10。另外，当利用I个来更新控制点时，以全部邻接的控制点之间的距离为等间隔的方式更新全部控制点。接着，对更新上述边界图像候选或上述边界图像的情况分别进行说明。如图8(A)所示，当与上述边界图像候选内接的上述观察区域位置不是上述放大观察时关注区域时，设为a =-10，使上述边界图像候选的内部面积减少，并如图8 (B)所示更新上述观察区域位置附近的上述边界图像候选，成为上述边界图像。另一方面，如图8 (C)所示，当与上述边界图像候选外接的上述观察区域位置是上述放大观察时关注区域时，设为a =+10，使上述边界图像候选的内部面积增 大，并如图8 (D)所示更新上述观察区域位置附近的上述边界图像候选，设为上述边界图像。接着，同样根据上述放大观察结果来更新该边界图像。边界移动部347在通常观察中根据由上述运动信息计算部344计算出的上述移动量，移动上述边界更新部346所更新的上述边界图像。具体地说，使构成上述边界图像的控制点座标根据上述移动量进行移动。这样，在通常观察中即使内窥镜移动，也能够跟踪利用放大观察设定的上述边界图像。然后，通过内窥镜的移动将全部上述控制点座标移动至上述通常观察图像外，当全部上述控制点座标从上述通常观察图像离开预定的距离以上时，边界移动部347删除上述边界图像。观察方向设定部348在根据上述控制信号检测到放大观察开始时启动，在进行放大观察的期间，设定与接着应该观察的方向相关的信息并输出至输出部400。对观察方向设定部348的具体结构进行说明。图9是说明第I实施方式中的观察方向设定部348的结构的一例的框图。如图9所示，观察方向设定部348具备观察候选区域设定部3481、观察优先级设定部3482、观察区域选择部3483和观察方向信息输出部3484。将上述边界更新部346所更新的上述边界图像输出至观察候选区域设定部3481。将上述放大观察结果保存部342所保存的上述放大观察结果输出至观察优先级设定部3482。将上述观察区域位置检测部341所检测到的上述观察区域位置输出至观察区域选择部3483和观察方向信息输出部3484。将由控制部350生成的控制信号输出至观察候选区域设定部3481、观察优先级设定部3482、观察区域选择部3483和观察方向信息输出部3484，并控制它们。将观察候选区域设定部3481与观察优先级设定部3482和观察区域选择部3483连接。将观察优先级设定部3482与观察区域选择部3483连接。将观察区域选择部3483与观察方向信息输出部3484连接。将观察方向信息输出部3484与输出部400连接。观察候选区域设定部3481将在上述边界图像上应该观察的区域的候选设定为观察候选区域。更具体地说，在上述边界图像上以一定的间隔设定观察候选区域。例如图10所示，将构成上述边界图像的控制点作为观察候选区域的中心。当将该观察候选区域的尺寸设为纵LM、横LN时，LM和LN根据以下的式子由上述块图像的尺寸M、N以及上述放大率Z来决定。LM=M/Z.....(2)LN=N/Z.....(3)另外，这里虽然取观察候选区域的形状为矩形，但也可以取为圆或椭圆等形状。观察优先级设定部3482根据上述边界图像以及上述放大观察结果对上述观察候选区域设定应该 观察的优先级。更具体地说，根据上述放大观察结果所保存的上述放大观察完成区域来判定是否对上述观察候选区域分别进行了放大观察，对没有进行放大观察的观察候选区域设定上述观察优先级。因为判定为已进行放大观察的观察候选区域不需要进一步的放大观察，所以不设定上述观察优先级。例如图11所示，在上述观察候选区域中其面积仅有不足30%的包含于上述放大观察完成区域内的上述观察候选区域被判定为没有进行放大观察，设定上述观察优先级。在具有多个⑶个)没有进行放大观察的观察候选区域时，将从上述放大观察完成区域到各个观察候选区域的最小距离作为第I观察优先级判别指标，从第I该观察优先级判别指标大的观察候选区域开始依次将第I观察优先级设定为1、2、3…N。上述第I观察优先级表示值越小越是应该优先观察的观察候选区域。当存在多个第I观察优先级判别指标相等的观察候选区域时，进一步增加邻接的观察候选区域中的上述第I观察优先级判别指标后进行比较，将观察优先级判别指标更大的上述观察候选区域的上述第I观察优先级设定为上位。观察区域选择部3483在放大观察中选择接下来应该观察的上述观察候选区域。更具体地说，选择上述第I观察优先级高且与当前正在进行放大观察的上述观察区域位置近的上述观察候选区域。例如，上述观察候选区域存在N个，当将上述第I观察优先级分配到I N时，针对上述观察候选区域从上述观察区域位置到各个观察候选区域中心的距离小的上述观察候选区域开始依次将第2观察优先级分配到I N，并选择上述第I观察优先级以及上述第2观察优先级之和最小的上述观察候选区域。例如，当将第I观察优先级设为xi Cxi=I N, 1:识别观察候选区域的后缀,i=l N)、将第2观察优先级设为yi Cyi=I N，1:识别观察候选区域的后缀，i=l N)时，按照各个观察候选区域来计算xi+yi，并选择其值最小的观察候选区域。如图12所示，观察方向信息输出部3484根据由上述观察区域选择部3483选择的上述观察候选区域的位置以及当前正在进行放大观察的上述观察区域位置，输出与接下来应该观察的方向相关的方向信息。具体地说，当将所选择的观察候选区域的位置以及当前正在进行放大观察的上述观察区域位置分别设为2维矢量s、t时，用以下的式子表示应该观察的方向d。
权利要求
1.一种内窥镜图像处理装置，其特征在于，包含: 图像取得部，其取得包含被摄体像的图像作为通常观察图像，取得使作为所述通常观察图像内的一部分的观察区域内的被摄体像放大后的图像作为放大观察图像； 关注区域确定部，其在所述放大观察图像上确定应该关注的区域即关注区域；以及 边界设定部，其根据所述放大观察图像内的像素值，检测与所确定的所述放大观察图像上的关注区域的边界对应的所述通常观察图像上的边界的位置，并在检测到的所述通常观察图像上的边界的位置设定表示是所述关注区域的边界的边界图像。
2.根据权利要求1所述的内窥镜图像处理装置，其特征在于， 所述边界设定部根据所述放大观察图像内的像素值和所述通常观察图像内的像素值来检测所述通常观察图像上的边界的位置。
3.根据权利要求2所述的内窥镜图像处理装置，其特征在于， 所述边界设定部包含观察区域位置检测部，该观察区域位置检测部根据所述放大观察图像内的像素值和所述通 常观察图像内的像素值，在所述通常观察图像上检测与利用所述放大观察图像观察的区域对应的所述通常观察图像上的区域即所述观察区域的位置， 所述边界设定部根据所述放大观察图像内的像素值和所述观察区域内的像素值在所述观察区域中检测所述边界的位置。
4.根据权利要求3所述的内窥镜图像处理装置，其特征在于， 所述观察区域位置检测部通过根据所述放大图像内的像素值和所述通常观察图像内的像素值进行匹配处理，来在所述通常观察图像上检测所述观察区域。
5.根据权利要求1所述的内窥镜图像处理装置，其特征在于， 所述边界设定部包含: 运动信息计算部，其计算表示在所述通常观察图像上检测到的所述边界的运动的运动"[目息;以及 边界移动部，其根据算出的所述边界的所述运动信息来使在所述边界的位置上设定的所述边界图像移动。
6.根据权利要求5所述的内窥镜图像处理装置，其特征在于， 所述图像取得部在第I时刻取得第I通常观察图像，并且在第2时刻取得第2通常观察图像， 所述边界设定部检测所述第I通常观察图像上的边界的位置，在检测到的所述边界的位置设定所述边界图像， 所述运动信息计算部计算所述运动信息，该运动信息是表示在所述第I通常观察图像上检测到的所述边界的所述第I时刻与所述第2时刻之间的移动量的信息， 所述边界移动部根据计算出的所述运动信息，来求出与在所述第I通常观察图像上检测到的所述边界的位置对应的所述第2通常观察图像上的所述边界的位置，并针对所求出的所述边界的位置设定所述边界图像。
7.根据权利要求6所述的内窥镜图像处理装置，其特征在于， 所述运动信息计算部根据所述第I通常观察图像以及所述第2通常观察图像来计算所述运动信息。
8.根据权利要求7所述的内窥镜图像处理装置，其特征在于，所述运动信息计算部根据所述第I通常观察图像以及所述第2通常观察图像之间的运动矢量来计算所述运动信息。
9.根据权利要求6所述的内窥镜图像处理装置，其特征在于， 所述图像取得部在第I时刻与第2时刻之间连续地取得与使作为所述第I通常观察图像内的一部分的所述观察区域内的被摄体像放大后的图像对应的放大观察图像， 所述运动信息计算部根据与所述放大观察图像内的基准点对应的所述第I通常观察图像上的对应基准点的运动来计算所述边界的运动信息。
10.根据权利要求9所述的内窥镜图像处理装置，其特征在于， 所述运动信息计算部根据与在连续取得的所述放大观察图像中的最初取得的放大观察图像内的基准点对应的所述第I通常观察图像上的对应基准点的位置和与最后取得的放大观察图像内的基准点对应的所述第I通常观察图像上的对应基准点的位置，来计算所述边界的所述运动信息。
11.根据权利要求1所述的内窥镜图像处理装置，其特征在于， 所述边界设定部包含边界更新部，该边界更新部根据所述放大观察图像中的所述关注区域的信息来更新所述通常观察图像中的所述边界图像的设定位置。
12.根据权利要求11所述的内窥镜图像处理装置，其特征在于， 所述边界更新部判定与在所述放大观察图像中观察的区域对应的所述通常观察图像上的区域即所述观察区域是否接近于在所述通常观察图像上设定的所述边界图像，来作为第I判定处理， 所述关注区域确定部判定所述·观察区域是否是关注区域，来作为第2判定处理， 所述边界更新部根据所述第I判定处理的结果以及所述第2判定处理的结果，在所述观察区域中更新所述边界图像的设定位置。
13.根据权利要求12所述的内窥镜图像处理装置，其特征在于， 所述关注区域确定部根据与所述观察区域对应的所述放大观察图像内的像素值，来判定所述观察区域是否是关注区域。
14.根据权利要求12所述的内窥镜图像处理装置，其特征在于， 所述边界更新部在通过所述第I判定处理判定为所述观察区域与所述边界图像接近且通过所述第2判定处理判定为所述观察区域是关注区域时，更新所述边界图像的设定位置，使被所设定的所述边界图像包围而形成的图形的面积变大。
15.根据权利要求12所述的内窥镜图像处理装置，其特征在于， 所述边界更新部在通过所述第I判定处理判定为所述观察区域与所述边界图像接近且通过所述第2判定处理判定为所述观察区域不是关注区域时，更新所述边界图像的设定位置，使被所设定的所述边界图像包围而形成的图形的面积变小。
16.根据权利要求12所述的内窥镜图像处理装置，其特征在于， 所述边界更新部选择在所述通常观察图像上设定的边界图像上的点作为控制点，判定所述观察区域与所述控制点是否接近，来作为所述第I判定处理， 所述关注区域确定部判定所述观察区域是否是关注区域，作为所述第2判定处理， 所述边界更新部根据所述第I判定处理的结果以及第2判定处理的结果对与所述观察区域邻接的控制点的位置进行更新，由此来更新边界图像的设定位置。
17.根据权利要求1所述的内窥镜图像处理装置，其特征在于，包含: 观察候选区域设定部，其在所述通常观察图像上设定多个观察候选区域，该观察候选区域是作为所述观察区域的候选的区域； 观察优先级设定部，其针对所设定的每个所述观察候选区域来设定表示所述观察候选区域的放大观察的优先级的观察优先级；以及 观察区域选择部，其根据所设定的所述观察优先级，来选择接下来应该观察的观察区域。
18.根据权利要求17所述的内窥镜图像处理装置，其特征在于， 所述观察优先级设定部计算在所述通常观察图像上从表示已完成放大观察的范围的放大观察完成区域到所设定的所述观察候选区域的位置的距离信息，并根据所计算出的所述距离信息来设定第I观察优先级作为所述观察优先级。
19.根据权利要求17所述的内窥镜图像处理装置，其特征在于， 所述观察优先级设定部计算所述通常观察图像上的从表示当前时刻的观察地点的所述观察区域到所设定的所述观察候选区域的位置的距离信息，并根据所计算出的所述距离信息来设定第2观察优先级作为所述观察优先级。
20.根据权利要求17所述的内窥镜图像处理装置，其特征在于， 包含观察方向信息输出部，该观察方向信息输出部输出表不从所述观察区域向所选择的所述观察候选区域的方向的方向信息，该观察区域表示在当前时刻的观察地点。
21.根据权利要求1所述的内窥镜图像处理装置，其特征在于， 所述关注区域确定部根据所述放大观察图像内的像素的像素值来确定所述关注区域。
22.根据权利要求21所述的内窥镜图像处理装置，其特征在于， 所述关注区域确定部根据所述放大观察图像内的像素的像素值和作为所述关注区域的检测基准的基准值来确定所述关注区域。
23.根据权利要求22所述的内窥镜图像处理装置，其特征在于， 所述关注区域确定部包含对所述放大观察图像的观察方法进行判定的观察方法判定部， 所述关注区域确定部根据所判定的所述观察方法来设定所述基准值。
24.根据权利要求23所述的内窥镜图像处理装置，其特征在于， 所述观察方法包含特殊光观察。
25.根据权利要求23所述的内窥镜图像处理装置，其特征在于， 所述关注区域确定部包含特征量计算部，该特征量计算部根据所述放大观察图像内的像素的像素值来计算作为与所述基准值进行比较的比较对象的特征量， 所述关注区域确定 部根据所述特征量以及与所述基准值的比较结果来确定所述关注区域。
26.根据权利要求25所述的内窥镜图像处理装置，其特征在于， 所述关注区域确定部包含图像分割部，该图像分割部将所述放大观察图像分割为多个块， 所述特征量计算部针对所分割的每个所述块来计算所述特征量， 所述关注区域确定部针对每个所述块比较针对每个所述块计算出的特征量和所述基准值，由此来确定所述关注区域。
27.根据权利要求1所述的内窥镜图像处理装置，其特征在于， 所述关注区域确定部从用户受理用于确定所述关注区域的信息即关注区域确定信息的输入，并根据所受理的所述关注区域确定信息来确定所述关注区域。
28.一种程序，其特征在于， 使计算机作为如下的部件发挥功能: 图像取得部，其取得包含被摄体像的图像作为通常观察图像，取得使作为所述通常观察图像内的一部分的观察区域内的被摄体像放大后的图像作为放大观察图像； 关注区域确定部，其在所述放大观察图像上确定应该关注的区域即关注区域；以及边界设定部，其根据所述放大观察图像内的像素值，检测与所确定的所述放大观察图像上的关注区域的边界对应的所述通常观察图像上的边界的位置，并在检测到的所述通常观察图像上的边界的位置 设定表示是所述关注区域的边界的边界图像。
全文摘要
本发明提供可根据基于图像处理的内窥镜图像的评价结果来进行高效率的处置的内窥镜图像处理装置以及程序等。内窥镜图像处理装置包含图像取得部(320)，其取得包含被摄体像的图像作为通常观察图像，取得使作为上述通常观察图像内的一部分的观察区域内的被摄体像放大后的图像作为放大观察图像；关注区域确定部(330)，其在放大观察图像上确定应该关注的区域即关注区域；以及边界设定部(340)，其根据放大观察图像内的像素值，检测与所确定的放大观察图像上的关注区域的边界对应的通常观察图像上的边界的位置，并在检测到的通常观察图像上的边界的位置设定表示是关注区域的边界的边界图像。
文档编号A61B1/04GK103249349SQ20118005611
公开日2013年8月14日 申请日期2011年11月25日 优先权日2010年12月2日
发明者栗山直也 申请人:奥林巴斯株式会社