医疗用图像处理装置和医疗用图像处理方法

专利名称：医疗用图像处理装置和医疗用图像处理方法
技术领域：
本发明涉及医疗用图像处理装置和医疗用图像处理方法，尤其涉及 可以检测体腔内的生物体组织的三维模型中的凸起形状的医疗用图像处 理装置和医疗用图像处理方法。
背景技术：
构成为具有内窥镜和医疗用图像处理装置的内窥镜系统被广泛用在 医疗领域等中。具体而言，内窥镜系统构成为例如具有内窥镜，其构 成为具有用于插入到作为生物体的体腔内的插入部、设置在该插入部的 前端部的物镜光学系统、以及对由该物镜光学系统所成的体腔内的像进 行摄像并将其作为摄像信号来输出的摄像部；以及医疗用图像处理装置， 其根据该摄像信号，进行用于使作为显示部的监视器等图像显示该体腔 内的像的处理。而且，用户例如根据由作为显示部的监视器等所图像显 示的体腔内的像，来观察体腔内的作为被摄体的内脏器官等。并且，具有上述结构的内窥镜系统例如还可以将大肠等消化管粘膜 的像作为体腔内的被摄体来进行摄像。因此，用户例如能够全面观察粘 膜的色调、病变的形状以及粘膜表面的细微的结构等各种观察结果。而且，近年来，例如，提出有如日本特开平11一337845号公报所记 载的内窥镜装置，该内窥镜装置可以根据与内窥镜所摄像的被摄体的像 的摄像信号对应的二维图像的数据，来生成该被摄体的三维模型。另一方面，作为在三维模型中用于对息肉等病变部位进行检测的方 法，例如提出了在US Patent ApplicationNo.20030223627中所记载的如下 方法，即利用形态指标(Shapelndex)和弯曲程度(Curvedness)这样 的基于曲率的形状特征量来进行该三维模型的形状的评价，由此可以对 该三维模型中的病变部位进行检测。尤其，作为由内窥镜所摄像的具有凸起形状的生物体组织的像的、 例如包含大肠的褶皱或息肉等生物体组织的像的二维图像在许多情况下 在该内窥镜的视野方向上包含不可视区域。而且，上述二维图像中的不可视区域通常被称为遮挡(occlusion),是很难进行准确的三维模型的估 计的区域。因此，例如在产生二维图像的遮挡的部分，会产生在基于该 二维图像的三维模型的对应位置处不存在估计结果，或者，在基于该二 维图像的三维模型的对应位置处计算出可靠性较低的估计结果的情况。其结果，当使用通过以往的图像处理、例如在日本特开平11一337845 号公报的内窥镜装置中进行的图像处理所估计出的被摄体的三维模型来 观察该被摄体的情况下，会产生用户在观察息肉等病变部位时的负担变 大的问题。并且，US Patent Application No.20030223627所提出的用于检测息肉 等病变部位的方法是设想为应用于例如通过利用CT (Computed Tomography:计算机断层成像)的观察而获得的不产生成为遮挡部分的 三维模型的方法。因此，US Patent ApplicationNo.20030223627所提出的 用于检测息肉等病变部位的方法，例如在被应用于通过利用内窥镜的观 察而获得的根据具有成为遮挡部分的二维图像而估计出的三维模型的情 况下，对息肉等病变部位的检测精度下降。其结果，在利用采用了 US Patent Application No.20030223627所提出的方法的内窥镜系统来观察被 摄体的情况下，会产生用户在观察息肉等病变部位时的负担变大的问题。发明内容本发明是鉴于上述问题而完成的，其目的在于提供一种在使用被摄 体的三维模型的观察中，可以防止用户漏掉对息肉等病变部位的观察从 而能够减轻用户的负担的医疗用图像处理装置和医疗用图像处理方法。本发明的第1医疗用图像处理装置的特征在于，该医疗用图像处理 装置具有三维模型估计部，其根据从医疗用摄像装置输入的体腔内的生物体组织的像的二维图像，来估计该生物体组织的三维模型；体素检 测部，其检测所述三维模型所具有的体素中的、相对于所述医疗用摄像装置的视野方向存在于最近侧的一个体素；以及凸起形状检测部，其获 取包含所述一个体素的一个曲平面，检测在该一个曲平面中产生梯度变 动的位置，并且判断在所述三维模型中的该位置处是否存在具有局部凸 起形状的生物体组织。本发明的第2医疗用图像处理装置的特征在于，在所述第1医疗用 图像处理装置中，所述凸起形状检测部沿着被设定为与规定的轴方向平 行的多条轨迹线来描绘所述一个曲平面，并且当在所述规定的轴方向上 的一个位置处检测到所述多条轨迹线中产生亮度梯度变动的轨迹线的数 量大于等于1且小于等于规定的阈值时，判断为在所述一个位置处存在 具有所述局部凸起形状的生物体组织。本发明的第3医疗用图像处理装置的特征在于，在所述第2医疗用 图像处理装置中，所述规定的轴方向是所述体腔内的管腔的中心轴方向。本发明的第4医疗用图像处理装置的特征在于，该医疗用图像处理 装置具有边缘提取部，其根据被输入的体腔内的生物体组织的像的二 维图像，来提取该二维图像的边缘；三维模型估计部，其根据所述二维 图像，来估计所述生物体组织的三维模型；矢量计算部，其检测被估计 为所述三维模型的一部分的、具有所述边缘的一个体素组，并且在该一 个体素组中的按照每隔规定间隔而存在的各体素处计算法线矢量和使该 法线矢量的方向反转180度的矢量即逆法线矢量；凸起形状判定部，其 根据所述法线矢量彼此的交叉状态和所述逆法线矢量彼此的交叉状态， 来检测成为凸起开始位置的第1体素和成为凸起结束位置的第2体素， 由此判断被估计为所述一个体素组的生物体组织是否是具有局部凸起形 状的生物体组织；以及病变判定部，其计算所述第1体素和所述第2体 素之间的距离，并且在该距离小于等于规定的距离时，将被估计为所述 一个体素组的生物体组织判断为是具有因病变而引起的局部凸起形状的 生物体组织。本发明的第5医疗用图像处理装置的特征在于，在所述第4医疗用 图像处理装置中，所述凸起形状判定部将在规定的矢量大小以内法线矢 量彼此幵始不交叉、并且在该规定的矢量大小以内逆法线矢量的交叉条数大于等于第1阈值的最初体素作为所述第1体素。本发明的第6医疗用图像处理装置的特征在于，在所述第5医疗用 图像处理装置中，所述凸起形状判定部将在规定的矢量大小以内法线矢 量彼此开始交叉、并且在该规定的矢量大小以内逆法线矢量的交叉条数 小于第2阈值的最初体素作为所述第2体素。本发明的第7医疗用图像处理装置的特征在于，在所述第6医疗用 图像处理装置中，所述第1阈值是与所述第2阈值相等的值。本发明的第1医疗用图像处理方法的特征在于，该医疗用图像处理 方法具有以下步骤三维模型估计步骤，在该步骤中，根据从医疗用摄 像装置输入的体腔内的生物体组织的像的二维图像，来估计该生物体组 织的三维模型；体素检测步骤，在该步骤中，检测所述三维模型所具有 的体素中的、相对于所述医疗用摄像装置的视野方向存在于最近侧的一 个体素；以及凸起形状检测步骤，在该步骤中，获取包含所述一个体素 的一个曲平面，检测在该一个曲平面中产生梯度变动的位置，并且判断 在所述三维模型中的该位置处是否存在具有局部凸起形状的生物体组 织。本发明的第2医疗用图像处理方法的特征在于，在所述第1医疗用 图像处理方法中，在所述凸起形状检测步骤中，沿着被设定为与规定的 轴方向平行的多条轨迹线来描绘所述一个曲平面，并且当在所述规定的 轴方向上的一个位置处检测到所述多条轨迹线中产生亮度梯度变动的轨 迹线的数量大于等于1且小于等于规定的阈值时，判断为在所述一个位 置处存在具有所述局部凸起形状的生物体组织。本发明的第3医疗用图像处理方法的特征在于，在所述第2医疗用 图像处理方法中，所述规定的轴方向是所述体腔内的管腔的中心轴方向。本发明的第4医疗用图像处理方法的特征在于，该医疗用图像处理 方法具有以下步骤边缘提取步骤，在该步骤中，根据被输入的体腔内 的生物体组织的像的二维图像，来提取该二维图像的边缘；三维模型估 计步骤，在该步骤中，根据所述二维图像，来估计所述生物体组织的三 维模型；矢量计算步骤，在该步骤中，检测被估计为所述三维模型的一部分的、具有所述边缘的一个体素组，并且在该一个体素组中的按照每 隔规定间隔而存在的各体素处计算法线矢量和使该法线矢量的方向反转 180度的矢量即逆法线矢量；凸起形状判定步骤，在该步骤中，根据所述 法线矢量彼此的交叉状态和所述逆法线矢量彼此的交叉状态，来检测成 为凸起开始位置的第1体素和成为凸起结束位置的第2体素，由此判断 被估计为所述一个体素组的生物体组织是否是具有局部凸起形状的生物 体组织；以及病变判定步骤，在该步骤中，计算所述第1体素和所述第2体素之间的距离，并且在该距离小于等于规定的距离时，将被估计为所 述一个体素组的生物体组织判断为是具有因病变而引起的局部凸起形状的生物体组织。本发明的第5医疗用图像处理方法的特征在于，在所述第4医疗用 图像处理方法中，在所述凸起形状判定步骤中，将在规定的矢量大小以 内法线矢量彼此开始不交叉、并且在该规定的矢量大小以内逆法线矢量 的交叉条数大于等于第1阈值的最初体素作为所述第1体素。本发明的第6医疗用图像处理方法的特征在于，在所述第5医疗用 图像处理方法中，在所述凸起形状判定步骤中，将在规定的矢量大小以 内法线矢量彼此开始交叉、并且在该规定的矢量大小以内逆法线矢量的 交叉条数小于第2阈值的最初体素作为所述第2体素。本发明的第7医疗用图像处理方法的特征在于，在所述第6医疗用 图像处理方法中，所述第1阈值是与所述第2阈值相等的值。


图1是示出使用本发明的实施方式的医疗用图像处理装置的内窥镜 系统的整体结构的一例的图。图2是示出将图1的内窥镜插入管状器官内时的状态的示意图。图3是示出图1的医疗用图像处理装置在第1实施方式中进行处理 的步骤的流程图。图4是示出由图1的医疗用图像处理装置所估计的生物体组织的三 维模型的一例的图。图5是示出由图1的医疗用图像处理装置所估计的生物体组织的三维模型的、与图4不同的示例的图。图6是示出图4的三维模型中的各轨迹线的梯度变动的图。 图7是示出图5的三维模型中的各轨迹线的梯度变动的图。 图8是示出图1的医疗用图像处理装置在第2实施方式中进行的处理的步骤的流程图。图9是示意性地示出由图1的医疗用图像处理装置所估计的一个生物体组织的三维模型的剖面图。图10是示出图9中的法线矢量和逆法线矢量的图。
具体实施方式
下面，参照

本发明的实施方式。 (第1实施方式)图1至图7涉及本发明的第1实施方式。图1是示出使用本发明的 实施方式的医疗用图像处理装置的内窥镜系统的整体结构的一例的图。 图2是示出将图1的内窥镜插入管状器官内时的状态的示意图。图3是 示出图1的医疗用图像处理装置在第1实施方式中进行的处理的步骤的 流程图。图4是示出由图1的医疗用图像处理装置所估计的生物体组织 的三维模型的一例的图。图5是示出由图1的医疗用图像处理装置所估 计的生物体组织的三维模型的、与图4不同的示例的图。图6是示出图4 的三维模型中的各轨迹线的梯度变动的图。图7是示出图5的三维模型 中的各轨迹线的梯度变动的图。如图1所示，内窥镜系统1由以下主要部分构成医疗用观察装置2， 其对被摄体进行摄像，并且输出该被摄体的像的二维图像；医疗用图像 处理装置3，其由个人计算机等构成，对从医疗用观察装置2输出的二维 图像的影像信号进行图像处理，并且将进行该图像处理后的影像信号作 为图像信号输出；以及监视器4，其显示基于从医疗用图像处理装置3输 出的图像信号的图像。并且，医疗用观察装置2由以下主要部分构成内窥镜6，其被插入到体腔内，对该体腔内的被摄体进行摄像并将其作为摄像信号输出；光 源装置7，其提供照明光，该照明光用于对由内窥镜6所摄像的被摄体进 行照明；照相机控制单元(Camera Control Unit ;之后简称为CCU) 8， 其对内窥镜6进行各种控制，并且对从内窥镜6输出的摄像信号进行信 号处理，将其作为二维图像的影像信号输出；以及监视器9，其根据从 CCU 8输出的二维图像的影像信号，来图像显示由内窥镜6所摄像的被 摄体的像。内窥镜6构成为具有用于插入到体腔内的插入部11;以及设置在 插入部11的基端部上的操作部12。并且，在从插入部11内的基端侧到 插入部11内的前端侧的前端部14的部分中，贯穿有用于传送从光源装 置7提供的照明光的光导13。光导13的前端侧配置在内窥镜6的前端部14上，同时后端侧与光 源装置7连接。通过使光导13具有这样的结构，从光源装置7提供的照 明光在由光导13传送后，从设置在插入部11的前端部14的前端面上的 未图示的照明窗射出。而且，通过使照明光从未图示的照明窗射出，来 照明作为被摄体的生物体组织等。在内窥镜6的前端部14上设置有摄像部17，该摄像部17具有物 镜光学系统15，其安装在与未图示的照明窗邻接的未图示观察窗上；以 及例如由CCD (Charge Coupled Device:电荷耦合元件)等构成的摄像 元件16，其配置在物镜光学系统15的成像位置处。根据这种结构，由物 镜光学系统15所成的被摄体的像在通过摄像元件16摄像后，作为摄像 信号被输出。摄像元件16通过信号线与CCU 8连接。而且，摄像元件16根据从 CCU 8输出的驱动信号而驱动，并向CCU 8输出摄像信号。并且，在设置于CCU 8内部的未图示的信号处理电路中对输入到 CCU 8的摄像信号进行信号处理，由此将输入到CCU 8的摄像信号变换 为二维图像的影像信号并输出。从CCU 8输出的二维图像的影像信号被 输出给监视器9和医疗用图像处理装置3。由此，在监视器9上将基于从 CCU 8输出的影像信号的被摄体的像显示为二维图像。医疗用图像处理装置3具有图像输入部21，其对从医疗用观察装 置2输出的二维图像的影像信号进行A/D变换并输出；作为中央运算处理装置的CPU 22，其对从图像输入部21输出的影像信号进行图像处理；处理程序存储部23，其被写入与该图像处理相关的处理程序；图像存储部24，其存储从图像输入部21输出的影像信号等；以及信息存储部25， 其存储作为CPU22的图像处理结果的图像数据等。并且，医疗用图像处理装置3具有存储装置接口26;作为存储装 置的硬盘27，其通过存储装置接口 26存储作为CPU 22的图像处理结果 的图像数据等；显示处理部28，其根据作为CPU 22的图像处理结果的 图像数据，进行用于使该图像数据图像显示到监视器4上的显示处理， 并且将进行该显示处理后的图像数据作为图像信号输出；以及由键盘等 构成的操作部29，用户可以通过该操作部29输入CPU 22所进行的图像 处理中的参数和针对医疗用图像处理装置3的操作指示。而且，监视器4 显示基于从显示处理部28输出的图像信号的图像。另外，医疗用图像处理装置3的图像输入部21、 CPU22、处理程序 存储部223、图像存储部24、信息存储部25、存储装置接口 26、显示处 理部28以及输入操作部29彼此通过数据总线30连接。接下来，说明内窥镜系统l的作用。首先，如图2所示，例如用户将内窥镜6的插入部11插入大肠等管 状器官31内。而且，在用户将插入部11插入到管状器官31内后，通过 设置在前端部14的摄像部17来对例如存在于管状器官31的内壁上的生 物体组织31A和31B的像进行摄像。然后，由摄像部17所摄像的生物 体组织31A的31B的像被作为摄像信号输出给CCU 8。CCU 8通过在未图示的信号处理电路中对从摄像部17的摄像元件16 输出的摄像信号进行信号处理，来将该摄像信号变换为二维图像的影《象 信号并输出。然后，监视器9根据从CCU8输出的影像信号来将生物体 组织31A和31B的像显示为二维图像。并且，CCU 8将通过对从摄像部 17的摄像元件16输出的摄像信号进行信号处理而得到的二维图像的影〈象 信号输出给医疗用图像处理装置3。输出到医疗用图像处理装置3的二维图像的影像信号在图像输入部21中进行A/D变换后，被输入到CPU22。然后，作为三维模型估计部的CPU 22例如通过几何学的变换等处 理，并根据从图像输入部21输出的二维图像的影像信号的亮度信息等， 来估计具有生物体组织31A和31B的管状器官31的三维模型。进而，CPU22根据具有生物体组织31A和31B的管状器官31的三 维模型，通过进行后面叙述的那样的处理来检测生物体组织31A和3IB 的凸起形状，并且判断所检测到的该凸起形状是由何种生物体组织所引 起的。首先，CPU 22根据所估计的三维模型来获取管状器官31的三维模 型中的管腔的中心轴Lc (图3的步骤S1)。接着，作为体素检测部和凸起形状检测部的CPU 22检测所估计的三 维模型中存在的体素中的、相对于内窥镜6的视野方向存在于最近侧的 一个体素即z轴坐标为最小值Minz的一个体素Ps，并且获取包含该一个 体素Ps所具有的z轴坐标Minz的一个曲平面和该一个曲平面的基准线 L，其中，该z轴是与内窥镜6的视野方向大致平行的轴(图3的步骤S2)。之后，CPU 22将对基准线L进行了 N等分后的N个坐标分别设定 为基准点(图3的步骤S3)，并且判断获取到的基准线L是否是闭合曲 线。然后，在获取到的基准线L是闭合曲线的情况下(图3的步骤S4)， 例如如图4所示，CPU 22根据所设定的基准线L上的N个基准点来分别 设定与管腔的中心轴Lc平行的直线，作为包含一个体素Ps的一个曲平 面中的轨迹线(图3的步骤S5)。并且，在获取到的基准线L不是闭合曲线的情况下(图3的步骤S4)， 例如如图5所示，CPU22根据所设定的基准线L上的N个基准点来分别 设定呈放射线状(或者与管腔的中心轴Lc平行地)延伸的直线，作为包 含一个体素Ps的一个曲平面中的轨迹线(图3的步骤S6)。作为凸起形状检测部的CPU 22根据如上所述的通过进行图3的步骤 S5或步骤S6的处理而设定的各轨迹线，来描绘出存在于包含一个体素PS的一个曲平面中的该各轨迹线上的各体素，并根据该各体素所具有的亮度信息，依次计算轨迹方向上的梯度(亮度梯度)(图3的步骤S7)。然后，在将管腔的中心轴Lc设v轴的情况下，CPU22获取在管腔 的中心轴Lc方向的坐标v-k处产生梯度变动的轨迹线的条数M (k) (0 《M (k)《N的整数)(图3的步骤S8)。换言之，通过进行这样的处理， CPU 22检测在包含一个体素Ps的一个曲平面中产生梯度变动的位置。例如，在分别对图4所示的8个基准点设定轨迹线(图4中，N=8)， 并且将轨迹方向设为从视野方向的近侧到里侧的方向的情况下，CPU 22 将包含一个体素Ps的一个曲平面中的该各个轨迹线在v轴方向上的梯度 变动检测为图6所示的变动。并且，作为不同的示例，在分别对图5所 示的8个基准点设定轨迹线(图5中，N=8)，并且将轨迹方向设为从视 野方向的近侧到里侧的方向的情况下，CPU 22将包含一个体素Ps的一 个曲平面中的该各个轨迹线在v轴方向上的梯度变动检测为图7所示的 变动。然后，CPU22判断在M(k)的值是O的v-k的位置处不存在凸起 形状(图3的步骤S9和步骤S10)。进而，CPU22在M(k)的值大于等于l的v二k的各个位置处，对 该M (k)的值与阈值thp进行比较(图3的步骤S9和步骤S11)。之后，作为凸起形状检测部的CPU22在检测到M (k)的值小于等 于阈值thp时(图3的步骤S11)，判断为在提供该M (k)的值的v-k 的位置处存在作为在管状器官31的内壁上具有周部凸起形状的生物体组 织的病变部位(图3的步骤S12)。作为一例，使用图4和图6进行具体说明，CPU22判断为在M (c) =2的v=c的位置处存在如图4所示的生物体组织31A那样的、作为在 管状器官31的内壁上具有局部凸起形状的生物体组织的病变部位。并且， 作为不同的示例，使用图5和图7进行具体说明，CPU 22判断为在M(d) =2的v=d的位置处存在如图5所示的生物体组织31A那样的、作为在 管状器官31的内壁上具有局部凸起形状的生物体组织的病变部位。并且，CPU 22在检测到M (k)的值大于阈值thp时(图3的步骤Sll)，判断为在提供该M (k)的值的v=k的位置处存在作为沿管状器 官31的内壁全周具有凸起形状的生物体组织的大肠等的褶皱(图3的步 骤S13)。作为一例，使用图4和图6进行具体说明，CPU22判断为在M (a) =8的v = a和M (b) =8的v=b的位置处存在如图4所示的生物体组 织31B那样的、作为沿管状器官31的内壁全周具有凸起形状的生物体组 织的大肠等的褶皱。并且，作为不同的示例，使用图5和图7进行具体 说明，CPU22判断为在M (e) 二8的v-e的位置处存在如图5所示的 生物体组织31B那样的、作为沿管状器官31的内壁全周具有凸起形状的 生物体组织的大肠等的褶皱。而且，CPU 22除了上述处理之外，还对显示处理部28进行如下控 制，艮卩将用于表示例如图4或图5所示的生物体组织31A那样的、在 管状器官31的内壁上具有局部凸起形状的生物体组织所存在的位置的字 符串或着色等与三维模型重叠。由此，在监视器4上，在不会将生物体 组织31A那样的、作为在管状器官31的内壁上具有局部凸起形状的生物 体组织的病变部位与生物体组织3'1B那样的、作为沿管状器官31的内壁 全周具有凸起形状的生物体组织的大肠等的褶皱混同的情况下，来对能 够使用户容易地发现病变部位的、具有生物体组织31A和31B的管状器 官31的三维模型进行图像显示。并且，CPU 22也可以根据被判断为存在具有局部凸起形状的生物体 组织的各体素的位置，来检测与该各体素的位置对应的位置处所存在的 二维图像上的各体素，并且对显示处理部28进行如下控制，g卩将用于 表示生物体组织31A是凸起形状的字符串或着色等与具有该各体素的该 二维图像重叠。本实施方式的医疗用图像处理装置3通过进行以上所述的一系列的 处理，可以防止用户在使用被摄体的三位模型来进行观察时，漏掉对息 肉等病变部位的观察，从而能够减轻用户的负担。 (第2实施方式)图8至图10涉及本发明的第2实施方式。另外，省略对具有与第l实施方式相同结构的部分的详细说明。并且，对于与第1实施方式相同 的结构要素，使用相同的符号并省略其说明。并且，本实施方式所使用 的内窥镜系统1的结构与第1实施方式相同。图S是示出图1的医疗用图像处理装置在第2实施方式中进行的处 理的步骤的流程图。图9是示意性地示出由图1的医疗用图像处理装置 所估计的一个生物体组织的三维模型的剖面图。图10是示出图9中的法 线矢量和逆法线矢量的图。首先，作为边缘提取部的CPU22根据从图像输入部21输出的、对 管状器官31进行摄像而得到的二维图像的影像信号，对例如该二维图像 的红色成分应用带通滤波器，由此来提取该二维图像所包含的所有边缘 部。并且，CPU22使与被提取出了边缘部的体素组的位置相关的信息即 边缘信息暂时存储到信息存储部25中。然后，作为三维模型估计部的CPU 22例如利用几何学的变换等处 理，并根据从图像输入部21输出的二维图像的影像信号的亮度信息等， 来估计管状器官31的三维模型，并且根据存储在信息存储部25中的边 缘信息来检测在该三维模型中具有边缘部的一个体素组。进而，CPU 22 通过对所述一个体素组进行后面叙述的那样的处理，来判断根据所述一 个体素组而进行了三维模型化的一个生物体组织是否具有因病变而引起 的凸起形状。首先，作为矢量计算部的CPU 22对在管状器官31的三维模型中具 有边缘部的一个体素组进行检测，并且计算该体素组中的按照每隔规定 间隔而存在的各体素处的法线矢量和使该法线矢量的方向反转180度的 矢量即逆法线矢量(图8的步骤S21)。更具体地讲，例如在检测到具有 图9所示的剖面形状的生物体组织31C的三维模型的情况下，如图10所 示，计算按照每隔规定间隔而存在的各体素处的法线矢量和逆法线矢量。接着，作为凸起形状判定部的CPU22根据所述各体素所具有的法线 矢量和逆法线矢量，对在规定的矢量大小以内法线矢量彼此开始不交叉、 并且在该规定的矢量大小以内逆法线矢量的交叉条数大于等于阈值thvl 的最初体素即例如图IO中所示的体素S进行检测，并将其作为成为凸起开始位置的体素(图8的步骤S22)。并且，作为凸起形状判定部的CPU 22根据所述各体素所具有的法线矢量和逆法线矢量，对在规定的矢量大 小以内法线矢量彼此开始交叉、并且在该规定的矢量大小以内逆法线矢 量的交叉条数小于阈值thv2的最初体素即例如图10中所示的体素T进 行检测，并将其作为成为凸起结束位置的体素(图8的步骤S23)。另外，在本实施方式中，阈值thvl于阈值thv2可以是各自不同的值， 或者，也可以是相等的值。之后，作为凸起形状判定部的CPU 22判断在生物体31C的三维模 型中是否检测到体素S和体素T这两个体素。然后，在检测到体素S和 体素T这两个体素的双方的情况下(图8的步骤S24)， CPU 22进一步计 算体素S和体素T之间的距离La(图8的步骤S25)。并且，在没有检测 到体素S和体素T这两个体素中的任一方或者双方的情况下(图8的步 骤S24)， CPU 22判断为被三维模型化成具有边缘部的一个体素组的生物 体组织31C不是具有因病变而引起的局部凸起形状的生物体组织，而例 如是具有存在于管状器官31内的阶差等形状的部位，或者是沿着管状器 官31的内壁全周具有凸起形状的褶皱等生物体组织(图8的步骤S28)， 从而结束一系列的处理。进而，作为病变判定部的CPU 22对所计算出的体素S和体素T之 间的距离La和阈值thLa进行比较。然后，作为病变判定部的CPU22在 检测到体素S和体素T之间的距离La小于等于阈值thLa的情况时，判 断为被三维模型化成具有边缘部的一个体素组的生物体组织31C是具有 因病变而引起的局部凸起形状的生物体组织(图8的步骤S27)，从而结 束一系列的处理。并且，CPU 22在检测到体素S和体素T之间的距离 La大于阈值thLa的情况时，判断为被三维模型化成具有边缘部的一个体 素组的生物体组织31C不是具有因病变而引起的局部凸起形状的生物体 组织，而例如是具有存在于管状器官31内的阶差等形状的部位，或者是 沿着管状器官31的内壁全周具有凸起形状的褶皱等生物体组织(图8的 步骤S28)，从而结束一系列的处理。而且，CPU 22除了上述处理之外，还对显示处理部28进行如下控制，即将用于表示具有因病变引起的凸起形状的生物体组织31C所存 在的位置的字符串或着色等与该三维模型重叠。由此，在监视器4上， 在不会将因病变而引起的凸起形状与具有阶差等形状的部位或褶皱等生 物体组织混同的情况下，来对能够使用户容易地发现因病变引起的凸起形状的、具有生物体组织31C的管状器官31的三维模型进行图像显示。 并且，CPU22也可以根据被判断为存在具有局部凸起形状的生物体 组织的各体素的位置，来检测与该各体素的位置对应的位置处所存在的 二维图像上的各体素，并且对显示处理部28进行如下控制，即将用于 表示生物体组织31A是凸起形状的字符串或着色等与具有该各体素的该 二维图像重叠。本实施方式的医疗用图像处理装置3通过进行以上所述的一系列的 处理，可以防止用户在使用被摄体的三维模型来进行观察时，漏掉对息 肉等病变部位的观察，从而能够减轻用户的负担。另外，在本实施方式中，CPU22所进行的一系列的处理不限于应用 于管状器官31的三维模型，例如，也可以应用于管状器官31的二维图 像。另外，本发明并不限定为上述各实施方式，显然，在不脱离发明的 主旨的范围内，可以进行各种变更和应用。本申请以2006年3月28日在日本申请的特愿2006—89118号作为 优先权主张的基础，上述公开内容被引用到本申请的说明书、权利要求 书以及附图中。
权利要求
1.一种医疗用图像处理装置，其特征在于，该医疗用图像处理装置具有三维模型估计部，其根据从医疗用摄像装置输入的体腔内的生物体组织的像的二维图像，来估计该生物体组织的三维模型；体素检测部，其检测所述三维模型所具有的体素中的、相对于所述医疗用摄像装置的视野方向存在于最近侧的一个体素；以及凸起形状检测部，其获取包含所述一个体素的一个曲平面，检测在该一个曲平面中产生梯度变动的位置，并且判断在所述三维模型中的该位置处是否存在具有局部凸起形状的生物体组织。
2. 根据权利要求l所述的医疗用图像处理装置，其特征在于，所述凸起形状检测部沿着被设定为与规定的轴方向平行的多条轨迹线来描绘 所述一个曲平面，并且当在所述规定的轴方向上的一个位置处检测到所 述多条轨迹线中产生亮度梯度变动的轨迹线的数量大于等于1且小于等 于规定的阈值时，判断为在所述一个位置处存在具有所述局部凸起形状 的生物体组织。
3. 根据权利要求2所述的医疗用图像处理装置，其特征在于，所述 规定的轴方向是所述体腔内的管腔的中心轴方向。
4. 一种医疗用图像处理装置，其特征在于，该医疗用图像处理装置具有边缘提取部，其根据被输入的体腔内的生物体组织的像的二维图像，来提取该二维图像的边缘；三维模型估计部，其根据所述二维图像，来估计所述生物体组织的 三维模型；矢量计算部，其检测被估计为所述三维模型的一部分的、具有所述 边缘的一个体素组，并且在该一个体素组中的按照每隔规定间隔而存在 的各体素处计算法线矢量和使该法线矢量的方向反转180度的矢量即逆 法线矢量；凸起形状判定部，其根据所述法线矢量彼此的交叉状态和所述逆法 线矢量彼此的交叉状态，来检测成为凸起开始位置的第1体素和成为凸起结束位置的第2体素，由此判断被估计为所述一个体素组的生物体组 织是否是具有局部凸起形状的生物体组织；以及病变判定部，其计算所述第1体素和所述第2体素之间的距离，并 且在该距离小于等于规定的距离时，将被估计为所述一个体素组的生物 体组织判断为是具有因病变而引起的局部凸起形状的生物体组织。
5. 根据权利要求4所述的医疗用图像处理装置，其特征在于，所述 凸起形状判定部将在规定的矢量大小以内法线矢量彼此开始不交叉、并 且在该规定的矢量大小以内逆法线矢量的交叉条数大于等于第1阈值的 最初体素作为所述第1体素。
6. 根据权利要求5所述的医疗用图像处理装置，其特征在于，所述 凸起形状判定部将在规定的矢量大小以内法线矢量彼此开始交叉、并且 在该规定的矢量大小以内逆法线矢量的交叉条数小于第2阈值的最初体 素作为所述第2体素。
7. 根据权利要求6所述的医疗用图像处理装置，其特征在于，所述 第1阈值是与所述第2阈值相等的值。
8. —种医疗用图像处理方法，其特征在于，该医疗用图像处理方法 具有以下步骤三维模型估计步骤，在该步骤中，根据从医疗用摄像装置输入的体 腔内的生物体组织的像的二维图像，来估计该生物体组织的三维模型；体素检测步骤，在该步骤中，检测所述三维模型所具有的体素中的、 相对于所述医疗用摄像装置的视野方向存在于最近侧的一个体素；以及凸起形状检测步骤，在该步骤中，获取包含所述一个体素的一个曲 平面，检测在该一个曲平面中产生梯度变动的位置，并且判断在所述三 维模型中的该位置处是否存在具有局部凸起形状的生物体组织。
9. 根据权利要求8所述的医疗用图像处理方法，其特征在于，在所 述凸起形状检测步骤中，沿着被设定为与规定的轴方向平行的多条轨迹 线来描绘所述一个曲平面，并且当在所述规定的轴方向上的一个位置处检测到所述多条轨迹线中产生亮度梯度变动的轨迹线的数量大于等于1 且小于等于规定的阈值时，判断为在所述一个位置处存在具有所述局部 凸起形状的生物体组织。
10. 根据权利要求9所述的医疗用图像处理方法，其特征在于，所 述规定的轴方向是所述体腔内的管腔的中心轴方向。
11. 一种医疗用图像处理方法，其特征在于，该医疗用图像处理方法具有以下步骤边缘提取步骤，在该步骤中，根据被输入的体腔内的生物体组织的 像的二维图像，来提取该二维图像的边缘；三维模型估计步骤，在该步骤中，根据所述二维图像，来估计所述 生物体组织的三维模型；矢量计算步骤，在该步骤中，检测被估计为所述三维模型的一部分 的、具有所述边缘的一个体素组，并且在该一个体素组中的按照每隔规 定间隔而存在的各体素处计算法线矢量和使该法线矢量的方向反转180 度的矢量即逆法线矢量；凸起形状判定步骤，在该步骤中，根据所述法线矢量彼此的交叉状 态和所述逆法线矢量彼此的交叉状态，来检测成为凸起开始位置的第1 体素和成为凸起结束位置的第2体素，由此判断被估计为所述一个体素 组的生物体组织是否是具有局部凸起形状的生物体组织；以及病变判定步骤，在该步骤中，计算所述第1体素和所述第2体素之 间的距离，并且在该距离小于等于规定的距离时，将被估计为所述一个 体素组的生物体组织判断为是具有因病变而引起的局部凸起形状的生物 体组织。
12. 根据权利要求ll所述的医疗用图像处理方法，其特征在于，在 所述凸起形状判定步骤中，将在规定的矢量大小以内法线矢量彼此开始 不交叉、并且在该规定的矢量大小以内逆法线矢量的交叉条数大于等于 第1阈值的最初体素作为所述第1体素。
13. 根据权利要求12所述的医疗用图像处理方法，其特征在于，在 所述凸起形状判定步骤中，将在规定的矢量大小以内法线矢量彼此开始交叉、并且在该规定的矢量大小以内逆法线矢量的交叉条数小于第2阈值的最初体素作为所述第2体素。
14.根据权利要求13所述的医疗用图像处理方法，其特征在于，所 述第1阈值是与所述第2阈值相等的值。
全文摘要
本发明的医疗用图像处理装置具有三维模型估计部，其根据从医疗用摄像装置输入的体腔内的生物体组织的像的二维图像，来估计该生物体组织的三维模型；体素检测部，其检测所述三维模型所具有的体素中的、相对于所述医疗用摄像装置的视野方向存在于最近侧的一个体素；以及凸起形状检测部，其获取包含所述一个体素的一个曲平面，检测在该一个曲平面中产生梯度变动的位置，并且判断在所述三维模型中的该位置处是否存在具有局部凸起形状的生物体组织。
文档编号G06T1/00GK101404924SQ20078000986
公开日2009年4月8日 申请日期2007年2月9日 优先权日2006年3月28日
发明者中村健次, 井上凉子, 沢美穗, 田中秀树, 西村博一 申请人:奥林巴斯医疗株式会社