医疗用图像处理装置以及医疗用图像处理方法

专利名称：医疗用图像处理装置以及医疗用图像处理方法
技术领域：
本发明涉及医疗用图像处理装置以及医疗用图像处理方法，尤其是 涉及根据活体组织的像的二维图像，估计该活体组织的三维模型的医疗 用图像处理装置以及医疗用图像处理方法。
背景技术：
以往，在医疗领域中，使用X线诊断装置、CT、 MRI、超声波观测 装置以及内窥镜装置等图像摄像设备的观察被广泛进行。这种图像摄像 设备中的内窥镜装置例如具有以下的作用和结构具有能够插入到体腔 内的插入部，通过固体摄像元件等摄像单元拍摄由配置在该插入部的前 端部的物镜光学系统所成像的体腔内的像，并将其作为摄像信号进行输 出，根据该摄像信号在监视器等显示单元上显示体腔内的像的图像。而 且，用户根据显示在监视器等显示单元上的体腔内的像的图像，例如对 体腔内的脏器等进行观察。
内窥镜系统能够直接拍摄消化道粘膜的像。因此，用户能够综合观 察例如粘膜的色调、病变的形状和粘膜表面的细微构造等。此外，近些 年来，提出了能够根据与所拍摄的体腔内的像对应的二维图像的数据， 估计该体腔内的像的三维模型的内窥镜装置。
并且，作为能通过内窥镜装置检测存在着具有局部隆起形状的病变 的预定图像的图像处理方法，例如通过使用日本特开2005-192880号公报 中所记载的图像处理方法，还能够检测包括息肉等病变部位的图像。
但是，对于通过内窥镜拍摄的作为具有隆起形状的活体组织的像的、 例如包含大肠的褶皱或者息肉等活体组织的像在内的二维图像，大多在 该内窥镜的视野方向上包括不可视区域。而且，所述二维图像中的不可 视区域一般被称作遮挡(Occlusion)。日本特开2005-192880号公报的图像处理方法在作为根据由内窥镜 取得的二维图像来估计三维模型时的处理而使用的情况下，由于根据存 在于所述遮挡的部分上的、可靠性较低的三维数据来进行估计，从而具 有隆起形状的检测效率下降的问题- 。

发明内容
鉴于上述方面，本发明的目的在于提供一种在根据由内窥镜取得的 二维图像估计三维模型时，与以往相比能够使隆起形状的检测效率提高 的医疗用图像处理装置以及医疗用图像处理方法。
根据本发明中第一方式的医疗用图像处理装置，其特征在于，该医 疗用图像处理装置具有边缘提取部，其根据从医疗用摄像装置输入的 活体组织的像的二维图像，提取该二维图像的边缘；三维模型估计部， 其根据所述二维图像来估计所述活体组织的三维模型；局部区域设定部， 其在所述二维图像中设定以关注像素为中心的局部区域；判定部，其判 定所述局部区域是否被在所述边缘提取部中提取出的边缘的至少一部分 分割；形状特征量计算部，其根据所述判定部的判定结果，使用三维坐 标数据来计算所述关注像素的形状特征量，该三维坐标数据与所述局部 区域中没有被在所述边缘提取部中提取出的边缘分割的区域且存在所述 关注像素的区域对应；以及隆起形状检测部，其根据所述形状特征量计 算部的计算结果来检测隆起形状。
根据本发明中第二方式的医疗用图像处理装置，其特征在于，在所 述第一方式的医疗用图像处理装置中，作为用于判定所述局部区域是否 被在所述边缘提取部中提取出的边缘的至少一部分分割的处理，所述判 定部进行对存在于所述局部区域内的边缘的各端部是否与所述局部区域 的任意一个端部接触进行检测的处理。
根据本发明中第三方式的医疗用图像处理装置，其特征在于，该医 疗用图像处理装置具有三维模型估计部，其根据从医疗用摄像装置输 入的活体组织的像的二维图像，估计所述活体组织的三维模型；局部区 域设定部，其在所述三维模型中设定以关注体素为中心的局部区域；判定部，其判定所述局部区域中所包含的三维坐标数据的数是否比预定的
阈值多；形状特征量计算部，其根据所述判定部的判定结果，在所述局 部区域中所包含的三维坐标数据的数比预定的阈值多的情况下，使用所 述局部区域中所包含的三维坐标数据，计算所述关注体素中的形状特征 量；以及隆起形状检测部，其根据所述形状特征量计算部的计算结果来 检测隆起形状。
根据本发明中第四方式的医疗用图像处理装置，其特征在于，在所 述第三方式的医疗用图像处理装置中，该医疗用图像处理装置还具有提 取所述二维图像的边缘的边缘提取部，所述局部区域设定部根据所述边 缘提取部的边缘提取结果，判定所述关注体素是否是与所述二维图像的 边缘对应的体素，并且根据该判定的结果来变更所述局部区域的尺寸。
根据本发明中第五方式的医疗用图像处理装置，其特征在于，在所 述第四方式的医疗用图像处理装置中，在所述关注体素不是与所述二维 图像的边缘对应的体素的情况下，所述局部区域设定部将所述局部区域 的尺寸设定为第一尺寸，并且在所述关注体素是与所述二维图像的边缘 对应的体素的情况下，所述局部区域设定部将所述局部区域的尺寸设定 为比该第一尺寸小的第二尺寸。
根据本发明中第六方式的医疗用图像处理装置，其特征在于，该医 疗用图像处理装置具有边缘提取部，其根据从医疗用摄像装置输入的 活体组织的像的二维图像，提取该二维图像的边缘；三维模型估计部， 其根据所述二维图像来估计所述活体组织的三维模型；形状特征量计算 部，其根据与所述二维图像的一个边缘对应的部分的三维坐标数据，计 算所述三维模型中的该一个边缘的曲率，将该曲率作为形状特征量；以 及隆起形状检测部，其根据所述形状特征量计算部的计算结果来检测隆
起形状o
根据本发明中第一方式的医疗用图像处理方法，其特征在于，该医
疗用图像处理方法具有边缘提取步骤，根据从医疗用摄像装置输入的 活体组织的像的二维图像，提取该二维图像的边缘；三维模型估计步骤， 根据所述二维图像来估计所述活体组织的三维模型；局部区域设定步骤，在所述二维图像中设定以关注像素为中心的局部区域；判定步骤，判定 所述局部区域是否被在所述边缘提取步骤中提取出的边缘的至少一部分 分割，.形状特征量计算步骤，根据所述判定步骤的判定结果，使用三维 坐标数据来计算所述关注像素的形状特征量，该三维坐标数据与所述局 部区域中没有被在所述边缘提取步骤中提取出的边缘分割的区域且存在 所述关注像素的区域对应；以及隆起形状检测步骤，根据所述形状特征 量计算步骤的计算结果来检测隆起形状。
根据本发明中第二方式的医疗用图像处理方法，其特征在于，在所 述第一方式的医疗用图像处理方法中，在所述判定步骤中，作为用于判 定所述局部区域是否被在所述边缘提取步骤中提取出的边缘的至少一部 分分割的处理，进行对存在于所述局部区域内的边缘的各端部是否与所 述局部区域的任意一个端部接触进行检测的处理。
根据本发明中第三方式的医疗用图像处理方法，其特征在于，该医 疗用图像处理方法具有三维模型估计步骤，根据从医疗用摄像装置输 入的活体组织的像的二维图像，估计所述活体组织的三维模型；局部区 域设定步骤，在所述三维模型中设定以关注体素为中心的局部区域；判 定步骤，判定所述局部区域中所包含的三维坐标数据的数是否比预定的 阈值多；形状特征量计算步骤，根据所述判定步骤的判定结果，在所述 局部区域中所包含的三维坐标数据的数比预定的阈值多的情况下，使用 所述局部区域中所包含的三维坐标数据，计算所述关注体素中的形状特 征量；以及隆起形状检测步骤，根据所述形状特征量计算步骤的计算结 果来检测隆起形状。
根据本发明中第四方式的医疗用图像处理方法，其特征在于，在所 述第三方式的医疗用图像处理方法中，该医疗用图像处理方法还具有提 取所述二维图像的边缘的边缘提取步骤，在所述局部区域设定步骤中， 根据所述边缘提取步骤的边缘提取结果，判定所述关注体素是否是与所 述二维图像的边缘对应的体素，并且根据该判定的结果来变更所述局部 区域的尺寸。
根据本发明中第五方式的医疗用图像处理方法，其特征在于，在所述第四方式的医疗用图像处理方法中，在所述局部区域设定步骤中，在 所述关注体素不是与所述二维图像的边缘对应的体素的情况下，将所述 局部区域的尺寸设定为第一尺寸，并且在所述关注体素是与所述二维图 像的边缘对应的体素的情况下，将所述局部区域的尺寸设定为比该第一 尺寸小的第二尺寸。
根据本发明中第六方式的医疗用图像处理方法，其特征在于，该医 疗用图像处理方法具有边缘提取步骤，根据从医疗用摄像装置输入的 活体组织的像的二维图像，提取该二维图像的边缘；三维模型估计步骤， 根据所述二维图像来估计所述活体组织的三维模型；形状特征量计算步 骤，根据与所述二维图像的一个边缘对应的部分的三维坐标数据，计算 所述三维模型中的该一个边缘的曲率，将该曲率作为形状特征量；以及 隆起形状检测步骤，根据所述形状特征量计算步骤的计算结果来检测隆 起形状。


图1是表示应用了本发明实施方式所涉及的医疗用图像处理装置的 内窥镜系统的整体结构的一个例子的图。
图2是表示图1的医疗用图像处理装置在第一实施方式中执行的处 理步骤的一个例子的流程图。
图3是表示通过图1的医疗用图像处理装置取得的边缘图像的一个 例子的图。
图4是图3的边缘图像中的一个局部区域的放大图。
图5是表示针对图4的一个局部区域实施了标示时的状态的示意图。
图6是表示如图5所示实施了标示的各区域与三维模型中存在上述
各区域的三维坐标数据的部分之间的对应关系的图。
图7是表示图1的医疗用图像处理装置在第二实施方式中执行的处
理步骤的一个例子的流程图。
图8是表示图1的医疗用图像处理装置在第二实施方式中执行的处
理步骤且与图7不同的例子的流程图。图9是表示图1的医疗用图像处理装置在第三实施方式中执行的处 理步骤的一个例子的流程图。
具体实施方式
(第一实施方式)
图1到图6涉及本发明的第一实施方式。图1是表示应用了本发明 实施方式所涉及的医疗用图像处理装置的内窥镜系统的整体结构的一个 例子的图。图2是表示图1的医疗用图像处理装置在第一实施方式中执 行的处理步骤的一个例子的流程图。图3是表示通过图1的医疗用图像 处理装置取得的边缘图像的一个例子的图。图4是图3的边缘图像中的 一个局部区域的放大图。图5是表示针对图4的一个局部区域实施了标 示时的状态的示意图。图6是表示如图5所示实施了标示的各区域与三 维模型中存在上述各区域的三维坐标数据的部分之间的对应关系的图。
如图1所示，内窥镜系统1的主要部分构成为具有医疗用观察装 置2，其拍摄被摄体，并且输出该被摄体的像的二维图像；由个人计算机 等构成的医疗用图像处理装置3，其对从医疗用观察装置2输出的二维图 像的影像信号进行图像处理，并且将进行了该图像处理之后的影像信号 作为图像信号输出；以及监视器4，其显示基于从医疗用图像处理装置3 输出的图像信号的图像。
另外，医疗用观察装置2的主要部分构成为具有内窥镜6，其插入 到体腔内，并且拍摄该体腔内的被摄体，作为摄像信号进行输出；光源 装置7，其提供用于照明通过内窥镜6拍摄的被摄体的照明光；照相机控 制单元(以下简称为CCU) 8，其对内窥镜6进行各种控制，并且对从内 窥镜6输出的摄像信号进行信号处理，作为二维图像的影像信号进行输 出；以及监视器9，其根据从CCU 8输出的二维图像的影像信号，对通 过内窥镜6拍摄的被摄体的像进行图像显示。
内窥镜6构成为具有插入到体腔内的插入部11和设置在插入部11 的基端侧的操作部12。另外，在从插入部11内的基端侧到插入部11内 的前端侧的前端部14的部分上，插入贯穿(插穿)有用于传送从光源装
ii置7提供的照明光的光导13。
光导13的前端侧配置在内窥镜6的前端部14上，并且后端侧与光 源装置7相连接。由于光导13具有这种结构，因此从光源装置7提供来 的照明光通过光导13传送之后，从设于插入部11的前端部14的前端面 上的未图示的照明窗射出。而且，通过从未图示的照明窗射出照明光， 来照明作为被摄体的活体组织等。
在内窥镜6的前端部14设有摄像部17，该摄像部17具有物镜光 学系统15，其安装在与未图示的照明窗相邻的未图示的观察窗上；以及 例如由CCD (电荷耦合元件)等构成的摄像元件16，其配置在物镜光学 系统15的成像位置上。根据这种结构，通过物镜光学系统15成像的被 摄体的像在通过摄像元件16进行拍摄之后，作为摄像信号被输出。
摄像元件16经由信号线与CCU 8相连接。而且，摄像元件16根据 从CCU 8输出的驱动信号进行驱动，并对CCU 8输出摄像信号。
另外，输入到CCU8的摄像信号在设置于CCU 8内部的未图示的信 号处理电路中进行信号处理，由此转换为二维图像的影像信号被输出。 从CCU 8输出的二维图像的影像信号被输出到监视器9和医疗用图像处 理装置3。由此，在监视器9上将基于从CCU 8输出的影像信号的被摄 体的像显示为二维图像。
医疗用图像处理装置3具有图像输入部21，其对从医疗用观察装 置2输出的二维图像的影像信号进行A/D转换并输出；作为中央运算处 理装置的CPU 22，其对从图像输入部21输出的影像信号进行图像处理； 处理程序存储部23，其被写入了与该图像处理有关的处理程序；图像存 储部24，其存储从图像输入部21输出的影像信号等；以及信息存储部 25，其存储作为CPU22的图像处理结果的图像数据等。
另外，医疗用图像处理装置3具有存储装置接口26;作为存储装 置的硬盘27，其经由存储装置接口 26存储作为CPU22的图像处理结果 的图像数据等；显示处理部28，其根据作为CPU 22的图像处理结果的 图像数据，进行用于在监视器4上对该图像数据进行图像显示的显示处 理，并且将进行了该显示处理后的图像数据作为图像信号输出；以及由键盘等构成的输入操作部29，其能通过用户输入CPU 22进行的图像处 理中的参数和对医疗用图像处理装置3的操作指示。而且，监视器4显 示基于从显示处理部28输出的图像信号的图像。
并且，医疗用图像处理装置3的图像输入部21、 CPU22、处理程序 存储部23、图像存储部24、信息存储部25、存储装置接口26、显示处 理部28和输入操作部29经由数据总线30而彼此连接。
下面，对内窥镜系统1的作用进行说明。
首先，用户将内窥镜6的插入部11插入到体腔内。而且，当由用户 将插入部11插入到体腔内时，通过设置于前端部14的摄像部17拍摄作 为被摄体的活体组织的像。然后，将通过摄像部17拍摄的活体组织的像 作为摄像信号输出到CCU8。
CCU 8在未图示的信号处理电路中，对从摄像部17的摄像元件16 输出的摄像信号进行信号处理，由此将该摄像信号转换为二维图像的影 像信号并输出。而且，监视器9根据从CCU8输出的影像信号，将活体 组织的像显示成二维图像。另外，CCU8将通过对从摄像部17的摄像元 件16输出的摄像信号进行信号处理而得到的二维图像的影像信号输出到 医疗用图像处理装置3。
此外，输出到医疗用图像处理装置3的二维图像的影像信号在图像 输入部21中进行了 A/D转换之后，被输入到CPU 22。
CPU 22针对从图像输入部21输出的二维图像实施基于相邻像素间 的深浅等级之比的边缘提取处理(图2的步骤S1)。通过该处理，CPU22 取得例如图3所示的图像来作为与所述二维图像对应的边缘图像。
此外，所述边缘提取处理不限于基于相邻像素间的深浅等级之比的 处理，也可以是例如使用与所述二维图像的红色分量对应的带通滤波器 来进行的处理等。
接着，CPU 22根据从图像输入部21输出的二维图像，通过使用例 如从明暗恢复形状(ShapeFrom Shading)法等，实施基于该二维图像的 亮度信息等的几何学中的转换等处理，从而进行与该二维图像的各像素 对应的三维坐标数据的估计(图2的步骤S2)。此外，在本实施方式中，将从图像输入部21输出的二维图像设为 ISXxISY尺寸的图像，即该图像在水平方向上具有ISX个像素，在垂 直方向上具有ISY个像素。
CPU 22在将边缘图像内的各像素中的关注像素k设定为1 (图2的 步骤S3)后，在该边缘图像内，设定以该关注像素k为中心的NxN (例 如15x15)尺寸的局部区域Rk (图2的步骤S4)。另外，将关注像素k 设为通过l^k芸ISXxISY确定的变量。此外，将所述N的值设为不超过 二维图像中的水平方向上的像素数ISX以及该二维图像中的垂直方向上 的像素数ISY的各值中的任意一个的值。
通过图2的步骤S4的处理，CPU 22在例如图3和图4所示那样设 定了局部区域Rk后，进行在该局部区域Rk内是否存在边缘的判定(图 2的步骤S5)。并且，CPU22在检测出在局部区域Rk内存在边缘时，进 一步进行如下判定该局部区域Rk是否被该边缘分割(图2的步骤S6)。
CPU 22在图2的步骤S5的处理中检测出在局部区域Rk内不存在边 缘时，进行后述的图2的步骤S8的处理。此外，CPU22在图2的步骤 S6的处理中检测出该局部区域Rk没有被局部区域Rk内的边缘分割时， 进行后述的图2的步骤S8的处理。
CPU 22在图2的步骤S6的处理中，通过检测存在于局部区域Rk内 的边缘的各端部是否与该局部区域Rk的任意一个端部接触，进行是否分 割了该局部区域Rk的判定。
具体而言，CPU 22例如在图5所示的局部区域Rk中，检测出边缘 Ek的两端分别与该局部区域Rk的端部接触，并且根据该检测出的结果， 判定为该局部区域Rk被分割为2个。
CPU 22在图2的步骤S6的处理中，检测出该局部区域Rk被存在于 局部区域Rk内的边缘分割时，对通过该边缘所分割的(局部区域Rk内 的)各区域进行标示(图2的步骤S7)。
具体而言，CPU22例如在图5所示的局部区域Rk中，隔着边缘Ek 将左侧的区域设定为标记(label:标签)1，并且，隔着边缘Ek将右侧 的区域设定为标记2。在根据二维图像进行三维模型的估计时，将在局部区域Rk内由边缘 Ek分割的各区域估计为隔着该边缘Ek存在于各个不连续的面上的三维 坐标数据。CPU 22根据通过进行作为图2的步骤S7的处理所示出的标 记而取得的、存在于上述不连续的面上的三维坐标数据，检测在三维模 型内是否产生了遮挡(occlusion)。并且，CPU22例如按照图6所示那样， 采用使图5的设定为标记1的部分相当于边缘的上侧涉及遮挡的部分的 三维坐标数据，来进行三维模型的估计。此外，CPU22例如按照图6所 示那样，采用使图5的设定为标记2的部分相当于边缘的左侧涉及遮挡 的部分的三维坐标数据，来进行三维模型的估计。
此夕卜，CPU22在图2的步骤S5的处理中检测出在局部区域Rk内不 存在边缘时，或者在图2的步骤S6的处理中检测出该局部区域Rk没有 被局部区域Rk内的边缘分割的任意一种情况下，将局部区域Rk整个区 域设为l个标记(图2的步骤S8)。
其后，CPU 22使用局部区域Rk中的、与关注像素k所属的标记相 同的标记的区域内的各像素的三维坐标数据，取得曲面方程式(图2的 步骤S9)。
具体而言，例如在图5所示的局部区域Rk中，CPU22使用关注像 素k所属的标记2的区域内的像素的三维坐标数据，取得曲面方程式。 并且，CPU 22在图2的步骤S8的处理中将局部区域Rk的整个区域设为 1个标记的情况下，使用存在于局部区域Rk的整个区域内的各像素的三 维坐标数据，取得曲面方程式。
CPU 22根据在图2的步骤S9的处理中取得的曲面方程式，计算关 注像素k中的形状特征量(图2的步骤S10)。另外，在本实施方式中， CPU22分别计算形状指标(Shapelndex)值和曲率(Curvedness)值，将 其作为所述形状特征量。此外，能使用与例如美国专利申请公开号为 No.20030223627所记载的方法相同的方法，根据曲面方程式计算出所述 的形状指标值和曲率值。因此，在本实施方式的说明中，省略与形状指 标值及曲率值的计算方法相关的说明。
此外，CPU 22通过进行图2的步骤S9和步骤S10的处理，能够不使用与三维模型中的遮挡相当的部分的数据、即估计结果可靠性相对较 低的三维坐标数据，而使用估计结果的可靠性相对较高的三维坐标数据， 精度良好地计算出关注像素k中的形状特征量。
CPU 22在图2的步骤S10的处理中计算出关注像素k的形状特征量 后，进行该关注像素k的值是否是ISXxISY的判定(图2的步骤S11)。 并且，在关注像素k的值是ISXxISY的情况下，CPU 22继续进行后述图 2的步骤S13的处理。此夕卜，在关注像素k的值不是ISXxISY的情况下， CPU 22将关注像素k的值设为k+l (图2的步骤S12)，然后再次进行 上述的图2的步骤S4到步骤Sll的一系列处理。
CPU 22在图2的步骤Sll的处理中完成了边缘图像内的各像素的形 状特征量的计算后，还通过进行基于计算出的各个形状特征量的阈值处 理，检测三维模型内的隆起形状(图2的步骤S13)。
具体而言，例如在将形状指标值的阈值Sth设定为0.9，并且将曲率 值的阈值Cth设定为0.2的情况下，CPU 22检测具有比该阈值Sth大并 且比该阈值Cth大的形状特征量的三维坐标数据组，将其作为(起因于 息肉等病变的、局部的)隆起形状。
此外，针对用户，隆起形状的检测结果例如可以通过显示在监视器4 上的二维图像(或三维模型)的对应部分的着色来表示，并且，还可以 通过指示显示在监视器4上的二维图像(或三维模型)的对应部分的记 号和(或)字符来表示。
如上所述，本实施方式的医疗用图像处理装置3在作为图2所示的 处理的上述一系列处理中，仅使用估计结果的可靠性相对较高的三维坐 标数据进行形状特征量的计算。其结果，本实施方式的医疗用图像处理 装置3在根据由内窥镜取得的二维图像估计三维模型时，与以往相比能 够使隆起形状的检测效率提高。 (第二实施方式)
图7和图8涉及本发明的第二实施方式。图7是表示图1的医疗用 图像处理装置在第二实施方式中进行的处理步骤的一个例子的流程图。 图8是表示图1的医疗用图像处理装置在第二实施方式中进行的处理步骤且与图7不同的例子的流程图。
另外，对具有与第一实施方式相同结构的部分，省略详细说明。此
外，本实施方式所使用的内窥镜系统l的结构与第一实施方式相同。
接着，对在医疗用图像处理装置3中进行的图像处理动作进行说明。 CPU 22根据从图像输入部21输出的二维图像，使用例如从明暗恢
复形状法等，实施基于该二维图像的亮度信息等的几何学中的转换等处
理，从而进行与该二维图像的各像素对应的三维坐标数据的估计(图7
的步骤S101)。
之后，CPU 22根据在图7的步骤S101的处理中估计出的各三维坐 标数据，例如通过分别计算x坐标的最大值和最小值之差、y坐标的最大 值和最小值之差以及z坐标的最大值和最小值之差，取得三维模型的尺 寸(图7的步骤S102)。
另外，本实施方式的CPU22在图7的步骤S102的处理中，通过分 别检测出在x轴方向(水平方向)上存在TDX个体素、在y轴方向(深 度方向)上存在TDY个体素、以及在z轴方向(高度方向)上存在TDZ 个体素，取得TDXxTDYxTDZ来作为三维模型的尺寸。
CPU 22在将三维模型内的各体素中的关注体素b设定为1 (图7的 步骤S103)后，在该三维模型内，设定以该关注体素b为中心的PxPxP (例如15x15x15)尺寸的局部立体区域Db (图7的步骤S104)。另夕卜， 将关注体素b设为通过l^b^TDXxTOYxTDZ确定的变量。此外，将上 述P的值设为不超过三维模型中的x轴方向上的体素数TDX、该三维模 型中的y轴方向上的体素数TDY以及该三维模型中的z轴方向上的体素 数TDZ的各值的任意一个的值。
此外，CPU 22在检测出存在于局部立体区域Db内的体素的个数Q (图7的步骤S105)后，对该体素的个数Q的值和通过(Pxp) /2的运 算所计算出的值进行比较(图7的步骤S106)。
CPU22在检测出体素的个数Q的值比通过(PxP) /2的运算所计算 出的值大的情况下，进一步使用存在于局部立体区域Db内的各体素的三 维坐标数据，进行取得曲面方程式的处理(图7的步骤S107)。并且，
17CPU 22在检测出体素的个数Q的值小于等于通过(PxP) /2的运算所计 算出的值的情况下，进行后述的图7的步骤S109的处理。
另外，上述的体素的个数Q的值是表示通过CPU 22估计出(可靠 性比较高的)三维坐标数据的体素的个数的值。此外，上述(PxP) /2的 值是表示CPU 22取得曲面方程式时所需要的体素的个数的下限的值。 即，CPU22通过上述的图7的步骤S106的处理，进行局部立体区域Db 是否是能取得曲面方程式的区域的判断。
CPU 22根据在图7的步骤S107的处理中取得的曲面方程式，计算 关注体素b中的形状特征量(图7的步骤S10S)。另外，在本实施方式中， CPU22分别计算形状指标值和曲率值来作为上述形状特征量。此外，通 过使用例如与美国专利申请公开号为No.20030223627所记载的方法相同 的方法，能够根据曲面方程式计算出上述形状指标值和曲率值。因此， 在本实施方式的说明中，省略与形状指标值及曲率值的计算方法相关的 说明。
此外，CPU 22能够通过进行图7的步骤S106 步骤S108的处理， 从处理对象中排除较多地包括与三维模型中的遮挡相当的部分的数据、 即估计结果的可靠性相对较低的三维坐标数据的区域，同时将较多地包 括估计结果的可靠性相对较高的三维坐标数据的区域作为处理对象，精 度良好地计算出关注体素b中的形状特征量。
CPU 22在图7的步骤S108的处理中计算出关注体素b的形状特征 量后，进行该关注体素b的值是否是TDXxTDYxTDZ的判定(图7的步 骤S109)。并且，CPU 22在关注体素b的值是TDXxTDYxTDZ的情况 下，继续进行后述图7的步骤S111的处理。此夕卜，CPU22在关注体素b 的值不是TDXxTDYxTDZ的情况下，将关注体素b的值设为b+l (图7 的步骤SllO)后，再次进行上述的图7的步骤S104 步骤S109的一系 列处理。
CPU 22在图7的步骤S110的处理中完成了三维模型内的各体素的 形状特征量的计算后，还进行基于计算出的各个形状特征量的阈值处理， 从而检测该三维模型内的隆起形状(图7的步骤S111)。具体而言，例如在将形状指标值的阈值Sthl设定为0.9，并且将曲率 值的阈值Cthl设定为0.2的情况下，CPU 22检测具有比该阈值Sthl大 并且比该阈值Cthl大的形状特征量的三维坐标数据组，将其作为(起因 于息肉等病变的、局部的)隆起形状。
此外，针对用户，隆起形状的检测结果例如可以通过显示在监视器4 上的二维图像(或三维模型)的对应部分的着色来表示，并且，还可以 通过指示显示在监视器4上的二维图像(或三维模型)的对应部分的记 号和(或)字符来表示。
如上所述，本实施方式的医疗用图像处理装置3在作为图7所示的 处理的上述的一系列处理中，仅在较多地包括估计结果的可靠性相对较 高的三维坐标数据的区域中进行形状特征量的计算。其结果，本实施方 式的医疗用图像处理装置3在根据由内窥镜取得的二维图像估计三维模 型时，与以往相比能够使隆起形状的检测效率提高。
另外，在本实施方式中，CPU22不限于进行使用固定尺寸的局部立 体区域来检测成为曲面方程式的取得对象的区域这样的处理，例如，还 可以进行如下处理，即根据关注体素是否存在于边缘上来变更局部立 体区域的尺寸，并且检测成为曲面方程式的取得对象的区域。
此时，首先，CPU22针对二维图像实施在第一实施方式的说明中已 作描述的、与图2的步骤S1相同的边缘提取处理(图8的步骤S201)。 通过该处理，CPU22检测出在上述二维图像中存在边缘的部分。
此夕卜，CPU22通过与图7的步骤SIOI及步骤S102的处理同样的处 理，进行与该二维图像的各像素对应的三维坐标数据的估计，并且根据 各个上述三维坐标数据，取得三维模型的尺寸(图8的步骤S202和步骤 S203)。
CPU 22在将三维模型内的各体素中的关注体素e设定为1 (图8的 步骤S204)后，根据该关注体素e的三维坐标数据，判定该关注体素e 是否是根据二维图像内的形成边缘的像素估计的(图8的步骤S205)。
在关注体素e是根据二维图像内的形成边缘的像素估计出的情况下， CPU 22将变量P1设定为R (图8的步骤S206)，然后继续进行后述的图8的步骤S208的处理。此外，在关注体素e不是根据二维图像内的形成 边缘的像素估计出的情况下，CPU 22将变量Pl设定为T (图8的步骤 S207),然后继续后述的图8的步骤S208的处理。
另夕卜，将在图8的步骤S206的处理中所设定的值R设定为比在图8 的步骤S207的处理中所设定的值T小的值(例如11=丁/2)。 g卩，CPU 22 在图8的步骤S205 S207的处理中，通过根据关注体素是否存在于边缘 上来变更局部立体区域的尺寸，从而与进行了图7所示的一系列处理的 情况相比，能够较多地取得成为曲面方程式的取得对象的区域。
此外，CPU 22通过与图7的步骤S104及步骤S105的处理同样的处 理，设定以关注体素e为中心的PlxPlxPl的尺寸的局部立体区域De, 并且检测出存在于该局部立体区域De内的体素的个数Q1 (图8的步骤 S208和步骤S209)。
此后，CPU22对上述体素的个数Q1的值和通过(PlxPl) /2的运算 所计算出的值进行比较(图8的步骤S210)。
在检测出体素的个数Q1的值比通过(PlxPl) /2的运算所计算出的 值大的情况下，CPU 22进一步使用存在于局部立体区域De内的各体素 的三维坐标数据，进行取得曲面方程式的处理(图8的步骤S211)。并且， 在检测出体素的个数Q1的值小于等于通过(PlxPl) /2的运算所计算出 的值的情况下，CPU22进行后述的图8的步骤S213的处理。
另外，上述的体素的个数Q1的值是表示通过CPU22估计出(可靠 性比较高的)三维坐标数据的体素的个数的值。此外，上述(PlxPl) /2 的值是表示CPU22取得曲面方程式时所需要的体素的个数的下限的值。 即，CPU22通过上述的图8的步骤S210的处理，进行局部立体区域De 是否是能够取得曲面方程式的区域的判断。
CPU 22根据在图8的步骤S211的处理中所取得的曲面方程式，计 算关注体素e中的形状特征量(例如形状指标值和曲率值)(图8的步骤 S212)。
此后，CPU 22进行关注体素e的值是否是TDXxTDYxTDZ的判定 (图8的步骤S213)。并且，CPU22在关注体素e的值是TDXxTDYxTDZ的情况下，继续进行后述图8的步骤S215的处理。此外，CPU 22在关 注体素e的值不是TDXxTDYxTDZ的情况下，将关注体素e的值设为e + 1(图8的步骤S214)后，再次进行上述的图8的步骤S205 步骤S213
的一系列处理。
CPU 22在图8的步骤S213的处理中完成了三维模型内的各体素的 形状特征量的计算后，还进行基于计算出的各个形状特征量的阈值处理， 从而检测该三维模型内的隆起形状(图8的步骤S215)。
具体而言，例如在将形状指标值的阀值Sth2设定为0.9，并且将曲率 值的阈值Cth2设定为0.2的情况下，CPU 22检测具有比该阈值Sth2大 并且比该阈值Cth2大的形状特征量的三维坐标数据组，将其作为(起因 于息肉等病变的、局部的)隆起形状。
此外，针对用户，隆起形状的检测结果例如可以通过显示在监视器4 上的二维图像(或三维模型)的对应部分的着色来表示，并且，还可以 通过指示显示在监视器4上的二维图像(或三维模型)的对应部分的记 号和(或)字符来表示。
如上所述，本实施方式的医疗用图像处理装置3通过进行图8所示 的一系列处理，与进行图7所示的一系列处理的情况相比，能够更加高 效地检测出隆起形状。 (第三实施方式)
图9涉及本发明的第三实施方式。图9是表示图1的医疗用图像处 理装置在第三实施方式中进行的处理步骤的一个例子的流程图。
另外，对具有与第一实施方式及第二实施方式相同结构的部分，省 略详细说明。此外，用于本实施方式的内窥镜系统1的结构与第一实施 方式及第二实施方式相同。
接着，对在医疗用图像处理装置3中进行的图像处理动作进行说明。
首先，CPU22针对二维图像实施在第一实施方式的说明中已述的、 与图2的步骤Sl相同的边缘提取处理，并且针对所提取的各边缘进行标 示(图9的步骤S301和S302)。
另外，在本实施方式中，CPU22通过进行图9的步骤S301和S302
21的处理，从二维图像中提取A个边缘，并且对所提取的各边缘赋予1 A 的编号的标记。
此后，CPU 22通过与图7的步骤S101的处理相同的处理，进行与 二维图像的各像素对应的三维坐标数据的估计(图9的步骤S303)。
CPU22在将边缘编号f设定为1 (图9的步骤S304)后，根据形成 边缘编号f的边缘的各体素的三维坐标数据，检测成为该边缘的中点的体 素Gf (图9的步骤S305)。
此外，CPU 22计算通过图9的步骤S305的处理所检测出的体素Gf 中的边缘编号f的边缘的曲率CVf，将该曲率CVf作为形状特征量(图9 的步骤S306)。
CPU 22进行边缘编号f的值是否是A的判定(图9的步骤S307)。 并且，在边缘编号f的值是A的情况下，CPU22继续进行后述图9的步 骤S309的处理。此夕卜，在边缘编号f的值不是A的情况下，CPU 22将 边缘编号f的值设为f+l (图9的步骤S308)后，再次进行上述的图9 的步骤S305 步骤S307的一系列处理。
CPU 22在图9的步骤S308的处理中完成了三维模型内的各边缘的 曲率CVf的计算后，还进行基于计算出的各个上述曲率CVf的阈值处理， 从而检测该三维模型内的隆起形状(图9的步骤S309)。
具体而言，例如在将曲率的阈值CVth设定为0.2的情况下，CPU22 检测形成比该阈值CVth大的边缘的三维坐标数据组，将该三维坐标数据 组作为起因于隆起形状的边缘。
此外，针对用户，隆起形状的检测结果例如可以通过显示在监视器4 上的二维图像(或三维模型)的对应部分的着色来表示，并且，还可以 通过指示显示在监视器4上的二维图像(或三维模型)的对应部分的记 号和(或)字符来表示。
如上所述，本实施方式的医疗用图像处理装置3在作为图9所示的 处理的上述一系列处理中，根据表示边缘形状的形状特征量来进行隆起 形状的检测。
其结果，本实施方式的医疗用图像处理装置3在根据由内窥镜取得的二维图像估计三维模型时，与以往相比能够高速且高效地检测出隆起 形状。
并且，本发明不限于上述各实施方式，当然可以在不脱离发明主旨 的范围内进行各种变更和应用。
权利要求
1.一种医疗用图像处理装置，其特征在于，该医疗用图像处理装置具有边缘提取部，其根据从医疗用摄像装置输入的活体组织的像的二维图像，提取该二维图像的边缘；三维模型估计部，其根据所述二维图像，估计所述活体组织的三维模型；局部区域设定部，其在所述二维图像中设定以关注像素为中心的局部区域；判定部，其判定所述局部区域是否被在所述边缘提取部中提取出的边缘的至少一部分分割；形状特征量计算部，其根据所述判定部的判定结果，使用三维坐标数据来计算所述关注像素的形状特征量，该三维坐标数据与所述局部区域中没有被在所述边缘提取部中提取出的边缘分割的区域且存在所述关注像素的区域对应；以及隆起形状检测部，其根据所述形状特征量计算部的计算结果来检测隆起形状。
2. 根据权利要求l所述的医疗用图像处理装置，其特征在于，作为 用于判定所述局部区域是否被在所述边缘提取部中提取出的边缘的至少 一部分分割的处理，所述判定部进行对存在于所述局部区域内的边缘的 各端部是否与所述局部区域的任意一个端部接触进行检测的处理。
3. —种医疗用图像处理装置，其特征在于，该医疗用图像处理装置 具有-三维模型估计部，其根据从医疗用摄像装置输入的活体组织的像的 二维图像，估计所述活体组织的三维模型；局部区域设定部，其在所述三维模型中设定以关注体素为中心的局 部区域；判定部，其判定所述局部区域中所包含的三维坐标数据的数是否比预定的阈值多；形状特征量计算部，其根据所述判定部的判定结果，在所述局部区 域中所包含的三维坐标数据的数比预定的阈值多的情况下，使用所述局 部区域中所包含的三维坐标数据，计算所述关注体素中的形状特征量； 以及隆起形状检测部，其根据所述形状特征量计算部的计算结果来检测 隆起形状。
4. 根据权利要求3所述的医疗用图像处理装置，其特征在于，该医 疗用图像处理装置还具有提取所述二维图像的边缘的边缘提取部，所述局部区域设定部根据所述边缘提取部的边缘提取结果，判定所 述关注体素是否是与所述二维图像的边缘对应的体素，并且根据该判定 的结果来变更所述局部区域的尺寸。
5. 根据权利要求4所述的医疗用图像处理装置，其特征在于，在所 述关注体素不是与所述二维图像的边缘对应的体素的情况下，所述局部 区域设定部将所述局部区域的尺寸设定为第一尺寸，并且在所述关注体 素是与所述二维图像的边缘对应的体素的情况下，所述局部区域设定部 将所述局部区域的尺寸设定为比该第一尺寸小的第二尺寸。
6. —种医疗用图像处理装置，其特征在于，该医疗用图像处理装置 具有-边缘提取部，其根据从医疗用摄像装置输入的活体组织的像的二维 图像，提取该二维图像的边缘；三维模型估计部，其根据所述二维图像，估计所述活体组织的三维 模型；形状特征量计算部，其根据与所述二维图像的一个边缘对应的部分 的三维坐标数据，计算所述三维模型中的该一个边缘的曲率，将该曲率 作为形状特征量；以及隆起形状检测部，其根据所述形状特征量计算部的计算结果来检测 隆起形状。
7. —种医疗用图像处理方法，其特征在于，该医疗用图像处理方法具有边缘提取步骤，根据从医疗用摄像装置输入的活体组织的像的二维 图像，提取该二维图像的边缘；三维模型估计步骤，根据所述二维图像，估计所述活体组织的三维模型；局部区域设定步骤，在所述二维图像中设定以关注像素为中心的局 部区域；判定步骤，判定所述局部区域是否被在所述边缘提取步骤中提取出 的边缘的至少一部分分割；形状特征量计算步骤，根据所述判定步骤的判定结果，使用三维坐 标数据来计算所述关注像素的形状特征量，该三维坐标数据与所述局部 区域中没有被在所述边缘提取步骤中提取出的边缘分割的区域且存在所 述关注像素的区域对应；以及隆起形状检测步骤，根据所述形状特征量计算步骤的计算结果来检测 隆起形状。
8. 根据权利要求7所述的医疗用图像处理方法，其特征在于，在所 述判定步骤中，作为用于判定所述局部区域是否被在所述边缘提取步骤 中提取出的边缘的至少一部分分割的处理，进行对存在于所述局部区域 内的边缘的各端部是否与所述局部区域的任意一个端部接触进行检测的 处理。
9. 一种医疗用图像处理方法，其特征在于，该医疗用图像处理方法 具有三维模型估计步骤，根据从医疗用摄像装置输入的活体组织的像的 二维图像，估计所述活体组织的三维模型；局部区域设定步骤，在所述三维模型中设定以关注体素为中心的局 部区域；判定步骤，判定所述局部区域中所包含的三维坐标数据的数是否比 预定的阈值多；形状特征量计算步骤，根据所述判定步骤的判定结果，在所述局部区域中所包含的三维坐标数据的数比预定的阈值多的情况下，使用所述局部区域中所包含的三维坐标数据，计算所述关注体素中的形状特征量; 以及隆起形状检测步骤，根据所述形状特征量计算步骤的计算结果来检测 隆起形状。
10. 根据权利要求9所述的医疗用图像处理方法，其特征在于，该医 疗用图像处理方法还具有提取所述二维图像的边缘的边缘提取步骤，在所述局部区域设定步骤中，根据所述边缘提取步骤的边缘提取结 果，判定所述关注体素是否是与所述二维图像的边缘对应的体素，并且 根据该判定的结果来变更所述局部区域的尺寸。
11. 根据权利要求IO所述的医疗用图像处理方法，其特征在于，在 所述局部区域设定步骤中，在所述关注体素不是与所述二维图像的边缘 对应的体素的情况下，将所述局部区域的尺寸设定为第一尺寸，并且在 所述关注体素是与所述二维图像的边缘对应的体素的情况下，将所述局 部区域的尺寸设定为比该第一尺寸小的第二尺寸。
12. —种医疗用图像处理方法，其特征在于，该医疗用图像处理方法 具有边缘提取步骤，根据从医疗用摄像装置输入的活体组织的像的二维 图像，提取该二维图像的边缘；三维模型估计步骤，根据所述二维图像来估计所述活体组织的三维 模型；形状特征量计算步骤，根据与所述二维图像的一个边缘对应的部分 的三维坐标数据，计算所述三维模型中的该一个边缘的曲率，将该曲率 作为形状特征量；以及隆起形状检测步骤，根据所述形状特征量计算步骤的计算结果来检测 隆起形状。
全文摘要
本发明的医疗用图像处理装置的特征在于具有边缘提取部，其提取从医疗用摄像装置输入的活体组织的像的二维图像的边缘；三维模型估计部，其根据二维图像来估计活体组织的三维模型；局部区域设定部，其在二维图像中设定以关注像素为中心的局部区域；判定部，其判定局部区域是否由在边缘提取部中提取出的边缘的至少一部分分割；形状特征量计算部，其根据判定部的判定结果，使用三维坐标数据来计算关注像素的形状特征量，该三维坐标数据与局部区域中未被在边缘提取部中提取出的边缘所分割的区域且存在关注像素的区域对应；以及隆起形状检测部，其根据形状特征量计算部的计算结果来检测隆起形状。
文档编号G06T1/00GK101594817SQ200780050679
公开日2009年12月2日 申请日期2007年4月24日 优先权日2007年4月24日
发明者井上凉子 申请人:奥林巴斯医疗株式会社