专利名称：医疗用图像处理装置和医疗用图像处理方法
技术领域：
本发明涉及医疗用图像处理装置和医疗用图像处理方法，特别是涉 及根据活体组织的像的二维图像估计该活体组织的三维模型的医疗用图 像处理装置和医疗用图像处理方法。
背景技术：
以往，在医疗领域中，广泛进行使用X线诊断装置、CT、 MRI、超 声波观测装置以及内窥镜装置等图像摄像设备的观察。这种图像摄像设 备中的内窥镜装置例如具有以下的作用和结构，即具有可插入到体腔 内的插入部，使用固体摄像元件等摄像单元拍摄由配置在该插入部的前 端部的物镜光学系统所成像的体腔内的像并作为摄像信号来输出，根据 该摄像信号在监视器等显示单元上显示体腔内的像的图像。然后，用户 根据显示在监视器等显示单元上的体腔内的像的图像进行例如体腔内的 脏器等的观察。
并且，内窥镜装置可直接拍摄消化道粘膜的像。因此，用户可综合 地观察例如粘膜的色调、病变的形状和粘膜表面的细微结构等。
而且，内窥镜装置中，作为能对存在具有局部隆起形状病变的规定 图像进行检测的图像处理方法，例如通过使用日本特开2005 — 192880号 公报(现有文献l)等所记载的图像处理方法，还能检测包含有息肉等病 变部位的图像。
该现有文献1所记载的图像处理方法可提取所输入的图像具有的轮 廓，并可根据该轮廓的形状检测该图像中具有局部隆起形状的病变。
并且，以往在大肠息肉检测处理中，根据二维图像估计三维数据， 使用三维特征量(形状指标(Shape Index) /曲率(Curvedness))来检测 大肠息肉(现有文献2:日本電子情報通信学会、信学技報(MI2003 — 102)，形状情報(二基^< 3次元腹部CT像力、g(T)大腸tKu — :/自動検出手法(二関"t石検討木村、林、北坂、森、末長pp.29 34, 2004)。该三维特征量通过根据三维数据计算参考点的偏微分系数并使用偏微分系数进行计算来实现。然后，在大肠息肉检测处理中，通过对三维特征量进行阈值处理来检测息肉候选。
然而，由于以往用作三维数据估计方法的"从明暗恢复形状(ShapeFrom Shading)"法受到由对象的反射/散射特性和针对对象的二次光引起的影响，因而以往的大肠息肉检测处理具有检测精度下降和产生误检测的问题。
并且，该"从明暗恢复形状"法根据图像而产生三维数据密度的疏密。三维特征量的标准误差(表示样品值相对于平均值在何种程度的范围内分布的统计指标)受到三维数据密度的疏密的影响。由于该标准误差，以往的大肠息肉检测处理具有检测精度下降和产生误检测的问题。
发明内容
鉴于上述情况，本发明的目的是提供一种医疗用图像处理装置和医疗用图像处理方法，其能执行与对象的二维图像的观察状态恰当地适应的处理，与以往相比能提高在检测具有局部隆起形状的病变的情况下的检测精度。
本发明的一方式的医疗用图像处理装置构成为具有三维模型估计单元，其根据从医疗用摄像装置输入的体腔内的活体
组织的像的二维图像，估计所述活体组织的三维模型；
检测对象区域设定单元，其在所述三维模型中设定具有隆起形状的
病变的检测对象区域；
阈值决定单元，其决定在形状特征量的计算中使用的阈值，所述形
状特征量表示所述检测对象区域内所包含的各数据点上的形状的状态；形状特征量计算单元，其根据所述阈值计算所述形状特征量；以及三维形状检测单元，其根据所述形状特征量，检测存在于所述检测
对象区域内的局部隆起形状的病变区域。
5并且，本发明的一方式的医疗用图像处理方法构成为具有三维模型估计步骤，其根据从医疗用摄像装置输入的体腔内的活体组织的像的二维图像，估计所述活体组织的三维模型；
检测对象区域设定步骤，其在所述三维模型中设定具有隆起形状的
病变的检测对象区域；
阔值决定步骤，其决定在形状特征量的计算中使用的阈值，所述形
状特征量表示所述检测对象区域内所包含的各数据点上的形状的状态；形状特征量计算步骤，其根据所述阈值计算所述形状特征量；以及三维形状检测步骤，其根据所述形状特征量，检测存在于所述检测
对象区域内的局部隆起形状的病变区域。
图1是示出本发明实施例1的医疗用图像处理装置所使用的内窥镜
系统的整体结构的一例的图。
图2是示出图1的CPU的功能结构的功能框图。
图3是示出图2的CPU的处理流程的流程图。
图4是示出图3的阈值T1、 T2的决定处理流程的流程图。
图5是示出在图4的处理中使用的"Z坐标一阈值Tl、 T2"阈值表数
据的图。
图6是说明图4的处理的图。
图7是示出本发明实施例2的阈值T1、T2的决定处理流程的流程图。图8是示出在图7的处理中使用的"夹角-乘法值"阈值表数据的图。图9是说明图7的处理的第1图。图10是说明图7的处理的第2图。图11是说明图7的处理的第3图。
图12是说明本发明实施例3的局部偏微分系数的计算处理的图。图13是示出图12的局部偏微分系数的计算处理流程的流程图。图14是示出图13的处理后级的阈值T1、T2的决定处理流程的流程图15是示出在图13的处理中使用的数据点数量Mi与阈值Tl、 T2之间的对应的阈值表的图。
图16是示出图12的局部偏微分系数的计算处理的变形例的流程的流程图。
具体实施例方式
以下，参照附图描述本发明的实施例。(实施例1)
图1至图6涉及本发明的实施例1，图1是示出医疗用图像处理装置所使用的内窥镜系统的整体结构的一例的图，图2是示出图1的CPU的功能结构的功能框图，图3是示出图2的CPU的处理流程的流程图，图4是示出图3的阈值T1、 T2的决定处理流程的流程图，图5是示出在图4的处理中使用的"Z坐标一阈值T1、 T2"阈值表数据的图，图6是说明图4的处理的图。
如图1所示，本实施例的内窥镜系统1的要部构成为具有医疗用观察装置2，医疗用图像处理装置3，以及监视器4。
^f述医疗用观察装置2是拍摄被摄体并输出该被摄体的像的二维图像的观察装置。并且，医疗用图像处理装置3由个人计算机等构成，是对从医疗用观察装置2输出的二维图像的映像信号进行图像处理、并将进行了该图像处理后的映像信号作为图像信号来输出的图像处理装置。而且，监视器4是显示基于从医疗用图像处理装置3输出的图像信号的图像的显示装置。
所述内窥镜观察装置2的要部构成为具有内窥镜6，光源装置7，相机控制单元(以下简记为CCU) 8,以及监视器9。
所述内窥镜6被插入到被检体的体腔内，并且拍摄该体腔内存在的活体组织等被摄体并作为摄像信号来输出。所述光源装置7提供用于对由内窥镜6拍摄的被摄体进行照明的照明光。所述CCU 8进行对内窥镜6的各种控制，并且对从内窥镜6输出的摄像信号进行信号处理，作为二维图像的映像信号进行输出。所述监视器9根据从CCU 8输出的二维图
7像的映像信号，对由内窥镜6所拍摄的被摄体的像进行图像显示。
所述内窥镜6构成为具有插入到体腔内的插入部11，以及设置在 插入部11的基端侧的操作部12。并且，在从插入部11内的基端侧到插
入部11内的前端侧的前端部14这部分上，插通有用于传送从光源装置7 提供的照明光的光导管(lightguide) 13。
所述光导管13的前端侧配置在内窥镜6的前端部14，并且后端侧 与所述光源装置7连接。
由于光导管13具有这种结构，因而从光源装置7提供的照明光在通 过光导管13传送后，从设在插入部11的前端部14的前端面上的未作图 示的照明窗射出。然后，通过照明光从未作图示的照明窗射出，从而对 作为被摄体的活体组织等进行照明。
在内窥镜6的前端部14设有摄像部17,该摄像部17具有安装在 与未作图示的照明窗邻接的未作图示的观察窗上的物镜光学系统15，以 及配置在该物镜光学系统15的成像位置上的由例如CCD (电荷耦合元 件)等构成的摄像元件16。根据这种结构，由物镜光学系统15所成像的 被摄体的像在由摄像元件16拍摄后，作为摄像信号被输出。另外，摄像 元件16不限于CCD，也可以由C一MOS传感器构成。
所述摄像元件16经由信号线与CCU8连接。然后，摄像元件16根 据从CCU 8输出的驱动信号进行驱动，并向CCU 8输出与所拍摄的被摄 体的像对应的摄像信号。
并且，输入到CCU 8的摄像信号在设于CCU 8的内部的未作图示的 信号处理电路中进行信号处理，从而转换成二维图像的映像信号来输出。 从CCU 8输出的二维图像的映像信号被输出到监视器9和医疗用图像处 理装置3。由此，监视器9将基于从CCU 8所输出的映像信号的被摄体 的像作为二维图像进行显示。
医疗用图像处理装置3构成为具有图像输入部21，其对从医疗用 观察装置2输出的二维图像的映像信号进行A/D转换并进行输出；作为 中央运算处理装置的CPU 22，其对从图像输入部21输出的映像信号进 行图像处理；处理程序存储部23，其被写入了与该图像处理相关的处理200780026931.7
程序；图像存储部24，其存储从图像输入部21输出的映像信号等；以及 分析信息存储部25，其存储由CPU22进行的图像处理中的运算结果等。
并且，医疗用图像处理装置3具有存储装置接口 (I/F) 26;作为
存储装置的硬盘27，其经由存储装置接口 26存储作为CPU22的图像处 理结果的图像数据、CPU22在图像处理中使用的各种数据等；显示处理 部28，其根据作为CPU 22的图像处理结果的图像数据，进行用于将该 图像数据显示在监视器4上的显示处理，并将进行了该显示处理后的图 像数据作为图像信号进行输出；以及输入操作部29，其由键盘或鼠标等 指向器件等构成，可由用户输入在CPU 22进行的图像处理中的参数和对 医疗用图像处理装置3的操作指示。然后，监视器4显示基于从显示处 理部28所输出的图像信号的图像。
另外，医疗用图像处理装置3的图像输入部21、 CPU22、处理程序 存储部23、图像存储部24、分析信息存储部25、存储装置接口26、显 示处理部28以及输入操作部29分别经由数据总线30相互连接。
如图2所示，CPU22由以下各功能部构成作为三维模型估计单元 的三维模型估计部22a，作为检测对象区域设定单元的检测对象区域设定 部22b，作为形状特征量计算单元的形状特征量计算部22c，作为三维形 状检测单元的三维形状检测部22d，作为阈值决定单元的阈值决定部22e， 以及息肉决定部22f。
另外，在本实施例中，这些功能部使用由CPU22执行的软件来实现。 并且，关于这些功能部的详细作用在后面描述。
下面，使用图3和图4的流程图，并参照图5和图6来说明这样构 成的本实施例的内窥镜系统1的作用。
首先，用户在接通了内窥镜系统1具有的各部的电源之后，将内窥 镜6的插入部11插入到被检体的体腔内。
然后，当由用户将插入部ll插入到被检体的体腔内时，例如，该体 腔内存在的活体组织等被摄体的像由设在前端部14上的摄像部17拍摄。 然后，由摄像部17所拍摄的被摄体的像作为摄像信号被输出到CCU 8。
CCU8通过在未作图示的信号处理电路中，对从摄像部17的摄像元
9件16所输出的摄像信号进行信号处理，将该摄像信号转换成二维图像的
映像信号来输出。然后，监视器9根据从CCU8输出的映像信号，将由 摄像部17所拍摄的被摄体的像显示为二维图像。并且，CCU8将通过对 从摄像部17的摄像元件16所输出的摄像信号进行信号处理而获得的二 维图像的映像信号输出到医疗用图像处理装置3。
输出到医疗用图像处理装置3的二维图像的映像信号在图像输入部 21中进行了 A/D转换之后，被输入到CPU22。
然后，如图3所示，CPU 22的三维模型估计部22a在步骤Sl中使 用例如"从明暗恢复形状(Shape From Shading)"法等，对从图像输入部 21输出的二维图像实施基于该二维图像的亮度信息等的几何变换等处 理，从而估计与该二维图像对应的三维模型，并将三维模型的各数据点 的坐标经由存储装置接口 26存储在硬盘27内。
然后，CPU 22的检测对象区域设定部22b在步骤S2中检测从图像 输入部21输出的二维图像的色调变化、以及通过图3的步骤SI的处理 所估计的三维模型的隆起性变化，从而设定作为该三维模型中的用于检 测具有隆起形状的病变的处理应用对象的区域的检测对象区域即对象区 域。
具体地说，CPU 22的检测对象区域设定部22b例如将从图像输入部 21输出的二维图像分离成R(红色)图像、G(绿色)图像以及B(蓝色) 图像的各平面图像之后，根据按照该R图像估计出的三维模型的数据检 测隆起性变化，并根据该R图像和G图像的色度来检测色调变化。然后， CPU 22的检测对象区域设定部22b根据所述隆起性变化的检测结果和所 述色调变化的检测结果，将检测出所述隆起性变化和所述色调变化两者 的区域设定为所述对象区域。
之后，CPU 22的形状特征量计算部22c在步骤S3中计算对象区域 的局部偏微分系数。具体地说，CPU22的形状特征量计算部22c针对计 算出的三维形状，计算包含关注的三维位置(x、 y、 z)在内的局部区域 (曲面)中的其R像素值f的l阶偏微分系数&、 fy、 fz、以及2阶偏微 分系数ficx、 fyy、 fzz、 &y、 fyz、 fkz。然后，CPU 22的形状特征量计算部22c在步骤S4中针对三维模型 的处理对象区域内存在的各数据点，进行根据局部偏微分系数计算形状 指标值和曲率值作为(三维形状)的形状特征量的处理。
艮卩，CPU 22的形状特征量计算部22c使用这些局部偏微分系数来计 算高斯曲率K和平均曲率H。
另一方面，曲面的主曲率kl、 k2 (kl^k2)使用高斯曲率K和平均
曲率H表示为式(1)。
kl = H + (H2-K)1/2 k2 = H-(H2-K)1/2 (1)
并且，在该情况下的表示曲面形状的特征量即形状指标SI和曲率 CV分别为式(2)、 (3)。
SI = 1 / 2 — (1 / Ti)arctan[(kl + k2) / (kl — k2)] (2)
CV = ((kl2 + k22)/2)1/2 (3)
CPU22的形状特征量计算部22c按照这样计算出三维的各曲面中的 形状指标SI和曲率CV作为三维形状信息，并将其存储在分析信息存储 部25内。
所述的形状指标值是用于表示三维模型具有的各数据点上的凹凸状 态的值，表示为0以上1以下的范围内的数值。具体地说，在存在于三 维模型内的各个数据点上，在形状指标值接近0的情况下，暗示了存在 凹状形状，并且在形状指标值接近1的情况下，暗示了存在凸状形状。
并且，所述的曲率值是用于表示三维模型具有的各数据点上的曲率 的值。具体地说，在存在于三维模型内的各个数据点上，曲率值越小， 则暗示了存在弯曲得越大的曲面，并且，曲率值越大，则暗示了存在弯 曲得越平缓的曲面。
然后，在步骤S5中，CPU 22的阈值决定部22e在存在于三维模型 的对象区域内的各数据点上，进行同形状指标值和曲率值的各值进行比 较的阈值Tl、 T2的决定处理。该步骤S5的阈值Tl、 T2的决定处理的 详情在后面描述。
并且，在步骤S6中，CPU 22的三维形状检测部22d在存在于三维 模型的对象区域内的各数据点上，进行形状指标值以及曲率值的各值与
ii然后，CPU 22的息肉决定部22f在步骤S7中进行隆起形状判别处 理，即判别在三维模型中检测为具有隆起形状的数据组的多个数据点 各方是否是与息肉等病变引起的隆起形状对应的数据点。
之后，CPU 22的息肉决定部22f在步骤S8中将具有数据组的区域 决定为息肉区域，并检测病变区域即息肉，该数据组由与病变引起的隆 起形状对应的数据点构成。
然后，CPU22将该检测结果与检测对象的内窥镜图像相关联地存储 在例如图1的硬盘27内，并经由显示处理部28与例如检测对象的内窥 镜图像并排地显示在监视器4上。
由此，在监视器4上，对用户能容易识别出由息肉等病变引起的隆 起形状所存在的位置的被摄体的三维模型进行图像显示。
下面，说明上述步骤S5的阈值T1、 T2的决定处理。如图4所示， CPU 22的阈值决定部22e在步骤S51中将参数i设定为1，在步骤S52 中从分析信息存储部25取得三维模型的对象区域内的第i个数据点的三 维坐标(xi， yi， zi)。
然后，在歩骤S53中，CPU22的阈值决定部22e根据Z坐标zi，从 经由存储装置接口 26存储在硬盘27内的图5所示的"Z坐标一阈值T1、 T2"阈值表数据中读出阈值Tl(i)、 T2(i)。然后，在步骤S54中，CPU 22 的阈值决定部22e作为第i个数据点的形状指标值和曲率值的阈值Tl(i)、 T2(i)存储在分析信息存储部25内。
然后，CPU 22的阈值决定部22e在步骤S55中判断参数i是否达到 三维模型的对象区域内的全部数据点的数量N，在不是i〉N时，在步骤 S56中使参数i递增并返返回到步骤S52。CPU22的阈值决定部22e重复 上述步骤S52 S56的处理，直到在步骤S55中对三维模型的对象区域内 的全部数据点上的阈值Tl(i)、 T2(i)进行决定。另外，可以采用以下结构通过应用"Z坐标一 阈值T1、 T2"阈值表
(参照图5)所示的值的1次或2次函数使Z坐标值与T1、 T2之间的关 系公式化，利用公式运算求出该关系。
在二维图像中，离光源越近，来自粘膜下的散射光就越增强，其他 位置的反射光(二次光)的入射量也就增大。并且，由于大肠内窥镜图 像是肠道的摄像图像，因此，在肠道方向处于图像内的情况下，进深方 向较远位置上的图像部分是对从斜向观察肠道壁时的图像进行拍摄的， 与对肠壁正视观察时相比，反射光和散射光的角度特性不同。即，息肉 候选检测用的形状指标(表示凹凸性的指标)和曲率(表示凹凸的尖锐 度的指标)的最佳的阈值组合根据阈值判定点的Z坐标而不同。例如图6 是通过相同的阈值组合来进行息肉候选检测的例子，不仅检测出近前的 应有的息肉250，而且还检测出内部的平缓的凸部251和接近峰状的凸部 252。
如上所述，在本实施例中，由于使用三维数据的关注点的位置(Z 坐标)来校正阈值，因而可将排除了由对象的反射/散射特性和针对对象 的二次光的影响后的阈值用于息肉检测处理，可提高息肉候选的检测精 度。因此，可促进用户在大肠内窥镜检査中提高息肉候选的发现率。 (实施例2)
图7至图11涉及本发明的实施例2，图7是示出阈值T1、 T2的决 定处理流程的流程图，图8是示出在图7的处理中使用的"夹角一乘法 值"阈值表数据的图，图9是说明图7的处理的第1图，图10是说明图 7的处理的第2图，图11是说明图7的处理的第3图。
实施例2与实施例1的不同点在于与形状指标值以及曲率值的各值 进行比较的阈值T1、 T2的决定处理，由于结构与实施例l相同，因而仅 说明不同点。
在本实施例的与形状指标值以及曲率值的各值进行比较的阈值T1、 T2的决定处理中，如图7所示，CPU 22的阈值决定部22e在步骤S51 中将参数i设定为1，在步骤S52中从分析信息存储部25取得三维模型 的对象区域内的第i个数据点的三维坐标(xi， yi， zi)。然后，CPU 22的阈值决定部22e在步骤S57中计算视点坐标与所述 坐标点的差，生成视线矢量。视点位置的坐标(x0， y0， z0)是在图3 的步骤S1中决定的，该视线矢量V0 (Vx0， Vy0， Vz0)为(xi—x0， yi —y0， zi—z0)。
然后，CPU 22的阈值决定部22e在步骤S58中计算出第i个数据点 上的法线矢量Vi (Vxi， Vyi， Vzi)。该法线矢量Vi是针对在图3的步骤 S2中求出的二维曲面f计算出在数据点上的微分值(fk， fy， fz)而求得 的。并且，CPU22的阈值决定部22e在步骤S59中计算出视线矢量与法
线矢量的夹角ei。该夹角ei是根据矢量的内积公式而求得的。
另外，在本实施例中，图8所示的"夹角一乘法值"阈值表数据和 阈值的默认值Tl(O)、 T2(0)被存储在硬盘27内。
然后，在步骤S60中，CPU 22的阈值决定部22e从存储在硬盘27 内的"夹角一乘法值"阈值表数据中提取与求得的夹角6i对应的乘法值 od、卩i，并从硬盘27中取得阈值的默认值(Tl(O)、 T2(0))，求出将阈值 的默认值T1、 T2和乘法值ai、 f3i分别相乘后的值Tl(i) (二aixTl(O))、 T2(i) (,xT2(0))。
然后，在步骤S54中，CPU22的阈值决定部22e作为第i个数据点 的形状指标值和曲率值的阈值Tl(i)、 T2(i)存储在分析信息存储部25内。
然后，在步骤S55中，CPU22的阈值决定部22e判断参数i是否达 到三维模型的对象区域内的全部数据点的数量N，在不是i〉N时，在步 骤S56中使参数i递增并返回到步骤S52。 CPU 22的阈值决定部22e重 复上述图7的步骤S52、 S57 S60以及S54 S56的处理，直到在步骤 S55中决定三维模型的对象区域内的全部数据点上的阈值Tl(i)、 T2(i)。
使用该阈值Tl(i)、 T2(i)，执行在图3所示的步骤S6中的三维模型 的对象区域内存在的各数据点的形状指标值和曲率值的各值与阈值决定 部22e所决定的阈值Tl、 T2之间的比较处理。
大肠内窥镜图像由于反射光和散射光的角度特性根据对肠壁的正视 /斜视而不同，因而息肉候选检测用的形状指标值和曲率值的最佳的阈值 组合根据阈值判定点的肠壁的法线矢量与视线角所形成的角度而不同。例如图9是以正视拍摄半球状的样品100后的图像，而当采用"从
明暗恢复形状(Shape From Shading)"法生成三维数据时，具有从视点 观察到的图像由于反射光和散射光的角度特性而延伸成半椭圆球状的问 题。
在本实施例中，由于使用三维数据的关注点的位置和角度信息来校 正阈值，因而可获得与实施例1相同的效果，并且由于采用使表值和默 认值相乘的结构，因而可根据默认值的变更来求出最佳的阈值。
另外，还能采用这样的结构通过使用例如日本特幵2003 — 93328 号公报等所公开的内窥镜图像的视野内管腔检测方法，根据内窥镜图像 的视野内管腔检测的有无，决定图像整体的平均阈值。
例如，如图10所示，在视野内检测出管腔101整体的情况下，肠道 表面的法线矢量与视线角的夹角是取较大的值来作为图像整体的平均 值。因此，使用例如图8的阈值表的夹角=60 的值来提取乘法值od二 1.03、卩i二0.90，将阈值确定为Tl = 1.03xTl(0))、 T2=0.90xT2(0))。
并且，如图11所示，在视野内未检测出管腔101整体的情况下，肠 道表面的法线矢量与视线角的夹角是取较小的值来作为图像整体的阈 值。因此，使用例如图8的阈值表的夹角二20 30的值来提取乘法值cd =1.01、 pi=0.98，将阈值确定为Tl-l.OlxTl(O))、 T2=0.98xT2(0))。 (实施例3)
图12至图16涉及本发明的实施例3，图12是说明局部偏微分系数 的计算处理的图，图13是示出图12的局部偏微分系数的计算处理流程 的流程图，图14是示出图13的处理后级的阈值T1、 T2的决定处理流程 的流程图，图15是示出在图13的处理中使用的数据点数量Mi与阈值 Tl、 T2之间的对应的阈值表的图，图16是示出图13的局部偏微分系数 的计算处理的变形例的流程的流程图。
实施例3与实施例1的不同点在于局部偏微分系数的计算处理(图 3的步骤S3)以及同形状指标值和曲率值的各值进行比较的阈值T1、 T2 的决定处理(图3的步骤S5)，由于结构与实施例l相同，因而仅说明不 同点。在实施例1中，使用在固定尺寸的立方或球的范围内存在的三维数 据点。因此，在实施例1应用的局部偏微分系数的计算处理(图3的步
骤S3)中，如图12所示，由于产生三维数据点的疏密，因而所估计的局
部偏微分系数的标准误差当数据变疏时则增大。在以数据密的范围作为 基准而设定了阈值的情况下，在数据疏的范围内发生漏取。并且，在以 数据疏的范围作为基准而设定了阈值的情况下，在数据密的范围内误检 测增多。
本实施例的局部偏微分系数的计算处理与实施例1的不同点是附加 了决定三维数据点取得区域的处理。
在本实施例的局部偏微分系数的计算处理中，首先，针对通过图3 的步骤S2计算出的肠道表面上的点中的关注的1个点，估计并计算出该 位置上的肠道表面的二维曲面方程式的系数，通过对二维曲面方程式进
行偏微分而求出局部偏微分系数。二维曲面方程式是这样求出的设定
以关注的1个点为中心的立方或球的局部区域，根据局部区域内存在的
包含自身在内的三维数据点的坐标值生成矩阵(需要9点以上的坐标值)， 生成其伪逆矩阵。
具体地说，在本实施例的局部偏微分系数的计算处理中，如图13所 示，CPU 22的形状特征量计算部22c在步骤S31中将参数i设定为1， 当在步骤S32中计算出第i个三维数据点的局部偏微分系数时，首先对变 量L设定初始值LO。
接下来，CPU 22的形状特征量计算部22c在步骤S33中从分析信息 存储部25取得三维模型的对象区域内的第i个数据点的三维坐标(xi， yi， zi)。
然后，在步骤S34中，CPU22的形状特征量计算部22c从存储在硬 盘27内的、表示肠道表面的三维数据点序列中取得以第i个数据点的坐 标(xi， yi， zi)为中心的立方范围(xi士L， yi士L， zi士L)的范围内存在 的数据点信息。对该数据点信息的数量ni进行计数。
然后，CPU22的形状特征量计算部22c在步骤S35中将计数的数量 ni与规定的值K进行比较，在计数的数量ni大于K的情况下，进行步骤S36中的二维曲面方程式的系数计算处理以及步骤S37中的局部偏微分系数的计算处理，进入图3的步骤S3的形状指标/曲率的计算处理。
在计数的数量ni小于等于规定的值K的情况下，在步骤S38中使L加上规定的增量LS来扩大所述范围，之后返回到步骤S34，重新对处于范围内的数据点信息进行计数。
然后，在步骤S39中，CPU 22的形状特征量计算部22c判断参数i是否达到三维模型的对象区域内的全部数据点的数量N，在不是i>N时，在步骤S56中使参数i递增并返回到步骤S32。 CPU 22的阈值决定部22e重复上述图12的S32 S39以及S56的处理，直到在步骤S39中完成三维模型的对象区域内的全部数据点上的二维曲面方程式的系数计算和局部偏微分系数的计算。
通过以上处理，进行局部区域的尺寸变更，以使局部区域内包含的三维数据点数量大于等于规定数量。
并且，在本实施例的与形状指标值以及曲率值的各值进行比较的阈值T1、 T2的决定处理中，如图14所示，CPU22的阈值决定部22e在步骤S51中将参数i设定为1，在步骤S52中从分析信息存储部25取得三维模型的对象区域内的第i个数据点的三维坐标(xi， yi， zi)。
然后，CPU22的阈值决定部22e在步骤S61中使用规定的值L来设定以该三维坐标(xi， yi， zi)为中心的立方区域。即，设定为Uxi，，yi，， zi，) Ixi—L = xi， = xi+L， yi—L = yi， = yi+L， zi—L = zi，^zi+L}。根据存储在硬盘27内的三维数据点序列对该立方区域内的数据点数量Mi进行计数。
另外，在硬盘27内存储有图15所示的、数据点数量Mi与阈值Tl、T2对应起来的阈值表。
然后，CPU22的阈值决定部22e在步骤S62中根据所述的数据点数量Mi，从阈值表取得与数据点数量Mi对应的阈值Tl、 T2。
接下来，CPU22的阈值决定部22e在步骤S54中，作为第i个数据点的形状指标值和曲率值的阈值Tl(i)、 T2(i)而存储在分析信息存储部25内。
17然后，CPU 22的阈值决定部22e在步骤S55中判断参数i是否达到三维模型的对象区域内的全部数据点的数量N，在不是i〉N时，在步骤S56中使参数i递增并返回到步骤S52。 CPU 22的阈值决定部22e重复上述图14的步骤S52、 S61、 S62、 S54 S56的处理，直到在步骤S55中决定三维模型的对象区域内的全部数据点的阈值Tl(i)、 T2(i)。
另外，在数据点数量Mi是0 8的情况下，由于阈值处理是无效的，因而阈值T1、 T2被代入表示无效的值0。并且，尽管构成为对以坐标为中心的立方区域内的数据点数量进行计数，然而也可以构成为除了xk'2+yk，2+zk，2<L的条件以外，还对以坐标为中心的球区域内的数据点数量进行计数。
这样，在本实施例中，进行局部区域的尺寸变更，以使局部区域内包含的三维数据点数量大于等于规定数，并根据三维数据的点密度设定用于求出三维特征量(形状指标值和曲率值)的阈值T1、 T2，因而通过根据三维数据的密度来变更息肉检测处理中的处理参数，可提高息肉候选的检测精度，可促进在大肠内窥镜检查中息肉候选发现率的提高。
另外，在存在于范围内的数据点数量过多的情况下，计算二维曲面方程式的系数时的处理时间增加。
因此，如本实施方式的局部偏微分系数的计算处理的变形例的图16的处理流程所示，CPU22的形状特征量计算部22c可以构成为，在步骤S40中判断所取得的数据点数量是否大于规定的值J (K<J)，在大于规定的值J的情况下，在步骤S41中将在二维曲面方程式的系数计算中使用的数据点控制为K+1。
在该情况下，通过将所取得的数据点数量与规定的值J进行比较，在计数的数量ni大于J的情况下，通过删除数据点信息中的第K+2以后的数据并计算二维曲面方程式的系数来实现。
本发明不限于上述的实施例，可在不改变本发明宗旨的范围内进行各种变更、改变等。
本申请是以2006年7月27日向日本申请的日本特願2006—205142号作为优先权要求的基础来提出申请的，上述的公开内容被引用在本申请说明书和权利要求书中。
权利要求
1. 一种医疗用图像处理装置，其特征在于，该医疗用图像处理装置具有三维模型估计单元，其根据从医疗用摄像装置输入的体腔内的活体组织的像的二维图像，估计所述活体组织的三维模型；检测对象区域设定单元，其在所述三维模型中设定具有隆起形状的病变的检测对象区域；阈值决定单元，其决定在形状特征量的计算中使用的阈值，所述形状特征量表示所述检测对象区域内所包含的各数据点上的形状的状态；形状特征量计算单元，其根据所述阈值计算所述形状特征量；以及三维形状检测单元，其根据所述形状特征量，检测存在于所述检测对象区域内的局部隆起形状的病变区域。
2. 根据权利要求l所述的医疗用图像处理装置，其特征在于所述 阈值决定单元根据所述检测对象区域的垂直于所述二维图像的轴方向的 坐标，决定在所述形状特征量的计算中使用的所述阈值。
3. 根据权利要求l所述的医疗用图像处理装置，其特征在于所述 阈值决定单元根据在将从所述医疗用摄像装置输入的体腔内的活体组织 的像的所述二维图像的摄像位置作为视点并将所述检测对象区域上的一 个点作为关注点时的、从所述视点到所述关注点的视线矢量与所述关注 点在所述检测对象区域内的法线矢量之间的夹角，决定在所述形状特征 量的计算中使用的所述阈值。
4. 根据权利要求l所述的医疗用图像处理装置，其特征在于所述形状特征量计算单元根据所述检测对象区域内所包含的各数据点的数据密度分布来计算所述形状特征量；所述阈值决定单元根据所述数据密度分布来决定在所述形状特征量 的计算中使用的所述阈值。
5. 根据权利要求1至4中的任一项所述的医疗用图像处理装置，其特征在于所述形状特征量是形状指标值和曲率值，所述阈值是和所述形状指标值以及曲率值进行比较的比较阈值。
6. —种医疗用图像处理方法，其特征在于，该医疗用图像处理方法具有三维模型估计步骤，其根据从医疗用摄像装置输入的体腔内的活体组织的像的二维图像，估计所述活体组织的三维模型；检测对象区域设定步骤，其在所述三维模型中设定具有隆起形状的病变的检测对象区域；阈值决定步骤，其决定在形状特征量的计算中使用的阈值，所述形状特征量表示所述检测对象区域内所包含的各数据点上的形状的状态；形状特征量计算步骤，其根据所述阈值计算所述形状特征量；以及三维形状检测步骤，其根据所述形状特征量，检测存在于所述检测对象区域内的局部隆起形状的病变区域。
7. 根据权利要求6所述的医疗用图像处理方法，其特征在于在所述阈值决定步骤中，根据所述检测对象区域的垂直于所述二维图像的轴方向的坐标，决定在所述形状特征量的计算中使用的所述阚值。
8. 根据权利要求6所述的医疗用图像处理方法，其特征在于在所述阈值决定步骤中，根据在将从所述医疗用摄像装置输入的体腔内的活体组织的像的所述二维图像的摄像位置作为视点并将所述检测对象区域上的点作为关注点时的、从所述视点到所述关注点的视线矢量与所述关注点在所述检测对象区域内的法线矢量之间的夹角，决定在所述形状特征量的计算中使用的所述阈值。
9. 根据权利要求6所述的医疗用图像处理方法，其特征在于在所述形状特征量计算步骤中，根据所述检测对象区域内所包含的各数据点的数据密度分布来计算所述形状特征量；在所述阈值决定步骤中，根据所述数据密度分布来决定在所述形状特征量的计算中使用的所述阈值。
10. 根据权利要求6至9中的任一项所述的医疗用图像处理方法，其特征在于所述形状特征量是形状指标值和曲率值，所述阈值是和所述形状指标值以及曲率值进行比较的比较阈值。
全文摘要
本发明的内窥镜系统的要部构成为具有医疗用观察装置、医疗用图像处理装置以及监视器。医疗用图像处理装置的CPU(22)由三维模型估计部(22a)、检测对象区域设定部(22b)、形状特征量计算部(22c)、三维形状检测部(22d)、阈值决定部(22e)以及息肉决定部(22f)各功能部构成。根据这种结构，可执行与对象的二维图像的观察状态恰当地适应的处理，与以往相比能提高在检测具有局部隆起形状的病变的情况下的检测精度。
文档编号A61B1/04GK101489466SQ20078002693
公开日2009年7月22日 申请日期2007年4月10日 优先权日2006年7月27日
发明者中村健次, 井上凉子, 沢美穗, 田中秀树, 西村博一 申请人:奥林巴斯医疗株式会社