在三维图像容积中检测息肉的方法

专利名称：在三维图像容积中检测息肉的方法
技术领域：
本发明涉及在三维图^象容积中检测息肉的方法，更确切地说，涉 及通过利用概率方法在三维结肠图像容积中自动检测息肉的方法。
背景技术：
结肠癌是美国最主要的死亡因素之一。如果息肉在其发展的早期 能够被发现并进行处置，则死亡人数能够大大减少。虚拟结肠镜检查 是一项研制用来帮助医生在三维(3D) X射线断层扫描(CT)图像数 据中发现息肉的新技术。但是，这项技术通常需要在CT扫描以前，对 结肠进行物理净化。这样做非常不方便，并且阻碍虚拟结肠镜检查作 为大规模群体的常规扫描工具。此外，医生还需经过多年训练，才能 顺利地在3D CT图《象中识别息肉。
息肉的大小用其直径度量。小于6mm的息肉通常没有很大的临床 意义。大于9mm的息肉很可能是癌症，医生可以很容易地识别。最重 要的是，息肉检测系统要能发现6 9mm范围内的息肉，因为它们可能 发展成为癌症。
息肉自动检测的任务是非常具有挑战性的。首先，CT数据是在没 有进行肠道清洁的情况下取得的，把患者的不便减到最小。标记材料， 例如大便，尽管通常在图像中被描述为是明亮的区域，但是一个大大 分散注意力的区域。其次，所关注的息肉非常小，不具有独有的强度 图形，也没有任何特殊的形状。因此很难将它们与结肠壁区分开，特 别是当它们被标记材料环绕时。第三，要处理的容积数据很大(例如 400x512x512 )，排除了采用任何计算上昂贵的方法的可能性。因而
需要一种在三维结肠图像数据中发现息肉的方法，通过利用再生模型 来捕捉息肉的潜在生成过程。

发明内容
本发明的目的是在解剖学结构的三维图像容积中发现目标对象的 方法。从而可以在图像容积中得出一组候选位置。对于每个候选位置， 显露出至少两个不同缩放比例的子容积。每个子容积包含多个体素
(voxel)。对于每个子容积来i兌，每个子容积至少按照两个不同的 方向旋转。将形状分类器应用于每个子容积。如果子容积中的体素通 过了形状分类器，则计算体素的倾斜方向。如果体素的倾斜方向是预 先规定的方向之一，则将概率分类器施加于该体素。通过概率分类器 计算出的概率度量，可以作为置信度量，施加于该子容积。如果置信 度量高于预定的阈值，就可以确定该子容积包含了目标对象。


下面将参照附图更详细地描述本发明的优选实施方案，其中相同 的参考数字表示相同的元素
图1举例^L明结肠的3D CT图《象的不同视图2是按照本发明的一个典型X射线断层扫描(CT)系统的示意
图3举例说明65个阳性样品中的12个息肉； 图4举例说明按照本发明的一个用来图像化并处理3D结肠数据 的界面的照片；
图5a 5c举例说明按照本发明，候选数据是如何安排确定的； 图6举例说明本发明的一个典型的息肉及其扩大数据； 图7举例说明本发明的1D、 2D、 3D Haar子波过滤器的示例； 图8举例说明一个本发明的概率推进树；
图9举例说明根据本发明按照6个主要方向旋转的图7中的一个 Haar子波过滤器；
图IO举例说明本发明的一个概率推进树及其分级； 图ll举例说明本发明的已训练形状分类器；
图12举例说明本发明的以三种不同缩放比例及三个不同方向展示的子容积；
图13a和13b是说明本发明检测息肉的方法的流程图。
具体实施例方式
本发明的目的是通过利用以三维容积中肺节结检测的知识为基础 的途径，在三维(3D)结肠图像容积中检测息肉的方法。先确定一个
一般的再生模型，再捕捉一个对象的生成过程，例如息肉。完整的容 积及3D Haar过滤器被用来进行特征的快速计算。采用概率推进树
(Probabilistic Boosting Tree: PBT)的分级来学习分类器。 本发明能够从50 , 000个候选特征的组合中自动选择1000个特征。本 发明不需要对数据进行预先分段，这一点对于在未净化的数据中，例 如在未净化结肠中检测息肉特别有用。
也可以采用不同的成像形式来获得3D容积图像数据，例如X射 线断层扫描法(CT) 、 X光或磁共振成像(MRI)。图l举例说明结肠 的多个视图。第一个图像102表示一段结肠的完整的CT容积。结肠 内部有两种东西，空气和大便。虽然这两种东西中的大部分或者看起 来很黑(例如空气)，或者如果能成功地加标记，则看起来很亮，但 是由于标记不足，仍然有很大部分亮度值与正常组织相似的残留材 料。对残留材料(例如大便)加上标记，使其在CT下显得明亮，就可 以用电子方式加以消除。中间图像104表示一段已进行物理净化的结 肠的CT图像。图像106表示已经加上标记的未净化结肠的CT图像。 本发明采用以逐步推进为主的检测方法，该方法采用与候选的弱 分类器相结合的1D、 2D 、 3D等特征。可以直接说明潜在规律性的特 殊特征合并在一起。每个特征具有不同的成本，在选择特征时，本发 明会自动考虑有关的成本。本发明在选择特征时，是将特征作为多重 链条，以探究将特征结合起来的方式，从而将总误差功能减到最小。
图2示意地描绘了按照本发明的一个典型的X射线断层扫描
(CT)系统。该CT系统连同计算机辅助检测(CAD)系统可以用于对 患者的各种医疗状况进行非侵害性透视检查。这种检查的例子有虚拟 结肠镜检查或胸腔透视，检查是否存在机能损伤及可能的癌组织。此 外，该系统可以用于检测'淋巴结和肺部息肉。本领域普通净支术人员应 该理解，也可以采用不脱离本发明的范围及构思的其他显像方式。例
如，磁共振成像(MRI) 、 X光透视检查及超声成像也可用于获得这种 图像。为叙述起见，本发明将在采用典型的X射线断层扫描(CT)系 统的情况下加以描述。先取得一段结肠的CT图像，然后可以进^f亍分 割，并用于检测息肉。但是，正如上面所指出的，本发明的方法也可 用于检测肺节结中的息肉或淋巴结。
CT装备了X射线源1，发射锥形X射线束2，其边缘射线在图2 中用点划线表示，射线透过待检查的目标3，例如一位患者，然后投射 到辐射检测器4上。在典型的实施方案中，X射线源l和辐射检测器4 安装在一个环形台架7上，彼此相对。
X射线源1和辐射检测器4从而形成一个度量系统，可以围绕系 统轴8旋转，因此患者3可以按照相对于所述系统轴8的各种投射角 度、以及沿系统轴8的各种位置，进行X射线透视。单个检测器元件 的合成输出信号由数据检测系统IO读出。信号发送到信号处理器12， 依次计算出能在监视器13上显示的患者3的图像。
由CT系统扫描并通过信号处理器12计算的图像，传送到CAD系 统20，作进一步处理。CAD系统20对可以或不可以用电子方式消除 的残留物质作出标记。采用一项以有关知识为基础的方法，检测结肠 中的息肉。
按照本发明，才艮据加标记的物质的原始数据直接检测息肉。图3 表示65个阳性实例中的12个息肉。由于加标记物质显示了显著的分 散情况，因此这种方法更具挑战性。虽然大部分息肉似乎具有巻曲形 状，但是息肉通常很小，难于识别，并带有折痕，特别是当息肉被加 标记物质环绕时。采用一种中间方法也是可^f亍的，在这种方法中先除 去很亮的大便，然后采取检测程序，查找息肉。
按照本发明，采用以OpenGL Volumizer为基础的界面，对3D 结肠数据进行目测及处理。但是，本领域普通技术人员应该了解，也 可以采用不脱离本发明的范围及构思的其他界面。图4举例说明对界 面拍照片的情况。右下方的窗口 408表示整个容积的3D显像。使用 者可以旋转该容积，并且切入观察不同的片断。其他三个窗口 402 -406展示了XY、 YZ、 XZ平面的片断。
一旦获得结肠的3D图像数据，就对图像进行扫描，寻找图像中 具有高曲率的目标。将这些目标收集起来作为进行分析的候选对象，
以确定这些目标是否在下文中将会更详细描述的息肉。其次，对用来
检测息肉的分类器进行训练。假设每个3D输入图像容积是各向同性 的。由于息肉的形状变化很大，因此息肉的检测难度^艮大。对于中小 尺寸的息肉来说，经常观察到呈1/4球的规则形状。由于结肠壁和其 他组织的相互作用，当息肉变大时，开始逐步显示出多种形状。
此外，息肉出现于结肠壁上所有可能的方位。为了对分类器组进 行训练，特地创造了一个再生模型。词典*中规定1|;= (Ah厶2,…)， 而是一个2D/3D模版。每个目标实例x假定为由T对ilr的变换函 数产生。 一组典型参数T, 0 = {1, s, e, 0, a)可以是，1: 采用的模版数量，s:缩放比例，e:旋转角度，0:形变，其他参数 用oc表示。如果y是x的标记，则当x是一个引起注意的目标(阳性) 时，y = +1 ;当x不是引起注意的目标(阴性)时，y - -1。 X 的概率可以由下述再生模型模拟
柳;拜)=去e邵Hlx-T(0'禮 (1)
其中||||确定x和T ()之间的距离度量，Z是分配函数Z = 》XP (Hlx-TP 。
在辨别法中，样本x根据后面的公式进行分类
P胁) (2) 在替换法中，O参数可以精确地计算
柳=i;p(:H0力(0!k) (3)
根据公式(3)， 一个目的是减小训练样本的复杂性。对参数进行
选择，使e^ - {s, e, <x}，其中s是缩放比例，e是方位，a是息
肉的高宽比，w、r、t是息肉的深度、高度和宽度。创建尺寸为24x24x16 的模版，其2D视图示于图5a。 一个方位球体被分为14个区域，其中 的4个沿着图5b中所示的主轴。每个候选目标或息肉沿着图5c中所 示的主要方位排列。
在方位区域ri中，对可能的详细方位(e^ e2)进行抽^f羊，以 增加训练数据。其结果是，(e^ e2)的比值不需要进行搜索。此夕卜，
训练样本从130个增至13000个，减小了过度配合的几率。图6表示
一个排列后的典型息肉样本及其三个尺寸的扩充数据。
按照本发明，对以24x24x16的模板为基础的一个子容积进行分 类。对阳性样本进行排列并将其顶端扩大到一个主要方向上。用于息 肉检测的特征应有很多性质。特征在一定程度上应该是缩放比例和高 宽比不变的。为了实现这一点，在检测阶段采用不同的可能缩》文比例 及高宽比，在下文中将进一步详细描述。特征应该是能够快速计算并 易于计算的。特征应该对所关注的目标提供信息。
按照本发明，应将一个完整容积及多个3D Haar过滤器用于息肉 检测。图7举例说明本发明所采用的1D、 2D和3D Haar过滤器。每
个位置(Xh Yl, zj上的完整容积用公式J]Jv(x,y,z)dxdydz计算。由
xlylzl
于在完整容积中只需计算Haar过滤器的角落值之和，因此计算Haar 过滤器的计算成本大大降低。因为排列数据和训练分类器的过程是耗 费时间的，因此特征最好采用半旋转不变量。即一旦一个主要方向rl 的分类器进行了训练，则自动得出其他方位的分类器。适合这一需要 的六个主要方位的Haar过滤器示于图9。对于其他的八个方位来f兌， 检测阶段的3D数据在旋转，而不必为他们另设一组分类器。由于实际
上只有一个分类器进行训练，因此减少了训练工作，并且减少了过度 配合的几率。
按照本发明，采用概率推进树(PBT)来明确计算具有辨别力的
模型。在训练阶段，反复构建一个概率增大树，其中每个树节点是一 个强分类器。按照经过训练学习的分类器，输入训练组分为两组，左 边组和右边组。然后用这两组反复训练左边和右边的子树。树的每层 是一个增大的变量。按照原有设计，在学习阶段，就要聚集成组，自 动分为不同层的各个组。PBT以分治的方式进行训练和测试，并输出 总的具有辨别力的模型
淑t) = X^fe卩i，咖("w
=E跑卩"，咖味，咖("一)
=E ftl",…"u)"'"他卩i，")《"W
PBT的例子见图8和图10。每个树层li是一个增大的变量。为 了便于模拟并减少PBT的阴性数量，采用一种图IO所示的层叠方法。 PBT的每一级都有一个作为阈值的概率。^ (y x)大于该概率的值 将进入下一级。
下面描述按照本发明的方法训练息肉分类器的一个例子。在示例 中，80个容积用于训练，其中有130个以放射性物质作了标记并进行 分割的息肉。首先，AdaBoost分类器进行训练，对息肉表面是否有 体素进行分类。此种分类器用来快速扫描出大部分平面上的体素。采 用的特征有亮度、倾斜度、高斯型曲率、平均曲率等。 一个AdaBoost 通用算法经过训练，将这些特征结合在一起。在图11中举例说明了若 干结果。
其次，对包含PBT分类器分级的分类器进行训练。根据息肉的分 割及其顶部的标记，可以精确地确定其界框。对训练样本进行朝夂列并 增大到尺寸为24x24x16的13,000个阳性样本。在80个训练容积 中，对倾斜度沿着主要rl方位的体素随机抽样，并已通过第一基本形 状分类器。并且，这些体素不应在任何已作标记的息肉的表面。然后 从尺寸24x24x16显露出3D子容积，用模板中的顶部位置排列这些体
素。获得总共30,000个这种阴性样本。利用这些阳性和阴性样本， 一个PBT对于每个AdaBoost节点，训练最高9层及22个弱分类器。 一旦PBT进行了训练，就用来快速通过训练容积，进行模拟以获 得更多的阴性样本。五个训练过的PBT产生五层分级。由于每个PBT 都计算有辨别力的模型5 (y lrx)，因此阈值可以很容易地在检测 率和假阳性的数量之间调节到平衡。最初的两极的检测率设置为接近 100%。每个PBT在Haar过滤器上包含大约1,000个弱分类器。根据 已训练的PBT分级，通过如图9所示旋转Haar过滤器，获得其他的5 个分级。
按照本发明，现在将参照图12及图13 a-b，说明息肉的检测方 法。采用一种候选产生法以获得一组候选位置(步骤1302)。图12 中举出了候选位置的一个实例。对于每个候选位置，创建9个子容积。 9个子容积包含不同缩放比例的3种容积，每个容积如图12所示，在 3个方向旋转。图12中的顶行表示3个不同缩放比例的子容积。这样 就兼顾了大缩放比例下不同尺寸的可能性。底行表示不同方位的3个 子容积。右图表示rl、 r2、 r3的定义，以及旋转的容积是如何获得 的。
更确切地说，对于容积中的每个候选位置，子容积在不同的缩放 比例下显露出来(步骤1304 )。例如，子容积可以重新进行调节，以
便在原缩放比例的一半中有一个子容积，在原缩放比例中有一个子容 积，在原缩放比例的1.5倍中有第三个子容积。本领域普通技术人员 应该清楚，息肉检测法中采用的三个不同的缩放比例，才艮据临床结果 及减小检测出假阳性的可能性，可以是不同的，没有脱离本发明的范 围和构思。然后将三个子容积调整到60x60x60的容积(步骤1306)。
对于三个子容积中的每一个来说，在不同方位获得三个附加的子 容积。每个子容积从方向r2旋转到方向rl。子容积同时还从方向r3 旋转到rl (步骤1308 )。这使得每个候选位置产生了 9个子容积。
对于9个子容积中的每一个来说，第一层形状分类器能够排除不 在息肉表面的体素(步骤1310)。对于每个通过形状分类器的体素来 说，对其倾斜方向进行计算(步骤1312)。如果倾斜方向属于六个主 要方位中的一个，则PBT分类器的相应分级被激发(步骤1314)。其 次，考虑到现有体素是模板的顶端，对模板的96种不同尺寸和高宽比 的可能的结合进行了试验(步骤1316) 。 96种可能性对应于已经离 线计算过的96个Haar过滤器。应该充分理解，可以采用可能的不同 数量对体素进行分析，而不脱离本发明的范围和构思。
如果体素通过了分级，记下了界框，并且在分级的末层输出其相 应的概率，作为一种置信度量(步骤1318)。对9个子容积中的每一 个重复这一过程(步骤1320)。如果每个子容积都进行了分析以后， 界框仍然存在，则采用具有最高置信度量的界框，该候选材料应确定 为息肉(步骤1322 )。
检测阶段消耗了更多的时间，其结果减小了样品训练的复杂性。 此外，只有对于rl的PBT的一个分级进行了训练，并用于所有其他 方向。这有助于改进检测器的共性，并产生更大的效率。能够看出， 如果样本在右上位置时，比倾斜时获得特征容易得多。对于子容积中 的每个体素来说，除分级PBT之外，还以不同的缩放比例及高宽比运 行一个形状分类器。如果发现是息肉，还可以输出最好的界框。
对于已经描述的在三维结肠图像数据中检测息肉的方法的实施方 案，应该注意到，可以由本领域普通技术人员根据上述教导作出修改 及变化。因此，应该充分理解，可以在本发明公开的具体实施方案中， 在附属权利要求所规定的本发明的范围和构思内作出改变。在^f艮据专 利法要求的细节和特点对本发明作了如上描述后，下面在权利要求部 分对于所要求并希望被专利法保护的权利要求加以陈述。
权利要求
1.在解剖结构的三维(3D)图像容积中检测目标对象的方法，包含的步骤有在图像容积中获得一组候选位置；对于每个候选位置，显露出至少两个不同缩放比例的子容积，每个子容积包含多个体素；对于这些子容积中的每一个来说，在至少两个不同的方位旋转每个子容积；将形状分类器应用于每个子容积；如果子容积中的体素通过了形状分类器，则计算体素的倾斜方向；如果体素的倾斜方向是预先规定的方位中的一个，则将概率分类器应用于体素；采用由概率分类器计算的概率度量作为子容积的置信度量；如果该置信度量高于预定的阈值，则确定该子容积包含了目标对象。
2. 权利要求l中的方法，其中的概率分类器是AdaBoost分类器。
3. 权利要求l中的方法，其中的概率分类器是概率推进树(PBT)分类器。
4. 权利要求1中的方法，其中将概率分类器应用于体素的步骤 中进一步包含下列步骤对子容积应用多个过滤器。
5. 权利要求l中的方法，其中的多个过滤器为Haar过滤器。
6. 权利要求5中的方法，其中所述的过滤器是3DHaar过滤器。
7. 权利要求5中的方法，其中所述的Haar过滤器对应于模板的 不同尺寸与高宽比的多种结合。
8. 权利要求5中的方法，其中所述的Haar过滤器离线地进行计算。
9. 权利要求l中的方法，其中所述的3D图像容积是X射线断层 扫描(CT)图像容积。
10. 权利要求l中的方法，其中所述的解剖结构是结肠。
11. 权利要求l中的方法，其中所述的解剖结构是肺。
12. 权利要求l中的方法，其中所述的解剖结构是淋巴结。
13. 权利要求l中的方法，其中所述的目标对象是息肉。
14. 确定三维(3D)图像容积中已识别的候选位置是否为息肉的 方法，该方法包含的步骤有对于每个候选位置，在3D图像容积中显露出子容积； 在多重缩》文比例下缩i文每个子容积，每个容积包含多个体素； 在至少两个不同方位旋转每个已缩放的子容积，导致对每个候选 位置产生一组子容积；将形状分类器应用于每个子容积；如果子容积中的体素通过了形状分类器，则计算体素的倾斜方向；如果体素的倾斜方向是预先规定的方位中的一个，则将概率分类 器应用于体素；釆用由概率分类器计算的概率度量作为子容积的置信度量； 如果这些置信度量高于预定的阈值，则确定该子容积中包含一个息肉。
15. 权利要求14的方法，其中所述的概率分类器是概率推进树(PBT)分类器。
16. 权利要求14中的方法，其中对体素应用概率分类器的步骤 进一步包含步骤对子容积应用多个Haar过滤器。
17. 权利要求16中的方法，其中所述的Haar过滤器对应于模 板的不同尺寸与高宽比的多种结合。
18. 权利要求16中的方法，其中所述的Haar过滤器离线地进行计算。
19. 权利要求14中的方法，其中所述的3D图像容积是X射线 断层扫描(CT)图像容积。
20. 权利要求14中的方法，其中所述的解剖结构是结肠。
21. 权利要求14中的方法，其中所述的解剖结构是肺。
22. 权利要求14中的方法，其中所述的解剖结构是淋巴结。
全文摘要
本发明涉及在解剖结构的三维(3D)图像容积中，检测目标对象的方法。获得了图像容积中的一组候选位置。对于每个候选位置，显露出至少两个不同缩放比例的子容积。每个子容积包含多个体素。对于每个子容积来说，每个子容积在至少两个不同方位旋转。将形状分类器应用于每个子容积。如果子容积中的体素通过形状分类器，则对体素计算一个倾斜方向。如果体素的倾斜方向是预先规定的方位中的一个，则将概率分类器应用于体素。由概率分类器作为一种置信度量计算的概率度量用于子容积。如果置信度量高于预定的阈值，则确定子容积包含了目标对象。
文档编号G06K9/62GK101116089SQ200580042308
公开日2008年1月30日 申请日期2005年10月7日 优先权日2004年10月12日
发明者A·巴布, D·科马尼丘, L·博戈尼, X·S·周, Z·屠 申请人:西门子共同研究公司;美国西门子医疗解决公司