自动3D脑肿瘤分割和分类的制作方法

本发明涉及肿瘤成像。更具体而言，本发明涉及3d脑肿瘤分割和分类。

背景技术：

在神经外科手术期间，外科医生需要了解肿瘤的位置及其各种成分的边界。通常，临床医生需要花费几个小时从多次术前mri扫描中手动勾画肿瘤类别，这是医疗资源的重大浪费。

技术实现要素：

全自动脑肿瘤分割和分类方法和系统通过机器智能改善医疗保健体验。自动脑肿瘤分割和分类方法和系统利用整个肿瘤分割和多类肿瘤分割来提供准确的分析。

在一个方面，在设备的非瞬态存储器中编程的方法包括执行整个肿瘤分割和执行多类肿瘤分割。整个肿瘤分割包括：数据归一化和初始分割。整个肿瘤分割包括：利用包括t1、t1c、flair和t2的多模式mri、确定最小肿瘤半球、对组织进行分类、基于不同组织结构的强度识别强度控制点、基于强度控制点对每个mri的强度进行归一化、定位初始肿瘤种子并基于肿瘤种子分割肿瘤。多类肿瘤分割包括：特征提取、体素分类和细化。特征提取包括：基于体素的(voxel-wise)特征和上下文特征，其中基于体素的特征包括确定外观特征、纹理特征和位置特征。上下文特征提取还包括：提取mri的每个八分圆中的平均强度、提取多尺度上下文特征并组合来自t1cmri和t2mri的上下文特征。体素分类利用来自特征提取和决策树的信息来对肿瘤进行分类。细化包括病理学引导的细化，以确保肿瘤的正确分类。

在另一方面，一种装置包括：用于存储应用的非瞬态存储器，该应用用于：执行整个肿瘤分割并执行多类肿瘤分割；以及耦合到存储器的处理组件，该处理组件被配置用于处理应用。整个肿瘤分割包括：数据归一化和初始分割。整个肿瘤分割包括：利用包括t1、t1c、flair和t2的多模式mri、确定最小肿瘤半球、对组织进行分类、基于不同组织结构的强度识别强度控制点、基于强度控制点对每个mri的强度进行归一化、定位初始肿瘤种子并基于肿瘤种子分割肿瘤。多类肿瘤分割包括：特征提取、体素分类和细化。特征提取包括：基于体素的特征和上下文特征，其中基于体素的特征包括确定外观特征、纹理特征和位置特征。上下文特征提取还包括：提取mri的每个八分圆中的平均强度、提取多尺度上下文特征并组合来自t1cmri和t2mri的上下文特征。体素分类利用来自特征提取和决策树的信息来对肿瘤进行分类。细化包括病理学引导的细化，以确保肿瘤的正确分类。

在另一方面，一种系统包括磁共振成像设备和计算设备，所述计算设备被配置用于：执行整个肿瘤分割和执行多类肿瘤分割。整个肿瘤分割包括：数据归一化和初始分割。整个肿瘤分割包括：利用包括t1、t1c、flair和t2的多模式mri、确定最小肿瘤半球、对组织进行分类、基于不同组织结构的强度识别强度控制点、基于强度控制点对每个mri的强度进行归一化、定位初始肿瘤种子并基于肿瘤种子分割肿瘤。多类肿瘤分割包括：特征提取、体素分类和细化。特征提取包括：基于体素的特征和上下文特征，其中基于体素的特征包括确定外观特征、纹理特征和位置特征。上下文特征提取还包括：提取mri的每个八分圆中的平均强度、提取多尺度上下文特征并组合来自t1cmri和t2mri的上下文特征。体素分类利用来自特征提取和决策树的信息来对肿瘤进行分类。细化包括病理学引导的细化，以确保肿瘤的正确分类。

附图说明

图1图示了根据一些实施例的多模式mri。

图2图示了根据一些实施例的自动3d脑肿瘤分割和分类方法的示图。

图3图示了根据一些实施例的整个肿瘤分割算法流程的示图。

图4图示了根据一些实施例的最小肿瘤半球定位器算法的示图。

图5图示了根据一些实施例的初始肿瘤种子定位器和整个肿瘤分割算法的示图。

图6图示了多类脑肿瘤分割挑战的示图。

图7图示了根据一些实施例的用于机器学习的基于体素的特征的示图。

图8图示了根据一些实施例的利用邻域信息作为上下文特征的示图。

图9图示了根据一些实施例的随机森林分类的示图。

图10图示了根据一些实施例的病理学引导的细化的示图。

图11图示了根据一些实施例的被配置为实现自动3d脑肿瘤分割和分类方法的示例性计算设备的框图。

图12图示了根据一些实施例的磁共振成像(mri)系统的示图。

具体实施方式

为了加速肿瘤分析的过程，能够实现本文所述的自动3d脑肿瘤分割和分类方法。存在许多脑肿瘤分割挑战，诸如跨受试者大的强度变化、边界不清晰和不规则，以及跨受试者的mri中显著不同的肿瘤外观。

图1图示了根据一些实施例的多模式mri。多模式mri包括t1、t1对比增强(t1c)、t2和t2液体衰减反转恢复(t2flair)。

图2图示了根据一些实施例的自动3d脑肿瘤分割和分类方法的示图。在步骤200中，执行整个肿瘤分割。整个肿瘤分割包括数据归一化202和初始分割204。数据归一化202包括基于解剖结构的强度归一化。初始分割204包括解剖学引导的基于图形的分割。在步骤206中，执行多类肿瘤分割。多类肿瘤分割包括特征提取208、体素分类210和细化212。特征提取208和体素分类210涉及使用感兴趣区域(roi)引导的随机森林。细化212包括病理学引导的细化。每个步骤在本文中进一步描述。在一些实施例中，实现更少或附加的步骤。例如，能够包括获取mri信息和/或显示细化图像的步骤。在一些实施例中，修改步骤的顺序。

与假设肿瘤不影响csf外观的基于脑脊液(csf)的实施方式不同，自动3d脑肿瘤分割和分类方法使用不含或含有最少量肿瘤的脑的部分来估计结构强度。

图3图示了根据一些实施例的整个肿瘤分割算法流程的示图。获取多模式mri300(例如，t1、t1c、flair和t2)。在步骤400中，分析t1cmri以确定最小肿瘤半球。确定最小肿瘤半球能够以任何方式实现，诸如在每个半球中定位肿瘤，并且然后比较两个半球，以确定哪个半球具有较少的肿瘤。在另一个示例中，将半球与已知数据(例如，没有任何肿瘤的半球)进行比较，并且选择与已知数据有较少不同的半球作为最小肿瘤半球。在一些实施例中，确定最小肿瘤半球包括确定flair和t2mri之间的对称差异，这是因为肿瘤很少完全对称地发生，然后执行阈值转换(thresholding)和并集(union)，并且不包含质心的半球是最小肿瘤半球。在步骤302中，实现组织分类以将脑组织分类为白质(wm)、灰质(gm)和脑脊液(csf)。组织分类能够以本领域技术人员已知的任何方式实现。在步骤304中，为每个多模态mri300(例如，t1、t1c、flair、t2)生成强度直方图。在一些实施例中，使用csf、白质(wm)、灰质(gm)的中值和角点从直方图生成强度控制点。在步骤306中，对多模式mri300(t1、t1c、flair、t2)中的每一个执行强度归一化。强度归一化能够以任何方式实现。例如，匹配每个mri的控制点的强度。进一步该示例，脑结构(wm、gm、csf)的强度被映射到参考mri的强度。在步骤500中，定位初始肿瘤种子。在一些实施例中，使用强度直方图定位初始肿瘤种子。能够基于强度(例如，高于阈值的强度被认为是初始肿瘤种子)和输入mri的对称差异来检测初始肿瘤种子。在步骤502中，针对整个肿瘤分割实现基于被称为growcut的基于区域生长的分割的非常快速的分割算法。在一些实施例中，针对多个肿瘤迭代整个肿瘤分割。在步骤308中，使用整个肿瘤分割和强度归一化，针对多类肿瘤分类执行肿瘤分类。例如，利用机器学习来学习识别肿瘤和/或对肿瘤进行分类。在一些实施例中，肿瘤分类将整个生长分割和强度归一化的输出作为输入以对肿瘤进行分类。在一些实施例中，实现更少或附加的步骤。在一些实施例中，修改步骤的顺序。

图4图示了根据一些实施例的最小肿瘤半球定位器算法的示图。确定最小肿瘤半球400能够以任何方式实现，诸如在每个半球中定位肿瘤，并且然后比较两个半球以确定哪个半球具有较少的肿瘤。在另一个实例中，将半球与已知数据(例如，没有任何肿瘤的半球)进行比较，并且选择与已知数据有较少不同的半球作为最小肿瘤半球。在一些实施例中，在步骤402中，确定最小肿瘤半球包括确定flair和t2mri之间的对称差异，这是因为肿瘤很少完全对称地发生，然后在步骤404中执行阈值转换和并集，并且不包含质心的半球是最小肿瘤半球。在一些实施例中，实现更少或附加的步骤。在一些实施例中，修改步骤的顺序。

图5图示了根据一些实施例的整个肿瘤分割算法的示图。在步骤504中，分析每个多模式mri300(t1、t1c、flair、t2)的强度直方图，并且基于控制点设置阈值，并计算t2和flair的对称差异。在步骤506中，实现阈值转换和并集，并且在步骤508中，实现阈值转换和交叉(intersection)。在一些实施例中，阈值转换和并集涉及确定阈值(例如，基于统计)并组合不同的mri图像以形成联合。在一些实施例中，阈值转换和交叉涉及确定阈值(例如，基于控制点)和确定何时不同的mri图像(例如，强度)交叉。将结果组合并且然后在步骤510中进行后处理以确定初始肿瘤种子512。使用初始肿瘤种子512，识别背景种子和目标种子514并将其用在growcut(或另一个)算法516中以确定整个肿瘤518。在一些实施例中，实现更少或附加的步骤。在一些实施例中，修改步骤的顺序。

图6图示了多类脑肿瘤分割挑战的示图。脑600包括整个肿瘤602、瘤腺体604、非增强核心606、活动核心608和坏死610。示图650示出了用于基于外观和病理学规则对复杂医学决策进行建模的示例性公式。

图7图示了根据一些实施例的用于机器学习的基于体素的特征的示图。特征包括外观特征700、纹理特征702和位置特征704。外观特征700能够通过平滑(例如，高斯平滑)来确定以对mri进行去噪。在一些实施例中，在强度被归一化之后将平滑应用于mri，使得结果是平滑的体素强度。纹理特征702能够使用t2方差来分析以确定显影核心的不均匀性和t2上的高斯拉普拉斯(log)以确定结构边界的边缘和斑点。也能够基于整个肿瘤的初始分割来分析位置特征704。

图8图示了根据一些实施例的利用邻域信息作为上下文特征的示图。t1cmri具有丰富的核心信息，并且t2mri具有丰富的边界信息。因此，使用t1c和t2mri，在每个八分圆中提取平均强度、提取多尺度上下文特征，并且组合来自t1c和t2的上下文特征。

图9图示了根据一些实施例的随机森林分类的示图。使用外观特征702、纹理特征704和位置特征706，生成与上下文特征组合的基于体素的特征向量900，并且然后训练的决策树902能够对肿瘤标签进行分类。

图10图示了根据一些实施例的病理学引导的细化的示图。为了避免项目被错误标记，诸如将坏死错误标记为瘤腺体，或者将非增强核心错误标记为瘤腺体，利用病理学引导的细化。例如，使用基于病理学规则的基于上下文的细化或基于图形的细化(例如，使用growcut来生长非增强核心)，能够细化分析以确定准确的结果。

图11图示了根据一些实施例的被配置为实现自动3d脑肿瘤分割和分类方法的示例性计算设备的框图。计算设备1100能够用于获取、存储、计算、处理、传送和/或显示诸如图像和视频之类的信息。通常，适合于实现计算设备1100的硬件结构包括网络接口1102、存储器1104、处理器1106、(一个或多个)i/o设备1108、总线1110和存储设备1112。处理器的选择并不重要只要选择具有足够速度的合适处理器即可。存储器1104能够是本领域中已知的任何常规计算机存储器。存储设备1112能够包括硬盘驱动器、cdrom、cdrw、dvd、dvdrw、高清晰度碟片/驱动器、超高清驱动器、闪存卡或任何其它存储设备。计算设备1100能够包括一个或多个网络接口1102。网络接口的示例包括连接到以太网或其它类型的lan的网卡。(一个或多个)i/o设备1108能够包括以下中的一个或多个：键盘、鼠标、监视器、屏幕、打印机、调制解调器、触摸屏、按钮接口和其它设备。用于执行自动3d脑肿瘤分割和分类方法的自动3d脑肿瘤分割和分类应用1130可能存储在存储设备1112和存储器1104中并且如应用通常被处理那样被处理。计算设备1100中能够包括比图11中示出的更多或更少的组件。在一些实施例中，包括自动3d脑肿瘤分割和分类方法硬件1120。虽然图11中的计算设备1100包括用于自动3d脑肿瘤分割和分类方法的应用1130和硬件1120，但是自动3d脑肿瘤分割和分类方法能够用硬件、固件、软件或其任何组合在计算设备上实现。例如，在一些实施例中，自动3d脑肿瘤分割和分类方法应用1130被编程在存储器中并使用处理器执行。在另一个示例中，在一些实施例中，自动3d脑肿瘤分割和分类方法硬件1120是编程的硬件逻辑，包括专门设计用于实现自动3d脑肿瘤分割和分类方法的门。

在一些实施例中，(一个或多个)自动3d脑肿瘤分割和分类方法应用1130包括若干应用和/或模块。在一些实施例中，模块也包括一个或多个子模块。在一些实施例中，能够包括更少或附加的模块。

合适的计算设备的示例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数字相机、数字摄像机、相机电话、智能电话、便携式音乐播放器、平板计算机、移动设备、视频播放器、视频碟刻录机/播放器(例如，dvd刻录机/播放器、高清碟刻录机/播放器、超高清碟刻录机/播放器)、电视、家庭娱乐系统、增强现实设备、虚拟现实设备、智能首饰(例如，智能手表)或任何其它合适的计算设备。

图12图示了根据一些实施例的磁共振成像(mri)系统的示图。mri设备1200用于获取诸如脑部扫描的mri图像。计算设备1100从mri设备1200接收mri信息(例如，通过在云中下载或访问)，并且计算设备1100执行自动3d脑肿瘤分割和分类方法。

为了利用本文所述的自动3d脑肿瘤分割和分类方法，使用自动3d脑肿瘤分割和分类方法分析mri信息。基于该分析，能够识别肿瘤。基于识别出的肿瘤，外科医生能够执行手术以移除肿瘤。

在操作中，自动3d脑肿瘤分割和分类方法在没有用户输入的情况下高效且准确地识别mri信息中的肿瘤。

虽然本文已经描述了与脑肿瘤相关的自动3d脑肿瘤分割和分类，但是自动3d脑肿瘤分割和分类方法能够适于任何其它肿瘤或疾病。

自动3d脑肿瘤分割和分类的一些实施例

1.一种在设备的非瞬态存储器中编程的方法，包括：

执行整个肿瘤分割；以及

执行多类肿瘤分割。

2.如条款1所述的方法，其中整个肿瘤分割包括：数据归一化和初始分割。

3.如条款1所述的方法，其中整个肿瘤分割包括：

利用包括t1、t1c、flair和t2的多模式mri；

确定最小肿瘤半球；

对组织进行分类；

基于不同组织结构的强度识别强度控制点；

基于强度控制点对每个mri的强度进行归一化；

定位初始肿瘤种子；以及

基于肿瘤种子分割肿瘤。

4.如条款1所述的方法，其中多类肿瘤分割包括：特征提取、体素分类和细化。

5.如条款4所述的方法，其中特征提取包括：确定基于体素的特征和上下文特征，其中基于体素的特征包括外观特征、纹理特征和位置特征。

6.如条款5所述的方法，其中上下文特征提取还包括：提取mri的每个八分圆中的平均强度、提取多尺度上下文特征并组合来自t1cmri和t2mri的上下文特征。

7.如条款6所述的方法，其中体素分类利用来自特征提取和决策树的信息来对肿瘤进行分类。

8.如条款7所述的方法，其中细化包括病理学引导的细化以确保肿瘤的正确分类。

9.一种装置，包括：

用于存储应用的非瞬态存储器，该应用用于：

执行整个肿瘤分割；以及

执行多类肿瘤分割；以及

耦合到存储器的处理组件，该处理组件被配置用于处理应用。

10.如条款9所述的装置，其中整个肿瘤分割包括：数据归一化和初始分割。

11.如条款9所述的装置，其中整个肿瘤分割包括：

利用包括t1、t1c、flair和t2的多模式mri；

确定最小肿瘤半球；

对组织进行分类；

基于不同组织结构的强度识别强度控制点；

基于强度控制点对每个mri的强度进行归一化；

定位初始肿瘤种子；以及

基于肿瘤种子分割肿瘤。

12.如条款9所述的装置，其中多类肿瘤分割包括：特征提取、体素分类和细化

13.如条款12所述的装置，其中特征提取包括：基于体素的特征和上下文特征，其中基于体素的特征包括确定外观特征、纹理特征和位置特征。

14.如条款13所述的装置，其中上下文特征提取还包括：提取mri的每个八分圆中的平均强度、提取多尺度上下文特征并组合来自t1cmri和t2mri的上下文特征。

15.如条款14所述的装置，其中体素分类利用来自特征提取和决策树的信息来对肿瘤进行分类。

16.如条款15所述的装置，其中细化包括病理学引导的细化以确保肿瘤的正确分类。

17.一种系统，包括：

磁共振成像设备；以及

计算设备，被配置用于：

执行整个肿瘤分割；以及

执行多类肿瘤分割。

18.如条款17所述的系统，其中整个肿瘤分割包括：数据归一化和初始分割。

19.如条款17所述的系统，其中整个肿瘤分割包括：

利用包括t1、t1c、flair和t2的多模式mri；

确定最小肿瘤半球；

对组织进行分类；

基于不同组织结构的强度识别强度控制点；

基于强度控制点对每个mri的强度进行归一化；

定位初始肿瘤种子；以及

基于肿瘤种子分割肿瘤。

20.如条款17所述的系统，其中多类肿瘤分割包括：特征提取、体素分类和细化。

21.如条款20所述的系统，其中特征提取包括：基于体素的特征和上下文特征，其中基于体素的特征包括确定外观特征、纹理特征和位置特征。

22.如条款21所述的系统，其中上下文特征提取还包括：提取mri的每个八分圆中的平均强度、提取多尺度上下文特征并组合来自t1cmri和t2mri的上下文特征。

23.如条款22所述的系统，其中体素分类利用来自特征提取和决策树的信息来对肿瘤进行分类。

24.如条款23所述的系统，其中细化包括病理学引导的细化以确保肿瘤的正确分类。

已经根据结合细节的具体实施例描述了本发明，以便于理解本发明的构造和操作的原理。本文对具体实施例及其细节的这种引用并非旨在限制所附权利要求的范围。对于本领域技术人员来说显而易见的是，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以在为说明而选择的实施例中进行其它各种修改。