磁共振结直肠癌T分期预测方法及系统

磁共振结直肠癌t分期预测方法及系统
技术领域
1.本发明涉及一种磁共振结直肠癌t分期预测方法及系统。


背景技术：

2.结直肠癌是全世界最常见的癌症之一，是世界第三大常见癌症和第四大致死癌症，每年100万-200万新发病例并且有70万人死亡。然而，超过一半的新发和死亡病例都能归因于可以控制的危险因素，如吸烟、不健康饮食、大量饮酒、缺乏体育锻炼和体重超标，因此结直肠癌可能是可以预防的。从结直肠癌的形成周期的角度来看，良性息肉发展为晚期肿瘤通常需要5至15年的时间。早期结直肠癌的5年生存率是90％，而晚期结直肠癌的5年生存率不到10％。由于结直肠癌具有隐匿性、病程长、早期诊断和预后良好的特点，因此筛查在结直肠癌的总体预防和控制中起着重要的作用。
3.结直肠癌的筛查技术，按检测方式的不同，可以分为侵入式和非侵入式检测方法，肠镜检测是经典的侵入式筛选方法，也是结直肠癌诊断的最准确的方法。但是在肠镜检测前，需要服药以使肠道排空，而且由于肠管冗长迂回，在镜头前进的过程中，有可能造成肠壁损伤甚至穿孔。相比之下，磁共振成像(magnetic resonance imaging，mri)就是一种非侵入式筛查方法，mri利用磁共振原理，使用计算机重建人体信息。mri是目前推荐度比较高的结直肠癌筛选方法，它的筛选准确度也相对较高，mri能检测到结直肠周围组织状况，根据肿瘤浸润肠壁的程度，可以为结直肠癌的分期提供可靠的依据。但是目前医生通过mri图像对结直肠癌的分期诊断主要是根据医生的经验，总体上准确率并不高。随着深度学习的发展，计算机辅助诊断在医学研究上取得了很大的成功，尤其是在医学图像领域，在ct、mri、x-ray以及超声等图像的处理上都有一定的成果，使得计算机辅助诊断一步步走向现实。结直肠癌特征在mri切片上有较清晰的体现，比如：肿瘤区域会出现不均匀增厚、高低信号不均匀、肿瘤突破结肠壁等特征，由于结直肠的mri影像非常复杂，由于结直肠的影像非常复杂，既有能被肉眼观察到的显著特征，也存在着不容易被察觉的隐性特征，而深度学习在特征提取方面非常擅长，使用深度学习构建结直肠癌的分期预测模型，就能辅助医生对结直肠癌进行准确高效的分期，为患者提高更多的可能性。
4.目前的分期方法主要依赖于影像组学，影像组学是使用一系列对高通量图像特征的定性和定量分析来从医学图像中获得预测或预后信息。最近，影像组学方法已用于分析各种医学图像。通常，影像组学过程包括图像采集、图像分割、特征提取、特征筛选和结果分析。现有的影像组学方法存在的基本问题包括：第一，图像分割步骤通常依赖于手动勾画，该过程既耗时又会受到类间或者类内观察者差异的影响。第二，即使图像分割是准确的，也没有用于图像特征提取的标准评估方法，不同的图像特征将导致不同的分析结果。由于很难验证图像特征的准确性和可重复性，因此可能会由于图像特征的计算错误而引入额外的错误。第三，当前的影像组学方法通常通过使用几组图像特征(包括强度、形状、纹理和小波)来表征医学图像，尽管可以根据不同的选择图像方法计算许多组图像特征，但是几乎不可能将分割区域的所有成像特征都包括在预先设计的特征中。


技术实现要素：

5.有鉴于此，有必要提供一种磁共振结直肠癌t分期预测方法及系统。
6.本发明提供一种磁共振结直肠癌t分期预测方法，该方法包括如下步骤：a.对获取的mri图像进行预处理；b.对预处理后的图像进行图像分割；c.根据图像分割结果，提取所述图像的特征；d.根据提取的图像特征进行深度学习，得到卷积神经网络模型；e.利用集成学习结合上述图像特征和卷积神经网络模型，对结直肠癌的t分期结果进行预测。
7.优选地，所述的步骤a包括：
8.将小于100的像素设置为100，大于800的像素设置为800，之后采用clahe直方图均衡化。
9.优选地，所述的步骤b包括：
10.采用u-net网络对预处理后的mri图像进行分割，以实现图像中肿瘤区域的提取。
11.优选地，所述的步骤c具体包括：
12.利用pyradiomics开源工具对图像分割结果提取2d和3d的特征，其中，所述2d和3d的特征包括：形状特征、一阶灰度特征、高阶灰度特征以及相关的小波变换特征，然后利用lasso算法进行特征筛选，并且对相应的参数进行调节，最后将筛选后得到的特征输入随机森林分类模型。
13.优选地，所述的步骤d具体包括：
14.采用的网络是自定义的4层卷积神经网络，经过4次卷积层和池化层以及相应残差连接，分别在32*32、16*16、8*8、4*4的感受野下进行特征提取，并且加入了空间自注意力模块和通道自注意力模块来给予特征相应的权重，自动化地得到每个特征的重要程度从而提升整个模型的性能，同时加入dropout层以减少模型的过拟合，采用的损失函数为focal-loss损失函数。
15.本发明提供一种磁共振结直肠癌t分期预测系统，该系统包括预处理模块、图像分割模块、特征提取模块、深度学习模块、预测模块，其中：所述预处理模块用于对获取的mri图像进行预处理；所述图像分割模块用于对预处理后的图像进行图像分割；所述特征提取模块用于根据图像分割结果，提取所述图像的特征；所述深度学习模块用于根据提取的图像特征进行深度学习，得到卷积神经网络模型；所述预测模块用于利用集成学习结合上述图像特征和卷积神经网络模型，对结直肠癌的t分期结果进行预测。
16.优选地，所述的预处理模块具体用于：
17.将小于100的像素设置为100，大于800的像素设置为800，之后采用clahe直方图均衡化。
18.优选地，所述的图像分割模块具体用于：
19.采用u-net网络对预处理后的mri图像进行分割，以实现图像中肿瘤区域的提取。
20.优选地，所述的特征提取模块具体用于：
21.利用pyradiomics开源工具对图像分割结果提取2d和3d的特征，其中，所述2d和3d的特征包括：形状特征、一阶灰度特征、高阶灰度特征以及相关的小波变换特征，然后利用lasso算法进行特征筛选，并且对相应的参数进行调节，最后将筛选后得到的特征输入随机森林分类模型。
22.优选地，所述的深度学习模块具体用于：
23.采用的网络是自定义的4层卷积神经网络，经过4次卷积层和池化层以及相应残差连接，分别在32*32、16*16、8*8、4*4的感受野下进行特征提取，并且加入了空间自注意力模块和通道自注意力模块来给予特征相应的权重，自动化地得到每个特征的重要程度从而提升整个模型的性能，同时加入dropout层以减少模型的过拟合，采用的损失函数为focal-loss损失函数。
24.本发明能够对结直肠癌症t分期做出预测，实现了端到端的无侵入磁共振结直肠癌症分期模型，并且利用影像组学结合自定义的卷积神经网络模型，实现了更完备的特征提取，提升了预测的性能，减轻了医生工作量。
附图说明
25.图1为本发明磁共振结直肠癌t分期预测方法的流程图；
26.图2为本发明实施例提供的深度学习卷积神经网络的结构示意图；
27.图3为本发明磁共振结直肠癌t分期预测系统的硬件架构图。
具体实施方式
28.下面结合附图及具体实施例对本发明作进一步详细的说明。
29.参阅图1所示，是本发明磁共振结直肠癌t分期预测方法较佳实施例的作业流程图。
30.步骤s1，对获取的mri图像进行预处理。具体而言：
31.原始mri图像的数值范围为0-1024，故原始mri图像的对比度一般，导致了肿瘤区域的高信号与周围组织的低信号界限非常模糊，此种情况的图像对特征的提取有不好的影响。经过对肿瘤区域对比度的研究，本实施例将小于100的像素设置为100，大于800的像素设置为800，之后采用clahe直方图均衡化，在增强mri图像对比度的同时可以抑制噪声。
32.步骤s2，对预处理后的图像进行图像分割。具体而言：
33.采用u-net网络对预处理后的mri图像进行分割，以实现图像中肿瘤区域的提取。本实施例主要根据医生手工标注的数据输入网络进行训练，得到分割结果用以完成整体端到端模型的搭建，u-net是比较常用的分类网络，利用结合下采样和上采样的信息来提升分割的准确度。
34.步骤s3，根据图像分割结果，提取所述图像的特征。具体而言：
35.利用pyradiomics开源工具对图像分割结果提取2d和3d的特征，其中，所述2d和3d的特征包括：形状特征、一阶灰度特征、高阶灰度特征以及相关的小波变换特征，一共采集得到997个相关特征，然后利用lasso算法进行特征筛选，并且对相应的参数进行调节，最后将筛选后得到的特征输入随机森林分类模型，预测肿瘤的分期情况。其中，分类模型采用的随机森林使用的是scikit-learn实现，并且在相关数据集上进行了5折的交叉验证对其超参数进行调整，其中随机搜索中包含的超参数包括：树的数量、每个决策树的最大级别数、拆分节点所需的最少数据样本、在每个叶上的节点、每次拆分时考虑的最大特征数以及是否使用引导样本来构建树。其中，所述树的数量为100到10,000；所述每个决策树的最大级别数为10到100；所述拆分节点所需的最少数据样本为2到10；所述在每个叶上的节点为1到5；所述每次拆分时考虑的最大特征数包括：特征总数或其平方根。
36.步骤s4，根据提取的图像特征进行深度学习，得到卷积神经网络模型。具体而言：
37.首先，由于mri图像各个方向的采样率各不相同，而且三维的卷积神经网络训练往往需要很多的数据，经过实验验证采用2d的输入方法对于特征的提取更加有效。由于结直肠癌症t分期主要基于肿瘤对肠壁的浸润程度，所以提取适当的感兴趣区域至关重要，少了会漏掉有用的信息，区域太大则会引入过多噪声，经过实验验证对于各个图片采集相应的图像分割结果提取相关的感兴趣区域的最佳方案为采用肿瘤体积最大的那一张切片和前后的两张作为网络的输入。
38.由于输入大小的限制，本实施例采用的网络(请参考图2)是自定义的4层卷积神经网络，经过4次卷积层和池化层以及相应残差连接，分别在32*32、16*16、8*8、4*4的感受野下进行特征提取，并且加入了空间自注意力模块和通道自注意力模块来给予特征相应的权重，自动化地得到每个特征的重要程度从而提升整个模型的性能，同时加入dropout层以减少模型的过拟合，最终特征被输入全局平均池化模块和全连接层进行分类得到最终的预测结果。由于医学数据集的不平衡性，本实施例采用的损失函数为focal-loss损失函数。
39.fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
40.其中
41.其中，y∈{-1,+1}是最终预测的结果，而p
t
∈{0,1}是标签y＝1的类别的估计概率，此外超参数γ平滑了简单样本的权重。训练采用五折交叉验证的方式，并且引入了数据增强，数据增强的方式具体包括：翻转、旋转、裁剪、变形、缩放、增加噪声、模糊。学习率采用1e-5，且根据轮数依次递减，梯度衰减参数1e-3。
42.步骤s5，利用集成学习结合上述图像特征和卷积神经网络模型，对结直肠癌的t分期结果进行预测。具体而言：
43.本实施例中，卷积神经网络模型包括stem模块4个卷积模块，首先输入的是stem模块对输入图像进行初步的卷积处理，输出分辨率为56*56的特征图，然后分别输入四个卷积模块，每个卷积模块内包括1
×
1的卷积，深度可分离卷积，激活函数，注意力模块，并且有着残差连接，并且在最后的特征图模块后加入了aspp模块来提取多尺度特征。
44.参阅图3所示，是本发明磁共振结直肠癌t分期预测系统10的硬件架构图。该系统包括：预处理模块101、图像分割模块102、特征提取模块103、深度学习模块104、预测模块105。其中：
45.所述预处理模块101用于对获取的mri图像进行预处理。具体而言：
46.原始mri图像的数值范围为0-1024，故原始mri图像的对比度一般，导致了肿瘤区域的高信号与周围组织的低信号界限非常模糊，此种情况的图像对特征的提取有不好的影响。经过对肿瘤区域对比度的研究，本实施例中，所述预处理模块101将小于100的像素设置为100，大于800的像素设置为800，之后采用clahe直方图均衡化，在增强mri图像对比度的同时可以抑制噪声。
47.所述图像分割模块102用于对预处理后的图像进行图像分割。具体而言：
48.所述图像分割模块102采用u-net网络对预处理后的mri图像进行分割，以实现图像中肿瘤区域的提取。本实施例主要根据医生手工标注的数据输入网络进行训练，得到分割结果用以完成整体端到端模型的搭建，u-net是比较常用的分类网络，利用结合下采样和
上采样的信息来提升分割的准确度。
49.所述特征提取模块103用于根据图像分割结果，提取所述图像的特征。具体而言：
50.所述特征提取模块103利用pyradiomics开源工具对图像分割结果提取2d和3d的特征，其中，所述2d和3d的特征包括：形状特征、一阶灰度特征、高阶灰度特征以及相关的小波变换特征，一共采集得到997个相关特征，然后利用lasso算法进行特征筛选，并且对相应的参数进行调节，最后将筛选后得到的特征输入随机森林分类模型，预测肿瘤的分期情况。其中，分类模型采用的随机森林使用的是scikit-learn实现，并且在相关数据集上进行了5折的交叉验证对其超参数进行调整，其中随机搜索中包含的超参数包括：树的数量、每个决策树的最大级别数、拆分节点所需的最少数据样本、在每个叶上的节点、每次拆分时考虑的最大特征数以及是否使用引导样本来构建树。其中，所述树的数量为100到10,000；所述每个决策树的最大级别数为10到100；所述拆分节点所需的最少数据样本为2到10；所述在每个叶上的节点为1到5；所述每次拆分时考虑的最大特征数包括：特征总数或其平方根。
51.所述深度学习模块104用于根据提取的图像特征进行深度学习，得到卷积神经网络模型。具体而言：
52.首先，由于mri图像各个方向的采样率各不相同，而且三维的卷积神经网络训练往往需要很多的数据，经过实验验证采用2d的输入方法对于特征的提取更加有效。由于结直肠癌症t分期主要基于肿瘤对肠壁的浸润程度，所以提取适当的感兴趣区域至关重要，少了会漏掉有用的信息，区域太大则会引入过多噪声，经过实验验证对于各个图片采集相应的图像分割结果提取相关的感兴趣区域的最佳方案为采用肿瘤体积最大的那一张切片和前后的两张作为网络的输入。
53.由于输入大小的限制，本实施例采用的网络(请参考图2)是自定义的4层卷积神经网络，经过4次卷积层和池化层以及相应残差连接，分别在32*32、16*16、8*8、4*4的感受野下进行特征提取，并且加入了空间自注意力模块和通道自注意力模块来给予特征相应的权重，自动化地得到每个特征的重要程度从而提升整个模型的性能，同时加入dropout层以减少模型的过拟合，最终特征被输入全局平均池化模块和全连接层进行分类得到最终的预测结果。由于医学数据集的不平衡性，本实施例采用的损失函数为focal-loss损失函数。
54.fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
55.其中
56.其中，y∈{-1,+1}是最终预测的结果，而p
t
∈{0,1}是标签y＝1的类别的估计概率，此外超参数γ平滑了简单样本的权重。训练采用五折交叉验证的方式，并且引入了数据增强，数据增强的方式具体包括：翻转、旋转、裁剪、变形、缩放、增加噪声、模糊。学习率采用1e-5，且根据轮数依次递减，梯度衰减参数1e-3。
57.所述预测模块105用于利用集成学习结合上述图像特征和卷积神经网络模型，对结直肠癌的t分期结果进行预测。具体而言：
58.本实施例中，卷积神经网络模型包括stem模块4个卷积模块，首先输入的是stem模块对输入图像进行初步的卷积处理，输出分辨率为56*56的特征图，然后分别输入四个卷积模块，每个卷积模块内包括1
×
1的卷积，深度可分离卷积，激活函数，注意力模块，并且有着残差连接，并且在最后的特征图模块后加入了aspp模块来提取多尺度特征。
59.虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。