脑肿瘤患者生存分析方法及系统

1.本发明涉及一种脑肿瘤患者生存分析方法及系统。


背景技术：

2.当前恶性肿瘤是全球范围内发病率最高的疾病之一，其中位于脑部的恶性肿瘤发展速度快，术后易复发，因此普遍预后较差。为了能够辅助医生制定个性化的治疗方案如放疗、化疗、是否需要切除肿瘤以及肿瘤切除程度等，对患者进行准确的生存风险评估显得十分重要。
3.传统的生存分析方法使用一些统计学方法来对生存时间做出预测，使用深度学习的方法并且利用到医学图像数据的模型比较少，使用具有多尺度信息的医学图像数据的模型更少。基于医学图像的生存模型可以分为三类：一是基于人工设计特征的影像组学模型；二是基于深度特征的影像组学模型；三是基于卷积神经网络或其他深度网络的模型。影像组学模型从医学图像中提取了成百上千个人工设计的特征，但是这些低阶特征可能并不能完全表征病变区域内的图像异质性。基于深度特征的影像组学模型只是使用卷积神经网络作为特征提取器，然后再将提取的特征放入cox比例风险模型中进行建模。基于深度学习的模型由于其层次化的特性，与人工设计的模型相比，能够表示更为抽象的高阶特征，所以深层网络构建的生存模型通常具有更好的性能。
4.当前现有的基于深度学习的生存分析模型以卷积神经网络搭建，但是卷积神经网络只有局部感受野，因此需要提前手动分割的肿瘤区域并对整脑影像进行裁剪，保留肿瘤部分，这样的处理一方面需要耗费大量人力手动划分肿瘤区域，另一方面只能使用裁剪后的小面积区域，无法利用整脑影像多个尺度的信息。
5.然而，具有多尺度信息的图像中同时包含全局信息与细粒度的信息，并且整脑影像中的非肿瘤区域和肿瘤位置等信息和肿瘤进展情况相关，因此，急需一种能够充分利用整脑影像并且将医学图像中的多尺度信息纳入模型，从而进一步提高模型的准确性以及可解释性的方法或者系统。


技术实现要素：

6.有鉴于此，有必要提供一种脑肿瘤患者生存分析方法及系统，其能够充分利用整脑影像并且将医学图像中的多尺度信息纳入模型，从而进一步提高模型的准确性以及可解释性。
7.本发明提供一种脑肿瘤患者生存分析方法，该方法包括如下步骤：a.收集肿瘤患者的临床信息，建立数据集，所述临床信息包括：核磁共振图像数据、存活状态及生存时间；b.对所述数据集中的图像数据格式转换、重采样及配准；c.将所述数据集中患者的整脑影像作为模型的输入，对数据集中的数据进行标准化；d.根据患者的临床信息将数据集划分为训练集和测试集；e.建立transformer神经网络，对所述训练集进行预训练提取全局尺度影像特征，获取类激活映射图；f.根据获取的类激活映射图，裁剪肿瘤区域，输入网络并提
取局部尺度影像特征，得到分出的图像块；g.根据全局尺度对所有分出的图像块进行排序，获取贡献程度较高的部分图像块提取细粒度影像特征；h.根据获取的全局尺度影像特征、局部尺度影像特征及细粒度影像特征，做交叉注意力操作，融合多个尺度的信息，输出预测结果；i.进行模型的训练，选择效果好的结果作为最终的模型并保存。
8.具体地，所述核磁共振图像数据包括多模态核磁共振图像；每一例患者的核磁共振图像包含四个常用模态；所述四个常用模态为t1、t2、t1c、flair模态。
9.具体地，所述的步骤b包括：
10.首先将dicom格式转化为nifti格式；接着对图像进行重采样；然后对图像进行配准，将多个时间点中对应于空间同一位置的点一一对应起来，配准时使用刚性配准模式，使用互信息作为图像相似度度量；
11.所述的步骤c包括：
12.使用灰度归一化、直方图均衡化方法对数据集中的图像数据进行标准化处理。
13.具体地，所述的步骤e具体包括：
14.构建全局视觉transformer预训练网络和具有三个分支的视觉transformer网络；将三维整脑影像分成k个固定大小的三维图像块，映射为固定长度d的一维向量，作为全局视觉transformer模型的输入；所述四个常用模态作为四个图像通道处理，模型以负对数似然损失对参数进行优化，提取全局特征，全局视觉transformer预训练网络中的自注意力机制将注意力放在肿瘤区域；训练结束后保存效果最好的模型，根据该模型参数分布获取的相关类激活映射图用于定位肿瘤大致区域。
15.具体地，所述的步骤g具体包括：
16.通过排序模块根据全局尺度的输出对所有分出的图像块进行排序，获取贡献程度较高的部分图像块提取细粒度影像特征；通过排序模块对每个输入一维向量通过一层线性投影整合每个向量的局部信息，然后通过全局池化，得到一个包含全局信息的向量，最后，将全局向量和每个一维向量进行拼接，输入到线性分类模块中预测每个向量的贡献；从具有最高贡献且与该区域重叠的相应块中通过transformer的细粒度分支提取特征。
17.本发明还提供一种脑肿瘤患者生存分析系统，该系统包括数据集建立单元、数据处理单元、划分单元、全局尺度影像特征提取单元、局部尺度影像特征提取单元、细粒度影像特征提取单元、输出单元、选择单元，其中：所述数据集建立单元用于收集肿瘤患者的临床信息，建立数据集，所述临床信息包括：核磁共振图像数据、存活状态及生存时间；所述数据处理单元用于对所述数据集中的图像数据格式转换、重采样及配准；所述数据处理单元还用于将所述数据集中患者的整脑影像作为模型的输入，对数据集中的数据进行标准化；所述划分单元用于根据患者的临床信息将数据集划分为训练集和测试集；所述全局尺度影像特征提取单元用于建立transformer神经网络，对所述训练集进行预训练提取全局尺度影像特征，获取类激活映射图；所述局部尺度影像特征提取单元用于根据获取的类激活映射图，裁剪肿瘤区域，输入网络并提取局部尺度影像特征，得到分出的图像块；所述细粒度影像特征提取单元用于根据全局尺度对所有分出的图像块进行排序，获取贡献程度较高的部分图像块提取细粒度影像特征；所述输出单元用于根据获取的全局尺度影像特征、局部尺度影像特征及细粒度影像特征，做交叉注意力操作，融合多个尺度的信息，输出预测结果；所述选择单元用于进行模型的训练，选择效果好的结果作为最终的模型并保存。
18.具体地，所述核磁共振图像数据包括多模态核磁共振图像；每一例患者的核磁共振图像包含四个常用模态；所述四个常用模态为t1、t2、t1c、flair模态。
19.具体地，所述的数据处理单元具体用于：
20.首先将dicom格式转化为nifti格式；接着对图像进行重采样；然后对图像进行配准，将多个时间点中对应于空间同一位置的点一一对应起来，配准时使用刚性配准模式，使用互信息作为图像相似度度量；
21.以及使用灰度归一化、直方图均衡化方法对数据集中的图像数据进行标准化处理。
22.具体地，所述的全局尺度影像特征提取单元具体用于：
23.构建全局视觉transformer预训练网络和具有三个分支的视觉transformer网络；将三维整脑影像分成k个固定大小的三维图像块，映射为固定长度d的一维向量，作为全局视觉transformer模型的输入；所述四个常用模态作为四个图像通道处理，模型以负对数似然损失对参数进行优化，提取全局特征，全局视觉transformer预训练网络中的自注意力机制将注意力放在肿瘤区域；训练结束后保存效果最好的模型，根据该模型参数分布获取的相关类激活映射图用于定位肿瘤大致区域。
24.具体地，所述的细粒度影像特征提取单元具体用于：
25.通过排序模块根据全局尺度的输出对所有分出的图像块进行排序，获取贡献程度较高的部分图像块提取细粒度影像特征；通过排序模块对每个输入一维向量通过一层线性投影整合每个向量的局部信息，然后通过全局池化，得到一个包含全局信息的向量，最后，将全局向量和每个一维向量进行拼接，输入到线性分类模块中预测每个向量的贡献；从具有最高贡献且与该区域重叠的相应块中通过transformer的细粒度分支提取特征。
26.本技术构建了一个使用医学图像数据并且可以用于肿瘤生存预测和分析的深度学习模型，通过裁剪、切片、重组的方式获取多个尺度的整脑磁共振影像，并用视觉transformer代替普通的卷积神经网络，从而更好地捕捉到整体信息和细粒度信息，将医学图形中的多个尺度的信息结合起来，进行生存分析；进一步提高了模型的准确性以及可解释性。
附图说明
27.图1为本发明脑肿瘤患者生存分析方法的流程图；
28.图2为本发明脑肿瘤患者生存分析系统的结构示意图。
具体实施方式
29.下面结合附图及具体实施例对本发明作进一步详细的说明。
30.参阅图1所示，是本发明脑肿瘤患者生存分析方法较佳实施例的作业流程图。
31.步骤s1，收集肿瘤患者的临床信息，建立数据集。所述临床信息包括：核磁共振图像数据、存活状态及生存时间。具体而言：
32.收集肿瘤患者的核磁共振图像以及存活状态和生存时间等临床信息，建立数据集。每一例患者的数据包括核磁共振图像、存活状态和生存时间等临床信息，核磁共振图像包括四个常用模态，即t1、t2、t1c、flair模态。本步骤中获得的患者的影像来自医院和tcia
(the cancer imaging archive，癌症影像存档)和tcga(the cancer genome atlas，癌症基因图谱)中共同收录的患者影像数据集。本技术对数据集的大小不做限定，数据集越大，泛化能力越强。
33.步骤s2，对所述数据集中的图像数据格式转换、重采样及配准。
34.具体而言：
35.dicom(digital imaging and communications in medicine)是指医疗数字影像传输协定，是用于医学影像处理、储存、打印、传输的一组通用的标准协定。医疗器械上获得的数据是dicom格式，首先将dicom格式转化为nifti(neuroimaging informatics technology initiative)格式；然后对图像进行重采样，提高图像的分辨率；接着对图像进行配准，将多个时间点中对应于空间同一位置的点一一对应起来，配准时使用刚性配准模式，使用互信息作为图像相似度度量，重采样及配准完成后图像的空间分辨率均为1mm。
36.步骤s3，将所述数据集中患者的整脑影像作为模型的输入，对数据集中的数据进行标准化。具体而言：
37.取数据集中患者的整脑影像作为模型输入，对数据集中的数据进行标准化。使用灰度归一化、直方图均衡化等方法对数据集中的数据进行标准化处理。
38.步骤s4，根据患者的临床信息将数据集划分为训练集和测试集。具体而言：
39.根据患者的临床信息划分训练集和测试集。根据患者的性别、年龄、是否放疗、是否化疗、基因型、生存状态、存活时间等临床信息将数据集划分为训练集和测试集；划分时使用相关系数作为阈值，例如使用0.05作为阈值，当阈值大于0.05时说明训练集和测试集没有显著差异，当所述临床信息的相关性系数都大于0.05时，说明训练集和测试集的划分是合理的。用于计算相关性的函数包括但不限于：皮尔逊相关系数、斯皮尔曼相关系数等。
40.步骤s5，建立transformer神经网络，对所述训练集进行预训练提取全局尺度影像特征，获取类激活映射图。具体而言：
41.建立transformer神经网络，对训练集整脑数据进行预训练获取类激活映射图。构建全局视觉transformer预训练网络和具有三个分支的视觉transformer网络。将三维整脑影像分成k个固定大小的三维图像块，映射为固定长度d的一维向量，作为全局视觉transformer模型的输入。本技术中涉及的四个常用模态作为四个图像通道处理，模型以负对数似然损失对参数进行优化，提取全局特征，全局视觉transformer中的自注意力机制将注意力放在肿瘤区域。训练结束后保存效果最好的模型，根据该模型参数分布获取的相关类激活映射图用于定位肿瘤大致区域。
42.步骤s6，根据获取的类激活映射图，裁剪肿瘤区域，输入网络并提取局部尺度影像特征，得到分出的图像块。具体而言：
43.根据全局尺度类激活映射图在原图上裁剪肿瘤区域，提取局部尺度影像特征。由于肿瘤和瘤周区域的大小因患者而异，本技术对裁剪出的区域填充零值，使用自适应嵌入方法保证每个患者输入变换器的序列长度固定为l，作为局部视觉transformer模型的输入。为了同时处理整图输入和区域输入并尽可能缩短训练时间，将预训练的模型参数加载到多尺度模型的全局分支中。
44.步骤s7，根据全局尺度对所有分出的图像块进行排序，获取贡献程度较高的部分图像块提取细粒度影像特征。具体而言：
informatics technology initiative)格式；然后对图像进行重采样，提高图像的分辨率；接着对图像进行配准，将多个时间点中对应于空间同一位置的点一一对应起来，配准时使用刚性配准模式，使用互信息作为图像相似度度量，重采样及配准完成后图像的空间分辨率均为1mm。
60.所述数据处理单元102还用于将所述数据集中患者的整脑影像作为模型的输入，对数据集中的数据进行标准化。具体而言：
61.所述数据处理单元102取数据集中患者的整脑影像作为模型输入，对数据集中的数据进行标准化。使用灰度归一化、直方图均衡化等方法对数据集中的数据进行标准化处理。
62.所述划分单元103用于根据患者的临床信息将数据集划分为训练集和测试集。具体而言：
63.所述划分单元103根据患者的临床信息划分训练集和测试集。根据患者的性别、年龄、是否放疗、是否化疗、基因型、生存状态、存活时间等临床信息将数据集划分为训练集和测试集；划分时使用相关系数作为阈值，例如使用0.05作为阈值，当阈值大于0.05时说明训练集和测试集没有显著差异，当所述临床信息的相关性系数都大于0.05时，说明训练集和测试集的划分是合理的。用于计算相关性的函数包括但不限于：皮尔逊相关系数、斯皮尔曼相关系数等。
64.所述全局尺度影像特征提取单元104用于建立transformer神经网络，对所述训练集进行预训练提取全局尺度影像特征，获取类激活映射图。具体而言：
65.所述全局尺度影像特征提取单元104建立transformer神经网络，对训练集整脑数据进行预训练获取类激活映射图。构建全局视觉transformer预训练网络和具有三个分支的视觉transformer网络。将三维整脑影像分成k个固定大小的三维图像块，映射为固定长度d的一维向量，作为全局视觉transformer模型的输入。本技术中涉及的四个常用模态作为四个图像通道处理，模型以负对数似然损失对参数进行优化，提取全局特征，全局视觉transformer中的自注意力机制将注意力放在肿瘤区域。训练结束后保存效果最好的模型，根据该模型参数分布获取的相关类激活映射图用于定位肿瘤大致区域。
66.所述局部尺度影像特征提取单元105用于根据获取的类激活映射图，裁剪肿瘤区域，输入网络并提取局部尺度影像特征，得到分出的图像块。具体而言：
67.所述局部尺度影像特征提取单元105根据全局尺度类激活映射图在原图上裁剪肿瘤区域，提取局部尺度影像特征。由于肿瘤和瘤周区域的大小因患者而异，本技术对裁剪出的区域填充零值，使用自适应嵌入方法保证每个患者输入变换器的序列长度固定为l，作为局部视觉transformer模型的输入。为了同时处理整图输入和区域输入并尽可能缩短训练时间，将预训练的模型参数加载到多尺度模型的全局分支中。
68.所述细粒度影像特征提取单元106用于根据全局尺度对所有分出的图像块进行排序，获取贡献程度较高的部分图像块提取细粒度影像特征。具体而言：
69.所述细粒度影像特征提取单元106通过排序模块根据全局尺度的输出对所有分出的图像块进行排序，获取贡献程度较高的部分图像块提取细粒度影像特征。通过排序模块对每个输入一维向量通过一层线性投影整合每个向量的局部信息，然后通过全局池化，得到一个包含全局信息的向量，最后，将全局向量和每个一维向量进行拼接，输入到线性分类
模块中预测每个向量的贡献。进一步从具有最高贡献且与该区域重叠的相应块中通过transformer的细粒度分支提取特征。
70.所述输出单元107用于根据获取的全局尺度影像特征、局部尺度影像特征及细粒度影像特征，做交叉注意力操作，融合多个尺度的信息，输出预测结果。具体而言：
71.所述输出单元107根据获取的全局尺度影像特征、局部尺度影像特征和细粒度影像特征做交叉注意力操作，融合多个尺度的信息，最终输出预测结果。首先针对局部尺度影像特征和细粒度尺度影像特征，分别设计为注意力机制中的q和k、v，执行注意力操作，输出与全局尺度特征执行相同操作，最终得到输出结果风险值。
72.所述选择单元108用于进行模型的训练，选择效果好的结果作为最终的模型并保存。具体而言：
73.首先，所述选择单元108进行模型训练和选择：
74.训练时使用包括但不限于旋转、平移、缩放、裁剪等方法进行数据增强提高模型的泛化能力；
75.使用随机梯度下降作为优化器进行训练，使用负对数似然函数作为损失函数，使用权重衰减以防止过拟合。对于输入的图像数据，网络输出的结果是一个风险值，所述风险值当作一个预测因子。
76.通过网络输出的风险值计算一致性系数，使用一致性系数作为模型的评价标准。
77.接着，所述选择单元108模型训练完成之后绘制出km曲线(kaplan meier曲线)、诺模图、校准曲线等评价模型的效果。
78.本技术首次结合了视觉transformer网络与多尺度信息，解决了现有的基于卷积神经网络的深度学习生存预测方法需要手动分割肿瘤的问题，以及只能利用图像数据中的单一尺度信息，无法利用多尺度信息的问题。
79.虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。