一种II期结直肠癌预后预测方法、系统、智能终端和计算机可读存储介质

一种ii期结直肠癌预后预测方法、系统、智能终端和计算机可读存储介质
技术领域
1.本发明涉及医学图像处理领域，涉及基于ii期结直肠癌的腹部、盆腔ct图像的原发灶及周围淋巴结的影像组学和深度学习特征预测患者预后的方法。对ii期结直肠癌患者的预后准确评估是临床医生实现个体化医疗的关键步骤。


背景技术：

2.结直肠癌(colorectal cancer,crc)是最常见的胃肠道恶性肿瘤之一，发病率和死亡率在所有恶性肿瘤中排名第三。目前，局域性结直肠癌的主要治疗方法是完全手术切除。术后辅助化疗(adjuvant chemotherapy，act)有助于清除微转移和手术残留，防止远处转移的形成。但是act的生存益处与癌症的分期有关。i期crc患者5年生存率较高(85％～95％)，不推荐使用act。act可以提高iii期crc患者的总体生存时间，其作为治疗方案已成为国际共识。然而，考虑到act的成本、毒性和有限的生存效益，对于ii期crc患者术后是否给予act治疗一直存在争议。对于具有t4肿瘤、梗阻、血管浸润、分化差等高位因素的ii期crc患者通常推荐采用act，但由于这些预后指标大多与病理有关，无法在术前获得以辅助治疗决策。因此，迫切需要找到更准确的预后预测因子，筛选出预后不良的高危ii期crc患者，协助临床医生制定个性化治疗方案，提高患者生存率。
3.在临床实践中，计算机断层扫描(computer tomography，ct)作为最常用的crc图像学检查方法，具有无创、术前可用性和可重复性等优点。由于传统的ct图像解译方法只能提取少量的表观结构图像特征(如密度、大小、边缘等)，无法对肿瘤的深部成像表型进行研究。因此，人们提出并发展了影像组学(radiomics)和深度学习(deep learning,dl)方法，通过分析海量的图像特征来解码肿瘤异质性的成像表型。目前放射组学方法已被广泛应用于肿瘤分期、疗效评估、转移预测和crc预后评估。与影像组学特征不同，dl模型生成的高维深层图像特征可以表示ct图像中肿瘤的深层图像信息。通常使用端到端卷积神经网络建立基于深度学习的预测或分类模型来探索肿瘤的图像特征。目前已有一些研究探讨了深度学习方法在结直肠癌临床诊断中的应用价值，但鲜有研究利用深度学习方法来评估结直肠癌患者的预后。


技术实现要素：

4.为了克服上述技术缺陷，本发明的第一个目的在于提供一种ii期结直肠癌预后预测方法，使用影像组学-深度学习联合模型预测ii期结直肠癌患者的预后，其中，所述影像组学-深度学习联合模型的构建方法包括以下步骤：
5.步骤s1：运用影像组学方法提取及筛选已知预后情况的ct图像上的与ii期结直肠癌预后相关的影像组学特征，以构建原发灶-淋巴结影像组学联合模型；
6.步骤s2：运用深度学习方法提取及筛选已知预后情况的ct图像上的与ii期结直肠癌预后相关的深度图像特征，以构建深度学习模型；
7.步骤s3：将原发灶-淋巴结影像组学联合模型和深度学习模型进行融合，以构建影像组学-深度学习联合模型；
8.步骤s4：使用影像组学-深度学习联合模型获得的预测值预测预测ii期结直肠癌患者的预后。
9.本技术中的“预后”包括患者的复发情况和/或生存情况(例如生存时间)。无病生存期和总生存期是用于反应患者的生存时间。
10.本技术中，在构建影像组学模型和深度学习模型时，所有ct图像均需已知预后信息，因为预后情况是模型预测的对象，因此需要提供一个标准给机器“学习”。关于样本量的问题，单独的影像组学模型构建可以基于有限的数据集，一般大于100的样本量为佳。本专利中深度学习模型构建采用迁移学习方法，若要直接训练一个深度学习模型，一般需要至少》500组已知预后信息的ct图像的样本量。
11.进一步地，步骤s1包括步骤：
12.步骤s11：利用图像重采样算法将所有已知预后情况的ct图像的分辨率统一为1mm
×
1mm
×
1mm，并提取ct图像上的原发灶及其周围淋巴结影像组学特征，运用分割出的感兴趣区域(包括原发灶及其周围淋巴结)，结合原始ct图像量化计算感兴趣区域内的影像组学特征，利用重新采样的ct图像计算原始图像特征、log图像特征和小波图像特征；
13.步骤s12：首先通过lasso回归分析来筛选最优的原发灶影像组学特征和淋巴结影像组学特征，然后采用人工少数类过采样法(synthetic minority oversampling technique,smote)对样本(即已知预后情况的患者)进行重采样(步骤s11中的“重采样算法”是对图像做归一化处理，使所有图像的分辨率达到一致。而此处重采样是针对样本，由于数据集中不同类别的样本数量不平衡，在训练模型时样本不平衡会使模型产生偏移，因此，采用smote重采样方法将训练集中的样本进行重采样，让不同类别的样本数量达到一致。)，最后利用选定的最优的原发灶影像组学特征和淋巴结影像组学特征训练支持向量机分类器，分别建立原发灶影像组学预测模型和淋巴结影像组学预测模型；
14.步骤s13：比较原发灶影像组学预测模型和淋巴结影像组学预测模型的预测值，然后选择采用最大融合策略、最小融合策略或加权平均融合策略来融合原发灶影像组学预测模型和淋巴结影像组学预测模型以构建最优的影像组学模型，即原发灶-淋巴结影像组学联合模型。
15.最大融合策略、最小融合策略、加权平均融合策略是三种不同的预测值融合方法，由于不知道选择哪一种最佳，因此，需要将三种方法都进行实验，选择预测结果最好的一种方法。
16.最大融合策略和最小融合策略是比较原发灶和淋巴结模型的预测结果，选择两者中的最大值或最小值作为融合模型的预测结果。
17.加权平均融合策略则是对原发灶模型和淋巴结模型的预测结果分别加上权重计算获得融合模型的结果。在加权平均融合过程中，利用动态权重因子对原发灶影像组学预测模型和淋巴结影像组学预测模型的预测得分进行加权，通过系统地将权重因子从0.1增加到0.9获得第一预测值，如果原发灶模型的预测结果a权重因子为0.1，淋巴结模型的预测结果b权重因子为0.9，则原发灶-淋巴结融合模型的结果为0.1*a+0.9*b，第一预测值的取值范围为(0～1)，以构建最优的影像组学模型，即原发灶-淋巴结影像组学联合模型。
18.进一步地，步骤s2包括步骤：
19.步骤s21：首先使用三次插值法将ct图像重采样为1mm
×
1mm
×
5mm分辨率；然后通过固定窗口中心和窗口宽度，将每个ct图像的体素值缩放到[-125,225]范围内，并归一化为灰度值范围[-1,1)；最后根据每个ct图像中原发灶及淋巴结的中心位置，从归一化后图像中剪切一个包含3d原发灶及周围淋巴结224mm
×
224mm
×
24mm的立方区域；
[0020]
步骤s22：首先运用旋转、平移、镜像、随机剪切、加噪、缩放和mixup算法技术对ct图像进行扩增，以确保每个亚组的病例数的比例近似为1:1；然后运用3d卷积层、最大池化层、relu非线性激活函数和全连接层设计和搭建深度卷积神经网络的分割模型；relu非线性激活函数的公式为f(x)＝max(0,x)，relu函数max是比较0和x，取二者中的最大值；
[0021]
步骤s23：采用迁移学习方法提取原发灶和淋巴结的深层图像特征，在深度卷积神经网络的分割模型的基础上，固定深度卷积神经网络的深层特征层，并将全连通层与下行池层连接，建立初始的深度学习模型，采用学习率为0.0001的adam优化器和交叉熵对初始的深度学习模型进行训练，得到训练好的深度学习模型。“迁移学习方法”是指将步骤s22中分割模型学习到的深度图像特征应用于分类模型的构建，即保留分割网络中图像特征提取参数，只训练与分类相关的少部分参数。
[0022]
进一步地，步骤s3包括步骤：
[0023]
步骤s31：比较原发灶-淋巴结影像组学联合模型生成的第一预测值和深度学习模型生成的第二预测值，然后选择最大融合策略、最小融合策略或加权平均融合策略来融合原发灶-淋巴结影像组学联合模型生成的第一预测值和深度学习模型生成的第二预测值以构建影像组学-深度学习联合模型；
[0024]
步骤s32：使用影像组学-深度学习联合模型生成的预测值预测患者生存状态风险和复发状态风险的风险概率值，风险概率值的取值范围为(0～1)，当0.5≤风险概率值＜1时，ct图像对应的患者被划分为高风险组，当0＜风险概率值＜0.5时，ct图像对应的患者被划分为低风险组；然后运用kaplan-meier生存分析方法分析高风险组和低风险组中的患者的无病生存期和总生存期。
[0025]
最大融合策略、最小融合策略、加权平均融合策略是三种不同的预测值融合方法，由于不知道选择哪一种最佳，因此，需要将三种方法都进行实验，选择预测结果最好的一种方法。
[0026]
最大融合策略和最小融合策略是比较原发灶-淋巴结影像组学联合模型生成的第一预测值和深度学习模型生成的第二预测值，选择两者中的最大值或最小值作为影像组学-深度学习联合模型的预测结果。
[0027]
加权平均融合策略则是对原发灶-淋巴结影像组学联合模型和深度学习模型的预测结果分别加上权重计算获得影像组学-深度学习联合模型的预测结果。在加权平均融合过程中，利用动态权重因子对原发灶-淋巴结影像组学联合模型和深度学习模型的预测结果进行加权，通过系统地将权重因子从0.1增加到0.9获得第一预测值，如果原发灶-淋巴结影像组学联合模型的预测结果c的权重因子为0.1，深度学习模型的预测结果d的权重因子为0.9，则影像组学-深度学习联合模型的预测结果为0.1*c+0.9*d，影像组学-深度学习联合模型的预测值的取值范围为(0～1)，以构建最优的影像组学模型，即原发灶-淋巴结影像组学联合模型。
[0028]
无病生存期和总生存期是反应患者的生存时间。高低风险分组将样本分为两类(高风险组和低风险组)，然后运用kaplan-meier生存分析方法，观察两类样本的无病生存期和总生存期。影像组学-深度学习联合模型可以预测出每位患者的预后状态概率风险(包括生存状态和复发状态)，根据预测概率值大小，以0.5为阈值将所有患者分为高风险组和低风险组，然后运用kaplan-meier生存分析方法观察两类样本的无病生存期和总生存期。
[0029]
本技术的第二个方面提供一种ii期结直肠癌预后预测系统，包括影像组学模块、深度学习模块、影像组学-深度学习联合模型建立模块；
[0030]
所述影像组学模块用于运用影像组学方法提取及筛选已知预后情况的ct图像上的与ii期结直肠癌预后相关的影像组学特征，以构建原发灶-淋巴结影像组学联合模型；
[0031]
所述深度学习模块用于运用深度学习方法提取及筛选已知预后情况的ct图像上的与ii期结直肠癌预后相关的深度图像特征，以构建深度学习模型；
[0032]
所述影像组学-深度学习联合模型建立模块用于将原发灶-淋巴结影像组学联合模型和深度学习模型进行融合，以构建影像组学-深度学习联合模型从而预测ii期结直肠癌患者的预后。
[0033]
进一步地，所述影像组学模块包括图像归一化及特征提取单元、原发灶影像组学预测模型建立单元、淋巴结影像组学预测模型建立单元，和信息融合及联合模型建立单元；
[0034]
所述图像归一化及特征提取单元用于利用图像重采样算法将所有已知预后情况的ct图像的分辨率统一为1mm
×
1mm
×
1mm，并运用影像组学特征提取方法提取ct图像上的原发灶及其周围淋巴结影像组学特征，利用重新采样的ct图像计算原始图像特征、log图像特征和小波图像特征；
[0035]
所述原发灶影像组学预测模型建立单元和所述淋巴结影像组学预测模型建立单元分别用于首先通过lasso回归分析来筛选最优的原发灶影像组学特征和淋巴结影像组学特征，然后采用人工少数类过采样法(synthetic minority oversampling technique,smote)对样本进行重采样，最后利用选定的最优的原发灶影像组学特征和淋巴结影像组学特征训练支持向量机分类器，分别建立原发灶影像组学预测模型和淋巴结影像组学预测模型；
[0036]
所述信息融合及联合模型建立单元用于比较原发灶影像组学预测模型和淋巴结影像组学预测模型的预测值来选择最大融合策略、最小融合策略或加权平均融合策略来融合原发灶影像组学预测模型和淋巴结影像组学预测模型以构建最优的影像组学模型，即原发灶-淋巴结影像组学联合模型。
[0037]
进一步地，所述深度学习模块包括图像预处理单元、分割模型建立单元，和预测模型建立单元；
[0038]
所述图像预处理单元用于首先使用三次插值法将ct图像重采样为1mm
×
1mm
×
5mm分辨率；然后通过固定窗口中心和窗口宽度，将每个ct图像的体素值缩放到[-125,225]范围内，并归一化为灰度值范围[-1,1)；最后根据每个ct图像中原发灶及淋巴结的中心位置，从归一化后图像中剪切一个包含3d原发灶及周围淋巴结224mm
×
224mm
×
24mm的立方区域；
[0039]
所述分割模型建立单元用于首先运用旋转、平移、镜像、随机剪切、加噪、缩放和mixup算法技术对ct图像进行扩增，以确保每个亚组的病例数的比例近似为1:1；然后运用3d卷积层、最大池化层、relu非线性激活函数和全连接层设计和搭建深度卷积神经网络的
分割模型；
[0040]
所述预测模型建立单元用于采用迁移学习方法提取原发灶和淋巴结的深层图像特征，在深度卷积神经网络的分割模型的基础上，固定深度卷积神经网络的深层特征层，并将全连通层与下行池层连接，建立初始的深度学习模型，采用学习率为0.0001的adam优化器和交叉熵对初始的深度学习模型进行训练，得到训练好的深度学习模型。
[0041]
进一步地，影像组学-深度学习联合模型建立模块还用于比较原发灶-淋巴结影像组学联合模型生成的第一预测值和深度学习模型生成的第二预测值，然后选择最大融合策略、最小融合策略或加权平均融合策略来融合原发灶-淋巴结影像组学联合模型生成的第一预测值和深度学习模型生成的第二预测值以构建影像组学-深度学习联合模型，所述影像组学-深度学习联合模型用于预测患者生存状态风险和复发状态风险的风险概率值，所述风险概率值的取值范围为(0～1)，当0.5≤风险概率值＜1时，ct图像对应的患者被划分为高风险组，当0＜风险概率值＜0.5时，ct图像对应的患者被划分为低风险组；然后运用kaplan-meier生存分析方法分析高风险组和低风险组中的患者的无病生存期和总生存期。
[0042]
本技术的第三个方面提供一种智能终端，包括：
[0043]
存储器，所述存储器用于存储可执行程序代码；以及
[0044]
处理器，所述处理器用于读取所述存储器中存储的可执行程序代码以执行上述ii期结直肠癌预后预测方法。
[0045]
所述智能终端包括但不限于pc、便携计算机、移动终端等具有显示和处理功能的设备。
[0046]
本技术的第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时，实现上述ii期结直肠癌预后预测方法。
[0047]
述计算机可读存储介质包括但不限于：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0048]
采用了上述技术方案后，与现有技术相比，具有以下有益效果：
[0049]
本发明通过融合ct扫描原发病灶和周围淋巴结的放射组学特征和深度学习特征，建立了ii期crc患者的预后预测模型，本发明与目前国内外文献报道的其他ii期结直肠癌患者预后评估方法相比，解决了常规临床预后预测因子数据单一、术前无法获得、预测准确率低的问题，提供了ii期结直肠癌患者的术前、非侵入性性、可重复性的预后预测方法，辅助临床筛选出预后不良的高危患者，及时协助制定临床治疗决策，实现精准用药。
附图说明
[0050]
图1是本发明的ii期结直肠癌预后预测系统的模块图；
[0051]
图2是本发明的ii期结直肠癌预后预测方法的流程图；
[0052]
图3是不同预测模型roc曲线图，其中，a和c分别为基于原发灶图像特征模型(tumor)、淋巴结图像特征模型(ln)和影像组学联合模型(radiomics_fusion)的dfs预测模型和os预测模型生成的roc曲线；b和d分别为基于影像组学联合模型(radiomics_fusion)、深度学习模型(cnn)和影像组学-深度学习联合模型(fusion)的dfs预测模型和os预测模型
生成的roc曲线。
具体实施方式
[0053]
以下结合附图与具体实施例进一步阐述本发明的优点。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
[0054]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0055]
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0056]
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
[0057]
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
[0058]
实施例
[0059]
使用开源python库，即simpleitk、pyradiomics、pytorch、scikit-learn、scikit-feature、scipy，来开发下述各个预测模型。
[0060]
如图1所示，本实施例提供一种ii期结直肠癌患者预后预测系统，包括影像组学模块、深度学习模块、影像组学-深度学习联合模型建立模块。
[0061]
如图2所示，本技术采用上述ii期结直肠癌患者预后预测系统进行预后预测方法包括以下步骤：
[0062]
步骤s1：所述影像组学模块用于运用影像组学方法提取及筛选已知预后情况的ct图像上的与ii期结直肠癌预后相关的影像组学特征，以构建原发灶-淋巴结影像组学联合模型
[0063]
所述影像组学模块用于运用影像组学方法提取及筛选与ii期结直肠癌预后相关的影像组学特征，构建影像组学模型：在ii期结直肠癌患者的腹部、盆腔ct图像上分别对原发灶及周围淋巴结进行感兴趣(region of interest,roi)的3d半自动勾画；通过影像组学特征提取方法提取原发灶和周围淋巴结的影像组学特征；通过最小绝对收缩和选择算子(least absolute shrinkage and selection operator,lasso)回归分析来筛选最优影像组学特征，采用了人工少数类过采样法(synthetic minority oversampling technique,smote)对样本进行重采样，以确保每个亚组的病例数的比例近似为1:1；利用选定的原发肿瘤和淋巴结的影像组学特征训练支持向量机分类器，构建影像组学模型；
[0064]
构建原发灶-淋巴结联合模型具体包括以下步骤：
[0065]
步骤11：获取ct图像；
[0066]
步骤12：原发灶图像分割和淋巴结图像分割：回顾性搜集和整理ii期结直肠癌患者的腹部和/或盆腔ct图像数据，建立ii期结直肠癌预后研究数据库并将图像以dicom(digital imaging and communication in medicine)格式输出。在ii期结直肠癌患者的腹部、盆腔ct图像上分别对原发灶及周围淋巴结进行感兴趣(region of interest,roi)的3d半自动勾画。
[0067]
步骤13：影像组学特征提取：由于不同腹部、盆腔ct图像的分辨率有一定的差异，利用图像重采样算法将各组图像分辨率统一标准化至1mm
×
1mm
×
1mm；运用影像组学特征提取方法提取原发灶和周围淋巴结影像组学特征；初始特征池涉及三种类型的图像特征，分别是原始图像特征、测井图像特征和小波图像特征，利用重新采样的ct图像计算原始图像特征，分别利用高斯拉普拉斯滤波器和三维小波滤波器滤波后的图像，计算log像特征和小波图像特征，每种类型的图像特征主要由形状特征、直方图特征和纹理特征三个子类型组成。
[0068]
步骤14：分别建立原发灶影像组学预测模型和淋巴结影像组学预测模型：通过最小绝对收缩和选择算子(least absolute shrinkage and selection operator,lasso)回归分析进行筛选最优影像组学特征，采用人工少数类过采样法(synthetic minority oversampling technique,smote)对样本进行重采样，以确保每个亚组的病例数的比例近似为1:1；为了预测ii期结直肠癌患者的预后状况，利用选定的最优的原发肿瘤和淋巴结的影像组学特征训练支持向量机分类器，分别建立基于原发灶特征和基于淋巴结特征的两种影像组学预测模型。
[0069]
步骤15：建立原发灶-淋巴结影像组学联合模型并获得第一预测值：为了提高基于ct影像组学模型的性能，采用一种信息融合方法将基于原发灶特征模型和基于淋巴结特征模型生成的预测值进行融合。在此步骤中，分别采用三种信息融合策略，即最大融合策略、最小融合策略和加权平均融合策略来融合预测得分；对于最大和最小融合策略，通过比较两种基于ct影像组学特征模型的预测得分来选择最大或最小值的融合策略；在权重融合过程中，利用动态权重因子对两种模型的预测得分进行加权，通过系统地将权重因子从0.1增加到0.9获得了融合得分，并构建最优影像组学联合模型。
[0070]
步骤s2：所述深度学习模块用于运用深度学习方法提取及筛选已知预后情况的ct图像上的与ii期结直肠癌预后相关的深度图像特征，以构建深度学习模型。所述深度学习模块用于运用深度学习方法提取及筛选与ii期结直肠癌预后相关的深度图像特征，构建深度学习模型：运用图像标准化方法，将腹部、盆腔ct图像转化为灰度图像；定位原发灶及周围淋巴结的位置，在基础上提取3d病灶区域图像矩阵；利用数据增强方法对原发灶样本进行数据扩增；采用迁移学习方法提取原发肿瘤和淋巴结的深度图像特征并构建深度学习模型；
[0071]
具体包括以下步骤：
[0072]
步骤21：获取ct图像；
[0073]
步骤22：建立深度卷积神经网络分割模型：(1)首先使用三次插值法将ct图像重采样为1mm
×
1mm
×
5mm分辨率；然后通过固定窗口中心和窗口宽度，将每个ct图像的体素值缩放到[-125,225]范围内，运用图像标准化方法，将腹部、盆腔ct影像转化为灰度图像，并归
一化为灰度值范围[-1,1)；最后根据每个ct图像中原发灶及淋巴结的中心位置，从归一化后图像中剪切一个包含3d原发灶及周围淋巴结224mm
×
224mm
×
24mm的立方区域；(2)首先运用旋转、平移、镜像、随机剪切、加噪、缩放和mixup算法技术对ct图像进行扩增，以确保每个亚组的病例数的比例近似为1:1；然后运用3d卷积层、最大池化层、relu非线性激活函数和全连接层设计和搭建深度卷积神经网络的分割模型。
[0074]
步骤23：提取原发灶和淋巴结的深层图像特征：采用迁移学习方法提取原发灶和淋巴结的深层图像特征。
[0075]
步骤24：建立深度学习模型并获得第二预测值：在深度卷积神经网络的分割模型的基础上，固定深度卷积神经网络的深层特征层，并将全连通层与下行池层连接，建立初始的深度学习模型，采用学习率为0.0001的adam优化器和交叉熵对初始的深度学习模型进行训练，得到训练好的深度学习模型。
[0076]
步骤s3：建立影像组学-深度学习联合模型：所述影像组学-深度学习联合模型建立模块将原发灶-淋巴结影像组学联合模型生成的第一预测值和深度学习模型生成的第二预测值进行融合，以构建影像组学-深度学习联合模型，具体包括以下步骤：
[0077]
利用信息融合方法将两个模型生成的预测值进行融合并构建影像组学-深度学习联合模型。在此步骤中，分别采用三种信息融合策略，即最大融合策略、最小融合策略和加权平均融合策略来融合预测得分；对于最大和最小融合策略，通过比较两种基于ct影像组学特征和深度学习特征模型的预测得分来选择最大或最小值的融合策略；在权重融合过程中，利用动态权重因子对两种模型的预测得分进行加权；通过系统地将权重因子从0.1增加到0.9获得了融合得分。在基于ct图像特征的模型生成的预测值(0～1)的中间点使用默认操作阈值0.5，将病例分为高、低风险病例组。然后，选择合适的数据统计与分析方法，包括一致性指数(harrell'concordance index，c-index)分析、kaplan-meier图和cox比例风险回归模型等，来衡量和评估模型预测患者无病生存期(disease-free survival，dfs)和总生存期(overall survival，os)的高或低风险评分之间的关联。
[0078]
步骤s4：使用影像组学-深度学习联合模型预测ii期结直肠癌患者的预后。
[0079]
效果例
[0080]
1、实验条件：
[0081]
本实验数据来自复旦大学附属肿瘤医院中230名ii期结直肠癌患者(130男性和100女性，平均年龄59.730
±
11.902岁，年龄区间31-83岁)，其中170例为训练集，60例为测试集。
[0082]
2、试验步骤：使用上述实施例中构建得到的影像组学-深度学习联合模型来预测ii期结直肠癌患者的预后。
[0083]
3、实验结果及分析：
[0084]
本发明通过融合ct扫描原发病灶和周围淋巴结的放射组学特征和深度学习特征，建立了ii期crc患者的预后预测模型。相较于单一影像组学模型或者单一深度学习模型，本技术的联合模型的预测效能最高：生成的预测dfs和os的auc值分别为0.76
±
0.08(95％ci:[0.57,0.89])和0.91
±
0.05(95％ci:[0.77,0.97])。采用生存分析方法，dfs联合模型和os联合模型的c-指数值(c-指数值是指“一致性指数c-index”)分别为0.73(95％ci:[0.57,0.89])和0.9(95％ci:[0.77,0.97])(见图3)。auc值和c-指数值都是反应模型的预测性能
的指标，值越大性能越好。与近年来关于ii期结直肠癌患者预后评估的同类研究相比，新方法优于同类研究ii期结直肠癌患者预后评估方法的实验结果，因此，该方法具有一定的优越性，可以辅助临床筛选出预后不良的高危患者，及时协助制定临床治疗决策，实现精准用药。
[0085]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0086]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0087]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0088]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0089]
以上所描述的生成系统的实施方式仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0090]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。另外，在本技术各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0091]
应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效
实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。