基于深度学习的预测消融术后肝脏肿瘤形态变化的方法与流程

本发明属于微创消融领域，具体涉及一种基于深度学习的预测消融术后肝脏肿瘤形态变化的方法。

背景技术：

近年来，影像引导下的经皮热消融技术已成为肝、肾、乳腺等实体肿瘤极具前景的微创治疗方法之一。其中微波消融是通过超声、ct等影像引导，将消融针插入肿瘤内，通过释放电磁波使局部区域极性分子震荡摩擦产生高温，最终达到灭活肿瘤的目的。与传统手术相比，具有创伤小、疗效好、恢复快、可重复、费用低且可提高机体免疫功能等优点，可以实现无需开刀而彻底灭活肿瘤的良好疗效。但不同于开腹手术中肿瘤及治疗区域的清晰看见，微创消融是在术中二维影像引导下进行，其治疗区域是否完全覆盖肿瘤并达到足够的安全边界需通过术前和术后影像的对比进行评估。然而由于术前术后患者体位变化及治疗过程导致的软组织形变，包括消融灭活区域的组织收缩和肝脏再生体积膨胀，导致仅通过术前术后二维影像对比或三维刚性配准无法进行精确疗效评估，所以如何通过术前术后影像在三维空间上实现肿瘤消融的精准疗效评估是目前的难点问题。

针对术前术后影像三维空间的评估，点云配准是近年来常用的配准方式。目前，有大量的方法被研究用于图像三维空间配准，其中迭代最近邻法(iterativeclosestpoint，icp)是最经典常用的算法。后续算法大多在其基础上改进优化而成。但无论哪种方法，在其配准过程中，都仅考虑了图像自身特征，没有将临床治疗过程中高温导致的局部组织收缩等变化考虑在内，导致评估结果的不准确性。

深度学习源于人工神经网络，可通过样本数据的学习，掌握内在规律，进而实现同类数据的推测和判断，是实现人工智能的必经路径。随着医疗信息化和数字化诊断的发展，医疗数据量的不断增加，深度学习将可能为医疗领域提供强有力的支持。

技术实现要素：

为了解决现有技术存在的上述问题，本发明目的在于提供一种基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，可以辅助医生进行术后的疗效评估，并为患者后续治疗方案的制定奠定基础。

本发明所采用的技术方案为：一种基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，包括以下步骤：

获取患者肝脏肿瘤消融前后的医学影像图；

对消融前后的医学影像图进行预处理；

从消融前的医学影像图中获取术前肝脏区域图和术前肝脏肿瘤区域图；从消融后的医学影像图中获取术后肝脏区域图、术后消融区域图和术后肝脏肿瘤残影图；

利用cpd点集配准算法对术前肝脏区域图和术后肝脏区域图进行配准，获得变换矩阵，根据变换矩阵获得术前肝脏区域图和术前肝脏肿瘤区域图对应于消融后的医学影像图的配准结果图；

将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图作为u-net网络输入，并将术后肝脏肿瘤残影图作为真实训练标签，通过随机梯度下降法对网络进行训练，获得肝脏肿瘤预测模型；

利用肝脏肿瘤预测模型预测患者进行消融术后的肝脏肿瘤形态变化。

作为优选方式，所述医学影像图包括ct和mri。

作为优选方式，对消融前后的医学影像图进行预处理具体为：根据肝脏影响因素对数据集进行分组划分，然后读取消融前后的医学影像图，对医学影像图进行高斯去噪、灰度直方图均衡化、增强图像对比度、旋转、翻转和数据标准化处理。

作为优选方式，所述肝脏影响因素包括肝脏状态、肿瘤类型和病理类型。

作为优选方式，从消融前的医学影像图中获取术前肝脏区域图和术前肝脏肿瘤区域图；从消融后的医学影像图中获取术后肝脏区域图、术后消融区域图和术后肝脏肿瘤残影图具体为：利用最大流/最小割算法标记出术前肝脏区域图、术前肝脏肿瘤区域图、术后肝脏区域图、术后消融区域图和术后肝脏肿瘤残影图，分割过程中引入基于整体和局部区域表征的势能场函数作为约束，建立自适应混合变分模型，利用最大流/最小割算法对能量方程最小化进行求解，在不同图像区域有选择性地根据灰度信息、边界梯度、纹理信息及局部上下文信息确定目标区域。

作为优选方式，利用cpd点集配准算法对术前肝脏区域图和术后肝脏区域图进行配准，获得变换矩阵，根据变换矩阵获得术前肝脏区域图和术前肝脏肿瘤区域图对应于消融后的医学影像图的配准结果图具体为：获取术前肝脏区域图和术后肝脏区域图的肝脏数据点集，令术前肝脏区域图的术前肝脏数据点集为xi＝(x1,...,xn)^t，作为目标点集，令术后肝脏区域图的术后肝脏数据点集为yi＝(y1,...,ym)^t，作为模板点集；目标点集作为高斯混合模型的数据集，模板点集作为高斯混合模型的内核点集，n和m分别代表目标点集和模板点集的个数，则高斯混合模型的概率密度函数为：

其中，p(x|m)是高斯混合模型的概率密度基函数，ω表示溢出点的权重值，取值范围为0～1，x为平移变量；

计算最小负对数似然函数：

根据梯度下降法，对其进行求导可得：

其中，

采用最大期望算法进行迭代，求解出模型的最佳参数，最后根据选取的点云数据和变换参数，计算术前肝脏区域图对应于术后的医学影像图中的位置。

作为优选方式，将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图作为u-net网络输入，并将术后肝脏肿瘤残影图作为真实训练标签，通过随机梯度下降法对网络进行训练，获得肝脏肿瘤预测模型具体为：将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图组成4通道的图像数据，然后输入u-net进行编码，获得像素分类概率图，将像素分类概率图中概率≥0.5的像素点判定为肝脏肿瘤，概率<0.5的像素点判定为背景，最终获得预测的肝脏肿瘤区域。

作为优选方式，获得像素分类概率图具体为：将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图组成4通道的图像数据，然后输入u-net进行编码，输入数据经过两次卷积，每次卷积的输出通道数为64，获得特征图f1，进行最大池化；再经过两次卷积，每次卷积的输出通道数为128，获得特征图f2，进行最大池化；再经过两次卷积，每次卷积的输出通道数为256，获得特征图f3，进行最大池化；再经过两次卷积，每次卷积的输出通道数为512，获得特征图f4，进行最大池化；再经过两次卷积，每次卷积的输出通道数为1024，获得特征图f5，此过程为编码过程；再对f5进行解码，即将f5进行上采样并与f4进行concat，经过两次卷积，每次卷积的输出通道数为512，获得特征图f4_1；对f4_1进行上采样并与f3进行concat，经过两次卷积，每次卷积的输出通道数为256，获得特征图f3_1；对f3_1进行上采样并与f2进行concat，经过两次卷积，每次卷积的输出通道为128，获得特征图f2_1；对f2_1进行上采样并与f1进行concat，经过两次卷积，每次卷积的输出通道数为64，再经过一次卷积，输出通道数为2，得到像素分类概率图；所述concat为将两个特征图在通道维度上进行连接。

作为优选方式，所述卷积具体为：其中，符号*表示卷积运算符；l表示层数；i表示l-1层的第i个神经元节点；j表示l层的第j个神经元节点；mj表示选择的输入特征图的集合；是指l-1层的输出，作为l层的输入；f表示激活函数；上述最大池化即在一个区域中选取最大值，代表该区域特征。

作为优选方式，在网络进行训练过程中构建dice损失函数，用于缓解背景和前景像素不平衡问题，所述dice损失函数具体为：其中，p表示预测的肝脏肿瘤区域，t表示真实肝脏肿瘤区域。

本发明的有益效果为：

本发明提供了一种基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，通过该方法解决消融后疗效评估的问题，其利用cpd点集配准和u-net网络预测消融术后肝脏肿瘤的形态变化，通过对消融前后的肝脏轮廓进行配准，获得变换关系，进而获得术前肝脏肿瘤在术后ct/mri图像的位置，最后使用u-net网络预测患者进行消融手术后的肝脏肿瘤形态变化。本发明能够预测患者消融后的肝脏肿瘤形态变化，为定量评估消融区是否完全覆盖肿瘤提供依据，有利于医生对术后疗效进行精准评估，并为患者后续治疗方案奠定了基础。

附图说明

图1为本发明的流程图；

图2为本发明中交互式分割结果图；

图3为本发明中cpd配准结果图；

图4为本发明中u-net网络结构图；

图5为本发明中肿瘤形变修正结果图。

具体实施方式

如图1所示，本实施例提供了一种基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，包括以下步骤：

步骤1，获取患者肝脏肿瘤消融前后的ct/mri扫描序列图像。

步骤2，对消融前后的医学影像图进行预处理，具体为：根据肝脏影响因素对数据集进行分组划分，然后读取消融前后的ct/mri扫描序列图像，对ct/mri扫描序列图像进行高斯去噪、灰度直方图均衡化、增强图像对比度、旋转、翻转和数据标准化处理，以增加样本多样性，同时加快网络收敛速度。其中，所述肝脏影响因素包括肝脏状态、肿瘤类型和病理类型等因素。

步骤3，从消融前的医学影像图中获取术前肝脏区域图和术前肝脏肿瘤区域图；从消融后的医学影像图中获取术后肝脏区域图、术后消融区域图和术后肝脏肿瘤残影图，如图2所示，具体为：利用最大流/最小割(max-flow/min-cut)算法标记出术前肝脏区域图、术前肝脏肿瘤区域图、术后肝脏区域图、术后消融区域图和术后肝脏肿瘤残影图，在分割过程中引入基于整体和局部区域表征的势能场函数作为约束，建立自适应混合变分模型，利用最大流/最小割算法对能量方程最小化进行求解，在不同图像区域有选择性地根据灰度信息、边界梯度、纹理信息及局部上下文信息确定目标区域。在单层数据上的简单交互，就能快速完成三维分割，医生在手动修改分割结果，高效准确的完成图像标注。

步骤4，利用cpd点集配准算法对术前肝脏区域图和术后肝脏区域图进行配准，获得变换矩阵，根据变换矩阵获得术前肝脏区域图和术前肝脏肿瘤区域图对应于消融后的医学影像图的配准结果图，具体为：

获取术前肝脏区域图和术后肝脏区域图的肝脏数据点集，令术前肝脏区域图的术前肝脏数据点集为xi＝(x1,...,xn)^t，作为目标点集，令术后肝脏区域图的术后肝脏数据点集为yi＝(y1,...,ym)^t，作为模板点集；目标点集作为高斯混合模型的数据集，模板点集作为高斯混合模型的内核点集，n和m分别代表目标点集和模板点集的个数，则高斯混合模型的概率密度函数为：

其中，p(x|m)是高斯混合模型的概率密度基函数，ω表示溢出点的权重值，取值范围为0～1，x为平移变量；为了获得σ，计算最小负对数似然函数：

根据梯度下降法，对其进行求导可得：

其中，

采用最大期望算法(expectation-maximizationalgorithm,em)进行迭代，求解出模型的最佳参数，最后根据选取的点云数据和变换参数，计算术前肝脏区域图对应于术后的ct/mri扫描序列图像中的位置。通过对肝脏的配准，间接实现肝脏肿瘤消融区域和肝脏肿瘤的配准。配准结果如图3所示，1为灭活肿瘤残影，2为术前肿瘤配准变换结果，3为术后消融区域，可见初步配准结果与实际肿瘤形态有所差异。

步骤5，将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图作为u-net网络输入，并将术后肝脏肿瘤残影图作为真实训练标签，通过随机梯度下降法对网络进行训练，获得肝脏肿瘤预测模型具体为：将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图作为u-net网络输入，并将术后肝脏肿瘤残影图作为真实训练标签，通过随机梯度下降法对网络进行训练，获得肝脏肿瘤预测模型具体为：将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图组成4通道的图像数据，然后输入u-net进行编码，获得像素分类概率图，将像素分类概率图中概率≥0.5的像素点判定为肝脏肿瘤，概率<0.5的像素点判定为背景，最终获得预测的肝脏肿瘤区域。

如图4所示，其中，获得像素分类概率图具体为：将消融前的医学影像图、术前肝脏区域图、术前肝脏肿瘤区域图和配准结果图组成4通道的图像数据，然后输入u-net进行编码，输入数据经过两次卷积，每次卷积的输出通道数为64，获得特征图f1，进行最大池化；再经过两次卷积，每次卷积的输出通道数为128，获得特征图f2，进行最大池化；再经过两次卷积，每次卷积的输出通道数为256，获得特征图f3，进行最大池化；再经过两次卷积，每次卷积的输出通道数为512，获得特征图f4，进行最大池化；再经过两次卷积，每次卷积的输出通道数为1024，获得特征图f5，此过程为编码过程；再对f5进行解码，即将f5进行上采样并与f4进行concat，经过两次卷积，每次卷积的输出通道数为512，获得特征图f4_1；对f4_1进行上采样并与f3进行concat，经过两次卷积，每次卷积的输出通道数为256，获得特征图f3_1；对f3_1进行上采样并与f2进行concat，经过两次卷积，每次卷积的输出通道为128，获得特征图f2_1；对f2_1进行上采样并与f1进行concat，经过两次卷积，每次卷积的输出通道数为64，再经过一次卷积，输出通道数为2，得到像素分类概率图；所述concat为将两个特征图在通道维度上进行连接。

所述卷积具体为：其中，符号*表示卷积运算符；l表示层数；i表示l-1层的第i个神经元节点；j表示l层的第j个神经元节点；mj表示选择的输入特征图的集合；是指l-1层的输出，作为l层的输入；f表示激活函数；上述最大池化即在一个区域中选取最大值，代表该区域特征。

在网络进行训练过程中构建dice损失函数，用于缓解背景和前景像素不平衡问题，所述dice损失函数具体为：其中，p表示预测的肝脏肿瘤区域，t表示真实肝脏肿瘤区域。训练过程中进行一次反向传播的损失包括预测出来的肿瘤位置和真实位置之间的偏差计算出来的损失。

步骤6，利用肝脏肿瘤预测模型预测患者进行消融术后的肝脏肿瘤形态变化。根据步骤2中数据集的分组情况，可以得到多个u-net网络模型，再根据肝脏基本形态、肿瘤类型、病理类型等输入到对应的网络模型中并预测肿瘤的变化。根据测肿瘤的变化和实际肿瘤的变化，然后修正步骤4所得肿瘤形态，肿瘤形变修正结果如图5所示，5为灭活肿瘤残影，4为术前肿瘤配准变换结果，6为术后消融区域，可见修正后肿瘤形变基本与灭活后实际形态相符。

本发明提供了一种基于深度学习的预测消融术后肝脏肿瘤形态变化的方法，通过该方法解决消融后疗效评估的问题，其利用cpd点集配准和u-net网络预测消融术后肝脏肿瘤的形态变化，通过对消融前后的肝脏轮廓进行配准，获得变换关系，进而获得术前肝脏肿瘤在术后ct/mri图像的位置，最后使用u-net网络预测患者进行消融手术后的肝脏肿瘤形态变化。本发明能够预测患者消融后的肝脏肿瘤形态变化，为定量评估消融区是否完全覆盖肿瘤提供依据，有利于医生对术后疗效进行精准评估，并为患者后续治疗方案奠定了基础。

本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。