基于知识蒸馏的乳腺癌动态超声影像分子亚型预测方法与流程

本申请涉及计算机辅助医疗领域，尤其涉及一种基于知识蒸馏的乳腺癌动态超声影像分子亚型预测方法。

背景技术：

1、术前确定癌症分子亚型对于制定个体化治疗计划并改善患者预后有着重要的作用。

2、现有技术中，有一种多卷积神经网络集成的多模态乳腺癌图像分子亚型预测方法，该方法采用预三种常用的卷积神经网络对多模态图像进行预测，并将各模态预测的结果采取投票的方式进行集成，但是该方法只应用于静态超声图像，并缺乏可解释性。

3、若对预训练的神经网络模型进行微调预测乳腺癌肿瘤的良恶性，然后使用微调的模型对肿瘤亚型进行三分类预测，也会增加计算量，且分类结果并不标准。

技术实现思路

1、本发明要解决的技术问题是：现有的乳腺癌亚型分类技术动态预测精度较差。

2、为此，本发明提供一种基于知识蒸馏的乳腺癌动态超声影像分子亚型预测方法。

3、本发明解决其技术问题所采用的技术方案是：

4、一种基于知识蒸馏的乳腺癌动态超声影像分子亚型预测方法，包括以下步骤，

5、动态超声影像关键帧提取；

6、关键帧图像识别和划分形成样本数据；

7、用3d残差卷积神经网络对样本数据进行特征提取，其中全连接神经网络对临床诊断知识进行特征提取；

8、利用蒸馏损失函数对3d残差卷积神经网络中提取的特征，和全连接神经网络中提取的特征，进行结构性差异度量；

9、将相应的蒸馏损失函数训练3d卷积神经网络并输出预测结果。

10、通过采用上述技术方案，利用蒸馏损失函数匹配样本特征间的结构性差异，从而利用临床诊断知识对动态超声影像分子分型预测的准确率，该方法不仅准确度高且可解释性强，还能在实时情境下进行乳腺癌动态超声影像的分子分型预测。

11、进一步地，所述蒸馏损失函数包括距离损失函数和角度损失函数。

12、进一步地，所述距离损失函数用于匹配3d残差卷积神经网络中提取的特征和全连接神经网络中提取的特征，这两个样本间距离上的差异。

13、通过上述技术方案，基于距离的蒸馏损失通过惩罚特征隐式空间之间的距离差异来传递示例之间的关系。

14、进一步地，所述距离损失函数为：

15、

16、其中，是huber损失函数，为度量函数，xi，xj是不同病人的乳腺癌超声影像，ti，tj是不同病人对应的临床诊断知识特征，si，sj是不同病人经过3d卷积神经网络提取后的特征，x是所有病人的乳腺癌超声影像集合。

17、进一步地，所述度量函数用于体现特征隐式空间中两个示例之间的欧式距离：，其中μ是距离的归一化因子。

18、进一步地，所述归一化因子μ设置为来自小批量中的配对的平均距离：。

19、进一步地，角度关系蒸馏损失中，分别提取3d残差卷积神经网络和全连接神经网络中的三个特征，各构成一组示例，用角度关系潜在度量去衡量在特征隐式空间中由这三个特征形成的角度。

20、进一步地，特征隐式空间中由这三个特征形成的角度：

21、

22、其中，，分别为3d残差卷积神经网络的三个特征；，分别为全连接神经网络中的三个特征。

23、进一步地，角度关系蒸馏损失为：

24、。

25、通过采用上述技术方案，角度关系蒸馏损失通过惩罚角度差异来传递训练示例嵌入的关系。 由于角度是高阶属性，可能能够更有效地传递关系信息，为3d残差卷积神经网络在训练中提供更大的灵活性。

26、进一步地，所述蒸馏损失函数为，融合蒸馏损失函数和原有的损失函数形成新的损失函数l，并与新的损失函数l训练的3d残差卷积神经网络模型。

27、本发明的有益效果是，本方法综合了图像处理、数据处理、神经网络应用和知识蒸馏，有望提高乳腺癌的早期检测和诊断准确性。本申请充分利用了动态超声影像的时间序列信息，紧密追踪乳腺组织的动态变化，并将基于er、pr、her-2、ki-67等免疫组化指标的临床诊断知识融入其中，以实现对乳腺癌动态超声影像的分子分型预测。这一创新方法不仅在准确性方面表现卓越，而且具有强大的可解释性，同时还能够在实时情境下进行乳腺癌动态超声影像的分子分型预测，有助于医生全面、多角度地了解病例情况，从而制定更为合理的治疗方案。

技术特征：

1.一种基于知识蒸馏的乳腺癌动态超声影像分子亚型预测方法，其特征在于，包括以下步骤，

2.根据权利要求1所述的基于知识蒸馏的乳腺癌动态超声影像分子亚型预测方法，其特征在于，所述蒸馏损失函数包括距离损失函数和角度损失函数。

3.根据权利要求2所述的基于知识蒸馏的乳腺癌动态超声影像分子亚型预测方法，其特征在于，所述距离损失函数用于匹配3d残差卷积神经网络中提取的特征和全连接神经网络中提取的特征，这两个样本间距离上的差异。

4.根据权利要求2所述的基于知识蒸馏的乳腺癌动态超声影像分子亚型预测方法，其特征在于，所述距离损失函数为：

5.根据权利要求4所述的基于知识蒸馏的乳腺癌动态超声影像分子亚型预测方法，其特征在于，所述度量函数用于体现特征隐式空间中两个示例之间的欧式距离：，其中μ是距离的归一化因子。

6.根据权利要求5所述的基于知识蒸馏的乳腺癌动态超声影像分子亚型预测方法，其特征在于，所述归一化因子μ设置为来自小批量中的配对的平均距离：。

7.根据权利要求2所述的基于知识蒸馏的乳腺癌动态超声影像分子亚型预测方法，其特征在于，角度关系蒸馏损失中，分别提取3d残差卷积神经网络和全连接神经网络中的三个特征，各构成一组示例，用角度关系潜在度量去衡量在特征隐式空间中由这三个特征形成的角度。

8.根据权利要求7所述的基于知识蒸馏的乳腺癌动态超声影像分子亚型预测方法，其特征在于，特征隐式空间中由这三个特征形成的角度：

9.根据权利要求8所述的基于知识蒸馏的乳腺癌动态超声影像分子亚型预测方法，其特征在于，角度关系蒸馏损失为：

10.根据权利要求2所述的基于知识蒸馏的乳腺癌动态超声影像分子亚型预测方法，其特征在于，所述蒸馏损失函数为，融合蒸馏损失函数和原有的损失函数形成新的损失函数l，并与新的损失函数l训练的3d残差卷积神经网络模型。

技术总结
本申请涉及计算机辅助医疗领域，尤其涉及一种基于知识蒸馏的乳腺癌动态超声影像分子亚型预测方法，包括以下步骤，动态超声影像关键帧提取；关键帧图像识别和划分形成样本数据；用3D残差卷积神经网络对样本数据进行特征提取，其中全连接神经网络对临床诊断知识进行特征提取；利用蒸馏损失函数对3D残差卷积神经网络中提取的特征，和全连接神经网络中提取的特征，进行结构性差异度量；将相应的蒸馏损失函数训练3D卷积神经网络并输出预测结果。本申请利用蒸馏损失函数匹配样本特征间的结构性差异，利用临床诊断知识对动态超声影像分型预测的准确率，该方法不仅准确度高且可解释性强，还能在实时情境下进行乳腺癌动态超声影像的分子分型预测。

技术研发人员：孙立涛,吴瑛男,周蕾,彭彦卿,李晓莹,董智诚,李肖搏
受保护的技术使用者：浙江省人民医院
技术研发日：
技术公布日：2024/3/17