一种多模态特征融合方法以及应用

本发明涉及一种跨模态信息融合方法以及该方法在治疗效果预测中的应用。

背景技术：

1、近来，机器学习算法在教育、交通、金融等领域得到越来越广泛地应用。医疗相关的领域也在积极地使用机器学习技术，在辅助诊断、辅助检查等方面进行探索。然而目前在辅助诊断、辅助检查等方面所使用的机器学习技术大多基于单一模态的数据或者单一的感兴趣区域(roi)，而少量的基于融合算法的机器学习技术采用的也是后融合技术，这样的融合方法缺少不同模态的相同交叉。

技术实现思路

1、本发明要解决的技术问题是：现有的应用于医疗相关领域的机器学习技术大多基于单一模态的数据或者单一的感兴趣区域，即使采用融合算法，该融合算法也是后融合技术。

2、为了解决上述技术问题，本发明的一个技术方案是提供了一种多模态特征融合方法，其特征在于，包括以下步骤：

3、步骤1、获得患者的医学影像数据，对医学影像数据进行感兴趣区域的手工勾画后获得n个手工roi数据；

4、步骤2、建立深度学习网络模型，由模型对影像数据中的最大roi截面进行裁剪获得roi图像roi_images后，提取roi图像roi_images的特征，从而获得影像深度学习特征featutedl；

5、提取n个手工roi数据的手工特征，将基于第i个手工roi数据提取到的影像手工特征记为

6、基于患者临床数据直接生成患者临床特征featureclinic；

7、步骤3、将影像深度学习特征featuredl、影像手工特征记为以及患者临床特征featureclinic映射至相同维度；

8、步骤4、将n个影像手工特征记对应位置相加，得到融合roi手工特征，则有：

9、

10、步骤5、将融合roi手工特征与影像深度学习特征featuredl进行拼接，得到融合影像特征；

11、步骤6、将融合影像特征与患者临床特征featureclinic对应位置做差，得到距离特征；

12、步骤7、将融合影像特征与患者临床特征featureclinic对应位置做乘，得到内积特征；

13、步骤8、将距离特征与内积特征进行拼接后得到融合特征。

14、本发明的另一个技术方案是提供了一种上述的多模态特征融合方法的应用，其特征在于，应用在治疗效果预测中，将通过上述的多模态特征融合方法获得的融合特征输入训练好的治疗效果分类预测模型，得到最终的分类结果。

15、本发明以卷积神经网络为基础，作为图像特征提取的主干网络提取得到图像深度学习特征，与此同时，本发明引入不同roi区域的手工图像特征以及患者临床特征。本发明端到端地融合图像深度学习特征、手工图像特征以及患者临床特征，形成不同模态数据的相同交叉。采用本发明所得到的融合后的特征进行分类判别，可以得到更为准确的预测结果。

技术特征：

1.一种多模态特征融合方法，其特征在于，包括以下步骤：

2.一种如权利要求1所述的多模态特征融合方法的应用，其特征在于，应用在治疗效果预测中，将通过权利要求1所述的多模态特征融合方法获得的融合特征输入训练好的治疗效果分类预测模型，得到最终的分类结果。

技术总结
本发明的一个技术方案是提供了一种多模态特征融合方法，其特征在于，将同一个患者的影像深度学习特征feature<subgt;DL</subgt;、多个影像手工特征记以及患者临床特征feature<subgt;clinic</subgt;进行融合后得到最终的融合特征。本发明的另一个技术方案是提供了一种上述的多模态特征融合方法的应用，其特征在于，应用在治疗效果预测中。本发明以卷积神经网络为基础，作为图像特征提取的主干网络提取得到图像深度学习特征，与此同时，本发明引入不同ROI区域的手工图像特征以及患者临床特征。本发明端到端地融合图像深度学习特征、手工图像特征以及患者临床特征，形成不同模态数据的相同交叉。采用本发明所得到的融合后的特征进行分类判别，可以得到更为准确的预测结果。

技术研发人员：宋雪霏,姜梦达,张海扬,陈铠之,张慧杰,许嘉烁,夏多金,周慧芳
受保护的技术使用者：上海交通大学医学院附属第九人民医院
技术研发日：
技术公布日：2024/1/13