用于医疗领域的多模态预测模型构建方法、装置及应用与流程

本申请涉及大数据分析领域，特别是涉及一种用于医疗领域的多模态预测模型构建方法、装置及应用。

背景技术：

1、人工智能是计算机科学的一个分支，它是研究、开发用于模拟、延伸、和扩展人的智能的理论、方法、技术及应用的一门新的技术科学，人工智能的应用一般分为两个部分，训练过程和推理过程，通过算法来定义整个训练过程，包括模型结构和其他的处理细节从而使得模型可以应用于各个领域，如医疗、法律、金融等。

2、在现有技术中可以通过构建人工智能模型来辅助医生决策或进行病情预测，但是现有技术多基于单一模型模态并采用单一数据结构进行预测，由于病症可由多种因素构成，采用单一模态和数据来源对病情进行预测的结果并非准确，当加入新的特征时还需要对现有模型重新进行训练，而且无法判断新加入的特征对整体模型结果的影响。

3、综上所述，亟需一种可以根据全面的病患信息来进行病情预测，并且可以量化每一病患信息对模型的贡献的多模态预测模型。

技术实现思路

1、本申请实施例提供了一种用于医疗领域的多模态预测模型构建方法、装置及应用，通过判断不同多模态信息对多模态框架的影响，并选出合适的多模态信息来训练多模态框架，使用所述多模态框架来对患者的患病概率进行预测，且在添加其他形式的多模态数据时无需对模型进行重新训练。

2、第一方面，本申请实施例提供了一种用于医疗领域的多模态预测模型的构建方法，所述方法包括：

3、获取至少一患者的多模态信息，所述多模态信息为不同数据形式的医疗检查数据；

4、将每一种数据形式的所述多模态信息输入对应的单模态预测模型中获取对应当前多模态信息的单模态预测结果；

5、将不同多模态信息的单模态预测结果进行任意组合作为融合嵌入，将所述融合嵌入输入到多模态框架得到多个多模态预测结果，利用auroc指标评估每一多模态预测结果得到评估结果；

6、根据所述评估结果计算每一多模态预测结果中不同单模态预测结果的沙普利值，根据沙普利值选取至少一单模态预测结果对应的多模态信息作为选定信息；

7、以所述选定信息加权对应的沙普利值作为输入特征训练多模态预测框架得到多模态预测模型，所述多模态预测模型预测每一患者的患病概率。

8、第二方面，本申请实施例提供了一种用于医疗领域的多模态预测模型，其特征在于，所述用于医疗领域的多模态预测模型使用第一方面所述的方法进行构建得到。

9、第三方面，本申请实施例提供了一种患者的患病概率预测方法，其特征在于，包括：

10、确定需要预测的患病种类，根据所述患病种类通过权利要求1-5所述的任一方法获取选定信息并根据所述选定信息构建多模态模型，使用所述多模态模型对患者的患病概率进行预测。

11、第四方面，本申请实施例提供了一种用于医疗领域的多模态预测模型的构建装置，包括：

12、第一获取模块：获取至少一患者的多模态信息，所述多模态信息为不同数据形式的医疗检查数据；

13、第二获取模块：将每一种数据形式的所述多模态信息输入对应的单模态预测模型中获取对应当前多模态信息的单模态预测结果；

14、评估模块：将不同多模态信息的单模态预测结果进行任意组合作为融合嵌入，将所述融合嵌入输入到多模态框架得到多个多模态预测结果，利用auroc指标评估每一多模态预测结果得到评估结果；

15、选定模块：根据所述评估结果计算每一多模态预测结果中不同单模态预测结果的沙普利值，根据沙普利值选取至少一单模态预测结果对应的多模态信息作为选定信息：

16、预测模块：以所述选定信息加权对应的沙普利值作为输入特征训练多模态预测框架得到多模态预测模型，所述多模态预测模型预测每一患者的患病概率。

17、第五方面，本申请实施例提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种用于医疗领域的多模态预测模型的构建方法或一种患者的患病概率预测方法。

18、第六方面，本申请实施例提供了一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种用于医疗领域的多模态预测模型的构建方法或一种患者的患病概率预测方法。

19、本发明的主要贡献和创新点如下：

20、本申请实施例通过不同数据形式的医疗检查数据来对多模态人工智能框架进行训练可以使得训练好的模型具有更加准确的预测概率；本方案采用高模块化的概念，通过开源模型来对不同数据形式进行特征提取，使得下游建模变得更加简单；本方案计算每一种数据形式的沙普利平均值，并通过得到的沙普利平均值来为对应的数据形式添加权重，使得每一种数据形式在所述多模态人工智能框架中的作用更为准确。

21、本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

技术特征：

1.一种用于医疗领域的多模态预测模型的构建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种根据多模态信息来预测患者患病概率的方法，其特征在于，在“所述获取至少一患者的多模态信息，所述多模态信息为不同数据形式的医疗检查数据”步骤中，所述多模态信息包括表列数据信息、身体指标信息、文本报告信息以及医疗影像信息，所述表列数据信息为医院数据库中的结构化数据，所述身体指标信息为包括时间序列的身体指标数据，所述文本报告信息为医生出具的文本信息，所述医疗影像信息为包括医疗影像的图片信息。

3.根据权利要求1所述的一种根据多模态信息来预测患者患病概率的方法，其特征在于，在“将每一种数据形式的所述多模态信息输入对应的单模态预测模型中获取对应当前多模态信息的单模态预测结果”步骤中，每一所述多模态信息可对应多个预测不同疾病的单模态预测模型。

4.根据权利要求1所述的一种根据多模态信息来预测患者患病概率的方法，其特征在于，在“利用auroc指标评估每一多模态预测结果得到评估结果”步骤中，计算每一多模态预测结果的auroc值，根据所述多模态预测结果的疾病种类进行分组，计算每组疾病种类中所有多模态预测结果的auroc平均值，整合每组疾病种类中所有多模态预测结果的auroc平均值得到评估结果。

5.根据权利要求1所述的一种根据多模态信息来预测患者患病概率的方法，其特征在于，在“根据所述评估结果计算每一多模态预测结果中不同单模态预测结果的沙普利值，根据沙普利值选取至少一单模态预测结果对应的多模态信息作为选定信息”步骤中，根据每一多模态预测结果所预测的疾病种类计算该疾病种类中不同单模态预测结果的沙普利值，所述沙普利值表明了每一多模态预测结果中不同单模态预测结果的贡献，选取沙普利值高于设定阈值的单模态预测结果对应的多模态信息作为选定信息。

6.一种用于医疗领域的多模态预测模型，其特征在于，所述用于医疗领域的多模态预测模型使用权利要求1-5任一所述的方法进行构建得到。

7.一种患者的患病概率预测方法，其特征在于，包括：

8.一种用于医疗领域的多模态预测模型的构建装置，其特征在于，包括：

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-5任一所述的一种用于医疗领域的多模态预测模型的构建方法或根据权利要求7所述的一种患者的患病概率预测方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1-5任一所述的一种用于医疗领域的多模态预测模型的构建方法或根据权利要求7所述的一种患者的患病概率预测方法。

技术总结
本申请提出了一种用于医疗领域的多模态预测模型构建方法、装置及应用，包括以下步骤：获取患者的多种医疗检查数据，输入单模态预测模型，获得各自的预测结果，将结果组合成融合嵌入，输入多模态框架获得多种预测结果，利用auroc指标评估；计算每个预测结果的单模态预测值的沙普利值，选择其中一个单模态预测结果作为选定信息，以该信息加权的沙普利值为输入特征训练多模态预测框架，预测患者的患病概率。本方案可以通过判断不同多模态信息对多模态框架的影响，并选出合适的多模态信息来训练多模态框架从而对患者的患病情况进行高准确率的预测。

技术研发人员：傅亦婷,许振影,周华健,陈志文,蔡静,方震宇
受保护的技术使用者：浙江一山智慧医疗研究有限公司
技术研发日：
技术公布日：2024/1/16