模型训练方法、分类方法及相关装置与流程

本申请属于图像识别，具体涉及一种模型训练方法、分类方法及相关装置。

背景技术：

1、目前，已有很多基于深度学习方法的提取脑部核磁共振图像的特征来构建阿兹海默诊断模型。还有一部分工作使用核磁共振图像和临床表格数据，分别使用卷积神经网络和多层感知机来提取图像特征和表格特征。

2、但是，现有的模型在轻度认知障碍的任务上达不到很好的效果。一方面是因为有限的数据，另一方面是两种轻度认知障碍在核磁共振图像上和临床属性数据上没有明显的差距，导致分类难度加大。基于此，有些工作将在阿兹海默疾病的诊断模型训练得到的权重迁移到轻度认知障碍模型上进行初始化操作，并在轻度认知障碍患者的训练数据上进行微调。相比于随机初始化，这种迁移方法能够将从阿兹海默疾病分类任务上学习得到的知识用在轻度认知障碍的分类问题上，得到更好的分类性能。然而这种全微调的方法存在迁移效率低的特点，需要微调整个模型的参数，容易导致忘记学习过的知识，降低模型的可迁移性。

技术实现思路

1、本申请提供了一种模型训练方法、分类方法及相关装置，以期提高模型迁移的效率。

2、第一方面，本申请提供了一种模型训练方法，包括：

3、获取第一训练数据集，所述第一训练数据包括第一图像信息子集和第一属性数据子集，所述第一图像信息子集包括待训练的第一核磁共振图像，所述第一属性数据子集包括所述第一核磁共振图像所对应的第一临床数据；

4、将所述第一训练数据集输入第一模型进行训练，得到阿兹海默分类模型，所述第一模型是指待训练阿兹海默分类模型；

5、根据所述阿兹海默分类模型的第一模型参数对第二模型进行初始化，所述第二模型是指待训练进行性轻度认知障碍分类模型；

6、冻结初始化后的第二模型中的第一模型参数；

7、确定全局提示学习向量；

8、将第二训练集输入所述第二模型对所述全局提示学习向量进行提示微调，得到进行性轻度认知障碍分类模型，所述提示微调是指训练过程中只调整第二模型中的所述全局提示学习向量对应的参数。

9、第二方面，本申请提供了一种基于提示学习的医学图像分类方法，包括：

10、获取目标图像信息和目标属性数据，所述目标图像信息是指待分类的核磁共振图像，所述目标属性数据为所述待分类的核磁共振图像对应的临床数据；

11、分别对所述目标图像信息进行图像配准，得到待处理图像信息；

12、分别对目标临床数据进行归一化处理，得到待处理临床数据；

13、将所述待处理图像信息和所述待处理临床数据输入进行性轻度认知障碍分类模型；

14、所述进行性轻度认知障碍分类模型，获取目标用户的目标属性数据，并对所述目标属性数据进行处理，得到对应的第一全局特征序列；以及，获取所述目标用户的目标图像信息，根据所述全局提示学习向量对目标图像信息进行处理，得到第二全局特征序列；以及，对所述第一全局特征序列和所述第二全局特征序列进行多模态特征融合，得到多模态特征；以及，根据所述多模态特征预测所述目标属性数据和所述目标图像信息所指示的疾病类型。

15、第三方面，本申请提供了一种模型训练装置，包括：

16、获取单元，用于获取第一训练数据集，所述第一训练数据包括第一图像信息子集和第一属性数据子集，所述第一图像信息子集包括待训练的第一核磁共振图像，所述第一属性数据子集包括所述第一核磁共振图像所对应的第一临床数据；

17、第一训练单元，用于将所述第一训练数据集输入第一模型进行训练，得到阿兹海默分类模型，所述第一模型是指待训练阿兹海默分类模型；

18、初始化单元，用于根据所述阿兹海默分类模型的第一模型参数对第二模型进行初始化，所述第二模型是指待训练进行性轻度认知障碍分类模型；

19、冻结单元，用于冻结初始化后的第二模型中的第一模型参数；

20、确定单元，用于确定全局提示学习向量；

21、第二训练单元，用于将第二训练集输入所述第二模型对所述全局提示学习向量进行提示微调，得到进行性轻度认知障碍分类模型，所述提示微调是指训练过程中只调整第二模型中的所述全局提示学习向量对应的参数。

22、第四方面，本申请提供了一种进行性轻度认知障碍分类模型，包括：

23、临床数据处理模块，用于获取目标用户的目标属性数据，并对所述目标属性数据进行处理，得到对应的第一全局特征序列；

24、图像信息处理模块，用于获取所述目标用户的目标图像信息，根据所述全局提示学习向量对目标图像信息进行处理，得到第二全局特征序列；

25、模态融合模块，用于对所述第一全局特征序列和所述第二全局特征序列进行多模态特征融合，得到多模态特征；

26、分类模块，用于根据所述多模态特征预测所述目标属性数据和所述目标图像信息所指示的疾病类型。

27、第五方面，本申请提供了一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行本申请第一方面至第四方面中任一方面的步骤的指令。

28、第六方面，本申请提供了一种计算机存储介质，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本申请第一方面至第四方面中任一方面所描述的部分或全部步骤。

29、第七方面，本申请提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请第一方面至第四方面中任一方面所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

30、可以看出，本申请中，首先获取包括第一图像信息子集和第一属性数据子集的第一训练数据集；将第一训练数据集输入第一模型进行训练，得到阿兹海默分类模型；根据阿兹海默分类模型的第一模型参数对第二模型进行初始化，第二模型是指待训练进行性轻度认知障碍分类模型；冻结初始化后的第二模型中的第一模型参数；确定全局提示学习向量；将第二训练集输入第二模型对全局提示学习向量进行提示微调，得到进行性轻度认知障碍分类模型。这样，能够只通过微调全局提示学习向量即可完成阿兹海默分类模块向进行性轻度认知障碍模型的参数迁移，提高了模型迁移的效率。

技术特征：

1.一种模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，将第二训练集输入所述第二模型对所述全局提示学习向量进行提示微调，得到进行性轻度认知障碍分类模型，包括：

3.根据权利要求2所述的方法，其特征在于，根据所述第二训练数据集对所述第二模型中的所述全局提示学习向量进行提示微调，得到分类结果，包括：

4.根据权利要求3所述的方法，其特征在于，所述图像信息处理模块包括空间维度注意力单元和通道维度注意力单元；

5.根据权利要求3所述的方法，其特征在于，所述模态融合模块将所述第一特征序列和所述第二特征序列进行模态融合，得到多模态特征序列，包括：

6.一种基于提示学习的医学图像分类方法，其特征在于，包括：

7.一种模型训练装置，其特征在于，包括：

8.一种进行性轻度认知障碍分类模型，其特征在于，包括：

9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法中的步骤的指令。

技术总结
本申请实施例提供了一种模型训练方法、分类方法及相关装置，包括：获取包括第一图像信息子集和第一属性数据子集的第一训练数据集；将第一训练数据集输入第一模型进行训练，得到阿兹海默分类模型；根据阿兹海默分类模型的第一模型参数对第二模型进行初始化，第二模型是指待训练进行性轻度认知障碍分类模型；冻结初始化后的第二模型中的第一模型参数；确定全局提示学习向量；将第二训练集输入第二模型对全局提示学习向量进行提示微调，得到进行性轻度认知障碍分类模型。这样，能够只通过微调全局提示学习向量即可完成阿兹海默分类模块向进行性轻度认知障碍模型的参数迁移，提高了模型迁移的效率。

技术研发人员：李灏峰,康洛耀,龚海帆,万翔
受保护的技术使用者：深圳市大数据研究院
技术研发日：
技术公布日：2024/1/16