本发明涉及辅助测试，特别是涉及一种基于对齐多模态特征模型的阿尔兹海默症预测方法。
背景技术：
1、阿尔茨海默症是一种神经退行性疾病，其特征是认知功能的渐进性衰退，最终导致记忆、思维和行为能力的不可逆损害。早期发现对于实施干预措施以减缓病程进展至关重要，因此开发有效的早期检测方法具有重要意义。近年来，基于声学和语言特征的辅助测试方法在阿尔茨海默症早期检测中显示出潜力，这些方法通过分析语音和语言模式的变化来识别潜在的疾病迹象，为早期诊断提供了新的途径。
2、现有的研究方法主要分为基于机器学习和深度学习的两大类。传统的机器学习方法依赖于手工提取的特征集，如gemaps和compare，通过支持向量机(svm)或随机森林(rf)等模型进行分类任务。然而，手工提取特征的方法存在局限性。近年来的研究更多采用深度学习方法，利用大量患者数据进行训练，取得了更好的效果。例如，基于预训练语言模型的方法在阿尔茨海默症相关数据集上的表现优于传统模型。此外，多模态数据融合方法通过整合声学特征、语言特征等，并应用注意力机制进行特征融合，进一步提升了分类性能。还有研究通过计算文本与语音之间的对齐距离，探索了语音数据中蕴含的语义信息。
3、尽管现有方法在不同程度上实现了对阿尔茨海默症相关数据集的分类任务，但仍面临一些挑战。首先，传统机器学习方法依赖于手工特征提取，难以全面捕捉数据的复杂性。其次，基于单一模态数据的深度学习模型在处理多模态信息时存在局限性，未能充分利用语音和语言之间的关联性。此外，多模态数据融合方法在实际应用中可能忽略语音数据中的关键语义信息，如停顿和重复等。最后，现有模型在可解释性和对样本信息利用的充分性方面仍有不足，缺乏一种能够有效融合多模态特征并充分挖掘语义信息的高性能分类模型。
技术实现思路
1、有鉴于此，本发明提供了一种基于对齐多模态特征模型的阿尔兹海默症预测方法，
2、为此，本发明提供了以下技术方案：
3、一种基于对齐多模态特征模型的阿尔兹海默症预测方法，包括：
4、接收待测语音数据以及文本数据；
5、提取语音数据和文本数据的高级表示，作为语音数据特征和文本数据特征；
6、基于语音数据特征和文本数据特征构建对齐关系矩阵；
7、融合对齐关系矩阵、语音数据特征以及文本数据特征获得融合特征；
8、通过线性层对融合特征进行分类审查，获得阿尔兹海默症分类结果。
9、进一步地，所述提取语音数据和文本数据的高级表示，包括：
10、通过梅尔滤波器组处理语音数据，获得语音序列；
11、通过bert分词器处理文本数据，获得文本序列；
12、将语音序列和文本序列输入语言预训练模型获得语音数据高级表示和文本数据高级表示。
13、进一步地，所述基于语音数据特征和文本数据特征构建对齐关系矩阵，包括：
14、对语音数据特征进行三次卷积处理获得语音特征；
15、对文本数据特征进行两次卷积处理获得文本特征；
16、通过语音特征和文本特征计算对齐关系矩阵：
17、di,j＝distancel2(thigh,i,shigh,j)
18、a soft＝softmax(-d)
19、其中，asoft为对齐关系矩阵；shigh表示语音特征；thigh表示文本特征；矩阵d中每一列为某一时刻语音特征与文本特征之间的l2距离。
20、进一步地，所述融合对齐关系矩阵、语音数据特征以及文本数据特征获得融合特征，包括：
21、使用矩阵乘法对对齐关系矩阵、语音特征矩阵以及文本特征矩阵进行线性变化，将对齐关系的概率分布融入语音特征和文本特征中；
22、通过自注意力机制联系不同时刻的对齐关系，获得融合特征。
23、进一步地，所述通过线性层对融合特征进行分类审查，包括：
24、result＝linear(f)
25、其中，linear表示线性层，result表示分类结果，f表示融合特征。
26、进一步地，所述将语音序列和文本序列输入语言预训练模型获得语音数据高级表示和文本数据高级表示，包括：
27、采集初始数据集，并进行预处理获得训练数据集；
28、基于训练数据集训练自动语音识别模型和自然语言处理模型；
29、利用预训练的自动语音识别模型获得语音数据高级表示；
30、利用预训练的自然语言处理模型获得文本数据高级表示。
31、进一步地，所述采集初始数据集，并进行预处理获得训练数据集，包括：
32、对初始数据集中的语音数据进行语音增强，去除背景噪音。
33、进一步地，所述基于训练数据集训练自动语音识别模型和自然语言处理模型，包括：
34、以交叉熵损失作为损失函数；
35、预设随机丢弃率，对语音序列和文本序列进行丢弃操作。
36、本发明的优点和积极效果：
37、本发明通过引入跨模态对齐关系和自注意力机制，提升阿尔茨海默症预测的分类性能与可解释性。通过计算语音和本文这两种不同模态数据之间的对齐关系，实现多模态特征的有效融合，解决了单一模态数据信息利用不充分的问题；应用自注意力机制对这些融合后的特征进行上下文建模，进一步增强了特征的健壮性，使其能够捕捉到数据中更深层次的语义关联。
38、本发明结合对齐关系和注意力机制，提高了模型对复杂数据的处理能力，还通过可视化对齐关系图像直观揭示了数据中蕴含的关键特点，增强了模型的可解释性。
1.一种基于对齐多模态特征模型的阿尔兹海默症预测方法，其特征在于，包括：
2.根据权利要求1所述一种基于对齐多模态特征模型的阿尔兹海默症预测方法，其特征在于，所述提取语音数据和文本数据的高级表示，包括：
3.根据权利要求1所述一种基于对齐多模态特征模型的阿尔兹海默症预测方法，其特征在于，所述基于语音数据特征和文本数据特征构建对齐关系矩阵，包括：
4.根据权利要求1所述一种基于对齐多模态特征模型的阿尔兹海默症预测方法，其特征在于，所述融合对齐关系矩阵、语音数据特征以及文本数据特征获得融合特征，包括：
5.根据权利要求1所述一种基于对齐多模态特征模型的阿尔兹海默症预测方法，其特征在于，所述通过线性层对融合特征进行分类审查，包括：
6.根据权利要求2所述一种基于对齐多模态特征模型的阿尔兹海默症预测方法，其特征在于，所述将语音序列和文本序列输入语言预训练模型获得语音数据高级表示和文本数据高级表示，包括：
7.根据权利要求6所述一种基于对齐多模态特征模型的阿尔兹海默症预测方法，其特征在于，所述采集初始数据集，并进行预处理获得训练数据集，包括：
8.根据权利要求6所述一种基于对齐多模态特征模型的阿尔兹海默症预测方法，其特征在于，所述基于训练数据集训练自动语音识别模型和自然语言处理模型，包括：