本发明涉及一种多模态深度学习方法，具体涉及一种基于双注意力多模态融合的产时胎监智能判别方法，该方法将胎心率信号、宫缩压力信号和孕妇的临床信息数据三个不同模态特征交互融合，实现了不同模态的深度特征与双注意力机制提取的不同模态间互补特征的融合，得到多模态特征，用于对产时胎儿状态评估进行智能分类判别。
背景技术：
1、胎儿窘迫和围产期窒息是引起胎儿发病率和死亡率的两个严重问题，因此产时胎儿监护意义重大。胎心宫缩监护图(ctg)是一种电子胎儿监护形式，记录了孕妇孕期的胎心率的变化以及其与宫缩压力的时间关系，用于评估胎儿的状况，有助于及时发现胎儿缺氧、窘迫等异常问题并及早处理。
2、目前，在临床实践中，ctg由产科医生依据相关的胎心监护指南进行判读，很大程度上取决于医师的读图经验，这使得ctg的判读结果具有主观性和不可重现性。实际上，我国基层医院开展胎心监护的时间较短，医师及助产人员的读图经验不足，易发生ctg判读失误而造成误诊。
3、现阶段利用传统机器学习智能判读胎心宫缩监护图的方法都是基于从ctg信号中提取的特征进行的，提取特征时存在人为制定提取规则的主观性，并且所使用的特征都需经二次提取，这就导致了不可避免地产生误差。
4、基于深度学习的智能判读胎心宫缩监护图方法能够直接从ctg信号中提取深度特征，有效避免二次提取特征时产生的误差。然而，大多数基于深度学习的方法单一使用胎心率信号(fhr)，未将宫缩压力信号(uc)纳入研究，也忽略孕妇的临床信息数据(cf)所携带的重要信息，如孕周、孕妇的年龄等，都可能危害胎儿健康。与此同时，多模态深度学习策略也被逐渐应用于智能判读胎心宫缩监护图中，但目前多数的多模态融合方法过于简单，未能充分挖掘多模态数据中蕴含的信息。
5、因此，如何充分利用产时胎儿监护的多模态数据，进一步提高产时智能胎监的性能，成为本领域亟待解决的技术难题。
技术实现思路
1、为了解决上述现有技术所存在的技术缺陷，本发明提供一种基于双注意力多模态融合的产时胎监智能判别方法。
2、本发明采用如下技术方案：
3、一种基于双注意力多模态融合的产时胎监智能判别方法，包括如下步骤：
4、(1)获取孕妇的临床信息数据和含有胎心率信号、宫缩压力信号的原始ctg信号数据；所述孕妇的临床信息数据包括孕妇基本信息、围产期病史和分娩过程状况三个类别；
5、(2)对所述获取的孕妇的临床信息数据和原始ctg信号数据进行预处理，得到待分类的数据集；
6、(3)将所述待分类的数据集输入已预先训练得到的产时胎监模型中对产时胎儿状态评估进行智能分类判别；
7、所述产时胎监模型包括深度特征提取模块、双注意力多模态融合模块和分类模块；
8、所述深度特征提取模块包括有一组dnn深度神经网络和两组cnn卷积神经网络；所述经预处理的孕妇的临床信息数据输入dnn深度神经网络进行特征提取；所述经预处理的胎心率信号、宫缩压力信号分别输入各自对应的cnn卷积神经网络进行深度特征提取；
9、所述双注意力多模态融合模块是由三组多头注意力机制和三组双向的跨模态注意力机制组成；所述三组多头注意力机制中每个多头注意力机制均包含a个头；所述三组双向的跨模态注意力机制均包含g个头；所述分类模块为lgbm(light gradient boostingmachine)分类器；
10、所述产时胎监模型的智能分类判别方法，包括以下步骤：
11、s1：将所述经预处理的胎心率信号、宫缩压力信号、孕妇的临床信息数据分别输入各自对应的深度特征提取模块，输出得到一维深度特征；其中，胎心率信号对应的深度特征为ufhr，宫缩压力信号对应的深度特征为uuc，孕妇的临床信息数据对应的深度特征为ucf；
12、复制所述三个深度特征，得到备用的深度特征′ufhr、′uuc和′ucf；
13、s2：将步骤s1得到的深度特征ufhr、uuc和ucf分别通过各自对应的多头注意力机制分别提取得到一维重点特征；其中，胎心率信号对应的重点特征为pfhr，宫缩压力信号对应的重点特征为puc，孕妇的临床信息数据对应的重点特征为pcf；
14、s3：将步骤s2得到的重点特征pfhr、puc、pcf进行两两组合得到三组组合特征，再将三组组合特征分别通过各自对应的双向的跨模态注意力机制分别提取得到一维互补特征；其中，胎心率信号和宫缩压力信号组合的互补特征为cuc_fhr，孕妇的临床信息数据和胎心率信号组合的互补特征为cfhr_cf，孕妇的临床信息数据和宫缩压力信号组合的互补特征为ccf_uc；
15、s4：将步骤s3得到的三个互补特征与步骤s1得到的备用的深度特征′ufhr、′uuc、′ucf通过concatenate函数拼接从而实现特征融合，得到长度为z的一维多模态特征mdf；所述一维多模态特征mdf的计算公式如下：
16、mdf＝concatenate(cfhr_cf,cuc_fhr,ccf_uc,′ufhr,′uuc,′ucf)；
17、s5：将步骤s4得到的一维多模态特征输入至lgbm分类器；所述lgbm分类器以分娩后测得的脐动脉ph值作为标准，且将ph阈值设定为7.15，大于或等于此值为正常，小于此值为异常，输出“样本为正常类的概率”和“样本为异常类的概率”；对所述样本为正常类的概率和样本为异常类的概率分别设置对应的类别标签“胎儿状态正常”和“胎儿状态异常”；对比并选取较大的概率所对应的类别标签作为分类判别结果。
18、优选的，所述步骤s3的互补特征cuc_fhr的计算公式如下：
19、
20、
21、
22、
23、
24、
25、
26、
27、其中，cmi表示跨模态注意力机制的第i个头，mh_cm表示单向的跨模态注意力机制的g个头的连接，g＝5，mh_cm_1表示从对应的mh_cm的输出中取出的一维特征；dk是当前双向g头跨模态注意力机制中每个头的“查询”和“键”的维度，dv是当前双向g头跨模态注意力机制中每个头的“值”的维度，当前两个单向g头跨模态注意力机制的输出维度均为dmodel；和分别为从pfhr到puc的g头跨模态注意力机制的输出权重矩阵和从puc到pfhr的g头跨模态注意力机制的输出权重矩阵；wipfhr_q1、wipfhr_k1和wipfhr_v1分别为当前双向g头跨模态注意力机制中用于pfhr的第i个“头”的“查询”、“键”和“值”的权重矩阵；wipuc_q1、wipuc_k1和wipuc_v1分别为当前双向g头跨模态注意力中用于puc的第i个“头”的“查询”、“键”和“值”的权重矩阵；cuc_fhr表示uc和fhr组合的互补特征，通过连接以上两个单向跨模态注意力机制的输出的一维特征得到；
28、所述步骤s3的互补特征cfhr_cf的计算公式如下：
29、
30、
31、
32、
33、
34、
35、
36、
37、其中，cmi表示跨模态注意力机制的第i个头，mh_cm表示单向的跨模态注意力机制的g个头的连接，g＝5，mh_cm_1表示从对应的mh_cm的输出中取出的一维特征；dk是当前双向g头跨模态注意力机制中每个头的“查询”和“键”的维度，dv是当前双向g头跨模态注意力机制中每个头的“值”的维度，当前两个单向g头跨模态注意力机制的输出维度均为dmodel；和分别为从pcf到pfhr的g头跨模态注意力机制的输出权重矩阵和从pfhr到pcf的g头跨模态注意力的输出权重矩阵；wipfhr_q2、wipfhr_k2和wipfhr_v2分别为当前双向g头跨模态注意力机制中用于pfhr的第i个“头”的“查询”、“键”和“值”的权重矩阵；wipcf_q1、wipcf_k1和wipcf_v1分别为当前双向g头跨模态注意力机制中用于pcf的第i个“头”的“查询”、“键”和“值”的权重矩阵；cfhr_cf表示fhr和cf组合的互补特征，通过连接以上两个单向跨模态注意力机制的输出的一维特征得到；
38、所述步骤s3的互补特征ccf_uc的计算公式如下：
39、
40、
41、
42、
43、
44、
45、
46、
47、其中，cmi表示跨模态注意力机制的第i个头，mh_cm表示单向的跨模态注意力机制的g个头的连接，g＝5，mh_cm_1表示从对应的mh_cm的输出中取出的一维特征；dk是当前双向g头跨模态注意力机制中每个头的“查询”和“键”的维度，dv是当前双向g头跨模态注意力机制中每个头的“值”的维度，当前两个单向g头跨模态注意力机制的输出维度均为dmodel；和分别为从pcf到puc的g头跨模态注意力机制的输出权重矩阵和从puc到pcf的g头跨模态注意力机制的输出权重矩阵；wipcf_q2、wipcf_k2和wipcf_v2分别为当前双向g头跨模态注意力机制中用于pcf的第i个“头”的“查询”、“键”和“值”的权重矩阵；wipuc_q2、wipuc_k2和wipuc_v2分别为当前双向g头跨模态注意力机制中用于puc的第i个“头”的“查询”、“键”和“值”的权重矩阵；ccf_uc表示cf和uc组合的互补特征，通过连接以上两个单向跨模态注意力机制的输出的一维特征得到。
48、优选的，所述孕妇的临床信息数据包括：孕妇基本信息，孕周、孕妇年龄、妊娠次数和产胎儿数；围产期病史，是否发热、是否患高血压、是否患糖尿病、是否患先兆子痫、是否患阿尔兹海默症、是否有羊水胎粪污染；分娩过程状况，是否催产、临床胎位、第一产程、第二产程。
49、优选的，所述dnn深度神经网络包含t1层全连接层，且所述t1层全连接层均以relu线性整流函数作为激活函数；其中，t1为4；所述cnn卷积神经网络包含t2组卷积层和池化层以及t3层全连接层，且所述t2组卷积层和t3层全连接层均以relu线性整流函数作为激活函数，其中，t2为3，t3为1。
50、优选的，所述cnn卷积神经网络的3组卷积层分别包含δ1个、δ2个、δ3个卷积核，其中，δ1为256，δ2为128，δ3为64；并且3组卷积层后均对应有一个最大池化层。
51、优选的，所述cnn卷积神经网络的3组卷积层的卷积核大小均为1×3，步长为2；且3组卷积层后所对应的最大池化层的大小均为1×3，步长为2。
52、优选的，所述预处理包括对原始ctg信号数据进行整体质量评价，并选取整体质量得分不低于0.6的ctg信号数据。
53、优选的，所述预处理包括分别对原始ctg信号数据进行插值或删除处理，对孕妇的临床信息数据进行插值处理。
54、优选的，所述预处理还包括对经插值或删除处理的胎心率信号进行标准化处理；所述标准化处理包括计算胎心率信号的基线值，并用经插值或删除处理的胎心率信号减去基线值，得到标准胎心率信号。
55、优选的，所述预处理还包括采用窗口滑动分段的方法对原始ctg信号数据进行数据增强，正常类的ctg信号数据用20分钟间隔进行窗口滑动增强，异常类的ctg信号数据用5分钟间隔进行窗口滑动增强。
56、本发明具有如下有益效果：
57、第一，本发明提供的基于双注意力多模态融合的产时胎监模型，其采用自动提取深度特征策略，对胎心率信号、宫缩压力信号和孕妇的临床信息数据单独进行“端到端”深度特征同步自动提取，无需提取胎心宫缩监护图(ctg)的形态学特征，有效避免因提取信号临床形态学特征而产生的误差。
58、第二，本发明提供的基于双注意力多模态融合的产时胎监模型，不仅纳入了胎心率信号、宫缩压力信号以及孕妇的临床信息数据这三个模态，而且还使用了多头注意力机制与双向的跨模态注意力机制结合的双注意力机制(dual attention)作为多模态特征融合网络，提取了成对模态间的互补特征，交互融合构成多模态特征，有效缓解多模态特征中存在的冗余，从而极大地提升了分类的性能。
59、此外，在临床上，一方面，本发明提供的产时胎监智能判别方法，自动化处理从孕妇处采集到的不同模态的医疗数据，反馈出胎儿健康状态，可辅助产科医师进行初步筛查，减轻医护人员的工作压力与工作量，有效降低剖宫产率和胎儿死亡率，避免不必要的和过度的医疗干预；另一方面，可辅助基层缺乏经验的医师习得判别经验。