一种基于胎心率信号多模态特征融合的胎儿窘迫诊断系统

本发明涉及医学信号处理，具体涉及一种基于胎心率信号多模态特征融合的胎儿窘迫诊断系统，集成了多尺度se-tcn骨干模型和基于多头自注意力机制的跨模态特征融合模块。

背景技术：

1、胎儿窘迫诊断是围产医学中的一个重要领域，胎儿窘迫指胎儿在子宫内发生一系列异常变化，导致胎儿受到氧供不足或其他不良影响的情况，在严重情况可能导致胎儿早产和死亡。临床上胎儿窘迫诊断通常通过一系列的检查手段进行，其中包括监测胎儿心率、胎动、宫缩等指标，其中胎儿心率监测是最为常见和主要的方法。

2、近年来，基于胎心率(fetal heart rate,fhr)信号的胎儿窘迫诊断算法发展迅猛。在目前的算法中，常常使用传统的机器学习方法对fhr信号的形态学、时域、频域、非线性域等参数进行特征提取、特征选择和分类，或者采用小波变换、傅里叶变换等时频域转换方式，将一维原始信号转换换为二维的图像表示，然后进行深度学习网络模型构建、训练和评估。然后现有的方法大部分都只基于单个模态特征(特征参数或一维信号或二维图像)，忽略了不同模态特征之间可能存在的互补性。此外单一模态往往无法提供足够的信息，难以全面地描述和分析复杂的fhr信号。并且考虑到fhr信号往往受到各种噪声和干扰，单一模态的特征可能不够稳定和可靠。相反地，多模态特征可以获取更丰富的潜在特征表示，不同的模态特征在不同的情况下可能具有不同的重要性，通过融合多模态特征可以自适应地学习每个模态特征的权重，从而提高诊断的准确性。

3、综上所述，亟需开发一种多模态信息融合算法，用于胎儿窘迫诊断。这种多模态信息融合算法的开发对于改进胎儿窘迫诊断的准确性和实时性具有重要意义。

技术实现思路

1、针对单模态医学数据信息有限且特征学习不充分的问题，本发明提供了一种基于胎心率信号多模态特征融合的胎儿窘迫诊断系统，融合了基于多头自注意力机制(multi-head self attention,mhsa)的跨模态特征融合(cross-modal feature fusion,cmff)模块和多尺度se-tcn(squeeze and excitation-temporal convolutional network,se-tcn)骨干网络模型。

2、第一方面，本发明提供一种基于胎心率信号多模态特征融合的胎儿窘迫诊断系统，包括：

3、(1)信号预处理模块，去除原始胎心率(fetal heart rate,fhr)信号的噪声，得到干净的fhr信号；

4、具体是：

5、1-1缺失值去除子模块；

6、假设x＝{x1,x2,x3,…,xn}为一个原始fhr信号，其中n是信号的最大长度；对原始fhr信号找出胎心率为0的连续信号片段，若当前信号片段时长大于阈值ξ1则直接去除当前信号片段，否则使用线性插值来填充当前信号片段；

7、本发明将插值技术用于fhr信号，有效去除了去除fhr信号在记录过程中受到的各种噪声的干扰，为后续辅助诊断算法研究提供较高质量的数据集。

8、1-2信号伪影处理子模块；

9、针对缺失值去除子模块处理后的fhr信号，若相邻样本点的差值大于阈值ξ2，对相邻点的第一个样本和下一个稳定段的第一个点之间使用线性插值来填充。

10、所述稳定段为n个连续样本的差值小于阈值ξ3；

11、1-3去除尖峰值子模块

12、针对信号伪影处理子模块处理后的fhr信号，使用hermite样条插值去除数据尖峰。

13、1-4数据划分模块

14、对去除尖峰值子模块处理后的fhr信号分为训练集、测试集；

15、(2)数据增强模块，对训练集进行样本扩充；具体是：

16、利用gan扩充窘迫类fhr信号，具体是：

17、基于博弈论构建的生成模型gan包括生成器g和鉴别器d，两个网络之间进行极大极小对抗训练，训练过程中的损失函数如下：

18、

19、其中e[·]表示期望值，pdata和pz分别表示真实fhr分布和模拟高斯噪声分布，v(g,d)表示二分类的交叉熵函数。

20、基于生成对抗式网络(generating adversarial networks,gan)合成病理fhr信号使得正负样本分布平衡。gan由生成器(generator,g)和鉴别器(discriminator,d)组成，生成器的主要任务是从高斯噪声分布中采样噪声信号，并通过一系列的反卷积层(连续的六个一维反卷积层)合成病理信号，使其能够欺骗鉴别器。而鉴别器包括连续的五个卷积层和一个全连接层，最后通过sigmoid函数激活输出鉴别概率，判断输入信号是真实的还是生成的。本发明将gan用于合成病理fhr，为后续辅助诊断算法研究提供规模化和均衡的数据支撑。

21、(3)专家特征提取模块，基于专家先验知识提取专家潜在特征张量ze，所述专家潜在特征张量ze由形态学、时域、频域和非线性特征经过两层线性投影后得到；其中形态学参数包括基线、加速次数、减速次数等，时域参数主要来自于胎儿心率变异性，包括逐次心跳间隔序列的统计学参数，频域参数使用快速傅里叶变化计算不同频带的功率谱密度、功率谱占比、峰值频率等，非线性参数主要包括庞加莱图参数、近似熵、样本熵、lempel–ziv复杂度指数、分形维数和赫斯特指数等。本发明结合专家先验知识，提取了fhr信号的多种类型特征参数，在一定程度上减少了模型的不确定性和泛化误差，并且提高了模型的可解释性水平。

22、(4)信号特征提取模块，利用多尺度se-tcn骨干网络对信号预处理模块处理后的fhr信号提取信号特征潜在张量zs；具体是：

23、所述多尺度se-tcn骨干网络包括多尺度深度可分离卷积模块mdsc、五个串联的|时间卷积神经网络se-tcnblocks；

24、所述多尺度深度可分离卷积模块(multi-scale depthwise separableconvolution,mdsc)mdsc将4个不同尺寸的卷积核沿着一维方向移动对输入的整个fhr信号进行特征提取，从而以局部感知的方式逐步获取能够完整表征序列的四个不同尺度特征；然将上述四个不同尺度特征进行融合得到多尺度信号特征张量；

25、每个时间卷积神经网络se-tcnblocks包含两个通道，其中主通道中包含两个串联的膨胀因果卷积层，每个膨胀因果卷积层后使用batch norm归一化和校正线性单元(relu)激活。次通道包括一个下采样卷积层和一个压缩激励层(squeeze and excitation blcok,seblock)。

26、所述下采样卷积层为卷积核大小为1、步幅为2的卷积层；

27、所述压缩激励层用于捕获特征图中每个通道的相互依赖性，包括依次级联的压缩层(squeeze)和激励层(excitation)；所述压缩层使用全局平均池化对特征图进行压缩聚合；所述激励层采用两个全连接(fully connected,fc)层，并分别使用relu和sigmoid函数激活，最后使用全局信息来选择重要性高的通道，抑制重要性低的通道。

28、主通道和次通道间采用残差连接，使得信息前后向传播更加顺畅，在一定程度上缓解梯度消失问题。

29、(5)多模态融合模块，利用跨模态特征融合网络cmff对专家潜在特征张量ze和信号特征潜在张量zs进行融合；具体是：

30、所述跨模态特征融合网络cmff包括两个并行的多头注意力机制模块、跨模态注意力分数计算模块、两个并行的上下分支、以及跨模态拼接模块；

31、所述两个并行的多头注意力机制模块分别各自接受专家潜在特征张量ze和信号特征潜在张量zs，通过线性投影将每个表征映射到一组具有不同语义的向量，分别记为和其中i∈{e,s}，和分别表示查询(query)、键(key)和值(value)矩阵。之后划分n个注意力头，每个头进行自注意力计算，再将各个头的权重矩阵拼接在一起。最后输出整个多头注意力机制的输出张量，计算方式如下：

32、

33、

34、所述跨模态注意力分数计算模块获取两个并行的多头注意力机制模块的输出进行注意力分数计算；

35、

36、cmas＝softmax(cosine_similarity(ze',zs'))   (9)

37、其中cosine_similarity(ze',zs')表示余弦相似度，cmas表示跨模态注意力分数；

38、上下分支包括融合层、并行的全局平均池化层和全局最大池化层、以及拼接层；具体是上下分支各自对所述跨模态注意力分数计算模块的输出和多头注意力机制模块的输出进行加权，得到加权后的表征weighted_zi',i∈{e,s}，然后对weighted_zi',i∈{e,s}使用全局平均池化(global average pooling,gap)和全局最大池化(global maximumpooling,gmp)，最后拼接得到pi,i∈{e,s}。

39、weighted_zi'＝cmas·zi',i∈{e,s}   (10)

40、pi＝concat(gap(weighted_zi'),gmp(weighted_zi')),i∈{e,s} (11)

41、所述跨模态拼接模块用于将上下分支输出的pi,i∈{e,s}进行拼接，得到融合张量zm：

42、zm＝concat(pe,ps)  (12)

43、se-tcn骨干网络模型用于提取fhr信号的潜在时空表征，其基于多层膨胀因果卷积构建，层与层之间使用了残差连接和se通道注意力模块。cmff网络基于多头自注意力机制(multi-head self attention,mhsa)和跨模态注意力分数(cross-modal attentionscore,cmas)衡量信号潜在表征张量和专家潜在表征张量之间的相似度。本发明通过cmff网络融合不同模态的特征，并捕捉跨模式的互动，有效提高了诊断系统的性能。

44、(6)输出模块，利用线性层对融合张量zm进行降维，得到输出概率。

45、第二方面，本发明提供一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现所述的基于胎心率信号多模态特征融合的胎儿窘迫诊断系统。

46、第三方面，本发明提供一种机器可读存储介质，其特征在于，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现所述的基于胎心率信号多模态特征融合的胎儿窘迫诊断系统。

47、本发明具有的有益效果是：

48、1.本发明依据专家先验知识提取了四种不同类型的专家特征参数，包括形态学参数、时域参数、频域参数和非线性参数。本发明创新性的将专家特征融合信号特征，有效的降低了胎儿窘迫的误诊率，为胎儿监护、疾病诊断和临床决策提供了重要依据。

49、2.本发明基于膨胀卷积与因果卷积设计了一种新颖的se-tcn骨干模型，在tcn的残差连接通道中加入seblock，有效的增加了整个网络的感受野，缓解了长时间序列分类任务中梯度消失现象。实验结果表明se-tcn相较于resnet和vgg16分别提升了10.25％和10％的准确率，并且具有更低的参数量。

50、3.本发明提出了一种跨模态特征融合机制cmff，其利用了多头自注意力机制和跨模态注意力分数衡量不同模态之间的相似度并根据自适应权重因子实现跨模态特征融合。实验结果表明相较于传统的早期融合(特征简单拼接融合)和晚期融合(输出决策级加权融合)，cmff方法可以更好地考虑不同模态特征之间的内在相互关系，提高模型的分类性能，同时通过更少的参数量计算减少了模型训练过程中的计算资源和数据传输压力。