一种基于注意力机制的机械通气人机异步检测识别方法

1.本发明涉及医疗器械智能控制
技术领域：
：，特别涉及到一种基于注意力机制的机械通气人机异步检测识别方法。
背景技术：
：：2.呼吸机是一种重要的基于呼吸功能支持的生命设备，它被广泛应用于医院的重症监护科室、一般性科室，一些呼吸机还进入了家庭当中，成为一些日常的睡眠等的辅助家用设备，为有呼吸功能障碍的人员提供重要的辅助支持。3.一般而言，呼吸机最重要的一个功能是它的通气灵敏程度，它能否在患者或用户需要吸气时提供同频的供气/通气支持，同样的能否及时在病患呼气时做相应的切换，分解开来，也即呼吸机要及时检测到患者的吸气需求，检测到患者从吸气结束切换到呼气的时机等。这些患者吸气、呼气的状态可以通过呼吸机与患者连接的通气管道中的气流速度、管道压力、通气容量等进行表征。4.当患者的呼吸需求与呼吸机的供气切换动作不同步时，管道中气流速度(流量flow)、气道压力(paw)、通气容量(volume)就会表现出一定的模式，这些模式具备一定的规律，能为人工或算法检测到，但人工检测需要耗费的时间较多，需要提前进行相关的培训，而人力成本比较昂贵，对于我国的优质医疗资源更是如此；大力发展基于人工智能的人机异步检测算法，必要且重要。技术实现要素：5.本发明主要解决的技术问题是提供一种基于注意力机制的机械通气人机异步检测识别方法，构建核级注意力模块与时序注意力模块能从波形数据的卷积核特征层面以及信号的时序层面寻找到更加利于分别不同种人机异步类型的信号特征段，给予这些特征段更强的关注度，这样就可以更好地对人机异步做出区分。6.为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于注意力机制的机械通气人机异步检测识别方法，其中，包括如下步骤：7.步骤s1、针对呼吸机机械通气时的波形数据构建一维卷积神经网络模型；8.步骤s2、先后分别构建核级注意力子模块和时序注意力子模块；9.步骤s3、将核级注意力子模块与时序注意力子模块进行顺序串接形成一个有机集成的多注意力综合模块；10.步骤s4、将多注意力综合模块嵌入集成至一维卷积神经网络模型内形成多注意力复合模型；11.步骤s5、通过多注意力复合模型对呼吸机机械通气时的波形数据进行分析与判别。12.作为本发明的一种改进，在步骤s2内，先构建核级注意力子模块，其核心由两个全连接层序贯串接的模型构成，对输入的卷积核的特征分别使用一维全局平均池化与一维全局最大池化进行处理，得到全局最大池化特征与全局平均池化特征，再并行经过两个序贯连接的全连接层结构后进行相应矩阵位置元素的相加后再进行转换。13.作为本发明的进一步改进，在步骤s2内，构建完核级注意力子模块后再构建时序注意力子模块，对输入来自卷积核的特征，进行平均池化与最大池化操作，提取出了时序相关的平均池化和最大池化特征矩阵，再对平均池化和最大池化特征矩进行拼接得到组合的特征矩阵，经卷积网络转换。14.作为本发明的更进一步改进，在步骤s3内，将核级注意力子模块与时序注意力子模块串联起来构成多注意力综合模块，输入特征经过核级注意力子模块处理后形成带核级注意力的核级输出特征矩阵，核级输出特征流经时序注意力子模块进行处理形成时序输出特征。15.作为本发明的更进一步改进，在步骤s1内，波形数据包括呼吸机机械通气时流量、气道压力、容量。16.作为本发明的更进一步改进，在步骤s1内，收集呼吸机的正常呼吸、双触发与无效吸气努力的呼吸机机械通气过程中的人机异步事件中流量、气道压力、容量的全部数据，对收集的全部数据进行预处理，并且进行分割标注。17.作为本发明的更进一步改进，一维卷积神经网络模型按从前至后的顺序由卷积层、最大池化层、卷积层、最大池化层、卷积层、全连接层、全连接层序贯构成。18.作为本发明的更进一步改进，在步骤s4内，将多注意力综合模块嵌入集成至一维卷积神经网络模型内形成多注意力复合模型，多注意力复合模型按从前至后的顺序由卷积层、最大池化层、第一多注意力层、卷积层、最大池化层、第二多注意力层、卷积层、全连接层、全连接层序贯构成，所述第一多注意力层与第二多注意力层包括核级注意力层和时序注意力层。19.作为本发明的更进一步改进，在步骤s5内，通过多注意力复合模型对呼吸机机械通气时的波形数据进行分析与判别，当检测到波形数据为双触发或无效吸气努力的呼吸机机械通气过程中的人机异步事件中的数据，则可以判定为双触发或无效吸气努力的人机异步事件。20.作为本发明的更进一步改进，在步骤s1内，对全量的呼吸机机械通气时的流量、气道压力、容量数据段进行预处理和分割标注，对分割标注后的数据段进行标准化、补零对齐，然后将这些统一处理后的全量数据按照7:3的比例划分为训练集和测试集。21.本发明的有益效果是：与现有技术相比，本发明先后分别构建核级注意力模块与时序注意力模块，且能从波形数据的卷积核特征层面以及信号的时序层面寻找到更加利于分别不同种人机异步类型的信号特征段，给予这些特征段更强的关注度，这样就可以更好地对人机异步做出区分。附图说明22.图1为本发明的步骤框图；23.图2为构建核级注意力子模块结构图；24.图3为构建时序注意力子模块结构图；25.图4为核级注意力子模块和时序注意力子模块的组合模块结构图；26.图5为多注意力复合模型的结构图。具体实施方式27.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。28.呼吸机是一种在病人因为一些原因呼吸能力不足以满足病人自身的呼吸需求时提供通气支持，为病人原发病的治疗提供宝贵的时间的重要设备。29.呼吸机在与患者通气的过程中，有极大概率发生呼吸机的通气与患者本身的呼吸需求不匹配、相冲突的现象，此时，呼吸机与患者之间的基于某种通道(流量、气道压力、容量等)类型的机械通气过程便发生了人机异步现象，也就是不同步的现象；当患者需要吸气时而处于吸气相时，呼吸机没有提供供气/通气支持，或者说供气不足、不够；当患者处于呼气时，呼吸机没有及时切换为呼气态，这两类情况都会出现人机异步现象，其中典型的人机异步类型有无效吸气努力、双触发等，无效吸气努力，是患者具备吸气需求时所做的吸气努力动作未被呼吸机捕获到，从而呼吸机就不会给以通气支持，长此以往，可能会导致患者发生窒息的危险。双触发是患者的吸气动作在短时间内被呼吸机捕捉到了两次，从而触发了呼吸机的两次通气支持；其特点是连续两次吸气，中间没有时间呼气；通常，患者的努力在整个双触发呼吸过程中都存在，这表明在吸气周期和呼气周期的初始阶段持续的患者努力会触发第二次呼吸，也即双触发。30.当前采用呼吸机机械通气时流量、压力、容量等波形信号预测呼吸机与患者所发生异步类型的技术方案比较少，一些技术方案常常需要采用领域专家甄选设计的特征进行判别，这自然需要耗费大量的专家的时间，成本比较高，而且不利于潜在的实际部署实施；另一方面即便是专家人工提取的特征在可扩展性、泛化性、个性化等方面也有待验证，这些方案具有一定的局限性。31.现有技术较少将注意力机制应用于人机异步检测问题中，事实上，注意力机制在人工智能的其他领域应用较为成功、有效，而且，该机制应用于机械通气人机异步检测领域也是应该必要的，正如人机异步识别的领域专家在根据机械通气波形数据信号给人机异步类型分型(分类)时，他关注的也肯定是这些长时序信号段的某些子时序片段上的波形变化情况，以这些变化差异显著的子片段来区分不同的人机异步类型，注意力机制能更加聚焦显著学习到不同人机异步类型的信号波形段的区分信息，也即是需要区分关注的波形时序段信息，因此能更智能地关注到、学习到重点区分信息，得出更佳的区分人机异步类型的性能。32.请参照图1至图5，本发明的一种基于注意力机制的机械通气人机异步检测识别方法，包括如下步骤：33.步骤s1、针对呼吸机机械通气时的波形数据构建一维卷积神经网络模型；34.步骤s2、先后分别构建核级注意力子模块和时序注意力子模块；35.步骤s3、将核级注意力子模块与时序注意力子模块进行顺序串接形成一个有机集成的多注意力综合模块；36.步骤s4、将多注意力综合模块嵌入集成至一维卷积神经网络模型内形成多注意力复合模型；37.步骤s5、通过多注意力复合模型对呼吸机机械通气时的波形数据进行分析与判别。38.在本发明内，呼吸机机械通气时流量(flow)、气道压力(paw)、容量(volume)的波形数据用于判断该过程中发生的患者与呼吸机交互的两种典型的人机异步(无效吸气努力、双触发)，该方法根据专家人工判断人机异步时会对相应波形数据的不同段给予不同的关注的特点，自然地将注意力机制引入到构造的一维卷积神经网络中，从而使得集成注意力模块的一维卷积神经网络对流量、气道压力、容量等三组波形数据的表征人机异步特点的信号数据段给以更强的关注，进而能更好地发挥出该基础一维卷积神经网络的判别性能，得出更佳的分类识别性能。39.本发明主要包括几个过程，一是针对流量、气道压力、容量等波形数据构建结构良好的基础的一维卷积神经网络模型，这是一个基础的用例；二是构建两种注意力子模块，这两种注意力子模块分别从时序(时域)、核级特征域两个角度加深对波形数据特定段、卷积核特征值不同段的关注度，这两种注意力子模块通过先核级注意力后时序注意力顺序串接的方式形成一个有机集成的多注意力综合模块(本发明也可以采用其它方式代替这种先核级注意力后时序注意力顺序串接的方式，比如还可以，先时序注意力后核级注意力串接组合成多注意力综合模块的方式；或，核级注意力与时序注意力并联(并行处理联接)组合成多注意力综合模块的方式)，该多注意力综合模块能按需灵活地嵌入到一维卷积神经网络的卷积结构之后的位置；三是将多注意力综合模块良好地嵌入、集成到一维卷积神经网络模块中，这样基于多注意力机制的一维卷积神经网络模型能够像常规神经网络模型那样进行训练，经过一定的参数调制，使整个模型具备良好的性能；运用该复合模型即可对一些场景中呼吸机对病患进行机械通气过程中相关信号数据表现的人机异步情况做分析与判别，为医生提供参考与辅助。40.在本发明内，根据呼吸机机械通气时的波形数据判别双触发、无效吸气努力两种典型人机异步类型，该方法主体采用结合复合注意力机制的一维卷积神经网络的复合模型来实现，该复合模型主要接收呼吸机机械通气时的流量、气道压力、容量三段信号的输入，这三段信号经过卷积网络的两个卷积层后再流经设计的多注意力模块，以此提取出几组波形数据中更有效的特征，根据这些更有效的特征模型的后阶段便可更容易判断出呼吸机在给患者机械通气过程中是否出现了两种典型的异步类型以及具体异步类型是什么。41.呼吸机机械通气时以50hz的采样率产生流量、气道压力、容量三组波形数据点；在患者吸气的强度达到一定的阈值时，呼吸机得到触发给予患者一定量(时间、体积)的通气支持；当患者转换为呼气态时，呼吸机再次得到触发撤去通气支持。42.在步骤s1内，波形数据包括呼吸机机械通气时流量、气道压力、容量；收集呼吸机的正常呼吸、双触发与无效吸气努力的呼吸机机械通气过程中的人机异步事件中流量、气道压力、容量的全部数据，对收集的全部数据进行预处理，并且进行分割标注；具体地讲，本发明基于真实的数据进行了仿真验证，数据来源于知名有创呼吸机与精密模拟肺，利用模拟肺真实可靠模拟出的ards(急性呼吸窘迫综合征)的stable病例进行实验，基于这个病例仿真出了双触发与无效吸气努力两种典型的呼吸机机械通气过程中的人机异步事件。43.对收集的呼吸事件段进行划分标注，采用经过专业培训的熟练的技术人员进行划分，这样就得到了经过标注的按呼吸周期分割的包含双触发(dt)、无效吸气努力(iee)、正常呼吸(norm)三种类别的全部数据。这些带标注的初始全量数据可供后续数据前期处理使用，最终为算法模型使用；训练之前，首先对全量的呼吸机机械通气时的流量(flow)、气道压力(paw)、容量(volume)数据段进行预处理，对这些分割标注后的数据段进行标准化、补〇对齐，然后将这些统一处理后的全量数据按照7:3的比例划分为训练集和测试集，这样便完成了前期数据处理的流程，完成了数据的处理与准备工作，接下来就可以分级构建多注意模块与基于该模块增强的复合模型了。44.在步骤s2内，先构建核级注意力子模块，其核心由两个全连接层序贯串接的模型构成，对输入的卷积核的特征分别使用一维全局平均池化与一维全局最大池化进行处理，得到全局最大池化特征与全局平均池化特征，再并行经过两个序贯连接的全连接层结构后进行相应矩阵位置元素的相加后再进行转换；具体地讲，核级注意力机制的核心由两个全连接层序贯串接的模型构成，对于输入的卷积核的featuremap特征，首先，分别使用一维全局平均池化与一维全局最大池化进行处理，全局平均池化对featuremap上的每个信号点都有反馈，全局最大池化则在进行梯度反向传播计算时只对featuremap中响应最大的地方有梯度的反馈，这种全局最大池化能对全局平均池化做一定的补充，随后对两种池化后的数据进行变形操作，增加1个值为1的中间维度，这样使得池化后的数据在维度数目上和输入的数据相同；变形操作后，这相当于对输入的卷积核的featuremap特征数据进行时序维度上的压缩，将这些数据压缩平摊至卷积核维度上，由此提取出了卷积核维度相关的最大池化与平均池化两组核级初步特征。45.注意核级注意力子模型的两个全连接层中的第一层会对输入的特征矩阵的最后一维做一定比例的缩小(譬如这里取比例值为8，这样当输入的特征矩阵的最后一维是值16时，经过第一全连接层后就变成值2了)，第二全连接层会对自第一全连接层输入的特征矩阵的最后一维进行提升，以使得初始自第一全连接层输入的特征矩阵的最后一维(核级维)与第二全连接层输出的特征矩阵的最后一维大小相同。当输入的卷积核的featuremap经两种池化变换后得到全局最大池化特征与全局平均池化特征(即前面提到的两组核级初步特征)，这两组经池化操作转换的核级初步特征并行经过上述核心的两个序贯连接的全连接层结构后进行相应矩阵位置元素的相加，这种相加能充分加强对featuremap中重要的核级特征的关注度，提升分类识别模型的性能，对相加后的结果使用hard_sigmoid函数进行转换，转换后得到的注意力矩阵与最初的输入的卷积核的featuremap矩阵按元素相乘(必要时执行广播机制)便得到了最后的经整个核级注意力子模块加工后的特征，上述过程可用公式简略描述为：可用公式简略描述为：46.其中，w1和w0是多层感知机mlp的权重，角标k表示是核级注意力模块，该核级注意力子模块可用图2来概略描述，结合图2可采用更条理简明的方式对构建核级注意力子模块的过程进行阐述，设构建的核级注意力子模块为a，初始的气道压力、流量、容量数据经一维卷积结构转换后形成该核级注意力子模块的输入特征，可设输入特征矩阵的shape为[none，50，32]，输入特征矩阵是3维的矩阵，第1维的值为none，表示按批次输入至该注意力子模块中的数据量，none表示没有做限定；第2维的值50表示输入特征矩阵的时序维度；第3维的值32表示输入特征矩阵的核级维度；a1：输入特征矩阵并行经一维最大池化和一维平均池化变换后形成两组核级初步特征，两种池化后的shape均为[none,32]，随后变换成shape为[none,1,32]的两组核级初步特征；a2：该两组核级初步特征分别输入mlp结构进行加工转换形成两组核级加工特征，这两组核级加工特征的shape不变，仍分别为[none,1,32]；a3：对两组经mlp加工后的核级加工特征进行对应元素的相加处理，相加后的特征经hard_sigmoid函数作用后形成转换后的核级注意力矩阵，其中，shape保持为[none,1,32]；a4：该转换后的核级注意力矩阵与输入特征矩阵进行对应元素的矩阵乘法运算，结果便得到了最终的对输入特征加工过的核级注意力特征矩阵，其中，shape为[none,50,32]。[0047]在步骤s2内，构建完核级注意力子模块后再构建时序注意力子模块，对输入来自卷积核的特征，进行平均池化与最大池化操作，提取出了时序相关的平均池化和最大池化特征矩阵，再对平均池化和最大池化特征矩进行拼接得到组合的特征矩阵，经卷积网络转换；具体地讲，时序注意力模块构造过程如下：对于输入中来自卷积核的featuremap特征，在这种特征矩阵的卷积核维度上进行平均池化与最大池化操作，这相当于对该卷积核维度上进行了压缩，由此提取出了时序相关的平均池化和最大池化特征矩阵，然后对这两种特征矩阵在卷积核维度上进行拼接得到了一种组合后的特征矩阵，将该组合后的特征矩阵输入一个一层的一维卷积神经网络中，该卷积神经网络的卷积核数目为1，激活函数采用hard_sigmoid，不使用偏置等，经该卷积神经网络转换后，该组合特征矩阵的卷积核维度又压缩为1了，最后将这个经卷积网络转换的时序注意力矩阵与初始的来自时序注意力子模块外部的输入featuremap特征矩阵按元素相乘(必要时同样执行广播机制)便得到了最终的经整个时序注意力子模块加工后的特征，上述过程可用公式简略描述为：[0048][0049]其中，f表示输入的特征，表示hard_sigmoid函数，f5表示卷积核大小为5的一维卷积操作，角标t表示是时序注意力子模块，该时序注意力子模块可用图3来概略描述，结合图3可采用更条理简明的方式对构建时序注意力子模块的过程进行阐述，设构建的时序注意力子模块为b，一般采用经一维卷积结构处理过的数据作为该时序注意力子模块的“变换后特征”，可设该“变换后特征”的shape为[none,50,32]。则构建过程可如此图所示的如下；b1：对于输入的变换后特征矩阵，分别进行核级维度上的最大池化与平均池化压缩，形成两种池化时序初级子特征矩阵，其shape均为[none,50,1]。b2：随后对两组池化时序初级子特征矩阵进行拼接形成时序初级特征矩阵，其shape为[none,50,2]；b3：该时序初级特征矩阵输入1个卷积层的网络进行加工转换，该卷积网络卷积层的卷积核数目为1、卷积核大小为5、激活函数同样采用hard_sigmoid函数，转换后形成时序加工特征矩阵，其shape变回为[none,50,1]；b4：将该转换后的时序加工特征矩阵与初始的变换后特征进行对应元素的矩阵乘法运算，结果便得到了最终的对变换后特征加工过的时序注意力特征矩阵，其shape为[none,50,32]。[0050]在步骤s3内，将核级注意力子模块与时序注意力子模块串联起来构成多注意力综合模块，输入特征经过核级注意力子模块处理后形成带核级注意力的核级输出特征矩阵，核级输出特征流经时序注意力子模块进行处理形成时序输出特征；具体地讲，将上述核级注意力子模块与时序注意力子模块串联起来便构成了多注意力综合模块，这里采用了经实验验证的先核级注意力再时序注意力序贯串接的方案，这种组合模块能对输入的特征矩阵给以核特征层次与信号时序层次等多个层次、多个角度的特征片段关注度的增强，有利于提升使用该注意力综合模块的复合模型的性能；此外该多注意力模块还具有相当的灵活性，能应用到含有一维卷积结构的模型的不同位置的卷积结构之后。该多注意力模块可用图4来概略描述，结合图4可采用更条理简明的方式对构建多注意力综合模块的过程进行阐述，设构建的多级注意力综合模块为c，其中自卷积层输出的特征作为该注意力模块的输入特征矩阵，设shape为[none,50,32]，则构建过程可如此图所示的如下；c1：输入特征经过核级注意力子模块处理后形成带核级注意力的核级输出特征矩阵，其shape为[none,50,32]；c2：该核级输出特征流经时序注意力子模块进行处理形成时序输出特征，其shape仍为[none,50,32]，该经时序注意力子模块处理的时序输出特征即为整个多级注意力综合模块的最终输出特征，即重定义的特征，这种重定义的特征是一种带有核级与时序注意力加持的综合特征，其中对输入数据中表征特征数据的片段具备更大的权重关注。[0051]在步骤s4内，将多注意力综合模块嵌入集成至一维卷积神经网络模型内形成多注意力复合模型，多注意力复合模型按从前至后的顺序由卷积层、最大池化层、第一多注意力层、卷积层、最大池化层、第二多注意力层、卷积层、全连接层、全连接层序贯构成，第一多注意力层与第二多注意力层均包括核级注意力层和时序注意力层；具体地讲，一维卷积神经网络模型由卷积层、最大池化层、卷积层、最大池化层、卷积层、全连接层、全连接层序贯构成；其中，多注意力模块分别放置在两个最大池化层后面，如此就构成了基于多注意力机制增强的一维卷积神经网络复合模型，该复合模型具有显著优于基础卷积模型的分类识别性能，具有实用价值；该复合模型可用图5来概略描述。[0052]在步骤s5内，通过多注意力复合模型对呼吸机机械通气时的波形数据进行分析与判别，当检测到波形数据为双触发或无效吸气努力的呼吸机机械通气过程中的人机异步事件中的数据，则可以判定为双触发或无效吸气努力的人机异步事件。[0053]本发明中提出的核级注意力机制、时序注意力机制能从多个层级提取出流量、气道压力、容量三组波形数据中不同方面的需要关注的特征，加强这些特征的关注度有利于提升分类的性能；两种注意力子模块组合而成的综合注意力模块具有较灵活的部署度，能放置在譬如用例的各类一维卷积神经网络的不同卷积层的后面，以从不同角度、位置加强对特征的关注度，这种将不同层级注意力集成到带有一维卷积结构的神经网络中而具备多注意力机制的复合模型能更好地捕获到流量、气道压力、容量三导波形数据中的表征人机异步类型的数据段，可以更好地识别出人机异步类型的分型。[0054]本发明已经过实验的模拟验证，结果是优异的，提出的一种基于多注意力机制的复合分类模型在对典型病例的双触发与无效吸气努力两种异步类型的检测上具备良好的识别性能，识别的平均准确率在0.9621左右。[0055]针对不同的随机数，基础用例1dcnn(一维卷积神经网络)模型与基于多注意力增强的1dcnn复合模型的相应准确率情况陈列如表1所示；从表1中可以显著地看出提出的基于多注意力机制增强的1dcnn复合模型具有更好的综合性能。[0056]表1多注意力机制增强复合模型与基础用例模型基于不同随机数的准确率对比表：[0057][0058]以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的
技术领域：
：，均同理包括在本发明的专利保护范围内。当前第1页12当前第1页12