基于融合特征增强的非接触式生理信号检测方法及装置

本发明涉及生理信号检测，特别是指一种基于融合特征增强的非接触式生理信号检测方法及装置。

背景技术：

1、随着技术的进步，心率等生理信号的测量方法不断演变。从早期的切脉法和基于压力传感器的测量方法，到如今常用的基于ecg和ppg（photo plethysmo graphy，光电容积脉搏波描记法）的测量方法，心率等生理信号的测量变得更加便捷和精确。这些方法大都是基于ecg和bvp两种重要的生理信号的生物物理机制来测量。

2、ecg（electrocardiogram，心电图），是一种常用的测量心脏电活动的方法，通过记录心脏产生的电信号来评估心脏的功能和心律。ecg信号由一系列心电波形组成，其中最明显的是r峰，表示心脏的收缩。基于ecg的生理信号测量方法通过记录心脏电活动来获取生理信号信息。ecg传感器会将心电信号转化为电压波形，然后使用信号处理算法检测r峰的位置，进而计算出心率、心率变异性等生理信号。这种方法具有高精度和可靠性，在医疗领域得到广泛应用。但是其需要在人身上连接复杂的电极，较为不便。

3、bvp（blood volumn pulse，脉搏波），是血液在血管中传递时产生的脉动波形信号，它对应着心脏的搏动和血液的流动。脉搏波是由心脏的收缩和舒张引起的，脉搏波的特征和形态可以提供有关心血管系统和循环功能的信息。当心脏收缩时，血液被推送进入动脉，形成了一个高压的脉动波。随着心脏舒张，动脉中的压力下降，形成了一个低压的脉动波。这个高压和低压的脉动波构成了完整的脉搏波形。这种脉动波通过动脉系统传播，推动血液流动到全身各个组织和器官。基于ppg技术的测量方法就是测量因心脏跳动产生的血液循环引发的对光照吸收发射量的周期性变化，通过这种周期性变化恢复脉搏波，并进一步计算心率等生理信号。这种方法比基于ecg的测量方法对环境、设备要求低，但仍然是接触式的，存在由于接触这种特性导致的很多局限与不便。

4、近年来，基于远程ppg的生理信号测量方法迅速发展，越来越受到人们的关注。该技术是在ppg基础上发展起来的一种非接触式生理信号检测技术。它利用普通摄像头在较远距离上进行信号采集，无需专业设备，也无需与被检测者发生接触。这种便携、低成本、非接触、安全、能够连续测量、操作简单的优势使其在各个领域都具有广泛的应用前景，为非接触式生理信号测量及远程医疗监控研究提供了一种新的解决途径和方案。

5、基于远程光电容积脉搏波描记法技术的生理信号检测方法已经发展了很长时间，主要可分为信号处理方法、数据驱动方法两大类。

6、verkruysse等人的研究是早期rppg(remote photo plethysmo graphy，远程光电容积脉搏波描记法)领域的一个代表，他们表明在生理特征提取任务中，相比于rgb摄像头的红色通道与蓝色通道，绿色通道分布着最强的rppg信号。他们通过手动选择面部roi（region of interest，感兴趣区域）、提取rgb像素均值、使用带通滤波器滤波、功率谱分析四个步骤来得到与心率和呼吸率相对应的峰值。ica(independent component analysis，独立成分分析)是早期该领域的另一个经典方法。在这项研究中，作者借助由12名在预定照明条件下记录的受试者组成的视频数据集进行了实验，基于ica的方法被实验证明对运动具有鲁棒性。haan等人提出了chrom算法，他们使用颜色间的差异来移除相机所捕获的镜面扭曲，他们还提出了肤色标准化来使算法适用于不同颜色的光源。wang等人提出了pos算法，该模型解释了光如何与皮肤相互作用，弱化了chrom算法中对标准化肤色这一先验知识的需求，并用投影矩阵将rgb信号投影到一个最可能含有脉搏信号的范围，该算法对运动具有较好的鲁棒性。与后续的深度学习方法相比，传统的信号处理技术具有以下两个优点：一是它们提供了易于实现且有效的算法来测量生理信号；二是它们通常易于解释且相对透明，因为大多数信号处理方法不需要训练数据(即无监督方法)。

7、近年来，由于强大的学习能力，基于数据驱动的方法在rppg测量领域占据主导地位。目前基于数据驱动的方法从模型输入输出的角度可以分为非端到端网络与端到端网络两种类型。

8、一个非端到端模型的典型框架是牛雪松等人的synrhythm。他们先将数据处理为一个个基于面部roi的时空信号图，再从时空信号图中学习鲁棒的rppg特征。与基于非端到端学习的方法相比，端到端方法较少依赖与任务相关的先验知识和手工工程(例如时空信号图生成)，但依赖于多样化和大规模的数据来缓解过度拟合的问题。

9、deepphys是早期较为经典的一种端到端方法。这个方法第一个提出使用卷积注意力网络架构来进行生理信号检测，该架构使用了双分支结构，通过外观分支和运动分支的组合来进行生理测量。运动分支的目标是提取生理信号，外观分支使用与运动分支前几次特征提取完全相同的结构，旨在为运动分支提供bvp波信号更丰富的区域，通过注意力机制引导运动分支对这些区域的关注。deepphys后，physnet第一个将三维网络应用到rppg领域。该方法以64帧作为输入，使用了一种可以最大程度地提高标签波形与预测波形相关性的损失函数。mtts-can（多任务时移卷积注意网络）在体系结构和损失函数上与deepphys相似，从以下两方面提出了改进：第一，在多任务学习设置中，使用相同的模型对mtts-can模型进行训练，以同时预测心率和呼吸率。第二，mtts-can模型嵌入了tsm (temporal shiftmodule，时间移位模块)，该模块有助于在短时间窗口上进行学习，无需向网络添加额外的可训练参数。

10、由于自注意力机制在序列任务中的卓越表现，transformer（变换器）已经广泛应用于自然语言处理领域，对序列数据的上下文关系进行建模。dosovitskiy等人提出了vit(vision transformer，视觉变换器)，将transformer引入计算机视觉领域。此后，transformer在计算机视觉领域迅速发展，出现了一系列相关方法与模型。efficientphys首次尝试引入transformer到rppg领域。它在架构上基于mtts-can，提出了一种基于卷积的网络和一种基于transformer的网络。相比于ts-can，efficientphys的作者认为rppg信号丰富的区域不需要专门通过外观分支来获取，可以通过运动分支本身的自注意力来获取，所以efficientphys只使用了一个运动分支，并不是双分支结构。efficientphys中基于transformer的方法使用了swin transformer来替换卷积块，但在原文中，transformer最终的效果并没有优于cnn(convolutional neural networks，卷积神经网络)。这可能是因为swin transformer这种基于vision transformer的结构能够探索长程的空间关系，但只能探索短期的时间关系，仅考虑来自局部相邻帧的rppg特征，而忽略了准周期rppg特征之间的长期关系。余梓彤等人在之前的基础上进一步提出了physformer与physformer++，自适应地聚合局部和全局时空特征以增强rppg表示，其提出的时间差异transformer通过时间差异引导的全局关注增强准周期rppg特征，提升了预测准确度。

11、总的来说，rppg的早期研究大都基于传统的信号处理方法分析皮肤（通常是面部）视频来提取其周期性的信号，但rppg信号太过微弱，环境光、运动等导致的噪声较强，只用信号处理的方法在较复杂环境下很难得到较好的精度。随着机器学习的发展，出现越来越多基于数据驱动的方法，这些方法所使用的骨干网络呈现从二维cnn到三维 cnn再到transformer的趋势。相对于二维cnn，三维cnn在时序信息上的捕获使其对rppg这样的时序任务效果更优；而相对于三维cnn，transformer可以在长距离的空间和时间维度上计算相关性，这对于具有准周期性、同时存在于所有皮肤区域的bvp信号的提取尤其有利。但现有研究在性能上并没有展示出transformer比传统的cnn有压倒性的优势，在复杂环境下自注意力机制对rppg信号的注意力效果不理想，这可能是两方面的问题导致。一方面，由于transformer随序列长度的二次复杂度，并且人工设计的静态稀疏注意不适合动态的rppg任务，使得过去的工作都是将输入变换成较粗粒度的token（词元），但由于伪影与头部运动等噪声，较粗粒度的token难以避免地会同时包含rppg信息丰富区域及大量的噪声区域，会引入噪声并失去细节信息。另一方面，rppg信号信噪比低的本质特征使得其本身就不易被关注。

12、如何处理强大的噪声与微弱的特征之间的冲突是rppg任务的一个关键问题，基于rppg的生物物理机制的先验对输入的原始视频进行处理可有效提升输入的信噪比。有一些非端到端的工作基于roi区域的颜色空间变换来得到时空信号图，但这些方法忽略了预定义的roi之外的全局上下文线索，并且需要严格的预处理步骤，使它们不太适用于在移动设备上部署。在过去端到端的rppg研究中，主要有两种处理视频输入的方式。一种是直接使用原始帧作为输入。另一种是输入归一化帧差，同时也输入原始帧以提供注意力，帧差受原始帧引导以专注于皮肤区域。

13、在理想情况下，相比于原始帧，将归一化帧差作为输入的效果更好，因为其可以有效的去除固定分量噪声（即肤色、相机噪声等）的影响。但由于环境光、运动伪影等各种噪声影响，归一化帧差有着很多局限，很多时候噪声变化完全盖过rppg信息变化，尤其对于基于自注意力机制的transformer，这种极低的信噪比导致了注意力的极大偏差。但若将原始帧作为输入，相比于明显的面部特征，自注意力很难关注到极其微弱的肤色变化。自注意力得分中相当大的比例来自面部相似区域，而不是肤色变化表现的rppg特征，导致每一帧之间相似空间区域的相关度远远高于时间上相位相似的区域，实际关注点与所期望的关注点有较大的偏差。

技术实现思路

1、为了解决现有技术存在的rppg信号信噪比低的本质特征使得其本身不易被关注的技术问题，本发明实施例提供了一种基于融合特征增强的非接触式生理信号检测方法及装置。所述技术方案如下：

2、一方面，提供了一种基于融合特征增强的非接触式生理信号检测方法，该方法由非接触式生理信号检测设备实现，该方法包括：

3、s1、获取待检测脉搏波的视频数据，对视频数据进行预处理，得到预处理后的视频数据。

4、s2、将预处理后的视频数据输入到非接触式生理信号检测模型，得到脉搏波信号。

5、其中，非接触式生理信号检测模型包括：融合主干模块、时差变换器模块以及预测器模块。

6、s3、根据脉搏波信号对生理信号进行计算，得到非接触式生理信号检测结果。

7、可选地，s2 中的将预处理后的视频数据输入到非接触式生理信号检测模型，得到脉搏波信号，包括：

8、s21、将预处理后的视频数据输入到融合主干模块进行帧差融入，得到融合特征表示。

9、s22、将融合特征表示输入到时差变换器模块进行特征提取，得到高级特征表示。

10、s23、将高级特征表示输入到预测器模块进行脉搏波恢复，得到脉搏波信号。

11、可选地，s21中的融合主干模块包括：第一主干子模块以及第二主干子模块。

12、将预处理后的视频数据输入到融合主干模块进行帧差融入，得到融合特征表示，包括：

13、s211、对预处理后的视频数据进行时间移位，得到移位后的视频数据。

14、s212、对移位后的视频数据按时间顺序依次两两作差，得到视频帧差。

15、s213、通过第一主干子模块分别对预处理后的视频数据以及视频帧差进行初级特征提取，得到视频数据的初级特征表示以及视频帧差的初级特征表示。

16、s214、将视频数据的初级特征表示以及视频帧差的初级特征表示进行融合，通过第二主干子模块分别对视频数据的初级特征表示以及融合后的初级特征表示进行强化特征提取，将提取得到的特征相加得到融合特征表示。

17、可选地，视频帧差的初级特征表示如下式(1)所示：

18、（1）

19、所述视频数据的初级特征表示，如下式(2)所示：

20、（2）

21、式中，表示视频帧差的初级特征，表示视频数据的初级特征，表示连接函数，表示视频帧差，表示预处理后的视频数据，表示所述第一主干子模块。

22、可选地，融合特征表示，如下式(3)所示：

23、（3）

24、式中，表示融合特征，表示第一融合系数，表示第二融合系数，表示视频数据的初级特征，表示视频帧差的初级特征，表示所述第二主干子模块。

25、可选地，第一主干子模块包括：第一二维卷积层、第一主干子模块批归一化层、第一整流线性单元relu激活层以及最大池化层。

26、其中，第一二维卷积层的卷积核大小为5×5。

27、第二主干子模块包括：第二二维卷积层、第二主干子模块批归一化层以及第二整流线性单元relu激活层。

28、其中，第二二维卷积层的卷积核大小为3×3。

29、可选地，s22中的时差变换器模块包括：块嵌入子模块、时差自注意力子模块以及时空前馈网络子模块。

30、块嵌入子模块，用于从时间维度、高度维度以及宽度维度进行词元token提取。

31、时差自注意力子模块，使用时间差分卷积模块对自注意力机制中的查询q和键k投影，使用线性投影对自注意力机制中的值v进行投影。

32、时空前馈子模块包括第一卷积层、第二卷积层以及第三卷积层。

33、其中，第一卷积层包括：第一三维卷积层与第一时空前馈子模块批归一化层；第二卷积层包括：第二三维卷积层、第二时空前馈子模块批归一化层以及指数线性单元elu激活层；第三卷积层包括：第三三维卷积层与第三时空前馈子模块批归一化层。

34、其中，第一三维卷积层的卷积核大小为1×1×1；第二三维卷积层的卷积核大小为3×3×3；第三三维卷积层的卷积核大小为1×1×1。

35、另一方面，提供了一种基于融合特征增强的非接触式生理信号检测装置，该装置应用于基于融合特征增强的非接触式生理信号检测方法，该装置包括：

36、获取模块，用于获取待检测脉搏波的视频数据，对视频数据进行预处理，得到预处理后的视频数据。

37、输入模块，用于将预处理后的视频数据输入到非接触式生理信号检测模型，得到脉搏波信号。

38、其中，非接触式生理信号检测模型包括：融合主干模块、时差变换器模块以及预测器模块。

39、输出模块，用于根据脉搏波信号对生理信号进行计算，得到非接触式生理信号检测结果。

40、另一方面，提供一种非接触式生理信号检测设备，所述非接触式生理信号检测设备包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上述基于融合特征增强的非接触式生理信号检测方法中的任一项方法。

41、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于融合特征增强的非接触式生理信号检测方法中的任一项方法。

42、本发明实施例提供的技术方案带来的有益效果至少包括：

43、本发明实施例中，提出了融合主干模块，通过将差分帧融入原始帧，使帧级表示能够感知脉搏波的变化趋势，通过极小的计算量来有效增强rppg特征。该模块不仅可以有效的引导transformer的自注意力，增强其对rppg特征的关注，在所有端到端的方法上都具有卓越的性能表现。

44、本发明基于融合主干模块，提出了一套非接触式生理信号检测方法，通过充分的实验证明其优于当前最先进的方法，展现出强大的检测能力。