一种基于高效时空建模的非接触生理信号检测方法及系统

1.本发明涉及智能数据处理技术领域，特别是指一种基于高效时空建模的非接触生理信号检测方法及系统。


背景技术：

2.随着现代社会的不断发展、人们的生活水平不断提高的同时，心血管疾病的发病率也不断上升，这可能是由于工作压力增加和生活节奏加快所致。人体生理指标的检测对于感知人体健康状况非常重要。早期发现和治疗可以有效预防和控制心血管疾病，可避免和减少因心血管问题而导致的猝死。传统的心率测量方法，如心电图，都是接触式心率测量，存在以下局限：一是不适用于某些特定的应用场景，如需要长期监控的场景：新生儿、大面积烧伤患者、睡眠监控、驾驶员监控等，且接触测量需要受试者的主观合作。二是当测量仪器与皮肤接触的位置偏离时，很容易导致测量结果出现较大偏差。此外，尽管心电图仪具有精确测量的优点，但它相对昂贵，需要专业操作，不适合日常生理信号测量。随着非接触远程光电容积脉搏波原型方法的初步成功，经典信号处理已经证明了基于远程光电容积脉搏波技术的心率测量的可行性。然而，这些方法在遇到运动、光照变化和肤色等噪声时往往会出现退化。在实际应用中发现基于信号分离的方法只能针对特定的干扰，不能有效地处理真实场景中多个干扰的共存。
3.对于实际应用，最近的研究开始关注基于深度学习的方法，因为其更好的表征能力。几种基于深度学习的方法已成功应用于以脉搏或呼吸为目标信号的远程光电容积脉搏波恢复任务，但这些方法仍难以有效建模时空信息。虽然存在通过生成特征图来建模时空信息的方法，该特征图需要预处理，包括人脸检测、面部关键点定位、面部对齐、皮肤分割和颜色空间变换，这些都相当复杂。此外，由于监督学习的局限性，跨数据库评估和实际应用的性能会下降。所学习的时空特征仍然容易受到光照条件和运动的影响，并且它们无法充分利用广泛的时间上下文信息。


技术实现要素：

4.针对现有技术中，学习的时空特征仍然容易受到光照条件和运动的影响，并且它们无法充分利用广泛的时间上下文信息的问题，本发明提出了一种基于高效时空建模的非接触生理信号检测方法及系统。
5.为解决上述技术问题，本发明提供如下技术方案：一方面，提供了一种基于高效时空建模的非接触生理信号检测方法，该方法应用于电子设备，包括以下步骤：s1：获取原视频流，对原视频流进行预处理，获得预处理后的图像序列；s2：获取图像序列，将图像序列输入基于三维中心差分卷积算子的深度神经网络中，结合卷积层的注意掩膜机制，提取时空信息；s3：基于时空信息以及ε-insensitive huber loss 损失函数，构建多任务损失函
数对深度神经网络进行优化；s4：采用二阶巴特沃斯滤波器过滤优化后的深度神经网络，同时输出心率与呼吸率，完成基于高效时空建模的非接触生理信号检测。
6.可选地，步骤s1中，获取原视频流，对原视频流进行预处理，获得预处理后的图像序列，包括：将原始视频流分别进行时域归一化差值和下采样处理，获得预处理后的图像序列；其中，根据下述公式（1）进行时域归一化差值的计算：其中表示第个皮肤像素在时间的rgb值，为时间变化值。
7.可选地，图像序列包括：时域归一化差值图像序列以及下采样图像序列。
8.可选地，步骤s2中，获取图像序列，将图像序列输入基于三维中心差分卷积算子的深度神经网络中，结合卷积层的注意掩膜机制，提取时空信息，包括：s21：将时域归一化差值图像序列作为运动分支，输入基于三维中心差分卷积算子的深度神经网络中；将下采样图像序列作为外观分支，输入基于三维中心差分卷积算子的深度神经网络中；s22：通过注意掩膜机制，基于外观分支的建模皮肤感兴趣区域，协助运动分支提取时空信息；s23：重复步骤s21-s22，进行时空信息的提取，将时空信息传至全连接层。
9.可选地，步骤s21中，包括：根据下述公式（2）获得三维中心差分卷积算子：其中，是输入特征图，表示局部感受野立方体，是可学习的权重， 表示特征图上的当前位置，表示对感受野和相邻时间步中位置的枚举，超参数用于平衡空间强度和梯度。
10.可选地，步骤s22中，包括：根据下述公式（3）获得注意掩膜机制的函数公式：其中，是外观分支第层卷积层的特征图；是运动分支第层卷积层的特征
图；和是第层卷积层特征图的高和宽；表示sigmoid函数， 是卷积核权重，是卷积核偏置，是l1范数，表示按元素乘积。
11.可选地，步骤s3中，基于时空信息以及ε-insensitive huber loss 损失函数，构建多任务损失函数对深度神经网络进行优化，包括：根据下述公式（4）ε-insensitive huber loss 损失函数计算脉搏波和呼吸波的强度损失：其中表示真值，表示输入经过函数映射后的预测值，是huber loss的超参数，默认值为1，是ε-insensitive loss的超参数，默认值为0.1；结合下述公式（5）构建多任务损失函数：其中和为损失函数权重；通过反向传播损失函数值优化深度神经网络权重，在损失函数不再下降后停止优化，即选择训练过程中损失函数值最低的深度神经网络。
12.可选地，步骤s4中，采用二阶巴特沃斯滤波器过滤优化后的深度神经网络，同时输出心率与呼吸率，完成基于高效时空建模的非接触生理信号检测，包括：采用二阶巴特沃斯滤波器深度神经网络，同时输出心率与呼吸率；其中，心率的截止频率为0.75hz和2.5hz，呼吸频率的截止频率分别为0.08hz和0.5hz；其中，选择滤波信号获得的功率谱中最高峰值的位置作为心率及呼吸率输出，完成基于高效时空建模的非接触生理信号检测。
13.一方面，提供了一种基于高效时空建模的非接触生理信号检测系统，该系统应用于电子设备，该系统包括：数据采集模块，用于获取原视频流，对原视频流进行预处理，获得预处理后的图像序列；时空信息提取模块，用于获取图像序列，将图像序列输入基于三维中心差分卷积算子的深度神经网络中，结合卷积层的注意掩膜机制，提取时空信息；模型优化模块，用于基于时空信息以及ε-insensitive huber loss 损失函数，构建多任务损失函数对深度神经网络进行优化；数据输出模块，用于采用二阶巴特沃斯滤波器过滤优化后的深度神经网络，同时输出心率与呼吸率，完成基于高效时空建模的非接触生理信号检测。
14.可选地，数据采集模块，进一步用于将原始视频流分别进行时域归一化差值和下采样处理，获得预处理后的图像序列；其中，根据下述公式（1）进行时域归一化差值的计算：其中表示第个皮肤像素在时间的rgb值，为时间变化值。
15.一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种基于高效时空建模的非接触生理信号检测方法。
16.一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种基于高效时空建模的非接触生理信号检测方法。
17.本发明实施例的上述技术方案至少具有如下有益效果：上述方案中，提出了一种基于三维中心差卷积注意力网络的精确非接触生理信号测量方法，用于高效时空建模，利用的三维中心差分卷积算子可以通过聚集时间差异信息来提取脉搏波信息。
18.提出了ε-insensitive huber loss作为非接触脉搏波测量网络的损失函数，因其可以聚焦脉搏波强度约束，通过评估不同的损耗函数及其组合，显示了ε-insensitive huber loss损失函数更优的性能。
19.且进一步提出了心脏和呼吸运动联合多任务测量的网络，它具有在相关生理信号之间共享信息的优点，可以同时测量心率与呼吸率，并进一步提高精度，同时降低计算成本。大量实验表明，所提出的方法在公开数据库上性能优异。并进行了跨数据库评估和消融研究，证明了所提出方法的有效性和鲁棒性。
附图说明
20.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1是本发明实施例提供的一种基于高效时空建模的非接触生理信号检测方法的流程图；图2是本发明实施例提供的一种基于高效时空建模的非接触生理信号检测方法的流程图；图3是本发明实施例提供的一种基于高效时空建模的非接触生理信号检测系统框图；图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
22.在此处键入发明内容描述段落为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
23.本发明实施例提供了一种基于高效时空建模的非接触生理信号检测方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的基于高效时空建模的非接触生理信号检测方法流程图，该方法的处理流程可以包括如下的步骤：s101：获取原视频流，对原视频流进行预处理，获得预处理后的图像序列；s102：获取图像序列，将图像序列输入基于三维中心差分卷积算子的深度神经网络中，结合卷积层的注意掩膜机制，提取时空信息；s103：基于时空信息以及ε-insensitive huber loss 损失函数，构建多任务损失函数对深度神经网络进行优化；s104：采用二阶巴特沃斯滤波器过滤优化后的深度神经网络，同时输出心率与呼吸率，完成基于高效时空建模的非接触生理信号检测。
24.可选地，步骤s101中，获取原视频流，对原视频流进行预处理，获得预处理后的图像序列，包括：将原始视频流分别进行时域归一化差值和下采样处理，获得预处理后的图像序列：其中，根据下述公式（1）进行时域归一化差值的计算：其中表示第个皮肤像素在时间的rgb值，为时间变化值。
25.可选地，图像序列包括：时域归一化差值图像序列以及下采样图像序列。
26.可选地，步骤s102中，获取图像序列，将图像序列输入基于三维中心差分卷积算子的深度神经网络中，结合卷积层的注意掩膜机制，提取时空信息，包括：s121：将时域归一化差值图像序列作为运动分支，输入基于三维中心差分卷积算子的深度神经网络中；将下采样图像序列作为外观分支，输入基于三维中心差分卷积算子的深度神经网络中；s122：通过注意掩膜机制，基于外观分支的建模皮肤感兴趣区域，协助运动分支提取时空信息；s123：重复步骤s121-s122，进行时空信息的提取，将时空信息传至全连接层。
27.可选地，步骤s121中，包括：根据下述公式（2）获得三维中心差分卷积算子：其中，是输入特征图，表示局部感受野立方体，是可学习的权重，表示特
征图上的当前位置，表示对感受野和相邻时间步中位置的枚举，超参数用于平衡空间强度和梯度。
28.可选地，步骤s122中，包括：根据下述公式（3）获得注意掩膜机制的函数公式：其中，是外观分支第层卷积层的特征图；是运动分支第层卷积层的特征图；和是第层卷积层特征图的高和宽；表示sigmoid函数，是卷积核权重，是卷积核偏置，是l1范数，表示按元素乘积。
29.可选地，步骤s103中，基于时空信息以及ε-insensitive huber loss 损失函数，构建多任务损失函数对深度神经网络进行优化，包括：根据下述公式（4）ε-insensitive huber loss 损失函数计算脉搏波和呼吸波的强度损失：其中表示真值，表示输入经过函数映射后的预测值，是huber loss的超参数，默认值为1，是ε-insensitive loss的超参数，默认值为0.1；结合下述公式（5）构建多任务损失函数：其中和为损失函数权重：通过反向传播损失函数值优化深度神经网络权重，在损失函数不再下降后停止优化，选择训练过程中损失函数值最低的深度神经网络。
30.可选地，步骤s104中，采用二阶巴特沃斯滤波器过滤优化后的深度神经网络，同时输出心率与呼吸率，完成基于高效时空建模的非接触生理信号检测，包括：采用二阶巴特沃斯滤波器深度神经网络，同时输出心率与呼吸率；其中，心率的截止频率为0.75hz和2.5hz，呼吸频率的截止频率分别为0.08hz和0.5hz；其中，选择滤波信号获得的功率谱中最高峰值的位置作为心率及呼吸率输出，完成基于高效时空建模的非接触生理信号检测。
31.本发明实施例中，提出了一种基于高效时空建模的用于生理信号非接触测量的远
程光电容积脉搏波恢复方法。其有效的时空建模是通过结合三维中心差分卷积算子、运动和外观双分支结构以及软注意掩膜来实现的。三维中心差分卷积算子擅长通过梯度和强度信息的组合来描述脉搏波的内在模式。基于三维中心差分卷积算子的深度神经网络可以提供比传统三维卷积更可靠的时空信息建模能力。
32.此外，本专利首先在远程光电容积脉搏波任务中引入了ε-insensitive huber loss 损失函数，它具有l1和l2损失的优点，同时结合ε-insensitive 使得损失函数可忽略不敏感域的噪声样本从而增加鲁棒性，显示出更好的性能。
33.本发明实施例提供了一种基于高效时空建模的非接触生理信号检测方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图2所示的基于高效时空建模的非接触生理信号检测方法流程图，该方法的处理流程可以包括如下的步骤：s201：获取原视频流，对所述原视频流进行预处理，获得预处理后的图像序列；一种可行的实施方式中，将原始视频流分别进行时域归一化差值和下采样处理，处理后分辨率为36
×
36
×
3。获得预处理后的图像序列；其中，根据下述公式（1）进行时域归一化差值的计算：。
34.其中表示第个皮肤像素在时间的rgb值，为时间变化值。
35.一种可行的实施方式中，图像序列包括：时域归一化差值图像序列以及下采样图像序列。在本实施例中图像序列均为10帧。
36.s202：将时域归一化差值图像序列作为运动分支，输入基于三维中心差分卷积算子的深度神经网络中；将下采样图像序列作为外观分支，输入基于三维中心差分卷积算子的深度神经网络中；s203：通过注意掩膜机制，基于外观分支的建模皮肤感兴趣区域，协助运动分支提取时空信息。
37.s204：重复步骤s202-203，进行时空信息的提取，将所述时空信息传至全连接层。
38.一种可行的实施方式，根据下述公式（2）获得所述三维中心差分卷积算子：其中，是输入特征图，表示局部感受野立方体，是可学习的权重，表示特征图上的当前位置，表示对感受野和相邻时间步中位置的枚举，超参数用于平衡空间强度和梯度。
39.一种可行的实施方式中，卷积核大小为(3
×3×
3, 32)，卷积层数为2。
40.一种可行的实施方式中，根据下述公式（2）获得所述注意掩膜机制的函数公式：。
41.其中，是外观分支第层卷积层的特征图；是运动分支第层卷积层的特征图；和是第层卷积层特征图的高和宽；表示sigmoid函数，是卷积核权重，是卷积核偏置，是l1范数，表示按元素乘积。
42.一种可行的实施方式中，层化层，采用平均池化，核大小为(2
×2×
2, 32)，并带有概率为0.5的dropout。
43.一种可行的实施方式中，全连接层，输入输出维度为128和10，并带有概率为0.5的dropout。
44.s205：基于时空信息以及ε-insensitive huber loss 损失函数，构建多任务损失函数对深度神经网络进行优化；一种可行的实施方式中，根据下述公式（4）ε-insensitive huber loss 损失函数计算脉搏波和呼吸波的强度损失：其中表示真值，表示输入经过函数映射后的预测值，是huber loss的超参数，默认值为1，是ε-insensitive loss的超参数，默认值为0.1；结合下述公式（5）作为多任务损失函数：其中和为损失函数权重；通过反向传播损失函数值优化深度神经网络权重，在损失函数不再下降后停止优化，选择训练过程中损失函数值最低的深度神经网络。
45.一种可行的实施方式中，将损失函数值最低的深度神经网络模型作为最终模型。
46.一种可行的实施方式中，α=β=1在一个实例中采用，最后通过反向传播损失函数值优化神经网络权重，在损失函数不再下降后停止，此时效果最好的模型作为最终模型采用恢复脉搏波和呼吸波；s206：采用二阶巴特沃斯滤波器过滤优化后的深度神经网络，同时输出心率与呼吸率，完成基于高效时空建模的非接触生理信号检测。
47.一种可行的实施方式中，采用二阶巴特沃斯滤波器进一步过滤网络输出心率与呼吸率，其中心率的截止频率为0.75和2.5hz，呼吸频率的截止频率分别为0.08和0.5hz；选择滤波信号获得的功率谱中最高峰值的位置作为心率及呼吸率输出，完成基于高效时空建模的非接触生理信号检测。
48.一种可行的实施方式中，本发明与以前的先前方法相比，主要有两个方面的区别：一个是时空网络。传统技术中采用了三维卷积和时间移位卷积，旨在减少计算预算但没有精度增益。本文使用的三维中心差分卷积算子可以在不需要额外参数的情况下取代传统的
卷积运算。结果改善的是由于增强的时空上下文建模能力有助于外观和运动信息的表示。同时，中心差分可视为正则化项，缓解过度拟合。另一种是网络架构，如dual-gan，它是用于信号解耦的基于生成对抗网络架构的设计，在某些度量（如ubfc数据集上的均方根误差）的性能优于本发明的方法。但dual gan包含称为时空地图生成的预处理步骤，包括人脸检测、面部关键点定位、面部对齐、皮肤分割和颜色空间变换，这些预处理相对复杂。而本发明的方法只需要帧之间的简单减法运算作为运动分支的输入。
49.此外，在损失函数方面，所采用的ε-insensitive huber loss当预测信号和真实信号之间的损失接近最小值时，梯度随着huber损失而缓慢减小，因此该模型在信号预测中更具鲁棒性。本发明提出的多任务网络能够建模内部相关性，与单任务版本相比具有准确性优势，并同时节省计算资源。总体而言，基于高效时空建模的远程光电容积脉搏波技术测量网络可以通过聚集远程光电容积脉搏波技术相关的时间差异信息来捕获丰富的时间上下文，获得更加鲁棒准确的非接触生理信号测量结果。
50.本发明实施例中，提出了一种基于三维中心差卷积注意力网络的精确非接触生理信号测量方法，用于高效时空建模，利用的三维中心差分卷积算子可以通过聚集时间差异信息来提取脉搏波信息。
51.提出了ε-insensitive huber loss 作为非接触脉搏波测量网络的损失函数，因其可以聚焦脉搏波强度约束，通过评估不同的损耗函数及其组合，显示了ε-insensitive huber loss 损失函数更优的性能。
52.进一步提出了心率和呼吸运动联合多任务测量的网络，它具有在相关生理信号之间共享信息的优点，可以同时测量心率与呼吸率，并进一步提高精度，同时降低计算成本。大量实验表明，所提出的方法在公开数据库上性能优异。并进行了跨数据库评估和消融研究，证明了所提出方法的有效性和鲁棒性。
53.图3是根据一示例性实施例示出的一种基于高效时空建模的非接触生理信号检测系统框图。参照图3，该系统300包括：数据采集模块310，用于获取原视频流，对原视频流进行预处理，获得预处理后的图像序列；时空信息提取模块320，用于获取图像序列，将图像序列输入基于三维中心差分卷积算子的深度神经网络中，结合卷积层的注意掩膜机制，提取时空信息；模型优化模块330，用于基于时空信息以及ε-insensitive huber loss 损失函数，构建多任务损失函数对深度神经网络进行优化；数据输出模块340，用于采用二阶巴特沃斯滤波器过滤优化后的深度神经网络，同时输出心率与呼吸率，完成基于高效时空建模的非接触生理信号检测。
54.可选地，数据采集模块310，进一步用于将原始视频流分别进行时域归一化差值和下采样处理，获得预处理后的图像序列；其中，根据下述公式（1）进行时域归一化差值的计算：其中表示第个皮肤像素在时间 的rgb值，为时间变化值。
55.可选地，图像序列包括：时域归一化差值图像序列以及下采样图像序列。
56.可选地，时空信息提取模块320，进一步用于将时域归一化差值图像序列作为运动分支，输入基于三维中心差分卷积算子的深度神经网络中；将下采样图像序列作为外观分支，输入基于三维中心差分卷积算子的深度神经网络中；通过注意掩膜机制，基于外观分支的建模皮肤感兴趣区域，协助运动分支提取时空信息；重复进行时空信息的提取，将时空信息传至全连接层。
57.可选地，时空信息提取模块320，进一步用于根据下述公式（2）获得三维中心差分卷积算子：其中，是输入特征图，表示局部感受野立方体，是可学习的权重，表示特征图上的当前位置，表示对感受野和相邻时间步中位置的枚举，超参数用于平衡空间强度和梯度。
58.可选地，时空信息提取模块320，进一步用于根据下述公式（3）获得注意掩膜机制的函数公式：其中，是外观分支第层卷积层的特征图；是运动分支第层卷积层的特征图；和是第层卷积层特征图的高和宽；表示sigmoid函数，是卷积核权重，是卷积核偏置，是l1范数，表示按元素乘积。
59.可选地，模型优化模块330，用于根据下述公式（4）ε-insensitive huber loss 损失函数计算脉搏波和呼吸波的强度损失：其中表示真值，表示输入经过函数映射后的预测值，是huber loss的超参数，默认值为1，是ε-insensitive loss的超参数，默认值为0.1；结合下述公式（5）构建多任务损失函数l
total
：
其中和为损失函数权重；通过反向传播损失函数值优化深度神经网络权重，在损失函数不再下降后停止优化，即选择训练过程中损失函数值最低的深度神经网络。
60.可选地，数据输出模块340，用于采用二阶巴特沃斯滤波器深度神经网络，同时输出心率与呼吸率；其中，心率的截止频率为0.75hz和2.5hz，呼吸频率的截止频率分别为0.08hz和0.5hz；其中，选择滤波信号获得的功率谱中最高峰值的位置作为心率及呼吸率输出，完成基于高效时空建模的非接触生理信号检测。
61.本发明实施例中，提出了一种基于高效时空建模的用于生理信号非接触测量的远程光电容积脉搏波恢复方法。其有效的时空建模是通过结合三维中心差分卷积算子、运动和外观双分支结构以及软注意掩膜来实现的。三维中心差分卷积算子擅长通过梯度和强度信息的组合来描述脉搏波的内在模式。基于三维中心差分卷积算子的深度神经网络可以提供比传统三维卷积更可靠的时空信息建模能力。此外，本专利首先在远程光电容积脉搏波任务中引入了ε-insensitive huber loss 损失函数，同时结合ε-insensitive 使得损失函数可忽略不敏感域的噪声样本从而增加鲁棒性，显示出更好的性能。
62.图4是本发明实施例提供的一种电子设备400的结构示意图，该电子设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，cpu）401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现下述基于高效时空建模的非接触生理信号检测方法的步骤：s1：获取原视频流，对所述原视频流进行预处理，获得预处理后的图像序列；s2：获取所述图像序列，将所述图像序列输入基于三维中心差分卷积算子的深度神经网络中，结合卷积层的注意掩膜机制，提取时空信息；s3：基于所述时空信息以及ε-insensitive huber loss 损失函数，构建多任务损失函数对所述深度神经网络进行优化；s4：采用二阶巴特沃斯滤波器过滤优化后的深度神经网络，同时输出心率与呼吸率，完成基于高效时空建模的非接触生理信号检测。
63.在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于高效时空建模的非接触生理信号检测方法。例如，所述计算机可读存储介质可以是rom、随机存取存储器（ram）、cd-rom、磁带、软盘和光数据存储设备等。
64.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
65.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。