运动干扰鲁棒的非接触式心跳生理信号测量方法及系统与流程

本发明属于生物医学信号处理，具体涉及一种运动干扰鲁棒的非接触式心跳生理信号测量方法及系统。

背景技术：

1、非接触式心跳生理信号测量，如远程光电容积脉搏波描记(remotephotoplethysmography，rppg)通过检测视频中受检人脸部皮肤因血液流动造成的微小反射光强度变化，预测受检人心跳速率等相关心血管功能参数。因视频光强度变化过于微小，由受检人脸部运动造成的模糊极易干扰检测效果。而在实际视频录制中，受检人的移动是不可避免的。更具体地，基于运动程度的强度，可将其导致的污染分为两类：局部污染和全局污染。局部污染指因受检人表情或者轻微移动导致的脸部部分区域生理信息污染，全局污染指受检人头部转动或快速移动导致的脸部整体生理信息丢失。目前现有技术只有针对局部污染的解决方案，尚无应对全局污染的方法。

2、现有技术通过对视频前后帧的rgb数值作差，来描述受检者的运动，这种方式存在如下缺陷：

3、1）易受到运动以外的因素干扰，对运动的鲁棒性提升有限；

4、2）难以高效的将运动信息融合进模型的主体预测模块。

技术实现思路

1、为了克服现有技术的缺点与不足，本发明的目的在于提供一种运动干扰鲁棒的非接触式心跳生理信号测量方法及系统，以解决非接触式心跳生理信号测量因受检人运动而导致预测失准的问题。

2、本发明的目的通过下述技术方案实现：

3、根据本发明的一个方面，提供一种运动干扰鲁棒的非接触式心跳生理信号测量方法，所述方法包括以下步骤：

4、获取脸部视频数据，将视频转化为时空特征图并设置滑动时间窗；

5、将时空特征图输入主干网络提取高维特征得到高维特征图，基于高维特征图生成生理信息的查询、键和值，并量化每个时间窗的运动程度；

6、使用运动分析从时空特征图生成运动指示图，依据运动指示图生成与时空特征图尺寸相同的运动特征图，基于运动特征图生成运动信息的查询和键；

7、基于生理信息和运动信息构建运动引导查询得到生理信息和运动信息的合成特征，将合成特征输入回主干网络计算得到每个时间窗的心率及心跳生理信号预测值。

8、基于前述方案，所述将视频转化为时空特征图并设置滑动时间窗具体包括：

9、将视频截取为连续帧，并提取每一帧的人脸关键点以对齐人脸；

10、将人脸图像划分为多个兴趣区域，在每个兴趣区域图片rgb维度上分别求平均值作为该区域特征，完成时空特征图的转化；

11、从时空特征图截取一个跨度数秒的时间窗以预测当前帧的血管功能参数，通过滑动时间窗完成对视频整体的预测。

12、基于前述方案，所述基于高维特征图生成生理信息的查询、键和值，并量化每个时间窗的运动程度，具体包括：

13、将高维特征图的每一列作为单独的序列，序列包含当前时间点的所有空间特征；

14、通过线性映射生成生理信息的查询qphy、键kphy和值vphy：

15、；

16、其中，t和h分别代表序列的数量和长度，d代表维度的数量，代表t x h xd维度的实数向量组成的空间；

17、基于生理信息的查询和键获得每个时间窗的生理信息注意力亲和图，亲和图的横轴为脸部区域、纵轴为其他区域对该脸部区域的注意力权重；

18、对纵轴求和并将求和结果作为一维的注意力分布；

19、在每个时间窗中再次划分多个不重叠的小时间窗，得到多个连续的注意力分布，第k个时间窗的注意力分布表示为：

20、；

21、其中，adk代表第k个时间窗的注意力分布，rk1和ak1分别代表分别区域1及其特征值，h表示脸部区域被划分的个数；

22、使用推土距离计算相邻分布的特征变化，计算公式如下：

23、；

24、其中，emd()为推土距离，adk, adk+1为相邻分布，dxy表示从rk,x到rk+1,y的距离，fx,y表示从ak,x到ak+1,y的注意力转移量，t为每个时间窗的总宽度，n为每个小时间窗的宽度，为小时间窗的个数；

25、使用推土距离平均值表示运动程度：

26、；

27、其中，mr为运动程度，s为小时间窗的数量。

28、基于前述方案，所述运动分析为时空特征图相邻列的余弦距离，所述使用运动分析从时空特征图生成运动指示图按如下公式进行：

29、；

30、其中，mn,t表示运动指示图第n行第t列的特征值；pn,t表示时空特征图第n行第t列的像素值，其物理意义为t时刻第n个兴趣区域的区域特征，pn,t+1为下一时间单位的同一区域特征；cos()表示计算两者的余弦值。

31、基于前述方案，所述依据运动指示图生成与时空特征图尺寸相同的运动特征图，基于运动特征图生成运动信息的查询和键，具体包括：

32、构建一个与主干网络插入层之前的部分结构相同、权重参数不同的特征提取器；

33、提取运动指示图特征生成与时空特征图尺寸相同的运动特征图；

34、将运动特征图的每一列作为单独的序列，序列包含当前时间点的所有兴趣区域的运动特征；

35、经由线性映射得到运动信息的查询qm和键km：

36、；

37、其中，t和h分别代表序列的数量和长度，d代表维度的数量，r为压缩率，代表维度的实数向量组成的空间。

38、基于前述方案，所述基于生理信息和运动信息构建运动引导查询按如下公式进行：

39、；

40、其中，msamq()表示所构建的运动引导查询，qphy表示生理信息的查询，kphy表示生理信息的键，vphy表示生理信息的值，qm表示运动信息的查询，km表示运动信息的键，softmax为归一化函数，表示连接，dkphy表示kphy头的维度，t表示矩阵转置。

41、基于前述方案，所述方法还包括：根据每个时间的运动程度和心率预测值获得运动程度及心率预测值的预测序列，将预测序列输入自回归模型重构预测，修复异常区域并输出最终心率预测值。

42、基于前述方案，所述将预测序列输入自回归模型重构预测，修复异常区域并输出最终心率预测值，具体包括：

43、对于预测序列中第i个时间窗的心率预测值hri和运动程度mri所对应的一组(hri,mri)，通过自回归模型重构为hri’；

44、使用均方根误差于宽度为n的时间窗获得异常分数αi：

45、

46、若αi大于预设阈值则将时间窗内首个点标记为异常；

47、将异常区域前后第一个非异常点标记为(xl,yl)和(xr,yr)，使用线性插值修正异常点(xa,ya)：

48、；

49、完成异常区域的修复并输出最终心率预测值。

50、基于前述方案，所述主干网络为卷积神经网络模型，包括五层卷积层与四层反卷积层。

51、基于前述方案，所述自回归模型为编码器-解码器长短期记忆网络。

52、根据本发明的另一个方面，提供一种运动干扰鲁棒的非接触式心跳生理信号测量系统，所述系统包括以下模块：

53、数据获取模块，用于获取脸部视频数据，将视频转化为时空特征图并设置滑动时间窗；

54、生理信息模块，用于将时空特征图输入主干网络提取高维特征得到高维特征图，基于高维特征图生成生理信息的查询、键和值，并量化每个时间窗的运动程度；

55、运动信息模块，用于使用运动分析从时空特征图生成运动指示图，依据运动指示图生成与时空特征图尺寸相同的运动特征图，基于运动特征图生成运动信息的查询和键；

56、计算模块，用于基于生理信息和运动信息构建运动引导查询得到生理信息和运动信息的合成特征，将合成特征输入回主干网络计算得到每个时间窗的心率及心跳生理信号预测值。

57、基于前述方案，所述系统还包括：

58、修复模块，用于根据每个时间的运动程度和心率预测值获得运动程度及心率预测值的预测序列，将预测序列输入自回归模型重构预测，修复异常区域并输出最终心率预测值。

59、本发明相对于现有技术具有如下的优点及效果：

60、（1）本发明采用了运动引导注意力机制量化受检人的运动程度，并基于量化的运动程度和原始心率预测值修复全局污染造成的生理信息丢失，进而提高非接触式心跳生理信号测量的运动干扰鲁棒性，解决非接触式心跳生理信号测量因受检人运动而导致预测失准的问题。

61、（2）本发明在未对异常区域进行修复前所输出的心率预测值预测效果已优于nest模型；修复模块能够有效修复大幅度运动带来的全局污染，并且运动幅度越大，效果越明显。

62、（3）本发明的方法及系统能够部署到任何基于时空图的非接触式心跳生理信号测量模型上，增强模型对运动的鲁棒性。