一种生理信号提取方法、装置及系统与流程

本发明涉及计算机，特别是涉及生物特征识别领域，具体涉及一种生理信号提取方法、装置及系统。

背景技术：

1、当前人体生理状态参数的获取以接触式设备为主，基于视频的非接触式设备虽有着使用便捷、适用场景广等优势，但受制于rppg(remote photoplethysmography，远程光电体积描记术)等生理信号的提取质量问题，在高精度生理参数的获取上仍面临着较大挑战。其中，rppg信号可以利用反射的周围光来测量皮肤的细微亮度变化，而皮肤的细微亮度变化是由于心脏跳动导致的血液流动导致的，因此，通过rppg信号可以预测心率、呼吸率等各种生理参数。

2、在外界环境产生剧烈变化时，rppg信号的提取质量会急剧下降。

3、因此，如何提取出高质量的生理信号成为亟需解决的问题。

技术实现思路

1、本发明实施例的目的在于提供一种生理信号提取方法、装置及系统，以提取出高质量的生理信号。具体技术方案如下：

2、第一方面，本发明实施例提供了一种生理信号提取方法，所述方法包括：

3、确定目标面部视频对应的待分析的多个面部子区域；

4、针对每一面部子区域，基于所述目标面部视频的视频帧中的、该面部子区域内的颜色通道数据，确定关于所述颜色通道的时序信号，作为该面部子区域对应的时序信号；

5、利用所述多个面部子区域对应的时序信号，对所述多个面部子区域进行指定筛选，得到感兴趣区域；其中，所述指定筛选用于筛选出时序信号与所述目标面部视频所对应的目标对象的生理信号变化规律相匹配的面部子区域；

6、基于所述感兴趣区域所对应的时序信号，确定所述目标对象的指定生理信号。

7、可选地，所述确定所述目标面部视频对应的待分析的多个面部子区域，包括：

8、确定所述目标面部视频对应的多个面部初始区域；

9、对所确定的面部初始区域进行组合处理，得到各个面部子区域；其中，所述面部子区域包括一个或多个面部初始区域。

10、可选地，所述利用所述多个面部子区域对应的时序信号，对所述多个面部子区域进行指定筛选，得到感兴趣区域，包括：

11、利用所述多个面部子区域对应的时序信号的时域维度信息和/或频域维度信息，对所述多个面部子区域进行指定筛选，得到感兴趣区域。

12、可选地，利用所述多个面部子区域对应的时序信号的时域维度信息，对所述多个面部子区域进行指定筛选的方式包括：

13、按照指定剔除方式对所述多个面部子区域进行筛选；其中，所述指定剔除方式包括以下一种或多种方式：

14、若任一面部子区域对应的时序信号的标准差，小于第一预设阈值，将该面部子区域剔除；

15、若任一面部子区域对应的时序信号的分形维度，小于第二预设阈值，将该面部子区域剔除；

16、若任一面部子区域对应的时序信号，与所对应的目标面部视频中的面部区域对应的时序信号的相关系数小于或等于0，将该面部子区域剔除。

17、可选地，利用所述多个面部子区域对应的时序信号的频域维度信息，对所述多个面部子区域进行指定筛选的方式包括：

18、将每一面部子区域对应的时序信号变换为频域信号；

19、计算所述每一面部子区域对应的频域信号的功率谱密度，并将所述功率谱密度大于第三预设阈值的面部子区域剔除。

20、可选地，所述感兴趣区域的数量为多个；

21、所述基于所述感兴趣区域所对应的时序信号，确定所述目标对象的指定生理信号，包括：

22、确定各个感兴趣区域的权值；

23、按照所述各个感兴趣区域的权值，对所述各个感兴趣区域所对应的时序信号进行加权求和，得到用于空间转换的时序信号；

24、将所述用于空间转换的时序信号进行空间转换以及带通滤波，得到所述目标对象的指定生理信号；其中，所述空间转换用于将所述用于空间转换的时序信号投影到与所述颜色通道正交的空间平面上。

25、可选地，所述确定各个感兴趣区域的权值，包括：

26、针对每一感兴趣区域，以预设时间间隔对该感兴趣区域对应的频域信号进行峰值检测，得到幅频对；其中，该感兴趣区域对应的频域信号为将该感兴趣区域对应的时序信号变化得到的；

27、将所述幅频对输入预先训练完成的神经网络模型中，得到该感兴趣区域的置信度；其中，所述神经网络模型为基于样本幅频对以及对应的指定标签训练得到，所述样本幅频对为通过对样本感兴趣区域对应的频域信号进行峰值检测得到，所述指定标签用于表征：所述样本幅频对是否与样本生理信号转换得到的幅频对相匹配，所述样本生理信号为样本感兴趣区域所属样本面部视频所对应的对象的指定生理信号真值；

28、基于所述每一感兴趣区域的置信度，确定各个感兴趣区域的权值。

29、可选地，所述针对每一面部子区域，基于所述面部视频的视频帧中的、该面部子区域内的颜色通道数据，确定关于所述颜色通道的时序信号，作为该面部子区域对应的时序信号，包括：

30、针对每一面部子区域，计算所述面部视频的每一视频帧中的、该面部子区域的颜色通道数据的平均值，并利用由所计算的平均值构成的序列，构建关于所述颜色通道的时序信号，作为该面部子区域对应的时序信号；

31、其中，所述序列中的各平均值的排布顺序，与在计算各平均值时所利用的视频帧的排布顺序相同。

32、可选地，所述确定目标面部视频对应的待分析的多个面部子区域，包括：

33、获取多个拍摄角度下的目标面部视频；

34、针对每一拍摄角度下的目标面部视频，确定该目标面部视频对应的待分析的多个面部子区域。

35、可选地，所述按照所述各个感兴趣区域的权值，对所述各个感兴趣区域所对应的时序信号进行加权求和，得到用于空间转换的时序信号，包括：

36、若所获取的目标面部视频为多个拍摄角度下的目标面部视频，针对每一拍摄角度，按照该拍摄角度对应的至少一个感兴趣区域的权值，对所述至少一个感兴趣区域所对应的时序信号进行加权求和，得到待利用时序信号；其中，所述至少一个感兴趣区域为基于该拍摄角度所拍摄的目标面部视频对应的面部子区域进行指定筛选得到的感兴趣区域；

37、将各个拍摄角度下的待利用时序信号进行加权求和，得到用于空间转换的时序信号。

38、可选地，所述确定所述目标面部视频对应的多个面部初始区域，包括：

39、对所述目标面部视频中的任一视频帧面部图像进行关键点检测，得到面部关键点的位置信息；

40、基于所述面部关键点的位置信息，对所述面部图像进行区域划分，得到面部初始区域的位置信息；其中，所述区域划分用于从所述面部图像中划分出属于皮肤的区域；

41、基于所述面部初始区域的位置信息，确定面部初始区域。

42、第二方面，本发明实施例提供了一种生理信号提取装置，所述装置包括：

43、第一确定模块，用于确定目标面部视频对应的待分析的多个面部子区域；

44、第二确定模块，用于针对每一面部子区域，基于所述目标面部视频的视频帧中的、该面部子区域内的颜色通道数据，确定关于所述颜色通道的时序信号，作为该面部子区域对应的时序信号；

45、筛选模块，用于利用所述多个面部子区域对应的时序信号，对所述多个面部子区域进行指定筛选，得到感兴趣区域；其中，所述指定筛选用于筛选出时序信号与所述目标面部视频所对应的目标对象的生理信号变化规律相匹配的面部子区域；

46、第三确定模块，用于基于所述感兴趣区域所对应的时序信号，确定所述目标面部视频所对应的目标对象的指定生理信号。

47、可选地，所述第一确定模块，具体用于：

48、确定所述目标面部视频对应的多个面部初始区域；

49、对所确定的面部初始区域进行组合处理，得到各个面部子区域；其中，所述面部子区域包括一个或多个面部初始区域。

50、可选的，所述筛选模块，具体用于：

51、利用所述多个面部子区域对应的时序信号的时域维度信息和/或频域维度信息，对所述多个面部子区域进行指定筛选，得到感兴趣区域。

52、可选的，利用所述多个面部子区域对应的时序信号的时域维度信息，对所述多个面部子区域进行指定筛选的方式包括：

53、按照指定剔除方式对所述多个面部子区域进行筛选；其中，所述指定剔除方式包括以下一种或多种方式：

54、若任一面部子区域对应的时序信号的标准差，小于第一预设阈值，将该面部子区域剔除；

55、若任一面部子区域对应的时序信号的分形维度，小于第二预设阈值，将该面部子区域剔除；

56、若任一面部子区域对应的时序信号，与所对应的目标面部视频中的面部区域对应的时序信号的相关系数小于或等于0，将该面部子区域剔除。

57、可选的，利用所述多个面部子区域对应的时序信号的频域维度信息，对所述多个面部子区域进行指定筛选的方式包括：

58、将每一面部子区域对应的时序信号变换为频域信号；

59、计算所述每一面部子区域对应的频域信号的功率谱密度，并将所述功率谱密度大于第三预设阈值的面部子区域剔除。

60、可选的，所述感兴趣区域的数量为多个；

61、所述第三确定模块，具体用于：

62、确定各个感兴趣区域的权值；

63、按照所述各个感兴趣区域的权值，对所述各个感兴趣区域所对应的时序信号进行加权求和，得到用于空间转换的时序信号；

64、将所述用于空间转换的时序信号进行空间转换以及带通滤波，得到所述目标对象的指定生理信号；其中，所述空间转换用于将所述用于空间转换的时序信号投影到与所述颜色通道正交的空间平面上。

65、可选的，所述确定各个感兴趣区域的权值，包括：

66、针对每一感兴趣区域，以预设时间间隔对该感兴趣区域对应的频域信号进行峰值检测，得到幅频对；其中，该感兴趣区域对应的频域信号为将该感兴趣区域对应的时序信号变化得到的；

67、将所述幅频对输入预先训练完成的神经网络模型中，得到该感兴趣区域的置信度；其中，所述神经网络模型为基于样本幅频对以及对应的指定标签训练得到，所述样本幅频对为通过对样本感兴趣区域对应的频域信号进行峰值检测得到，所述指定标签用于表征：所述样本幅频对是否与样本生理信号转换得到的幅频对相匹配，所述样本生理信号为样本感兴趣区域所属样本面部视频所对应的对象的指定生理信号真值；

68、基于所述每一感兴趣区域的置信度，确定各个感兴趣区域的权值。

69、可选的，所述第二确定模块，具体用于：

70、针对每一面部子区域，计算所述面部视频的每一视频帧中的、该面部子区域的颜色通道数据的平均值，并利用由所计算的平均值构成的序列，构建关于所述颜色通道的时序信号，作为该面部子区域对应的时序信号；

71、其中，所述序列中的各平均值的排布顺序，与在计算各平均值时所利用的视频帧的排布顺序相同。

72、可选的，所述第一确定模块，具体用于：

73、获取多个拍摄角度下的目标面部视频；

74、针对每一拍摄角度下的目标面部视频，确定该目标面部视频对应的待分析的多个面部子区域。

75、可选的，所述按照所述各个感兴趣区域的权值，对所述各个感兴趣区域所对应的时序信号进行加权求和，得到用于空间转换的时序信号，包括：

76、若所获取的目标面部视频为多个拍摄角度下的目标面部视频，针对每一拍摄角度，按照该拍摄角度对应的至少一个感兴趣区域的权值，对所述至少一个感兴趣区域所对应的时序信号进行加权求和，得到待利用时序信号；其中，所述至少一个感兴趣区域为基于该拍摄角度所拍摄的目标面部视频对应的面部子区域进行指定筛选得到的感兴趣区域；

77、将各个拍摄角度下的待利用时序信号进行加权求和，得到用于空间转换的时序信号。

78、可选的，所述确定所述目标面部视频对应的多个面部初始区域，包括：

79、对所述目标面部视频中的任一视频帧面部图像进行关键点检测，得到面部关键点的位置信息；

80、基于所述面部关键点的位置信息，对所述面部图像进行区域划分，得到面部初始区域的位置信息；其中，所述区域划分用于从所述面部图像中划分出属于皮肤的区域；

81、基于所述面部初始区域的位置信息，确定面部初始区域。

82、第三方面，本发明实施例提供了一种针对生理信号的任务响应系统，包括提取装置和处理装置；

83、所述提取装置，用于确定目标面部视频对应的待分析的多个面部子区域；针对每一面部子区域，基于所述目标面部视频的视频帧中的、该面部子区域内的颜色通道数据，确定关于所述颜色通道的时序信号，作为该面部子区域对应的时序信号；利用所述多个面部子区域对应的时序信号，对所述多个面部子区域进行指定筛选，得到感兴趣区域；基于所述感兴趣区域所对应的时序信号，确定所述目标对象的指定生理信号；其中，所述指定筛选用于筛选出时序信号与所述目标面部视频所对应的目标对象的生理信号变化规律相匹配的面部子区域；

84、所述处理装置，用于响应于针对生理信号的显示任务，对所述提取装置所确定的指定生理信号进行显示；和/或，响应于针对生理信号的权限认证任务，利用所述提取装置所确定的指定生理信号，对所述目标对象进行权限认证；和/或，响应于针对生理信号的身体检测任务，利用所述提取装置所确定的指定生理信号，对所述目标对象的身体状况进行检测。

85、第四方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

86、存储器，用于存放计算机程序；

87、处理器，用于执行存储器上所存放的程序时，实现上述任一所述的生理信号提取方法的步骤。

88、第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的生理信号提取方法的步骤。

89、本发明实施例有益效果：

90、本发明实施例提供的方案，确定目标面部视频对应的待分析的多个面部子区域，然后基于每一面部子区域对应的时序信号，对该多个面部子区域进行指定筛选，得到感兴趣区域。由于对该多个面部子区域进行指定筛选时，筛选出的感兴趣区域的时序信号与目标对象的生理信号变化规律相匹配，因此，通过该指定筛选，可以有效的滤除信号质量条件差的面部子区域，从而基于该感兴趣区域所对应的时序信号，可以得到该目标对象的高质量的指定生理信号。

91、当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。