基于时频域维纳滤波的视频心率测量方法

本发明属于生物医学信号处理的，尤其涉及一种基于时频域维纳滤波的视频心率测量方法。

背景技术：

1、心率作为一种人体的重要生理参数，对人类健康的监护都具有重大的意义。传统上的临床心率检测手段需要利用心电图机的十二导联线接触人体的多个部位，操作繁杂，自动化程度不高，对使用者有较高的专业知识要求，不适用于特殊场景下的心率检测。

2、光学体积描记术(photoplethysmography，ppg)是另一种常用的心率检测的方法，操作较为简便，但是这种接触式测量方法的最大缺点和心电图机类似，就是需要和人体接触。近年来，随着便携式成像设备的快速发展，特别是对于智能手机和笔记本电脑，有一种趋势是将传统的接触式ppg转换为成像光学体积描记术(imaging photoplethysmography，ippg)。ippg技术主要原理是心脏的周期性收缩和舒张会引起体表血管容积发生周期性改变，然后血液所含血红蛋白含量也随之发生周期性变化导致血红蛋白对入射光线的吸收发生变化，最后引起反射光强度产生相应变化，通过视频图像来捕捉这些细微的变化，经过人脸识别，盲源分离和信号处理技术，可以得到心率。相比于ppg技术，ippg技术优势在于只需要低成本的数码相机，不需要接触探头或者专用光源，简单却有效。但是目前大多数实现ippg技术的方法仅仅适用于测试者保持相对静止的情况，然而，实际应用时受试者很难保持完全静止，即受试者头部难免会有头部运动(刚性运动)或者面部表情(非刚性运动)，从而会引入运动噪声。由于心脏搏动引起的体表血管容积变化导致血红蛋白对光吸收变化的幅度远远小于运动噪声带来的变化幅度，如何消除这种运动噪声的影响对于非接触式视频心率检测方法的推广使用具有重要研究意义。

技术实现思路

1、本发明是为解决上述技术所存在的不足，提供了一种基于时频域维纳滤波的视频心率测量方法，以期能去除运动噪声对非接触式视频心率检测的影响，从而能提高非接触式视频心率检测的准确性。

2、本发明为解决技术问题采用如下技术方案：

3、本发明一种基于时频域维纳滤波的视频心率测量方法的特点在于，是按照如下步骤进行：

4、步骤1：获取ttotal帧视频图像并进行分窗处理，得到w个视频窗；采用人脸特征点检测算法对第w个视频窗内的twindow帧视频图像进行逐帧的人脸特征点检测，得到第w个视频窗内每帧视频图像的人脸特征点集合，在第w个视频窗内每帧视频图像中分别确定k个面部感兴趣区域；

5、步骤2：计算第w个视频窗内第t帧视频图像中第k个面部感兴趣区域的r，g，b三个颜色通道的平均像素值，得到第w个窗口内第t帧视频图像中第k个面部感兴趣区域对应的颜色通道信号其中，表示第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的r颜色通道中所有像素值平均后的信号，表示第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的g颜色通道中所有像素值平均后的信号，表示第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的b颜色通道中所有像素值平均后的信号；1≤k≤k；1≤t≤twindow，1≤w≤w；t是矩阵的转置；从而得到第w个视频窗内twindow帧视频图像的第k个面部感兴趣区域的r颜色通道中所有像素值平均后的信号第w个视频窗内twindow帧视频图像的第k个面部感兴趣区域的g颜色通道中所有像素值平均后的信号第w个视频窗内twindow帧视频图像的第k个面部感兴趣区域的b颜色通道中所有像素值平均后的信号

6、步骤3：使用脉冲提取算法分别对第w个视频窗内twindow帧视频图像的第k个面部感兴趣区域的r信号g信号b信号进行处理，得到第w个视频窗内twindow帧视频图像的第k个面部感兴趣区域的含噪脉冲信号

7、步骤4：根据第w个视频窗内twindow帧视频图像的第k个面部感兴趣区域的人脸特征点的运动轨迹，定义第w个视频窗内twindow帧视频图像的第k个面部感兴趣区域的运动参考信号其中，mw，k(t)表示第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的运动参考信号，表示第w个视频窗内第t帧视频图像的第k个面部感兴趣区域在x轴的运动轨迹信号，表示w个视频窗内第t帧视频图像的第k个面部感兴趣区域在y轴的运动轨迹信号，表示w个视频窗内第t帧视频图像的第k个面部感兴趣区域在z轴的运动轨迹信号，从而得到第w个视频窗内twindow帧视频图像的第k个面部感兴趣区域在x轴的运动轨迹信号第w个视频窗内twindow帧视频图像的第k个面部感兴趣区域在y轴的运动轨迹信号、表示第w个视频窗内twindow帧视频图像的第k个面部感兴趣区域在z轴的运动轨迹信号

8、步骤5：通过同步压缩小波变换法分别将含噪脉冲信号和运动参考信号分别转换到时频域，得到含噪脉冲信号的时频谱和运动参考信号的时频谱其中，sxw，k(t)表示第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的含噪脉冲信号的时频谱，snw，k(t)表示第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的运动参考信号的时频谱；

9、步骤6：分别对和进行归一化后，得到含噪脉冲信号归一化后的时频谱和运动参考信号归一化后的时频谱其中，sxw，k(t)表示第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的含噪脉冲信号归一化后的时频谱，snw，k(t)表示第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的运动参考信号归一化后的时频谱；

10、步骤7：利用式(1)和式(2)分别计算第一时频域维纳滤波器f1的权重和第二时频域维纳滤波器f2的权重：

11、

12、

13、式(1)和式(2)中，c为常数；f1w，k(t)表示第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的滤波器f1的权重；f2w，k(t)表示第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的滤波器f2的权重；sxi，k(t)表示第i个视频窗内第t帧视频图像的第k个面部感兴趣区域的含噪脉冲信号归一化后的时频谱，sni，k(t)表示第i个视频窗内第t帧视频图像的第k个面部感兴趣区域的运动参考信号归一化后的时频谱，f2i，t(t)表示第i个视频窗内第t帧视频图像的第k个面部感兴趣区域的滤波器f2的权重；

14、步骤8：利用式(3)将f1和f2的权重组合后，得到滤波器f3的权重；

15、f3w，k(t)＝a*f1w，t(t)+b*f2w，t(t)  (3)

16、式(4)中，f3w，k(t)表示第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的滤波器f3的权重；a表示滤波器f1在f3中所占的权重，b表示滤波器f2在f3中所占的权重；

17、步骤9：利用式(4)得到第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的时频谱经过滤波后的干净时频谱scw，k(t)：

18、scw，k(t)＝f3w，t(t)·sxw，t(t)    (4)

19、步骤10：对scw，k(t)再次进行分窗后，得到第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的n个子窗口的时频谱图其中表示第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的第n个子窗口的时频谱图；从而得到第w个视频窗内twindow帧视频图像的第k个面部感兴趣区域下所有子窗口的时频谱图

20、步骤11：从中提取第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的第n个子窗口的时频谱图中能量最高的q根时频脊线其中，表示第w个视频窗内第t帧视频图像的第k个面部感兴趣区域的第n个子窗口的时频谱图中能量最高的第q根时频脊线，并分别计算每根脊线的方差，得到第w个视频窗内的第k个面部感兴趣区域的第n个子窗口的时频谱图中能量最高的q根时频脊线的方差其中，表示第w个视频窗内第k个面部感兴趣区域的第n个子窗口的时频谱图中能量最高的第q根时频脊线的方差，从中选取最小方差值作为第w个视频窗内第k个面部感兴趣区域的第n个子窗口的时频谱图的方差，记为

21、步骤12：将第w个视频窗下第k个面部感兴趣区域的n个子窗口的最小方差值相加后，得到第w个视频窗内第k个面部感兴趣区域的方差varw，k，将第w个视频窗内k个面部感兴趣区域方差中最小的前δ个方差所对应的面部感兴趣区域的时频谱相加后，得到第w个视频窗内第t帧视频图像的增强时频谱msw(t)；其中，δ表示阈值；

22、步骤13：对第w个时频窗内第t帧视频图像的增强时频谱msw(t)再次进行分窗后，得到第w个视频窗内第t帧视频图像的n个子窗口的时频谱图其中，代表第w个视频窗内第t帧视频图像的第n个子窗口的时频谱图；

23、步骤14：从中提取第w个视频窗内第t帧视频图像的第n个子窗口的时频谱图中能量最高的q根时频脊线其中，表示第w个视频窗内第t帧视频图像的第n个子窗口的时频谱图中能量最高的第q根时频脊线，并分别计算每根脊线的方差后，得到第w个视频窗内第n个子窗口的时频谱图中能量最高的q根时频脊线的方差其中，表示第w个视频窗内第n个子窗口的时频谱图中能量最高的第q根时频脊线的方差，从中选择最小方差所对应的频脊线并作为第w个视频窗内第t帧视频图像的第n个子窗口的频脊线，记为

24、步骤15：将第w个视频窗内第t帧视频图像的n个子窗口的频脊线依次连接后，得到第w个视频窗内第t帧视频图像的最小方差时频脊线ffw(t)；

25、将最小方差时频脊线ffw(t)的中位数作为第w个视频窗的心率频率hrw，从而得到第w个视频窗的心率值hrw。

26、本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述视频心率测量方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

27、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述视频心率测量方法的步骤。

28、与已有技术相比，本发明有益效果体现在：

29、1、本发明通过使用pos算法提取粗糙脉冲信号，使用面部特征点轨迹作为运动参考信号。使用wsst变换将粗糙脉冲信号与运动参考信号转换到时频域中，采用时频域维纳滤波消除面部的刚性运动和非刚性运动。相比于传统的基于光学模型的方法，能够在运动噪声幅度较强的情况下实现鲁棒的心率测量。

30、2、本发明采用多区域联合时频域维纳滤波的方法提取心率成分，由于不同区域的非刚性运动噪声干扰是不同的，而心率成分是相同的，所以将面部感兴趣区域划分为多个区域，对去除了刚性运动噪声的时频谱图根据心率连续性进行筛选，获得平均时频谱图，这样做不仅能够有效的提取心率成分，而且能够获得瞬时心率。