一种基于欧拉视频放大的非接触式心率监测方法与流程

本发明属于人脸视频图像处理领域，涉及一种基于欧拉视频放大的非接触式心率监测方法。

背景技术

心率是临床检测生命参数的重要指标，其主要可用于判断心脏是否超负荷工作、确定运动强度、评估体温变化、评估心脏功能、以及防止心率失常造成猝死现象等，是衡量人体健康状况的重要指标。

近年来，计算机视觉发展势头迅猛，视频图像处理开始涉足医疗科学领域。由于非接触式心率检测方法及装置在使用方便性、安全性以及灵活性方面都具有较好的表现，因此受到医疗界和产业界广泛关注。基于视频处理的非接触式心率检测技术就是视频图像处理在医疗科学领域的重要应用，其对于健康管理以及心血管疾病判断具有极其重要的作用。

当前，市面上主要的心率监测装置均以接触式为主，大都需要连接专用传感器，严重束缚患者肢体，其舒适度较低，不适用于长时间监测，自动化程度较低。而且大部分检测装置智能化程度较差，严重增加医务人员工作量。

技术实现要素：

本发明的目的在于克服上述现有技术的缺点，提供了一种基于欧拉视频放大的非接触式心率监测方法，该方法能够实现用户心率的长时间、非接触式监测，并且自动化程度较高。

为达到上述目的，本发明所述的基于欧拉视频放大的非接触式心率监测方法包括以下步骤：

1)通过摄像头采集待监测者脸部区域的视频序列；

2)对步骤1)采集得到的待监测者脸部区域的视频序列进行欧拉视频颜色放大；

3)以欧拉视频颜色放大后视频序列的初始视频帧为参考，通过harr分类器检测矩形人脸区域，同时识别出人脸局部关键器官位置，以确定面部额头区域，再利用随机生成区域坐标方法确定待检测点d1，然后利用lukas-kanade光流法跟踪待检测点在后续视频序列的位置，以确定待检测点的颜色值序列，其中，第i帧视频图像中的待检测点记作d[i]；

4)对步骤3)得到的待检测点的颜色值序列进行时频分析，并根据时频分析的结果计算待监测者的心率值，完成基于欧拉视频放大的非接触式心率监测。

步骤1)的具体操作为：

11)将摄像头放置于正对人脸的前方位置，再打开摄像头，矫正待监测者脸部区域的位置；

12)通过摄像头以30帧/秒采集待监测者脸部区域的视频序列，其中，采集时间为10秒，且以avi视频格式进行保存。

步骤2)的具体操作为：

21)将待监测者脸部区域视频的颜色空间由rgb转换为yiq，使图像的亮度信息与色度信息分开，其中，y分量代表图像的亮度信息，i分量代表从橙色到青色的颜色变化，q分量代表从紫色到黄绿色的颜色变化；

22)利用高斯金字塔分解法对待监测者脸部区域的视频图像进行空间分解，再对视频图像进行高斯平滑模糊后进行向下采样，得不同分辨率的图像，再根据不同分辨率的图像构建空间分解的多尺度视频子序列，其中，各分辨率图像的宽度及高度均为原有图像宽度及高度的1/2；

23)利用理想带通滤波器对空间分解的多尺度视频子序列进行时域滤波；

24)对滤波过后的空间分解的多尺度视频子序列进行放大，其中，放大因子为100，然后将放大后的多尺度视频子序列合成变换信号的图像，并将该图像扩展至与原视频图像相同的尺寸，最后再与原视频图像进行叠加，完成对待监测者脸部区域的视频序列的欧拉视频颜色放大。

步骤4)中对步骤3)得到的待检测点的颜色值序列进行时频分析的具体操作为：

4a)对待检测点的yiq颜色空间进行通道分离，分别生成y、i及q颜色通道子序列，再利用一维理想带通滤波器进行滤波处理；

4b)通过滤波模板对步骤4a)得到的y、i及q颜色通道子序列进行中值滤波，以去除椒盐噪声；

4c)分别求取y、i及q颜色通道子序列的均值；

4d)将步骤4b)得到的y、i及q颜色通道子序列与步骤4c)得到的y、i及q颜色通道子序列的均值分别作差处理，得差值序列；

4e)对差值序列进行峰值检测，并提前差值序列中各峰值对应的帧号i，构建并保存峰值序列。

步骤4)中根据时频分析的结果提取待监测者的心率值的具体操作为：

41)以峰值序列中第一个峰峰值为起点，遍历计算起点与其余峰值所需要的时间，设第i个峰值及j个峰值对应原视频的帧号为t[i]及t[j]，则计算的心率值为：(|t[j]-t[i]|)/((j-i)×fs)×60，其中，fs为采样率；

42)根据正常成年人脉搏在[45,120]之间，剔除不在[45,120]之间的心率值，然后利用剩余的心率值构建心率值序列；

43)计算心率值序列的中值，然后计算y、i、q通道子序列对应的心率值序列的中值的平均值，并将计算的结果作为待监测者的心率值。

步骤21)中，rgb与yiq的对应关系为：

y＝0.299r+0.587g+0.114b

i＝0.596r-0.274g-0.322b

q＝0.211r-0.523g+0.312b。

本发明具有以下有益效果：

本发明所述的基于欧拉视频放大的非接触式心率监测方法在具体操作时，只需通过摄像头采用非接触的方式采集待监测者脸部区域的视频序列，对所述视频序列进行欧拉视频颜色放大，并利用随机生成区域坐标方法确定待检测点，再利用lukas-kanade光流法跟踪待检测点在后续视频序列的位置，以确定待检测点的颜色值序列，有效的克服人脸视频的抖动问题，提高检测的鲁棒性，然后对所述颜色值序列进行时频分析，并根据时频分析的结果计算待监测者的心率值，以实现用户心率的长时间、非接触监测，自动化程度较高，并且监测的精度较高。

附图说明

图1为本发明的流程图；

图2为本发明信号处理的流程图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

如图1及图2所示，本发明所述的基于欧拉视频放大的非接触式心率监测方法包括以下步骤：

1)通过摄像头采集待监测者脸部区域的视频序列；

步骤1)的具体操作为：

11)将摄像头放置于正对人脸的前方位置，再打开摄像头，矫正待监测者脸部区域的位置；

12)通过摄像头以30帧/秒采集待监测者脸部区域的视频序列，其中，采集时间为10秒，且以avi视频格式进行保存。

2)对步骤1)采集得到的待监测者脸部区域的视频序列进行欧拉视频颜色放大；

步骤2)的具体操作为：

21)将待监测者脸部区域视频的颜色空间由rgb转换为yiq，使图像的亮度信息与色度信息分开，其中，y分量代表图像的亮度信息，i分量代表从橙色到青色的颜色变化，q分量代表从紫色到黄绿色的颜色变化，其中，rgb与yiq的对应关系为：

y＝0.299r+0.587g+0.114b

i＝0.596r-0.274g-0.322b

q＝0.211r-0.523g+0.312b。

22)利用高斯金字塔分解法对待监测者脸部区域的视频图像进行空间分解，再对视频图像进行高斯平滑模糊后进行向下采样，得不同分辨率的图像，再根据不同分辨率的图像构建空间分解的多尺度视频子序列，其中，各分辨率图像的宽度及高度均为原有图像宽度及高度的1/2；

23)利用理想带通滤波器对空间分解的多尺度视频子序列进行时域滤波，正常成年人的静息心率在[0.75,2]hz之间，对应心率在[45,120]beats/min；

24)对滤波过后的空间分解的多尺度视频子序列进行放大，其中，放大因子为100，然后将放大后的多尺度视频子序列合成变换信号的图像，并将该图像扩展至与原视频图像相同的尺寸，最后再与原视频图像进行叠加，完成对待监测者脸部区域的视频序列的欧拉视频颜色放大。

3)以欧拉视频颜色放大后视频序列的初始视频帧为参考，通过harr分类器检测矩形人脸区域，同时识别出人脸局部关键器官位置，包括眉毛、眼睛及鼻子，以确定面部额头区域，再利用随机生成区域坐标方法确定待检测点d1，然后利用lukas-kanade光流法跟踪待检测点在后续视频序列的位置，以确定待检测点的颜色值序列，其中，第i帧视频图像中的待检测点记作d[i]；

4)对步骤3)得到的待检测点的颜色值序列进行时频分析，并根据时频分析的结果计算待监测者的心率值，然后显示所述心率值，完成基于欧拉视频放大的非接触式心率监测。

步骤4)中对步骤3)得到的待检测点的颜色值序列进行时频分析的具体操作为：

4a)对待检测点的yiq颜色空间进行通道分离，分别生成y、i及q颜色通道子序列，再利用一维理想带通滤波器进行滤波处理，其中一维理想带通滤波器通频带为[0.75，2.0]hz；

4b)通过滤波模板对步骤4a)得到的y、i及q颜色通道子序列进行中值滤波，以去除椒盐噪声；

4c)分别求取y、i及q颜色通道子序列的均值；

4d)将步骤4b)得到的y、i及q颜色通道子序列与步骤4c)得到的y、i及q颜色通道子序列的均值分别作差处理，得差值序列；

4e)对差值序列进行峰值检测，并提前差值序列中各峰值对应的帧号i，构建并保存峰值序列。

步骤4)中根据时频分析的结果提取待监测者的心率值的具体操作为：

41)以峰值序列中第一个峰峰值为起点，遍历计算起点与其余峰值所需要的时间，设第i个峰值及j个峰值对应原视频的帧号为t[i]及t[j]，则计算的心率值为：(|t[j]-t[i]|)/((j-i)×fs)×60，其中，fs为采样率；

42)根据正常成年人脉搏在[45,120]之间，剔除不在[45,120]之间的心率值，然后利用剩余的心率值构建心率值序列；

43)计算心率值序列的中值，然后计算y、i、q通道子序列对应的心率值序列的中值的平均值，并将计算的结果作为待监测者的心率值。

本发明在具体实施时，可以基于usb摄像头、linux软硬件平台及qt应用程序界面进行实现；其中，linux软硬件平台包括arm-linux嵌入式平台、树莓派、移动终端、linux计算机平台；

所述qt应用程序界面为跨平台c++图形用户界面应用程序开发框架；通过调用opencv计算机视觉库，以实现欧拉视频放大算法际心率提取算法，调用qt图形用户界面库设计人机交互界面；

另外，所述qt应用程序提供单次采集及连续采集两种模式，其中，单次采集模式用于单次检测心率，可用于普通测试和间歇性检测心率；连续采集模式用于连续检测心率，应用程序定时1分钟采集视频帧并进行颜色放大处理以及计算心率，记录被测者一段时间内心率变化情况，该数据样本可用于对被测者的健康管理以及心率疾病的预测等；

优选的，所述qt应用程序具有网络通信服务功能，可执行tcp/ip数据收发功能。

参照表1，本发明脉搏检测数据与人工把脉检测数据对比表，以单人作为被测者，检测时把脉1分钟，计数被测者的心跳次数；同时利用本发明对被测者进行监测，对两名被测者各检测10次数据结果如下：

表1

由表1对比监测结果可见，本发明的检测结果与传统中医的人工把脉检测结果基本一致，误差范围在±2bpm以内。表明本发明的检测准确性较高，具有良好的实用价值，被测者的舒适度较高，大大减轻了医务工作人员的工作量，同时本发明还具有价格低廉、可实现连续监测、适用范围广等优点。

以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。