一种基于摄像的非接触式心率的检测方法及其装置与流程

本发明涉及心率测量技术领域，尤其是使用摄像非接触式实时监控心率的心率测量的方法及其装置。

背景技术

心率是指心脏每分钟搏动的次数，是人体健康指标中极其重要的一项，而随着中国社会进入一个新的时代，人民日益增长的美好生活需要成为社会的主要矛盾，健康生活成为社会的追求，因此与人体健康相关的各项指标受到人们日益关注；同时智能技术的发展也促进智能设备更多地进入普通家庭，作为一项不受天气影响的活动，使用跑步机进行室内跑步便于用户锻炼身体，利于生活的健康。

传统对于心率的测量方法多采用测量脉搏血氧饱和度(spo2)以及使用更为精确的心电图仪器的方法取得，然而上述方法需要待测人员在测试时或夹住手指、耳朵，或佩戴胸带或腕带甚至需要电极设备依附于皮肤表面，这些检测探头在监测过程中可能引起患者不适(尤其是在运动过程中长时间中夹住手指或耳朵)和增加传播细菌病毒感染的风险，同时也给智能设备的整合带来不便，因此找出一种不依赖电极或其他不需要接触到皮肤且可以实时测量心率大小的传感器成为一个有吸引力的研究课题。

研究发现数字视频中人体皮肤血容量的变化与人体心脏跳动的周期相关联，该发现为非接触式生命体征监测开辟了可能性，此外随着数字成像设备成本的不断降低，摄像头产品的使用变得越来越普遍，也为本发明提供了前提基础。

技术实现要素：

本发明的目的在于克服现有技术存在的缺失和不足，提出一种基于摄像的非接触式心率的检测方法及装置。

本发明技术方案概述如下：

本发明一种基于摄像的非接触式心率的检测方法(如附图1所示)：

步骤a：基于人脸检测技术，实时检测人脸的面部区域，并利用人脸特征点标定技术获得精确的感兴趣的鼻部区域作为待提取心率信号的目标区域；

步骤b：将目标区域图像从原始的rgb颜色空间转换到lab颜色空间，将图像的亮度信息与色度信息分离，选择均值化后的色度信息作为鼻部区域的特征值，从而得到时域信号signal(t)；

步骤c：利用本发明提出一种“多层次savitzky-golay滤波器″方法，对signal(t)处理，去除信号signal(t)中的基线漂移与噪声，从而得到纯净的血容量脉冲(bloodvolumepulse，bvp)信号；

步骤d：基于时域频域转换的方法，将时域bvp信号转换到频域空间，进行频域分析，获得对应的心率大小。

根据步骤a所述——基于人脸检测技术，实时检测人脸的面部区域，并利用人脸特征点标定技术获得精确的感兴趣的鼻部区域作为待提取心率信号的目标区域，其具体内容如下：

a1.利用dlib图像库，将人脸的图像映射到128个维度向量空间，检查其欧氏距离是否在某个阈值内来实现脸部的识别；

测试显示当欧式距离设置为0.6时，使用lfw人脸库即实现99.38％的识别率；

a2.基于dlib图像库提供的回归树组合(ensembleofregressiontrees，ert)的方法，在学习tree的过程中，直接将形状shape的更新值δs存入叶子结点leafnode。初始位置s在通过所有学习到的tree后，meanshape加上所有经过的叶子结点的δs，即可得到最终的人脸关键点位置，即：

其中，t表示级联序号，rt表示当前的回归器(regressor)；

回归器的输入参数为图像i和上一级回归器更新后的形状，采用的特征可以是灰度值或者其它特征；

a3.经过步骤a1和步骤a2后，可以实现对人脸的中心点的定位，获得鼻部区域，并且当面部发生旋转刚性运动时，使用具有旋转不变性的步骤a2得到的面部各个部位的关键点坐标，实时获取固定的区域；

其中，前额，面颊，嘴唇，鼻部分别作为roi区域时所获取的bvp信号(如附图2、3、4、5所示，这里选取了时间长为9秒的信号曲线图)，所述鼻部区域相比较前额、面颊、嘴唇所采集到的信号受到噪声影响较小，因此作为本发明心率测量方法中的roi区域。

根据步骤b所述——将目标区域图像从原始的rgb颜色空间转换到lab颜色空间，将图像的亮度信息与色度信息分离，选择均值化后的色度信息作为鼻部区域的特征值，从而得到时域信号signal(t)，其具体内容如下：

b1.基于人对颜色感觉的lab颜色模型，该模型是由亮度(l)和有关色彩的a，b三个要素组成；

l表示亮度(luminosity)，a表示从红色至绿色的范围，b表示从黄色至蓝色的范围，从rgb模型转为lab模型对应的转换关系公式：

b2.当皮肤中的血液随着心脏的收缩而发生变动时，皮肤对于照射到皮肤上光线的吸收量也跟着发生变化，这种变化体现在红色与绿色数值的变动中；

实验发现lab模型中，红色与绿色在空间中的分布为一维向量(从负半轴的绿色逐渐变为正半轴所表示的红色)，该向量即为lab模型中的a通道对应的数轴所表示；通过计算a通道对应的均值，用于心率测量的特征；

其中，所述的bvp信号的提取是采用lab颜色空间a通道对应的均值，将该值作为心率测量方法在时域中所用的特征值信号signal(t)。

根据步骤c还包括如下：

c1.savitzky-golay滤波器的矩阵算子求解：

假设对于signal(t)滤波的窗口宽度为n(n＝2m+1)，各测量点为x(-m，-m+1，…，0，1，…，m-1，m)，采用k-1次多项式对窗内的数据点进行拟合：

signal＝a0+a1x+a2x²+…+ak-1x^k-1

因此一共有n个这样的方程，组成k元线性方程组；

要使方程组有解则n应大于等于k，一般选择n>k，通过最小二乘法拟合确定拟合参数a，即：

写成矩阵形式：

signal(2m+1)*1＝x(2m+1)*k*ak*1+e(2m+1)*1

对应的a的最小二乘解为：

滤波后的结果为：

c2.实现“多层次savitzky-golay滤波器″，具体为：

c2.1输入窗口大小为signal长度的窗口，幂次k为5，对信号signal(t)进行一次去除基线漂移和去噪滤波操作；

c2.2调整窗口为帧率大小，幂次k为2，对信号signal(t+1)滤波操作，去除窗口为一秒内信号的噪声；

c2.3继续调整窗口大小为5，幂次k为2，相当于对信号进行平滑操作，去除毛刺信号；

c3.通过c1步骤和c2步骤后，特征值信号转换为纯净的bvp信号；

提取纯净的bvp信号是采用“多层次savitzky-golay滤波器″，通过三次修改不同大小的窗口，实现信号的多层次处理，最终获得纯净的bvp信号(如附图6所示，这里选取时间长度为10秒的信号曲线图)；

可选地依次选择长度为210的bvp信号进行傅里叶变换，选择变换后幅值最大的一点(该点对应的频率f)，则心率的大小为：

rate＝f*60。

可选地，当心率大小超过120次/分钟时，显示屏给出警告提示，建议健身人员做好相应的休息活动；当心率大小超过135次/分钟时，跑步机逐步降低传输带速度至零。

如上所述，与包括现有能够提供心率数据的跑步机与使用胸带的方式相比，本发明基于非接触式的心率测量方式，使用摄像头可实现无创、无痛和极其方便的心率测量方法，提供给人们在跑步机锻炼时一项重要的生理指标，从而为健康做出一份参考。

附图说明

图1为本发明一种基于摄像的非接触式心率的检测方法流程框图；

图2为本发明中心率测量方法测量的前额区域的原始信号曲线图；

图3为本发明中心率测量方法测量的面颊区域的原始信号曲线图；

图4为本发明中心率测量方法测量的嘴唇区域的原始信号曲线图；

图5为本发明中心率测量方法测量的鼻部区域的原始信号曲线图；

图6为本发明心率测量方法中滤波前后的信号对比，其中上半部分为a通道对应的时域信号，下半部分为使用“多层次savitzky-golay滤波器″滤波后的bvp信号；

图7为本发明实施例1跑步机的心率测量装置的框图；

图8为本发明实施例1跑步机装置示意图；

图9为本发明实施例2手机装置示意图；

图10为本发明实施例2手机的心率测量装置的框图。

具体实施方式

以下结合附图和实施例对本发明作进一步描述：

实施例1：

一种基于摄像的非接触式心率的检测方法装置(如附图7所示)，包括图像采集模块，图像处理模块，显示模块，音频模块及跑步机控制系统；

图像处理模块与跑步机速度控制系统进行连接，通过输出控制指令至控制系统实现跑步机的速度控制(如附图8所示)。

所述图像采集装置、显示器、音频模块均与跑步机控制系统相连接。

所述显示器除了可以显示时间、速度、路程和热量信息外，还有心率信息。

所述音频模块除了可供使用者欣赏音乐外，还用于非正常情况下的语音警示。

所述图像采集装置用于采集视频图像，并将运动者的图像信息传输到图像处理模块，所述图像处理器对采集到的图像进行处理，得到运动人员的心率信息，输出到显示器，并根据不同的心率信息，决定是否需要控制音频模块给出警报提示和控制马达的转速。

包括非接触方式获取被检测者的人脸视频图像的图像采集模块和与所述图像采集模块连接的、根据所述人脸视频图像提取鼻部皮肤区域作为目标区域，通过对目标区域进行颜色空间的转换和滤波的数据进行时域到频域的转换，根据频域数据最终计算出心率值的图像处理模块。

所述图像采集模块包括用于照射并采集被检测者的视频图像的摄像单元。

启动跑步机后，摄像头开始采集运动人员的面部视频图像；

所述图像处理模块包括：

与所述摄像单元连接的，用于提取所述摄像单元中的人脸视频图像的提取单元，根据步骤a，将其鼻部区域提取出作为目标区域；

与所述提取单元连接的，用于对目标区域的图像数据进行颜色空间转换的颜色空间转换单元，根据步骤b，将rgb颜色空间转换到lab颜色空间；

与所述颜色空间转换单元连接的，根据步骤c，用于对颜色空间转换过后的图像数据进行“多层次savitzky-golay滤波器″滤波的滤波单元；

与所述滤波单元连接的，根据步骤d，用于在所述滤波过后的时频信号转换成频域信号，并根据频域分析计算出心率的时频转换单元。

对于采集到的每一帧图像，利用所述面部识别技术，找到图像中的健身人员的面部区域，并利用跟踪算法，实时读取面部中心点的位置坐标；利用所述面部识别技术得到的中心点坐标，提取出感兴趣的鼻部区域；将得到的rgb颜色空间内鼻部区域的图像转换到lab颜色空间，分离出a通道，计算出a通道的均值作为每一帧图像的特征值，进而得到含有人体bvp信号的时域信号。利用本发明中提出的一种“多层次savitzky-golay滤波器″对采集的时域信号进行去趋势和滤波操作；在此基础上，利用心率计算公式即可得出运动人员的心率数据。

在一种可能的情况是运动人员在运动过程中出现心率速度过快现象或症状：当心率大小超过120次/分钟，这时图像处理模块发出指令至跑步机的显示模块，通过显示屏给出警示提示；当心率大小超过135次/分钟时，图像处理模块发出指令至控制系统来控制跑步机的传送带，使得传送带运行速度逐步降低，直至为0，预防危险的发生。

实施例2：所述图像采集设备为一利用前置摄像头的手机(如附图9所示)，对手机持有者进行心率测量。其中所述图像采集模块和图像处理模块(如附图10所示)通过程序指令存储至手机存储设备，通过手机的cpu来实现上述心率检测方法算法的计算。

本发明可采用在一个或多个其中包含有计算机可用程序代码的嵌入式处理机或其他可编程数据处理设备的处理器，并包含可用存储介质，包括但不限于磁盘存储器和光学存储器等。

所述图像处理模块通过程序指令存储至包括通用计算机，专业计算机，嵌入式处理机或其他可编程数据处理设备。

综上所述，本发明克服了传统对于心率的测量方法多采用测量脉搏血氧饱和度(spo2)以及使用更为精确的心电图仪器的方法取得，然而上述方法需要待测人员在测试时或夹住手指、耳朵，或佩戴胸带或腕带甚至需要电极设备依附于皮肤表面，这些检测探头在监测过程中可能引起患者不适(尤其是在运动过程中长时间中夹住手指或耳朵)和增加传播细菌病毒感染的风险，同时也给智能设备的整合带来的不便。其与包括现有能够提供心率数据的跑步机，使用胸带的方式相比，本发明基于非接触式的心率测量方式，使用摄像头可实现无创、无痛和极其方便的心率测量方法，提供给人们在跑步机锻炼时一项重要的生理指标，从而为健康做出一份参考。