基于视频的高抗干扰心率检测方法、电子设备及存储介质与流程

本发明涉及一种心率检测技术领域，尤其涉及一种基于视频的高抗干扰心率检测方法、电子设备及存储介质。

背景技术：

目前，远程监测心血管活动的主要方法就是远程光体检变化扫描图法(rppg)。rppg通过常规多波长通道的感光传感器(rgb)检测由脉搏跳动引起的人皮肤表面微小的色彩变化，从而达到远程无接触监测心血管活动的目的。基于核心rppg的技术可用于检测人体心率，呼吸率，血氧含量(spo2)和血压等心血管活动的参数，以及探测人的精神状况。这种远程检测方法技术拥有硬件设备小巧廉价，检测过程简单快捷，对人体无接触无侵害，同时也拥有足够准确度等特点。其弥补了传统接触式检测方法的不便性，拓展了应用场景，同时具有经济适用性。在人工智能机器视觉，以及医疗领域有极大的应用前景和经济价值。

rppg的核心是用于提取脉搏(心率)信息的算法。近年来有多种算法被提出。包括：

盲源分析法(bbs)，典型的有独立成分分析法ica和主成分分析法pca。就是把rgb信号变化轨迹分离成不同的独立信号源，取其中周期性强度最大的信号源作为脉搏信号。这种方法在相对静态条件下表现很好，但缺乏对运动，光照条件变动的鲁棒性。比如在不同光照度下的头部运动，剧烈运动后急促呼吸等情况下测量准确度明显下滑。

色差分析法(chrome)通过分析图像信息的色度变化，从而提取脉搏跳动信号。与盲源分析法不同，chrome是基于模型的分析方法，并非在“盲”情景下进行分析，其对光源、反射、皮肤和传感器都有数学描述和误差估计。所以在锻炼运动中，以及运动后恢复过程中色差分析明显优于盲源分析法，总体性能上也是优于bbs的。

脉搏血容量分析法(pbv)通过计算图形信息中的血容量，通过血容量的变化分析脉搏信号。由这种方法可以区分由脉搏引起的和头部移动引起的血容量变化，所以能过滤一些由运动造成的噪声。pbv也是基于模型的算法，其对运动的鲁棒性能上是要优于chrome和bbs的。但总体性能与chrome算是各有千秋。

子空间旋转分析法(2sr)是一种基于照片像素数据的分析方法，通过对面部有效像素点进行空间分解，提取出包含在像素空间的脉搏信号。这种方法关注于每个像素点的rgb色彩向量，而非所有像素点的平均值。整体性能优于上述所有方法，但对视频质量要求相对较高，而且其原理决定了其将无法处理单通道相机视频。

但是，现有的方案存在以下缺陷：

rppg技术在实际应用的复杂的光照环境里却有许多技术难题需要克服。比如人的肤色、光照条件、运动中及运动后恢复过程等等，都会引起来自各个方便的噪声，干扰有效信号从而降低测量准确度。上述的算法都是基于可见光段多通道rgb照相机，而且都是针对运动引起的信号失真进行一定程度的改进。但对光照条件，比如在低光照，单色光源或者黑暗等极端环境几乎是空白，然而实际中这种场景并不少见。可见，rppg检测技术在对光照环条件鲁棒性的提高是很有必要。

技术实现要素：

为了克服现有技术的不足，本发明的目的之一在于提供高抗干扰心率检测方法，其能解决现有技术不能对黑暗环境进行心率检测的技术问题。

本发明的目的之二在于提供一种电子设备，其能解决现有技术不能对黑暗环境进行心率检测的技术问题。

本发明的目的之三在于提供一种计算机可读存储介质，其能解决现有技术不能对黑暗环境进行心率检测的技术问题。

本发明的目的之一采用如下技术方案实现：

基于视频的高抗干扰心率检测方法，其特征在于，包括如下步骤：

光照判定步骤：采集光照度，并根据该光照度进入对应的光线模式；

视频采集步骤：在对应的光线模式下实时采集视频数据，在视频数据中对人脸进行追踪并提取脸部视频信息；

脸部分割步骤：对脸部视频图像进行逐帧分割，提取有效区域图像中每一个像素点的原始信号；

均值处理步骤：对所述原始信号进行均值处理，将处理后的原始信号进行存储；

分析滤除步骤：对处理后的原始信号进行分析得到心率信号，并对所述心率信号进行噪音消除处理得到处理后的心率信号；

频域转换步骤：将处理后的心率信号进行转换为频域信号，并计算频域信号的信噪比。

进一步地，所述光线模式包括光亮模式和光暗模式。

进一步地，在视频采集步骤中，当光线模式为光暗模式时，打开红外光源再实时采集频数据。

进一步地，当光线模式为光亮模式时，脸部分割步骤中的所述原始信号为rgb原始信号，在均值处理步骤中，对所述rgb原始信号中的三个通道的原始信号分别进行均值处理；当光线模式为光暗模式时，脸部分割步骤中的所述原始信号为红外原始信号，在均值处理步骤中，对所述红外原始信号进行均值处理。

进一步地，当所述光线模式为所述光亮模式时，将所述均值处理后的三通道的rgb原始信号分析处理分别得到对应的多种心率信号，在所述频域转换步骤中，分别对处理后的多种所述心率信号转换为相应的频域信号，并计算对应的频域信号的信噪比。

进一步地，在光亮模式下的分析滤除步骤中，采用空间旋转法、脉搏血容积法和色差分析法对处理后的原始信号进行分析得到三个处理后的心率信号。

进一步地，在光暗模式下的分析滤除步骤中，具体包括如下子步骤：

获取子步骤：选取存储的处理后的原始信号中最近预设时长内的红外原始信号，定义所述红外原始信号为f(t)＝sir(t),t∈[0,30s]；

初始化子步骤：对所述红外原始信号的本征信号、本征信号的中心频率、本征信号的拉格朗日因子进行初始化，并确定常数值：迭代次数上限n，分解成的本征信号预设个数k，限制参数α，以及迭代步进值τ和收敛界定值ε；

运算子步骤：通过公式一至三进行迭代运算，并当n≥n时或时停止迭代运算；公式一：公式二：公式三：其中为红外原始信号的本征信号，为本征信号的中心频率，为本征信号的拉格朗日因子；为第n次迭代的第k个本征信号估计值，为第n次迭代的第k个本征信号的中心频率估计值，为第n次迭代的拉格朗日因子估计值；

分解子步骤：分解得到k个本征信号，去除趋势本征信号，通过其余k-1个本征信号得到初始心率信号；

滤除子步骤：对初始心率通过巴特沃斯带通滤波器进行噪声消除得到处理后的心率信号。

本发明的目的之二采用如下技术方案实现：

一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：光照判定步骤：采集光照度，并根据该光照度进入对应的光线模式；

视频采集步骤：在对应的光线模式下实时采集视频数据，在视频数据中对人脸进行追踪并提取脸部视频信息；

脸部分割步骤：对脸部视频图像进行逐帧分割，提取有效区域(roi)图像中每一个像素点的原始信号；

均值处理步骤：对所述原始信号进行均值处理，将处理后的原始信号进行存储；

分析滤除步骤：对处理后的原始信号进行分析得到心率信号，并对所述心率信号进行噪音消除处理得到处理后的心率信号；

频域转换步骤：将处理后的心率信号进行转换为频域信号，并计算频域信号的信噪比。

进一步地，所述光线模式包括光亮模式和光暗模式。

本发明的目的之三采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行上述任意一项所述的方法。

相比现有技术，本发明的有益效果在于：.

本发明在足够光照的条件下对现有算法进行综合，通过评判取长补短，提高了综合抗干扰能力；并基于单通道传感器可以在低光照以及黑暗环境中检测心率，克服了现有技术对光暗环境下无法对心率进行检测的缺陷。

附图说明

图1为本发明的基于视频的高抗干扰心率检测方法的流程图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例一

如图1所示，本发明提供了基于视频的高抗干扰心率检测方法，该方法通过以下硬件结构实现：一个普通网络摄像头(rgb)，优选像素不低于30万，帧率不低于20fps。一个近红外摄像头，像素不低于100万，帧率不低于20fps。一个led近红外光源，光谱在960nm左右，半径一米处球面的光照度不低于200lux。一台电脑，内存不低于8g，cup主频不低于2.8ghz。rgb摄像头和近红外摄像头通过usb3.0与电脑连接。测试人在摄像头前0.5-1.2米处进行视频录入。方法包括如下步骤：

s1：采集光照度，并根据该光照度进入对应的光线模式；

本步骤通过rgb摄像头对光照度进行判定，判断光照是否足够因而进入对应的光线模式。光线模式包括光暗和光亮模式。当光线模式为光暗模式时，打开红外光源再实时采集频数据。光照度低于100lux则进入光暗模式，打开红外光源，红外摄像头开始录取视频。高于100lux进入光亮模式，关闭红外设备，rgb摄像头开始录取视频。根据实验结果，当光照度低于100lux(离摄像头1米左右处的面部光照度)时，心率测量准确度急剧下降。此时激活红外设备，由于近红外光时肉眼几乎不可见的，不会对视界环境产生改变，因此不会影响人进行的活动。利用红外摄像头进行红外视频录制，从而在黑暗环境也可以进行心率分析。记rgb视频信号为sr_org(t,x,y),sg_org(t,x,y),sb_org(t,x,y),红外视频信号为sir_org(t,x,y)。其中t为时间，x和y代表每一帧视频画面每一个像素点坐标。

s2：在对应的光线模式下实时采集视频数据，在视频数据中对人脸进行追踪并提取脸部视频信息；

本发明用特征追踪法对视频进行脸部提取并追踪，特征追踪法为现有技术。

s3：对脸部视频图像进行逐帧分割，提取有效区域(roi)图像中每一个像素点的原始信号；

本步骤提取有效区域(roi)的原始信号sr(t,x0,y0)、sg(t,x0,y0)、sb(t,x0,y0)或者sir(t,x0,y0)。也是脉搏原始信号，其中x0和y0代表有用区域像素点坐标。体面部只有裸露皮肤是有效面积，眼睛，嘴巴，眉毛，刘海等要要去除，只剩下有效区域(roi)面积。通过对全脸小方格分割，依据小方格里像素点群的灰度值区别，去除无效方格像素点群，具体是对脸部做灰度处理后，头发，眼睛，眉毛等色暗处的方格像素群点灰度值要远低有效皮肤，默认方格平均取值灰度值小于50为无效区域(0为黑255为白色)。

s4：对所述原始信号进行均值处理，将处理后的原始信号进行存储；

当光线模式为光亮模式时，脸部分割步骤中的所述原始信号为rgb原始信号，在均值处理步骤中，逐帧对所述rgb原始信号终的三个通道的原始信号sr(t,x0,y0)、sg(t,x0,y0)、sb(t,x0,y0)分别进行均值处理；当光线模式为光暗模式时，脸部分割步骤中的所述原始信号为红外原始信号，在均值处理步骤中，逐帧对所述红外原始信号sir(t,x0,y0)进行均值处理。处理好的每一组信息数据储存在信息缓存器里面，缓存器可以存30s供900帧信息数据，存满后每三秒更新一次数据信息。

s5：对处理后的原始信号进行分析得到心率信号，并对所述心率信号进行噪音消除处理得到处理后的心率信号；

在光亮模式下的分析滤除步骤中，采用空间旋转法、脉搏血容积法和色差分析法对处理后的原始信号进行分析得到三个处理后的心率信号。取保存在信号缓存器里最新的30s内的rgb多通道信号sr(t)，sg(t)和sb(t)，采用子空间旋转法(2sr)，脉搏血容积法(pvb)和色差分析法(chrom)分析心率信号s1_raw(t)，s2_raw(t)和s3_raw(t)。将未经过滤波处理的信号s1_raw(t)，s2_raw(t)和s3_raw(t)用巴特沃斯带通滤波器，进行噪声消除，得到心率信号s1(t)，s2(t)和s3(t)。由于人体心率范围为50-120bpm，在30fps的帧率下对应频率0.75-2hz，所以采用巴特沃斯带通滤波，去除信号的噪声。

在光暗模式下，s5步骤具体是：

选取存储的处理后的原始信号中最近预设时长内的红外原始信号，定义所述红外原始信号为f(t)＝sir(t),t∈[0,30s]；预设时长实际上就是选取缓存器里最新的30s内的有效的红外原始信号sir(t)，并通过下面的步骤进行变量模式分解分离出心率信号s_raw(t)。

对所述红外原始信号的本征信号、本征信号的中心频率、本征信号的拉格朗日因子进行初始化，并确定常数值：迭代次数上限n，分解成的本征信号预设个数k，限制参数α，以及迭代步进值τ和收敛界定值ε；

运算子步骤：通过公式一至三进行迭代运算，并当n≥n时或时停止迭代运算；公式一：公式二：公式三：其中为红外原始信号的本征信号，为本征信号的中心频率，为本征信号的拉格朗日因子，为第n次迭代的第k个本征信号估计值，为第n次迭代的第k个本征信号的中心频率估计值，为第n次迭代的拉格朗日因子估计值。

分解子步骤：分解得到k个本征信号{u1(ω),u2(ω),…,uk(ω)}，去除趋势本征信号u1(ω)，得到初始心率信号

滤除子步骤：对初始心率通过巴特沃斯带通滤波器进行噪声消除得到处理后的心率信号。将未经过滤波处理的信号s_raw(t)用巴特沃斯带通滤波器，进行噪声消除，得到心率信号s(t)。由于人体心率范围为50-120bpm，在30fps的帧率下对应频率0.75-2hz，所以采用巴特沃斯带通滤波，去除信号的噪声。

s6：将处理后的心率信号进行转换为频域信号，并计算频域信号的信噪比。

光暗模式下，将信号s(t)转换位频域信号s(f)。频谱最大值处为平均心率hb赫兹，换算成每分钟心跳：hb*60bmp。光亮模式下，将信号s1(t)，s2(t)和s3(t)转换位频域信号s1(f),s2(f)和s3(f)。频谱最大值处为平均心率频率hb1，hb2和hb3。换算成每分钟心跳：hb*60bmp。对不同所得信号频谱s1(f),s2(f)和s3(f)，分别计算信噪比snr，取snr最大值对应的信号为最终心率信号s(t)和心率频率hb。

光亮模式中，对rgb信号预处理后，用子空间旋转法，色差法和脉搏血容积法分析法并行进行心率分析，然后在评判系统里进行评判，对一种方法的结果都是在采集时间30s内的心率信号，对每个结果信号做频谱分析，根据心率频谱的信噪比作为依据的评判标准。先对信号进行傅立叶变换，得到相应频谱。频谱频率最大值处为心率，先计算心率在0.75-2hz标准范围内的偏离度，取偏离合理的方法。倘若都在合理偏离度里，则对不同方法进行信噪比比较，择优选择snr大的方法的心率数值。如果snr相差不大，心率偏差超过一定范围则取平均值。这样大大提高了对外界各种干扰的抵抗，提高了心率准确率。本发明可以选择2sr分析法。

光暗模式中，对ir信号与处理后，用变量模式分解法对其进行分解，分解成不同窄谱域的子本征信号。由于vmd并不能解决要分解成多少子信号才能分离出心率信号信息，我们采用循环增加分解模式数量的方法(按经验起始默认4)，寻找最佳模式分解数。一个ir信号被分解为4个子信号，其频谱图用不同颜色标注。紫色曲线的信号，在对数频域有最大值，而且信噪比也满足要求，所以为心率信号，停止继续分解。在静止状态下，误差率小于2％。

实施例二

实施例二公开了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：光照判定步骤：采集光照度，并根据该光照度进入对应的光线模式；

视频采集步骤：在对应的光线模式下实时采集视频数据，在视频数据中对人脸进行追踪并提取脸部视频信息；

脸部分割步骤：对脸部视频图像进行逐帧分割，提取有效区域图像中每一个像素点的原始信号；

均值处理步骤：对所述原始信号进行均值处理，将处理后的原始信号进行存储；

分析滤除步骤：对处理后的原始信号进行分析得到心率信号，并对所述心率信号进行噪音消除处理得到处理后的心率信号；

频域转换步骤：将处理后的心率信号进行转换为频域信号，并计算频域信号的信噪比。

上述步骤的具体执行原理与本发明中公开的基于视频的高抗干扰心率检测方法详述的原理完全一致，在此不再赘述。

实施例三

实施例三公开了一种可读的计算机存储介质，该存储介质用于存储程序，并且该程序被处理器执行时，实现实施例一的基于视频的高抗干扰心率检测方法。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。