手机处理人脸视频提取心率信号的系统及其方法与流程

本发明属于物理技术领域，更进一步涉及图像处理技术领域中的一种手机处理人脸视频提取心率信号的系统及其方法。本发明可用放大人脸视频信号中的微小变化，从处理后的人脸视频中提取心率信号。

背景技术：

人们在日常生活中往往使用接触式的心率检测仪测量心率，该仪器使用接触式传感器接收心率电信号。虽然接触式心率检测仪测量准确，但是其引入了硬件成本，价格较高。此外，接触式心率检测仪的接触式传感器给外伤患者和幼儿造成不便。为此，研究人员提出了诸多非接触式心率检测方法及系统。

天津点康科技有限公司在其申请的专利文献“非接触式自动心率测量系统及测量方法”(专利申请专利号：201310172275.9，公开号：cn104138254a)中公开了一种非接触式自动心率测量系统。该系统包括视频采集模块、分帧提取感兴趣区域roi模块、基色分量分离模块、时域信号生成模块、盲源分离模块、信号筛选模块、心率分析模块。该系统中使用视频采集模块采集人脸彩色视频，使用分帧提取感兴趣区域roi模块利用人脸跟踪算法提取视频中每帧图片的感兴趣区域，使用基色分离模块将所提取的感兴趣区域图像进行红绿蓝rgb基色分离，使用时域信号生成模块从基色分离后的图像中提取图像特征值，生成特征值序列，使用盲源分离模块对获取的特征值序列进行盲源分离，使用信号筛选模块筛选出最终信号，使用心率分析模块对筛选得到的信号进行频谱分析，计算出心率值。该系统虽然能自动提取人脸特征区域，无需手动标定，进而计算出心率值。但是，该系统仍然存在的不足之处是：由于该系统使用的盲源分离模块首先要对图像进行主成分分析，然后对图像进行滤波，计算图像的独立性，最后使用优化算法实现盲源分离，而该过程中包含了对每一帧图像的卷积和矩阵运算，导致其该系统运算量巨大，系统运算时间长。

天津点康科技有限公司在其申请的专利文献中还公开了一种非接触式自动心率测量方法。该方法首先采集包含人脸区域的彩色视频图像，提取所采集视频图像中的特征点并与人脸模式进行匹配，提取其中人脸区域图像，使用基色分离方法对提取的感兴趣区域图像按照红绿蓝rgb三个颜色通道进行基色分离，对获取的三基色分量图像的每帧图像分别取所有像素的灰度均值，作为该帧的特征值并生成三个时域信号，对得到的三个时域信号进行筛选，获得最终的筛选信号，使用频谱分析计算出心率值。该方法存在的不足之处是：在计算心率值时，该方法将筛选得到的信号变换到频域进行频谱分析，而筛选得到的信号中包含较多的其他频率成分的杂波，导致该方法计算的心率值不准确。

西北工业大学在其申请的专利文献“基于智能手机的心率检测方法”(专利申请专利号：201610421290.6，公开号：cn106073745a)中公开了一种基于智能手机的心率检测方法。该方法首先将人体指尖、手心或者面部以及其他部位皮肤在稳定光源下皮肤颜色变化的视频输入智能手机中，然后使用视频中单个像素点的灰度值序列作为有效容积脉搏波信号，最后通过平均幅度比较得到主波波形，进而求取心率值。该方法存在的不足之处是：人脸视频中的心率信号十分微弱，该方法没有对微弱的心率信号进行放大处理，而是直接对视频中单个像素点的灰度值序列比较平均幅度并提取心率值，导致该方法测量结果易受光照变化、温度变化的影响。

技术实现要素：

本发明的目的在于针对上述现有技术的不足，提取一种手机处理人脸视频心率信号的系统及其方法，从色度差值中提取心率信号，克服了计算复杂的问题；通过计算色度特征阈值，标记有效色度特征，根据有效色度特征个数计算心率值，减少了其他频率杂波的影响；通过放大人脸视频中微小的色度变化，提取出不受亮度变化影响的心率信号，克服了测量结果易受光照变化影响的问题。

实现本发明目的的思路是，特征图像截取模块截取人脸特征图像，色度差值放大模块将人脸特征图像转换到亮度色度yuv颜色空间，计算每一帧人脸特征图像中色度u通道均值和色度v通道均值的色度差放大值，得到色度差特征序列，有效特征检测模块计算所选取特征的阈值，根据阈值标记有效特征，心率值计算模块根据有效特征计算心率值，其特征在于，计算色度u通道均值和色度v通道均值的色度差放大值，作为人脸特征图像的特征，有效特征检测模块计算所选取特征的阈值，根据阈值标记有效特征，心率值计算模块根据有效特征计算心率值。

本发明的系统包括特征点识别模块、特征图像截取模块、滤波模块、显示模块、色度差值放大模块、有效特征检测模块、心率值计算模块；其中：

所述特征点识别模块，用于提取当前帧图像；识别当前帧图像中所有的人脸特征点；判断是否识别到人脸特征点，若是，将所有人脸特征点发送给特征图像截取模块，否则，特征点识别模块重新提取一帧图像；

所述特征图像截取模块，用于绘制包含所有人脸特征点的最小矩形框；截取最小矩形框内图像，作为人脸特征图像；将人脸特征图像发送给色度差值放大模块；

所述色度差值放大模块，用于将人脸特征图像从红绿蓝rgb颜色空间转换到亮度色度yuv颜色空间；计算人脸特征图像色度u通道均值和色度v通道均值的色度差放大值；判断是否提取完人脸视频的帧图像，若是，将特征序列输入到滤波模块，否则，特征点识别模块重新提取一帧图像；

所述滤波模块，用于将特征序列输入通带频率为0.8赫兹到2.5赫兹的带通滤波器中，得到滤波后特征序列；将滤波后特征序列发送给有效特征检测模块；

所述有效特征检测模块，用于从滤波后特征序列中顺序地选取一个特征；计算所选特征状态；利用阈值计算公式，计算所选取特征的阈值；判断所选取的特征是否为下降状态，且所选取的特征大于所选取特征的阈值，若是，将所选取特征标记为有效特征，否则，有效特征检测模块重新选取一个特征；判断是否取完滤波后特征序列的所有特征，若是，将所有有效特征发送给心率值计算模块，否则，有效特征检测模块重新从滤波后特征序列中顺序地选取一个特征；

所述心率值计算模块，用于计算心率值；将心率值发送给显示模块；

所述显示模块，用于显示心率值。

本发明的方法的具体步骤包括如下：

(1)输入人脸视频：

将人脸视频输入手机的视频解码库中，解码人脸视频，得到人脸视频的总帧数和帧率，将解码后的人脸视频发送给特征点识别模块；

(2)识别人脸特征点：

(2a)特征点识别模块从解码后的人脸视频中顺序提取一帧图像，作为当前帧图像；

(2b)特征点识别模块使用人脸特征点识别工具，识别当前帧图像中所有的人脸特征点；

(3)特征点识别模块判断是否识别到人脸特征点，若是，则执行步骤(4)，否则，执行步骤(2)；

(4)截取特征图像：

(4a)特征点识别模块将识别到的所有人脸特征点，发送给特征图像截取模块；

(4b)特征图像截取模块绘制包含所有人脸特征点的最小矩形框；

(4c)使用图像剪辑方法，特征图像截取模块截取最小矩形框内包含的图像，作为人脸特征图像，将人脸特征图像发送给色度差值放大模块；

(5)计算色度差放大值：

(5a)色度差值放大模块利用颜色空间转换公式，将人脸特征图像从红绿蓝rgb颜色空间转换到亮度色度yuv颜色空间；

(5b)色度差值放大模块计算人脸特征图像中所有像素点色度u通道的均值和色度v通道的均值；

(5c)色度差值放大模块利用色度差值放大公式，计算色度u通道均值和色度v通道均值的色度差放大值，作为人脸特征图像的特征；

(6)色度差值放大模块判断是否提取完人脸视频的帧图像，若是，则执行步骤(7)，否则，执行步骤(2)；

(7)滤波：

(7a)色度差值放大模块按照选取人脸特征图像的次序，将所有人脸特征图像的特征排序，得到特征序列，将特征序列输入到滤波模块；

(7b)滤波模块将特征序列输入通带频率为0.8赫兹到2.5赫兹的带通滤波器中，得到滤波后特征序列；

(7c)滤波模块将滤波后特征序列发送给有效特征检测模块；

(8)标记有效特征：

(8a)从滤波后特征序列中第二个特征开始，有效特征检测模块从滤波后特征序列中顺序地选取一个特征；

(8b)有效特征检测模块比较所选取的特征与前一个特征的大小，将其中大的特征标记为下降状态，小的特征标记为上升状态；

(8c)有效特征检测模块利用阈值计算公式，计算所选取特征的阈值；

(9)有效特征检测模块判断所选取的特征是否为下降状态，且所选取的特征大于所选取特征的阈值，若是，则执行步骤(10)，否则，执行步骤(8)；

(10)有效特征检测模块将所选取的特征标记为有效特征；

(11)有效特征检测模块判断是否取完滤波后特征序列的所有特征，若是，执行步骤(12)，否则，执行步骤(8)；

(12)获得心率值。

本发明与现有技术相比具有以下优点：

第一，由于本发明中的系统色度差值放大模块从色度差值中提取心率信号，克服现有技术的系统在提取心率信号时对每一帧图像卷积和矩阵运算，导致系统计算量大，系统运算时间长的缺点，使得本发明的系统在提取心率信号时计算简单，系统运行时间短。

第二，由于本发明的方法计算了色度特征的阈值，将符合阈值条件的色度特征标记为有效特征，根据有效特征计算心率值，克服了现有技术的方法对心率信号进行频谱分析时易受其他频率杂波影响，导致心率值计算不准确的缺点，使得本发明的方法计算心率值更准确。

第三，由于本发明的方法将人脸特征图像转换到亮度色度yuv颜色空间，放大色度u通道和色度v通道的色度值差值，而色度差值不受亮度变化影响，克服了现有技术中的方法因直接从灰度图像中提取心率信号，导致测量结果易受亮度变化影响的缺点，使得本发明的方法计算的心率值结果受亮度变换影响小。

附图说明

图1为本发明系统的方框图；

图2为本发明方法的流程图；

图3为本发明实施例中心率值标准差对比图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

参照附图1，对本发明的系统做进一步的详细描述。

本发明的系统包括特征点识别模块、特征图像截取模块、滤波模块、显示模块，色度差值放大模块、有效特征检测模块、心率值计算模块。

所述特征点识别模块，用于提取当前帧图像；识别当前帧图像中所有的人脸特征点；判断是否识别到人脸特征点，若是，将所有人脸特征点发送给特征图像截取模块，否则，特征点识别模块重新提取一帧图像。

所述特征图像截取模块，用于绘制包含所有人脸特征点的最小矩形框；截取最小矩形框内图像，作为人脸特征图像；将人脸特征图像发送给色度差值放大模块。

所述色度差值放大模块，用于将人脸特征图像从红绿蓝rgb颜色空间转换到亮度色度yuv颜色空间；计算人脸特征图像色度u通道均值和色度v通道均值的色度差放大值；判断是否提取完人脸视频的帧图像，若是，将特征序列输入到滤波模块，否则，特征点识别模块重新提取一帧图像。

所述滤波模块，用于将特征序列输入通带频率为0.8赫兹到2.5赫兹的带通滤波器中，得到滤波后特征序列；将滤波后特征序列发送给有效特征检测模块。

所述有效特征检测模块，用于从滤波后特征序列中顺序地选取一个特征；计算所选特征状态；利用阈值计算公式，计算所选取特征的阈值；判断所选取的特征是否为下降状态，且所选取的特征大于所选取特征的阈值，若是，将所选取特征标记为有效特征，否则，有效特征检测模块重新选取一个特征；判断是否取完滤波后特征序列的所有特征，若是，将所有有效特征发送给心率值计算模块，否则，有效特征检测模块重新从滤波后特征序列中顺序地选取一个特征。

所述心率值计算模块，用于计算心率值；将心率值发送给显示模块。

所述显示模块，用于显示心率值。

下面结合附图2，对本发明的方法做进一步的描述。

步骤1，输入人脸视频。

将人脸视频输入手机的视频解码库中，解码人脸视频，得到人脸视频的总帧数和帧率，将解码后的人脸视频发送给特征点识别模块。

步骤2，识别人脸特征点。

特征点识别模块从解码后的人脸视频中顺序提取一帧图像，作为当前帧图像。

特征点识别模块使用人脸特征点识别工具，识别当前帧图像中所有的人脸特征点。

步骤3，特征点识别模块判断是否识别到人脸特征点，若是，则执行步骤4，否则，执行步骤2。

步骤4，截取特征图像。

特征点识别模块将识别到的所有人脸特征点，发送给特征图像截取模块。

特征图像截取模块绘制包含所有人脸特征点的最小矩形框。

使用计算机视觉库opencv中的图像剪辑方法，特征图像截取模块截取最小矩形框内包含的图像，作为人脸特征图像，将人脸特征图像发送给色度差值放大模块。

步骤5，计算色度差放大值。

色度差值放大模块利用颜色空间转换公式，将人脸特征图像从红绿蓝rgb颜色空间转换到亮度色度yuv颜色空间。

所述的颜色空间转换公式如下：

y＝0.299r+0.587g+0.114b

u＝-0.147r-0.289g-0.436b

v＝0.615r-0.515g-0.100b

其中，y表示人脸特征图像中亮度色度yuv颜色空间的亮度分量，r表示人脸特征图像中红绿蓝rgb颜色空间的红色分量，g表示人脸特征图像中红绿蓝rgb颜色空间的绿色分量，b表示人脸特征图像中红绿蓝rgb颜色空间的蓝色分量，u表示人脸特征图像的亮度色度yuv颜色空间中色彩从橙色到青色的色度，v表示人脸特征图像的亮度色度yuv颜色空间中色彩从紫色到黄绿色的色度。

色度差值放大模块计算人脸特征图像中所有像素点色度u通道的均值和色度v通道的均值。

色度差值放大模块利用色度差值放大公式，计算色度u通道均值和色度v通道均值的色度差放大值，作为人脸特征图像的特征。

所述的色度差值放大公式如下：

k＝(n-l)×m

其中，k表示色度u通道均值和色度v通道均值的色度差放大值，n表示色度u通道色度均值，l表示色度v通道均值，m为预设放大倍数。

步骤6，色度差值放大模块判断是否提取完人脸视频的帧图像，若是，则执行步骤7，否则，执行步骤2。

步骤7，滤波。

色度差值放大模块按照选取人脸特征图像的次序，将所有人脸特征图像的特征排序，得到特征序列，将特征序列输入到滤波模块。

滤波模块将特征序列输入通带频率为0.8赫兹到2.5赫兹的带通滤波器中，得到滤波后特征序列。

滤波模块将滤波后特征序列发送给有效特征检测模块。

步骤8，标记有效特征。

从滤波后特征序列中第二个特征开始，有效特征检测模块从滤波后特征序列中顺序地选取一个特征。

有效特征检测模块比较所选取的特征与前一个特征的大小，将其中大的特征标记为下降状态，小的特征标记为上升状态。

有效特征检测模块利用阈值计算公式，计算所选取特征的阈值。

所述的阈值计算公式如下：

其中，β(n)表示所选第n个特征的阈值，max(·)表示求最大值，h表示滤波后特征序列，β(n-1)表示所选第n-1个特征的阈值，h(n)表示滤波后特征序列中第n个特征的幅值。

步骤9，有效特征检测模块判断所选取的特征是否为下降状态，且所选取的特征大于所选取特征的阈值，若是，则执行步骤10，否则，执行步骤8。

步骤10，有效特征检测模块将所选取的特征标记为有效特征。

步骤11，有效特征检测模块判断是否取完滤波后特征序列的所有特征，若是，执行步骤12，否则，执行步骤8。

步骤12，获得心率值。

心率值计算模块利用心率值计算公式，根据有效特征值计算心率值；心率值计算模块将心率值发送给显示模块，显示模块显示心率值。

所述的心率值计算公式如下：

p＝60×w×z÷x

其中，p表示心率值，w表示滤波后特征序列中有效特征个数，z表示人脸视频的帧率，x表示人脸视频的总帧数。

本发明的效果可通过以下仿真进一步说明。

1.仿真条件：

本发明的仿真试验是在安卓手机红米5plus，配置为qualcommsnapdragon625cpu@2.0ghz、3.0gbram的硬件环境和手机操作系统为android7.0nougat的软件环境下进行的。

2.仿真内容：

本发明仿真实验是分别使用本发明和现有技术的盲源分离法，在日光灯照射条件下，采集发明人所选的10名被测者的人脸视频，处理人脸视频，计算心率值。

所用日光灯为发光频率为100赫兹。

所选的10名被测者由5名男性和5名女性组成，其中5名男性的平均年龄为26岁，5名女性的平均年龄为24岁。

采集人脸视频的方法为采集每位被测者的5段人脸视频，视频时长依次为5秒、10秒、15秒、20秒、25秒，视频帧率为30帧/秒。

3.仿真效果分析：

图3给出了心率测量结果标准差随人脸视频时长的变化曲线。图3中横坐标表示人脸视频时长，纵坐标表示测量结果标准差。图3中以实线标示的曲线表示本发明心率测量结果的标准差随人脸视频时长的变化曲线。图3中以虚线标示的曲线表示现有技术中盲源分析法心率测量结果的标准差随人脸视频时长的变化。从图3可以看出，本发明测量结果的标准差更小，测量心率值的准确度更高。