一种心率检测方法及装置与流程

本发明属于心率检测领域，尤其涉及一种心率检测方法及装置。

背景技术：

随着医疗水平和信息处理水平的逐步发展，智能医疗得到了广泛的关注。各种生理信号的检测和疾病的预防成为当前研究的热点。目前，在检测心率信号方面，应用比较方便的是基于皮肤颜色变化的心率检测系统。

然而，目前基于皮肤颜色变化的心率检测系统，心率测量复杂，对于一些侧面的人脸图像鲁棒性较差，会出现检测失败的现象，不利于提升心率检测的效率和准确性。其原因在于，目前基于皮肤颜色变化的心率检测系统，存在以下几个方面的不足，详述如下：

一.心率测量过程复杂。利用手指按住摄像头来计算心率。通过统计每分钟内手指表面颜色变化的频率，计算测试者每分钟心跳次数。但是这种解决方案要求脉搏跳动明显，并且不停的进行闪光灯补光，

二.心率测量的结构复杂。利用应用激光干涉进行测量，通过手指颜色影响光的反射和折射，统计手指颜色的变化规律，并从而估算心率。但是这种技术增加了硬件成本，结构比较复杂。

三.容易出现心率检测失败的现象。由于心跳会导致人面部肤色发生变化，所以可以通过面部肤色变化对心率进行预测。目前的肤色心率检测算法是基于面部整体区域进行处理的，由于检测出的面部区域方框不可避免的会包含非人脸部分，且对于一些侧面的人脸图像鲁棒性较差，会出现检测失败的现象。

技术实现要素：

本发明实施例的目的在于提供一种心率检测方法，旨在解决目前基于皮肤颜色变化的心率检测系统，心率测量复杂，对于一些侧面的人脸图像鲁棒性较差，会出现检测失败的现象，不利于提升心率检测的效率和准确性的问题。

本发明实施例是这样实现的，一种心率检测方法，包括：

采集用户的图像；

在所述图像中，提取面部特征点；

根据提取的面部特征点，选取光照分布均匀的面部区域；

对选取的面部区域进行图像平滑处理，根据图像平滑处理后的面部区域的肤色变化检测心跳频率。

本发明实施例的另一目的在于提供一种心率检测装置，包括：

采集模块，用于采集用户的图像；

提取模块，用于在所述图像中，提取面部特征点；

选取模块，用于根据提取的面部特征点，选取光照分布均匀的面部区域；

心率检测模块，用于对选取的面部区域进行图像平滑处理，根据图像平滑处理后的面部区域的肤色变化检测心跳频率。

在本发明实施例中，根据提取的面部特征点，选取光照分布均匀的面部区域；对选取的面部区域进行图像平滑处理，根据图像平滑处理后的面部区域的肤色变化检测心跳频率，解决了目前基于皮肤颜色变化的心率检测系统，心率测量复杂，对于一些侧面的人脸图像鲁棒性较差，会出现检测失败的现象，不利于提升心率检测的效率和准确性的问题。有益效果在于以下两方面，一方面，不要求对测试者人脸严格进行正面拍摄，即使用户拍摄侧面的人脸，也能测量成功，从而提高了心率检测的命中率和效率；另一方面，基于面部特征点的提取，能够有效地提取稳定的均匀光照区域，从而提升了心率检测系统的准确性，同时能够很好地提升用户体验。

附图说明

图1是本发明实施例提供的心率检测方法的实现流程图；

图2是本发明实施例提供的心率检测方法步骤S103的实现流程图；

图3是本发明实施例提供的心率检测方法步骤S104的实现流程图；

图4是本发明实施例提供的心率检测方法步骤S302的实现流程图；

图5是本发明实施例提供的面部特征点的较佳样例图；

图6是本发明实施例提供的图像连通区域的较佳样例图；

图7是本发明实施例提供的心率检测方法较佳的应用流程图；

图8是本发明实施例提供的心率检测装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

实施例一

图1是本发明实施例提供的心率检测方法的实现流程图，详述如下：

在步骤S101中，采集用户的图像；

在步骤S102中，在所述图像中，提取面部特征点；

其中，所述多帧图像中，利用Haar特征提取算法对图像中的人脸区域进行捕捉，提取面部特征。

在步骤S103中，根据提取的面部特征点，选取光照分布均匀的面部区域；

在步骤S104中，对选取的面部区域进行图像平滑处理，根据图像平滑处理后的面部区域的肤色变化检测心跳频率。

根据提取的面部特征点，在图像中选取左脸颊、右脸颊、额头对应的图像连通区域；

选取所述图像连通区域长宽均占图像连通区域预设比例的中心区域；

将中心区域设为光照分布均匀的面部区域。

在本发明实施例中，根据提取的面部特征点，选取光照分布均匀的面部区域；对选取的面部区域进行图像平滑处理，根据图像平滑处理后的面部区域的肤色变化检测心跳频率，有益效果在于以下两方面，一方面，不要求对测试者人脸严格进行正面拍摄，提高了心率检测的命中率和效率；另一方面，基于面部特征点的提取，能够有效地提取稳定的均匀光照区域，从而提升了心率检测系统的准确性，同时能够很好地提升用户体验。

实施例二

图2是本发明实施例提供的心率检测方法步骤S103的实现流程图，详述如下：

在步骤S201中，根据提取到的面部特征点以及所述面部特征点的分布位置，在图像中选取左脸颊、右脸颊、额头对应的图像连通区域；

在步骤S202中，选取图像连通区域中心的预设范围作为光照分布均匀的面部区域。

在本发明实施例中，选取图像连通区域中心的预设范围作为光照分布均匀的面部区域，避免了由于面部曲线明显，各个部分采集到的图像颜色变化差异较大，出现检测失败的现象，易于提升心率检测系统的准确性，同时能够很好地提升用户体验。

实施例三

本发明实施例描述了对选取的面部区域进行图像平滑处理的实现流程，详述如下：

利用高斯低通滤波器，对提取到的肤色区域进行平滑处理，根据图像平滑处理后的面部区域的肤色变化检测心跳频率；或者，

利用中值滤波，对提取到的肤色区域进行平滑处理，根据图像平滑处理后的面部区域的肤色变化检测心跳频率。

在本发明实施例中，对选取的面部区域进行图像平滑处理，进一步避免了由于面部曲线明显，各个部分采集到的图像颜色变化差异较大，出现检测失败的现象，进一步提升心率检测系统的准确性。

实施例四

图3是本发明实施例提供的心率检测方法步骤S104的实现流程图，详述如下：

在步骤S301中，对选取的面部区域进行图像平滑处理；

在步骤S302中，根据图像平滑处理后的面部区域的肤色变化，对图像平滑处理后的面部区域的R、G、B通道进行频域处理，检测出心跳频率。

在本发明实施例中，根据图像平滑处理后的面部区域的肤色变化，检测出心跳频率，步骤简单，易于提升心率检测的效率。

实施例五

图4是本发明实施例提供的心率检测方法步骤S302的实现流程图，详述如下：

在步骤S401中，对图像平滑处理后的面部区域的R、G、B通道进行均值计算，生成R、G、B通道的均值序列；

在步骤S402中，根据检测时间，将R、G、B通道的均值序列转换为描述肤色变化的三个时域信号序列；

在步骤S403中，对所述三个时域信号序列进行傅立叶变换；

在步骤S404中，提取所述三个时域信号序列在频域中各自响应的优选能量频率点；

其中，提取所述三个时域信号序列在频域中各自响应的优选能量频率点，具体为：

在0.5Hz至2Hz频段中，提取所述三个时域信号序列在频域中各自响应的优选能量频率点。

在步骤S405中，对提取到的优选能量频率点求取均值，检测出心跳频率。

在本发明实施例中，对提取到的优选能量频率点求取均值，以检测出心跳频率，由于参考了多个优选能量频率点，因此生成的心跳频率也更加稳定。

实施例六

本发明实施例描述了心率检测方法的较佳实施方案，详述如下：

1.应用Haar（Haar-like features）特征提取算法对图像中的人脸区域进行捕捉，并应用dlib库提供的ESR算法对面部的68个特征进行提取。参考图5。图5是本发明实施例提供的面部特征点的较佳样例图；

2.选取光照情况相似的区域作为心率计算的面部区域，分别进行心跳统计。根据提取出的68个特征点，分别选取左脸颊、右脸颊、额头这些平坦区域作为心跳检测的三个面部区域。

首先，选取以特征点1、2、3、4、5、49、50、51、32、40、41、42、37为边界的左脸颊对应的图像连通区域，并取长宽均占图像连通区域75%的中心区域作为计算心率的面部区域1；

其次，选取以特征点17、16、15、14、13、55、54、53、36、43、48、47、46为边界的右脸颊对应的图像连通区域，并取长宽均占图像连通区域75%的中心区域作为计算心率的面部区域2；

最后，选取特征点22、23到Haar检测上边界的额头对应的图像连通区域，并取长宽均占图像连通区域75%的中心区域作为计算心率的面部区域3。具体取法参考图6，图6是本发明实施例提供的图像连通区域的较佳样例图；

3.对各个区域的图像，分别提取R、G、B通道的信息，进行高斯低通滤波，对面部区域图像进行平滑处理。

高斯低通滤波器的表达式如下，

其中，D(u,v)表示傅立叶变换中心到各个频点的距离，选取D₀为60，D₀作为低通滤波的截止频率，H(u,v)为传递参数。

4.对每个区域，分别对每帧图像的R、G、B三个通道进行均值计算，得到RGB三个通道的平均亮度序列x₁(t),x₂(t),x₃(t)。之后，对x₁(t),x₂(t),x₃(t)进行分析处理，分解出三个时域信号序列s₁(t),s₂(t),s₃(t)。最后，对s₁(t),s₂(t),s₃(t)序列分别进行快速傅里叶变换，在0.5Hz～2Hz频段中找到对应的最大能量频率点，即优选能量频率点f，并进一步计算一分钟心率测试结果：

K=60×f

实施例七

图7是本发明实施例提供的心率检测方法较佳的应用流程图，详述如下：

（1）应用手机、电视自带的摄像头采集测试者图像，应用Haar（Haar-like features）特征提取算法对采集图像中的人脸区域进行捕捉，之后应用人脸五官定位算法中的ESR算法对面部的68个特征进行提取。

（2）对人脸表面平坦、光照均匀的面部区域进行提取。分别提取左脸颊、右脸颊、额头对应的图像连通区域，并选取位于每个区域中心的75%稳定区间作为最终用来统计心率的面部区域。

（3）对每个区域图像，分别提取R、G、B三个通道的信息进行高斯低通滤波处理，从而对各通道图像进行平滑。

（4）对每个区域，每帧R、G、B通道图像求均值，得到图像RGB通道的均值序列x₁(t),x₂(t),x₃(t)，之后，根据检测时间，对x₁(t),x₂(t),x₃(t)进行分析处理，转换为描述肤色变化的三个时域信号序列，得到时域信号序列s₁(t),s₂(t),s₃(t)；

（5）对每一个独立信号s(t)进行快速傅氏变换（Fast Fourier Transformation，FFT）变换，在0.5Hz～2Hz频段中找到对应的最大能量的频率点f，并计算一分钟的心率测试结果：

K=60×f

（6）对每个区域、每个信号序列分别进行心率检测，求取均值作为最终的心率检测输出结果。

实施例八

图8是本发明实施例提供的心率检测装置的结构框图。该心率检测装置可以运行于电子设备中，电子设备包括但不限于家电、医疗器械、移动电话、台式计算机、膝上型计算机或平板计算机之类的设备。

为了便于说明，仅示出了与本实施例相关的部分。

参照图8，该心率检测装置，包括：

采集模块81，用于采集用户的图像；

提取模块82，用于在所述图像中，提取面部特征点；

选取模块83，用于根据提取的面部特征点，选取光照分布均匀的面部区域；

心率检测模块84，用于对选取的面部区域进行图像平滑处理，根据图像平滑处理后的面部区域的肤色变化检测心跳频率。

作为本实施例的一种实现方式，在所述心率检测装置中，所述选取模块包括：

图像连通区域选取模块，用于根据提取到的面部特征点以及所述面部特征点的分布位置，在图像中选取左脸颊、右脸颊、额头对应的图像连通区域；

面部区域选取模块，用于提取模块，用于选取图像连通区域中心的预设范围作为光照分布均匀的面部区域。

作为本实施例的一种实现方式，在所述心率检测装置中，所述心率检测模块用于利用高斯低通滤波器，对提取到的肤色区域进行平滑处理，根据图像平滑处理后的面部区域的肤色变化检测心跳频率；或者，用于利用中值滤波，对提取到的肤色区域进行平滑处理，根据图像平滑处理后的面部区域的肤色变化检测心跳频率。

作为本实施例的一种实现方式，在所述心率检测装置中，所述心率检测模块，包括：

处理单元，用于对选取的面部区域进行图像平滑处理；

心率检测单元，用于根据图像平滑处理后的面部区域的肤色变化，对图像平滑处理后的面部区域的R、G、B通道进行频域处理，检测出心跳频率。

作为本实施例的一种实现方式，在所述心率检测装置中，所述心率检测单元，包括：

生成子单元，用于对图像平滑处理后的面部区域的R、G、B通道进行均值计算，生成R、G、B通道的均值序列；

转换子单元，用于根据检测时间，将R、G、B通道的均值序列转换为描述肤色变化的三个时域信号序列；

变换子单元，用于对所述三个时域信号序列进行傅立叶变换；

提取子单元，用于提取所述三个时域信号序列在频域中各自响应的优选能量频率点；

心率检测子单元，用于对提取到的优选能量频率点求取均值，检测出心跳频率

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本发明实施例装置和装置中的单元可以根据实际需要进行合并、划分和删减。

本发明实施例提供的装置可以应用在前述对应的方法实施例中，详情参见上述实施例的描述，在此不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现。所述的程序可以存储于可读取存储介质中，所述的存储介质，如随机存储器、闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件执行本发明各个实施例所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。