利用面部视频实现心率检测的方法与流程

本发明涉及心率检测技术领域，尤其涉及一种利用面部视频实现心率检测的方法。

背景技术：

静息心率是指在清醒、不活动的安静状态下，心脏每分钟起搏的次数，一般人处于平静状态下的正常心率为60～100次/分钟，平均75次/分钟左右。静息心率是指导体育锻炼的重要指标，运动人员在日常的体能锻炼中有所掌握的心率信息，可以帮助其判断训练的效果，也可以帮助制定最佳的训练计划。心率检测在运动科学和人体工程学等领域具有非常重要的意义。

目前，心率检测的方法多种多样，按照心率检测时传感器是否需要与人体接触可以将检测方法分为接触式与非接触式两类，均存在不同的问题，具体介绍如下：

(1)接触式检测方法中的心电图法和光电容积描记法可作为心率检测的标准，但是，接触式心率检测要求传感器与被检测者身体发生一定的物理接触，这在一定程度上造成了不便，不适合流动检测，且易受运动的干扰，而且，这些与人体接触的部分在连续长时间的心率监测过程中可能引起被测者的不适或过敏反应，临床应用中，利用光电等传感器或者电极接触人体的接触式心率检测方式存在会对被测者造成一定的生理和心理上的负荷。而且，接触式检测方式并不适用于新生儿或者重度烧伤患者，以上因素都限制接触式检测方法的使用范围。

(2)相较于接触式检测方法，非接触式检测方法则刚好能够弥补这些不足，常见的非接触式检测方法有激光多普勒、微波多普勒和热成像等，但是，这些方法均需要特定的设备，而且设备价格昂贵，不能够随时随地的检测心率。

近年来，基于面部视频的心率检测方法，由于其低成本和简便快捷等特点，满足家庭监护和未来远程医疗的需求，具有非常广阔的应用前景，已经成为非接触式心率检测领域的研究热点之一。该方法所借鉴的理论是光电容积描记或心冲击描记，假定血液周期性地循环到身体的其他部位，对面部皮肤的颜色产生周期性的细微变化，并产生一些微小的头部运动。通常肉眼难以观察到这些变化，但它们可以通过诸如欧拉视频放大等技术来观察。于是，可以利用这些周期性变化的皮肤颜色或头部运动来测量心率。

但是，基于皮肤颜色变化的方法对被测者皮肤颜色和噪音较为敏感，若没有正确且准确的检测到皮肤，或者捕获到的面部视频是嘈杂的，就不能提供准确的心率检测结果；基于头部运动的方法最大优点是对环境光照变化并不敏感，而且不需要被测对象暴露完整的面部皮肤，然而，不一致的特征点提取是影响该方法可靠性的一个主要问题。同时，由于该方法是通过跟踪头部表面特征点的周期运动来估计心率，因此，该方法极易受到被测者自发运动(例如表情变化或说话等)的影响而产生运动伪影，都是影响心率检测结果准确性的关键。

技术实现要素：

本发明的目的是提供一种利用面部视频实现心率检测的方法，测试方便，且不受被测者自发运动的影响。

本发明的目的是通过以下技术方案实现的：

一种利用面部视频实现心率检测的方法，其特征在于，包括：

获取一段头部正面视频，并提取出面部区域中若干感兴趣区域内的多个特征点；

根据特征值的大小，从每一感兴趣区域中找出一定数量的特征点，并使用跟踪算法跟踪各个特征点，绘制出每个特征点的轨迹后提取对应的垂直分量；

对每个特征点轨迹的垂直分量依次进行滤波与降维处理，得到相应的主成分的时域轨迹；

将主成分的时域轨迹转换成频域轨迹，得到对应的主成分功率谱，再根据主成分功率谱的最大功率频率f，计算得到心率q。

由上述本发明提供的技术方案可以看出，在分析了面部常见表情图后，根据一段头部视频即可测试心率，测试方便，且不受被测者自发运动(例如表情变化或说话等)的影响，方法巧妙新颖，具有良好的应用前景。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种利用面部视频实现心率检测的方法的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种利用面部视频实现心率检测的方法，如图1所示，其主要包括如下步骤：

步骤1、获取一段头部正面视频，并提取出面部区域中若干感兴趣区域内的多个特征点。

本发明实施例中，所述一段头部正面视频可以直接从存储介质中读取得到；所述存储介质中的头部正面视频可以是预先存储的，也可以是通过视频采集设备实时采集并保存的。

本步骤的优选实施方式如下：

1)使用opencv软件中的快速harr特征人脸检测器从一段头部正面视频中找到一个包含脸部的矩形区域。

2)从包含脸部的矩形区域，选择若干感兴趣区域。

由于包含脸部的矩形区域并不能直接在本方法中使用，因为它包含了眼睛和嘴部等脸部最易发生变化的区域，追踪这些区域内的特征点轨迹并不能反映由心跳引起的运动，所以不能得到可靠的结果，因而需要选择若干感兴趣区域。

在分析了人类面部常见表情图后发现，人在惊奇或恐惧时额头会出现皱纹，在厌恶时鼻子会皱起，在愤怒时鼻孔可能会张大。皱纹的出现是因为额头处的皮肤受到挤压，挤压原因通常是眉毛上移明显而头皮几乎没有位移。这从另外一个侧面证明了人类面部不论出现何种表情，额头的最上部是几乎不动的。

基于上述原理，所述若干感兴趣区域至少包括：额头上沿的横向矩形框区域与鼻尖处的正方框区域。

3)去掉这一段头部正面视频段头部正面视频中前k帧，从第k+1帧开始使用shi-tomasi算法提取各感兴趣区域内特征点。

本领域技术人员可以理解，shi-tomasi算法是一个特征点(角点)检测及追踪方法，通过比较梯度矩阵的最小特征值来确定特征点。

由于头部正面视频刚开始拍摄的时候可能镜头还在对焦，或者被拍摄人员还未坐稳，所以去掉该段头部正面视频中前k帧，从稳定的时候开始对该段头部正面视频中进行特征值提取。示例性的，k的取值范围为10-30之间，能够保证该段头部正面视频中提取特征值的准确性。

步骤2、根据特征值的大小，从每一感兴趣区域中找出一定数量的特征点，并使用跟踪算法跟踪各个特征点，绘制出每个特征点的轨迹后提取对应的垂直分量。

本发明实施例中，在每一感兴趣区域中根据特征点的特征值按照从大到小的方式排序，找出排序靠前的p个特征点。示例性的，可以设置p＝20。

本步骤的优选实施方式如下：

1)使用lucas-kanade算法找到第n个特征点在第t帧上的位置，当找到第n个特征点在所有帧上的位置后，获得第n个特征点位移的时间序列sn。

本领域技术人员可以理解，lucas-kanade算法是一种光流估算差分方法，它假定在所考虑的像素的局部领域内，本质上光流是恒定的，由此利用最小二乘原则对领域内所有像素求解基本光流方程。

2)所有每个特征点都采用相同的操作方式，从而绘制出每个特征点的轨迹。

3)提取出每个特征点对应的轨迹上的垂直分量，其目的是为了保持最稳定的特征，找到连续帧之间每个特征点的位移，分析所有特征点的位移的分布情况，并丢弃那些位移明显偏离分布模式的特征点，由于心脏跳动通常只会引起的头部在垂直方向上运动，于是只分析特征点轨迹上的垂直分量信号。

步骤3、对每个特征点轨迹的垂直分量依次进行滤波与降维处理，得到相应的时域轨迹。

本发明实施例中，通过滤波处理可以消除心跳之外的频率信号和非自愿头部运动信号，滤波处理的优选实施方式如下：

1)对每个特征点轨迹的垂直分量进行限幅滤波：假设第n个特征点在第t-1帧到第t帧中的垂直分量为sn(t)，平均值为mn(t)，允许的最大偏差值为d，在每次检测新采样值时进行判断，若|sn(t)-mn(t)|＞d，则放弃本次采样值，用上次采样值代替本次采样值。

限幅滤波的优点在于能够有效地克服因偶然因素引起的脉冲干扰，例如出现特征点丢失或跟踪错了特征点。

2)对限幅滤波后的每个特征点轨迹的垂直分量进行滑动平均滤波：把限幅滤波处理后的连续取n个采样值看成一个队列，队列的长度固定为n，每次获得的采样值放入队尾，根据先进先出原则扔掉原来队首的采样值，把队列中的n个采样值进行算术平均运算，获得新的滤波结果。

滑动平均滤波的优点是对周期性干扰有良好的抑制作用，例如由于呼吸动作而带来的周期性干扰。

3)对滑动平均滤波后的每个特征点轨迹的垂直分量信号进行巴特沃斯带通滤波。

示例性的，巴特沃斯带通滤波可以采用8阶带通范围为[0.75，3]hz的巴特沃斯滤波器(对应于[45，180]bpm)进行，正常成年人的静息心率在60～100bpm，儿童的静息心率要快一些，从而以滤除掉心率以外的其他频率。

本发明实施例中，所述降维处理通过主成分分析方法来实现，从而得到描述头部运动主成分的时域轨迹。

本领域技术人员可以理解，利用主成分分析法压缩原有数据矩阵的规模，将特征向量的维数降低，从而挑选出最少的维数来概括最重要特征。所挑选出的特征向量是原有向量的线性组合，体现原有向量的综合效果，具有一定的实际含义。假设通过主成分分析法从n个特征向量中挑选出r个特征向量，这r个特征向量称为“主成分”，它们可以在很大程度上反映原来n个特征向量的影响，并且这些特征向量是互不相关的，也是正交的。

步骤4、将主成分的时域轨迹转换成频域轨迹，得到对应的主成分功率谱，再根据主成分功率谱的最大功率频率f，计算得到心率q。

心率q的公式为：

q＝f×60。

值得注意的是，通过本发明以上方案所获得的心率可以理解为一个中间结果，得到该中间结果后可以存储在某一存储介质中，利用该中间结果可以进行人体工程学的各项科研工作，或者用于运动训练时的辅助信息等，但是具体所进行的后续工作本发明并不做出限定。

本发明实施例上述方案，在分析了面部常见表情图后，根据一段头部视频即可测试心率，测试方便，且不受被测者自发运动(例如表情变化或说话等)的影响，方法巧妙新颖，具有良好的应用前景。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。