心率与呼吸率检测方法、系统及计算机存储介质

本发明涉及图像处理技术领域，尤其涉及一种心率与呼吸率检测方法、系统及计算机存储介质。

背景技术：

心率和呼吸率是人体重要的生理参数，和人体的心血管系统健康密切相关。发病突然、死亡率高是心血管系统疾病的重要特点。长期准确监测人体的心率和呼吸率变化，可以对心血管疾病的突发进行有效预警，从而及时干预治疗，有效降低死亡率。非接触式或者远程检测心率和呼吸率方法是当前的研究热点，该类方法主要是基于视频图像的光电容积脉搏波描记法实现，具有远程实时检测，不需要佩戴检测装置，对检测对象影响小，使用范围广等优点。

利用光电容积脉搏波描记法原理，远程检测心率、呼吸率，可以获得较高的准确性。然而，该方法对测试环境敏感，易受干扰因素影响。具体地，检测过程中，经常会利用人脸皮肤的视频图像。人脸必须保持不动，不能有较大的表情变化，头动移位等；其次，对光照要求高，不均匀的光照可能带来干扰信号。实际检测时，为了获取足够的图像帧，需要较长的检测时间。此时，人脸表情改变以及张嘴和眨眼等动作是经常发生的，而且光照条件随时可能变化，因此带来强烈的干扰因素，对实际检测结果造成相当大的测量误差，难以满足生理参数的远程实时测量的高鲁棒性要求。

综上所述，现有的远程检测方法缺乏强鲁棒性和适应性，需要在相对理想的条件才可取得准确结果，实际检测的影响因素降低了该类方法推广使用的价值。

技术实现要素：

本发明目的在于公开一种心率与呼吸率检测方法、系统及计算机存储介质，以提高鲁棒性。

为达上述目的，本发明公开的心率与呼吸率检测方法包括：

采集m帧人脸视频图像，并用测量装置测出与所述人脸视频图像同步的心率和呼吸率值；

将采集到的视频图像按时序均匀分为n个子集合；并对各个子集合内的每帧图像，以方形选框提取额头、左脸颊、右脸颊以及侧脸四个感兴趣区域，对比同一子集合内同一感兴趣区域所对应的系列选框的左上角坐标、高度和宽度判断各个选框是否发生移位，如果是，将发生移位的同一子集合内感兴趣区域提取的图像数据全部予以删除；然后将保留的未发生移位的方形选框内的图像数据划分为p×q个网格，每个网格的像素数量为k×k；

计算同一子集合所对应的同一感兴趣区域中各网格的灰度平均值，根据相应的灰度平均值对相对应网格的各像素点进行去均值处理，然后计算去均值后的网格像素数据平均值，将对应同一子集合的同一感兴趣区域且同一网格位置去均值后的网格像素数据平均值组合成对应该网格位置的信号数据序列；

计算同一子集合同一兴趣区域的p×q个网格位置所对应的信号数据序列之间的相关性，得到相关性高的h个网格的数据序列；

将各个感兴趣区域筛选出的相关性高的数据序列汇总成有效数据序列集合；根据所述有效数据序列集合及实测的同步的心率和呼吸率值建立预测模型；

对新采集的人脸视频图像，依照上述步骤提取有效数据序列集合后输入所述预测模型得出相应的心率和呼吸率预测值。

可选地，本发明以定位的神经网络fasterr-cnn确定方形选框的位置。

可选地，本发明得到相关性高的h个网格的数据序列的方法包括：两两计算p×q个网络的数据序列的相关系数，得到相关系数矩阵；并对相关系数矩阵中的各矩阵元素与设定阈值进行比较，将小于阈值的相关系数设为0，将相关系数矩阵划分为至少一个不为0的区域；将相关系数矩阵中最大的不为0的区域包括的网格所对应的h个网格抽取为相关性高的数据序列的集合。

可选地，本发明预测模型采用残差网络、谷歌网络或densenet卷积网络架构，lstm的循环神经网络。

为达上述目的，本发明还公开一种心率与呼吸率检测系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述相对应方法的步骤。

为达上述目的，本发明还公开一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上方法相对应的步骤。

本发明具有以下有益效果：

本发明基于额头、左脸颊、右脸颊以及侧脸共四个区域进行图像数据集的提取和模型训练，为确保图像数据处理的鲁棒性，一方面，分析4个感兴趣区域是否移动，排除集合内受到人脸表情、动作和姿势等影响的图像噪声；另一方面，考虑到视频采集的光照是不均匀的，而且是全局低频变化的，局部区域的光照可以认为是一个常数，去除网格数据的均值，也去除了光照的局部常数值，因此通过去均值处理后获得的信号数据序列可以削弱光照不均匀性的影响；再一方面，通过将各个感兴趣区域筛选出的相关性高的数据序列汇总成有效数据序列集合进一步确保了数据的多维性和精准度。从而通过多重筛选及相应分合处理确保了整体的鲁棒性。

下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例中一种高鲁棒性的远程心率、呼吸率的检测方法的主流程图；

图2为获取心率和呼吸率的感兴趣区域；

图3为网格划分示意图；

图4为方形选框的移位分析示意图；

图5为通过循环神经网络预测心率、呼吸率，最后结果求平均的示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例1

本实施例公开一种心率与呼吸率检测方法，如图1至图5所示，包括以下步骤：

(1)、视频以及心率和呼吸率数据采集。通过摄像头录制人脸视频，从获取的视频流中，得到多个帧图像构成的视频数据集合。设置视频录制帧速率为x帧/秒，录制t时长，合计得到m＝x×t帧图像。在采集视频的同时，用心率和呼吸率的测量装置，实时获得视频同步的心率值和呼吸率值。

(2)、视频图像的子集合划分。视频图像采集时间较长，难以避免人脸的位置和光照条件发生变化。将这m帧图像按时序划分为n个子集合，记为d1,d2,d3,d4,...,dn，每个集合中包含帧图像。将第j个集合中的第i帧图像记为iji,即在后续的分析中，对每个子集合内部的图像进行分析。

(3)、对任意一个视频图像集合dj，分析每帧图像中的感兴趣区域。对每帧图像，只分析四个感兴趣区域(如图2)，包括每帧图像中的额头、左脸颊、右脸颊以及侧脸，分别记为aji1,aji2,aji3,aji4,,j是集合的编号，i是该帧图像在集合中的序号，用方形选框表示感兴趣区域的位置，包括ajih在图像上的左上角坐标和高度，宽度：xjih,yjih,hjih,wjih,h＝1,2,3,4。

优选地，使用包括但不限于fasterr-cnn等用于定位的神经网络，确定方形选框的位置。由人工标注的每帧图像的方形选框，作为数据集。对定位网络训练，以实现从新的图像中定位上述方形选框。

优选地，通过采集人脸数据，手工勾勒额头、左脸颊、右脸颊以及侧脸区域，制作数据集，其中70％的数据作为训练集，10％的数据作为验证集，剩余20％的数据作为测试集。

优选地，将数据送入网络进行训练，利用resnet作为特征抽取器，将抽取到的特征送入rpn网络中，生成可能的候选框。

(4)、方形选框的移位分析。用移位分析确定方形选框是否受到人脸表情，脸部动作或者姿势的影响，判定依据是同一个集合里面的选框ajih的左上角坐标，高度，宽度，在集合的帧图像上是否有较大的移位。将集合dj内所有帧图像上的第h个选框记为：提取选框在各帧图像上该选框的坐标，高度，宽度，比较它们的变化量。若变化量没有超过预设的阈值，则认为该集合内，第h个选框没有受到人脸动作的影响，应该保留用作后续的分析；否则删除掉该选框内部的全部图像数据。

优选地，设定阈值为k,计算选框的左上角坐标，高度、宽度的方差值，若超过阈值，则该选框受到人脸表情或姿态变化的影响，则将此选框内部的图像数据舍弃；若方差值小于或等于阈值，则将其保留用于后续处理。

(5)、方形选框的局部分析。选取任何一个没有受到人脸表情姿态影响的选框其属于第j个集合，第h个选框，包括帧图像。考虑到视频采集的光照是不均匀的，而且是全局低频变化的，因此局部区域的光照可以认为是一个常数。选框的局部区域的数据相当于真实数据叠加了一个光照的常数值。对方形选框做局部分析，可以削弱光照不均匀性的影响。

(6)、提取网格的数据序列。将方形选框划分为p×q个网格，每个网格的像素数量k×k：(如图3)。对每一帧图像，第h个选框的第w个网格的内部的每个像素rgb三通道加权求和，得到亮度的强度(灰度)值，提取出该网格的每个像素的信号数据序列：其中r和s是网格w中的像素坐标，i代表图像。

(7)、去均值处理。计算每个网格在同一子集合的同一感兴趣区域未发生移位的帧图像上的灰度平均值：其中r和s是网格w中的像素坐标。去除网格数据的均值：此时也去除了光照的局部常数值。

(8)、相关性分析。对去均值后的网格数据计算平均值：得到网格w的信号数据序列,共有个数据点。对同一子集合内h区域的所有p×q个网格的数据序列，两两计算相关性。将和其他序列相关性低的网格数据去除，得到相关性高的h个网格的数据序列，h＜p×q。这h个网格的数据序列是从方形选框的p×q个网格的数据序列选出的，没有受到光照不均匀的影响，且相关性最高的h个网格的数据序列。

优选地，两两计算p×q个网络的数据序列的相关系数，得到相关系数矩阵m∈r^pq×pq，矩阵上每个元素mij是第i个网格和第j个网格的数据序列相关系数。设定阈值，将小于阈值的相关系数设为0。相关系数矩阵m被划分为若干个不为0的区域。将最大的区域包括的网格取出，设该区域包括h个网格，包括相关性高的数据序列的集合：

(9)、获取有效数据序列的集合。经过方形选框的定位识别，移位分析，局部分析之后，排除了没有通过移位和局部分析的网格，得到了经过预处理之后的数据序列的集合h是对应方形选框的局部分析得到的相关性高的网格。是没有受到人脸动作，光照不均匀影响的数据序列，构成了心率和呼吸率预测的有效数据序列的集合。

(10)、建立预测模型。利用中的每一条数据序列和对应的心率和呼吸率的测量值，制作训练集。训练一个预测模型，建立数据序列和心率，呼吸率的测量值之间的关系。预测模型将用于预测新的数据序列的心率和呼吸率值。

优选地，预测模型使用循环神经网络，输入一条数据序列，输出心率、呼吸率的值。循环神经网络可以使用多层神经网络，长短程记忆网络等结构，将数据序列进行嵌入处理后，经过隐含层转换，在网络的输出层输出心率和呼吸率的值。

优选地，预测模型使用多层的卷积神经网络，利用多层卷积核对数据序列做卷积，池化等处理步骤，将输入的数据序列转换为心率、呼吸率值。卷积神经网络架构可以使用残差网络、谷歌网络、densenet等常见的实用卷积网络架构。

优选地，使用集合的数据序列和对应的心率、呼吸率值对预测模型进行训练，其中70％的数据作为训练集，10％的数据作为验证集，剩余的20％作为测试集。使用机器学习和神经网络的训练方法，调整权值，使得训练后的模型的预测值逼近真实值。

(11)、预测模型的鲁棒性使用。对于新的视频图像，按照划分子集合，方形区域提取，移位分析、相关性分析后，得到新的视频图像的包含若干条数据序列的集合：对集合中的每个数据序列输入预测模型，得到心率、呼吸率值。将所有序列的心率、呼吸率值进行平均，以均值作为该视频图像的心率和呼吸率的值。

实施例2

与上述方法实施例相对应的，本实施例还公开一种心率与呼吸率检测系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现下述相对应方法的步骤：

采集m帧人脸视频图像，并用测量装置测出与所述人脸视频图像同步的心率和呼吸率值；

将采集到的视频图像按时序均匀分为n个子集合；并对各个子集合内的每帧图像，以方形选框提取额头、左脸颊、右脸颊以及侧脸四个感兴趣区域，对比同一子集合内同一感兴趣区域所对应的系列选框的左上角坐标、高度和宽度判断各个选框是否发生移位，如果是，将发生移位的同一子集合内感兴趣区域提取的图像数据全部予以删除；然后将保留的未发生移位的方形选框内的图像数据划分为p×q个网格，每个网格的像素数量为k×k；

计算同一子集合所对应的同一感兴趣区域中各网格的灰度平均值，根据相应的灰度平均值对相对应网格的各像素点进行去均值处理，然后计算去均值后的网格像素数据平均值，将对应同一子集合的同一感兴趣区域且同一网格位置去均值后的网格像素数据平均值组合成对应该网格位置的信号数据序列；

计算同一子集合同一感兴趣区域的p×q个网格位置所对应的信号数据序列之间的相关性，得到相关性高的h个网格的数据序列；

将各个感兴趣区域筛选出的相关性高的数据序列汇总成有效数据序列集合；根据所述有效数据序列集合及实测的同步的心率和呼吸率值建立预测模型；

对新采集的人脸视频图像，依照上述步骤提取有效数据序列集合后输入所述预测模型得出相应的心率和呼吸率预测值。

可选地，本发明得到相关性高的h个网格的数据序列的方法包括：两两计算p×q个网络的数据序列的相关系数，得到相关系数矩阵；并对相关系数矩阵中的各矩阵元素与设定阈值进行比较，将小于阈值的相关系数设为0，将相关系数矩阵划分为至少一个不为0的区域；将相关系数矩阵中最大的不为0的区域包括的网格所对应的h个网格抽取为相关性高的数据序列的集合。本实施例方法的具体实现参照实施例1，不做赘述。

实施例3

本实施例公开一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述方法和系统相对应的步骤。

综上，本发明实施例所公开的心率与呼吸率检测方法、系统及计算机存储介质，具有以下有益效果：

本发明基于额头、左脸颊、右脸颊以及侧脸共四个区域进行图像数据集的提取和模型训练，为确保图像数据处理的鲁棒性，一方面，分析4个感兴趣区域是否移动，排除集合内受到人脸表情、动作和姿势等影响的图像噪声；另一方面，考虑到视频采集的光照是不均匀的，而且是全局低频变化的，局部区域的光照可以认为是一个常数，去除网格数据的均值，也去除了光照的局部常数值，因此通过去均值处理后获得的信号数据序列可以削弱光照不均匀性的影响；再一方面，通过将各个感兴趣区域筛选出的相关性高的数据序列汇总成有效数据序列集合进一步确保了数据的多维性和精准度。从而通过多重筛选及相应分合处理确保了整体的鲁棒性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。