一种基于人脸视频处理的心率检测方法与流程

文档序号:13143180阅读:4396来源:国知局
技术领域本发明涉及视频图像处理领域,具体是一种基于人脸视频处理的心率检测方法。

背景技术:
近几年,视频图像处理开始涉足医疗科学领域,应用于医疗诊断、手术指导和日常健康监测等各个环节,为医学的进步发挥了强大的辅助作用。心率能够反映人体的健康状况,更是判断心血管疾病最基本的生理指标之一。基于视频处理的非接触式心率检测技术就是视频图像处理在医学领域的一种典型应用,它对心血管疾病的预防和术后康复治疗具有极为重要的意义。传统的心率检测需要利用专用传感器接触人体的多个部位,操作繁杂,自动化程度不高,且测试者的肢体被严格地束缚,舒适度较差,不适用于长时间的监测。而非接触式的心率检测只需借助普通的摄像头即可自动地监测心率,既提高了便利性,又降低了医疗成本。光学体积描记术(Photoplethysmography,PPG)是非接触式心率检测最基本的方法,它通过测量经活体组织吸收后的反射光强度,描记血液容积脉冲(BVP)信号后计算心率。脉搏血氧仪和部分心率手表都采用了PPG,这种技术同样适用于普通的光学摄像头。研究表明从普通摄像头拍摄的人脸视频中可以提取BVP。视频成像时,心脏跳动的收缩与舒张使人体脸部的血液容量发生周期性变化,人脸血液吸收和皮肤反射的光强也随之改变,进而导致视频中的人脸皮肤颜色发生周期性地变化。但是这种变化是极微弱的,无法被人眼所感知,最近的视频放大技术能够对皮肤颜色进行显微。目前的研究依赖于利用PPG精确地检测视频中的血液容积变化,然而场景中的人脸运动和噪声等干扰使非接触式心率检测的研究面临着挑战。傅明哲等人最早提出利用普通网络摄像头的非接触式心率检测方法。该方法利用独立成分分析(IndependentComponentAnalysis,ICA)将三个平均的颜色踪迹分离为三个基源信号,通过分析第二个基源信号的功率谱估计心率。然而,ICA输出的第二个基源并不总能表示PPG信号,后来傅明哲等人对他们的方法进行了改进,加入了去趋势化和最高功率谱尖峰的信号选择操作。刘祎等人最近提出了一种利用小波变换滤波的心率测量方法。以上方法要求测试者处于合作情况,视频源中的人脸需保持静止。而在头部晃动的非合作情况下,这些方法很难提取干净的BVP信号,会包含多余的噪声,因此并不能很好地解决包括合作与非合作情况的真实场景下的非接触式心率检测问题。

技术实现要素:
本发明的目的是提供一种基于人脸视频处理的心率检测方法,无需利用电极或者传感器接触人体,只借助普通摄像头即可自动监测人体重要的生理指标-心率(HeartRate)。提出的方法通过对人脸视频进行采集和特殊处理,能够有效地消除人脸运动和噪声的干扰,而且可以从血液容积脉搏信号中准确地估计心率。在头部静止的合作情况和头部晃动的非合作情况下,该技术与接触式的心率检测技术具有很好的结果一致性,鲁棒性很高。为了达到上述目的,本发明所采用的技术方案为:一种基于人脸视频处理的心率检测方法,其特征在于:包括以下步骤:(1)、将一台普通的网络摄像头放置于正对人脸前方0.5m的位置,也可以架在计算机显示器的上方,摄像头与计算机之间用USB进行连接;操作者利用Matlab软件控制摄像头拍摄视频,确保人脸完全处于视频画面以内,所有视频以640×480的分辨率、30帧/秒的帧率和RGB彩色空间持续采集10秒,并保存成AVI格式;(2)、对采集的视频进行人脸特征点检测与跟踪,并加入倾斜校正操作,获得稳定的人脸视频,具体过程如下:(2a)、将输入视频的第一帧作为参考图像,首先通过OpenCV中的Viola-Jones人脸检测器检测出矩形的人脸区域,获得矩形框四个顶点F1的坐标;然后利用鲁棒的判别响应图拟合方法识别出人脸局部关键器官的位置,包括眉毛、眼睛、鼻子、嘴巴和脸颊部位,并标记出66个面部特征点D1,用于后续的点跟踪处理;(2b)、在Kanade-Lucas-Tomasi算法框架下跟踪DRMF方法检测的特征点,首先,用第一帧图像及其对应的特征点初始化跟踪过程;然后,对第i帧图像,利用KLT算法跟踪特征点的位置,记为:Di=[d1(i),d2(i),…,dm(i)],其中,i=2,3,4…,m是特征点的数目,取值范围为1~66;dm(i)是一个向量,表示第i帧图像第m个特征点的坐标;至此,相邻两帧图像的特征点之间存在一个近似的2维几何变换,即Di=TiDi-1,其中Ti是变换矩阵;用MLESAC算法估计变换矩阵Ti并作用于人脸边框,更新边框的四个顶点:Fi=TiFi-1,其中Fi=[f1(i),f2(i),f3(i),f4(i)],是一个二维矩阵,f1(i)、f2(i)、f3(i)和f4(i)分别表示第i帧图像人脸边框的左上、右上、右下和左下4个顶点的坐标;(2c)、在所有帧图像中,由顶点坐标确定人脸区域,进而计算出人脸的倾斜角度θ;最后根据θ大小对人脸图像进行相应的旋转,实现自适应地倾斜校正;(2d)、按照每帧图像的顶点坐标和校正后的图像,对人脸区域进行裁剪,输出图像序列并保存成avi视频,为了避免眨眼对血液容积脉搏(BVP)信号的破坏,眼睛以下的脸颊区域被标记为感兴趣区域ROI;以上操作能够避免三种异常情况:①当人脸保持静止时,前后帧被检测出的矩形框可能轻微地偏移;②当人脸发生旋转等刚性运动时,易出现检测不到人脸区域或检测的区域没有对应人脸位置的情况;③当眨眼的时候,会破坏BVP的波形;(3)、将人脸视频的色彩空间由RGB转换为YIQ,使图像的亮度信息和色度信息分开,便于亮度和色度的单独处理。YIQ是NTSC彩色电视系统使用的色彩空间,其中Y通道存储图像的亮度Luminance信息,I和Q通道存储图像的色度chrominance信息。I表示从橙色到青色的颜色变化,Q表示从紫色到黄绿色的颜色变化。RGB和YIQ的转换关系如下式所示:YIQ=0.2990.5870.1140.596-0.274-0.3220.211-0.5230.312RGB;]]>(4)、对YIQ色彩空间的视频进行颜色放大,以提取干净的脸部血液容积脉搏BVP信号,过程如下:(4a)、空间分解:利用一种多尺度的图像高斯金字塔分解方法对视频进行空间分解,它通过对每帧图像进行连续地高斯平滑和降采样,得到多个层次的子带集合;在分解过程中,高斯金字塔将信号的尺度一层层精细,能够更加完整地提取出BVP信号;因此对视频的每帧图像都进行指定层数L的高斯金字塔分解,即可获得包含BVP的第L层子带序列,指定的金字塔分解层数L由下式计算:L=round{log2(min(h,w))2
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1