一种基于人脸视频图像的心率检测系统及检测方法

文档序号:10694884阅读:2857来源:国知局
一种基于人脸视频图像的心率检测系统及检测方法
【专利摘要】一种基于人脸视频图像的心率检测系统,包括视频录制模块、人脸识别模块、RGB分离模块、独立分量分析模块和生理参数量化模块,视频录制模块、人脸识别模块、RGB分离模块、独立分量分析模块和生理参数量化模块依次连接。心率检测算方法包括视频录制、人脸识别、RGB分离、独立分量分析分解、生理参数量化等步骤。本发明计算效率高,有效克服人脸轮廓、光照及其他环境因素的影响。可以实时指示心血管的变化,解决了病人对接触式检测产生不适从而导致测量结果不准确的问题,也对远程医疗方面也有较大的应用前景。
【专利说明】
一种基于人脸视频图像的心率检测系统及检测方法
技术领域
[0001]本发明属于便携式医疗和互联网医疗技术领域,涉及一种通过摄像头采集人脸视频图像来检测心率的方法。
【背景技术】
[0002]心血管功能的常规检查和无创式检测是预防心血管疾病和治疗慢性疾病的重要方法。与此同时,静息心率是检测心血管疾病最基本、最重要的参数之一,较高的静息心率被认为是引起心血管疾病的重要因素之一。目前,心率检测主要分为临床和商业检测。临床上,心率检测技术标准方法(如心电图,ECG)—般都要求病人穿凝胶补丁或胸肩带,这不仅会引起病人不适而且可能影响检测结果。商业检测使用脉搏血氧传感器,附着于指尖或耳垂进行测量,显然,这种方法同样也不利于病人心率的测量,并且如果病人戴装有弹簧的夹子很长一段时间的话可能会引起疼痛。飞利浦(2011.9)推出一款1s应用“Vital SignsCamera”,能够让iPad2测量人体的心率和呼吸率,整个测量过程只需要开启iPad2的摄像头即可。与其它需要安装附件的类似软件不同,飞利浦声称这款应用只需要通过“脸色”和“胸腔运动”就能够测量到相应的心率和呼吸率。但其对应用场景要求高。因此Vi TroxTechnologies(2012.5)推出“What‘s My Heart Rate”,可以通过脸部来测量人的心率和呼吸频率。采用了和谷歌相同的脸部技术,在软件算法中尝试消除由动作、周围光源等引起的噪声。但测量时仍然要求头部不要随意摆动。麻省理工学院多媒体实验室(Media Lab)已经完成了的一种基于人脸视频识别的心率检测技术,有很高的检测准确率,无需外加硬件,同时也实现了日常生活中的应用。但目前为止,以上技术及应用仅局限于欧美市场,在中国并没有得到很好的实现和推广。

【发明内容】

[0003]本发明的目的是针对现有技术的不足,提供一种基于人脸视频图像的心率检测系统及检测方法。
[0004]本发明的目的是通过以下技术方案来实现的。
[0005]本发明所述的一种基于人脸视频图像的心率检测系统,包括视频录制模块、人脸识别(连续均值量化变换和Winnows稀疏网络模型)模块、RGB分离模块、独立分量分析(4阶及以上统计量FastICA)模块和生理参数量化(功能谱计算、峰值检测)模块,视频录制模块、人脸识别模块、RGB分离模块、独立分量分析模块和生理参数量化模块依次连接。其中:
[0006]所述视频录制模块,用于获取人脸视频图像;
[0007]所述人脸识别模块,用于获得视频感兴趣区域的人脸;
[0008]所述RGB分离模块,用于获得人脸图像的R、G、B三通道分离信号;
[0009]所述独立分量分析模块,用于获得统计意义独立的三通道信号;
[0010]所述生理参数量化模块,用于计算呼吸、心率等生理参数。
[0011]—种基于人脸视频图像的心率检测算方法,其特征在于,包括以下步骤:
[0012](I)视频录制:室内,以普通日光灯或自然光为光源,光强度为正常生活学习所需要的强度。测试者坐在距离摄像头(如iSight摄像头)大约0.5米,录制时间为30秒。
[0013](2)人脸识别:采用结合连续均值量化变换(Successive Mean Quantizat1nTransform,SMQT)的图像增强技术和Winnows稀疏网络(Sparse Network of Winnows ,SNoW)模型的人脸识别算法,该算法在光照亮度变化的环境下,人脸的检测不会受到影响,而且该算法计算非常高效。将每一帧的图像连续均值量化变换
[0014](3)RGB分离:获取视频感兴趣区域(Reg1n of Interest,R0I),将人脸部分和选择宽度方向的60%/高度方向100%得到一个包含脸的矩形区域这两部分的交集作为ROI,再将ROI图像分解成R、G、B共3个通道,并对所有像素进行空间平均产生红、蓝、绿3个测量点的初始信号’分别为幻⑴^⑴^⑴。
[0015](4)独立分量分析(Independent Component Correlat1n Algorithm,ICA)分解:首先对R、G、B三通道数据进行归一化,目的是避免不同人、不同光照环境下的人脸图像分量强度不一致。再将归一化的信号通过ICA分解为3个独立源信号。我们采用4阶统计量的方法,将三通道信号得到4阶意义上的近似统计独立的信号。其他的高阶ICA方法也适用于本方法。将分解出的第二通道的独立分量作为生理参数量化信号。如果遇到特殊情况,即第二通道分量不能充分体现体积,则手动选择合适分量。方法是,分析3个独立分量的频谱,选择基频信号最强,谐波最明显的独立分量用于生理参数量化。
[0016](5)生理参数量化:生理参数(主要是心率、呼吸速率)量化的关键是对选择的独立分量完成谱分析。再在生理参数频率范围内检测功率谱的峰值。正常心率的范围为60-100次/分钟,则对应的频率范围为1-1.67Hz,在该范围内检测功率谱的峰值,则可由峰值对应的频率获得心率,即心率=功率谱峰值对应的频率*60 ο与此同时,当人进行了运动后,心率加速,则峰值对应的频率会相应增大。本发明限定有效的功率谱峰值范围为0.7-4Ηζ ο如果信号噪声小,则会在有效峰值范围内若出现2个峰值,则第一个峰值对应的是呼吸速率,第二个峰值对应的是心率。
[0017]更具体地说,步骤(5)所述的生理参数量化,其特征在于,通过统计独立分量的谱分析获取心率、呼吸等生理参数的量化值。包括以下步骤:
[0018](a):选择独立分量,一般选择包含较多体积描述的第二个独立分量,用谱分析方法计算功率谱,选择合适的窗函数减少频谱遗漏,改善分辨率,
[0019](b):绘制功率谱直方图,检验是否近似满足Gaussian分布。
[0020](c):对功率谱进行带通滤波,滤除低频和高频成分,保留生理参数有效范围内的信号。
[0021](d):检测生理参数有效范围内的信号峰值。如果有单一峰值则对应心率信号;如果有双峰值则第一个峰对应呼吸信号,第二个峰对应呼吸信号。
[0022](e):将有效范围内峰值对应的频率*60,得到心率和呼吸。
[0023 ]步骤(5)所述的谱分析方法可以是We I ch算法、FFT谱分析方法或AR方法。
[0024]本发明与现有技术相比,具有的有益效果是:
[0025](I)采用了 SMQT特征和SNoW稀疏网络模型的人脸识别算法,使得计算效率大大提高。并且能有效克服人脸轮廓、光照及其他环境因素的影响。
[0026](2)对归一化的数据进行了ICA分解。ICA方法的目的是对获得的混合信号进行某种线性分解,获取统计独立的成分,本发明采用4阶统计量和快速独立分量分析(FastICA)两种独立分量分解算法。ICA分解能够有效获得统计意义独立的信号。
[0027](3)本发明通过一个记录面部视频的网络摄像头,获取红(R)、绿(G)、蓝(B)颜色,颜色随时间的变化可以反映血液体积变化以及其他来源的光的波动。其主要依据是感兴趣的相关源信号是研究传播到全身的心血管血容量脉冲。在心动周期中的面部血管容积的变化会改变入射环境光的路径长度,使得反射光量的后续变化可以指示实时的心血管变化。
[0028](4)本发明首选We I ch算法计算功率谱,虽然Nf ft点数会改变频率分辨率,进而将影响心率计算结果,但是,在实验过程中可得点数引起的差异并不大,算法具有稳健性,因此,我们用较短的点数计算心率,从而提高计算速度。但是,本发明计算功率谱时并不局限于Welch算法,可以广泛采用现有的功率谱计算方法。
[0029](5)计算功率谱时通过选择合适的窗函数来减少频谱的遗漏,进而改善分辨率。
[0030](6)提出了特殊情况下,利用信号谱分析的特性选择独立分量的方法。
【附图说明】
[0031]图1为测试者I单帧图像人脸识别及R、G、B分量分离伪彩色结果。
[0032]图2为测试者2单帧图像人脸识别及R、G、B分量分离伪彩色结果。
[0033]图3为测试者3单帧图像人脸识别及R、G、B分量分离伪彩色结果。
[0034]图4为测试者I的RGB分量空间/时间平均结果。
[0035]图5为测试者2的RGB分量空间/时间平均结果。
[0036]图6为测试者3的RGB分量空间/时间平均结果。
[0037]图7为测试者I归一化R、G、B分量。
[0038]图8为测试者2归一化R、G、B分量。
[0039]图9为测试者3归一化R、G、B分量。
[0040]图10为测试者I分离得到三个独立信号
[0041]图11为测试者2分离得到三个独立信号。
[0042]图12为测试者3分离得到三个独立信号。
[0043]图13为测试者2独立分量2滤波器前的频谱。
[0044]图14为测试者2独立分量2滤波器前的频谱。
[0045]图15为测试者3独立分量2滤波器前的频谱。
[0046]图16为测试者I功率谱分布直方图。
[0047]图17为测试者2功率谱分布直方图。
[0048]图18为测试者3功率谱分布直方图。
[0049]图19为测试者I独立分量2滤波后的功率谱。
[0050]图20为测试者2独立分量2滤波后的功率谱。
[0051]图21为测试者3独立分量2滤波后的功率谱。
[0052]图22为测试者2功率谱分析。
[0053]图23为测试者2功率谱分析。
[0054]图24为测试者3功率谱分析。
[0055]图25为本发明的系统框图。
【具体实施方式】
[0056]本发明将通过一种基于人脸视频图像的心率检测算法实现的方法,包括以下具体步骤:
[0057]1、视频录制:本实验在室内进行,以普通日光灯和自然光为光源,光强度为正常生活学习所需要的强度。参加者坐在距离一台笔记本电脑前的内置摄像头(iSight摄像头)大约0.5米。在实验过程中,参与者被要求面对摄像头,呼吸自然,同时为减少运动带来的影响,每段视频过程中要求被测量者静坐,且禁止有较大的活动,视频记录30s。所有的视频以每秒30帧和640 X480像素的分辨率彩色(24位RGB与三通道X8位/通道)记录,并以AVI格式保存在笔记本电脑里。
[0058]2、人脸识别和RGB分离实验:将录制的人脸视频进行人脸的自动检测并定位测量区域(感兴趣区域,Reg1n of interest,R0I),R0I的大小是变化的,以适应不同大小的脸图像。选择宽度方向的60%和高度方向100%得到一个包含脸的矩形区域。视频ROI再分解成3个通道,并对所有像素进行空间平均产生红、蓝、绿3个测量点的初始信号,分别为^
(? ),Χ2 ( ? ),Χ3 ( ? ) ο
[0059 ] 3、I CA分解:首先对R、G、B三通道数据进行归一化,再将归一化的信号通过I CA分解为3个独立源信号。基于张量的方法使用4阶累计张量进行累计矩阵的联合对角化,用Cardoso的特征矩阵联合近似对角化算法来实现,得到4阶意义上的源统计独立信号。将RGB信号规范化处理后的结果组成新的矩阵,得到分离的三个独立信号。ICA分量排序具有随机性,一般信号2包含较多体积描述信号的信号。可以使用第2个分量以实现自动检测,这种取法经过实验发现是可行的。如果第2分量非多体积信号,则手动选择合适分量,通过分析3个独立分量的频谱,选择基频信号最强,谐波最明显的独立分量用于生理参数量化。
[0000]4、生理参数量化:首先,对选择的独立分量计算功率谱。可以选择Welch算法,即,进行8192点(或更多点)的快速傅里叶变换,并将幅值取模并取对数后得到功率谱。其次,对生理参数频率范围内的信号进行峰值检测。本方法采用简单快速的差分方法来提取峰值。目标数据每个值和旁边的值的比较,若目标数据里的值比旁边的值都大或者相等,则这个值就是这个区域的峰值。若区域没有最大值,则峰值为零。峰值检测方法不限于差分方法。最后,将峰值对应的频率*60得到心率。如果有两个峰值,则第一个峰值对应呼吸,第二个峰值对应心率。
[0061 ]以下根据实施例进一步阐述本发明的目的和效果。
[0062]实施例:不同人的心率测量。
[0063]1、为了进一步说明本算法检测心率的准确性,证明对于不同人和人在不同状态下可以一样进行心率检测。本文将前面的测试者命名为测试者I,测试者2和测试者3,下面将列出测试者2和测试者3以及测试者I运动以后的心率检测结果,并进行对比分析。
[0064]2、对比测试者1、测试者2和测试者3的RGB分量波形,可以明显发现测试者I和测试者2的RGB分量具有明显相似的地方,都是有三个明显的幅值较大的波形,而且出现的位置也差不多。反映到人体的话,这两人在某些方面应该有相似的地方。再者,观察三者的波形规律,可以大概看出三人的波形都具有一定的周期性。再观察三者波形的幅值也可以知道测试者I和测试者2的较测试者3大,特别是测试者2的RGB分量波形幅值较其他两人的都要高。这从后面计算出来的心率比较也可以发现,测试者2的心率偏高,可能存在心率过快问题。具体见图3、图4。
[0065]3、将测试者1、测试者2和测试者3的RGB分量进行平滑,结果如图4、图5和图6所示。测试者1、测试者2和测试者3的RGB分量归一化结果图7、图8和图9所示。
[0066]进一步对归一化后的分量进行独立分量分解,分解结果如图10、图11和图12所示。
[0067]此处给出测试者2和测试者3的RGB分量归一化后组成的新矩阵,进行ICA算法分解,测试者2的混合矩阵A =
[0068]-0.3522 -0.9070 0.2235
[0069]-0.6571 -0.7179 0.2225
[0070]-0.6466 -0.4752 0.5939[0071 ] 和解混矩阵W=
[0072]2.2195 -2.9934 0.2862
[0073]-1.7053 0.4479 0.4738
[0074]1.0519 -2.9004 2.3743
[0075]测试者3的混合矩阵A=
[0076]0.1598 0.5829 0.7946
[0077]0.5342 0.5676 0.6238
[0078]0.7256 0.4131 0.5472
[0079]和解混矩阵W=
[0080]-1.0584 -0.1844 1.7470[0081 ] -3.2083 9.7875 -6.4991
[0082]3.8253 -7.1436 4.4167
[0083]经过ICA算法分解,得到了测试者2和测试者3的三个独立信号,将分离的信号看作心率信号的话,那么信号波形和横坐标围成的面积可以看作心脏每搏输出血量。当人体形相差不大时,显然,每搏血量多的心率要小,每搏血量少的心率要快。这样,明显是独立信号2具有较多的血容量脉冲信号。因此,选择独立信号2作为计算心率的源信号。
[0084]4、测试者1、测试者2和测试者3的独立信号2经过求功率谱分布,明显左边低频部分存在一个功率较大的信号,通常就有所求的心率信号,这需要对功率谱进一步处理以获得更明显的功率信号。如图13、图14和图15所示。
[0085]5、通过绘制功率谱的直方图,我们可以更直观地观察功率分布,从图16、图17和图18可以看出测试者1、测试者2和测试者3的功率谱直方图分布近似满足Gaussian分布,即正态分布,这说明上述结果是有效的。
[0086]6、将求得的测试者1、测试者2和测试者3的功率谱进行带通滤波。结果如图19、图20和图21所示。通过带通滤波,滤去了低频和频率较高的成分。
[0087]7、通过差分方法,可以获取功率谱分布中的峰值,经过峰值检测,低频端一个明显的信号就突出来了,通常这个低频端的信号就是心率信号,在图22、图23、图24给出了测试者1、测试者2和测试者3的独立分量2的功率谱分析图,从图中很容易地就知道测试者1、测试者2和测试者3的心率分别为1.5Hz、1.2Hz和1Ηζ(90次/min、72次/min和60次/min)。
[0088]上述实施例用来解释说明本发明,而不是对本发明进行限制,在本发明精神和权利要求的保护范围内,对本发明做出的任何修改和改变,都落入本发明的保护范围。
【主权项】
1.一种基于人脸视频图像的心率检测系统,包括视频录制模块、人脸识别模块、RGB分离模块、独立分量分析模块和生理参数量化模块,视频录制模块、人脸识别模块、RGB分离模块、独立分量分析模块和生理参数量化模块依次连接;其中: 所述视频录制模块,用于获取人脸视频图像; 所述人脸识别模块,用于获得视频感兴趣区域的人脸; 所述RGB分离模块,用于获得人脸图像的R、G、B三通道分离信号; 所述独立分量分析模块,用于获得统计意义独立的三通道信号; 所述生理参数量化模块,用于计算呼吸、心率等生理参数。2.—种基于人脸视频图像的心率检测算方法,其特征是包括以下步骤: (1)视频录制:室内,以普通日光灯或自然光为光源,测试者坐在距离摄像头约0.5米,录制时间为30秒; (2)人脸识别:采用结合连续均值量化变换的图像增强技术和Winnows稀疏网络模型的人脸识别算法,将每一帧的图像连续均值量化变换; (3)RGB分离:获取视频感兴趣区域,将人脸部分和选择宽度方向的60%、高度方向100%得到一个包含脸的矩形区域,这两部分的交集作为ROI,再将ROI图像分解成R、G、B共3个通道,并对所有像素进行空间平均产生红、蓝、绿3个测量点的初始信号,分别*X1(t),X2(t),X3(t); (4)独立分量分析分解:首先对R、G、B三通道数据进行归一化,再将归一化的信号通过ICA分解为3个独立源信号;将分解出的第二通道的独立分量作为生理参数量化信号;若第二通道分量不能充分体现体积,则手动选择合适分量:分析3个独立分量的频谱,选择基频信号最强,谐波最明显的独立分量用于生理参数量化; (5)生理参数量化:在生理参数频率范围内检测功率谱的峰值,正常心率的范围为60-100次/分钟,则对应的频率范围为1-1.67Hz,在该范围内检测功率谱的峰值,则可由峰值对应的频率获得心率,即心率=功率谱峰值对应的频率*60 ; 将有效的功率谱峰值范围限定为0.7-4Hz,在信号噪声小的情况下,会在有效峰值范围内若出现2个峰值,则第一个峰值对应的是呼吸速率,第二个峰值对应的是心率。3.根据权利要求3所述的基于人脸视频图像的心率检测算方法,其特征是步骤(5)所述的ICA分解法为4阶统计量方法或其他的高阶ICA方法。4.根据权利要求2所述的基于人脸视频图像的心率检测算方法,其特征是步骤(4)所述的生理参数量化,包括以下步骤: (a):选择独立分量,一般选择包含较多体积描述的第二个独立分量,用谱分析方法计算功率谱,选择合适的窗函数减少频谱遗漏,改善分辨率, (b):绘制功率谱直方图,检验是否近似满足Gaussian分布; (c):对功率谱进行带通滤波,滤除低频和高频成分,保留生理参数有效范围内的信号; (d):检测生理参数有效范围内的信号峰值,如果有单一峰值则对应心率信号;如果有双峰值则第一个峰对应呼吸信号,第二个峰对应呼吸信号; (e):将有效范围内峰值对应的频率*60,得到心率和呼吸。5.根据权利要求3或4所述的基于人脸视频图像的心率检测算方法,其特征是步骤(5)所述的谱分析方法是Welch算法、FFT谱分析方法或AR方法。
【文档编号】A61B5/024GK106063702SQ201610344233
【公开日】2016年11月2日
【申请日】2016年5月23日 公开号201610344233.2, CN 106063702 A, CN 106063702A, CN 201610344233, CN-A-106063702, CN106063702 A, CN106063702A, CN201610344233, CN201610344233.2
【发明人】朱莉, 张丽英, 王玉皞, 洪向共
【申请人】南昌大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1