基于机器视觉的非接触式人体体征检测方法及装置与流程

文档序号:11251337阅读:1256来源:国知局
基于机器视觉的非接触式人体体征检测方法及装置与流程

本发明涉及网络技术应用领域,特别涉及一种基于机器视觉的非接触式人体体征检测方法及装置。



背景技术:

心率是临床检测生命参数的重要指标,现行的方法主要采用接触式检测技术,生物医学信号的接触式检测是指利用电极或传感器直接或间接地接触人体,达到检测医学信息的目的,它可分为对人体固有信息的检测(如血压、心率测量等)和借助外能量的信息检测(x射线、b超检测等),检测过程中对人体有一定的约束。

非接触式检测是指借助于外来能量(探测媒介),不接触人体,而且隔一定的距离,隔一定的介质,通过检测人体生理活动所引起的各种微动,进而获取各类生理信息。非接触式检测在检测过程中不需要对人体进行太多约束,测量过程更为友好,在某些特殊场合能够做到更为隐蔽的人体生理特征监测,甚至于更进一步的刑侦审讯中的特殊需求。

非接触式心率检测技术,按照采用的手段可以分为视觉检测技术与非视觉检测技术;其中视觉检测技术主要为基于成像式光电容积描记技术(ippg),非视觉检测技术主要为光电容积描记技术(ppg)与基于多普勒原理的雷达检测技术(微波、无线电波与声波等)。

基于机器视觉的心率检测方法已经在市场上有产品出现,最著名的为飞利浦公司开发的“生命体征相机”软件,该软件的工作流程为使用摄像头捕捉固定区域内的人脸部图像,分析人脸部图像的颜色变化进而得到人体心率的数值。但是,这种方法的缺点为在测量时需要被测者保持不动,从而使得人脸部保持固定,在此种情况下才能分析固定区域内的人脸部面色变化。这种不友好的使用方式使得被测者在使用的过程中体验较差,在一些无法主动要求被测者保持固定不动的特殊场景下(如审讯、测谎等),则无法正常使用。



技术实现要素:

鉴于上述问题,本发明提供了一种基于机器视觉的非接触式人体体征检测方法及装置。

本发明提供的基于机器视觉的非接触式人体体征检测方法,包括:

获取包含人脸信息的视频图像,将所述视频图像与预先存储的若干帧视频图像合并,得到待处理图像序列;

通过预设的人脸检测算法和稳像算法确定出所述待处理图像序列中每帧视频图像中的人脸位置;

根据所述每帧视频图像中的人脸位置对所述待处理图像序列进行归一化处理,在归一化处理后的待处理图像序列中提取出人脸图像,并根据所述人脸图像得到脸部局部图像矩阵;

利用预设的视频放大算法放大所述脸部局部图像矩阵的颜色变化,得到放大后的脸部局部图像序列;

对所述放大后的脸部局部图像序列进行信号处理,得到人体体征。

本发明还提供了一种基于机器视觉的非接触式人体体征检测装置,包括:

预处理模块,用于获取包含人脸信息的视频图像,将所述视频图像与预先存储的若干帧视频图像合并,得到待处理图像序列;

人脸检测模块,用于通过预设的人脸检测算法和稳像算法确定出所述待处理图像序列中每帧视频图像中的人脸位置;

脸部局部图像确定模块,根据所述每帧视频图像中的人脸位置对所述待处理图像序列进行归一化处理,在归一化处理后的待处理图像序列中提取出人脸图像,并根据所述人脸图像得到脸部局部图像矩阵;

放大模块,用于利用预设的视频放大算法放大所述脸部局部图像矩阵的颜色变化,得到放大后的脸部局部图像序列;

信号处理模块,用于对所述放大后的脸部局部图像序列进行信号处理,得到人体体征。

本发明有益效果如下:

本发明实施例使用常见的网络摄像头或手机摄像头拍摄实时人脸视频,通过人脸检测算法与稳像算法确定人脸部位置,通过视频放大算法放大人脸部局部图像矩阵的颜色变化,通过信号处理算法得到精确地实时人体心率数值。为了解决在视频心率测量中人体头部自由活动产生的问题,本发明引入了人脸检测与稳像模块,使被测者在使用中可以在摄像机拍摄范围内幅度不大的活动头部,并且能够准确地获得被测者的心率数值。

附图说明

图1是本发明方法实施例的基于机器视觉的非接触式人体体征检测方法的流程图;

图2是本发明装置实施例的基于机器视觉的非接触式人体体征检测装置的结构示意图;

图3是实例1基于机器视觉的非接触式心率检测装置的结构示意图;

图4是本发明实验验证时得到的第一实验结果示意图;

图5是本发明实验验证时得到的第二实验结果示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决在视频心率测量中人体头部自由活动产生的问题,本发明提供了一种基于机器视觉的非接触式人体体征检测方法及装置,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不限定本发明。

根据本发明的方法实施例,提供了一种基于机器视觉的非接触式人体体征检测方法,图1是本发明方法实施例的基于机器视觉的非接触式人体体征检测方法的流程图,本发明所述的人体体征包括心率、血压、呼吸频率等;如图1所示,根据本发明方法实施例的基于机器视觉的非接触式人体体征检测方法包括如下处理:

步骤101,获取包含人脸信息的视频图像,将所述视频图像与预先存储的若干帧视频图像合并,得到待处理图像序列。

步骤102,通过预设的人脸检测算法和稳像算法确定出所述待处理图像序列中每帧视频图像中的人脸位置。

具体的,通过预设的人脸检测算法和稳像算法确定出所述待处理图像序列中每帧视频图像中的人脸位置,包括:

利用预设的人脸检测算法对所述待处理图像序列中的每帧图像进行人脸检测,得到初步的人脸位置;

通过预设的稳像算法对所述初步的人脸位置进行修正,得到每帧图像的人脸位置。

步骤103,根据所述每帧视频图像中的人脸位置对所述待处理图像序列进行归一化处理,在归一化处理后的待处理图像序列中提取出人脸图像,并根据所述人脸图像得到脸部局部图像矩阵。

具体的,根据所述每帧视频图像中的人脸位置对所述待处理图像序列进行归一化处理,在归一化处理后的待处理图像序列中提取出人脸图像,并根据所述人脸图像得到脸部局部图像矩阵,包括:

采用预设的特征点提取算法提取所述待处理图像序列中每帧视频图像的特征点,对所述待处理图像序列中不属于人脸位置的特征点的亮度进行归一化处理,得到每帧视频图像的亮度归一化系数;

根据第i帧视频图像的亮度归一化系数对第i帧视频图像进行调整,得到归一化调整后的第i帧视频图像,所述第i帧视频图像为待处理图像序列中的任意一帧视频图像;

在归一化调整后的第i帧视频图像中根据第i帧视频图像中的人脸位置提取人脸图像;

调整所述人脸图像,以使在所有视频图像中提取出的人脸图像大小相同;

根据调整后的人脸图像得到脸部局部图像矩阵。

步骤104,利用预设的视频放大算法放大所述脸部局部图像矩阵的颜色变化,得到放大后的脸部局部图像序列。

具体的,利用预设的视频放大算法放大所述脸部局部图像矩阵的颜色变化,得到放大后的脸部局部图像序列,包括:

对所述脸部局部图像矩阵序列进行多层降采样,并对最后的降采样结果进行带通滤波;

将带通滤波后的结果进行放大,得到放大后的信息;

通过与所述多层降采样相同层级的升采样过程将所述放大后的信息嵌入脸部局部图像序列,得到放大后的脸部局部图像序列。

步骤105,对所述放大后的脸部局部图像序列进行信号处理,得到人体体征。具体的,对脸部局部图像序列进行信号处理的方法为本领域的常规技术手段,本发明不再赘述。

本发明方法实施例的基于机器视觉的非接触式人体体征检测方法,还包括:显示所述人体体征的结果信息。

与本发明的方法实施例相对应,提供了一种基于机器视觉的非接触式人体体征检测装置,图2是本发明装置实施例的基于机器视觉的非接触式人体体征检测装置的结构示意图,如图2所示,根据本发明装置实施例的基于机器视觉的非接触式人体体征检测装置包括:预处理模块20、人脸检测模块22、脸部局部图像确定模块24、放大模块26、信号处理模块28;以下对本发明实施例的各个模块进行详细的说明。

所述预处理模块20,用于获取包含人脸信息的视频图像,将所述视频图像与预先存储的若干帧视频图像合并,得到待处理图像序列。

所述人脸检测模块22,用于通过预设的人脸检测算法和稳像算法确定出所述待处理图像序列中每帧视频图像中的人脸位置。

所述人脸检测模块22具体用于:

利用预设的人脸检测算法对所述待处理图像序列中的每帧图像进行人脸检测,得到初步的人脸位置;

通过预设的稳像算法对所述初步的人脸位置进行修正,得到每帧图像的人脸位置。

所述脸部局部图像确定模块24,根据所述每帧视频图像中的人脸位置对所述待处理图像序列进行归一化处理,在归一化处理后的待处理图像序列中提取出人脸图像,并根据所述人脸图像得到脸部局部图像矩阵。

所述脸部局部图像确定模块24具体用于:

采用预设的特征点提取算法提取所述待处理图像序列中每帧视频图像的特征点,对所述待处理图像序列中不属于人脸位置的特征点的亮度进行归一化处理,得到每帧视频图像的亮度归一化系数;

根据第i帧视频图像的亮度归一化系数对第i帧视频图像进行调整,得到归一化调整后的第i帧视频图像,所述第i帧视频图像为待处理图像序列中的任意一帧视频图像;

在归一化调整后的第i帧视频图像中根据第i帧视频图像中的人脸位置提取人脸图像;

调整所述人脸图像,以使在所有视频图像中提取出的人脸图像大小相同;

根据调整后的人脸图像得到脸部局部图像矩阵。

所述放大模块26,用于利用预设的视频放大算法放大所述脸部局部图像矩阵的颜色变化,得到放大后的脸部局部图像序列。

所述放大模块26具体用于:

对所述脸部局部图像矩阵序列进行多层降采样,并对最后的降采样结果进行带通滤波;

将带通滤波后的结果进行放大,得到放大后的信息;

通过与所述多层降采样相同层级的升采样过程将所述放大后的信息嵌入脸部局部图像序列,得到放大后的脸部局部图像序列。

所述信号处理模块28,用于对所述放大后的脸部局部图像序列进行信号处理,得到人体体征。

本发明装置实施例的基于机器视觉的非接触式人体体征检测方法,还包括显示模块,所述显示模块,用于显示所述人体体征的结果信息。

为了更加详细的说明本发明的方法实施例和装置实施实施例,给出实例1。图3是实例1基于机器视觉的非接触式心率检测装置的结构示意图,如图3所示,基于机器视觉的非接触式心率检测装置包括如下四个模块:

模块一:视频输入模块

该模块的作用为从摄像设备中获取视频流。

模块二:视频预处理模块

该模块的作用为对模块一得到的视频流进行预处理,获得模块三能够处理的脸部局部图像矩阵。该模块包含三个子模块:

子模块一:人脸检测

接收到模块一传递的视频流之后,首先与内存中存储的之前若干帧图像合并,得到待处理的图像序列。对合并之后的图像序列中每帧图像的人脸进行检测,获得初步的人脸位置信息,通过光流稳像算法对人脸位置进行细微修正,得到优化过后的人脸位置信息。

子模块二:光照调整

进行光照归一化调节。采用特征点提取算法(例如sift、surf、orb等)提取图像序列每一帧的特征点,对不属于人脸部区域的对应位置的特征点的亮度进行归一化处理,得到每帧图像亮度归一化系数,从而实现图像序列的光照归一化处理。

子模块三:区域确定

在优化后的人脸位置信息的基础上选择前额与面颊两部分所对应的图像像素组成可供模块三后续处理的矩阵序列。具体方法是首先对图像序列的每帧图像中提取出的人脸图像进行大小调整,使所有人脸图像同样大小,其次选择人脸前额与面颊两部分区域的像素组合为模块三能够处理的矩阵序列。

模块三:心率信号处理模块

该模块的作用为对模块二得到的脸部局部图像矩阵进行处理,获得模块四能够处理的人体心率信息。该模块包含两个子模块:

子模块一:视频放大

接收到模块二传递的脸部局部图像矩阵后,采用视频放大算法对矩阵进行处理,实现有效的放大人脸前额与面颊两部分的面色变化,具体方法是对矩阵序列进行多层降采样,对最后的降采样结果进行带通滤波,将滤波后的结果与放大系数相乘进行放大,在通过与降采样相同层级的升采样过程将放大之后的信息嵌入前额与面颊部分所对应的图像,得到放大后的脸部局部图像序列。

子模块二:信号处理

对放大面色后的脸部局部图像序列进行信号处理,获得准确地人体心率数值。

模块四:心率结果输出模块

该模块的作用为输出被测者的心率信息,可以采用多种方式,例如在可视化界面中显示被测者的心率曲线,心率数值等。

本发明的处理流程包括如下七个步骤:

步骤一:模块一接收摄像设备拍摄的包含人脸部图像的视频流,摄像设备可以采用usb连接、局域网连接等多种连接方式与用于采集视频信息的计算机相连接。用于采集视频信息的计算机通过软件工具采集并解析视频流。用于采集视频信息的计算机获取到视频流之后将之保存入能够被模块二处理的矩阵内存中,传递给模块二。

步骤二:模块二的子模块一接收模块一传递的矩阵内存之后,首先与内存中存储的之前若干帧图像合并得到图像序列,对图像序列中每帧图像的人脸进行检测,获得初步的人脸位置信息。通过光流稳像算法对人脸位置进行细微修正,得到优化过后的人脸位置信息。将图像序列与优化过后的人脸位置信息传递给模块二的子模块二。

步骤三:模块二的子模块二接收模块二的子模块一传递的图像序列与优化过后的人脸位置信息之后,采用特征点提取算法提取图像序列每一帧的特征点,结合优化过后的人脸位置信息,对不属于人脸部区域的对应位置的特征点的亮度进行归一化处理,得到每帧图像亮度归一化系数,从而实现图像序列的光照归一化处理。将经过光照归一化处理的图像序列与优化过后的人脸位置信息传递给模块二的子模块三。

步骤四:模块二的子模块三接收模块二的子模块二传递的经过光照归一化处理的图像序列与优化过后的人脸位置信息后,对图像序列的每帧图像中按照优化过后的人脸位置信息提取出的人脸图像进行大小调整,使所有人脸图像同样大小,其次选择人脸前额与面颊两部分区域的像素变换组合为脸部局部图像矩阵。将脸部局部图像矩阵传递给模块三。

步骤五:模块三的子模块一接收模块二传递的脸部局部图像矩阵之后,采用视频放大算法对矩阵进行处理,得到脸部局部图像序列。将脸部局部图像序列传递给模块三的子模块二。

步骤六:模块三的子模块二接收模块三的子模块一传递的脸部局部图像序列之后,统计脸部局部图像序列中每帧图像的均值(图像为rgb模式),通过处理获得对应的心率数值,将心率数值传递给模块四。

步骤七:模块四接收模块三传递的心率数值之后,将心率数值以可视化的方式输出。

本发明为了在被测者脸部运动时能够正常获得心率数值,在通过摄像设备获得人脸视频的基础上,采用人脸检测算法与稳像算法获得稳定的人脸图像,解决了其他方法在视频心率测量中人体头部自由活动导致的测量失效问题。

本发明在实验验证时,通过摄像设备(网络摄像头、监控摄像头等)在自然光照环境下拍摄室内被测者的脸部视频,拍摄时被测者头部会轻微运动,实时输出被测者的心率数值。实验测得的结果如图4,图5所示,可以看出,本发明能够较为准确的测得头部轻微运动下的人体心率数值。

本发明解决了非接触状态下活动人体心率检测问题。使用常见的网络摄像头或手机摄像头拍摄实时人脸部视频,通过人脸检测算法与稳像算法确定人脸部位置,通过视频放大算法放大人脸部敏感区域的颜色变化,通过信号处理算法得到精确地实时人体心率数值。为了解决在视频心率测量中人体头部自由活动产生的问题,本发明引入了人脸检测与稳像模块,使被测者在使用中可以在摄像机拍摄范围内幅度不大的活动头部,并且能够准确地获得被测者的心率数值。

以上所述仅为本发明的实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1