一种智能视频生命体征监测系统及方法
【专利摘要】本发明公开了一种智能视频生命体征监测系统及方法，包括心率分析与提取模块、云端数据库和智能应用模块，心率分析与提取模块和智能应用模块分别设置有无线通讯模块，其中：心率分析与提取模块拍摄人脸视频图像，进行人脸检测确定人脸区域，对人脸区域进行处理确定皮肤区域，然后提取感兴趣区域，计算RGB三个通道的灰度均值，运用独立成分分析对信号进行盲源分离，通过心搏间期均值法得到心率；无线通讯模块将心率分析与提取模块得到的实时心率上传至云端数据库，并连接智能应用模块中的无线智能通讯设备；智能应用模块用来实时监测并存储心率信息，并对身体健康状况进行预警。本发明有效可靠，可对生命体征信号进行实时监测，监测精度高、实时性强、应用广泛。
【专利说明】
一种智能视频生命体征监测系统及方法
技术领域
[0001]本发明属于视频医疗技术领域，特别是一种智能视频生命体征监测系统及方法。 【背景技术】
[0002]现阶段基于人脸视频图像的心率检测方法一般利用光电容积脉搏波原理，采用人脸检测技术，运用独立成分分析及功率谱分析的方法，能够快速对健身中的人完成非接触式心率检测。但目前将此方法完善成为一种智能的视频生命体征监测系统，达到实时监测使用者身体健康状态，并包括通过云端数据库存储用户健康数据，并将APP应用程序安装在无线智能通讯设备的设计还未有报道。
【发明内容】
[0003]本发明的目的在于提供一种监测精度高、实时性强的智能视频生命体征监测系统及方法，以有效可靠地对生命体征信号进行实时监测。
[0004]实现本发明目的的技术解决方案为:一种智能视频生命体征监测系统，包括心率分析与提取模块、云端数据库和智能应用模块，心率分析与提取模块和智能应用模块分别设置有无线通讯模块，其中:
[0005]心率分析与提取模块，用摄像头拍摄获取用于心率检测的人脸视频图像，对图像进行人脸检测确定人脸区域，运用肤色识别算法，对人脸区域进行进一步处理以确定皮肤区域，然后提取感兴趣区域，计算RGB三个通道的灰度均值，运用独立成分分析对信号进行盲源分离，通过心搏间期均值法得到心率；
[0006]无线通讯模块为无线WIFI或无线GPRS，将心率分析与提取模块得到的实时心率上传至云端数据库，并连接智能应用模块中的无线智能通讯设备；
[0007]智能应用模块，包括带有App应用程序的无线智能通讯设备，用来实时监测并存储心率信息，并对身体健康状况进行预警。
[0008]—种智能视频生命体征监测方法，包括以下步骤:
[0009]步骤1，心率分析与提取，用摄像头拍摄获取用于心率检测的人脸视频图像，对图像进行人脸检测确定人脸区域，运用肤色识别算法，对人脸区域进行进一步处理以确定皮肤区域，然后提取感兴趣区域，计算RGB三个通道的灰度均值，运用独立成分分析对信号进行盲源分离，通过心搏间期均值法得到心率；
[0010]步骤2,无线通讯模块为无线WIFI或无线GPRS，将步骤1得到的实时心率上传至云端数据库，并连接智能应用模块中的无线智能通讯设备；
[0011]步骤3，智能应用模块中带有App应用程序的无线智能通讯设备，实时监测并存储心率信息，并对身体健康状况进行预警。
[0012]进一步地，步骤1所述心率分析与提取，具体过程如下:[〇〇13](1.1)在日光或日光灯作为光源的情况下，使用摄像头拍摄运动的人，获取用于心率检测的人脸视频图像；
[0014](1.2)分别在拍摄的人脸视频的每一帧图像中选取感兴趣区域R0I作为后续的心率信号的提取区域；
[0015](1.3)对已经设定感兴趣区域R0I的视频图像帧数进行计数，当处理的视频图像帧数达到规定长度时，进入步骤(1.4)，否则继续步骤(1.1);[〇〇16](1.4)在RGB颜色空间内将视频图像中每一帧的RGB通道分开，形成三幅单通道图像，分别计算三通道图像的感兴趣区域R0I内像素的空间平均值，形成对应每一帧的红、绿、 蓝三个信号值，形成对应人脸视频图像的三个原始信号序列；
[0017](1.5)将原始信号序列归一化得到时间序列，经过延时矩阵构造生成一个3 XN的二维信号，利用独立成分分析对信号进行盲源分离，得到三个独立分量，N为每个独立分量的长度，通过带通滤波器去除噪声后，计算该三个分量各自的功率谱，分别选取每个功率谱图中具有最大幅度值的峰值，然后比较三个峰值的幅度值，将其中幅度值最大的峰值所属的独立分量记为目标分量用来做后续的心率提取；
[0018](1.6)提取目标分量中的时段t内存在的有效峰值点数，任意相邻两个波峰之间的时间差为IBIU为时间差的标号且i为正整数，对时间t内所有皿:求均值，得到皿，根据下面公式得到心率HR:
[0019]HR = 60/IBI〇[〇〇2〇] 进一步地，步骤2所述无线通讯模块为无线WIFI或无线GPRS，将步骤1得到的实时心率上传至云端数据库，并连接智能应用模块中的无线智能通讯设备，具体为:
[0021](2.1)无线通讯模块为无线WIFI通讯模块或无线GPRS通讯模块，无线通讯模块将测试者的心率数据同步上传到云端数据库；[〇〇22](2.2)将云端数据库存储的数据传给智能应用模块中的无线智能通讯设备。
[0023]进一步地，步骤3所述智能应用模块中带有App应用程序的无线智能通讯设备，实时监测并存储心率信息，并对身体健康状况进行预警，具体为:
[0024](3.1)智能应用模块包括安装有APP应用程序的无线智能通讯设备，无线智能通讯设备通过APP应用程序查看并知悉心率特征信息；[〇〇25](3.2)无线智能通讯设备将实时心率特征信息数据发送至云端数据库相应用户的数据库中；
[0026](3.3)健康状况的预警，将心率特征信息与云端数据库中的历史数据平均值进行比较，当心率特征信息超过历史平均值时，则通过预警模块向使用者提示预警。
[0027]本发明与现有技术相比，其显著优点为:(1)具有设计新颖、智能化程度高的优点， 在增强用户使用体验的情况下还可对用户的健康安全进行管理；(2)计算精度高，方便人们有效可靠地对生命体征信号进行实时监测；(3)能够准确、实时、连续掌握被监测目标的心跳状况，实际应用性强。【附图说明】
[0028]图1为本发明智能视频生命体征监测系统的系统框图。[〇〇29]图2为本发明中滤波后的心电信号波形图。[〇〇3〇]图3为本发明中心率分析与提取处理后的心电信号波形图。
[0031]图4为本发明的测量心率值与标准心率计测量结果对比图。【具体实施方式】
[0032]下面结合附图对本发明作进一步详细描述。[〇〇33]结合图1，本发明智能视频生命体征监测系统，包括心率分析与提取模块、云端数据库和智能应用模块，心率分析与提取模块和智能应用模块分别设置有无线通讯模块，其中:[〇〇34]心率分析与提取模块，用摄像头拍摄获取用于心率检测的人脸视频图像，对图像进行人脸检测确定人脸区域，运用肤色识别算法，对人脸区域进行进一步处理以确定皮肤区域，然后提取感兴趣区域，计算RGB三个通道的灰度均值，运用独立成分分析对信号进行盲源分离，通过心搏间期均值法得到心率；[〇〇35]无线通讯模块为无线WIFI或无线GPRS，将心率分析与提取模块得到的实时心率上传至云端数据库，并连接智能应用模块中的无线智能通讯设备；
[0036]智能应用模块，包括带有App应用程序的无线智能通讯设备，用来实时监测并存储心率信息，并对身体健康状况进行预警。
[0037]本发明智能视频生命体征监测方法，包括以下步骤:[〇〇38]步骤1，心率分析与提取，用摄像头拍摄获取用于心率检测的人脸视频图像，对图像进行人脸检测确定人脸区域，运用肤色识别算法，对人脸区域进行进一步处理以确定皮肤区域，然后提取感兴趣区域，计算RGB三个通道的灰度均值，运用独立成分分析对信号进行盲源分离，通过心搏间期均值法得到心率;所述心率分析与提取，具体过程如下:
[0039](1.1)在日光或日光灯作为光源的情况下，使用摄像头拍摄运动的人，获取用于心率检测的人脸视频图像；
[0040](1.2)分别在拍摄的人脸视频的每一帧图像中选取感兴趣区域R0I作为后续的心率信号的提取区域；
[0041](1.3)对已经设定感兴趣区域R0I的视频图像帧数进行计数，当处理的视频图像帧数达到规定长度时，进入步骤(1.4)，否则继续步骤(1.1);[〇〇42](1.4)在RGB颜色空间内将视频图像中每一帧的RGB通道分开，形成三幅单通道图像，分别计算三通道图像的感兴趣区域R0I内像素的空间平均值，形成对应每一帧的红、绿、 蓝三个信号值，形成对应人脸视频图像的三个原始信号序列；
[0043](1.5)将原始信号序列归一化得到时间序列，经过延时矩阵构造生成一个3 XN的二维信号，利用独立成分分析对信号进行盲源分离，得到三个独立分量，N为每个独立分量的长度，通过带通滤波器去除噪声后，计算该三个分量各自的功率谱，分别选取每个功率谱图中具有最大幅度值的峰值，然后比较三个峰值的幅度值，将其中幅度值最大的峰值所属的独立分量记为目标分量用来做后续的心率提取；
[0044](1.6)提取目标分量中的时段t内存在的有效峰值点数，任意相邻两个波峰之间的时间差为IBIU为时间差的标号且i为正整数，对时间t内所有皿:求均值，得到皿，根据下面公式得到心率HR:
[0045]HR = 60/IBI[〇〇46] 步骤2,无线通讯模块为无线WIFI或无线GPRS，将步骤1得到的实时心率上传至云端数据库，并连接智能应用模块中的无线智能通讯设备，具体为:
[0047](2.1)无线通讯模块为无线WIFI通讯模块或无线GPRS通讯模块，无线通讯模块将测试者的心率数据同步上传到云端数据库；[〇〇48](2.2)将云端数据库存储的数据传给智能应用模块中的无线智能通讯设备。
[0049]步骤3,智能应用模块中带有App应用程序的无线智能通讯设备，实时监测并存储心率信息，并对身体健康状况进行预警，具体为:
[0050](3.1)智能应用模块包括安装有APP应用程序的无线智能通讯设备，无线智能通讯设备通过APP应用程序查看并知悉心率特征信息；[〇〇51](3.2)无线智能通讯设备将实时心率特征信息数据发送至云端数据库相应用户的数据库中；[〇〇52](3.3)健康状况的预警，将心率特征信息与云端数据库中的历史数据平均值进行比较，当心率特征信息超过历史平均值时，则通过预警模块向使用者提示预警。
[0053]所述心搏间期均值法的思想来源于心搏间期的概念，心搏间期指心脏两次收缩之间的时间差。经独立成分分析得到的目标分量可以看作是心脏搏动的波形图，所以可以在这个波形图中通过提取心搏间期的方法来确定心率。步骤如下:首先，采用MATLAB软件中的 findpeaks函数提取目标分量中时间段t内存在的有效峰值点数，函数有效峰值最小幅度阈值设置为〇,提取得到的有效峰值点。然后，假设每任意相邻两个波峰之间的时间差为IBIn 单位为秒(s)，i为时间差的标号且i为正整数，所有IBljg成心搏间期图。最后，对时间段t 内的所有IBh求均值，实际中每次t值可设置为5s，结果记IBI，根据下列公式计算得到心率:HR = 60/IBI。[〇〇54] 实施例1
[0055]本实施例中智能视频生命体征监测方法，结合图1，步骤如下:
[0056]第一步:心率分析与提取模块，用摄像头拍摄获取用于心率检测的人脸视频图像， 采用人脸检测算法，提取感兴趣区域，计算RGB三个通道的灰度均值，运用独立成分分析以及盲源分离技术，通过心搏间期均值法得到心率，处理步骤如下:[〇〇57]步骤11，在普通日光或日光灯作为光源的情况下，使用来自健身会所安装的高清摄像头，拍摄正在进行跑步等健身运动的人，获取用于心率检测的人脸视频图像。[〇〇58]步骤12,从获取的人脸视频图像中的每一帖中选取感兴趣区域(R0I)作为后续的心率信号的提取区域。[〇〇59] 步骤13,对已经设定感兴趣区域的视频帧数进行计数，当处理的倾数达到规定长度时，就对窗口内的视频片段接下来的处理，否则继续步驟21的内容。
[0060]步骤14，将在RGB颜色空间内将视频图像中每一帧的RGB通道分开，这样就形成三幅单通道图像。分别计算三通道图像的感兴趣区域内像素的空间平均值，这样就形成了对应每一帧的红绿蓝三个信号值(范围在0-255之间)，对应窗口内的视频的每一帧就形成三个原始信号序列。
[0061]步骤15,将原始信号序列归一化得到时间序列，利用独立成分分析算法对信号进行盲源分离，对原始序列信号进行标准化处理，经过延时矩阵构造过程生成一个3XN的二维信号。该信号经过独立成分分析算法处理以后，输出得到三个独立分量，这三个分量都是长度为N的一维信号。通过带通滤波器去除噪声后，计算三个分量各自的功率谱，图2为用户滤波后的心电信号，分别选取每个功率谱图中具有最大幅度值的峰值，然后比较三个峰值的幅度值，将其中幅度最大的峰值所属的分量记为目标分量用来做后续的心率提取。
[0062]步骤16,经验证，绿色通道(G通道)的检测平均误差最小，可以更好地反映心率的变化，图3为处理后信号波形图以及实时显示的用户心率值，对己经预处理的信号序列采用 MATLAB软件中的Findpeaks函数提取目标分量中的时段t内存在的有效峰值点数，任意相邻两个波峰之间的时间差为IBh，对时间t内所有为IBh求均值，得到IBI，根据下面公式得到心率(实际中每次t值设置为5s):
[0063]HR = 60/IBI
[0064]图4为本实施例与标准心率计测量结果对比图，由图可知本发明方法精度高，与标准心率计所测结果一致。[〇〇65]第二步:无线通讯模块。用来将心率数据信号进行实时传输，处理步骤如下:[〇〇66]步骤21:无线通讯模块为无线WIFI通讯模块或无线GPRS通讯模块，无线通讯模块将测试者的心率数据上传到无线智能通讯设备；[〇〇67]步骤22:将无线智能通讯设备获得的数据同步到云端数据库。[〇〇68]第三步:智能应用模块。包括带有App应用程序的无线智能通讯设备以及云端数据库，用来实时监测并存储心率信息，处理步骤如下:
[0069]步骤31:智能应用模块包括安装有APP应用程序的无线智能通讯设备(智能手机或者平板电脑)，智能手机或者平板电脑通过其APP应用程序查看并知悉上述信号，以便用户及时方便地了解其健康状态，进而方便用户进行健康管理；
[0070]步骤32:智能应用模块包括云端数据库，智能通讯设备将分析处理的实时信息数据发送至云端数据库相应用户的数据库中；
[0071]步骤33:健康状况的预警，实时获得的测试者将心率特征信息与云端服务器数据库中的历史数据平均值进行比较，当健康状态信息超过历史平均值时，则通过预警模块向使用者提示预警，必要时给急救中心发出警报，为患者提供实时心电监护。
[0072]综上所述，本发明具有设计新颖、智能化程度高的优点，在增强用户使用体验的情况下还可对用户的健康安全进行管理，实际应用性强。
【主权项】
1.一种智能视频生命体征监测系统，其特征在于，包括心率分析与提取模块、云端数据 库和智能应用模块，心率分析与提取模块和智能应用模块分别设置有无线通讯模块，其中:心率分析与提取模块，用摄像头拍摄获取用于心率检测的人脸视频图像，对图像进行 人脸检测确定人脸区域，运用肤色识别算法，对人脸区域进行进一步处理以确定皮肤区域， 然后提取感兴趣区域，计算RGB三个通道的灰度均值，运用独立成分分析对信号进行盲源分 离，通过心搏间期均值法得到心率；无线通讯模块为无线WIFI或无线GPRS，将心率分析与提取模块得到的实时心率上传至 云端数据库，并连接智能应用模块中的无线智能通讯设备；智能应用模块，包括带有App应用程序的无线智能通讯设备，用来实时监测并存储心率 信息，并对身体健康状况进行预警。2.—种智能视频生命体征监测方法，其特征在于，包括以下步骤:步骤1，心率分析与提取，用摄像头拍摄获取用于心率检测的人脸视频图像，对图像进 行人脸检测确定人脸区域，运用肤色识别算法，对人脸区域进行进一步处理以确定皮肤区 域，然后提取感兴趣区域，计算RGB三个通道的灰度均值，运用独立成分分析对信号进行盲 源分离，通过心搏间期均值法得到心率；步骤2,无线通讯模块为无线WIFI或无线GPRS，将步骤1得到的实时心率上传至云端数 据库，并连接智能应用模块中的无线智能通讯设备；步骤3,智能应用模块中带有App应用程序的无线智能通讯设备，实时监测并存储心率 信息，并对身体健康状况进行预警。3.根据权利要求2所述的智能视频生命体征监测方法，其特征在于，步骤1所述心率分 析与提取，具体过程如下:(1.1)在日光或日光灯作为光源的情况下，使用摄像头拍摄运动的人，获取用于心率检 测的人脸视频图像；(1.2)分别在拍摄的人脸视频的每一帧图像中选取感兴趣区域ROI作为后续的心率信 号的提取区域；(1.3)对已经设定感兴趣区域ROI的视频图像帧数进行计数，当处理的视频图像帧数达 到规定长度时，进入步骤(1.4)，否则继续步骤(1.1);(1.4)在RGB颜色空间内将视频图像中每一帧的RGB通道分开，形成三幅单通道图像，分 别计算三通道图像的感兴趣区域ROI内像素的空间平均值，形成对应每一帧的红、绿、蓝三 个信号值，形成对应人脸视频图像的三个原始信号序列；(1.5)将原始信号序列归一化得到时间序列，经过延时矩阵构造生成一个3 XN的二维 信号，利用独立成分分析对信号进行盲源分离，得到三个独立分量，N为每个独立分量的长 度，通过带通滤波器去除噪声后，计算该三个分量各自的功率谱，分别选取每个功率谱图中 具有最大幅度值的峰值，然后比较三个峰值的幅度值，将其中幅度值最大的峰值所属的独 立分量记为目标分量用来做后续的心率提取；(1.6)提取目标分量中的时段t内存在的有效峰值点数，任意相邻两个波峰之间的时间 差为IBIU为时间差的标号且i为正整数，对时间t内所有皿:求均值，得到皿，根据下面公 式得到心率HR:HR=60/IBI。4.根据权利要求2所述的智能视频生命体征监测方法，其特征在于，步骤2所述无线通 讯模块为无线WIFI或无线GPRS，将步骤1得到的实时心率上传至云端数据库，并连接智能应 用模块中的无线智能通讯设备，具体为:(2.1)无线通讯模块为无线WIFI通讯模块或无线GPRS通讯模块，无线通讯模块将测试 者的心率数据同步上传到云端数据库；(2.2)将云端数据库存储的数据传给智能应用模块中的无线智能通讯设备。5.根据权利要求2所述的智能视频生命体征监测方法，其特征在于，步骤3所述智能应 用模块中带有App应用程序的无线智能通讯设备，实时监测并存储心率信息，并对身体健康 状况进行预警，具体为:(3.1)智能应用模块包括安装有APP应用程序的无线智能通讯设备，无线智能通讯设备 通过APP应用程序查看并知悉心率特征信息；(3.2)无线智能通讯设备将实时心率特征信息数据发送至云端数据库相应用户的数据 库中；(3.3)健康状况的预警，将心率特征信息与云端数据库中的历史数据平均值进行比较， 当心率特征信息超过历史平均值时，则通过预警模块向使用者提示预警。
【文档编号】A61B5/024GK105996993SQ201610285344
【公开日】2016年10月12日
【申请日】2016年4月29日
【发明人】伏长虹, 左悦, 洪弘, 豆彩霞, 周志强
【申请人】南京理工大学