一种基于网络摄像头的云计算心血管健康监护系统及方法

1.本发明属于医学视频图像处理领域，具体涉及一种采用网络摄像头结合云计算的远程心血管健康监护系统的架构及其实施方法。


背景技术：

2.心血管状态是反应人体健康的重要生理指标，其主要的参数有：心率、血氧饱和度以及血液粘稠度等方面。其在心脑血管疾病、高血压、心理和精神类疾病等领域都被证实是一种有效的诊断手段。根据国家心血管中心发布的报告显示目前我国心血管病患人数近2.9亿，心血管疾病俨然成为了我国居民健康的首要威胁。针对心血管健康的重要参数，能够对其进行实时的监测，对患者特别是存在心血管疾病风险的老人来说就显得尤为重要。
3.心率是心血管健康的一项重要的参数，它是指每分钟心脏跳动的次数。通过对其的研究可以反应出人体的心血管机能和精神状态。血氧饱和度是血液中氧合血红蛋白(hbo2)容量占氧合血红蛋白和还原血红蛋白(hb)容量的百分比。即血液中血氧的浓度，它是呼吸循环的重要生理参数。可利用hbo2和hb吸收光谱的差异，hbo2主要吸收波长为600～700的红光，hb主要吸收800～1000的近红外光来进行检测。根据罗志昌等人的脉搏波波形研究，血液粘稠度可用k值指标来判断，其可以反应血管阻力的大小。通过脉搏波形状的不同影响k值参数，正常范围为0.3～0.4之间，k值超过0.45被认为存在高血脂的可能性。高血压和高血脂被认为是动脉硬化的主要诱因，若存在高血压且k值过大，被认为存在动脉硬化的可能性。
4.临床上传统的心血管监测技术是利用心电图机(electrocardiogram，ecg)上的十二导联绑定在人体的不同部位进而获取到精确的心电数据进行分析处理。其存在的问题一是：成本高昂，普通家庭难以承受心电图机高昂的售价；二是：自动化程度低，操作繁杂，对使用者有着较高的专业知识要求；三是：使用不便，受试者不能单独完成检测过程，并且舒适度较差不利于长时间实时检测。除此以外，运动手环上广泛采用的光电容积描记法(photoplethysmography，ppg)，进行心率检测的技术如今也获得了长足的发展。但是其也存在必须要接触式测量、可测参数少、缺失面部图像信息分析等问题。
5.pavlidis等人最早提出利用普通摄像头的非接触式心率检测方法，被称为成像式光电容积描记法(imaging photoplethysmography，ippg)。由于皮肤下动脉和毛细血管的血容量变化会导致皮肤颜色的微小变化，这种微小变化无法用肉眼看见，但却可以被摄像头记录下来。该方法通过采集人面部视频，通过特定算法放大其中微小的颜色变化信息获取脉搏波数据进行计算。该技术因非接触、多通道检测而受到重视并快速发展。但是该技术目前在实际应用方面也存在一些问题，一是：要先采集面部视频，采集视频完成后再进行分析处理的流程，不能很好地满足实时性；二是：只能进行本地检测，不能满足针对独居老人等需要远程监测的要求；三是：不满足持续性长期检测的要求。目前尚未见到对该问题所进行解决或改进的方法或技术。


技术实现要素：

6.本发明的目的在于克服传统ecg技术和现有ippg技术在远程实时监测心率等心血管参数中的不足，提供一种基于网络监控摄像头结合云计算的远程实时监测心血管健康的系统和方法。本发明通过普通的网络摄像头采集视频画面传送到云端服务器，云计算服务器利用ippg技术检测画面内人体面部等表面皮肤颜色的变化，实时计算监控画面内人物的心率、血氧饱和度、血液粘稠度等心血管参数。
7.为了达到本发明目的，本发明提供了一种基于网络摄像头的云计算心血管健康监护系统，包括前端采集人脸的网络摄像头和后端的云计算服务器以及相应配套的安卓和ios端心血管健康管理软件，所述云计算服务器获取摄像头上传的数据解压缩出原始视频流进行ippg信号提取分析，心血管健康管理软件显示心血管健康参数并生成相应评价建议
8.进一步的，所述前端的网络监控摄像头接入互联网上传视频数据至对应的云计算服务器，摄像头应当设置在合适位置，确保能够获取完整的用户面部画面；用户可以通过设定的手势、口型来控制监测。
9.其中，云计算服务器实时获取网络摄像头画面并进行人脸检测，提取检测区域的人体脉搏波数据，通过算法获取心血管健康参数，包括心率、血氧、血液粘稠度。安卓和ios端的手机软件可以通过账号实时远程获取云计算服务器上对应用户的健康参数，并会针对具体参数给予相应的健康评价和建议，必要时会通过绑定的手机短信和电话通知推送紧急信息。
10.本发明还提出了一种基于上述系统的相对应的心血管健康监护的实施方法，包括以下步骤：
11.步骤1：配置系统整体架构，服务器实时获取远程摄像头的视频流，并进行图像预处理操作；
12.步骤2：通过人脸检测实时监测画面内的人脸状态，进行用于脉搏波提取的roi(region of interest，感兴趣区域)选取；
13.步骤3：人脸区域稳定后，进行面部脉搏波的提取并对原始脉搏波进行降噪处理，采用滑动窗口机制动态判断波形质量，前后波形变化差异过大会自动删除当前波形数据；
14.步骤4：获取处理后的脉搏波数据，采用功率谱分析的方法进行心率估计。
15.步骤5：采集rgb视频的同时，同步提取摄像头的红外视频，分别计算红色通道和近红外通道的吸收比，计算血氧饱和度。
16.步骤6：对脉搏波波形进行单周期分解，利用脉搏波波形形状差异进行血液粘稠度k值计算。
17.作为优选，步骤1具体包括以下步骤：
18.步骤1.1：获取网络摄像头远程传输压缩过的视频数据，将压缩过的视频数据解压缩成原始的rgb视频流；
19.步骤1.2：利用血液和其他身体组织对于光线吸收和反射的不同，将原始的rgb色彩模型数据转换成hsv色彩模型，选择其中的h(hue，色度)通道。由于传统的ippg脉搏波数据仅选择单一的g(green，绿色)通道计算，提取到的颜色变化不全面，h通道可将面部整体的颜色变化光谱信息转换成可计算的数值信号，增加了面部脉搏波提取的信噪比。
20.作为优选，步骤2所述脉搏波提取roi选取具体包括以下2个步骤：
21.步骤2.1：云计算服务器实时对视频流画面进行人脸检测算法，当识别框位置稳定3s后开始提取脉搏波；
22.步骤2.2：针对人脸检测识别框边缘存在不属于人脸的像素区域，以及面部眼睛等检测不到脉搏颜色变换的区域，在人脸检测识别框的基础上再进行皮肤检测算法，保证识别框内只有颜色变化的皮肤区域参与脉搏波提取，进一步提升脉搏波提取信号质量。
23.作为优选，步骤3具体包括以下步骤：
24.步骤3.1：先利用窄带滤波器去除原始脉搏波信号上叠加的高频噪声以及骨骼等反射区域产生的直流信号；
25.步骤3.2：再采用正弦波拟合的方式去除原始波形信号可能存在的线性趋势(基线漂移)；
26.步骤3.3：最后将脉搏波数据分段后，分别检测各部分的std(standard deviation，标准差)和波形整体的对比，大于设定阈值，采用尖峰压缩算法去除局部尖锐的脉搏波峰，使得波形整体幅度统一。
27.本发明与现有的技术相比，具有如下的有益效果是：
28.1)本发明可实现通过网络摄像头远程实时非接触式地监测用户心血管参数；
29.2)解决了传统心血管监测设备费用昂贵且操作复杂，用户不能够独立完成监测过程的弊端；
30.3)该技术无需电极或传感器接触人体，仅需要获取人脸视频就可实现实时的监测，测试过程干净卫生提高了受试者的使用体验；
31.4)成本低廉，可以利用现有的网络摄像头，仅需将视频流上传至云计算服务器，并且本发明提供了特定的监测算法，通过软硬件支持就可以实现高效准确的实时监测功能；
32.5)云计算服务器不仅充当了计算平台还充当了健康数据的分析和维护平台，用户不需要关注每次检测的结果，服务器端会定时形成用户每天的健康报表推送到用户的手机或者桌面软件端，并在出现疾病风险时及时推送消息。
33.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
34.附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
35.图1是本发明一实施例提供的监护系统的整体架构图；
36.图2是本发明一实施例提供的检测状态示意图；
37.图3是本发明一实施例提供的监护方法对应的算法流程图；
38.图4是本发明一实施例提供的roi优选示意图；
39.图5是本发明一实施例提供的健康管理软件界面示意图。
具体实施方式
40.为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明
的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
41.如图1所示的一种基于网络监控摄像头的云计算心血管健康监护平台的架构，包括前端采集监控画面的网络摄像头和后端的云计算服务器，以及配套相应的安卓、ios以及桌面端健康管理软件；所述的网络摄像头会利用互联网实时将监控画面传送到云计算服务器，服务器端获取摄像头上传的数据解压出原始视频流后，会计算画面内人物的心血管状态参数，包括心率、血氧饱和度以及血液粘稠度等，并生成相应评价建议及时提醒。
42.云计算服务器包括依次连接的心率监测后端、监控服务器、数据库服务器，其中心率监测后端(例如监控pc)上运行有后台心率监控软件；监控服务器通过tcp/ip协议经由交换路由系统连接到网络摄像头以获得监控视频流，监控服务器还与数据库服务器、配套的健康管理软件进行数据交互。
43.进一步的，监控服务器还检测监控画面内的用户姿势，用户可以通过不同的手势发出不同的控制命令，包括触发监测、关闭摄像头预定时间，改变心率监测的周期等。
44.图2示出了一监控系统的检测状态示意图。其中，网络摄像头采用带红外的监控摄像头，设置在合适位置确保能够获取完整的用户面部画面。当用户进入摄像头的有效采集范围内(例如3m)可以被检测，所采集的人脸视频流会通过internet发送到云服务器主机。用户可以通过特定的手势、口型来触发监护平台执行监测。
45.参照图3，本发明基于网络监控摄像头的云计算心血管健康监护平台的心血管状态参数检测的实施步骤如下：
46.s1：使用网络摄像头远程检测心率时，首先搭建好整体架构和本地采集环境，确保网络摄像头能获取完整的面部数据并能稳定传输至云服务器端，如图2所示。服务器针对获取的原始视频流，进行图像预处理颜色空间转换，将原始的rgb色彩模型转换成hsv颜色空间，并选择其中的h通道进行脉搏波提取。将传统rgb色彩空间视频提取ippg信号的绿色(g)通道，转换成hsv色彩空间并选择其中的色调(h)通道进行脉搏波提取，可以获取面部全部的颜色变化信息，相比g通道大幅提升面部脉搏波提取信噪比。
47.rgb转h通道的转换关系如公式(1)所示：
48.r’＝r/255g’＝g/255b’＝b/255
49.cmax＝max(r’,g’,b’)cmin＝min(r’,g’,b’)δ＝cmax
‑
cmin
[0050][0051]
其中rgb为原始视频颜色空间各通道的像素值，f(h)是转换后用来提取脉搏波信号的h通道像素值。
[0052]
s2：进行脉搏波提取roi优选的方法，具体包括：
[0053]
1)、人脸检测：采用和判别响应图拟合(drmf)方法实时检测人脸区域坐标和提取主要器官特征点。
[0054]
2)、皮肤检测：在人脸检测矩形识别区域的基础上，再进行皮肤检测算法进一步剔
除人脸检测框边缘背景区域和人脸五官等非皮肤区域。皮肤检测的判断采用的是ycrcb色彩空间，阈值优选的是亚洲黄种人参数。具体判断公式如下：
[0055]
133<＝cr<＝173
[0056]
77<＝c＝<＝127
[0057]
作为一实施例，图4示出了roi优选示意图。脉搏波提取优选方法将ippg信号提取的roi范围由原始的人脸检测框区域，进一步对框内图像进行皮肤检测算法，去除检测框边缘以及面部如眼睛、眉毛等不含有脉搏波信号或脉搏波信号不丰富区域，提升信号提取的精度。
[0058]
s3：检测过程中会开启多条线程分别进行人脸检测、脉搏波采集和实时心率计算等功能。当云服务器监测到画面内人脸监测区域稳定3s后，会自动开始将摄像头采集的roi区域的帧序列h通道的像素均值存入长度为512的一维数组当中。结合图3，当循环采集满256帧时即可开启实时心率计算功能。循环采集满512帧时可进入血氧计算、血液粘稠度计算、心率计算全功能处理。循环采集过程中会根据相邻帧之间的像素跳变大小判断当前帧是否可用。若可用(如像素跳变值位于预设阈值范围内)就处理并保存数据，不可用则抛弃本段数据。对于选取的roi区域提取到的脉搏波，进一步降噪处理的过程包括：
[0059]
1)先利用理想的带通fir滤波器对提取的脉搏波进行滤波处理，去掉原始脉搏波的直流和高频噪声，通带范围为0.83
‑
3hz，对应心率范围为50
‑
180次/分钟；
[0060]
2)其次采用正弦波拟合的方式去除原始脉搏波信号可能存在的趋势偏移情况，将脉搏波信号的基线稳定到同一水平；
[0061]
3)最后将提取的脉搏波分成若干段，分别计算各分段std(standard deviation，标准差)的大小，若发现检测段std大于整体波形std的两倍判断存在尖峰跳变，启用尖峰压缩算法，使得脉搏波幅度统一；
[0062]
s4：通过功率谱进行计算，得出心率值，计算步骤如下：
[0063]
①
将滤波处理后的n帧(n＝1,2,3
…
s)脉搏波数据存储，得到一维bvp信号序列b[n]；
[0064]
②
对b[n]进行快速傅里叶变换，得到其功率谱p
bvp
：
[0065]
f(t)＝fft(b(t))
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0066]
p
bvp
(t)＝|f(t)|2ꢀꢀꢀꢀꢀꢀꢀ
(4)
[0067]
其中，fft是快速傅里叶变换函数。
[0068]
③
计算心率值h
r
的：
[0069]
t＝max{p
bvp
(t)}
ꢀꢀꢀꢀꢀꢀꢀ
(5)
[0070][0071]
其中，t为最大功率谱，s是总共采集的视频帧，fs是采集视频流的帧率。
[0072]
至此，一次基于人脸视频处理的心率检测基本完成。
[0073]
s5：由于采用的监控摄像头可以同时拍摄红外视频和rgb视频，通过对红色通道和近红外通道提取脉搏波i
r
和i
i
，分别计算其直流分量和交流分量得到和同理可得i
i
的直流分量和交流分量和根据朗伯
‑
比尔定律和光散射知识可知，血氧饱和度(blood oxygen saturation，spo2)公式如下：
[0074]
spo2＝a*r+b
ꢀꢀꢀꢀꢀ
(7)
[0075]
式中吸收比a、b为两经验常数，通过和专业的接触式血氧仪标定可得。
[0076]
s6：将滤波后的脉博波进行单周期分解，分别计算各个周期的血液粘稠度k值指标，公式如下：
[0077][0078]
其中，pm是脉搏波波形的均值，ps是峰值大小，pd是谷值大小。再根据单周期脉搏波波形信噪比，加权计算整体脉搏波形的k值指标，公式如下：
[0079][0080]
其中是加权后的k值指标，x
t
x2…
x
n
是根据单周期波形质量确定的加权系数，k
t
k2…
k
n
单周期的k值指标，n是脉搏波单周期分解后的个数。
[0081]
至此，完成了心血管状态参数的采集计算，并且可通过图5所示的的健康管理软件界面图向用户进行直观的监测参数呈现。安卓和ios端的手机软件以及pc客户端可以通过账号实时远程获取云计算服务器上对应用户的健康参数，同时可根据一段时间的持续监测进行大数据分析，并会针对具体参数给予相应的健康评价和建议、预警等及时提醒用户，必要时会通过绑定的手机短信和电话通知推送紧急信息。
[0082]
上述实施方法可以有效地解决当前光电式心率传感器只能接触式监测的弊端，也大大降低了当前ippg技术所必须的计算终端高昂的价格，利用云计算一方面可以节省计算终端的成本，另一方面也可以结合监控画面做到实时的检测，使得非接触式心率检测在真实场景下能够实现长期连续检测。另外，多线程算法的支持也使得监测结果高效准确。
[0083]
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，这些都属于本发明的保护范围。因此，本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。