生命体征的远程监控的制作方法

生命体征的远程监控的制作方法
【专利摘要】一种通过检测网络摄像机等摄像机拍摄的受试者图像中的PPG信号来远程监控生命体征的方法。通过受试者皮肤上感兴趣区域反射的环境光的自回归分析，来识别该PPG信号。通过不在受试者皮肤上的感兴趣区域，例如背景反射的环境光的自回归分析，来消除环境光的频率分量和摄像机帧率产生的混叠的伪影。这揭示了环境光的光谱含量，使得能识别受试者的PPG信号。从PPG信号中获得心率、氧饱和度和呼吸频率。这些值可以结合到基于这些值的统计分析的健康指数中。
【专利说明】生命体征的远程监控
【技术领域】
[0001]本发明涉及人(或动物)生命体征的远程监控，例如心率、呼吸频率、动脉血氧饱和度等，尤其涉及从光电容积描记(photoplethysmogram)图像信号中去除环境光线干扰的影响而获得改进的测量。
【背景技术】
[0002]从治疗患有中度到重度病症(如慢性阻塞性肺病或充血性心力衰竭)的患者中,他们明显发现很难规律地自我监控。经常很难附着探针，记录生命体征(心率、呼吸频率、氧饱和度或血压中的一个或多个)的过程由于通常每天都要进行而变得繁重，即使其只需花费几分钟。理想的技术不涉及与患者的直接接触(“非接触式感测”)，并无缝融合到患者的生活方式中。
[0003]众所周知，自从二十世纪30年代以来,体节(body segment)中伴随每次心跳的血量变化调节穿过所述体节的可见光(或红外光)的反射或透射，可参见Verkruysse W、Svaasand LO 和 Nelson JS, Optics Express, 2008, 16 (26), 21434-45,在题为“使用环境光远程容积描记成像法(Remote plethysmographic imaging using ambient light)，，的论文中的介绍。血液比体节中的周围组织吸收更多的可见光和红外光，因此在心动周期内血量的变化会影响心跳时间内光的透射或反射。光透射或反射中心脏同步的变化被称为光电容积描记(下文称PPG)信号。通过测量PPG波形的两个连续波峰(或波谷)之间的时间间隔可容易地从PPG信号中提取心率(或脉搏率，二者等同)。对PPG波形进行相对复杂的分析，(例如，通过测量呼吸周期内发生的心搏间期(inter-beat interval)的变化),或测量PPG信号的与呼吸频率同步的调幅，可间接估计呼吸速率(或呼吸频率)。
[0004]在20世纪70年代，发展了脉搏血氧测定法(Pulse Oximetry)的技术,通过测量两个波长处的PPG信号来获得外周动脉血氧饱和度(SpO2)的无创估计(non-1nvasiveestimate)。血红蛋白分 子(血液中的氧载体)的两个常见形式，氧化血红蛋白(HbO2)和还原血红蛋白(Hb)，在500nm至1000nm的波长范围内具有显著不同的光学光谱。因此，使用具有两个发光二极管的简单探针在两个不同波长处测量穿过指尖(或耳垂)透射的光，一个为红光，另一个为近红外光，脉搏血氧计无创地测定手指(或耳朵)中动脉血的氧饱和度。
[0005]在大约2005年的科学文献中，首次讨论了远程使用摄像机(而不是附着于手指、耳朵或脚趾的探针)测量PPG信号的可能性(参见Wieringa FP、Mastik F和Van Der Steen AFWj Contactless Multiple Wavelength PhotoplethysmographicImaging: A First Step Toward “Sp02Camera” Technology，Annals of BiomedicalEngineering, 2005，33 (8)，1034-1041 以及 Humphreys K，Ward T、Markham C，Noncontactsimultaneous dual wavelength photoplethysmography:A further step towardnoncontact pulse oximetry, Rev.Sc1.1nstrum.，2007，78，044304)。在上文提到的Verkruysse、Svaasand和Nelson的2008年的论文中，该作者说明了用普通环境光作为光源，简单数码用户级摄像机作为超过I米远的检测器，可从人脸远程获取PPG信号。在志愿者人脸图像中选取感兴趣区域(通常为前额)。该论文说明了如何从这些图像的频率含量中提取心率(使用10秒窗口的快速傅立叶变换)，以及如何计算呼吸频率的提示。他们提出这种远程感测技术的主要应用可能在伤病员鉴别分类(triage)和体育领域中。
[0006]去年，MIT媒体实验室中情感计算(Affective Computing)小组的团队出版了两篇论文(http://www.media, mit.edu/research/groups/affective-computing)(参见 Poh MZ、McDuff DJ> Picard Rff, Non-contact, automated cardiac pulsemeasurements using video imaging and blind source separation, OpticsExpress, 2010, 18, 10762-10744 以及 Poh MZ> McDuff DJ、Picard Rff, Advancements innoncontact, mult1-parameter physiological measurements using a webcam, IEEETrans Biomed Eng.，2011，58，7-11)。该团队用网络摄像机记录了面部区域的视频。他们集中研究了运动产生的伪影(artefact)和环境光条件的变化产生的光的波动源。尽管他们的实验是在室内进行，仅有的照明源是透过窗户进入的不同数量的环境太阳光。
[0007]在大多数白天以外以及通常白天时间内的室内环境中发现，进行PPG成像工作在实际设置中一个严重的问题便是，人造光，例如荧光灯对环境光的干扰。尽管50Hz频率的强度变化比测量到的心率或呼吸频率生命体征大得多，(即使是最快的心率也不大可能比4Hz=240的每分钟心跳次数(bpm)快)，实际上，强度变化由于采样过程而向下被混叠(arealiased down to)到低得多的频率。在通常大约24Hz的摄像机的帧率下对图像采样,所述帧率远低于需要的采样频率(100Hz)，以避免50Hz光的混叠，混叠组分(伪影)在诸如4Hz和2Hz的频率下经常出现混叠。然而，不能精确预测产生这一混叠过程的频率，因而，在特定的频率下滤波器 并不是简单有效的，这是因为在每次设置中需要重调滤波器，以追踪混叠的伪影。

【发明内容】

[0008]因此，本发明提供了一种在PPG图像信号中识别和去除产生人造(环境)光干扰的光谱分量的方法。也提供了与心率对应的实际PPG信号频率的简单且巧妙的获得方法。另一方面，使用类似的方法从PPG图像信号中获得对呼吸频率的测量。使用本发明，也可以获得外周动脉血氧饱和度(SpO2)的测量。
[0009]本发明也能将这些测量值结合到单个、容易理解的健康指数中。
[0010]因而，更详细而言，本发明的第一方面提供一种在PPG图像信号中抑制环境光线干扰的方法，包括以下步骤:使用摄像机对受试者身体上的感兴趣区域进行成像，以获得包括从所述感兴趣区域反射的环境光线的周期性强度变化的PPG图像信号；使用同一摄像机对受试者身体外的感兴趣的参考区域进行成像，以获得参考信号；使用自回归(AR)全极点模型对所述参考信号进行光谱分析，并识别光谱分量对应的极点；使用自回归(AR)全极点模型对所述PPG图像信号进行光谱分析，以识别其中与光谱分量对应的极点，并消除那些与识别为所述参考信号的光谱分量对应的极点。
[0011]感兴趣的受试者区域对应于面部等暴露皮肤的区域，感兴趣的参考区域不在皮肤上。感兴趣的参考区域可在图像背景中或受试者的衣物上。本发明可使用自动设别图像中人体皮肤区域的算法，诸如能从商业途径广泛获得的算法。
[0012]优选地，所述参考信号和所述PPG信号为来自所述摄像机的红、绿、蓝信道中的至少一个的输出信号。
[0013]受试者身体上可能有多个感兴趣区域，以及可选地，同样有多个感兴趣的参考区域。此外，可以对受试者身体上的各个感兴趣区域使用各组AR模型在多个感兴趣区域获得的结果进行平均，以生成心率、呼吸频率、和氧饱和度估计值。可根据期望确定各感兴趣区域的大小，从一个像素到多个像素，并且形状不受限制。在本发明的一个例子中，所述区域各自为100X 100像素(B卩，总共为10，000像素)。
[0014]优选地，所述方法包括从极点消除之后所剩余的PPG信号的分量中获得心率、呼吸频率或氧饱和度等生命体征数据的步骤。通过在期望的频率范围内，例如40至240bpm的心率(0.67至4Hz)或3.6至42的每分钟呼吸次数的呼吸频率(0.06Hz至0.7Hz)，寻找极点，可识别正确的极点，但是这些特定的限定可以改变。
[0015]在对参考信号和PPG图像信号进行光谱分析的步骤中，优选地，将不同阶次(order)的几个AR模型拟合到所述信号，并对结果进行平均。例如，在一个例子中使用8阶至20阶的13个模型，或者在另一个例子中使用5至11阶的七个模型，但是为了实现数据的最佳拟合，可使用另外不同的数量和阶次。
[0016]为了获得对呼吸频率精确的测量，优选对PPG信号进行低通滤波(low-passfilter)和下采样(downsample),之后使用一个或多个AR模型对PPG信号进行光谱分析。这有效降低了采样频率，并因而增加了呼吸频率信号对应的极点和极点图中水平轴的正半轴表示的DC (OHz )之间的角间距。
[0017]计算两种不同波长处的反射光的强度比，可获得氧饱和度SpO2的测量值。该强度是从心率对应的极点的半径(即极点与原点之间的距离)而获得。所述两种不同波长可以为摄像机的红信道和绿信道，或可替代地，摄像机红信道可与由第二摄像机的红外测量一起使用。
[0018]本发明优选并入生命体征监控`器，其可以体现为一种在个人计算机、平板电脑或膝上型计算机、或移动电话上运行的计算机程序，并利用并入到这种装置中的网络摄像机。
【专利附图】

【附图说明】
[0019]结合附图，通过实施例进一步描述本发明，其中:
[0020]图1A示意地示出了根据本发明一个实施例的生命体征监控系统；
[0021]图1B示意地示出了由患者装置获得的图像和限定的感兴趣区域；
[0022]图1C示意地示出了根据本发明另一个实施例的生命体征监控系统；
[0023]图2示出了根据本发明一个实施例的显示给患者的屏幕；
[0024]图3为根据本发明一个实施例的阐明心率和氧饱和度的测量的流程图；
[0025]图4为根据本发明一个实施例的阐明呼吸频率的测量的流程图；
[0026]图5A和图5B分别显不了感兴趣的参考区域和感兴趣的受试者区域的30秒时间序列的数据；
[0027]图6A和图6B分别示出了通过拟合第十二阶AR模型到图5A和图5B的30秒数据窗(window of data)获得的感兴趣的参考区域和感兴趣的受试者区域的光谱含量；
[0028]图6D和图6E显示了从该第十二阶模型得到的极点的位置；
[0029]图6C和图6F显示了消除在参考信号中发现的极点之后剩余的光谱含量和极点；[0030]图7A示出了五分钟的色彩强度测量，图7B示出了从本发明以上实施例的数据获得的30秒平均心率估算与从标准脉搏血氧计测量的平均心率测量数据的比较；
[0031]图8A和图8B示出了图5数据的下采样的时间序列；
[0032]图9A、图9B和图9C分别示出了感兴趣的参考区域的极点图、感兴趣的受试者区域的极点图，以及消除感兴趣的参考区域中发现的对应极点之后的感兴趣的受试者区域的极点图；
[0033]图10显示了从在英国和美国在三家医院接受急症护理的患者获得的四个主要的生命体征的直方图:心率、呼吸频率、动脉血氧饱和度和收缩血压；
[0034]图11示出了图10中各个生命体征的累积密度函数；
[0035]图12示出了早期预警评分(Early Warning Score)的一组曲线；
[0036]图13A和图13B分别示出了一个示例性患者的三个色彩强度和心率、呼吸频率和氧饱和度估计值，以及心率、呼吸频率和氧饱和度的传统测量值的四小时十分钟图(fourhour and ten minute plot)；
[0037]图14A和图14B分别示出了另一个示例性患者的三个色彩强度和心率、呼吸频率和氧饱和度估计值，以及心率、呼吸频率和氧饱和度的传统测量值的四小时十分钟图；
[0038]图15A和图15B分别示出了另一个示例性患者的三个色彩强度和心率、呼吸频率和氧饱和度估计值，以及心率、呼吸频率和氧饱和度的传统测量值的四小时十分钟图；
[0039]图16A和图16B分别示出了另一个示例性患者的三个色彩强度和心率、呼吸频率和氧饱和度估计值，以及心率`、呼吸频率和氧饱和度的传统测量值的四小时十分钟图。
【具体实施方式】
[0040]图1A示意地示出了根据本发明一个实施例的生命体征监控系统。生命体征监控器本身并入到其中整体配备有网络摄像机4和屏幕5的装置3中。装置3可以是平板或笔记本式计算机，移动电话(手机)或可以是配备有独立网络摄像机4的电视机。患者I在其正常生活中使用装置3的同时，例如拨打VOIP电话或观看电视时，用网络摄像机4对其进行监控。如下面将会阐释的，对装置3加载可从网络摄像机4获得红、绿和蓝视频输出并对该输出进行分析以得到生命体征测量的软件应用。存储并显示这些测量值给患者(需要时)，并且还能通过互联网连接将其发送到远程服务器6。远程服务器6可被临床使用的装置7访问，使得临床医生可以查看结果，必要时，通过该系统本身内的消息传送应用或独立地，例如电话9与患者联系。
[0041]图1C示出了根据本发明一个实施例用于监控住院患者的生命体征的监控系统。如图所示，生命体征监控器包括安装在患者Ia上方，例如天花板或框架17上的摄像机4a，当患者在床2或椅子8上时，摄像机可看到患者la。摄像机的输出提供到用于分析视频信号的远程处理单元(未示出)，阐释如下。可提供有线或无线控制器13来控制摄像机4a。本发明的本实施例对于相对不能动弹的患者特别有用，例如急症住院患者或早产儿保育箱中的婴儿。这类患者通常有较大的暴露皮肤面积，可在所述面积上限定用于分析的感兴趣的一个或多个区域。
[0042]图2示出了显示给患者并与软件应用相关的屏幕。在本实施例中，呈现给患者的是用来选择五个不同功能的五个图标(icon)。可以操作第一图标10来选择启动VOIP应用，并且也可以悄悄地开始用网络摄像机对患者I进行监控，以获得生命体征测量值。可以操作图标12来选择显示患者可输入其病症信息的患者日记，并且也可以悄悄地开始用网络摄像机对患者I进行监控，以获得生命体征测量值。可以操作图标14来选择引导患者通过自我监控过程并在该过程中使用传统的装置，来获得其生命体征测量值，例如使用蓝牙手指探针用于心率、呼吸频率和氧饱和度测量，以及蓝牙袖带(Bluetooth cuff)用于血压测量。使用蓝牙连接将这些测量值发送到装置3，随后通过互联网发送到服务器6。这些测量值可用来确认通过对网络摄像机视频信号进行分析获得的测量值(例如，如果注意到受试者的生命体征恶化，临床医生可联系受试者，要求他们进行这种确认测量)。最后，可以操作消息传送图标16以选择开始消息传送应用，使患者可查收来自临床医生的消息。
[0043]图1B示意地示出了网络摄像机4获得的图像。一般来说，图像会含有患者I和背景20的图像。根据本发明，在受试者上限定一个或多个感兴趣区域R0Is22，优选皮肤区域上，例如受试者的面部，并在背景中限定一个或多个感兴趣的参考区域R0Ir24。可使用传统的识别算法，来找出适合的图像区域，作为感兴趣的受试者区域和背景。
[0044]图3阐述了对来自网络摄像机4的信号进行分析获得心率和氧饱和度测量值的过程。在步骤30和31中，限定了 R0Ir24和ROI s22。在步骤32中，针对每个视频帧，针对红绿蓝三个信道中的每一个(或从一个摄像机以及移除了红外滤波器以在红外区域提供信号的第二个摄像机的红信道)，对于ROIr和ROIs，得到感兴趣区域的一个或多个代表性强度，如空间平均值(spatial mean average);或任意分布的模型。本实施例中，感兴趣区域均为100像素X 100像素(即总共10，000像素)。然而，可使用不同大小的ROIs，并且可选地，可使用多个ROIs。每个ROI应在限度内以相邻像素为中心。
[0045]一旦获得了各个帧的代表性强度，在例如30秒的时间窗口内，收集帧序列的这些强度的时间序列。可改变时间窗口的长度，例如从10秒到一分钟。
[0046]在步骤33中，将多个自回归(AR)模型拟合到各时间序列(也就是说，拟合到ROIr的红绿蓝时间序列中的每一个，以及ROIs的红绿蓝时间序列中的每一个)。假定每秒24帧的摄像机帧率，在参考背景和受试者的三个信道中的每一个，30秒的窗口会有720个样本。图5A和图5B分别显示了感兴趣的参考区域和感兴趣的受试者区域的30秒时间序列的数据。
[0047]虽然AR建模，例如在语音分析领域是众所周知，有必要在这里简单说明一下自回归(AR)建模的一般原理。
[0048]AR建模可被公式化为线性预测问题，其中信号的当前值x(n)可被模型化为前述P值的线性加权和。参数P，即待求和样本的数量，为模型的阶次，其通常比形成信号的值的序列的长度N小很多。因此:

P
[0049]\{n) = -'Yjukx(n-k) + e{n) (I)

k-l
[0050]因此，输出值X (η)为其本身的线性回归，具有误差e (η)，该误差被认为符合具有零均值和方差σ 2的正态分布。对本申请更有用的是，所述模型可替代地用输入为e(n)、输出为x(n)的系统进行可视化，在这种情况下，传递函数H可被公式化为如下所示:
【权利要求】
1.一种在PPG图像信号中抑制环境光线干扰的方法，包括以下步骤: 使用摄像机在受试者皮肤上的感兴趣区域进行成像，以获得包括从所述感兴趣区域反射的环境光线的周期性强度变化的PPG图像信号； 使用相同摄像机在受试者皮肤外的感兴趣的参考区域进行成像，以获得参考信号； 使用自回归(AR)全极点模型对所述参考信号进行光谱分析，并识别光谱分量对应的极占.使用自回归(AR)全极点模型对所述PPG图像信号进行光谱分析，以识别其中光谱分量对应的极点，并忽略与那些识别为所述参考信号的光谱分量对应的极点。
2.根据权利要求1所述的方法，其中所述参考信号和所述PPG信号为所述摄像机的红、绿、蓝信道中的至少一个的输出信号或另一个摄像机的红外信道的输出信号。
3.根据权利要求1或2所述的方法，进一步包括:在受试者皮肤上的多个感兴趣区域进行成像，以及在多个感兴趣的参考区域进行成像。
4.根据权利要求3所述的方法，其中每个感兴趣区域以单个摄像机像素为中心。
5.根据前述任一项权利要求所述的方法，进一步包括:从所述PPG信号的剩余分量中获得生命体征数据的步骤。
6.根据前述任一项权利要求所述的方法，其中使用多个不同阶次的模型对所述参考信号和所述PPG信号各自进行分析。
7.根据权利要求6所述的方法，其中所述多个不同阶次的模型包括8至20阶次的模型。`
8.根据权利要求6或7所述的方法，其中所识别的极点对应的光谱分量针对不同阶次模型进行平均。
9.根据前述任一项权利要求所述的方法，进一步包括:通过在所述PPG信号中识别不存在于所述参考信号中的极点，以获得所述受试者的心率测量值的步骤。
10.根据权利要求9所述的方法，其中通过识别与频率在H^lin至HRmax(通常0.67至4Hz)范围内的光谱分量对应的极点，以获得所述心率(HR)的测量值。
11.一种获得人或动物受试者心率估计值的方法，包括以下步骤:从所述受试者中获得PPG信号，使用不同阶次的多个自回归(AR)全极点模型对所述PPG信号进行光谱分析以识别每个模型中表示心率的光谱分量，并生成与所述光谱分量对应的心率估计值，融合不同模型的心率估计值，从而生成鲁棒心率估计。
12.根据权利要求11所述的方法，其中所述融合步骤包括:取来自不同模型的心率估计值的中间值。
13.根据权利要求11或12所述的方法，其中所述PPG信号为PPG图像信号。
14.根据前述任一项权利要求所述的方法，进一步包括:通过对所述PPG信号进行低通滤波和下采样以获得所述受试者的呼吸频率测量值，之后使用另一组全极点模型对其进行光谱分析的步骤。
15.一种获得人或动物受试者呼吸频率估计值的方法，包括以下步骤:从所述受试者中获得PPG信号，对所述PPG信号进行滤波和下采样，之后使用多个不同阶次的自回归(AR)全极点模型对其进行光谱分析，以从各个模型中识别表示呼吸频率的光谱分量，并生成与所述光谱分量对应的呼吸频率估计值，融合来自不同模型的呼吸频率估计值，从而生成鲁棒呼吸频率估计。
16.根据前述任一项权利要求所述的方法，进一步包括:通过获得从所述受试者皮肤上所述感兴趣区域反射的两种不同波长的光的强度比率，以获得所述受试者的血氧饱和度测量值的步骤，所述强度从识别为表示心率的极点的幅度获得。
17.根据权利要求16所述的方法，其中所述两种不同波长为所述摄像机检测到的红色和绿色波长。
18.根据权利要求16所述的方法，其中所述两种不同波长包括所述摄像机检测到的红色波长和由第二摄像机检测到的红外波长。
19.一种计算机程序，适于通过一种方法生成受试者的一个或多个生命体征的测量值，所述方法包括根据权利要求1或其任一项从属权利要求所述的方法对受试者进行PPG成像和抑制环境光线的干扰。
20.一种使用摄像机通过受试者的PPG成像来测量受试者的一个或多个生命体征并在相同摄像机获得的受试者图像上执行面部识别过程的方法，以将对受试者的标识与生命体 征测量联系起来。
21.根据权利要求20所述的方法，其中所述PPG成像包括根据权利要求1或其任一项从属权利要求所述的方法对干扰的抑制。
【文档编号】G06T7/00GK103826532SQ201280041162
【公开日】2014年5月28日 申请日期:2012年8月16日 优先权日:2011年8月22日
【发明者】戴维·安德鲁·克利夫顿, 毛利西奥·克里斯汀·比利亚罗埃尔·蒙托亚, 莱昂内尔·塔拉塞恩科 申请人:Isis创新有限公司