用于使用视频图像来连续估计人体血压的方法和装置与流程

通过医疗历史，动脉血压的使用已经是人类健康状况的重要指标。动脉血压还可以有其他应用，如对受试者的应力水平的检测或受试者在某些物质影响下的指征。

自18世纪以来，已有获取反映人体动脉血压的值的仪器和方法；然而，如果不是它们全部，它们很多都依赖于与被测试的受试者的直接接触。所描述的发明提供了一种使用视频图像来估计血压从而减少或完全消除对于人体接触(非侵入性)的需要的方式。由于可以存储和发送视频图像，所以可以在本地、远程地和实时地或离线地执行血压的估计。

发明概述

本发明的实施例可以提供可以在图像处理系统中配置或编程以便获得对人体血压的连续估计的过程。根据本发明，使用算法的组合来处理人类受试者的实时或预先记录的视频图像，以获得与被称为动脉收缩压和舒张压密切相关的值。通常，血压使用被称为血压计的装置来获得，并且其需要将该装置物理附接到待研究的人类受试者。本发明的实施例可以提供非接触式或非侵入式的方式来估计与血压计可以提供的类似的信息，优点在于可以在本地或远程地使用该信息，以便使用常规视频捕获设备和可以本地或远程驻留的图像处理系统来做出关于受试者的健康状况的决定。

附图简述

图1以框图描述了获得血压估计数据的示例性实施例的元件。

图2示出了由图1中的图像处理系统执行的过程中涉及的步骤。

图3描述了图2中引用的心脏电信号上的QRS脉冲位置估计的更详细的流程图。

图4是描述了垂直运动信号如何与人类头部相关的示意图。

图5显示了在图2中描述的过程的延续。

图6是描述了在图2中获得图像体积描记法的优选实施例中使用的步骤的流程图。

图7描述了图2中所示的血压估计所涉及的要素。

图8详细显示图7中的血压估计模型。

发明的详细描述

图1中示出本发明的示例性实施例。后面的图示显示了由稳定光源(1.3)适当照明的人类受试者(1.1)，该稳定光源(1.3)可以是来自太阳的自然环境光或将提供视频捕获元件(1.4)所需的水平的任何类型的人造光。如果这有利于将在(1.6)上执行的图像处理，那么也可以使用具有某些波长增强的光源(1.3)。

人类受试者(1.1)应适当被放置在摄像机(1.4)的前面，从而视场(1.2)包括受试者(1.1)的头部，这是由于对于本示例实施例，头部将包含感兴趣区域。关于摄像机1.4，在一个实施例中使用了具有1280水平×720垂直像素的分辨率的中等质量的彩色“网络摄像头”，但也可以采用较低质量的图像。对于示例实施例所选择的帧速率为30帧/秒，使用非压缩AVI格式，其使用摄像机接口(1.5)被输入到使用USB作为接口协议的图像处理系统(1.6)。使用更高的帧速率和分辨率可以提高系统的性能。

本实施例中的图像处理系统(1.6)由个人台式计算机实现。该系统(1.6)可以在提供足够的计算和处理能力以执行包括估计血压的过程的算法的任何设备(通用或嵌入式)中实现。诸如远程服务器、智能手机、平板电脑的设备或甚至像FPGA或ASICS的硬件中的实现也是对于系统(1.6)的实现的可接受的方式。该系统也可被完全集成在单个设备中，因此诸如摄像机(1.4)、摄像机接口(1.5)和处理系统(1.6)的元件对于用户眼睛可以是“单个”设备的一部分。

关于视频耦合(1.5)，可以在其中图像处理系统(1.6)所在的另一不同定位捕获视频，从而可以使用诸如互联网的常规通信信道和协议来记录和传输视频。这可以使用直播流或先前记录的视频文件来完成，因此可能的是图像处理系统(1.6)实时地运行或使用批量式处理来运行，并且可以对单个或多个视频源(1.4)进行处理。

在图像处理系统(1.6)的输出端处，将存在估计由(1.6)分析的受试者(1.1)的血压的数据(1.7)。该数据可以经由屏幕显示器呈现给用户，或者可以是不一定用于人类可视化的任何类型的数据存储或传输元件。(1.7)可以用作唯一感兴趣的值，或者可以被传送到另一个系统以用于进一步处理、传输存储或可视化。

由接口(1.5)提供的视频存储在图2所示的命名的帧缓冲器(2.1)上。如其名称暗指的这个帧缓冲器(2.1)存储大量的视频帧(2.8)，从而稍后将被执行的算法具有足够的用于操作的数据。在本实施例中，使用了10秒的存储(～300帧)的值，但是该值可以根据受试者(1.1)的类型或算法的逻辑实现而改变，并且它可以被优化，这是因为它依赖于用于实现的架构、代码和语言的方式。在示例实施例中，我们使用了分析缓冲器并输出血压数据(1.7)的“批量”式实现，但是可以使用实时方法，因此帧缓冲器(2.1)的大小可以响应于分析方法而变化。

根据每个帧(2.8)，脸部识别过程(2.2)实现消除来自每个帧(2.8)的剩余信息而仅留下与头部(2.7)相关的信息并还消除与眼睛相对应的区域(2.14)的算法。由于进一步的处理将不使用所移除的信息，所以数据量可以被优化并减少过程的下一阶段的处理负担。存在对于执行面部识别过程(2.2)可用且已知的许多公共域算法。

一旦来自受试者(1.1)的头部(2.11)的图像与帧(2.8)的其余部分隔离；则第一帧用于定义头部(2.11)上将与图像进一步隔离的区域。该算法选择两个区域；眼睛之下(2.10)和眼睛之上(2.9)。这些区域是特别感兴趣的，因为它们具有较少的边界变化。关于区域(2.10)，可以消除脸部的其他部分，像鼻子和嘴唇。最后，期望的是具有均匀图案并且充分反射光(1.3)的面部的区域，因此将产生的信号包含可接受的少量噪声。

在该示例实施例中，没有用于头部(2.11)的跟踪算法。后者意味着获得区域(2.9)和(2.10)的方法(2.3)要求受试者(1.1)在视频捕获期间保持可接受地静止并且在摄像机(1.4)的视场(1.2)之内。了解图像处理学科的人将会意识到，可以实现对象跟踪算法，从而消除对受试者(1.1)的静止要求。

感兴趣的区域(2.9)和(2.10)将被用作两个图像处理算法的输入。一个是我们所谓的图像体积描记法(Plethysmograpy)(2.5)，其中，如将进一步解释的，给定其量的变化，图像数据被处理以获得代表受试者皮肤上的血流量的信号。另一个编号为(2.4)的块将估计QRS脉冲位置在心脏电信号(2.12)上的定位。

人类心脏生成刺激心机运动的电信号2.12。该信号具有在2.12上描述的公知形状，并且在所谓的QRS区域(2.13)处存在峰值。该峰值与最大血流量流出心脏的时刻相关，并且血压估计过程(2.6)需要其在时间上的位置以生成产生的分析值(1.7)。

还知道的是，当心脏将血液泵送到动脉时，在一般人体上，泵送到头部的血量是全部的25％。这种高百分比的含氧血液主要经由颈动脉导向大脑。由于血流定向在站立的受试者(1.1)头部的垂直轴上，并且关于头部(2.11)的大小相对于受试者(1.1)的身体的其余部分相对高；因此头部(2.11)将主要以与心脏通过动脉泵送血液的相同速率垂直运动。明显的是，这个运动对于大多数的受试者(1.1)是不可察觉的，但事实上是病理学案例，其中当受试者患有称为“主动脉血管机能不全”的疾病时，他们的头部运动是非常明显的。在该实施例中，用于心脏电信号的位置估计(2.4)的过程将源于图4上的这种不可察觉的垂直运动(4.0)。

使用图3的流程图描述了用于心脏电信号上的QRS脉冲位置的估计的过程(2.4)。该过程的第一步骤(3.1)是选择在(2.3)中先前定义的区域(2.9)和(2.10)上一定量的像素(3.9)。对于示例实施例，为上部(2.9)选择1,000个像素，并且为下部(2.10)区域选择相似数量。在该实施例中，区域内使用哪些像素的选择是随机的，但是可以使用其他方法来选择可以减少将后续获得的信号上的噪声的最佳可能的像素。像素的量还被选择用于处理效率，但是这可以基于受试者的类型、照明和图像的质量来动态地定义。一旦像素(3.9)被选择，那么由于它们来自彩色视频图像；执行灰度转换(3.2)，因此只有每个像素的亮度分量将用于该过程的其余部分。生成灰度转换(3.2)的方法是取3个颜色分量中的每一个的百分比以生成组合信号(例如，59％的绿色、30％的红色和11％的蓝色)。使用灰度也可以是随着它们中的只有一种颜色分量或其他组合的使用而改变的替代方案。图3中描述的算法检测(3.3)上的图像的第一帧，并将其用作参考帧(3.4)。

参考帧(3.4)被输入到像素跟踪算法中，在我们的例子中，我们使用了称为“Lucas-Kanade”(3.6)的公共域算法，并简单来说，它将参考帧(3.4)上的像素(3.9)的位置与如图4所示的下一帧(4.1)的相同像素进行比较。由于受试者在在帧和帧之间以X方向和以Y方向运动，因此表示垂直运动(在我们的例子中的感兴趣的运动)的一组信号(3.8)将通过跟踪算法(3.6)输出，直到达到最后一帧(3.7)。

在过程结束时，如图4所示，我们将具有从Y1到YM(3.4)的多个信号(3.8)，在我们的实施例中，M的值被定义为2000。信号将具有头部(2.11)的垂直运动(4.0)，但是由于在正常受试者中，运动将非常微小，因此可需要进一步处理以便增强和消除不需要的伪影(噪声)，如图5中描述的。

用于处理多个信号(3.8)的第一步骤被称为信号组合器(5.1)。该功能块从与垂直头部运动相关的多个信号(3.8)的全部中获得单个信号。在示例实施例中，我们使用了所有信号的平均值。也就是说，我们使用了在特定时间上的垂直位置，将对于该时间获得的所有值添加到所有信号中，并将得到的值除以信号量(本实施例中为2000)以获得对于该特定时间的单个值(5.2)。可以使用用于组合信号的其它方法，例如自相关或互相关，以便根据受试者和根据图像特性来增强或改善信号。

即使受试者(1.1)保持身体静止，还有与心脏不相关的在组合信号(5.2)中存在的其他分量。这些分量称为伪像并且是由呼吸、眨眼，眼睛运动和无意识的脸部和颈部运动造成的。后来的伪像通过称为互调的过程与感兴趣的信号(5.12)组合。后者意味着信号(5.2)包含其他频率上的分量，这些分量使感兴趣的信号失真，因此需要去除这些伪像(5.3)。

有许多消除不需要的分量的方法，在我们的实施例中，块(5.3)是使用经验模式分解或(EMD)来实现的。EMD技术在时域中分解信号以形成正交且非相关的多个信号，这样我们可以消除具有与心脏电信号(2.12)不相关的频率分量的信号。信号的时域分解的优点在于它对信号的相位没有重要影响，如同传统的频域滤波一样。它是如在我们的例子中的用于非线性和非平稳信号的滤波器。如“小波滤波”的已经开发的其他技术可以服务于伪像去除(5.3)的相同目的。

在(5.3)的输出处，我们将具有类似于感兴趣的信号(2.12)的信号(5.4)。在示例性实施例中，我们期望指示QRS(2.13)区域在心脏电信号(2,12)中的位置的信号。然而，由于我们可具有其他本质上随机的伪像，比如更高强度的突然运动、光源(1.3)的稳定性的缺陷或纯随机噪声，因此在(5.2)的输出处得到的信号(5.4)可具有对(2.4)过程不再有用的幅度和形状的变化。对于这一点向前(for this point forward)，该算法仅对QRS脉冲的时间位置而不是(5.4)信号的形状和细节感兴趣。

下一步骤称为QRS位置检测(5.5)，并且仅专注于QRS区域(2.13)的时间位置。基于小波的算法被用于检测(5.4)信号的不连续性，并且仅输出这些不连续性的时间位置，如(5.6)所示，其中箭头示出了发生的不连续性的时间位置以及由此的QRS信号的峰值。重要的是要注意，由于我们正在处理非常微小的运动的信号，所以即使在这个阶段，从真实的电气心脏信号的角度出发我们将具有寄生和错过的脉冲，即使在其非静止时，该电气心脏信号也有很好的定义模式并以规律时基发生。称为QRS脉冲再生器的块执行信号(5.6)的分析，并且基于脉冲的频率和位置，执行错过的脉冲的恢复，并且还消除寄生脉冲，以便获得脉冲信号YR(5.8)，脉冲信号YR(5.8)包括必须存在的所有(或多数)脉冲，如(5.12)上的较大时间帧中所示出的电气心脏信号(2.12)中那样。如果需要进行连续血压估计，则该QRS脉冲再生器(5.7)可以是可选项。

循环系统在心脏电信号(5.12)和头部运动(4.0)峰值和谷值出现的时间之间具有固有延迟。后者具有真实电心脏信号(5.2)(如当使用心电图设备或ECG获得的)与再生的QRS脉冲位置信号(5.8)之间的相移(5.11)的效果。稍后将描述的是，将两个信号(5.8)和(5.12)之间的该相移(5.11)减小到最小的重要性，并且这是使用相位补偿模型(5.9)来执行的。仅当需要具有原始时间位置的ECG的时候需要处理(5.9)，但是如果省略该步骤则不影响该过程的其余部分。

存在几种方法用于实现相位补偿模型(5.9)。在示例性实施例中，我们使用了相对简单的方法，其需要来自相同受试者(1.1)的几个ECG以及还需要几个图像处理会话以生成信号(5.8)。相移(5.11)的平均值用于生成常数，当将该常数应用于(5.8)时补偿相移(5.11)以生成YC信号(5.13)，其跟随具有最小相移偏差(5.11)的心脏电信号(5.12)。该方法需要涉及至少一个ECG的采集并且相位校正因子将仅对该特定受试者(1.1)有效的校准。后者仅被需要一次，并且对于同一受试者(1.1)的未来血压估计会话，补偿常数将对特定时间量有效，直到需要新的重新校准。还可以看出，使用诸如身高、体型、体脂密度，年龄、性别、种族和肤色等的身体信息的其他类型的模型可以用于使用回归和人工智能技术从统计人口中获得训练模型，这样，使用在特定受试者(1.1)的分析之前输入的信息，或者甚至可以通过其他图像处理算法完全或部分地检测。该输入信息将足以补偿任何新用户的相位，而无需事先采集ECG。

与QRS脉冲位置的估计(2.4)并行，如图2中所示地执行图像体积描记法(2.5)的过程。图像体积描记法在图6中描述。该程序开始于受试者的头部(2.1)中的眼睛上侧的区域(2.9)的选择。对于该实施例，使用该特定区域(6.0)，因为所包含的像素在它们之间具有较小的变化，并且该区域已经由图2中描述的(2.2)定义。后者不限于通过使用对于这个目的另外或相同的视频输入来使用其他区域或甚至是头部(2.1)的区域或甚至诸如手臂、手掌、拇指等的身体的其他部分的区域。

与(2.4)过程不同，代替根据受试者(1.1)生成灰度图像，图像体积描记法过程(2.5)使用彩色图像的绿色分量，这是因为所使用的方法依赖于光的反射，且提供最大光强变化的是绿色分量。后者是因为摄像机通常增强这个特定分量以尽可能地模仿人眼波长对亮度响应且该响应在绿色波长区域处达到峰值。

过程的下一个阶段(6.1)由定义区域(2.9)内的噪声像素的消除构成。为此，在帧和帧之间单独地比较像素，并且丢弃在帧(或它们的组)之间在亮度上显示出高度差异的像素，最终使用的有用像素的平均百分比可以在整个地区(2.9)的大约75％至80％。

保留在区域(2.9)内的有用像素在(6.2)中归一化。该过程相当于从信号中消除直流分量，并且还提供相当于增益或放大率的像素的亮度的相对增强。使用算术平均值来平均用于该帧(2.8)的区域内的归一化像素值，以便获得对于(2.9)区域的表示在该特定时间处由受试者(1.1)反射的光强度的单个值。算术平均值还提供了第一级滤波，因为它减少了所产生信号中的噪声量，但是如果这产生了信号的最佳表示，也可以使用其它数学或统计处理而不是平均值。过程6.1至6.3在帧缓冲器(2.1)上执行，直到最后一帧被(6.4)检测到。

如在QRS位置估计的过程(2.4)中，(6.3)的输出处的信号将包含已经描述的相同的伪影。这些不期望的信号元素的去除由伪像去除滤波器(6.5)来实现，其对于该实施例也采用EMD技术来避免相位改变，但也可以采用其他方法。

假设对于该过程而言，将要获得的最终信号的形状相对更重要，并且考虑到该信号也将遭受错过的或寄生周期，因此还需要波形再生成器(6.6)。可以应用诸如DF1、DF2、FS2或“Aya Matsuyama”的滤波器来再生成信号，以便提供时间连续的体积描记信号(6.7)，其包含关于受试者(1.1)的最大和最小血流量相对于时间的信息。

用于获得血压估计数据(1.7)的过程的最后阶段在图7中描述。瞬时心率估计(7.2)采用相位补偿QRS脉冲位置信号(5.13)，以便测量瞬时心率周期THRi(7.6)。由于体积描记信号(6.7)携带相同的定时信息，因此信号YI(6.7)也可用于测量时间或补偿从YC(5.13)获得的信息。

脉搏传导时间测量(7.1)使用YI(6.7)和YC(5.13)二者来测量QRS脉冲位置与体积描记信号的峰值或YI(6.7)之间的时间差。测量的时间称为脉搏传导时间PTTi(7.5)，并且是用于获得血压估计数据(1.7)的重要元素。

时间THRi(7.6)、脉搏传导时间PTTi(7.5)、校准参数(7.4)和环境温度(7.7)的瞬时测量值被馈送到血压估计模型(7.3)，其使用该信息来导出血压估计数据(1.7)，如其将进一步被详述的。

在图8中示出对于血压估计模型的更详细的描述。当设计用于这种类型的应用的模型时，存在两种流行的方法可使用：一种称为“最大似然”(MLE)，另一种是“自适应”模型的使用。对于该示例实施例，采用自适应模型。自适应模型可以使用诸如卡尔曼滤波器、均方根滤波器(RMS)或最小均方滤波器(LMS)的算法的几种替代方案来实现。对于该示例实施例，我们将使用LMS方法，这是因为它仅使用乘法、减法和加法，并且这意味着在图像处理系统(1.6)上的易于实现，因为它需要更少的计算资源，并且如果需要实时实现，该因素可能是重要的。

使用自适应模型的优点之一在于两个输入变量THRi和PTTi中的小变化被不断地校正，从而减小估计中的误差。在自适应模型(8.1)的输出处，还有称为微调的另一个校正元素(8.2)。该元素考虑到环境温度，并且当分析的温度与执行校准过程时的温度非常不同的情况下进行补偿，这是因为在较低温度下血压趋于升高并在较高温度下降低。可以考虑其他环境因素，以获得更准确的血压估计数据(1.7)。

对于该实施例的自适应模型(8.1)可以需要以与相位补偿模型(5.9)相同的方式的校准过程。当执行校准过程时，信号开关(8.5)关闭，并且将基本上是实际测量的脉搏传导时间(PTTm)、心率周期(THRm)、收缩压(SBPm)和舒张压(DBPm)的校准参数(7.4)馈送至模型。参数与通过图像处理获得的参数进行比较，因此(8.1)中的算法被校准以最小化误差(8.4)。一旦为该受试者校准了自适应模型(8.1)，则校准将在后续会话中对该特定受试者有效，而不需要实际测量数据，因此开关(8.5)在该会话期间处于“关闭”位置。简单来说，血液估计模型(7.3)正在执行如(8.6)中所述的线性近似，其中在校准过程期间获得常数C0、C1、C2。(8.2)中执行的温度补偿KF也可以通过知道来自特定受试者的数据集或使用从一般人群获得的其他类型的关系来获得。对于相位补偿模型(5.9)，可以使用来自多个个体的数据，并且在其他实施例中在(8.1)中可以使用更复杂的学习类型算法，因此该通用模型可以应用于任何受试者而无需对于在优选实施例中的特定受试者所需要的先前校准。

示例实施例。本发明的方法的示例实施例包括以下步骤。捕获到受试者的脸部的视频，例如，10秒钟内的300帧，以1280x720分辨率。脸部识别和跟踪软件被用于允许在每个帧中仅保留图像中与受试者的头部相关的部分，并且从图像中去除眼睛。脸部区域(眼睛上方和下方)在第一帧中被识别。

根据下文，可以从多个帧(例如，可以使用所有帧)中估计QRS脉冲。可以选择眼睛上方的100像素和眼睛下方的1000像素。彩色图像可以转换成灰度，例如59％的绿色、30％的红色、11％的蓝色。第一帧可以被标识为参考。可以使用Lucas-Kanade方法来跟踪像素和通过比较其他帧与参考帧而确定的垂直运动。像素运动可以例如通过垂直位置的总和/2000像素来组合。可以例如通过经验模式分解(例如滤波)去除运动伪像。可以例如通过小波分解或相关性来确定QRS脉冲的位置，诸如检测能量峰值。统计模式或学习机器可用于再生成QRS脉冲。统计相位组合模型可用于相位补偿。然后得知QRS定时。

在识别出脸部区域之后，图像体积描记法可以应用于多个帧(例如，可以使用所有帧)。可以例如通过选择绿色像素来选择前额像素。可以例如通过像素的等级次序来消除噪声像素。像素可以例如通过去除平均值来被归一化。可以去除运动伪像，例如诸如滤波的我的经验模式分解。波形可以例如通过AYA Matsuyama滤波器再生。

可以确定受试者的血压。可以根据QRS脉冲位置信号的峰值之间的时间差确定心率周期。可以根据QRS脉冲位置和体积描记信号的峰值之间的时间差来确定脉搏传导时间。血压可以例如通过诸如最小均方的自适应模型或学习机器的那些来确定。

出于说明和描述的目的，提供了实施例的上述描述。其不旨在为详尽本公开或限制本公开。具体实施例的各个元素或特征通常不限于该特定实施例，而是在可应用的情况下是可互换的并且可以用在所选实施例中，即使没有具体示出或描述。在许多方面也可能有所不同。这些变化不被视为偏离本公开，并且所有这些修改旨在被包括在本公开的范围内。