从视频序列中提取生理信息的系统和方法与流程

本发明涉及从视频序列中提取信息，尤其涉及生理相关信息(通常称为生命体征)的提取。

背景技术：

可以分析活着的对象的视频序列并检测作为对象的生理过程的结果的图像中的细微变化。这些生理过程包括血液流动、呼吸和出汗。

通过皮肤反射变化可以观察到特定生理过程。人体皮肤可以被建模为具有至少两层的对象，其中一层是表皮(薄表面层)而另一层是真皮(表皮下面的较厚层)。特定百分比5％的入射光线在皮肤表面被反射。剩余的光在两个皮肤层内被散射和吸收，这种现象称为体反射(在二色反射模型中描述)。通常存在于表皮和真皮边界的黑色素表现得像光学滤波器，主要吸收光。在真皮中，光被散射和吸收。吸收取决于血液成分，因此吸收对血流变化敏感。真皮包含密集的血管网络，约占成人总血管网络的10％。这些血管根据体内的血流收缩和扩张。它们因此改变了真皮的结构，这影响了皮肤层的反射率。

其他生理过程(例如呼吸)会导致患者的表面移动。

其他生理过程(例如，血液中氧合水平的变化)可能会表现为小的颜色变化。

可以检测和提取在这些变化中具有某些周期性内容的信号，并从中获得诸如周期性过程情况下的频率的结果。例如，可以用环境光照射对象并使用摄像机拍摄。通过分析图像序列的帧之间的对应像素的值的变化，可以提取时变信号。可以使用诸如快速傅立叶变换之类的方法将该信号变换为类频域，并且可以从频域光谱中将对象的心率的值作为生理学测量结果来得到。这些生理测量通常被称为生命体征。

像素值的变化通常较小，并且通常在一个颜色通道中比其他颜色通道更明显。因此，所寻找的信号相应地较小。

像素值可能会有其他变化，例如由于总体图像的变化而引起的变化，与信号相比，这些变化可能很大。还存在像素值的随机变化的来源，例如对象的运动、照明的改变(例如闪烁)和图像传感器中的噪声以及照明的变异性。从所有意图和目的来看，所有这些都与正在寻找的信号无关。因此，信噪比很小，并且可能难以获得有意义的生理测量结果。

技术实现要素：

提供了一种提取生理信息的方法，所述方法包括：在限定的时间段内，提取时域形式的多个信号段，选择所述多个信号段的子集，其中，选择包括：拒绝具有高的最大信号水平的段；转换至少所述子集以产生多个经变换的信号段；并且组合所述多个经变换的信号段的至少所述子集以产生组合的信号段。

这样做的好处是，通过删除受原始信号段影响最严重的部分，可以减少运动和/或照明引起的变化对最终结果的影响。

根据一个实施例，所述方法包括拒绝具有大于阈值的最大信号水平的段。这利用了这样一个事实，即包含生理信息的感兴趣信号是小的，并且因此可以认为大的信号是由于运动或照明变化引起的。

根据一个实施例，选择包括利用与其最大信号水平具有逆关系的权重对片段进行加权。这具有不需要硬阈值的优点，所述阈值可能难以令人满意地设置。

根据一个实施例，所述逆关系具有幂律或倒指数的形式，其优点是与大信号水平相比，对于小的信号水平提供强的选择性。

根据一个实施例，使用功率谱密度函数、自相关函数或傅立叶变换中的一种来执行该转换，所述功率谱密度函数、自相关函数或傅立叶变换提供类似频率域中的信号，从所述信号中可以提取出频率形式的生理信息。

根据一个实施例，所述信号段的组合包括对所述信号段求平均，所述信号段提供了具有进一步降低了不想要的分量的水平的信号。

根据一个实施例，所述方法还包括重复以上描述的方法至少一次，在每个重复中存储组合信号段以产生多个组合信号段，并且平均多个组合信号段以产生最终组合信号。这提供了对不需要的分量的进一步减少。

根据一个实施例，从先前存储的组合信号段中导出用于对多个组合信号段进行平均的设置。这允许自适应滤波或平均，其有助于减少不需要的分量。

根据一个实施例，所述方法还包括执行组合信号的插值，所述插值提供对不需要的分量减小的进一步的平滑。

根据一个实施例，所述方法还包括提取表示生理信息的值，所述值然后可以被提供为输出。

根据一个实施例，所述方法还包括采集视频帧序列，并且使用远程光电体积描记术来执行对多个信号段的提取。这具有提供用于分析的信号的非接触(或非侵入性)方法的优点，并且可以使用摄像机来执行。

提供了一种用于提取表示生命体征的生理信息的系统，所述系统包括：信号提取单元，其被配置为在限定的时间段内提取时域形式的多个信号段；选择单元，其被配置为选择所述多个信号段的子集，其中，所述选择包括拒绝具有高的最大信号水平的段；转换单元，其被配置为转换至少所述子集以产生多个经变换的信号段；以及组合单元，其配置为组合所述多个经变换的信号段的至少所述子集以产生组合的信号段。

根据一个实施例，所述系统的组合单元还包括时间平均单元，所述时间平均单元被配置为存储组合的信号段、存储内插设置、应用那些存储的设置以对随后的组合信号段进行内插以及组合所存储的组合信号段。这样可以通过较长时间的平均来减少不必要的分量。

提供了一种存储在计算机可读介质上的计算机程序软件产品，所述计算机程序软件产品被配置为当在处理器上执行时，运行本文中所描述的方法。这允许通用计算机在链接到摄像机时操作本文中所描述的方法。

提供了一种包括如本文所述的系统的生理测量设备。

附图说明

参考随附的附图，通过设备和方法的实施例的说明性和非限制性详细描述，将更好地理解所公开的系统和方法的上述以及其他目的、特征和优点，其中：

图1表示根据实施例的用于测量对象的生理信息的设置。

图2表示根据实施例的视频序列处理链。

图3表示根据实施例的执行测量的情况。

图4表示根据提取生理信息的实施例的过程。

图5表示根据实施例的权重的曲线，用于应用到信号段的幅值。

图6表示根据实施例的方法的流程。

具体实施方式

在以下描述中，相同的附图标记表示相同的元件。

图1表示用于测量对象1的生理过程并提取生理信息或生命体征的设置。光源2(可以是人造的也可以是自然的)照亮对象1。摄像机3记录视频帧的序列并将其馈送到处理单元(pa)4，所述处理单元提取生命体征，并且继而向显示器5提供输出。显示器5可以单独地仅显示来自信号分析单元4的生理信息或与视频序列组合地显示。

图2表示根据实施例的处理链20，其被配置为提取生理信息。处理链40可以方便地实现为处理设备4的一部分。输入(ip)21接收视频序列，并将视频序列的帧传递到区段选择单元22(roi)，区段选择单元22选择要跟踪的视频序列的图像中的区段或roi。可能有一个或多个区段被选择用于后续处理。区段选择单元22将一系列区段馈送到信号提取器23(ex)。信号提取器23对信号执行操作，以获得感兴趣的随时间变化的信号。这些操作可以包括对颜色通道的组合和/或对信号的归一化。执行运动补偿可能是有利的，因此可能将区段的序列分解为更短的序列，以使运动补偿的任务更容易。然后将所提取的随时间变化的信号馈送到分解单元(dc)24，所述分解单元对信号进行分解，以便能够去除dc分量并进行一些清洁。清洁可能涉及去除高频噪声(通过低通滤波)、去除干扰成分(例如中值滤波引起的尖峰)或拒绝具有较大信号不连续性的信号。然后，将清洁后的信号馈送到信号选择单元(sel)25，其将在信号中选择将用于进一步处理的信号。转换单元(conv)26执行对时变信号的变换，从而允许提取信号的周期性特性，所述周期性特性表示生理信息或生命体征。然后，将经变换的信号馈送到组合单元(ic)27，所述组合单元将经变换的信号组合成单个信号，并且将该单个信号馈送到生理测量提取器(pre)28，pre28从该单个信号中提取生理测量结果。

因此，存在一种提取一时间段上的生理信息的方法，所述方法包括：提取时域形式的多个信号段，根据其最大信号水平选择所述多个信号段的子集，并且然后转换至少一个所述子集以产生多个经变换的信号段，并且然后组合多个所述多个经变换的信号段的至少所述子集以产生组合的信号段。

可以在运行适当软件的一个或多个通用处理器中实现处理链20。这样做的优点是可以使用预先存在的硬件，并且允许后续的修改和调整。但是，这可能导致解决方案比模式专用的解决方案更慢和/或更昂贵。替代地，个体部件中的一些或全部可以在被实现为运行被设计为实现相关功能的固件的微控制器。当生产量足够高时，该解决方案的价格可能会更低。还有另一种可能性是在专用硬件中实现功能。批量生产时，这通常更便宜，并且单位成本的处理速度更高。

使用多种方法中的一种或多种来选择区段。过程，有时称为“分段”，被执行。通过选择感兴趣的常规区域可以方便地开始。只要血流是感兴趣生理过程，面部就适合，因此可以使用面部识别算法。viola,p.和jones,m.j.的“robustreal-timeobjectdetection”,proc.ofieeeworkshoponstatisticalandcomputationaltheoriesofvision(2001年，7月13日)中描述了用于实现面部检测的合适算法。还存在用于识别形状和颜色图案的替代算法，并且这些算法可用于检测面部区域。对于诸如呼吸的其他过程，可以使用用于识别胸部的其他方法。

图3表示使用选定区域30(在这种情况下是对象1的脸)的示例性情况。已经选择了多个区段31，从所述多个区段己经在一段时间内提取了随时间变化的信号32。虽然时变信号32已经在名义上同时被提取，但是它们不是完全同步的。因此，尽管这些时变信号32包含相同的生理信息，但是在时域中将它们组合是无效的。另外，如前所述，出于运动补偿的目的，可以将来自每个区段31的时变信号32收集为较长时间段内的一系列信号段，以将这些信号段组合成单个信号。

图4表示如上所述但是更加详细的根据实施例的过程或方法。从选择区域30上的多个区段31a、31b，在一系列时隙t1、t2、t3上，提取并收集时变信号节段的多个序列sa1-n、sb1-n。时变信号sa1-n、sb1-n中的每一个均由分解单元24分别处理，所述分解单元24执行dc去除和清洁。选择单元25从各个时变信号段sa1-n、sb1-n中选择最终将被组合以提取生理信息的优选信号段。

执行选择以便去除那些将降低总信噪比的信号段。发明人已经发现，问题的重要根源是来自如下的区段的那些信号段，在所述信号区段中可以观察到对象1的运动或照明的变化，并且可以通过从其提取的时变信号的幅值来识别这些区段。发明人已经做出令人惊讶的观察，即太大的幅度指示存在问题，特别是运动或照明变化伪迹。这在某种程度上与直觉相反，因为通常寻求更大的信噪比，本领域技术人员将偏好更大的信号幅度而拒绝那些具有较小幅度的信号。选择过程有各种实施例。首先，可以以多种方式来评估区段。可以使用在关注的时间段内区段中像素值的标准偏差，因为这与从中提取的时变信号的幅值有关。另一种可能性是评估信号的总功率或能量，所述总功率或能量由区段的像素值随时间的变化给出。这些优点是易于集成到信号处理链中，因为此类功能也用于运动跟踪。另一可能性是评估实际时变信号段中的最大信号幅值，这是更直接的并且可能更容易调谐，但是需要额外的功能和处理。在通过检查区段的像素值执行选择的情况下，可以在信号提取之前进行选择，这可以节省一些处理能力。

接下来，将评估结果用于选择。该选择可以被认为是拒绝具有较高最大信号水平的信号段，而倾向于具有较低最大信号水平的信号段。这可以是选择最大阈值，并拒绝所有超过此阈值的情况。另一种选择是将权重应用于各个时变信号段，其中权重与信号幅度(测量或推断)具有逆关系。也可以使用非线性但具有幂律形式的关系，例如

f(x)＝ax^-k[1]或者逆指数形式

f(x)＝ae^-bx[2]

可以调节线性比例因子a、幂律指数和指数比例因子以给出期望的结果。

图5是表示两种方便的加权方法的结果的曲线。它显示了权重值与阈值相对于幅值的比率。这些方式具有以下关系：

以及

其中，t为阈值并且pi是信号段反射的第i个信号的幅值的特征，来自1到n的组si的信号段。对于低于阈值t的振幅pi，权重基本上等于1。对于高于t的振幅，权重显示出作为幅值的函数的强烈下降。特征pi可以是随时间变化的像素值的统计特性，例如由像素值随时间的变化给出的信号的标准偏差或总功率。

该阈值可以通过在制造时运行的校准例程来设置。这具有易于实现且成本较低的优点。另一种方法是安排系统运行训练例程或序列，阈值是通过以下方式来设置的：检查实际生命体征结果并相应地调整阈值。这种调整可以在技术人员的控制下，也可以在系统本身的自动控制下进行。在使用自动控制的情况下，可以将调整例程安排为长时间使用，或者直到系统发现所获得的阈值不再变化为止。

使用这种加权技术，尤其是使用非线性函数，具有以下优点：可以拒绝偏远的值，即非常大的值，同时降低了准确确定最佳参数(可能因情况或设备特性而异)的困难，因为它们更“软”地操作。但是，也可以将选择方法(例如使用阈值)和线性和/或非线性加权方法进行组合。这样做的优势是计算速度快，因为不需要极端的结果，而无需计算权重，从而节省了时间和计算量。

然后，所选的时变信号段sa1-n、sb1-n被转换单元25变换成如下形式的经变换的信号段ta1-n、tb1-n：从其可以提取主导频率或周期性。通过使用离散或快速傅立叶变换(dft或fft)的方法，可以将此类操作变换为频谱，即频域。从频谱中，dc分量和其他被认为是带外的分量可能会被丢弃，并且峰值对应于相关生理过程的基本频率。

对于n个复数xn的序列，dft可以被表示为：

另一种方法可以是使用自相关或acf(有时也称为互自相关或串行相关)函数来获得指示准周期信号的结果。通过说明的方式，针对已经进行了n次观测并且有平均值μ和方差σ²的信号的自相关函数的估计的一个通用形成：

其中，k是小于n的整数。

根据自相关的峰之间的时间滞后的倒数，可以导出周期信号的频率。

第三种方法可以是使用功率谱密度函数(psdf)。此函数表示信号功率的频率分布。有时将其定义或表示为，针对信号的样本的有限的时间序列xn，样本为离散时间xn＝x(nδt)处的，总时间段t＝nδt：

其中，n在1到n之间。

当在系统上实施它们以提取生理信息时，改变以上表达式或选择不同的公式(可能具有其他项)，可能是有用的。

另一种可能性是拉普拉斯变换，所述拉普拉斯变换也可以用于从其时域形式获得信号的频域表示。

存在其他可能性，例如多信号分类(music)算法、节距检测算法(pda)、平均幅值差函数(admf)、均方差均方函数(asdmf)。还有分别称为yin算法和mpm算法的算法。

也可能使用多种变换方法。为了确认和判断结果的质量，这将允许比较结果。在质量太低的情况下，可以执行具有更严格标准的重新选择(例如，较低的阈值，调整系数以给出较高的非线性度)。

应当注意，根据信号段的最大幅度选择信号段的步骤也可以在频域中执行，即在变换之后。这样的优点是稍微简化了选择，但付出了额外的计算量转换段的代价，否则这些段将被拒绝。

接下来，经变换的信号段ta1-n、tb1-n被组合单元27组合成组合信号段cs1-n。在这一点上，组合信号段cs1-n仍对应于它们从其进入的时间段t1-n，在先前所述的选择过程中可能已经发生一些消除的限度内。应当理解，可以将各个信号段平均在一起的组合现在是可能的，因为该变换已经去除了阻止时域表示的组合的相对相位信息。这样做的优点是减少了转换过程中引入的其他不想要的成分，例如噪声、失真或伪影。

组合信号段cs1-n，其己经随时间被收集，被进一步组合成最终的组合信号41，通过找到主导频率或周期性分量可以从其导出生理信息。在该组合步骤中，可以通过对一段时间内收集的组合信号段csn进行平均(加权)来降低噪声。这可以被视为对信号段的每个元素执行相同的时间滤波。该滤波可以实现为fir或iir滤波器。fir和iir滤波器将给出不同的结果，并且根据不同的约束条件进行选择——例如，对线性相位的要求可能会导致fir更多。这样的选择在技术人员的能力范围内。进行插值以提高分辨率是有利的。合适的插值方法的示例是线性、多项式或样条曲线。这两个步骤可以被组合，并且因此组合单元用作时间平均单元，所述时间平均单元被配置为存储组合的信号段，存储内插值，存储滤波器状态以及组合组合的信号元素。可以自适应地控制滤波器设置。如果具有短时间常数的滤波器已经提供了所关注生理特征的清晰指示(例如，血流体积脉冲的频率或重复率)，则可以选择并使用此设置。但是，如果感兴趣的特征在输出信号中不够突出，则可以选择较大的时间常数(即其他滤波器系数)。判定方法可以简单到将针对特征获得的值与阈值进行比较。例如，在特征是与傅立叶变换中的最高峰值相关联的频率的情况下，可以确定相对于背景水平(环境)的峰值，并将其用作控制变量。因此，通过使用的函数输出的结果中的局部对比度测量值来控制滤镜设置。在acf中搜索延迟时，可以使用类似的机制。使用较小的时间常数可带来更快获得结果(即，更少的等待时间)和/或降低计算量的优势。使用更长的时间常数可能会更准确或给出更稳定的结果。可以在设备启动时使用校准例程来选择阈值，这将具有趋于给出更高准确度但需要更多时间和设备复杂性的优点。或者，可以通过设计或在制造时设置阈值，这会更便宜。该过程用于进一步减少不需要的成分。

图6以流程的形式表示上述方法。在步骤50，接收视频序列的输入。在步骤51，提取时变信号段。在步骤52，时变信号段被清除并且dc分量被去除。在步骤53，如上所述，在时变信号段中进行选择。在步骤54，将时变信号段转换为频率或周期表示，并且将来自给定时隙的经转换后的信号段进行组合。在步骤55，存储组合的信号段。在步骤56，从组合的信号段导出内插参数并存储。在步骤57，使用先前存储的参数来执行对当前变换的信号段的内插。在步骤58，将内插的存储信号段组合成最终信号。在步骤59，从最终信号中提取生理信息。

应当注意，上面提及的实施例范例而不是限制本发明，并且本领域技术人员能够设计出许多替代实施例而不脱离所附权利要求的范围。此外，在许多情况下，呈现为替代的实施例可以全部或部分地组合。

在权利要求中，置于括号中的任何附图标记不应构成对权利要求的限制。在权利要求中，动词“包括”及其连接词不排除存在权利要求中陈述的元件或步骤之外的元件或步骤。元件前的词语“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括若干不同元件的硬件来实施，以及借助于适当地编程的计算机或处理单元来实施。在枚举了若干单元的装置型权利要求中，这些单元中的几个可以由同一硬件项来实现。尽管特定措施是在互不相同的从属权利要求中记载的，但是这并不指示不能有利地使用这些措施的组合。

本发明的各方面可以在计算机程序产品中实现，所述计算机程序产品可以是存储在计算机可读存储设备上的计算机程序指令的集合，所述计算机可读存储设备可以由计算机执行。本发明的指令可以是任何可解释的或可执行的代码机制，包括但不限于脚本，可解释的程序，动态链接库(dll)或java类。指令可以作为完整的可执行程序，部分可执行程序，作为对现有程序的修改(例如更新)或对现有程序的扩展(例如插件)来提供。而且，本发明的处理的部分可以分布在多个计算机或处理器上。

适用于存储计算机程序指令的存储介质包括所有形式的非易失性存储器，包括但不限于eprom、eeprom和闪存设备，诸如内部和外部硬盘驱动器的磁盘、可移动磁盘和cd-rom盘。计算机程序产品可以分布在这样的存储介质上，或者可以通过http、ftp、电子邮件或通过连接到诸如因特网的网络的服务器提供下载。