用于从远程检测的特征信号中提取信息的设备和方法

文档序号:6533703阅读:165来源:国知局
用于从远程检测的特征信号中提取信息的设备和方法【专利摘要】本发明涉及用于从远程检测的特征信号中提取信息的设备和方法。可从由对象(12)发射或者反射的电磁辐射(14)导出的数据流(24)被接收。数据流(24)包括帧(66,70,92,94;108,110,112,122,124;164,66,168)序列,所述帧的至少一些包括代表可归因于对象(12)的感兴趣区域(56)的帧区段(68,72;174,180,186)。感兴趣区域(56)展示出包含生理信息(200)的连续或者离散特征信号(136;192),所述生理信息指示至少一个至少部分周期性的生命信号(20;208)。帧(66,70,92,94;108,110,112,122,124;164,66,168)序列进一步包括至少部分指示不合期望的对象运动的扰动信号部分。特征信号(136;192)可以通过从所述帧(66,70,92,94;108,110,112,122,124;164,66,168)序列的至少一些帧中通过维度降低来导出导出信号形式(78,88,98,100,102;172,176)而被稳定化。可以估计当前导出信号形式(88,98,100,102;176)相关于之前导出信号形式(78,172)的位置移位(74,178)。当前帧区段(72;180,186)可以考虑所估计的位置移位(74,178)而被确定。因此,感兴趣区域(56)可以被跟踪,以用于至少部分地补偿不合期望的对象运动。由此,扰动信号部分可以被至少部分地补偿。特征信号(136;192)可以考虑所确定的帧区段(68,72;174,180,186)序列,从帧(66,70,92,94;108,110,112,122,124;164,166,168)序列中提取。【专利说明】用于从远程检测的特征信号中提取信息的设备和方法【
技术领域
】[0001]本发明涉及用于从远程检测的特征信号中提取信息的设备和方法,其中所述特征信号嵌入在数据流中,所述数据流可从电磁辐射中导出,特别地,其中所述数据流包括连续或者离散的特征信号,其包含指示至少一个至少部分周期性的生命信号的生理信息。【
背景技术
】[0002]W02011/021128A2公开了用于图像分析的方法和系统,包含:_获得图像序列;-在图像序列的至少一个图像中执行基于视觉的分析,从而获得用于对图像中代表的主体的状态分类的数据;-确定在图像序列的至少一个图像中所代表的生物的生理参数的至少一个值,其中该生理参数的该至少一个值通过对图像数据的分析而确定,该图像数据是来自对其执行基于视觉的分析的该至少一个图像所取自的相同图像序列;-使用利用基于视觉的分析所获得的数据和该生理参数的该至少一个值,对主体的状态分类。[0003]该文档进一步公开了方法和系统的几种细化。例如,设想了远程光电容积脉搏波描记术(photoplethysmography)(PPG)分析的使用。[0004]W02011/042858A1公开了另外的方法和系统,其致力于处理包含至少一个代表生物中的周期性现象的分量的信号。在Verkruysse,W等人(2008)在OpticsExpress,OpticalSocietyofAmerica,Washington,D.C.,USA,Volume16,No.26,pages21434-21445中的"Remoteplethysmographicimagingusingambientlight"中对远程光电容积脉搏波描记术的附加基本方案进行了描述。[0005]但是,诸如捕获的、反射的或者发射的电磁辐射那样的记录的数据(例如,记录的图像帧)总是除了将从中提取的所期望的信号之外还包括从整体扰动中导出的另外的信号分量,作为示例,诸如因为改变的照度条件或者所观测的对象(object)的移动所导致的噪声。因此,对于所期望的信号的详细的、精确的提取依然对于处理这样的数据提出了重大挑战。[0006]虽然在计算性能的领域已经获得了相当大的进步,但是提供即时的图像识别和图像处理,使得能够进行所期望的生命信号的即刻的或者可以说在线的检测,依然是个挑战。这特别适用于依然缺乏充足计算能力的移动设备应用。此外,数据传输能力在几种环境中可能是受限的。例如,大量的移动用户依然依赖于所谓的"现购现付(payasyougo)"的移动合同。假设是上面的情况,则依然存在使数据量和计算成本保持较小的需求。[0007]对于这个挑战的一种可能方案可以针对当捕获感兴趣的信号(其中嵌入有所期望的信号分量)时,提供准备好的并且稳定的环境条件,以便最小化叠加在该信号上的扰动信号分量。然而,这样的实验条件不能迁移到日常的现场应用中,因为为此将需要大量的努力和准备工作。[0008]毕竟,当扰动信号分量的振幅和/或标称值比将被提取的、所期望的信号分量的振幅和/或标称值大得多时,更加难以作出生命信号检测。在远程PPG的领域,可以预见到在相应分量之间的差值的幅度甚至包括几个数量级。【
发明内容】[0009]因此,本发明的一个目的是提供用于从远程检测的特征信号中提取信息的系统和方法,从而提供进一步的细化,有助于以更高的精度和优选地以减少的计算工作来获得这些所期望的信号。[0010]此外,将有利的是,提供更进一步适配于使得能在相当不佳的环境条件下对所期望的信号进行健壮的提取的设备和方法,所述相当不佳的环境条件例如是至少部分由将被观测的对象的稳定的或者甚至是不稳定的运动造成的小的信噪比,或者由测量设备其自身的运动造成的小的信噪比。将进一步有利的是,提供适配于对影响将被处理和分析的所捕获信号的扰动较不敏感的设备。[0011]在本发明的第一方面,给出了用于从远程检测的特征信号中提取信息的设备,所述设备包括:-接口,用于接收从由对象发射或者反射的电磁辐射中可导出的数据流,所述数据流包括巾贞序列,所述巾贞的至少一些包括代表可归因于(attributableto)对象的感兴趣区域的帧区段(framesection),所述感兴趣区域展示出包含生理信息的连续或者离散特征信号,所述生理信息代表至少一个至少部分周期性的生命信号,所述帧序列进一步包括扰动信号部分,其至少部分地指示不合期望的对象运动,所述扰动信号部分不利地影响该特征信号,-稳定化处理装置,包括:-转换器,用于从所述帧序列的至少一些帧中通过维度降低来导出导出信号形式(derivativesignalform),所述导出信号形式至少包括指示位置信息的第一信号分量和第二信号分量,-比较器,用于估计当前导出信号形式相对于之前导出信号形式的位置移位,所述位置移位代表不合期望的对象运动,-补偿器,用于考虑所估计的位置移位,确定当前帧区段,所述当前帧区段至少部分地代表感兴趣区域,使得感兴趣区域可以被跟踪,从而至少部分地补偿不合期望的对象运动,-提取器,用于考虑所确定的帧区段的序列,而从帧序列提取特征信号,其中所述特征信号与代表电磁辐射的特征的信号空间相关联。[0012]对象运动对信号检测提出了重大挑战,特别是当要求即时信号检测时和/或当计算能力受限时。但是,计算能力可以被认为是对于生命信号检测的瓶颈,尤其是当利用移动设备时。此外,对象运动可能导致照明改变,并且导致相关扰动更进一步地不利地影响特征信号。因此,致力于运动补偿是有益的。[0013]上文给出的设备被配置用于执行有利的运动补偿算法。通常,运动补偿需要极大的计算能力和成本。因此,即时运动补偿很难达到,尤其是对于移动设备而言。例如,运动补偿可以基于被应用到序列的每单个帧的面部检测。因此,可以相应地跟踪将被监控和观测的对象。然而,假使是普通移动设备的计算性能,则面部检测是耗费时间的,并且对于生命信号的即时检测可能很难实现。应该理解的是,本文使用的即时检测同样包括几乎即时的检测。换言之,当用户没有注意到显著的时间延迟时,信号检测可以被认为是即时的。[0014]要理解的是,高价的当前技术水平的移动设备实际上实现了面部检测方案。然而,这些传统的方案针对独特的(或者:单个的)检测运行而不是永久的面部检测和跟踪。例如,可以利用面部检测来选择性地"解锁"锁定的设备。但是,这些方案易于出错。作为示例,在相当好的照明条件下,可以实现正面的面部检测或者靠近正面的面部检测。除此之外,由于对象不利的取向和/或不佳的照明条件,面部检测常常失败。[0015]因此,上文给出的方案是有益的,因为运动补偿不需要在每一帧(或者:在大量帧)处进行面部检测以及诸如此类的检测。这通过将根本问题转移为相当简化的"替代品"问题而达到。[0016]例如,耗费计算时间的图像处理可以被转移为处理简化的导出元素(derivativeelement)。换一种说法而言,根据优选的实施例,二维图像处理任务可以被转移成两个一维的计算任务。[0017]这个方案基于这样的见解:从给定的二维(图像)模式所导出的至少两个特征一维模式可以包括足够的位置信息,使得能估计将被观测的对象的位置移位。此外,设备不必"意识到"将被跟踪的对象的性质。但是,位置移位可以通过随着时间对特征一维模式进行观测(比较)而估计。例如,可以在感兴趣对象的观测的开始选择代表感兴趣区域的帧区段。这个选择可以人工地执行,或者通过使用模式检测算法执行。然而,初始帧区段选择可以被认为是基本上独特的过程,以便确定将被跟踪的参考区段。后续的运动补偿基于帧的替代品,包括将被跟踪的帧区段的替代品。替代品(即导出信号形式)很容易计算和处理。特别地,不必明确地对每单个帧的感兴趣区域(其在所选择的帧区段背后(behind))建模。[0018]应该注意,众所周知的模式检测方案基本需要的是:必须观测对象的某些明显不同的区域。例如,人类的面部可以被认为是这样的明显不同的区域,因为眼睛、鼻子和嘴可以通过已经在几种图像处理设备中实现的传统算法检测到,例如数码相机的面部检测和/或微笑检测功能性。然而,感兴趣的生命信号同样由对象的不同区域展示出,这些区域不是必然地必须含有对象面部。例如,远程PPG可以应用到感兴趣对象的面部的皮肤部分(而不是整个面部)、脖子、胳膊或者甚至是手。因此,上文给出的方案远比依赖于按每个图像的面部检测等等的方案灵活得多。[0019]应该进一步注意的是,根据上文给出的方案,可以使得能进行对于多于一个的感兴趣区域的跟踪。多个感兴趣区域可以属于相同或者甚至是不同的将被观测的对象。基本地,替代的导出信号形式依然包括整个帧的位置信息。因此,假设比较器和补偿器被相应地适配,则可以跟踪多于一个感兴趣区域。为了这个目的,比较器可以被配置用于估计当前导出信号形式相对于之前导出信号形式的、多于一个的特征移位。相应地,补偿器可以被配置用于考虑对将被跟踪的感兴趣区域的(一个或多个)所估计的位置移位,来确定多于一个当前的帧区段。[0020]应该理解的是,对象运动可以包括将被观测的对象相对于设备的运动,并且反之亦然,包括设备相对于感兴趣的对象的运动。因此,术语对象运动包括在感兴趣对象与设备之间的相对运动,其可以被相应地补偿。[0021]帧序列可以由一连串包括颜色信息的图像帧(诸如RGB图像)来体现。图像帧可以代表感兴趣的对象以及另外的元素。基本地,另外的元素中的至少一些不指示将从特征信号中提取的、所期望的信号。[0022]存在几种提取器和包括转换器、比较器和补偿器的稳定化处理装置的实施例。在第一个相当简单的实施例中,稳定化处理装置和提取器通过一处理单元(特别是移动设备的处理单元)体现,其由相应的逻辑命令所驱动(或者:控制)。这样的处理单元同样可以包括适当的输入和输出接口。[0023]然而,在可替换方案中,包含转换器、比较器和补偿器的稳定化处理装置以及提取器中的每一个都可以通过单独的处理单元体现(或者:控制)或者可通过相应的命令控制。因此,每个相应的处理单元可以适配于其特定的目的。因此,可以应用任务的分布,其中明显不同的任务在多处理器处理单元的信号处理器上处理(或者:执行),或者其中图像处理相关的任务在图像处理器上执行,而其它操作的任务在中央处理单元上执行。[0024]根据有利的实施例,设备进一步包括分析器,用于确定特征信号的时间的变化,以及用于检测由嵌入在特征信号中的生理信息代表的至少一个至少部分周期性的生命信号。[0025]合理的是,分析器同样由中央处理单元体现或者至少由分别通过逻辑命令控制的多处理器处理单元的一部分体现。不用说,可以先于至少一个至少部分周期性的生命信号的检测而将进一步的信号优化措施应用到特征信号。以这种方式,甚至更多的、基本上不指示所期望的生命信号的扰动信号分量可以被衰减,或者甚至从数据流中移除。[0026]根据设备的进一步的方面,转换器被配置用于沿着所述帧序列的至少一些帧的第一方向和沿着所述巾贞序列的至少一些巾贞的第二方向聚集(agglomerate)巾贞实体,以便导出导出信号形式,其中第一信号分量优选地包括帧行的维度降低的映射,而其中第二信号分量优选地包括帧列的维度降低的映射。[0027]换言之,巾贞实体可以沿着第一方向和第二方向的行投影,所述第一方向和第二方向包括不同的取向。优选地,第一方向和第二方向彼此成直角(例如,水平的和垂直的)。投影可以包括沿着帧的行和列对帧实体(例如,相应的RGB值)进行积分或者相加。[0028]当在本文中使用时,实体可以包括单个像素或者像素的子聚集。假设有实体(像素)的行和列,则帧可以包括像素模式。换言之,帧的每个都可以包括矩阵结构。在可替换方案中,帧同样可以包括蜂房结构。不必说,可以设想更多的形状。帧的行和列可以按照坐标系来安排,所述坐标系优选为笛卡尔坐标系。可替换地,还可以利用极坐标系、另外的适当的坐标系以及它们的派生物。[0029]不必说,在维度降低之前坐标变换同样可以被应用到原始的帧坐标系。因此,将被处理的帧区段可以被转移到适当的取向,使得将被处理的行和列展示出清晰的位置信息。例如,存在于帧中的、可归因于对象的(或者可归因于对象-背景的过渡)的边缘可以至少基本上与为了导出而将被处理的行或者列正交地对准(align)。一般而言,基本正交的(例如,水平的或者垂直的)边缘可能导致可以被容易地检测和处理的强的位置信息信号。同样,可归因于对象的高对比度区域导致强的位置信息信号。[0030]根据设备的另一方面,至少一个至少部分周期性的生命信号选自由心率、心跳、呼吸率、心率变异性、特劳伯一赫林一迈尔(Traube-Hering-Mayer)波和氧饱和度组成的组。[0031]有利地,这些生命信号的至少一些可以相互转换。例如,特征信号可以包括单个像素的RGB值或者展示出感兴趣对象的皮肤颜色的像素模式。这些值随着时间的轻微波动可以被称为生理信息。特征信号的处理和分析使得能进行(一个或多个)感兴趣的生命信号的检测。例如,可以分析和解译特征信号的轻微振荡,以便达成心跳或者心率信号的检测。此外,应该理解的是,一般而言(一个或多个)所期望的生命信号可以从感兴趣的对象展示出的至少一个至少部分周期性的信号中直接或者间接地导出。不用说,本发明的设备(和方法)可以与进一步的检测和分析措施相结合,以便进一步增强所提取的信号。[0032]远程光电容积脉搏波描记术可以利用几种方案,以便检测感兴趣的生命信号。例如,特别是当帧包括RGB值或者相似的颜色信息时,可以确定在红色(R)与绿色(G)信号之间的比率。该比率可以被认为是高度指示将被提取的所期望的信号的。此外,可以应用规格化,其中红色和绿色信号除以它们相应的(时间的)平均值。规格化可以使得信号分量至少部分地独立于整体扰动。根据可替换的方案,可以留意去考虑在红色(R)与红外(IR)信号之间的比率,以用于提取感兴趣的生命信号。[0033]感兴趣的生命信号可以包括离散值,例如心率值(每分钟的跳数)。在可替换的方案中,随着时间的信号波形同样可以是感兴趣的,以便允许更进一步的结论。[0034]根据所述设备的另一方面,信号空间是包括至少两个补充通道的颜色信号空间,所述至少两个补充通道与限定谱位置相关,其中特征信号包括至少两个主要分量,其每个都与相应的补充通道相关。[0035]在示范性的实施例中,信号空间可以是RGB信号空间或者相应的派生物。因此,信号空间可以包括三个分量,代表特征信号的三个主要分量的值。可替换的信号空间可以包括CIEXYZ、HSV、HSL、sRGB和xvYCC信号,或者由CIEXYZ、HSV、HSL、sRGB和xvYCC信号导出。同样也可以利用其派生物。应该注意的是,基本线性的RGB信号可以被用于所期望的信号检测。因此,可以相应地变换非线性信号空间(例如,经伽马校正的信号)。可以进一步设想的是,将几个明显不同的信号空间至少部分地组合,以便提供用于所需要的分析过程的更宽的谱基础。例如,也可以应用所谓的RGBY信号。在RGBY信号空间中,除了红色、绿色和蓝色之外,黄色信号同样可以传递颜色信息。倘若输入数据流与例如CMYK那样的主观颜色模型相关,则可以相应地转移数据,以便达成附加的信号空间。另外的谱分量可以被用来从数据流中提取(一个或多个)所期望的生命信号。在这一点上,同样可以应用红外或者近红外辐射分量。例如,在红色和红外信号之间的比率可以高度指示所期望的信号。[0036]进一步优选的是,信号空间被配置,使得至少一个部分周期性的生命信号嵌入到特征信号的至少两个主要分量的至少一个的轻微时间波动中。[0037]根据用于提取信息的设备的再一个实施例,转换器被进一步配置用于在初始阶段期间从所述帧序列的一帧中导出参考导出信号形式,所述参考导出信号形式至少包括指示参考位置信息的第一参考分量和第二参考分量,并且其中比较器进一步被配置用于在后续阶段期间估计多个后续导出的信号形式的每个相对于参考导出信号形式的位置移位。[0038]换言之,多个后续帧的每个的导出信号形式可以回溯(或者:链接)到在信号处理过程开始时处理的单个(或者:静态)参考帧。例如,可以处理序列的第一帧,以便导出(静态)参考导出信号形式。因此,参考导出信号形式(或者:第一参考分量和第二参考分量)可以被缓冲,以便提供用于稳定化处理的稳定基础。以这种方式,可以避免利用需要永久计算变化的导出信号形式作为参考的"滚动"处理过程。[0039]这是有益的,因为被损坏的帧不能作为用于导出参考导出信号形式的基础,其可阻碍确定用于随后帧的随后帧区段。当在本文中使用时,被损坏的帧可以被认为包括感兴趣区域的错误表达。例如,被损坏的帧可以包括遮挡,例如另外的对象将感兴趣的对象隐藏。被损坏的帧可以由(图像)干扰,例如噪声等等不利地影响。此外,在被损坏的帧中,感兴趣的对象可以位于帧的被捕获区域之外。而且,感兴趣的对象可以以不利的方式在被损坏的帧中被取向,例如弯曲的、扭曲的或者转向的。[0040]在这一点上,优选的是设备进一步包括被适配用于贯穿整个处理过程来缓冲参考导出信号形式的缓冲装置。以这种方式,可以提供用于移位估计和运动补偿的稳定基础。不必从与将被处理序列的每个当前帧具有设定间隔(或者:序列间距)的帧中导出参考导出信号形式。[0041]这个实施例可以进一步发展,因为稳定化处理装置被进一步配置用于触发转换器装置,使得至少一个另外的参考导出信号形式可以在随后阶段期间从帧中导出。[0042]作为示例,触发事件可以选自包括过去的时间段、若干被处理的帧和另外的处理参数的组。因此,触发事件可以基本是周期性的。另一方面,可以应用非周期性的触发。例如,可以触发转换器装置,从而在一定数量的被损坏的帧已经被处理的事件中导出新的参考导出信号。可以设想进一步的、与质量相关的触发事件。以这种方式,处理过程可以被分成几个子期间,每个子期间都具有包括参考导出信号的参考帧,所述参考导出信号作为那个特定期间用于位置移位估计的基础。优选地,同样可以允许人工触发。以这种方式,用户可以重新发起(或者:刷新)信号处理过程。[0043]根据设备的另一个实施例,稳定化处理装置进一步包括模式检测器,用于在初始阶段期间确定至少部分代表所述帧序列的至少一帧中的感兴趣区域的帧区段,使得初始帧区段可以被确定为参考帧区段。[0044]应该理解的是,同样在这个实施例中,仅仅需要将模式检测用于单个帧或者关于被处理的帧的绝对数量而言数量较少的帧(例如,参考帧)。[0045]优选地,模式检测器可以与稳定化处理装置耦合,使得触发转换器同样触发(自动的)模式检测。例如,这可以当位移估计由于被损坏的帧而失败时发起。模式检测器可以被配置用于面部检测、皮肤检测等等。[0046]根据再一个实施例,稳定化处理装置进一步包括偏置装置,用于考虑当前的绝对移位估计和/或当前移位估计的时间连贯性,校正所估计的位置移位值。[0047]所估计的位置移位值的校正可以包括减小对于移位值的影响,所述移位值从相当大的偏移量和/或时间不连贯的位移估计中导出。可以考虑几种假设来用于应用偏置功能,其中的某些将在下文中给出。[0048]根据进一步优选的方面,设备包括集成的传感器装置,其能够捕获包括帧序列的数据流。[0049]优选地,设备是移动设备,诸如移动电话、个人数字助理(PDA)、移动计算机、移动平板电脑、和/或移动的单用途或者多用途医疗扫描或者监控设备。此外,设备可以安放于车辆中,作为组成部分或者作为可拆卸的车辆设施。[0050]根据另一个实施例,用于提取信息的设备进一步包括用于选择性地衰减或者增强特征信号的分量的滤波器。[0051]例如,频率滤波器可以被用来增强带宽在0.05Hz到10Hz之间,优选地在0.5Hz到3.5Hz之间的信号分量。这可被认为是对于心跳测量特别合适的范围。对于呼吸率测量而言,例如,范围可以包括在大约0.1Hz到大约2Hz之间的频率值。对于特劳伯一赫林一迈尔波的检测而言,范围可以包括在大约〇.〇5Hz到大约0.2Hz之间的频率值。被处理信号的后置滤波可以进一步改进信噪比。以这种方式,甚至更多的不指示所期望的生命信号的扰动信号分量也可以从数据流中移除。[0052]替换地,或者附加地,可以应用递归时间滤波器。例如,设备可以进一步包括用于选择性地影响特征信号的分量的加权装置。在这一点上,要记得的是,感兴趣的生命信号被认为是嵌入在由特征信号代表的生理信息的轻微波动中。可以预期整体扰动的幅度比所期望的感兴趣信号要大得多。[0053]在本发明的进一步的方面中,给出了用于从远程检测的特征信号中提取信息的方法,包括以下步骤:-接收从由对象发射或者反射的电磁辐射可导出的数据流,所述数据流包括帧序列,所述帧的至少一些包括代表可归因于对象的感兴趣区域的帧区段,所述感兴趣区域展示出包含生理信息的连续或者离散特征信号,所述生理信息代表至少一个至少部分地周期性的生命信号,所述帧序列进一步包括至少部分指示不合期望的对象运动的扰动信号部分,所述扰动信号部分不利地影响特征信号,-将特征信号稳定化,包括:-导出从所述帧序列的至少一些帧中通过维度降低形成的导出信号,导出信号形式至少包括指示位置信息的第一信号分量和第二信号分量,-估计当前导出信号形式相对于之前导出信号形式的位置移位,所述位置移位代表不合期望的对象运动,-考虑所估计的位置移位,来确定当前帧区段,所述当前帧区段至少部分代表感兴趣区域,使得感兴趣区域可以被跟踪,以用于至少部分地补偿不合期望的对象运动,并且-考虑所确定的帧区段的序列,来从帧序列中提取那个特征信号,其中该特征信号与代表电磁辐射的特征的信号空间相关联。[0054]有利地,可以利用本发明的用于提取信息的设备来执行该方法。[0055]根据一个实施例,该方法进一步包括以下步骤:-在初始阶段期间导出从所述帧序列的一帧形成的参考导出信号,其中所述参考导出信号形式至少包括指示参考位置信息的第一参考分量和第二参考分量,并且-在后续阶段期间估计多个后续导出信号形式的每个相对于所述参考导出信号形式的位置移位。[0056]以这种方式,可以建立具有设定的(或者:静态的)参考基础段的循环功能。不需要"滚动波"控制循环。由于循环功能基本依赖于可用的参考值,所以只需要减少的计算资源。[0057]在本发明的又一方面中,提供了计算机程序,其包括用于当所述计算机程序在计算机上实行时导致计算机执行处理方法的步骤的程序代码装置。[0058]当在本文中使用时,术语计算机代表多种多样的处理设备。换言之,具有相当的计算能力的移动设备同样可以被称为计算设备,尽管它们比标准台式计算机提供更少的处理能力资源。[0059]本发明的优选实施例在从属权利要求中限定。应该理解的是,所要求保护的方法和所要求保护的计算机程序具有与所要求保护的设备和与从属设备权利要求中所限定的相似的优选实施例。【专利附图】【附图说明】[0060]本发明的这些和其它方面将根据下文描述的(一个或多个)实施例变得明显,并且参考下文描述的(一个或多个)实施例阐明。在下面的附图中:图1示出可以使用本发明的设备的一般布局的示意性图示,图2a、2b示出具有代表感兴趣区域的帧区段的帧;图3示出可以使用本发明的示范性移动设备,图4示意性地图示出具有可以应用坐标变换的某个帧区段的帧;图5a示出对其应用导出信号形式导出的帧;图5b示出具有代表对象的感兴趣区域的帧区段的另外的帧,其中对象相对于图5a中示出的相应位置移位;图6示出代表移动对象的帧序列,图7示出了代表对象的另外的帧,其中图示出示范性的感兴趣区域;图8不出代表移动对象的另外的巾贞序列,图9示出包括特征信号的信号空间的、示范性的示意性图示,图10a、10b描绘出两个图表,每个图表不出对象运动的方向性运动分量,图10c、10d描绘出两个图表,每个图表示出嵌入生理信息的特征信号,感兴趣的生命信号可以从所述特征信号中导出,以及图11示出代表根据本发明方法的实施例的几个步骤的说明性方框图。【具体实施方式】[0061]以下段落描述对远程光电容积脉搏波描记术的示范性方案,利用了本发明的设备和方法的几个方面。应该理解的是,所示出的方案的单个步骤和特征可以从相应的整体方案的上下文中提取。这些步骤和特征因此可以是依然被本发明的范围覆盖的单独实施例的一部分。[0062]图1示出用于提取信息的设备的示意性图示,所述设备由参考标记10表示。例如,设备10可以用于记录代表远程对象12的图像帧,以用于远程PPG监控。图像帧可以从由对象12发射或者反射的电磁辐射14中导出。对象12可以是人类或者动物或者一般而言,是生物。此外,对象12可以是人类的高度指示所期望的信号的一部分,例如面部部分或者一般而言,皮肤部分。[0063]诸如日光16a或者人造辐射源16b这样的辐射源以及几种辐射源的组合可以影响对象12。辐射源16a、16b基本发射照射对象的入射辐射18a、18b。为了从例如图像帧序列这样的所记录的数据中提取信息,对象12的限定部分或者局部可以被传感器装置22检测。传感器装置22可以由(作为示例)适配于捕获属于电磁辐射14的至少某个谱分量的信息的相机体现。不用说,设备10同样可以被适配成处理预先记录好的并且同时被存储和缓冲的输入信号,即输入数据流。如上文所指示的,电磁辐射14可以含有连续或者离散特征信号,其可以高度指示至少一个至少部分周期性的生命信号20。特征信号可以被嵌入在(输入)数据流24中。根据一个实施例,对于数据捕获,可以选择(或者:利用像素模式掩蔽)对象12的潜在地、高度指示性的部分。当瞬时聚集像素模式的相应的信号像素值时,可以从像素模式中导出平均像素值。以这种方式,所检测的信号可以被规格化,并且在某种程度上补偿整体的扰动。平均像素值可以由特征信号代表。感兴趣的生命信号20可以被嵌入在特征信号的轻微波动(轻微周期性的属性改变)中。在下文中,所捕获的数据流24可以被认为是对象12的某个感兴趣区域的表达,其可以覆盖聚集的像素区域,所述聚集的像素区域覆盖多个像素。在图1中,生命信号20可以允许有关于心率、心跳、心率变异性、呼吸率、或者甚至是氧饱和度的几种结论。[0064]用于获得这样的生命信号的已知方法包括触觉心率监控、心电图、或者脉搏血氧定量法。然而,为了这个目的,需要引人注目的(obtrusive)监控。如上文所指示的,一种可替换的方案针对利用图像处理方法的、不引人注目的远程测量。[0065]包括连续或者离散特征信号的数据流24可以从传感器装置22递送到接口26。不用说,缓冲装置同样可以插入到传感器装置22和接口26之间。在接口26的下游,提供稳定化处理装置28,其被适配成用于所接收的数据流24'的信号处理。基本地,信号处理可以针对运动补偿。不合期望的对象运动或者传感器装置22相对于对象12的运动依然可以对生命信号检测方案提出重大挑战。运动补偿算法本身是众所周知的,然而,其一般需要大量计算工作。尤其是对移动设备而言,存在对于需要较少计算成本的、改进的运动补偿方案的需求。[0066]按照本发明的实施例,稳定化处理装置28包括转换器30、比较器32和补偿器34。转换器30、比较器32和补偿器34的每个都可以被相同的或者明显不同的处理单元体现。换言之,根据示范性实施例,转换器30、比较器32和补偿器34的每个都可以被包括在相同处理单元的逻辑部分中。[0067]如由虚线框35、36所指示的,稳定化处理装置28可以进一步包括模式检测器35和/或偏置装置36。模式检测器35和偏置装置36两者都可以以与转换器30、比较器32和补偿器34相似的方式而被体现。[0068]假设输入数据流24、24'包括帧序列,转换器30可以被配置用于将导出信号形式从所述帧序列的至少一些帧中导出。所述导出信号形式可以是维度降低的,使得针对运动补偿的进一步处理可以得以简化。比较器32可以被配置用于估计在当前导出信号形式与之前导出信号形式之间的位置移位。所述位置移位可以代表将被补偿的对象运动。如上文提到的,之前的导出信号形式可以被存储和保留在缓冲器中,用于基于这个明显不同的(静态的)导出信号形式,处理该序列的、多于一个的后续帧。因此,比较算法的至少一部分,即参考导出信号形式的导出仅需在初始阶段期间执行一次。[0069]补偿器34可以被适配用于基于估计的位置移位,确定当前帧区段(例如,代表对象12的感兴趣区域的当前像素模式)。感兴趣区域可以以这种方式跟踪,以用于补偿不合期望的对象运动。值得一提的是,补偿器34不必"意识到"当前帧区段的背后是什么。将当前导出信号形式与之前的导出信号形式相比较基本包括对未清楚地展示出或者代表感兴趣区域的平面表达(例如,可见的图像表达)的导出物(或者:替代品)的比较。换言之,导出信号形式可以从帧中导出,而一般地,帧不能从相应的导出信号形式中导出,因为导出信号形式在维度上是降低的。因此,不需要对于将被比较用于运动估计的每单个帧进行模式检测或者面部检测。[0070]然而,稳定化处理装置28仍可以包括模式检测器35,其被适配用于模式检测,诸如面部检测和/或皮肤检测。根据优选的实施例,仅仅需要将模式检测器35用于运动补偿过程的初始阶段,以便考虑估计的位置移位来检测帧中代表感兴趣区域的某个帧区段,作为用于在后续帧中后续地确定相应帧区段的基础。[0071]在可替换的实施例中,模式检测可以由设备的用户人工地执行。例如,用户可以在代表初始帧的屏幕上掩蔽(mask)对象12的面部部分或者皮肤部分,以用于确定初始的帧区段。[0072]偏置装置36可以被配置为进一步细化位置移位估计。可以在偏置装置36中实现的示范性偏置功能将在下文中引入并且进一步解释。[0073]例如,稳定化处理装置28(更准确地:比较器32)可以被适配以便将几种匹配函数应用到所获得的导出信号形式分量中。如上文所指示的,导出信号形式可以通过沿着(图像)帧的第一和第二方向的积分投影而获得。在这方面,同样参考图5a和5b。以这种方式导出的导出信号形式分量可以被称为投影轮廓。这些投影轮廓的比较可以在不同偏移量的情况下使用各种匹配函数而执行。[0074]例如,可以应用诸如相关函数这样的统计措施。在优选的实施例中,可以使用绝对差的总和或者平均值。作为示例,沿着第一和第二方向(例如,水平和垂直方向或者X方向和y方向)的位移可以如下地从积分投影中估计出:(1)(2)【权利要求】1.用于从远程检测的特征信号中提取信息的设备,包括:-接口(26),用于接收从由对象(12)发射或者反射的电磁辐射(14)中可导出的数据流(24),所述数据流(24)包括帧(66,70,92,94;108,110,112,122,124;164,166,168)序列,所述帧中的至少一些包括代表可归因于对象(12)的感兴趣区域(56)的帧区段(68,72;174,180,186),所述感兴趣区域(56)展示出包括生理信息(200)的连续或者离散特征信号(136;192),所述生理信息(200)指示至少一个至少部分周期性的生命信号(20;208),所述帧序列进一步包括至少部分指示不合期望的对象运动的扰动信号部分,所述扰动信号部分不利地影响该特征信号(136;192),-稳定化处理装置(28),包括:-转换器(30),用于从所述帧(66,70,92,94;108,110,112,122,124;164,166,168)序列的至少一些帧中通过维度降低而导出导出信号形式(78,88,98,100,102;172,176),所述导出信号形式至少包括指示位置信息的第一信号分量(78a,88a,98a,100a,102a;172a,176a)和第二信号分量(78b,88b,98b,100b,102b;172b,176b),-比较器(32),用于估计当前导出信号形式(88,98,100,102;176)相对于之前导出信号形式(78,172)的位置移位(74,178),所述位置移位(74,178)代表不合期望的对象运动,-补偿器(34),用于考虑所估计的位置移位(74,178),确定当前帧区段(72;180,186),所述当前帧区段(72;180,186)至少部分代表感兴趣区域(56),使得感兴趣区域(56)能被跟踪,以用于至少部分补偿不合期望的对象运动,-提取器(40),用于考虑所确定的帧区段(68,72;174,180,186)的序列,从帧(66,70,92.94;108,110,112,122,124;164,166,168)序列中提取该特征信号(136;192),其中所述特征信号(136;192)与代表电磁辐射(14)的特征的信号空间(130;196)相关联。2.如权利要求1中所要求的设备,进一步包括分析器(48),用于确定特征信号(136;192)的时间变化,并且用于检测由嵌入在特征信号(136;192)中的生理信息(200)所代表的至少一个至少部分周期性的生命信号(20)。3.如权利要求1中所要求的设备,其中转换器(30)被配置用于沿着所述帧(66,70,92.94;108,110,112,122,124;164,166,168)序列的至少一些帧的第一方向(80)和沿着所述帧(66,70,92,94;108,110,112,122,124;164,166,168)序列的至少一些帧的第二方向(82)聚集帧实体,以便导出导出信号形式(78,88,98,100,102;172,176),其中所述第一信号分量(78a,88a,98a,100a,102a;172a,176a)优选地包括帧行(80)的维度降低的映射,而其中第二信号分量(78b,88b,98b,100b,102b;172b,176b)优选地包括帧列(82)的维度降低的映射。4.如权利要求1中所要求的设备,其中至少一个至少部分周期性的生命信号(20;208)选自由心率、心跳、呼吸率、心率变异性、特劳伯一赫林一迈尔波和氧饱和度组成的组。5.如权利要求1中所要求的设备,其中信号空间(130;196)是包括至少两个补充通道(134a,134b,134c)的颜色信号空间,所述至少两个补充通道(134a,134b,134c)与限定的谱部分相关,以及其中特征信号(136;192)包括至少两个主要分量(138a,138b,138c;198),其每个与相应的补充通道(134a,134b,134c)相关。6.如权利要求5中所要求的设备,其中至少部分周期性的生命信号(20)被嵌入在特征信号(136;192)的至少两个主要分量(138a,138b,138c;198)的至少一个的轻微时间波动中。7.如权利要求1中所要求的设备,其中转换器(30)被进一步配置用于在初始阶段期间从所述帧(66,70,92,94;108,110,112,122,124;164,166,168)序列的一帧中导出参考导出信号形式(78;172),所述参考导出信号形式(78;172)至少包括指示参考位置信息的第一参考分量(78a;172a)和第二参考分量(78b;172b),并且其中比较器(32)被进一步配置用于在后续阶段期间估计多个后续导出信号形式(88,98,100,102;176)的每个相对于该参考导出信号形式(78;172)的位置移位(74,178)。8.如权利要求7所要求的设备,其中稳定化处理装置(28)被进一步配置用于触发转换器装置(30),以使得至少另外的参考导出信号形式(78;172)能在后续阶段期间从帧中导出。9.如权利要求1所要求的设备,其中稳定化处理装置(28)进一步包括模式检测器(35),用于在初始阶段期间确定至少部分地代表在所述帧(66,70,92,94;108,110,112,122.124;164,166,168)序列的至少一帧中的感兴趣区域(56)的帧区段(68;116,126),使得初始帧区段(68;116,126)能被确定为参考帧区段。10.如权利要求1所要求的设备,其中稳定化处理装置(28)进一步包括偏置装置(36),用于考虑当前的绝对移位估计和/或当前移位估计的时间连贯性而校正估计的位置移位值(74,178)。11.如权利要求1所要求的设备,进一步包括集成的传感器装置(22),其能够捕获包括帧(66,70,92,94;108,110,112,122,124;164,166,168)序列的数据流(24)。12.如权利要求1所要求的设备,进一步包括滤波器(44),用于选择性地衰减或者增强所述特征信号(136;192)的分量。13.用于从远程检测的特征信号中提取信息的方法,包括以下步骤:-接收从由对象(12)发射或者反射的电磁辐射(14)中可导出的数据流(24),所述数据流(24)包括帧(66,70,92,94;108,110,112,122,124;164,166,168)序列,所述帧的至少一些包括代表可归因于对象(12)的感兴趣区域(56)的帧区段(68,72;174,180,186),所述感兴趣区域(56)展示出包括生理信息(200)的连续或者离散特征信号(136;192),所述生理信息(200)指示至少一个至少部分周期性的生命信号(20;208),所述帧(66,70,92,94;108.110.112.122.124;164,166,168)序列进一步包括至少部分指示不合期望的对象运动的扰动信号部分,所述扰动信号部分不利地影响该特征信号(136;192),-将特征信号(136;192)稳定化,包括:-从所述帧(66,70,92,94;108,110,112,122,124;164,166,168)序列的至少一些帧中通过维度降低而导出导出信号形式(78,88,98,100,102;172,176),所述导出信号形式(78,88,98,100,102;172,176)至少包括指示位置信息的第一信号分量(78a,88a,98a,100a,102a;172a,176a)和第二信号分量(78b,88b,98b,100b,102b;172b,176b),-估计当前导出信号形式(88,98,100,102;176)相对于之前导出信号形式(78,172)的位置移位(74,178),所述位置移位(74,187)代表不合期望的对象运动,-考虑所估计的位置移位(74,178),确定当前帧区段(72;180,186),所述当前帧区段(72;180,186)至少部分代表感兴趣区域(56),使得感兴趣区域(56)能被跟踪,以用于至少部分补偿不合期望的对象运动,并且-考虑所确定的帧区段(68,72;174,180,186)序列,从帧(66,70,92,94;108,110,112,122,124;164,166,168)序列中提取该特征信号(136;192),其中所述特征信号(136;192)与代表电磁辐射(14)的特征的信号空间(130;196)相关联。14.如权利要求13中所要求的方法,还包括以下步骤:-在初始阶段期间从所述帧(66,70,92,94;108,110,112,122,124;164,166,168)序列的一帧中导出参考导出信号形式(78;172),其中所述参考导出信号形式(78;172)至少包括指示参考位置信息的第一参考分量(78a;172a)和第二参考分量(78b;172b),并且-在后续阶段期间估计多个后续导出信号形式(78,88,98,100,102;172,176)的每个相对于该参考导出信号形式(78;172)的位置移位(74,178)。15.计算机程序,包括程序代码装置,用于当所述计算机程序在计算机上实行时,导致计算机实行如权利要求13中所要求的方法的步骤。【文档编号】G06T7/20GK104254876SQ201380022876【公开日】2014年12月31日申请日期:2013年4月19日优先权日:2012年5月1日【发明者】C.达卡特申请人:皇家飞利浦有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1