保留PPG相关信息的视频编码与解码设备及方法与流程

本发明涉及用于对视频数据进行编码的视频编码设备和对应的视频编码方法，通过所述设备和方法保留PPG（光体积描记成像）相关信息。进一步地，本发明涉及用于对编码视频数据进行解码的视频解码设备和对应的视频解码方法。更进一步地，本发明涉及用于对视频数据进行编码和解码的视频编码系统以及用于实现所述方法的计算机程序。

背景技术：
对能够稳定、持续地监测人类生物特征信号的技术方案的需求日益增加。这种需求的产生源于年轻一代逐渐意识到健康、积极的生活方式的重要性。而且，由于平均寿命的增加，不断老化的人口带来了更多压力，需要提供对人类日常活动的影响最小的健康监测系统。可使用不显眼的生物特征信号监测，在任意时刻提供有关身心状况的几乎即时的反馈，同时尽快评估人员健康状况。传统测量生物特征信号（例如，心率、呼吸率、血压、皮肤供氧等）的设备和方法要求用户穿戴令人不舒服的人体传感器，这些传感器会强制打扰人类正常的生活活动。因此，近几年尝试开发非接触式技术对重要人体信号进行远程监测。最近的发展显示通过针对消费电子产品（网络摄像头）或广播视频设计的成像传感器实现不显眼的远程监测。WimVerkruysse、LarsO.Svaasand和J.StuartNelson所著的“Remoteplethysmographicimagingusingambientlight”（2008年12月发表于OpticsExpress，第26刊，第16卷）中描述了被称为光体积描记成像（PPG）的肤色变化测量方法。它基于如下原理：皮肤中血量的时间变化导致皮肤的光吸收变化。此类变化可以由拍摄皮肤区（例如，面部）图像的摄像机登记，同时处理计算手动选定区域（在该系统中，通常为面颊的一部分）上的像素平均值。通过查看此平均信号的周期性变化，可以提取心率和呼吸率。用于对心跳或呼吸率信号进行远程测量的公知系统基于在图像检测之后直接对未压缩、未处理的视频序列进行分析。在多数“现实”应用中，视频序列以压缩的形式存储或传输。视频信号的压缩假定删除某些冗余的（从视觉感知角度来看）信息。不幸的是，对于视觉感知不重要的信息可能对于生物特征信号的检测关键。例如，MPEG压缩标准使用帧间预测，此预测略微改变了视频信号的时间信息。这些变化加大了检测当时的生物特征信号的难度，甚至使之变得不可能。但是，对于许多应用，从视频提取心跳信号应该在视频记录发生之后实施。在这些情况下，将处理压缩的视频。如果以高比特率压缩视频，则可以将PPG相关信息保留在编码的比特流中。但是，以低压缩率压缩视频将增加存储文件的大小或增加传输带宽。因此，需要在视频记录和压缩期间保留以离线的方式提取生物特征信号所需的信息，具体是根据其中一种传统的视频编码标准。

技术实现要素：
本发明的目标是提供一种用于对视频数据进行编码的视频编码设备和对应的视频编码方法，在无需大量其它数据的情况下通过所述设备和方法保留PPG相关信息。本发明的进一步的目标是提供一种对应的视频解码设备和方法、视频编码系统和用于实现所述方法的计算机程序。在本发明的第一方面，提出一种视频编码设备，包括：i)第一编码器，其根据第一编码方案对输入视频数据进行编码以及输出质量低于所述输入视频数据的第一编码视频数据，ii）第二编码器，其根据保留PPG相关信息的第二编码方案对输入视频数据进行编码以及输出第二编码视频数据，所述第二编码单元包括：-解码单元，其具体根据所述第一编码方案的互补解码方案对所述第一编码视频数据进行解码，以及输出中间视频数据，-减法单元，其通过确定所述中间视频数据与所述输入视频数据之差形成差分视频数据，-选择单元，其在所述差分视频数据中选择提供最强PPG信号的兴趣区域，以及-编码单元，其对所述差分视频数据的所述选定的兴趣区域进行编码以及输出它作为所述第二编码视频数据。在本发明的进一步方面，提出一种用于对编码视频数据进行解码的视频解码设备，所述编码视频数据包括根据第一编码方案进行编码并且质量低于输入视频数据的第一编码视频数据以及包括根据保留PPG相关信息的第二编码方案进行编码的第二编码视频数据，所述视频解码设备包括：i)第一解码器，其根据第一解码方案对所述第一编码视频数据进行解码以及输出第一解码视频数据，ii)第二解码器，其根据第二编码方案对所述第二编码视频数据进行解码以及输出PPG信号，所述第二解码单元包括：-解码单元，其具体根据用于对所述输入视频数据进行编码的所述第二编码方案中使用的编码方案的互补解码方案对所述第二编码视频数据进行解码，检索有关所述第一编码视频数据中选定的兴趣区域的位置的ROI信息，以及输出第二解码视频数据和所述ROI信息，-加法单元，其通过将所述第二解码视频数据和所述第一解码视频数据进行相加形成加总视频数据，-选择单元，其使用所述ROI信息在所述加总视频数据中选择兴趣区域，所述兴趣区域提供最强PPG信号，以及-PPG提取单元，其从所述加总视频数据中的所述选定的兴趣区域提取所述PPG信号。在本发明的进一步方面，提出对应的视频编码方法和对应的视频解码方法，视频编码系统以及计算机程序，所述计算机程序包括当所述计算机程序在计算机上执行时，用于使所述计算机执行所提出的方法的步骤的程序代码装置。本发明的优选实施例在从属权利要求中定义。应该理解，所声明的视频解码设备、视频编码系统、方法以及计算机程序与所声明的视频编码设备具有类似和/或相同的优选实施例，如从属权利要求中定义的那样。本发明寻求在视频压缩期间保留PPG视觉信息（例如，通过标准视频编码器），同时允许以低比特率进行压缩。优选地，本发明允许生成符合标准的编码比特流。特别提出以至少两层来压缩视频流，其中一层（下文也称为增强层，其对应于所提出的视频编码设备中的第二编码单元的输出）将包含允许从解码视频提取PPG信号的其它信息，而另一（多）层（下文也称为基层，其对应于所提出的视频编码设备中的第一编码单元的输出）将包含经过编码/压缩的视频，例如，采取常规方式，即，从感知的角度来看最理想的方式。因此，基层包括质量低于输入视频数据的第一编码视频数据。一般而言，所述低质量是低视觉质量，但是所述第一编码（例如，包括数据压缩）不一定导致视觉度降级。还可能发生PPG相关信息被所述第一编码破坏或损坏，但是视觉质量不受损失的状况，即，尽管编码已导致PPG相关信息丢失，但是观察者不一定看到所述输入视频数据与所述第一编码视频数据之间的任何视觉差别。所提出的发明基于检测PPG基本视觉信息的理念，具体是指基于对原始视频序列的分析，从而在基层中执行常规的视频序列编码和解码，以及产生包含（可能是压缩的）其它信息以实现根据上述检测更精确地表示有关PPG提取的视觉信息的增强层。具体而言，选择提供最强PPG信号的区域（即，可从中完好地提取PPG信号）以编码到所述增强层。最后，所述基层和（多个）增强层（即，第一编码视频数据和第二视频数据）可组合为单个编码视频流以存储在数据载体上，或者通过传输线路（例如因特网）或通过移动通信系统进行传输。在该上下文中，表达式“PGG相关信息”将被理解为与获取PGG信号相关的信息。此类PGG相关信息可以包括包含在原始视频数据中，不能被人眼识别的信息，例如人类皮肤的细微色变。在该上下文中，表达式“PGG信号”一般表示可通过光体积描记法（PhotoPlethysmoGraphy）分析获取的任何信号，例如时间性生物特征信号，例如心跳、心动周期、呼吸率、SpO2、麻醉深度或血容量过高或过低。在优选实施例中，所提出的视频编码设备进一步包括分析单元，其分析所述输入视频数据并确定提供最强PPG信号的兴趣区域，以及将有关所述兴趣区域的位置的ROI信息提供给所述选择单元以便在所述差分视频数据中选择所述兴趣区域。一般而言，所述选择单元适合于选择所需的兴趣区域或适合于获取信息（例如通过用户界面或根据任何较早的选择），所述区域将用作兴趣区域。在优选实施例中，提供单独的分析单元。此类分析单元例如可以包括面部和/或皮肤检测器以在视频数据中检测面部和/或皮肤区域，具体是在一个或多个图像帧中检测。优选地，最稳定的面部和/或皮肤区域被选作兴趣区域，并且为所述选择单元提供有关所述兴趣区域的位置的信息，下文称为ROI信息。此类检测器例如在PaulViola、MichaelJones的“RobustReal-timeObjectDetection”（发表于2001年在加拿大温哥华召开的第二届国际视觉统计与计算理论研讨会）中进行了描述。优选地，在实施例中，所述编码单元不仅适合于对所述差分视频数据中的所述选定的兴趣区域进行编码，而且还适合于对所述整个差分视频数据的其它区域进行编码。这样规定在视频解码设备中执行解码期间，不仅可以获取PPG信号和原始视频数据（根据所用的第一编码方案，具有低视觉质量），而且还可以从所述其它编码区域或所述整个编码的差分视频数据中获取视觉质量改善的视频数据。例如，在实施例中，可以希望在解码之后，不仅提供低质量的特定图像区域，而且还提供较高质量的特定图像区域，例如人脸。然后可将该区域选作附加区域，该附加区域在所述视频编码设备中被单独编码到所述第二编码视频数据中，以便在所述视频解码设备中，所述附加区域可以高于所述第一编码视频数据的图像质量进行解码。根据另一实施例，所述减法单元适合于通过确定所述中间视频数据的视频帧与所述输入视频数据的对应视频帧之间的基于像素的差别，形成所述差分视频数据。因此，尽管一般也可以使用基于块的差别（即，像素组之间的差别）形成所述差分视频数据，但是基于像素的差别提供最高的精确度。优选地，逐帧实现此目标，这对于所提出的方法的其它步骤以及所提出的设备也有效。有利地，所述选择单元适合于选择所述差分视频数据中的所述兴趣的所述区域的至少色度分量，具体是指仅选择所述色度分量，以及所述编码单元适合于对所述差分视频数据中的所述选定的兴趣区域的至少所述色度分量进行编码，具体是指仅对所述色度分量进行编码。这有助于减少所述第二编码视频数据中包含的数据量，这是根据本发明要实现的目标之一。但是一般而言，不仅可以选择和编码色度分量，而且还能选择和编码亮度分量，但是这样需要更多的存储空间以用于所述第二编码视频数据。然而，如果提供所述第二编码视频数据的目的只是为了使所述视频解码设备能够检索PPG信号，则一般不需要此类亮度分量。在另一实施例中，所述编码单元适合于仅对所述视频数据中的所述选定的兴趣区域的至少所述色度分量（具体是仅所述色度分量）的块间或块内DC分量进行编码。这进一步有助于减少第二编码视频数据量。PPG相关信息一般由所有像素承载，但是通常对空间信息没有太多的兴趣。相反，只需一些像素进行平均，以便改善个别像素中所需PPG信号（例如，心跳）的信噪比。PPG相关信息/PPG信号通常甚至比未压缩的8位视频信号的量化阶更小。该平均基于DC分量，不一定需要了解各个像素值，尽管这样做在包含皮肤和某些其它图像部分（例如，在面部范围）的块中有所帮助。在另一实施例中，所述编码单元适合于在所述第二编码视频数据中对有关所述输入视频数据中的所述选定的兴趣区域的位置的ROI信息进行编码，或者将该ROI信息添加到所述第二视频编码数据。虽然所述视频解码设备一般可以通过图像分析找到所述选定的兴趣区域的位置，但是在优选实施例中，会另外对对应的ROI信息进行编码，所述信息可被所述视频解码设备读取和使用。更进一步地，在实施例中，所述选择单元适合于在所述差分视频数据中选择两个或更多个提供强PPG信号的兴趣区域，以及所述编码单元适合于对所述差分视频数据的所述选定的兴趣区域进行编码以及输出它们作为所述第二编码视频数据。因此，不仅可以使用单个兴趣区域，而且还可以使用多个兴趣区域在解码期间评估和检索PPG信号，这样可增加可靠度。例如，在实施例中，PPG信号可从每个所述兴趣区域中检索，之后可以评估哪个PPG信号具有最高可靠度，或者对所有PPG信号进行平均。在解码期间，所述视频解码设备至少能够从第一和第二编码视频数据的组合中提取PPG信号。为此，PPG提取使用一般公知的方法，例如上述有关PPG成像的文章中描述的方法，或者在描述PPG基本原理的其它引文中描述的方法。但是在视频解码设备的优选实施例中，如果如上所述，对应的数据包括在所述第二编码视频数据中，则还可以检索其它区域或整个输入视频数据的增强（质量较高）视频数据。附图说明将参考下面描述的（多个）实施例阐述本发明的这些及其它方面，并且本发明的这些及其它方将变得显而易见。在下面的附图中：图1示出根据本发明的视频编码设备的第一实施例的示意框图，图2示出根据本发明的视频解码设备的第一实施例的示意框图，图3示出根据本发明的视频编码设备的第二实施例的示意框图，图4示出根据本发明的视频解码设备的第二实施例的示意框图，以及图5示出根据本发明的视频编码设备的第三实施例的示意框图。具体实施方式图1示出根据本发明的视频编码设备10的第一实施例的示意框图。根据该实施例，原始视频流100（也称为输入视频数据）由第一（例如，标准）编码器20以低比特率（或者至少是最适合于感知而不足以执行PPG提取的比特率）进行压缩，从而形成基层视频流120，在此也称为第一编码视频数据。该基层视频流120通常包含其质量将导致PPG相关信息遭到破坏的视频数据。PPG相关信息的编码和传输通过增强层完成，该层包含PPG相关信息，此信息在基层视频流120中被删除或损坏。一般而言，PPG信号只能从皮肤区域提取。而且，PPG信号质量依赖于这些皮肤区域的特定性质，例如时间稳定性、亮度水平和大小。因此，并非整个皮肤区域都同等地有助于PPG信号。在第二编码器30中，应用为在编码之后保留PPG相关信息而提供的第二编码方案，基层视频流120首先优选地根据第一编码器20执行编码时使用的第一编码方案的互补解码方案在解码单元31中进行解码，从解码单元31输出中间视频流（中间视频数据）101。在减法单元32中，通过确定所述中间视频流101与所述输入视频流100之差形成差分视频流102（差分视频数据）。一般而言，原始视频流100与解码的基层帧101之间在亮度和色度分量方面的差别可以编码在增强层视频流130中。但是，如果需要增强层视频流130只是为了在解码之后提取PPG信号，则至少（优选地为唯一的）色度分量可以编码在增强层视频流130中。优选地，产生增强层视频流130作为解码的基层视频流101与原始视频帧100之间基于像素的差别。在可选的分析单元33中，处理原始视频流100。具体而言，分析一个或多个图像帧中人类皮肤的皮肤区域，定义提供强PPG信号的兴趣区域（ROI）。该分析单元33例如可以包括传统的面部和/或皮肤检测器，该检测器搜索最稳定的面部和/或皮肤区域，因为这些稳定的区域通常被认为能提供最强PPG信号。单元33可以选择能够提供PPG信号的最小ROI。可通过分析ROI内的空间像素均匀性或通过检测优选的面部区域（例如，前额、面颊）来分析预期的PPG信号强度。分析单元33的输出是有关兴趣区域位置的信息，例如采取ROI信息的形式，此信息被提供给选择单元34以在中间视频数据102中选择兴趣区域。所述差分视频数据102的选定的兴趣区域然后在编码单元35中进行编码。最后，输出编码的兴趣区域作为第二编码视频数据130。选择单元34优选地例如根据所提供的ROI信息103选择提供最强PPG信号的像素的至少（优选地为唯一的）色度分量作为选择信号104。备选地，选择单元34本身可以分析中间视频数据102并选择合适的兴趣区域，例如通过使用图像分析装置。更进一步地，在实施例中，不仅可针对PPG提取选择单个兴趣区域，而且可以选择多个兴趣区域，具体而言是为了提高选择最佳PPG信号的能力，或者是为了对获取自不同区域的PPG信号进行平均。选定的兴趣区域通常小于对应的皮肤区域并包含提取PPG信号所需的最小数量的像素。编码器（例如，标准编码器）对选择信号进行编码，即，在该实施例中，是指将选定的ROI的色度分量104编码到增强层视频流130中。由于增强层视频流130包含相对少的像素并且优选地仅包含色度分量这样的事实，该层可以以相对高的比特率进行编码，即，几乎无损失，但是对总比特率的影响很小，即，与基层视频流120相比，只需少量的比特率或存储空间。一般而言，原始与解码的基层视频帧之间在亮度和色度分量方面的差别可以编码在增强层视频流130中。但是，如果需要增强层视频流130只是为了在解码之后提取PPG信号，则需要将至少（优选地为唯一的）色度分量编码在增强层视频流130中。优选地，产生增强层视频流130作为解码的基层与原始视频帧之间基于像素的差别。一般而言，基层视频流120和增强层视频流130可以单独进行传输（例如，通过因特网或通信网络或广播系统）和/或存储（例如，存储在记录载体上）。但是，在实施例中，基层视频流120和增强层视频流130通过组合单元40组合为进行存储和/或传输的编码器输出视频流140。为了执行该组合，存在多种选择并且可以使用多种用于组合两个视频流（更一般地说，两个数据流）的已知方法中的任意一种。一般而言，基层和增强层视频流120、130使用标准编码器进行编码，因此任何对应的标准解码器可以对每个视频流（比特流）进行解码。但是，只有根据所提出的方案（即，图1所示的可扩展视频编码设备10的互补方案）构建的视频解码设备一般可用于对PPG信号进行解码和从中检索PPG信号。视频解码设备50的示意框图的第一实施例在图2中示出。通过该视频解码设备，可根据压缩的视频流（或组合的视频流）重构PPG信号。具体而言，如果在输入端，解码器输入视频流150为应该对应于编码器输出视频流140的组合视频流（除了存储和/或传输期间引入的干扰），则在分离单元60中，检索基层视频流161和增强层视频流162，这两个视频流应该对应于基层视频流120和增强层视频流130。在第一解码器70中，具体根据第一编码器20使用的第一编码方案的互补第一解码方案对基层视频流161（也称为第一编码视频数据）进行解码。输出是应该对应于视频数据101的第一解码视频数据170。在第二解码器80中，根据第二编码方案对增强层视频流162（也称为第二编码视频数据）进行编码。第二解码器80的输出是提供视频数据中所示的人类生物特征信息的PPG信号180。因此，在该实施例中，增强层视频流130和162分别仅用于传输提取PPG信号所需的视频信息。具体而言，在解码器单元81中，优选地仅对ROI的色度分量进行解码并输出为第二解码视频数据181，从而改善示出兴趣区域的视频数据的质量。在加法单元82中，通过将所述第二解码视频数据181与所述解码的基层视频流170进行相加形成加总视频数据182。选择单元83定义（多个）区域（等于（多个）兴趣区域）183，所述区域通过增强层视频数据181进行改善，并且将用于提取（多个）PPG信号。为了定义此类兴趣区域，优选地从第一解码器获取压缩色度块的坐标，所述第一解码器例如通过读取增强层视频流162中包括的ROI信息或通过图像分析提取对应的ROI信息184。在PPG提取单元84中，将PPG信号提取算法应用于选择单元83选择的（多个）空间兴趣区域183以获取一个或多个PPG信号180。PPG提取算法可以是实时算法，也可以是具有手调参数的非实时算法。而且，本发明一般允许在记录视频数据之后，选择任何特定的生物特征信号提取方法，具体取决于特定的应用。因此，相同视频可用于提取不同的生物特征信号（例如，心率、心率变异性、SpO2、呼吸量、PPG成像）。因此，本发明在视频压缩期间修改已知的SNR或质量扩展性概念，以允许提取生命体征。在所提出的概念中，基层编码器（一般地）以相对较低的视觉质量压缩视频流，其中丢失PPG基本信息，而增强层编码器压缩残留视频数据（作为原始视频与解码的基层之间的差别获取）的一个或多个兴趣区域，其中不丢失PPG基本信息，而没有利用附加分辨率，如根据现有技术已知的那样。本发明可用于视频流式传输以及用于存储压缩的视频材料。一般而言，仅传输或解压缩基层比特流以获取具有基本质量的视频数据。只有需要从皮肤表面积提取生物特征信号时，才传输或解压缩具有PPG基本信息的增强层。通过这种方式，可实现压缩效率与压缩视频中生物特征信息保留之间的最佳平衡。根据本发明的视频编码设备10'和视频解码设备50'的另一实施例在图3和4中示出。在视频编码设备10'的实施例中，编码单元35'适合于不仅包括将PPG信号提取到增强层视频流130'所需的色度分量，而且还包括视频（或一个或多个视频帧）的更多（或全部）像素的增强信息。在这种情况下，解码的基层视频流170和解码的增强层视频流181的组合182将提供具有改进的视觉质量的增强视频序列，该视频序列可以单独发出并用作图像质量比解码的基层视频流170更高的解码视频数据。进一步地，在视频解码设备50'的实施例中，选择单元83'可以应用于增强视频流182的帧，并且可以选择正确的区域，以便单独地或者根据基层和增强层的解码器的比特预算（bit-budget）信息进行PPG信号提取。在第二种情况下，选择将更高的比特预算（即，更多比特数）用在色度分量上和/或进行块内编码的皮肤块将作为PPG信号提取的最佳之选。根据本发明的视频编码设备10''的又一实施例在图5中示意性地示出。该实施例非常类似于图1所示的视频编码设备10的实施例，但除此之外，在通过编码单元35''形成的反馈环路中提供了解码单元36和PPG信号提取单元37。该反馈环路控制分配给选定的兴趣区域104的比特数，即，控制用于对所述选定的兴趣区域104进行编码的编码设置，以确保PPG相关信息保留在编码的兴趣区域130中。因此，解码单元36对编码的兴趣区域104进行解码（应用第一编码单元30''应用的第一编码方案的互补解码方案），PPG信号提取单元37从解码的兴趣区域105提取PPG信号106。第一编码单元30''然后可以判定PPG信号是否具有足够的质量，或者用于编码的设置是否需要改变（例如，如果需要为编码的兴趣区域分配更多比特数，和/或如果压缩率需要降低）以改善所提取的PPG信号的质量。因此，可以确保在编码设备中，可以提取具有足够质量的PPG信号。总而言之，所提出的发明允许在视频压缩（解压缩）之后提取PPG信号。PPG提取算法的类型、复杂度和准确度以及PPG信号的类型（例如，心率、心率变异性、SpO2）可以根据具体的应用进行选择。例如，有些应用可能只需要提取心率信息，而其它应用可能需要逐拍精确的心跳信号和/或呼吸和/或SpO2（供氧）。而且，本发明允许以离线的方式（非实时）从压缩视频提取PPG信号，可以手动选择和调谐最佳参数。一般而言，本发明不限于特定的编码/解码方案。一般而言，第一编码方案比第二编码方案更具有损耗性。第二编码器的编码单元执行的编码例如可以使用块内和/或块间编码技术。例如，在实施例中，与增强层的选定的图像区域（兴趣区域）关联的色度信道的至少块内或块间DC分量进行无损失的编码。进一步地，在实施例中，针对选定的图像区域（以及可能是它们的邻近块）的至少色度分量关闭环内去块效应滤波器。某些标准视频编码算法对正在编码的视频应用处理，以便降低噪声级别、减少编码伪像（通过去块效应滤波器），或者通过缩小视频空间尺度优化质量与比特率之间的平衡。在本发明的实施例中，此处理不会在第二编码方案中应用于选定的图像区域的至少色度分量。尽管在附图和上述描述中详细地示出和介绍了本发明，但是这些图示和描述旨在作为举例或示意，并非作为限制；本发明不限于所公开的实施例。本领域的技术人员在实践所声明的发明时，通过研究附图、公开内容和所附权利要求，可以理解所公开的实施例的其它变形并实现这些变形。在权利要求中，单词“包括”并不排除其它元件或步骤，不定冠词“一”或“一个”不排除存在多个。单个元件或其它单元可以实现权利要求中列举的多个项的功能。在互异的从属权利要求中列举某些措施的这一事实并不指示不能有利地使用这些措施的组合。计算机程序可以存储/分布在适当的非临时介质上，例如与其它硬件一起提供或作为其它硬件的一部分提供的光存储介质或固态介质，但是也可以通过其它形式分布，例如通过因特网或其它有线或无线电信系统。权利要求中的任何参考符号都不能被视为限制本发明的范围。