用于远程测量生命体征的成像光电体积描记（IPPG）系统及方法与流程

本公开总体上涉及远程监测人的生命体征，并且更具体地，涉及用于远程测量生命体征的成像光电体积描记(ippg)系统及方法。

背景技术：

1、人的例如心率(hr)、心率变异性(hrv)、呼吸率(rr)或血氧饱和度的生命体征用作人的当前状态的指示符并用作严重医疗事件的潜在预测符。由于此原因，在住院和门诊护理环境中、在家里以及在其它健康、休闲和健身环境中广泛监测生命体征。测量生命体征的一种方法是体积描记。体积描记对应于测量人的器官或身体部位的体积变化。体积描记有多种实现方式，诸如光电体积描记(ppg)。

2、ppg是评估感兴趣区域或体积的光反射率或透射率的时变变化的光学测量技术，该时变变化可以用于检测组织的微血管床中的血液体积变化。ppg基于以下原理：血液与周围组织不同地吸收和反射光，因此伴随着每次心跳的血液体积的变化相应地影响光透射或反射。ppg通常用于无创地在皮肤表面进行测量。ppg波形包括归因于伴随着每次心跳的血液体积的心脏同步变化的脉动生理波形，并叠加在具有归因于其它因素(诸如呼吸、交感神经系统活动和温度调节)的各种低频分量的缓慢变化的基线上。

3、用于测量人的心率和(动脉)血氧饱和度的传统脉搏血氧仪附着于人的皮肤，例如指尖、耳垂或前额。因此，它们被称为“接触式”ppg装置。典型的脉搏血氧仪可以包括作为光源的绿色led、蓝色led、红色led和红外led的组合以及用于检测已经透射通过患者组织的光的一个光电二极管。传统可用的脉搏血氧仪在不同波长的测量之间快速地切换，从而测量组织的相同区域或体积在不同波长下的透射率。这称为时分复用。每个波长下随着时间的透射率产生不同波长的ppg信号。尽管接触式ppg被认为是基本无创的技术，但接触式ppg测量常常带来令人不快的体验，因为脉搏血氧仪直接附着至人，并且任何线缆都会限制移动的自由度。

4、近来，已经引入了用于不引人注目的测量的非接触式远程ppg(rppg)。rppg利用设置为远离感兴趣的人的光源，或者一般来说，辐射源。类似地，检测器(例如摄像头或光电检测器)可以设置为远离感兴趣的人。rppg由于其使用诸如摄像头之类的成像传感器，通常也称为成像ppg(ippg)。(下文中，术语“远程ppg(rppg)”和“成像ppg(ippg)”可以互换使用。)远程光电体积描记系统和装置由于它们不需要与人直接接触而被认为不引人注目，并且从这个意义上说，它们非常适合医疗应用以及非医疗日常应用。

5、基于摄像头的生命体征监测与体上传感器相比的一个优点是易于使用。因为将摄像头对准人就足够了，所以无需将传感器附着于人。基于摄像头的生命体征监测与体上传感器相比的另一优点在于：摄像头比大多包括单元件检测器的接触式传感器具有更高的空间分辨率。

6、rppg技术的挑战之一是能够在存在独特噪声源的易变环境中提供准确的测量。例如，在诸如车内环境之类的易变环境中，在驾驶期间(例如，在穿过建筑物、树木等的阴影时)，对驾驶员的照明剧烈且突然地变化，使得很难将ippg信号与其它变化区分开来。此外，由于诸如车辆运动、驾驶员环顾车辆内外(对于迎面而来的车辆、看后视镜和侧视镜)等的多种因素，驾驶员的头部和面部显著运动。

7、已经开发了若干方法来使得能够实现鲁棒的基于摄像头的生命体征测量。这些方法中的一种使用窄带主动近红外(nir)照明，其中nir照明极大减少了光照变化的不利影响。例如，在驾驶期间，这种方法能够减少光照变化(诸如阳光和阴影之间的突然变化，或穿过路灯和其它汽车前灯)的不利影响，而不影响驾驶员夜间查看的能力。然而，nir频率给ippg带来了新的挑战，包括低信噪比(snr)。其原因包括在光谱的近红外部分中，摄像头传感器的灵敏度降低，并且与血液流动相关的强度变化具有较小的幅度。因此，需要能够根据nir频率准确地估计ppg信号的rppg系统。

技术实现思路

1、因此，一些实施方式的目的是以高精度估计人的生命体征。为此，一些实施方式利用成像光电体积描记(ippg)。一些实施方式的目的还在于使用窄带近红外(nir)系统并确定减少照明变化的波长范围。附加地或另选地，一些实施方式旨在使用nir单色视频(或图像序列)来获得与人的皮肤的不同区域相关联的多维时间序列数据，并且通过使用深度神经网络(dnn)处理多维时间序列数据来准确地估计人的生命体征。

2、一些实施方式基于以下认识：可以根据nir单色视频或nir图像序列来估计人的生命体征。为此，ippg系统获得感兴趣的人(也称为“人”)的面部的nir图像序列，并将每个图像分割为多个空间区域。每个空间区域包括人的面部的小部分。ippg系统分析多个空间区域中的每个区域中的皮肤颜色或强度的变化，以估计人的生命体征。

3、为此，ippg系统生成多维时间序列信号，其中多维信号在每个时刻的维度对应于空间区域的数量，并且每个时间点对应于图像序列中的一个图像。然后，多维时间序列信号被提供给基于深度神经网络(dnn)的模块，以估计人的生命体征。基于dnn的模块将时间序列u网架构应用于多维时间序列数据，其中u网架构的贯通连接被修改以合并用于nir成像ppg的时间递归。

4、一些实施方式基于以下认识：在u网神经网络的贯通层中使用递归神经网络(rnn)来顺序地处理多维时间序列信号能够使得更准确地估计人的生命体征。

5、一些实施方式基于以下认识：在人的皮肤的强度(例如，nir图像中的像素强度)的测量结果中ppg信号对噪声的敏感性至少部分地是由根据在不同空间位置(或空间区域)测量到的人的皮肤的强度来独立地估计光电体积描记(ppg)信号而导致的。一些实施方式基于以下认识：在不同位置处，例如，在人的皮肤的不同区域处，测量强度可能经受不同的测量噪声。当根据每个位置处的强度独立地估计ppg信号时(例如，独立于来自其它皮肤区域的强度或估计信号来估计根据一个皮肤区域处的强度而估计的ppg信号)，不同估计的独立性可能导致估计器无法识别这种噪声。

6、一些实施方式基于以下认识：在人的皮肤的不同空间区域处测量的强度可能受到不同的且有时甚至不相关的噪声的影响。噪声包括照明变化、人的运动等中的一项或更多项。相比之下，心跳是存在于皮肤的不同区域中的强度变化的公共源。因此，当独立估计被替换为根据在人的皮肤的不同区域处的强度而测量到的ppg信号的联合估计时，能够减少噪声对生命体征的估计质量的影响。以此方式，一些实施方式能够提取对于许多皮肤区域(包括也可能包含相当大的噪声的区域)所共有的ppg信号，同时忽略许多皮肤区域之间不共享的噪声信号。

7、一些实施方式基于以下认识：统一估计不同皮肤区域的ppg信号可以是有益的，因为通过统一估计不同皮肤区域的ppg信号，减少了影响生命体征的估计的噪声。一些实施方式基于以下认识：两种类型的噪声正作用于皮肤的强度，即，外部噪声和内部噪声。由于诸如光照变化、人的运动以及测量强度的传感器的分辨率之类的外部因素，外部噪声会影响皮肤的强度。由于诸如心血管血流对人的皮肤的不同区域的外观的不同影响之类的内部因素，内部噪声影响皮肤的强度。例如，相比于心跳对鼻子强度的影响，心跳能够更大地影响人的前额和脸颊的强度。

8、一些实施方式基于以下认识：能够在强度测量的频域中解决两种类型的噪声。具体来说，外部噪声通常是非周期性的或者具有与感兴趣的信号(例如，博动信号)的频率不同的周期性频率，因此能够在频域中检测外部噪声。另一方面，内部噪声虽然在皮肤的不同区域中导致强度变化或强度变化的时移，但在频域中保留了强度变化的公共源的周期性。

9、一些实施方式旨在即使在存在剧烈照明变化的不稳定环境中也提供对生命体征的准确估计。例如，在诸如车内环境之类的不稳定环境中，一些实施方式提供了适合于估计车辆的驾驶员或乘客的生命体征的rppg系统。然而，在驾驶期间，对人的面部的照明可能急剧变化。为了解决这些挑战，附加地或另选地，一个实施方式使用窄光谱带中的有源车内照明，在该窄光谱带中阳光、路灯以及前灯和尾灯光谱能量都是最小的。例如，由于环境中存在水，到达地球表面的阳光在940nm的nir波长附近比其在其它波长处具有更少的能量。路灯和车灯输出的光通常在可见光谱内，在红外频率下功率非常小。为此，一个实施方式使用在940nm处或附近的有源窄带照明源和相同频率的摄像头滤波器，这确保滤除由于周围环境照明而引起的照明变化。此外，由于该窄频带超出了可见范围，因此人类感知不到该光源，并且因此不会因其存在而分散注意力。此外，有源照明中使用的光源的带宽越窄，摄像头上的带通滤波器可以越窄，这进一步抑制了由于周围照明而引起的强度变化。

10、因此，一个实施方式使用窄带宽(narrow band)近红外(nir)光源，其以包括940nm的近红外波长的窄频带对人的皮肤进行照明；以及nir摄像头，其具有与窄带光源的波长交叠的窄带滤波器，以测量皮肤的不同区域在窄频带内的强度。

11、一个实施方式公开了一种用于根据人的皮肤图像估计人的生命体征的成像光电体积描记(ippg)系统，其包括：至少一个处理器；以及上面存储有指令的存储器，在指令由至少一个处理器执行时使得ippg系统：接收人的皮肤的不同区域的图像序列，每个区域包括指示皮肤的颜色变化的不同强度的像素；将图像序列变换为多维时间序列信号，每个维度对应于皮肤的不同区域当中的不同的区域；用时间序列u网神经网络处理多维时间序列信号，以生成ppg波形，其中时间序列u网神经网络的u形状包括由一系列收缩层形成的收缩路径和跟在后面的由一系列扩张层形成的扩张路径，其中收缩层中的至少一些收缩层对其输入进行下采样，并且扩张层中的至少一些扩张层对其输入进行上采样，形成相应分辨率的收缩层和扩张层的对，其中相应的收缩层和扩张层中的至少一些通过贯通层连接。此外，贯通层中的至少一个包括顺序地处理其输入的递归神经网络。至少一个处理器还被配置为：基于ppg波形估计人的生命体征；以及呈现估计出的人的生命体征。

12、另一实施方式公开了一种用于估计人的生命体征的方法，该方法包括：接收人的皮肤的不同区域的图像序列，每个区域包括指示皮肤的颜色变化的不同强度的像素；将图像序列变换为多维时间序列信号，每个维度对应于皮肤的不同区域当中的不同的区域；用时间序列u网神经网络处理多维时间序列信号，以生成ppg波形，其中时间序列u网神经网络的u形状包括由一系列收缩层形成的收缩路径和跟在后面的、由一系列扩张层形成的扩张路径，其中收缩层中的至少一些收缩层对其输入进行下采样，并且扩张层中的至少一些扩张层对其输入进行上采样，形成相应分辨率的收缩层和扩张层的对，其中相应的收缩层和扩张层中的至少一些通过贯通层连接，并且其中贯通层中的每一个包括顺序地处理其输入的递归神经网络。该方法还包括：基于ppg波形估计人的生命体征；以及呈现估计出的人的生命体征。