用于确定对象的呼吸信息的设备、系统和方法与流程

本发明涉及一种用于确定对象(特别是人类或动物)的呼吸信息的设备、系统和方法。

背景技术：

1、呼吸速率(rr)是最关键的生命体征之一，其恶化可以指示需要立即的动作。尽管对象运动通常示出呼吸的迹象，但是它是作为最具信息性的测量结果的流动，因为呼吸运动可以在气道阻塞的情况下(如在例如睡眠呼吸暂停中)继续。在睡眠期间非侵扰地测量这些呼吸暂停事件是当前未满足的需要。

2、呼吸暂停被定义为在婴儿的情况下伴随有心动过缓和/或去饱和的情况下呼吸停止持续至少20s或10s，并且它通常被称为早产儿呼吸暂停。在成人中，术语睡眠呼吸障碍通常用于包括呼吸暂停发生和呼吸不足。

3、在新生儿重症监护病房(nicu)中，监测呼吸的标准方法是胸阻抗或阻抗呼吸描记术。成人的黄金标准代替地是多导睡眠图(psg)。这需要使用若干传感器来准确地监测患者的生命体征。在psg期间，使用靠近于鼻孔和/或嘴的热敏电阻器以及两个带子(胸部和腹部)来监测呼吸流动和运动两者，从而监测呼吸移动。

4、对监测呼吸流动和运动两者的需要是由特定类型的呼吸暂停的差异引起的。在婴儿和成人中，呼吸暂停通常可以分为中枢性呼吸暂停、阻塞性呼吸暂停和混合性呼吸暂停。中枢性呼吸暂停导致呼吸的完全缺乏，其因此在呼吸流动和运动两者中都是可见的。阻塞性呼吸暂停是一种类型的呼吸暂停，在此期间呼吸努力仍然是明显的，但是流动完全不存在。混合性呼吸暂停是其他两种呼吸暂停的混合。为了检测和分类呼吸暂停的类型，需要监测呼吸流动和呼吸运动两者。

5、然而，当前可用的监测呼吸的方法和技术是侵扰性的，并且能够引起不适和皮肤刺激并干扰患者的睡眠。因此，非侵扰的解决方案被认为是接触方法的替代。在非侵扰的技术的类别内，热相机的使用是能够监测呼吸流动和运动两者的唯一一种，而呼吸运动可以使用可见光、近红外(nir)中的不同成像技术并且使用雷达来检测。

6、热相机可以是用于呼吸流动和运动的接触监测方法的备选方案。然而，为了获得将允许检测呼吸暂停的呼吸流动信号，通常需要身体界标检测。已知的解决方案将来自热呼吸流动和运动的贡献分开。这些需要仅使用热相机或通过将它与另一类型的相机(诸如rbg或nir相机)组合来检测身体部分。对特定身体部分的检测是相当复杂的，并且可能太脆弱而不能依赖于医院环境。覆盖身体的毯子或床单的存在以及若干睡眠位置在成人的情况下增加了这种复杂性，并且在婴儿的情况下甚至更是如此。

7、已经提出了在相机中自动选择包含呼吸信息的像素的解决方案，以避免对界标的识别。但是，当在热视频上使用时，这些方法不能区分呼吸流动和运动贡献。因此，输出将是流动和运动信号的混合，这不允许准确地识别呼吸暂停。

8、lorato ilde等人的“multi-camera infrared thermography for infantrespiration monitoring”(biomedical optics express，第11卷，第9号，2020年9月1日)公开了一种用于合并多个热相机视图并使用三个特征自动检测包含呼吸运动或流动的像素的算法。

技术实现思路

1、本发明的目的是提供一种用于以非侵扰且准确的方式确定对象的呼吸信息的设备、系统和方法。

2、在本发明的第一方面中，提出了一种用于确定对象的呼吸信息的设备，包括：

3、图像输入部，其被配置为获得所述对象的热图像，所述热图像示出所述对象的面部区和/或其周围的至少部分；

4、处理单元，其被配置为根据所述热图像来确定所述对象的呼吸信息；以及

5、输出部，其被配置为输出所确定的所述对象的呼吸信息，

6、其中，所述处理单元被配置为通过以下操作来确定所述对象的所述呼吸信息：

7、-在所获得的热图像中识别示出与呼吸有关的温度变化的呼吸像素和/或像素组，

8、-从所述呼吸像素和/或像素组中确定示出呼吸流动的呼吸流动像素和/或像素组，其中，将一个或多个空间滤波器应用于所述呼吸像素和/或像素组以将所述呼吸流动像素和/或像素组与示出呼吸运动的呼吸运动像素和/或像素组区别开，并且

9、-根据所述呼吸流动像素和/或像素组和/或所述呼吸运动像素和/或像素组来确定所述对象的呼吸信息。

10、在本发明的另一方面中，提出了一种用于确定对象的呼吸信息的系统，包括：

11、热传感器单元，其被配置为采集所述对象的热图像，所述热图像示出所述对象的面部区和/或其周围的至少部分；

12、如本文公开的设备，其被配置为根据所述热图像来确定所述对象的呼吸信息；以及

13、输出接口，其被配置为输出所述对象的所述呼吸信息。

14、在本发明的又一方面中，提供了一种对应的方法、一种计算机程序以及一种非瞬态计算机可读记录介质，所述计算机程序包括程序代码模块，当所述计算机程序在计算机上被执行时，所述程序代码模块用于使计算机执行本文公开的方法的步骤，所述非瞬态计算机可读记录介质在其中存储计算机程序产品，所述计算机程序产品在由处理器运行时使执行本文公开的方法。

15、在从属权利要求中限定了本发明的优选实施例。应当理解，请求保护的方法、系统、计算机程序和介质与请求保护的设备具有相似和/或相同的优选实施例，特别是如在从属权利要求中定义并且在本文中公开的。

16、本发明提供了对动物或人类对象的呼吸信息的非侵扰的确定。作为呼吸信息，通常可以确定与呼吸(或呼吸)特性有关的任何信息，诸如呼吸流动信息、呼吸努力信息、阻塞性呼吸暂停、中枢性呼吸暂停和混合性呼吸暂停。例如，可以确定指示呼吸流动的信号，特别是指示呼吸流动的存在的信号。

17、热传感器单元(例如2d热传感器阵列，诸如热相机(也称为热像相机、红外相机、热成像相机或热成像器))用于该目的。本发明基于可能在运动引起的热变化与呼吸流动引起的热变化之间进行区别的构思，因为运动引起的热变化(被检测为呼吸运动像素和/或像素组(包括多个相邻像素的像素组))发生在热梯度上，并且呼吸流动引起的热变化(被检测为呼吸流动像素或像素组)也发生在热图像的平坦区中。为了rr频率变化的这种区别，可以有效地使用空间滤波器。

18、尽管运动引起的热变化(即，呼吸运动像素和/或像素组的时变值或时间信号)可以有助于建立呼吸速率，但是基本上消除呈现出运动引起的变化的呼吸运动像素和/或像素组允许诸如呼吸流动信号的其他呼吸信息的确定。这使得能够非侵扰地监测对象的呼吸和呼吸努力，而且还能够检测呼吸暂停的存在和类型、由于呼吸暂停造成的呼吸停止等。

19、应当注意，表达“像素和/或像素组”在本发明的背景下应当被理解为(仅)单个像素、或(仅)像素组、或像素和像素组的混合。像素组应理解为多个像素，特别是多个相邻像素。通常，像素组甚至可以包含完整的图像，即图像的所有像素。因此，例如，将一个或多个空间滤波器应用于呼吸像素和/或像素组的特征应当被理解为使得它包括将一个或多个空间滤波器应用于单个像素、或应用于像素组、或应用于像素和像素组的混合、或应用于完整图像(即，图像的所有像素)的选项。

20、换句话说，呼吸像素组通常应当被理解为呈现出呼吸信息的像素组，即，其值在特定频率范围内以伪周期性方式随时间变化。空间滤波意味着像素与不需要(全部)携带呼吸信息的其空间相邻像素组合。此外，有时更容易仅对整个图像进行空间滤波，并且然后评价对呼吸信号的影响(像素的时间变化)。

21、根据优选实施例，所述处理单元被配置为将具有至少两个不同的空间滤波方向和/或一个或多个空间频率的至少两个空间滤波器(特别是至少两个gabor滤波器)应用于所述呼吸像素和/或像素组。根据情况，可以应用具有两个不同空间滤波方向和公共空间频率的两个不同空间滤波器。在其他实施例中，可以应用具有两个或更多个不同空间频率的两个或更多个空间滤波器。

22、方向(或取向)和空间频率是诸如gabor滤波器的空间滤波器的典型设置。通过改变方向/取向，可以分析来自不同取向的热图像的变化。假设呼吸运动像素被布置成行，应用分析来自不同取向的热图像中的变化的空间滤波器的集合，可以预期在与线正交的方向上完成的滤波中获得高响应，而在其他方向上对滤波器的响应将更低或甚至为零。呼吸流动像素不被布置成行而是布置在看起来更圆形的区域中的事实允许这样的假设：对用于呼吸流动的空间滤波器的响应可以被认为与滤波器的方向无关。因此，优选地应用空间滤波器的集合，并且然后可以将响应相乘在一起以自动识别呼吸流动

23、在另一实施例中，所述处理单元被配置为：通过使用所述一个或多个空间滤波器来在所述呼吸像素和/或像素组中识别所述呼吸运动像素和/或像素组，并且假设所述呼吸像素和/或像素组中的剩余像素和/或像素组是所述呼吸流动像素和/或像素组。这提供了对呼吸运动像素和/或像素组的快速且有效的识别。通常，可以可能仅使用单个空间滤波器(诸如2d低通滤波器)，并且将结果与没有滤波进行比较，使得可以在呼吸运动信号中看到效果，但是在呼吸流动信号中不显著。

24、在另一实施例中，所述处理单元被配置为：根据所述呼吸像素和/或像素组来确定呼吸信号，并且消除或减少所述呼吸运动像素和/或像素组对所述呼吸信号的贡献，以获得呼吸流动信号作为关于呼吸流动的信息。如上面解释的，一个或多个空间滤波器的使用允许在热图像中的呼吸运动和呼吸流动之间进行区别，使得可以通过本发明的使用来确定关于呼吸流动的信息(即，表示对象的呼吸流动的信号)。

25、所述处理单元还可以被配置为通过以下操作来确定所述呼吸信号：对在呼吸范围中个体地呈现出像素值的时间周期或伪周期性变化的像素和/或像素组进行组合、特别是求平均；或通过选择在呼吸范围中个体地呈现出像素值的时间周期或伪周期性变化的像素和/或像素组。具有最佳snr的单个像素例如可以被选择用于该目的。

26、存在可用于处理单元的关于如何确定呼吸运动像素和/或像素组以及呼吸流动像素和/或像素组的多个选项。在实施例中，呼吸运动像素和/或像素组通过从所述呼吸像素和/或像素组中检测表示所获得的热图像中的边缘或温度梯度的像素和/或像素组来确定。在另一实施例中，呼吸流动像素和/或像素组通过从所述呼吸像素和/或像素组中检测不表示所获得的热图像中的边缘或温度梯度的像素和/或像素组来确定。在又一实施例中，呼吸运动像素和/或像素组被确定为对热的空间滤波显著改变呼吸信号的强度的那些呼吸像素和/或像素组，并且呼吸流动像素和/或像素组被确定为所述空间滤波保留所述呼吸信号实质上相同的那些呼吸像素和/或像素组。

27、热图像的边缘识别接近实质性温度变化的区域和像素。如果存在只有检测到的温度存在差异才存在的对比，则热视频中的呼吸运动是可见的。边缘识别在温度差异的边缘处的像素。例如，面部处于约37℃，而毯子处于约30℃，使得面部和毯子之间的边缘处的像素将被识别为边缘并且可以包含呼吸运动。可以通过使用常规边缘检测器(检测例如梯度作为特征)来识别边缘。从潜在的像素选择中，然后可以去除在边缘上的所有像素，以消除包含运动引起的呼吸的像素的贡献。

28、尽管可以完全消除边缘像素以丢弃运动引起的呼吸，但是通常不需要消除非移动边缘像素。如果时间变化的强度不取决于空间滤波器的方向，则它们不是运动引起的，并且它们可以通过流动引起的呼吸像素或像素组来计数。

29、在另一实施例中，所述处理单元被配置为通过确定所获得的热图像的特征集合中的一个或多个特征来确定呼吸流动像素或像素组，所述特征集合包括：

30、-指示呼吸像素的信号的频谱峰的高度的伪周期性，

31、-指示具有类似频率的像素的聚类的呼吸速率聚类，

32、-指示热图像中的边缘的梯度，

33、-指示像素的时域信号是否与呼吸像素的时域信号相关的相关性，以及

34、-指示像素的时域信号与呼吸流动像素的时域信号之间的协方差的协方差。

35、所述处理单元还可以被配置为通过组合所述特征集合中的集合中的两个或更多个特征来确定流动图，并且将一个或多个空间滤波器应用于所述流动图以确定所述呼吸流动像素和/或像素组。这提供了对呼吸流动像素和/或像素组的有效确定。

36、如已经提到的，可以通过使用本发明来确定与对象的呼吸有关的各条信息。所述处理单元因此可以被配置为确定呼吸流动信息、呼吸努力信息、阻塞性呼吸暂停、中枢性呼吸暂停和混合性呼吸暂停中的一项或多项，特别是通过对所述呼吸流动像素和/或像素组的所述时域信号进行求平均来确定表示所述对象的呼吸流动的呼吸流动信息。通常甚至可以确定诸如呼吸速率的其他呼吸信息。

37、在实施例中，所述处理单元特别地被配置为：检测呼吸运动像素和/或像素组，并且基于所述呼吸运动像素和/或像素组以及所述呼吸流动像素和/或像素组来检测所述对象的呼吸暂停。

38、除了感测第二图像之外，另一传感器单元(诸如rgb或nir相机)还可以任选地用于额外用于确定呼吸信息。因此，在实施例中，所述图像输入部还被配置为获得根据以下发射获得的所述对象的第二图像：所述发射在比获得所述热图像的发射更低的波长范围内，特别是在400nm与2000nm之间的波长范围内，诸如可见光或近红外光，所述第二图像实质上示出与所述热图像相同的区域的至少部分。所述处理单元然后可以被配置为：在所获得的第二图像中识别呼吸运动像素和/或像素组，并且使用在所获得的第二图像中识别的所述呼吸运动像素和/或像素组以及在所获得的热图像中识别的所述呼吸像素和/或像素组来确定所述呼吸信息。

39、因此，在优选实施例中，所述处理单元还可以被配置为：检测在所述热图像中确定的所述呼吸像素和/或像素组中的哪些呼吸像素和/或像素组不存在于所述第二图像中，并且从存在于所述热图像中但不存在于所述第二图像中的所述呼吸像素和/或像素组中确定所述呼吸流动像素和/或像素组。

40、所述热传感器单元优选地被配置为感测在2000nm至20000nm的波长范围内、特别是在5000nm至20000nm的波长范围内的发射。热相机或热传感器阵列可用于此目的。

41、在实施例中，可以提供任选的第二传感器单元，其被配置为感测在比获得热图像的发射更短波长范围内的发射。感测在400nm与2000nm之间的波长范围内(诸如可见光或近红外光)的发射是优选的，以从那些发射获得对象的第二图像。