一种基于热成像技术的呼吸跟踪方法与流程

本发明涉及呼吸跟踪领域，尤其是涉及了一种基于热成像技术的呼吸跟踪方法。

背景技术：

随着生活水平的提高，人们的健康意识和保健要求不断加强，人们越来越关注对疾病的早期检测和早期干预，即通过实时动态监测的方式来监视人体健康的状况，防病于未然。其中，呼吸监测功能在医疗、保健和健身领域有着越来越重要的作用。它可以应用在诊断和治疗肺部相关疾病、新生儿护理和睡眠研究，以及在一些可穿戴设备中对于运动和睡眠时的呼吸进行实施检测，通过记录用户运动和睡眠的数据，分析用户的健康状况。研究表明，热成像技术可以通过非接触探测红外能量，并将其转换为电信号，进而在显示器上生成热图像和温度值，并可以对温度值进行计算的一种检测设备。它的优点是“绿色”无创，能够远距离精确跟踪热目标，还可以精确制导，能够实现全天候监控，因此可以应用在对人体呼吸的监测。然而，传统的方法一般需要佩戴呼吸带或鼻探针来跟踪测量呼吸速率，但是常常会受到运动伪影和呼吸动力学放大噪声的影响，导致传感器读数出现错误，因此，若使用热成像技术进行呼吸监测，将具有更好的监测效果。

本发明提出了一种基于热成像技术的呼吸跟踪方法，先通过搜索包含每个帧的整个面部温度分布的感兴趣的热量范围，最优地量化热量分布序列，通过与组合伪影下的正常热量图像相比，从基于热量梯度的图像获得鼻孔的不同形态，使用经转换的图像收集表示用于鼻孔运动轨迹的特征点，最后通过计算边界框中热分布的平均值来提取特征，通过热体素整合进行呼吸估计。本发明提出的热成像系统不会受到照明条件的影响，提高了鼻孔区域跟踪的准确性和稳定性；同时，该热成像技术成本低，为开创智能手机的呼吸速率监测设备开辟了新的可能性。

技术实现要素：

针对受到运动伪影和呼吸动力学放大噪声的影响的问题，本发明的目的在于提供一种基于热成像技术的呼吸跟踪方法，先通过搜索包含每个帧的整个面部温度分布的感兴趣的热量范围，最优地量化热量分布序列，通过与组合伪影下的正常热量图像相比，从基于热量梯度的图像获得鼻孔的不同形态，使用经转换的图像收集表示用于鼻孔运动轨迹的特征点，最后通过计算边界框中热分布的平均值来提取特征，通过热体素整合进行呼吸估计。

为解决上述问题，本发明提供一种基于热成像技术的呼吸跟踪方法，其主要内容包括：

(一)用于高热量动态范围场景的最优量化；

(二)鼻腔区域追踪；

(三)通过热体素整合进行呼吸估计。

其中，所述的用于高热量动态范围场景的最优量化，在热量图像处理中，量化表示连续温度值与其等效数字彩色映射之间的转换过程；将原始温标[t0,tk-1](即感兴趣的温度范围)到色标[u0,uk-1]之间的变换γ定义为u＝γ(t)；在这里只考虑线性关系；对于时变热量动态范围场景中的量化，通过搜索包含每个帧的整个面部温度分布的感兴趣的热量范围，最优地量化热量分布序列。

进一步地，所述的量化热量分布序列，第一步，去除统计极值，减少意外噪声(例如投射在人眼镜上的阳光)和移动热量成像的温度计算误差导致的极端温度的点(例如雾镜)；为了实现这一过程，通过去除超过1.96标准偏差的热量信号，为热量范围[t′min,t′max]设置初始候选，实际上相当于95％的置信度，如下式所示：

其中，是c(x)的样本均值，它是一维温度分布n·m是收集的热量分布矩阵的空间分辨率，σc是c(x)的标准偏差。

进一步地，所述的最优阈值选择，通过迭代分析颜色直方图，找出将对象与背景分离的最优阈值；这可以帮助搜索区分人的皮肤和非皮肤区域的热量值与显示各种动态范围的时变温度直方图；最优量化是通过迭代计算最佳阈值topt来完成的：

topt(0)＝t′min(2)

其中，当c(x)≤topt(t),c(x)>topt(t)时，μ1(t)+μ2(t)是平均值；重复该过程，直到满足topt(p)-topt(p-1)≈0为止；最终选择的感兴趣温度范围为：

t0＝topt(p),tk-1＝t′max(4)

假设包括头发和空气在内的背景平均温度低于人体皮肤的平均温度，那么只有下限才是最佳的范围。

其中，所述的鼻腔区域追踪，给定通过最佳量化方法的颜色映射图像，该算法从每个帧计算热量梯度幅度矩阵，并适应中值流算法，使用差异追踪点的前向—后向误差估计的追踪器；通过基于梯度的二维归一化相互关系补偿特征点的损失。

进一步地，所述的热量梯度幅度图，由于人类的人体热代谢和人体皮肤相对较低的热导率使相邻皮肤的热量分布非常相似(例如，鼻部区域的热量图)，鼻孔和鼻孔区域的形状往往模糊，导致弱关键面点特征之间的差异；为了获得更清晰的特征，可以通过下式将量化的热图像u转换为热量梯度幅度图φ来增强鼻孔之间的边界：

通过与组合伪影(即运动和呼吸动力学)下的正常热量图像相比，可以从基于热量梯度的图像获得鼻孔的不同形态；然后可以使用经转换的图像来收集表示用于鼻孔运动轨迹的特征点。

进一步地，所述的追踪，通过从第一帧选择鼻孔作为感兴趣区域(roi)，尺寸为n×n，得到φroi；可以通过手动选择或自动化来完成；追踪器实现了中值流算法，该算法将前向—后向的计算定义为：

其中，在时间t中的热量梯度图像序列s＝(φt,φt+1,…,φt+k)，前向轨迹为通过后向追踪到第一帧产生的向后轨迹其中为两点之间的欧氏距离；在该算法中，基于由下式给出的差异来跟踪点：

类似于人造神经网络中反向传播的概念，计算点特征计算误差，并通过观察过去的轨迹向后预测点位置。

进一步地，所述的二维归一化相互关系，通过搜索具有基于梯度的归一化相互关系的最大值的roi的新位置，增强热表面上具有高水平变形能力的鼻孔的跟踪性能，表示为：

其中，x在n×n的中心；当跟踪点的数量小于某个阈值时，重置roi，并找到新的基于梯度的点特征；在有大量鼻孔图像集的情况下，这种方法也可以应用于第一帧的自动roi选择。

其中，所述的通过热体素整合进行呼吸估计，吸入和呼气期间鼻孔的热交换可指示人的呼吸模式；这可以通过计算边界框(即鼻孔roi)中热分布的平均值来提取特征；将二维热量矩阵投影到三维空间上，单位热量元素可以被视为体素；可以构造为：

其中，λt(t)是具有温度t的横截面中的鼻孔的热体素的积分，是跟踪区域上的绝对温度分布，tδ是整合凹面体积的上边界，它被设定为平均温度值的一条移动平均线(n＝2)，不仅具有稳定的边界，而且考虑全局热量变化；但是，一旦roi跟踪器在某一时刻被错误地放在不同的区域，移动平均值将需要从下一个帧重置，从错位的边界框中剔除该值；可以通过检查热量分布上的统计偏度的突变(即微分)来检测错位：

如上式所示。

进一步地，所述的呼吸率，对于呼吸周期的估计，可以使用频域和时域方法；类似地，实现短时功率谱密度来分析体素特征的自相似性；这是基于短时自相关函数的傅立叶变换ff；为了减少由于截短的短时间窗口在频域中的波纹，使用高斯窗口：

其中，窗口wi(k)的长度为由感兴趣的呼吸速率决定，fs是采样频率；wi(k)通过特征缩放归一化，并通过三阶椭圆滤波器(这里为3db的通带纹波和6db的阻带衰减)滤波，同时具有0.1hz和0.85hz的通带截止频率；最后，通过找到最大化功率谱密度的查找延迟k来估计呼吸率：

sv(f)＝ff(rww)＝∑krww(k)e^-j2πfk(12)

其中rww是滤波器的短时自相关wi(k)。

附图说明

图1是本发明一种基于热成像技术的呼吸跟踪方法的系统流程图。

图2是本发明一种基于热成像技术的呼吸跟踪方法的鼻腔区域追踪。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于热成像技术的呼吸跟踪方法的系统流程图。主要包括用于高热量动态范围场景的最优量化，鼻腔区域追踪，通过热体素整合进行呼吸估计。

用于高热量动态范围场景的最优量化，在热量图像处理中，量化表示连续温度值与其等效数字彩色映射之间的转换过程；将原始温标[t0,tk-1](即感兴趣的温度范围)到色标[u0,uk-1]之间的变换γ定义为u＝γ(t)；在这里只考虑线性关系；对于时变热量动态范围场景中的量化，通过搜索包含每个帧的整个面部温度分布的感兴趣的热量范围，最优地量化热量分布序列。

第一步，去除统计极值，减少意外噪声(例如投射在人眼镜上的阳光)和移动热量成像的温度计算误差导致的极端温度的点(例如雾镜)；为了实现这一过程，通过去除超过1.96标准偏差的热量信号，为热量范围[t′min,t′max]设置初始候选，实际上相当于95％的置信度，如下式所示：

其中，是c(x)的样本均值，它是一维温度分布n·m是收集的热量分布矩阵的空间分辨率，σc是c(x)的标准偏差。

通过迭代分析颜色直方图，找出将对象与背景分离的最优阈值；这可以帮助搜索区分人的皮肤和非皮肤区域的热量值与显示各种动态范围的时变温度直方图；最优量化是通过迭代计算最佳阈值topt来完成的：

topt(0)＝t′min(2)

其中，当c(x)≤topt(t),c(x)>topt(t)时，μ1(t)+μ2(t)是平均值；重复该过程，直到满足topt(p)-topt(p-1)≈0为止；最终选择的感兴趣温度范围为：

t0＝topt(p),tk-1＝t′max(4)

假设包括头发和空气在内的背景平均温度低于人体皮肤的平均温度，那么只有下限才是最佳的范围。

通过热体素整合进行呼吸估计，吸入和呼气期间鼻孔的热交换可指示人的呼吸模式；这可以通过计算边界框(即鼻孔roi)中热分布的平均值来提取特征；将二维热量矩阵投影到三维空间上，单位热量元素可以被视为体素；可以构造为：

其中，λt(t)是具有温度t的横截面中的鼻孔的热体素的积分，是跟踪区域上的绝对温度分布，tδ是整合凹面体积的上边界，它被设定为平均温度值的一条移动平均线(n＝2)，不仅具有稳定的边界，而且考虑全局热量变化；但是，一旦roi跟踪器在某一时刻被错误地放在不同的区域，移动平均值将需要从下一个帧重置，从错位的边界框中剔除该值；可以通过检查热量分布上的统计偏度的突变(即微分)来检测错位：

如上式所示。

对于呼吸周期的估计，可以使用频域和时域方法；类似地，实现短时功率谱密度来分析体素特征的自相似性；这是基于短时自相关函数的傅立叶变换ff；为了减少由于截短的短时间窗口在频域中的波纹，使用高斯窗口：

其中，窗口wi(k)的长度为由感兴趣的呼吸速率决定，fs是采样频率；wi(k)通过特征缩放归一化，并通过三阶椭圆滤波器(这里为3db的通带纹波和6db的阻带衰减)滤波，同时具有0.1hz和0.85hz的通带截止频率；最后，通过找到最大化功率谱密度的查找延迟k来估计呼吸率：

sv(f)＝ff(rww)＝∑krww(k)e^-j2πfk(8)

其中rww是滤波器的短时自相关wi(k)。

图2是本发明一种基于热成像技术的呼吸跟踪方法的鼻腔区域追踪。给定通过最佳量化方法的颜色映射图像，该算法从每个帧计算热量梯度幅度矩阵，并适应中值流算法，使用差异追踪点的前向—后向误差估计的追踪器；通过基于梯度的二维归一化相互关系补偿特征点的损失。

由于人类的人体热代谢和人体皮肤相对较低的热导率使相邻皮肤的热量分布非常相似(例如，鼻部区域的热量图)，鼻孔和鼻孔区域的形状往往模糊，导致弱关键面点特征之间的差异；为了获得更清晰的特征，可以通过下式将量化的热图像u转换为热量梯度幅度图φ来增强鼻孔之间的边界：

通过与组合伪影(即运动和呼吸动力学)下的正常热量图像相比，可以从基于热量梯度的图像获得鼻孔的不同形态；然后可以使用经转换的图像来收集表示用于鼻孔运动轨迹的特征点。

通过从第一帧选择鼻孔作为感兴趣区域(roi)，尺寸为n×n，得到φroi；可以通过手动选择或自动化来完成；追踪器实现了中值流算法，该算法将前向—后向的计算定义为：

其中，在时间t中的热量梯度图像序列s＝(φt,φt+1,…,φt+k)，前向轨迹为通过后向追踪到第一帧产生的向后轨迹其中为两点之间的欧氏距离；在该算法中，基于由下式给出的差异来跟踪点：

类似于人造神经网络中反向传播的概念，计算点特征计算误差，并通过观察过去的轨迹向后预测点位置。

通过搜索具有基于梯度的归一化相互关系的最大值的roi的新位置，增强热表面上具有高水平变形能力的鼻孔的跟踪性能，表示为：

其中，x在n×n的中心；当跟踪点的数量小于某个阈值时，重置roi，并找到新的基于梯度的点特征；在有大量鼻孔图像集的情况下，这种方法也可以应用于第一帧的自动roi选择。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。