一种适用于昼夜环境的呼吸率检测方法与流程

本发明涉及医疗视频图像处理领域，具体是一种适用于昼夜环境的呼吸率检测方法。

背景技术：

随着计算机技术的发展，视频图像处理技术在近年得到了快速地发展与应用，并且渗透到了生活的方方面面，为人们带来了诸多便利。在医疗科学领域，视频处理技术在医疗诊断、手术指导和日常检测方面具有巨大的应用前景，为现代医学的发展提供了积极的辅助支撑作用。

呼吸率是急性呼吸功能障碍疾病检测的敏感指标之一，而对长期呼吸率变化趋势的监测分析也可以反映人体的健康状况，如身体疲劳状态、睡眠质量等。所以，呼吸率检测在相关疾病预防和日常检测方面具有重要意义。常用呼吸率检测方法为心电图法(Electrocardiogram,ECG)，即通过心电数据间接估计呼吸率。该方法虽然准确性较高，但所得呼吸率数值并不是即时呼吸频率，而是由心电数据间接估计得到，且测量时需要在被测者身上粘贴电极进行测量，会给被测试者带来身体和心理上的不适，影响呼吸率测量结果。为此，非接触式呼吸率检测技术的出现可以很好地解决上述问题。但早前提出的应用热成像相机、微型生物雷达、3D体感相机、磁感应相移技术等非接触式检测方式因成本昂贵、设备体积大、抗干扰性较差等原因而无法适用于日常检测，所以廉价、便捷、高效的非接触式呼吸率检测仍是今后研究的重点方向。

根据医学定义，胸部的一次起伏定义为一次呼吸，即一次吸气与一次呼气的过程，所以统计每分钟胸部起伏的次数即可以估计呼吸频率。目前大多数非接触式呼吸率检测技术都是通过统计一分钟内胸部起伏运动的次数来估计呼吸率。Alinovi等人在近期提出了基于时空分解的非接触式视频呼吸率检测技术。该方法采用EVM(Eulerian Video Magnification)思想，首先通过拉普拉斯金字塔分解原始视频图像，提取不同尺度下图像的亮度特征信息；然后采用时空处理技术提取并放大呼吸信号；最后使用最大似然估计法分析信号估计呼吸率。

Alinovi方法虽然可以准确地估计呼吸率，但存在以下缺陷：(1)基于EVM 运动放大方式在突出呼吸运动的同时也会对视频中的噪声进行同等幅度的放大，而放大后噪声会对后期呼吸信号的提取产生干扰，影响呼吸率的估计；(2)原方法采用全局处理方式，该方法虽然可以最大程度地获取呼吸运动信号，但场景中其他干扰运动会对呼吸信号的判定产生干扰；(3)对于睡眠呼吸检测等要求在夜间进行视频获取的场景，普通摄像头无法有效地采集视频。

技术实现要素：

本发明的目的是提供一种适用于昼夜环境的呼吸率检测方法，以解决现有技术Alinovi方法估计呼吸率存在的问题。

为了达到上述目的，本发明所采用的技术方案为：

一种适用于昼夜环境的呼吸率检测方法，其特征在于：包括以下步骤：

(1)、采用摄像头对人体进行拍摄以获取视频，所述摄像头由计算机通过Matlab软件控制，拍摄时确保人体上半身处于视频画面内且尽量处于中心区域，并保持摄像头以固定的分辨率、帧率和RGB彩色空间拍摄一定时间，白天室内有稳定白炽灯光源环境下拍摄的视频保存为AVI格式，夜间无光照环境下拍摄的视频保存为mp4格式；

(2)、对摄像头采集的视频进行人脸检测，并根据人体几何知识，由人脸区域定位胸口位置，获得稳定的胸口运动视频，过程如下：

(2.1)、获取人脸区域：

在计算机中将摄像头采集的视频的第一帧作为参考图像，通过OpenCV中的Viola-Jones人脸检测器检测出矩形的人脸区域，获得矩形框四个顶点F1的坐标；

(2.2)、确定呼吸信号采集区域：

根据先验知识，人的身高可以用头高进行描述，由呼吸引起胸部变化区域大致在第六头高线与第七头高线的下方区域，即肩膀下方到第六头高线上方的区域，根据先验知识可从视频中找出呼吸引起胸部变化区域，然后在呼吸引起胸部变化区域中确定呼吸信号采集区域，确定的原则如下：

选择从头顶开始，向下移动1.4-1.6倍头高作为呼吸信号采集区域起始纵坐标，以人脸框中心点向左移动0.23-0.27倍头宽作为呼吸信号采集区域起始横坐标，0.4-0.6倍的头高和0.8-1.2倍的头宽分别作为呼吸信号采集区域的长与宽；

(2.3)、获取胸口运动视频：

确定呼吸信号采集区域后，对视频进行裁剪以保留呼吸信号采集区域对应的胸口位置图像，并输出胸口位置图像序列后进行视频保存，生成稳定的胸口运动视频；

(3)、将胸口运动视频的彩色空间由RGB转换为Gray-Scale，以获得Gray-Scale色彩空间的视频，通过将三通道运动信息整合到单通道上，实现了亮度信息的突出同时有效降低数据计算复杂度，RGB与Gray-Scale转换公式如下：

(4)、对Gray-Scale色彩空间的视频进行运动放大，以提取稳定的呼吸运动信号，具体过程如下：

(4.1)、空间相位分解：

利用复数方向可控金字塔对图像进行空间相位处理，通过迭代计算将图像分解成不同尺度、相位方向的子带序列，图像的运动相位信息便蕴含在子带序列中，复数方向可控金字塔实现过程如下：

(4.1.1)、输入图像尺寸，确定尺度分解层数M：

M＝floor(log₂min(h,w))-2 (2)，

式中，h和w表示原始图像的高和宽，floor表示向下取整；

(4.1.2)、确定滤波器的滤波方向参数N(根据实验效果,本次默认设定N＝4,)；

(4.1.3)、输入图像首先被分解为高通子带H₀与低通子带L₀，其中低通子带包含图像全局信息，高通子带包含图像细节，其中相位信息蕴含在低通子带中；

(4.1.4)、按照参数N对L₀进行方向可控滤波，获得N类不同方向的子带序列B_k(k＝0,1,…N)和子带部分L₁；

(4.1.5)、将子带部分L₁进行二抽样后，重复(4.1.4)操作，直到尺度分解层数达到M；

(4.1.6)、操作完成后，共获得M*N+2(H₀与L_M+1)个子带序列，其中M*N个子带序列B中包含呼吸运动的相位信息，用于后续信号处理；

(4.2)、时间带通滤波：

利用理想的带通滤波器对子带序列进行时间滤波，通频带为0.05～1.25Hz；

(4.3)、信号放大：

针对滤波后的子带序列，直接乘以预设的放大因子α进行运动的放大；

(4.4)呼吸信号提取，过程如下：

(4.4.1)、对放大后的子带序列进行二值转换，通过预设的阈值γ_th突出呼吸运动，公式如下：

其中l表示经方向可控金字塔分解后的第l层子带；x，y表示相应子带对应的图像尺寸，i表示视频的帧序号；α表示放大因子；F_l表示对应子带滤波后的序列值，B_l表示对应子带阈值化的序列值；

(4.4.2)、将图像序列转换平均相位信号来表征身体运动模式，即呼吸运动。平均相位信号公式如下：

经过公式(3)、(4)后，将得到表征呼吸运动的多通道信号，将各通道进行通道平均操作后，可以得到平均呼吸波形，即得到稳定的呼吸运动信号；

(5)、对获取的多通道呼吸波形进行频域分析，通过最大似然估计法进行呼吸率的初步估计，获取初始呼吸频率后配合平滑滤波对平均呼吸波形进行滤波优化，获取精准的呼吸波形，并采用峰值点检测法进行呼吸率再估计，具体过程如下：

(5.1)最大似然估计：

由公式(4)得到的L_l代表不同尺度和相位方向的呼吸信号趋势，不同的L_l对同一运动物体的不同描述相当于不同位置与角度的摄像机对同一物体进行拍摄所产生的多组图像结果，基于此思想采用最大似然法进行呼吸率估计，通过聚合多个尺度、相位方向的信号序列达到增强呼吸信号的效果，具体公式如下：

其中，f_s表示信号的采样频率，N表示采集视频总帧数，M表示金字塔分解后各个尺度和方向子带的总数量，DFT{}表示离散傅里叶变换，argmax操作表示从集合中 获取能量值最大点索引；

(5.2)、平滑滤波与峰值点检测：

以f₀为基准，将通频带上下各拓宽0.05H_z对平均呼吸波形进行平滑滤波，获取滤波优化后的呼吸波形，此时呼吸波形的呼吸波形已非常明显，其中每一组波形的起伏代表一次呼吸起伏，所以统计该段波形中的波峰数量即可得到呼吸频率，因此对该波形使用Matlab工具箱中的峰值点检测命令即可。

所述的一种适用于昼夜环境的呼吸率检测方法，其特征在于：步骤(1)中，在白天室内有稳定白炽灯光源环境下，视频以640*480的分辨率，30帧/秒的帧率和RGB彩色空间持续采集60秒，并保存成AVI格式；夜间无光照环境下，视频以1280*720的分辨率，9帧/秒的帧率和RGB彩色空间持续采集60秒，并保存成mp4格式。

所述的一种适用于昼夜环境的呼吸率检测方法，其特征在于：步骤(2.1)中，在夜间情况下，Viola-Jones人脸检测器因为夜间场景噪声较大与视频质量原因出现人脸误检的情况，可采用修复算法进行处理。

本发明无需利用电极或者传感器接触人体，只借助具有普通的具有夜视功能摄像头即可自动监测人体重要的生理指标，呼吸率(Respiratory Rate)。提出的方法通过对人体胸口视频进行采集和相应处理，能够有效定位呼吸主要区域，消除周围场景噪声干扰，从胸部起伏中准确提取呼吸信号用于呼吸率估计。在白天或室内稳定白炽灯光源情况和夜间无光照两种情况下，本发明估计的呼吸频率与真实呼吸频率具有良好的结果一致性，稳定性较高。

本发明与现有技术相比具有如下优点：

1)本发明针对传统接触式呼吸率检测技术存在操作复杂与肢体束缚的问题，提出一种非接触式的基于胸部视频处理的呼吸率检测技术。该技术无需使用电极或特殊传感器对人体进行接触来获取信号，而只需借助具有夜视功能的普通摄像头即可自动检测呼吸率。有效地降低了设备成本，提高了通用性，并且提高了测试者的舒适程度，适用于日常呼吸监测和相关疾病预防。

2)本发明通过考虑呼吸引起的胸部区域变化，有效地选择呼吸信号提取区域，克服了场景中其他噪声的干扰，并适当降低算法的时间复杂度；采用基于相位的运动放大技术，提取呼吸运动序列并对其进行放大，获取稳定的呼吸运动信号；采用红外摄像头实现夜间视频采集，并通过相位信息提取方式，在昼夜环境 下均可以准确地检测呼吸率。

3)本发明通过对呼吸信号进行最大似然估计分析，实现了呼吸信号频率的初步估计；然后利用初估计频率对呼吸信号进行平滑滤波，优化呼吸波形，使呼吸运动趋势更加明显，最后通过峰值点检测方法对优化后波形进行呼吸率估计，提高了呼吸率检测的精度。

附图说明

图1是本发明的非接触式呼吸率检测的流程框图。

图2是本发明的设备安装效果图。

图3是人脸检测效果图(白天)。

图4是人脸检测效果图(夜间误检情况)。

图5是人脸检测效果图(夜间误检修复后情况)。

图6是胸口定位示意图(白天)。

图7是胸口定位示意图(夜间)。

图8是本发明提取的呼吸运动波形。

图9是本发明平滑滤波后呼吸运动波形。

具体实施方式

参照图1，本发明呼吸率检测的实施步骤如下：

步骤1，参照图2，将一台具有夜视功能的网络摄像头放置于正对人脸前方约0.5m的位置，也可以架在计算机显示器的上方，摄像头与计算机之间使用USB进行连接。操作者利用Matlab软件控制摄像头拍摄视频，确保人体上半身完全处于视频画面以内，且尽量处于中心区域。在白天室内有稳定白炽灯光源环境下，视频以640*480的分辨率，30帧/秒的帧率和RGB彩色空间持续采集60秒，并保存成AVI格式。夜间无光照环境下，由于摄像头硬件限制原因，视频以1280*720的分辨率，9帧/秒的帧率和RGB彩色空间持续采集60秒。

步骤2，对采集的视频进行人脸检测，并根据人体几何知识，由人脸区域定位胸口位置，获得稳定的胸口运动视频，相比于现有技术有两点重要改进。

2a)将输入视频的第一帧作为参考图像，首先通过OpenCV中的Viola-Jones人脸检测器检测出矩形的人脸区域，获得矩形框四个顶点F1的坐标，白天环境下如图3所示。针对夜间情况下，Viola-Jones会因为夜间场景噪声较大与视频质量等原因出现人脸误检的情况，本发明采用修复算法进行处理，解决了大部分误检问题，修复算法 原理：由于在视频采集过程中人脸是场景的主要目标，所以在多数情况下出现误检的错误框图宽度均小于人脸框图宽度。因此当VJ检测器获取多个可能“人脸”框图时，可默认保留宽度最大的坐标区域，即为人脸框图。具体图4、5所示，当原始VJ检测器出现误检情况(图4)时，误检“人脸”框宽度均比正确人脸框宽度小，经过处理后，只保留正确人脸(图5)。

2b)人的身高可以用头高进行描述。根据先验知识，成人身高一般是头高的8倍，从脚底向上起，男性的胸口大约在第六头高上方，女性则相对男性略低。所以，由呼吸引起胸部区域变化大致在第六头高线与第七头高线的下方区域，也就是肩膀下方到第六头高线上方的区域。结合实验效果，本文从上述区域中选择了一部分作为呼吸信号采集区域。选择区域为：从头顶开始，向下移动1.5倍头高作为呼吸区域起始纵坐标，以人脸框中心点向左移动0.25倍头宽作为呼吸区域起始横坐标，0.5倍的头高和1倍的头宽分别作为采集区域的长与宽，具体如图6、7。

2c)正确检测到胸口位置后，对后续视频进行裁剪，输出图像序列按照步骤1根据不同的使用场景进行视频保存，生存胸口运动视频。

以上操作相比于现有技术有两点改进：①通过胸口定位技术明确呼吸产生的区域，有效地降低了算法的时间复杂度，且确定胸口区域后，可以去除场景中非呼吸区域的噪声干扰，避免因全局估计因噪声问题而产生的估计偏差问题；②人脸误检修复可以在大多数情况下提升传统Viola-Jones在夜间情况下的检测精度，提升胸口定位成功率，增加呼吸信号提取的稳定性。

步骤3，胸口视频的彩色空间由RGB转换为Gray-Scale，将三通道运动信息整合到单通道上，实现了亮度信息的突出同时有效降低数据计算复杂度。RGB与Gray-Scale转换公式如下：

Gray＝0.2989*R+0.5870*G+0.1140*B (1)，

步骤4，对Gray-Scale色彩空间的视频进行运动放大，提取呼吸运动信号。

4a)空间相位分解

利用复数方向可控金字塔对图像进行空间相位处理，通过迭代计算将图像分解成不同尺度、相位方向的子带序列，图像的运动相位信息便蕴含在子带序列中。与传统金字塔分解不同，复数方向可控金字塔通过设定方向相位角度，灵活地将图像分解成多个方向可控的子带信息，且各方向子带具有无混叠、相位正交的特点。复数方向可 控金字塔实现过程为：

(1)输入图像尺寸，确定尺度分解层数M

M＝floor(log₂min(h,w))-2 (2)，

式中，h和w表示原始图像的高和宽，floor表示向下取整。

(2)确定滤波器的相位方向参数N

(3)输入图像首先被分解为H₀与低通子带L₀，其中低通子带包含图像全局信息，高通子带包含图像细节，其中相位信息蕴含在低通子带中。

(4)按照参数N对L₀进行方向可控滤波，获得N类不同方向的子带序列B_k(k＝0,1,…N)和子带部分L₁。

(5)将子带部分进L₁行二抽样后，重复(4)操作，直到尺度分解层数达到M

(6)操作完成后，共获得M*N+2(H₀与L_M+1)个子带序列。其中，(M*N)个子带序列B中包含呼吸运动的相位信息，用于后续信号处理。

4b)时间带通滤波

利用理想的带通滤波器对子带序列进行时间滤波，通频带为0.05～1.25Hz(对应呼吸率3～75次/分钟)。

4c)信号放大

针对滤波后的子带序列，直接乘以放大因子α进行运动的放大，默认放大因子为10倍。

4d)呼吸信号提取

(1)对放大后子带序列进行阈值转换，通过阈值γ_th(根据实验效果，本次设定为10)突出呼吸运动，过程如下：

其中l表示经方向可控金字塔分解后的第l层子带；x，y表示相应子带对应的图像尺寸，i表示视频的帧序号；α表示放大因子，默认放大因子倍数为10；F_l表示对应子带滤波后的序列值，B_l表示对应子带阈值化的序列值。

(2)将图像序列转换平均相位信号来表征身体运动模式，即呼吸运动。平均相位信号公式如下：

经过公式(3)、(4)，本发明得到表征呼吸运动的多通道信号，将各通道进行通道平均操作后，可以得到平均呼吸波形，见图8。

步骤5，对获取的多通道呼吸波形进行频域分析，通过最大似然估计法进行呼吸率的初步估计，获取初始呼吸频率后配合平滑滤波对平均呼吸波形进行平滑滤波，优化呼吸波形，并采用峰值点检测法进行呼吸率再估计。

5a)最大似然估计

由公式(4)得到的L_l代表不同尺度和相位方向的呼吸信号趋势。不同的L_l对同一运动物体的不同描述相当于不同位置与角度的摄像头对同一物体进行拍摄所产生的多组图像结果。基于此思想，本发明采用最大似然法进行呼吸率估计，通过聚合多个尺度、相位方向的信号序列达到增强呼吸信号的效果。具体公式如下：

其中，f_s表示信号的采样频率，N表示采集视频总帧数；M表示金字塔分解后各个尺度和方向子带的总数量；DFT{·}表示离散傅里叶变换。

5b)平滑滤波与峰值点检测

以f₀为基准，将通频带上下各拓宽0.05Hz对平均呼吸波形进行平滑滤波，获取滤波优化后的呼吸波形，见图9。此时，呼吸波形的呼吸波形已非常明显。对该波形使用Matlab工具箱中的峰值点检测命令即可，具体如下：

data＝detrend(data)；

[pks,～]＝findpeaks(data,'minpeakheight',0,'minpeakdistance',14)；

m＝size(pks)；

output＝round(m(2)*(60*Fs)/len)；

其中，data表示平滑滤波后信号序列；函数detrend(·)表示信号去趋势化处理；函数findpeaks(·)表示按照设定的最小峰值高度、峰间距离等参数对数据进行波峰统计；m表示波峰数量；Fs表示采样频率；len表示信号长度；函数round(·)表示对估计结果进行四舍五入取整；output为最后估计呼吸频率。

至此，适用于昼夜环境的呼吸率检测技术基本完成。

以下通过白天环境及夜间情况下的呼吸率检测实验进一步说明本发明的有效性。

一、白天环境呼吸率检测实验

1.视频参数：

视频参数如表1：

表1白天环境下的视频参数

2.实验内容：

为验证本发明的准确性，本次实验在呼吸频率6-36次/分钟范围内对测试者进行多次视频采集和呼吸率检测。测试者分别以正常呼吸或按照显示屏提示进行特定频次的呼吸作为真实呼吸率进行参考。

为了对实验结果进行定量评价，本次采用3种评价指标进行性能评估。第1个指标为平均误差M_e，即测量值与真实值的偏差，见公式(6):

第2指标是均方根误差，记作RMSE(Root Mean Square Error)，RMSE越接近0表示呼吸率检测技术越稳定，鲁棒性更好，见公式(7):

第3个指标是呼吸率的平均准确率RR_ac，见公式(8)：

式中，N表示视频总数量，RR_ev表示呼吸率估计值，RR_true表示实际呼吸率值。

为验证本发明性能，本发明复现了Alinovi的非接触式呼吸率检测方法进行实验对比。白天情况下的呼吸率检测性能如表2所示.

表2白天环境下的呼吸率检测性能对比

3.呼吸率检测结果分析：

发在室内稳定白炽灯光源的白天环境下，两种技术均可实现呼吸率的准确检测。但由于Alinovi方法在全局估计时候容易受场景干扰与噪声问题，所以在后期功率谱估计时会产生能量泄露效应，造成呼吸率估计出现较大偏差。而本发明通过胸口定位优化了呼吸区域、并通过PVM优秀的抗噪性能保证信号稳定性，因此在实验结果上有较大提升。所以在表2中，本发明在性能参数上具有提升。

二、夜间环境呼吸率检测实验

1.视频参数：

视频参数如表3：

表3白天环境下的视频参数

2.实验内容：

为验证本发明的准确性，本次实验在呼吸频率9-23次/分钟范围内对测试者进行多次视频采集和呼吸率检测。测试者分别以正常呼吸或按照显示屏提示进行特定频次的呼吸作为真实呼吸率进行参考。

本发明同样使用实验一中的三种指标对呼吸率检测技术进行评价，对比的方法也相同。夜间环境下的呼吸率检测性能如表4所示。

表2夜间环境下的呼吸率检测性能对比

3.呼吸率检测结果分析：

对比中发现：在夜间室内无光照的环境下，通过使用红外摄像头，本发明实现了夜间环境下呼吸率的检测。但在相同设备条件下，本发明相比于Alinovi有明显提升。主要原因在于当被测者处于摄像头较近距离时，摄像头发出的红外光大部分都被人体反射，所以被测者在视频中的显示效果要比周围场景的亮度值要高，反映在灰度视频中即“偏白”。所以传统基于亮度值变化提取信号的算法无法有效提取亮度信息，所以呼吸率检测出现严重偏差，无法适用于夜间呼吸率检测。而本文方法从相位角度进行变化信号的提取，有效避免了传统方法中亮度值提取困难的缺陷，可以实现较稳定的呼吸率检测。但结果还是相对白天出现下降，其原因在于：目前夜间摄像头多为安防设备，在采用高压缩比技术对视频进行压缩时会对视频的清晰度、图像细节等方面产生损失，且9帧/秒的帧率相较于白天30帧/秒的帧率有较大下滑，使数据量降低，对呼吸信号提取产生一定影响。但从M_e与RR_ac两参数可以看出，即使在夜间情况下，本发明依旧可以与真实呼吸率保持较高地吻合率，符合日常使用要求。