一种利用普通体感相机非接触式测量呼吸率的方法
【技术领域】
[0001]本发明涉及一种利用普通体感相机非接触式测量呼吸率的方法。该方法设备简单、安装携带方便，隐蔽性更强，操作简单，适合于基于呼吸信号的情感非接触式隐蔽识别。
【背景技术】
[0002]开发具有情感的计算机系统的关键的一步是使计算机能够识别人类的情感，因此情感识别是情感计算领域中的重要组成部分。目前情感识别主要依靠面部表情、语音、身体姿势、生理信号等。但在学术论文“心率变异性在身心疾病和情绪障碍研宄中的应用(心理学进展，2006，14 (2):261-265)”中，作者提出面部表情、语音、姿势等容易受到主观意识的控制。而生理信号由自主神经系统和内分泌系统支配，很难被人为的抑制，所以能更可靠的反映人的情感状态。
[0003]呼吸率是重要的生理信号，对呼吸率的监测可以达到识别情感的目的。例如呼吸率的增加意味着情感的唤起；在学术论文“听觉材料诱发恐惧情绪下皮肤电阻、呼吸频率及心率变异性的变化(中华行为医学与脑科学杂志，2009，2:145-147)”中，作者发现恐惧情绪可使呼吸率增加。
[0004]目前呼吸率的测量方法可分为接触式的测量方法和非接触式的测量方法两种。接触式的测量方法要求被试对象佩戴接触式的传感器，如缠绕胸带等。这样的测量方法会引起被试的不适，不利于长时间的测量。在利用呼吸率来识别人类情感的应用中，接触式的测量方法也会暴露情感识别的意图，在特定场合(如刑事侦查、面试、谈判等)不利于被试表达真实的情感。
[0005]利用热成像设备或雷达可以非接触式的测量呼吸率。但热成像或大功率雷达设备造价高、体积大、不便于携带、隐蔽性差、不利于情感的隐蔽测量。中国公开号为CN102988051A，名称为“用于计算机操作者健康的监测装置及方法”的专利公开文件中采用微功率生物雷达测量呼吸率，但要求被试者胸部距发射天线与接受天线间的距离不超过0.5米，这样的距离也不利于情感的隐蔽测量。
【发明内容】
[0006]本发明提供一种利用普通体感相机连续测量呼吸率的方法，该方法设备简单、隐蔽性强，被试与相机间的距离可在1.2-3.5米范围内，操作简单，适用于非接触式情感识别的场合，具有广阔的发展空间和应用背景。
[0007]为了实现上述目的，采用以下技术方案:
A.采集被试处于坐立姿势的全身深度视频；
B.利用骨骼点找出被试的胸腔区域；
C.计算每一帧中胸腔区域内的所有像素点的深度均值，得到深度均值随时间变化的曲线；
D.设置一个长度为N秒的时间窗，当数据占满时间窗时，时间窗内开始处理数据看；之后的时间窗每次舍弃窗内前M秒数据，后面新的M秒数据补入；其中M与N均为正整数；
E.对时间窗内深度均值曲线去噪预处理；
F.提取身体处于非晃动时间段的深度数据，将处于正常呼吸周期范围内的呼吸周期取平均值，将均值作为当前滑动窗输出的呼吸周期T ;
G.根据呼吸周期计算呼吸率RR=60*(1/T)。
[0008]该方法的有益效果是:在实现非接触式情感识别时，被试通常在室内采取坐立的姿势，处于聊天对话、观看影像、阅读等场景中。这时被试处于相对静止、或左右晃动、或前后晃动的运动状态。本发明提供的解决方案可以解决被试身体处于运动状态时胸腔起伏运动被身体运动掩盖的问题。本发明采用非接触式测量方法，使得被试者更加舒适。由于使用普通的体感相机设备，本发明比热成像和雷达等设备的要求更简单，减小了系统实现的复杂度，安装携带方便，隐蔽性更强，操作简单。
【附图说明】
[0009]图1是本发明中数据采集过程中的流程图；
图2是本发明中数据处理过程中的流程图；
图3是经过去噪预处理后的胸腔区域的深度曲线；
图4是基于胸腔深度曲线产生的呼吸率曲线。
【具体实施方式】
[0010]以下采用微软公司的Kinect体感相机为例，结合附图和具体实施对本发明做进一步说明。
[0011]一种利用普通体感相机非接触式测量呼吸率的方法，包括下列步骤:
A.利用Kinect实时采集被试处于坐立姿势的全身深度视频，采样频率30HZ，被试距离相机1.2-3.5米，相机在被试前方，可以高于被试。
[0012]B.利用骨骼点找出被试的胸腔区域。例如:区域可以是左肩、右肩、脊柱点构成的矩形区域，也可以是左肩、右肩、髋部中点构成的矩形区域等。
[0013]C.计算每一帧中胸腔区域内的所有像素点的深度均值，得到深度均值随时间变化的曲线。随着呼吸运动，胸腔平面与摄像机的距离会产生周期性的变化，深度均值也会产生周期性的变化。存储每一帧胸腔平面的深度均值，作为呼吸数据。
[0014]D.设置一个长度为N秒的时间窗，当数据占满时间窗时，时间窗内开始处理数据。之后的时间窗每次舍弃窗内前M秒数据，后面新的M秒数据补入。例如:N=20，15,10 ；M=l，2。在图1 和图 2 中 N=1, M=2。
[0015]E.对时间窗内深度均值曲线去噪预处理，去掉除身体晃动引起的强噪声外的其他噪声干扰。例如:可以采用带通滤波器:0.1Hz一 IHz (6bpm一60bpm)，也可以采用小波变换加分段平滑处理等。图3中显示了经过去噪预处理后的胸腔区域的深度曲线。
[0016]F.波形分类，并根据分类情况计算呼吸周期:找出时间窗内所有波峰波谷，峰值和谷值从前到后按顺序排列，计算所有相邻波峰波谷值相减的绝对值，所有绝对值中存在一个以上的值大于20mm (呼吸运动引起的波动不会超过2cm)时，则认为当前窗内数据叠加有身体运动；根据有无身体晃动的叠加分成两个处理方案 Fl.窗口内没叠加身体晃动
找出窗口内所有波峰和其对应时刻，相邻波峰对应时刻相减得到瞬时周期，判断这些瞬时周期是否在呼吸周期正常范围内(ls~10s，由呼吸频率范围0.1Hz-1Hz得出)，舍弃不合适的周期，保留合理的周期。将所有保留下来的瞬时周期取平均，作为当前滑动窗输出的呼吸周期T。
[0017]F2.窗口内叠加有身体晃动
F21.定位有身体晃动的时间段(例如图3中身体前倾或者后仰的时段)。
[0018]F22.考察窗口内身体晃动时间段以外的非晃动数据段，判断每个非晃动数据段内是否至少可以找到两个波峰(或者波谷)，两个波峰(或者波谷)确定一个完整呼吸周期。如果数据段内不存在完整的呼吸周期，则将该数据段舍弃；如果数据段内存在完整呼吸周期，则该数据保留下来作为有效数据段。
[0019]F23.将有效数据段，按Fl的方法计算每个数据段内的瞬时周期(如果只有波谷，则相邻波谷对应时刻相减得到瞬时周期)；把所有有效数据段计算得到的瞬时周期放在一起取平均，得到当前滑动窗输出的平均呼吸周期T。
[0020]F24.如果整个滑动窗内不存在有效数据段，则该时间窗的呼吸周期取上一滑动窗的平均呼吸周期。
[0021]G.由平均呼吸周期T，计算得到当前滑动窗呼吸频率RR=60*(1/T)，即每分钟呼吸多少次(bpm)，在每个滑动窗末尾对应时刻输出，持续2s。等待下一个滑动窗内的呼数据占满时，再重新更新呼吸率。
[0022]图4中显示了基于胸腔深度曲线产生的呼吸率曲线。
[0023]本发明参照当前较佳实施方案就行了描述，本领域的技术人员能理解设计原则，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。
【主权项】
1.一种利用普通体感相机非接触式测量呼吸率的方法，其特征在于，包括以下步骤: A.采集被试处于坐立姿势的全身深度视频； B.利用骨骼点找出被试的胸腔区域； C.计算每一帧中胸腔区域内的所有像素点的深度均值，得到深度均值随时间变化的曲线； D.设置一个长度为N秒的时间窗，当数据占满时间窗时，时间窗内开始处理数据； 之后的时间窗每次舍弃窗内前M秒数据，后面新的M秒数据补入； 其中M与N均为正整数； E.对时间窗内深度均值曲线去噪预处理； F.提取身体处于非晃动时间段内的深度数据，将处于正常呼吸周期范围内的呼吸周期取平均值，将均值作为当前滑动窗输出的呼吸周期T ; G.根据呼吸周期计算呼吸率RR=60*(1/T)。
2.如权利要求1所述的利用普通体感相机非接触式测量呼吸率的方法，其特征在于:步骤B中的胸腔区域为左肩、右肩、脊柱点构成的矩形区域，或者为左肩、右肩、髋部中点构成的矩形区域。
3.如权利要求1所述的利用普通体感相机非接触式测量呼吸率的方法，其特征在于，所述步骤F中判断身体是否晃动的方法为:找出时间窗内所有波峰波谷，峰值和谷值从前到后按顺序排列，计算所有相邻波峰波谷值相减的绝对值，所有绝对值中存在一个以上的值大于20_时，则认为当前窗内数据叠加有身体运动。
4.如权利要求1所述的利用普通体感相机非接触式测量呼吸率的方法，其特征在于，所述步骤F中还包括对时间窗内存在身体晃动时间段的数据处理方法: F21.定位有身体晃动的时间段； F22.考察窗口内身体晃动时间段以外的非晃动数据段，判断每个非晃动数据段内是否至少可以找到两个波峰或者波谷，两个波峰或波谷确定一个完整呼吸周期； 如果数据段内不存在完整的呼吸周期，则将该数据段舍弃；如果数据段内存在完整呼吸周期，则该数据保留下来作为有效数据段； F23.将有效数据段中，相邻波峰或者波谷对应时刻相减得到瞬时周期，判断这些瞬时周期是否在呼吸周期正常范围内，舍弃不合适的周期，保留有效周期；把所有有效数据段计算得到的有效瞬时周期放在一起取平均，得到当前滑动窗输出的平均呼吸周期T ; F24.如果整个滑动窗内不存在有效数据段，则该时间窗的呼吸周期取上一滑动窗的平均呼吸周期。
【专利摘要】本发明公开了一种利用普通体感相机非接触式测量呼吸率的方法。本方法首先采集被试对象坐立时的全身深度值视频，并提取每一帧中胸腔范围内的深度平均值，得到因变量为深度均值自变量为时间的函数关系式。接着通过函数的幅值判断被试是否相对静止或存在大幅的身体前后运动。最后通过均值函数计算呼吸率：本发明可在距离被试1.2-3.5米范围内测量呼吸率，不用接触被试，所以在测量时使得被试者更加舒适。本发明使用普通的体感相机设备，比热成像和雷达等设备的要求更简单，减小了系统实现的复杂度，安装携带方便、隐蔽性更强、操作简单。
【IPC分类】A61B5-08, A61B5-16
【公开号】CN104720811
【申请号】CN201510155068
【发明人】陈通, 单禹皓, 刘光远
【申请人】西南大学
【公开日】2015年6月24日
【申请日】2015年4月3日