一种基于视频提取BVP传播速度特征的疲劳判别方法

本发明涉及非接触式生理信号检测领域，尤其涉及一种基于人脸视频提取血容积脉搏波(bvp)信号传播速度特征的疲劳判别方法。

背景技术：

1、随着物质水平的提高和社会节奏的加快，丰富多样的娱乐活动和繁重的工作都消耗精力和能量，人们更容易处于疲劳状态。疲劳是一种正常的生理表征，具体表现为注意力不集中、情绪低落，会降低学习工作效率，影响正常生活。长期处于疲劳状态下会导致人体免疫力减弱，严重会诱发心脑血管疾病。疲劳除了对人体自身造成损害，在特定的场合下，如驾驶或高危作业工作时，疲劳引发的失误会威胁他人生命财产安全，造成不可估量的社会经济损失。为了改善人们的生活质量，加强安全保障，需要一种便捷高效的方法在日常生活中实时进行疲劳度的检测和预警，提醒疲劳者及时休息保持充沛的精力，防止疲劳状况的恶化。

2、疲劳作为生理现象，其必然伴随着生理信号表征，研究表明血液尿液中的细胞代谢物、肌电信号、脑电信号等都和疲劳密切相关，以生理信号作为疲劳判别的指标是最精准的，但这些生理信号指标检测设备复杂、侵入性高，不能满足日常生活中温和高效的实时监测。疲劳时的行为表征也可以作为疲劳检测的指标，通过非接触方式对人在疲劳时产生的规律性表现间接检测，方法简单且侵入式低，但行为表征不属于疲劳本质，容易受到主观干扰，使用场景具有局限性。

3、随着计算机视觉研究的发展，通过视频图像数据非接触获取心率、眼动信号等具象生理参数已经成为现实，这种方式兼具侵入性低和相关性强的优势，是具有研究价值的疲劳检测方式。本发明从血流和疲劳的相关性出发，结合数字图像处理和信号滤波技术，以非接触手段从视频流中提取血容积脉搏波(bvp)信号传播速度，依靠更可靠准确的指标进行疲劳判别，建立视频、血流信号和疲劳三者之间的联系。

技术实现思路

1、本发明的目的是采用舒适便捷的非接触手段，提出一种从人脸视频像素信号提取血流特征后再进行疲劳判定的新型疲劳检测方法，能够适用于更多样的生活场景，帮助人们在日常生活中方便高效地监测疲劳状态。

2、本发明在解决非接触获取血流相关特征进行疲劳判别问题上采用的方案分为三个部分。

3、第一部分，从人脸视频中确定用于计算bvp信号传播速度的区域，最终得到多个正方形有效区域。我们首先从视频中进行人脸识别和框定，进行内外眼角的特征点标记，根据内外眼角的平均距离实现像素和厘米的单位转换。接下来可以从框定的人脸视频帧序列中锁定人体皮肤的有效像素区域，将得到的像素值时间序列利用远程光电体积描记法(remote photoplethys mography，rppg)处理，从全脸的皮肤区域得到总rppg波形和总心率值。最后以固定大小的正方形窗口在人脸框中滑动，满足条件的窗口认为包含更相关的血流信息而被选取为更细化的目标区域，滑窗筛选避免逐像素点筛选过度耗时的缺点，提高计算效率。

4、第二部分，模型针对的是存在血流的两邻近点，我们通过一些限制条件去筛除可能的噪点，在每个有效区域内对像素点进行筛选和匹配，得到多个符合条件可用于计算的匹配像素序列组。我们对滑窗选定有效区域中的像素信号进行简单的去基线和高斯滤波处理，之后同时进行三种筛选。第一种是信号功率筛选，计算每个像素点和周围8点的功率差方均值，筛除和周围信号能量产生较大差异的像素点。第二种是心率窗口能量比筛选，主要针对信号频谱的筛选，计算每个像素序列在心率窗口的频谱能量与总频谱能量的比值，保留比值较大的像素点。第三种是相对能量比和相关性筛选，主要用相似性来匹配能用来计算空间梯度的点对，计算每个像素点和周围8点彼此的互相关和相对能量比，对相似信号在形态和幅度上加以约束，只有当最大互相关和对应邻点相对能量比都满足预设条件，两者才被标记为匹配点。上述三种筛选方法在算法流程中是并行执行，它们筛选结果交集是最终用于计算bvp传播速度的像素点。

5、第三部分，根据推导的bvp信号传播速度公式计算结果，将计算结果和设定的疲劳度阈值进行比较，可以实现疲劳度的监测。我们将总rppg序列功率调整到有效区域信号平均能量大小后计算时间梯度，用匹配像素序列的差值计算空间梯度，代入公式计算一组bvp传播速度，将所有符合条件的像素点组用同样方式计算对应的bvp传播速度，计算平均bvp传播速度和提前预设的疲劳度阈值进行比较，最终实现对视频中人的疲劳判别。

6、本发明的创新之处在于，一方面利用非接触方式提取人脸血流特征，从视频像素信号中提取复杂的生理信号，避免传统接触式生理信号检测的复杂过程，具有更大的应用前景；另一方面，我们创新性的提出bvp信号传播速度计算模型，bvp信号可以反映血容量相对变化，本发明设计并计算人体血流特征来判断疲劳状态，人体生理信息作为判断依据更加接近疲劳本质，提高疲劳判别的可靠性。

技术特征：

1.本发明公开了一种基于视频提取bvp传播速度特征的疲劳判别方法，其特征在于从人脸视频选定皮肤区域，通过滑窗筛取有效区域，对有效区域的像素点进行筛选，根据推导公式计算bvp传播速度，和阈值比较进行疲劳判别。

2.根据权利要求1所述的一种基于视频提取bvp传播速度特征的疲劳判别方法，其特征是阈值色选法获得人脸皮肤区域，用固定大小滑窗遍历皮肤区域，用局部rppg序列心率和全脸rppg序列心率比较，保留包含血流信息的有效区域。

3.根据权利要求1所述的一种基于视频提取bvp传播速度特征的疲劳判别方法，其特征是对滑窗选取的有效区域进行空间信号功率、心率窗口能量比、相对能量比与相关性的并行筛选，保留的邻近像素点序列幅度和形态相似，且和血流有强相关性。

4.根据权利要求1所述的一种基于视频提取bvp传播速度特征的疲劳判别方法，其特征是利用bvp传播时延，建立数学模型，计算rppg时间梯度和空间梯度得到bvp传播速度。

5.根据权利要求1所述的一种基于视频提取bvp传播速度特征的疲劳判别方法，其特征是能够通过较静止的人脸视频非接触判断人体是否疲劳。

技术总结
本发明公布了一种基于视频提取BVP传播速度特征的疲劳判别方法，分为三个部分。第一部分是确定计算BVP信号传播速度的区域，通过人脸框定皮肤选取、像素实际长度计算、远程光电体积描记(remote Photoplethys‑mography，rPPG)信号提取、滑窗筛选四个步骤得到多个正方形有效区域。第二部分对有效区域内的像素点进行筛选，经过空间信号功率筛选、心率窗口能量比筛选、相对能量比与相关性筛选并行处理，得到多组匹配的像素序列组。第三部分根据推导公式逐组计算BVP传播速度，对全部BVP传播速度求均值后和疲劳阈值比较，最终实现疲劳判别。该方法既保留非接触检测高效便捷、侵入性低的优点，又从血流的生理信号本质进行疲劳判别，提高疲劳检测的准确度。

技术研发人员：孟学冬,陈颖,余海天,葛云
受保护的技术使用者：南京大学
技术研发日：
技术公布日：2024/1/16