一种从视频中连续监测心率的多光谱成像方法、装置及终端

本发明涉及非接触式心率测量，特别涉及一种从视频中连续监测心率的多光谱成像方法、装置及终端。

背景技术：

1、基于摄像头（camera）的视频感知技术已被用于非接触生命体征监测及健康监测。该技术通过采用图像/信号处理算法从一段包含连续帧的视频图像中提取人体生理信号，包括心率，心率变异性，呼吸率，血氧饱和度，血压等。其中，心率对监测心血管系统，自主神经系统，睡眠分析等有重要意义。目前，摄像头监测心率的方式主要通过非接触光电容积脉搏波（remote photoplethsmography，简称为remote-ppg）实现，其核心技术原理已用于可穿戴的专业医疗设备（如手指血氧仪-finger oximeter）监测心率、呼吸率和血氧饱和度等生理指标。而多光谱光电容积脉搏波（multi-wavelength ppg）的基础作用尤为重要，可同时监测不同波段下的脉搏波信号（ppg）。

2、而不同波段的脉搏波能反映出不同的人体生理特征，如绿光波段的心率信号最强；红外波段对血氧（blood oxygen saturation）的变化最为敏感。不同波段信号（如蓝光和红外光）之间的信号相位差可计算脉搏波的传输时间（pulsetransit time）和血压。因此，在多个波段下（可见光和红外光）下同时摄取ppg信号有重要的医学意义和应用价值。此外，多光谱ppg（可见光和红外光）不仅增加了可测量的生理信号，而且增加了单个信号监测的鲁棒性，如通过多通道融合降噪的信号处理方法。但是，多光谱ppg在摄像头上的应用却大多局限在可见光或近红外波段，因为目前商用的，同时包括可见光和近红外的摄像头并不常见。因此，若想在单枚摄像头上实现7天/24小时的连续心率监测，需拓展目前的rgb摄像头的光学器件和算法实现方案，才能使其既能在白天环境（rgb波段）和夜晚环境（nir波段）下稳定地监测心率。

技术实现思路

1、本发明的目的在于提供一种从视频中连续监测心率的多光谱成像方法、装置及终端，以解决上述背景技术中提到的问题。

2、为了达成上述目的，本发明的解决方案为：一种从视频中连续监测心率的多光谱成像方法，包括：

3、s1、根据待监测者所处的监测环境自动获取待监测环境下的光照强度，根据获取的待监测环境的光照强度自动切换滤光，并在两个图像采集通道中选定其中一个图像采集通道，实时采集并获取环境视频图像；

4、s2、对获取的环境视频图像进行提取分析，根据分析的连续的视频图像画面提取波段信号，根据提取的波段信号在单个或多个光谱脉搏波生物特征标签中自动切换相应的脉搏波生物特征标签，提取该光谱区间下的脉搏波；

5、s3、根据提取的脉搏波信号计算该时间段内待监测者的心率值，并将心率值连同脉搏波进行输出，完成心率监测。

6、优选的，所述图像采集通道可以为单波段图像采集通道或多波段图像采集通道。

7、优选的，所述光照强度充足时，选用多波段图像采集通道获取环境视频图像，所述多波段图像采集通道为rgb图像采集通道；所述光照强度不足时，选用单波段图像采集通道获取环境视频图像，所述单波段图像采集通道为nir图像采集通道。

8、优选的，所述nir图像采集通道在对环境图像进行采集时，需要补入红外led光源。

9、一种从视频中连续监测心率的多光谱成像装置，其特征在于，包括：

10、图像采集模块，用于采集并获取环境视频图像；

11、光照强度感应模块，用于感应待监测者所处监测环境下的光照强度；

12、触发模块，在光照强度感应模块分析出环境图像中的像素光强不足时，自动切换滤光并补入红外led光源；

13、视频处理模块，用于处理获取的连续视频图像；

14、脉搏波提取模块，用于提取脉搏波信号；

15、心率计算模块，用于将监测的脉搏波信号计算成心率值。

16、优选的，所述脉搏波提取模块在提取脉搏波信号前，需要根据波段信号自动切换单个或多个光谱脉搏波生物特征标签。

17、优选的，所述成像设备还包括isp视频处理模块，用于视频图像的自动白平衡、debayer、降噪、色彩空间校正、图像增加（锐化）、图像压缩处理，并最终生成isp视频编码，再对编码进行转化，输出成视频图像。

18、一种从视频中连续监测心率的多光谱成像终端，其特征在于，包括摄像头、rgb传感器、nir传感器、ir-cut filter、光照强度传感器、红外led补光灯、处理器和存储器；所述摄像头用于拍摄环境视频图像；所述rgb传感器和nir传感器分别用于获取拍摄环境中的多波段信号和单波段信号；所述ir-cut filter与rgb传感器和nir传感器配合使用，用于自动切换摄像头滤光；所述光照强度传感器用于感应环境光照强度；所述红外led补光灯与nir传感器配合使用，在拍摄环境只有单波段信号使进行补光；所述处理器用于处理摄像头、rgb传感器、nir传感器和光照强度传感器获取的图像和信号，并控制ir-cut filter自动切换和红外led补光灯的启闭；所述存储器用于存储摄像头、rgb传感器、nir传感器和光照强度传感器获取的图像数据和信号数据。

19、优选的，所述终端还包括与摄像头有线或无线连接的显示器；所述显示器包含ui显示界面，用于显示监测完成后的心率值和脉搏波信号。

20、本发明对照现有技术的有益效果是：

21、本发明通过在单枚摄像头中搭载rgb传感器和nir传感器，并采用ir-cut filter自动切换的方式来实现rgb传感器和nir传感器可见光波段和近红外波段的交替互换，使单枚摄像头可以在一套算法下实现两种环境光下的多光谱脉搏波信号提取和心率监测，从而使单枚摄像头能够直接实现7天/24小时的连续心率监测。

技术特征：

1.一种从视频中连续监测心率的多光谱成像方法，其特征在于，包括：

2.如权利要求1所述的一种从视频中连续监测心率的多光谱成像方法，其特征在于：所述图像采集通道可以为单波段图像采集通道或多波段图像采集通道。

3.如权利要求2所述的一种从视频中连续监测心率的多光谱成像方法，其特征在于：所述光照强度充足时，选用多波段图像采集通道获取环境视频图像，所述多波段图像采集通道为rgb图像采集通道；所述光照强度不足时，选用单波段图像采集通道获取环境视频图像，所述单波段图像采集通道为nir图像采集通道。

4.如权利要求3所述的一种从视频中连续监测心率的多光谱成像方法，其特征在于：所述nir图像采集通道在对环境图像进行采集时，需要补入红外led光源。

5.一种从视频中连续监测心率的多光谱成像装置，其特征在于，包括：

6.如权利要求5所述的一种从视频中连续监测心率的多光谱成像装置，其特征在于：所述脉搏波提取模块在提取脉搏波信号前，需要根据波段信号自动切换单个或多个光谱脉搏波生物特征标签。

7.如权利要求5所述的一种从视频中连续监测心率的多光谱成像装置，其特征在于：所述视频处理模块为isp视频处理模块，用于视频图像的自动白平衡、debayer、降噪、色彩空间校正、图像增加（锐化）、图像压缩处理，并最终生成isp视频编码，再对编码进行转化，输出成视频图像。

8.一种从视频中连续监测心率的多光谱成像终端，其特征在于，包括摄像头、rgb传感器、nir传感器、ir-cut filter、光照强度传感器、红外led补光灯、处理器和存储器；所述摄像头用于拍摄环境视频图像；所述rgb传感器和nir传感器分别用于获取拍摄环境中的多波段信号和单波段信号；所述ir-cut filter与rgb传感器和nir传感器配合使用，用于自动切换摄像头滤光；所述光照强度传感器用于感应环境光照强度；所述红外led补光灯与nir传感器配合使用，在拍摄环境只有单波段信号使进行补光；所述处理器用于处理摄像头、rgb传感器、nir传感器和光照强度传感器获取的图像和信号，并控制ir-cut filter自动切换和红外led补光灯的启闭；所述存储器用于存储摄像头、rgb传感器、nir传感器和光照强度传感器获取的图像数据和信号数据。

9.如权利要求8所述的一种从视频中连续监测心率的多光谱成像终端，其特征在于：还包括与摄像头有线或无线连接的显示器；所述显示器包含ui显示界面，用于显示监测完成后的心率值和脉搏波信号。

技术总结
本发明公开了一种从视频中连续监测心率的多光谱成像方法、装置及终端，其方法包括：S1、根据待监测者所处的监测环境自动获环境光照强度，根据光照强度自动切换滤光，并选定一个图像采集通道，实时采集环境视频图像；S2、对环境视频图像进行提取分析，根据提取的波段信号自动切换脉搏波生物特征标签，提取脉搏波；S3、根据脉搏波信号计算待监测者的心率值。本发明通过在单枚摄像头中搭载RGB传感器和NIR传感器，并采用IR‑cut filter自动切换的方式来实现RGB传感器和NIR传感器可见光波段和近红外波段的交替互换，使单枚摄像头可以在一套算法下实现两种环境光下的多光谱脉搏波信号提取和心率监测，从而使单枚摄像头能够直接实现7天/24小时的连续心率监测。

技术研发人员：王文锦,徐永
受保护的技术使用者：南方科技大学
技术研发日：
技术公布日：2024/1/13