基于红外成像的心率监测方法、系统、装置和存储介质

1.本发明涉及心率监测技术领域，尤其是一种基于红外成像的心率监测方法、系统、装置和存储介质。


背景技术：

2.相关技术中，心率监测需要在被测对象上附加传感器，例如电极片、指夹等装置，这会给患者带来不适且无形中给患者增加压力，从而影响心率采集的准确度。并且，在对敏感人群的心率进行监测的时候，例如对新生儿或烧伤患者进行监测时，接触式方法还会增加感染的风险。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于红外成像的心率监测方法、系统、装置和存储介质，能够有效提高心率监测的准确度，并降低对敏感患者监测的风险。
4.一方面，本发明实施例提供了一种基于红外成像的心率监测方法，包括以下步骤：
5.获取被检测对象的若干连续帧红外图像；
6.提取所述若干连续帧红外图像的若干连续帧感兴趣区域图像；
7.对所述若干连续帧感兴趣区域图像的像素进行空间均值化，得到所述若干连续帧感兴趣区域图像对应的时序信号；
8.通过滑动窗口以预设移动距离在所述时序信号上获取若干窗口时序信号；
9.将所述若干窗口时序信号转换为频域信号，并根据所述频域信号确定所述被检测对象的心率值。
10.在一些实施例中，所述提取所述若干连续帧红外图像的若干连续帧感兴趣区域图像，包括：
11.提取连续两帧红外图像的感兴趣区域图像；
12.确定所述连续两帧红外图像的感兴趣区域图像的交集区域和并集区域；
13.计算所述交集区域和所述并集区域的第一比值；
14.确定所述第一比值大于第一预设值，将前一帧的感兴趣区域图像作为当前帧的感兴趣区域图像。
15.在一些实施例中，所述方法还包括以下步骤：
16.确定所述第一比值小于第一预设值，根据所述前一帧的感兴趣区域图像对应位置进行位置追踪。
17.在一些实施例中，所述对所述若干连续帧感兴趣区域图像的像素进行空间均值化，得到所述若干连续帧感兴趣区域图像对应的时序信号，包括：
18.对所述若干感兴趣区域图像内的所有像素进行空间均值化处理，得到不同尺度的一维时序信号，所述若干感兴趣区域图像包括多尺度大小的感兴趣区域图像；
19.对所述不同尺度的一维时序信号分别进行滤波后再进行降维，得到每帧红外图像对应的单个一维时序信号。
20.在一些实施例中，所述根据所述频域信号确定所述被检测对象的心率值，包括：
21.获取当前窗口内的所述频域信号中频域最高点对应的心率值；
22.确定所述当前窗口内的频域信号内的噪声满足第一预设要求，将所述最高点对应的心率值作为被检测对象在当前时刻的心率值；
23.确定所述当前窗口内的频域信号内的噪声满足第二预设要求，将最靠近上一个窗口心率值的所述最高点对应的心率值作为被检测对象在当前时刻的心率值。
24.在一些实施例中，所述确定所述当前窗口内的频域信号内的噪声满足第一预设要求，将所述最高点对应的心率值作为被检测对象在当前时刻的心率值，包括：
25.确定所述最高点对应的心率值的目标区间；
26.计算所述目标区间的功率值与所述频域信号图像的总功率值的第二比值；
27.当所述第二比值大于第二预设值，确定所述当前窗口内的频域信号内的噪声满足第一预设要求；
28.将所述最高点对应的心率值作为被检测对象在当前时刻的心率值。
29.在一些实施例中，所述确定所述当前窗口内的频域信号内的噪声满足第二预设要求，将最靠近上一个窗口心率值的所述最高点对应的心率值作为被检测对象在当前时刻的心率值，包括：
30.当所述第二比值小于等于第二预设值，确定所述当前窗口内的频域信号内的噪声满足第二预设要求；
31.获取当前窗口内若干个所述频域信号中频域最高点对应的心率值；
32.确定所述若干个所述频域信号中频域最高点对应的心率值中最靠近上一个窗口心率值的最高点对应的心率值作为被检测对象在当前时刻的心率值。
33.另一方面，本发明实施例提供了一种基于红外成像的心率监测系统，包括：
34.第一模块，用于获取被检测对象的若干连续帧红外图像；
35.第二模块，用于提取所述若干连续帧红外图像的若干连续帧感兴趣区域图像；
36.第三模块，用于对所述若干连续帧感兴趣区域图像的像素进行空间均值化，得到所述若干连续帧感兴趣区域图像对应的时序信号；
37.第四模块，用于通过滑动窗口以预设移动距离在所述时序信号上获取若干窗口时序信号；
38.第五模块，用于将所述若干窗口时序信号转换为频域信号，并根据所述频域信号确定所述被检测对象的心率值。
39.另一方面，本发明实施例提供了一种基于红外成像的心率监测装置，包括：
40.至少一个存储器，用于存储程序；
41.至少一个处理器，用于加载所述程序以执行前述的基于红外成像的心率监测方法。
42.另一方面，本发明实施例提供了一种存储介质，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现前述的基于红外成像的心率监测方法。
43.本实施例提供的一种基于红外成像的心率监测方法，具有如下有益效果：
44.本实施例通过获取被检测对象的若干连续帧红外图像后，提取若干连续帧红外图像的若干连续帧感兴趣区域图像，接着对若干连续帧感兴趣区域图像的像素进行空间均值化，得到若干连续帧感兴趣区域图像对应的时序信号，并通过滑动窗口以预设移动距离在时序信号上获取若干窗口时序信号，将若干窗口时序信号转换为频域信号后，息，可以根据时频上的相关信息得到被检测对象的心率值，有效提高心率监测的准确度，同时，利用红外图像进行心率分析，无需通过设备接触患者，从而降低对敏感患者进行监测带来的风险。
45.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
46.下面结合附图和实施例对本发明做进一步的说明，其中：
47.图1为本发明实施例的一种基于红外成像的心率监测方法的流程图；
48.图2为本发明实施例的抑制iou计算示意图；
49.图3为本发明实施例的多尺度roi示意图；
50.图4为本发明实施例的频域跟踪方法流程图；
51.图5为本发明实施例的判断窗口是否存在噪声的示意图。
具体实施方式
52.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
53.在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
54.本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
55.本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
56.相关技术中，在人体健康的各种生理指标中，心率占有重要地位，它能直接反映人体的健康状况。因此，对特定人群的心率进行持续监测显得尤为必要。
57.目前，心率监测需要在被测对象上附加传感器，如电极片、指夹等，这会给患者带来不适和压力，也会对自然和准确的心率信息的采集产生影响。在对敏感人群的心率进行监测的时候，如新生儿和烧伤患者，接触式方法还会增加感染的风险。非接触式生理信号检测技术则可以很好地克服这个缺点。随着成像式心率监测的发展，尤其以rgb可见光成像心
率监测发展，实现非接触形式对睡眠者的心率进行稳定的监测具有很高的市场价值。但是由于基于可见光成像的心率监测对光照条件要求比较高，强烈的光照可能会影响被测者的正常睡眠。
58.基于此，本实施例一种基于近红外补光的成像式心率监测方法，该方法用于睡眠场景下的非接触式心率监测，能够适应睡眠需要的黑暗环境和体动场景，同时保持较高的心率监测准确性。
59.在本实施例中，成像式心率监测技术背后的原理是：皮肤反射的光根据血液的主要成分血红蛋白的特定吸收光谱进行调制。每一次心脏跳动，新的血液流到达皮肤，会导致皮肤颜色的微小变化。虽然这些微红不能被肉眼观察到，但使用普通的相机和特定算法可以提取它们。示例性地，皮肤反射模型如公式(1)所示：
60.ck(t)＝i(t)
·
(vs(t)+vd(t))+vn(t)公式(1)
61.其中，ck(t)代表着第k个通道。i(t)表示光照强度。vs(t)表示皮肤表面的镜面反射，它不反映心率信息。vd(t)表示漫反射，由照亮皮肤底层的血液循环所调节。vn(t)表示相机的量化误差。
62.由此可知，通过减少对皮肤roi区域的直接照明能够减轻镜面反射带来的噪声影响。通过平均roi中的像素强度，可以大大降低量化误差带来的噪声影响。
63.下面结合附图对本技术实施例进行详细阐述：
64.参照图1，本发明实施例提供了一种基于红外成像的心率监测方法，本实施例可以应用于心率监测平台对应的处理器、服务器或云端。处理器、服务器或云端均可以与各个终端设备进行交互。其中，终端设备包括但不限于摄像机、录像设备或工作人员的移动终端。
65.以应用于服务器为例，本实施例方法包括但不限于以下步骤：
66.步骤s110、获取被检测对象的若干连续帧红外图像；
67.步骤s120、提取若干连续帧红外图像的若干连续帧感兴趣区域图像；
68.步骤s130、对若干连续帧感兴趣区域图像的像素进行空间均值化，得到若干连续帧感兴趣区域图像对应的时序信号；
69.步骤s140、通过滑动窗口以预设移动距离在时序信号上获取若干窗口时序信号；
70.步骤s150、将若干窗口时序信号转换为频域信号，并根据频域信号确定被检测对象的心率值。
71.在本技术实施例中，可以通过intelrealsense d435相机的近红外通道进行连续帧捕获若干连续帧红外图像，从而实现在睡眠者存在头部转动情况下的连续心率监测。在得到若干连续帧红外图像后，提取连续两帧红外图像的感兴趣区域(roi，region of interest)图像；确定连续两帧红外图像的感兴趣区域图像的交集区域和并集区域；计算交集区域和并集区域的第一比值；当第一比值大于第一预设值，将前一帧的感兴趣区域图像作为当前帧的感兴趣区域图像；当第一比值小于第一预设值，根据前一帧的感兴趣区域图像对应位置进行追踪。
72.示例性地，本实施例可以通过iou(intersection of union)方法对人脸跟踪过程中roi的边框跳动进行抑制。如图2所示，对于连续两帧的roi区域进行交并比计算，将第一比值iou与第一预设值k＝0.99进行比较。如果iou大于阈值k说明只是微小的跳动变化，仍然取前一帧的roi位置取代当前帧的roi。如果iou小于阈值k则说明被测者发生了明显的头
部转动，此时根据前一帧的感兴趣区域图像对应位置进行位置跟踪。具体地，可以采用klt角点检测方法进行追踪。
73.在本技术实施例中，在得到若干感兴趣区域图像后，对若干感兴趣区域图像内的所有像素进行空间均值化处理，以得到不同尺度的一维时序信号，接着对不同尺度的一维时序信号分别进行滤波后再进行降维后，得到每帧红外图像对应的单个一维时序信号。其中，本实施例的若干感兴趣区域图像包括多尺度大小的感兴趣区域图像。可以理解的是，本实施例在检测第一帧人脸之后使用klt角点检测方法进行跟踪，同时使用iou方法减轻roi边框带来的跳动。但是，由于人脸的转动，并不能保证如脸颊额头等区域roi一直被镜头捕捉到，所以本实施例选取多尺度大小的roi，如图3所示，多尺度大小的roi对应不同的目标框。在逐帧进行roi均值化后得到了不同尺度的一维时序信号。通过多尺度信号处理，得到了单个一维时序信号。
74.本实施例中多尺度信号处理方法是首先使用spa趋势去除和带通滤波对每个信号进行处理，再使用pca进行信号降维，选取pca输出的信号中第一个分量作为后续处理信号，然后使用离散小波小波变换去噪的方法，减轻了信号噪声污染片段的影响。
75.在本实施例中，在得到降维后的时序信号后，可以通过滑动窗口以预设移动距离在该降维后的时序信号上获取每个位置窗口下的时序信号作为窗口时序信号。例如，以10秒距离作为滑动窗口的长度，以1秒作为预设移动距离。则在一个完整的时序信号中，先确定第一个窗口下的时序信号，然后将第一个窗口往后移动1秒作为第二个滑动串口，再获取第二个滑动窗口下的时序信号，依次类推，直至完成该完整时序信号的提取。在得到多个窗口时序信号后，通过快速傅里叶变换将所有窗口时序信号分别转换为频域信号，然后通过频域信号来检测并跟踪被检测对象的心率值。
76.具体地，本实施例可以通过获取当前窗口内的频域信号中频域最高点对应的心率值后，当确定当前窗口内的频域信号内的噪声满足第一预设要求，将最高点对应的心率值作为被检测对象在当前时刻的心率值；当确定当前窗口内的频域信号内的噪声满足第二预设要求，将最靠近上一个窗口心率值的所述最高点对应的心率值作为被检测对象在当前时刻的心率值。其中，第一预设要求可以是频域信号中不存在明显的噪声或者不存在噪声。不明显的噪声可以是通过人眼无法确定的噪声。第二预设要求可以是频域信号中存在明显的噪声。
77.可以理解的是，本实施例通过确定最高点对应的心率值的目标区间，并计算目标区间的功率值与频域信号图像的总功率值的第二比值；当第二比值大于第二预设值，确定当前窗口内的频域信号内的噪声满足第一预设要求，并将最高点对应的心率值作为被检测对象在当前时刻的心率值。当第二比值小于等于第二预设值，确定当前窗口内的频域信号存在噪，获取当前窗口内若干个所述频域信号中频域最高点对应的心率值，确定若干个所述频域信号中频域最高点对应的心率值中最靠近上一个窗口心率值的最高点对应的心率值作为被检测对象在当前时刻的心率值。具体地，心率计算公式如公式(2)所示：
78.hr＝f*60
ꢀꢀꢀ
公式(2)
79.其中，hr为当前窗口心率，f代表频域最高点对应的频率。
80.示例性地，如图4所示，获取当前窗口的频域最高点对应心率，判断该窗口是否存在大的噪声，如果频域最高点所在目标区间功率值与频谱总功率值的第二比值大于第二预
设值，则认为该窗口信号是相对纯净的，该最高点作为主导频率被确定为心率值。如果该第二比值不大于第二预设值，则认为该窗口有较大噪声，寻找到它最高的若干个点对应的频率，然后取其中离上个窗口心率值最接近的作为当前窗口的心率值。具体地，如图5所示，虚线框所在区间[(hr-8.79)bpm(hr+8.79)bpm，]的功率值与频谱总功率值的第二比值大于0.2，则认为该窗口信号是相对纯净的，该最高点作为主导频率被确定为心率值；虚线框所在区间[(hr-8.79)bpm，(hr+8.79)bpm]的功率值与频谱总功率值的第二比值小于等于0.2，则认为该窗口有较大噪声，寻找到它最高的十个点(对应图5中的星标)对应的频率，然后取其中离上个窗口心率值最接近的作为当前窗口的心率值。
[0081]
综上可知，本实施例的方法，具有以下效果：
[0082]
第一点、无论是采用逐帧检测人脸的方法还是klt跟踪第一帧的roi(region of interest)，都会有roi边框跳动的现象出现，这会给后续的bvp(blood volume pulse)信号带来额外的噪声。本实施例使用iou(intersection of union)方法既能对边框跳动进行抑制，又能在被测者头部转动的时候保持跟踪。
[0083]
第二点、原有的成像式心率检测方法均是对单个较短的视频样本进行处理来获取该段时间内的平均心率，而没有对心率在时频上的相关信息进行利用。本实施例采用滑动窗口的方式在较长样本上检测心率并进行频域跟踪，利用了相邻窗口的心率信息的关系来提高心率监测的准确性。
[0084]
第三点、对于存在头部较大转动动作的样本片段，会引入较大噪声而影响该段时间心率监测的准确率。目前的方法一般都是把该被污染片段丢弃。本实施例使用pca、小波去噪等信号处理方法和频域跟踪算法极大地减轻了运动伪影的干扰，在不丢弃污染片段的情况下仍然保持了和基准信号较高的时频曲线一致性。
[0085]
本发明实施例提供了一种基于红外成像的心率监测系统，包括：
[0086]
第一模块，用于获取被检测对象的若干连续帧红外图像；
[0087]
第二模块，用于提取所述若干连续帧红外图像的若干连续帧感兴趣区域图像；
[0088]
第三模块，用于对所述若干连续帧感兴趣区域图像的像素进行空间均值化，得到所述若干连续帧感兴趣区域图像对应的时序信号；
[0089]
第四模块，用于通过滑动窗口以预设移动距离在所述时序信号上获取若干窗口时序信号；
[0090]
第五模块，用于将所述若干窗口时序信号转换为频域信号，并根据所述频域信号确定所述被检测对象的心率值。
[0091]
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
[0092]
本发明实施例提供了一种基于红外成像的心率监测装置，包括：
[0093]
至少一个存储器，用于存储程序；
[0094]
至少一个处理器，用于加载所述程序以执行图1所示的基于红外成像的心率监测方法。
[0095]
本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
[0096]
本发明实施例提供了一种存储介质，其中存储有计算机可执行的程序，所述计算
机可执行的程序被处理器执行时用于实现图1所示的基于红外成像的心率监测方法。
[0097]
本发明方法实施例的内容均适用于本存储介质实施例，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
[0098]
此外，本发明实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的基于红外成像的心率监测方法。
[0099]
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。