远程体积描记信号检测模型构建、检测方法、装置及应用

1.本发明属于生理信号检测技术领域，涉及一种远程体积描记信号检测，具体涉及一种远程体积描记信号检测模型构建、检测方法、装置及应用。


背景技术：

2.由心脏的周期性活动引起的生理信号包含多种重要的生命体征信息，在医疗、运动、心理检测等各个领域都具有重要意义。测量这类生理信号的常用方法有心电图(ecg)：ecg使用附着在身体上的电极(通常在胸部)来测量心脏每一心动周期所产生的电活动变化图形；光电容积描记术(ppg)：ppg将小型光学传感器与光源结合使用，测量由于心动周期引起的血管对光吸收的变化。但这两种方法都是接触式检测，对于用户，尤其对于新生儿或者烧伤患者等空间特征极端敏感的人群存在许多应用上的不便。
3.远程光电体积描记术可以很好地解决问题，但是依赖研究者先验知识的现有远程光电体积描记术难以应对复杂多变的环境影响和数据噪声，导致获得的远程光电体积描记信号精度不高。


技术实现要素：

4.针对现有技术存在的不足，本发明的目的在于，提供一种远程体积描记信号检测模型构建、检测方法、装置及应用，以解决现有技术中远程光电体积描记信号在无约束坏境下精度不高的技术问题。
5.为了解决上述技术问题，本发明采用如下技术方案予以实现：
6.一种远程体积描记信号检测模型构建方法，该方法包括以下步骤：
7.步骤1、采集人面部视频图像序列和远程体积描记信号，对采集到的人面部视频图像序列进行预处理得到预处理后的人面部视频图像序列，组成初始数据集，以采集到的远程体积描记信号组成标签集；
8.步骤2、以所述的初始数据集作为输入，以所述的标签集作为输出，训练远程体积描记信号检测模型，所述的远程体积描记信号检测模型包括连接设置的浅层特征提取模块、3d时空堆叠卷积模块、多层级特征融合模块、乘积模块和信号预测模块；
9.所述的浅层特征提取模块用于对输入的预处理后的人面部视频图像序列进行浅层特征提取，得到浅层特征图，并将得到的浅层特征图分别发送给3d时空堆叠卷积模块和多层级特征融合模块；
10.所述的3d时空堆叠卷积模块用于对输入的浅层特征图进一步进行特征提取得到深层特征图，并将得到的深层特征图分别发送给乘积模块和多层级特征融合模块；
11.所述的多层级特征融合模块用于对输入的浅层特征图进行空间特征提取以获得空间特征、对输入的深层特征图进行通道特征提取以获得通道特征，然后对得到的空间特征和通道特征进行融合得到混合权重参数，并将得到的混合权重参数发送给乘积模块；
12.所述的乘积模块用于对输入的深层特征图和混合权重参数进行乘积处理得到混
合特征图，并将得到的混合特征图发送给信号预测模块；
13.所述的信号预测模块用于将输入的混合特征图转换为远程体积描记信号输出。
14.本发明还具有以下技术特征：
15.具体的，所述的预处理包括人面部视频图像序列的分割、剪裁和尺寸统一。
16.更进一步的，所述的浅层特征提取模块包括依次串联的空间卷积层、空间最大池化层和两个3d时空卷积层，且所述空间卷积层和3d时空卷积层后均设置有批标准化层。
17.更进一步的，所述的3d时空堆叠卷积模块包括串联的两个相同结构的卷积块，所述的卷积块包括顺序设置的下采样层和2个3d时空卷积层，且每个3d时空卷积层后均设置有批标准化层。
18.更进一步的，所述的多层级特征融合模块包括并行的通道特征图生成器和基于残差结构的空间特征图生成器；
19.所述的通道特征图生成器用于对输入的深层特征图进行通道特征提取得到通道特征图，所述的基于残差结构的空间特征图生成器用于对输入的浅层特征图进行空间特征提取得到空间特征图；所述的通道特征图与空间特征图进行融合操作得到混合权重参数。
20.更进一步的，所述的对输入的深层特征图进行通道特征提取得到通道特征图通过下式实现：
[0021][0022]
式中，fc代表通道特征图，fh代表深层特征图。
[0023]
如权利要求5所述的远程体积描记信号检测模型构建方法，其特征在于，所述的对输入的浅层特征图进行空间特征提取得到空间特征图通过下式实现：fs＝σ(conv(φ(f
l
)))
[0024]
式中，f
l
是浅层特征图，fs是空间特征图。
[0025]
更进一步的，所述对输入的深层特征图和混合权重参数进行乘积处理得到混合特征图通过以下公式实现：
[0026][0027]
式中，为第i个通道的混合特征图；为第i个通道的深层特征图。
[0028]
一种远程体积描记信号检测方法，该方法包括以下步骤：
[0029]
步骤一，采集人面部视频图像序列；
[0030]
步骤二，对采集到的人面部视频图像序列进行预处理后输入至本发明所述的远程体积描记信号检测模型构建方法构建出的远程体积描记信号检测模型中，获得远程体积描记信号。
[0031]
本发明还公开了一种远程体积描记信号检测方法用于心率估计的应用。
[0032]
本发明还公开了一种远程体积描记信号检测模型构建装置，包括：
[0033]
数据集获取模块，用于获取人面部视频视频保存视频帧图像为人面部视频图像序列，组成初始数据集；还用于采集远程体积描记信号，获得标签集；
[0034]
网络训练模块，用于将所述初始数据集作为输入，标签集作为输出，训练远程体积描记信号检测模型；
[0035]
所述远程体积描记信号检测模型包括连接设置的浅层特征提取模块、3d时空堆叠卷积模块、多层级特征融合模块、乘积模块和信号预测模块；
[0036]
所述的浅层特征提取模块用于对输入的预处理后的人面部视频图像序列进行浅层特征提取，得到浅层特征图，并将得到的浅层特征图分别发送给3d时空堆叠卷积模块和多层级特征融合模块；
[0037]
所述的3d时空堆叠卷积模块用于对输入的浅层特征图进一步进行特征提取得到深层特征图，并将得到的深层特征图分别发送给乘积模块和多层级特征融合模块；
[0038]
所述的多层级特征融合模块用于对输入的浅层特征图进行空间特征提取以获得空间特征、对输入的深层特征图进行通道特征提取以获得通道特征，然后对得到的空间特征和通道特征进行融合得到混合权重参数，并将得到的混合权重参数发送给乘积模块；
[0039]
所述的乘积模块用于对输入的深层特征图和混合权重参数进行乘积处理得到混合特征图，并将得到的混合特征图发送给信号预测模块；
[0040]
所述的信号预测模块用于将输入的混合特征图转换为远程体积描记信号输出。
[0041]
本发明与现有技术相比，具有如下技术效果：
[0042]
(ⅰ)本发明方法结合了3d时空堆叠卷积模块和多层级特征融合模块，通过对不同层级的特征图分别进行特征加强处理和融合，实现了深层特征的语义信息和浅层特征的空间信息的充分结合，从而避免了有效信息的丢失，提升了网络的输出精度。
[0043]
(ⅱ)本发明方法通过建立并行的通道特征图生成器和基于残差结构的空间特征图生成器分别对通道域和空间域的特征进行加强，以寻找信息含量最丰富的通道区域和面部区域，使得远程体积描记信号检测模型能够专注于与生理信号相关的特征，从而提升了远程体积描记信号检测模型输出精度。
[0044]
(ⅲ)本发明在没有复杂预处理工作的情况下有效避免了背景噪声干扰，建立一个端到端的远程体积描记信号检测模型。
附图说明
[0045]
图1为本发明的远程体积描记信号检测模型构建流程示意图。
[0046]
图2为本发明的浅层特征提取模块的结构示意图。
[0047]
图3为本发明的3d时空堆叠卷积模块的结构示意图。
[0048]
图4为本发明的多层级特征融合模块的结构示意图。
[0049]
图5为本发明的信号预测模块的结构示意图。
[0050]
图6为本发明实施例1中远程体积描记信号检测结果与实测结果对比图。
[0051]
图7为本发明实施例2的心率预测结果统计图，其中，图7(a)为心率估计效果图，图7(b)为平均心率绝对误差的分布图。
[0052]
以下结合实施例对本发明的具体内容作进一步详细解释说明。
具体实施方式
[0053]
以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本技术技术方案基础上做的等同变换均落入本发明的保护范围。
[0054]
需要说明的是，标签集中的脉搏波信号使用的是接触式测量仪器采集的光电容积脉搏波信号(ppg)，作为输出的rppg信号为非接触式远程光电容积描记信号，两种信号的采集方式虽然不同，但包含的生理信息一致，因此选择脉搏波信号组成标签集，对预构建的远
程体积描记信号检测模型进行训练，得到训练好的远程体积描记信号检测模型。
[0055]
人面部视频图像序列：是指由不同时间、不同方位对视频中的人面部依序连续获取的系列视频图像组成的序列，本发明的远程体积描记信号检测方法是将获取到的人面部视频图像序列输入构建得到的远程体积描记信号检测模型，最终输出一个远程体积描记信号(rppg信号)，即最终输出结果为一条曲线。
[0056]
实施例1：
[0057]
本实施例给出一种远程体积描记信号检测模型构建方法，如图1所示，该方法包括以下步骤：
[0058]
步骤1、采集人面部视频图像序列和远程体积描记信号，对采集到的人面部视频图像序列进行预处理得到预处理后的人面部视频图像序列，组成初始数据集，以采集到的远程体积描记信号组成标签集；
[0059]
在本实施例中，训练集中共包含750个人面部视频图像序列，最终输出750个远程体积描记信号，测试集中包含150个人面部视频图像序列，最终输出150个远程体积描记信号。
[0060]
所述的预处理包括人面部视频图像序列的分割、剪裁和尺寸统一，将人面部视频图像序列按帧分割并粗略剪裁多余的背景区域，然后将剪裁后的人面部视频帧的尺寸统一至128
×
128，最终得到预处理后的人面部视频图像序列。
[0061]
步骤2、以所述的初始数据集作为输入，以所述的标签集作为输出，训练远程体积描记信号检测模型，所述的远程体积描记信号检测模型包括连接设置的浅层特征提取模块、3d时空堆叠卷积模块、多层级特征融合模块、乘积模块和信号预测模块；
[0062]
所述的浅层特征提取模块用于对输入的预处理后的人面部视频图像序列进行浅层特征提取，得到浅层特征图，并将得到的浅层特征图分别发送给3d时空堆叠卷积模块和多层级特征融合模块；
[0063]
具体的，所述的浅层特征提取模块包括依次串联的空间卷积层、空间最大池化层和两个3d时空卷积层，且所述空间卷积层和3d时空卷积层后均设置有批标准化层。浅层特征图的获取可以通过以下公式实现：
[0064]fl
＝conv
2-3
(max(conv1(cv
t:t+t
)))
[0065]
其中，conv1(
·
)是卷积核为1
×5×
5的空间卷积层；卷积层后有一层批标准化和relu激活层；max(
·
)为1
×2×
2的空间最大池化层；conv
2-3
(
·
)是卷积核为3
×3×
3的3d时空卷积层。
[0066]1×5×
5的空间卷积层初步提取人面部空间颜色分布，再通过1
×2×
2的空间最大池化层减少空间冗余，将池化后的特征图送入两个3
×3×
3的3d时空卷积层，3d时空卷积层可以兼顾时间和空间特征，捕捉视频帧间的运动信息。
[0067]
所述的3d时空堆叠卷积模块用于对输入的浅层特征图进一步进行特征提取得到深层特征图，并将得到的深层特征图分别发送给乘积模块和多层级特征融合模块；
[0068]
具体的，如图3所示，所述的3d时空堆叠卷积模块包括串联的两个相同结构的卷积块，所述的卷积块包括顺序设置的下采样层和2个3d时空卷积层，且每个3d时空卷积层后均设置有批标准化层，下采样层通过2
×2×
2的最大池化滤波器和2步长对时间维度和空间维度进行下采样；
[0069]
所述的多层级特征融合模块用于对输入的浅层特征图进行空间特征提取以获得空间特征、对输入的深层特征图进行通道特征提取以获得通道特征，然后对得到的空间特征和通道特征进行融合得到混合权重参数，并将得到的混合权重参数发送给乘积模块；
[0070]
具体的，所述的多层级特征融合模块包括并行的通道特征图生成器和基于残差结构的空间特征图生成器；
[0071]
所述的通道特征图生成器用于对输入的深层特征图进行通道特征提取得到通道特征图，所述的基于残差结构的空间特征图生成器用于对输入的浅层特征图进行空间特征提取得到空间特征图；所述的通道特征图与空间特征图进行融合操作得到混合权重参数。
[0072]
所述的对输入的深层特征图进行通道特征提取得到通道特征图通过下式实现：
[0073][0074]
式中，fc代表通道特征图，fh代表深层特征图。
[0075]
所述的对输入的浅层特征图进行空间特征提取得到空间特征图通过下式实现：fs＝σ(conv(φ(f
l
)))
[0076]
式中，f
l
是浅层特征图，fs是空间特征图。
[0077]
在具体操作中，通过稀疏光流捕捉人面部视频帧之间微小的面部运动，生成自适应空间特征标签s
l
，并通过计算空间特征图fs与自适应空间特征标签s
l
的二值交叉熵损失来指导基于残差结构的空间特征图生成器更准确地提取空间面部特征，所述的二值交叉熵损失ls为：
[0078]
ls＝bce(fs,s
l
)
[0079]
所述的乘积模块用于对输入的深层特征图和混合权重参数进行乘积处理得到混合特征图，并将得到的混合特征图发送给信号预测模块；
[0080]
所述对输入的深层特征图和混合权重参数进行乘积处理得到混合特征图通过以下公式实现：
[0081][0082]
式中，为第i个通道的混合特征图；为第i个通道的深层特征图，ψ(
·
)为softmax分类器；
[0083]
所述的信号预测模块用于将输入的混合特征图转换为远程体积描记信号输出，信号预测模块的结果如图5所示，包括时间维度的上采样和卷积滤波器。
[0084]
如图6所示，本实施例中的一个人面部视频图像序列中包含450个视频帧，进行预处理后输入至本发明所述的远程体积描记信号检测模型构建方法构建出的远程体积描记信号检测模型中，最后输出的远程体积描记信号如图6所示，其中，实线波形为bvp真值，虚线波形为采用本发明方法得到的远程体积描记信号，从图中可以看出，虚线波形与实线波形的波峰与波谷位置对齐良好，说明预测的远程体积描记信号具有较高的精度，有较强的应用价值。
[0085]
实施例2
[0086]
在本实施例中，采集并输入所创建的人面部视频图像序列中包含450个视频帧，得到如图6所示的远程体积描记信号，然后利用得到的远程体积描记信号对人的心率进行了估计，绘制预测心率关于真实值的散点图，估计效果如图7(a)所示，可以看出预测心率与真
值高度正相关；然后统计了平均心率绝对误差的分布，88.5％的样本平均心率绝对误差低于3bpm，92.8％的样本平均心率绝对误差低于5bpm。
[0087]
以私人数据集为基础，采用发明方法与采用现有的其他方法获得的心率估计测试结果对比如表1所示；
[0088][0089]
表1私人数据集心率估计测试结果与本发明方法结果对比
[0090]
以公开数据集ubfc-rppg为基础，采用本发明与现有技术中的其他方法获得的心率估计测试结果对比如表2所示。
[0091][0092]
表2、公开数据集ubfc-rppg心率估计测试结果与本发明方法结果对比
[0093]
在表1和表2中，mae为心率平均绝对误差，用来衡量预测心率和心率真值之间绝对误差的平均值；rmse为均方根误差，用来衡量预测心率和心率真值之间的偏差，对于高的误差惩罚更重；sde为误差标准差，用于衡量绝对误差的离散程度，可以更直观的反映模型的稳定性；r为皮尔森相关系数，用来衡量预测心率与心率真值之间的相关性。mae，rmse以及sde数值越低表明预测精度越高，r数值越高表明预测效果越好。green、ica、pos、chrom为传统远程光电体积描记方法，physnet和mstmap+cvd为基于深度学习的远程光电体积描记方法。
[0094]
从结果中可以看到，采用本发明方法得到的四个指标均优于传统和基于深度学习
的方法，在降低平均绝对误差的基础上，误差的分布也更加集中，集中体现是更小的误差标准差。