一种运用深度相机辅助雷达识别人体关节微运动的方法

1.本发明涉及人体微多普勒特征及深度相机数据应用领域，具体涉及一种运用深度相机辅助雷达识别人体关节微运动的方法。


背景技术：

2.雷达目标相对于雷达存在径向运动时，雷达回波的频率会产生多普勒效应，在许多情况下，一个物体除了平动外，这个物体的任何一个结构成分还会存在一些振荡式的运动——称为这个物体的微运动。例如直升机旋转的螺旋叶片。鸟类在飞行过程中扑动的翅膀，行人摆动的手臂和腿等均可称为微运动。微运动可以引起发射的雷达信号在载频附近出现多普勒频率调制，这种多普勒频率调制称为微多普勒频率。不同目标的微运动特性各不相同，因此产生微多普勒频率也各不相同，因此不同雷达目标所产生的独特的微多普勒频率被称作为微多普勒特征，可以用于目标的识别与分类。人体目标运动过程中具有典型的微运动，由于人体各个关节的灵活性，因此人体目标的微运动和微运动所产生的微多普勒特征都是非常复杂而独特的。人体目标的微运动主要由手臂和腿的摆动构成，因此人体目标的微多普勒特征也是包括手臂和腿的微多普勒频率成分的一个集合体，而且一个手臂上还包含肘关节、腕关节和手等不同的组成部分，其对微多普勒频率的贡献都是不尽相同的。所以根据人体的微多普勒特征可以对人体目标的运动状态进行识别与分类。
3.在最近这些年来，人体微多普勒特征结合分类识别算法被用来进行人体目标运动状态分类以及步态识别都取得了许多进展。但是，对于人体目标各个关节的微运动，单通道雷达只能得到一个(或多个)人体目标整体的微多普勒特征，并且在无先验知识或者运动状态复杂的情况下，仅通过雷达的微多普勒特征难以将人体各个关节在微多普勒特征中的贡献进行分辨。因此，仅通过单通道雷达所获得的微多普勒特征是不能对人体目标的各个关节所贡献的微多普勒频率进行量化分析的。参见参考文献[1](j.li and p.stoica,mimo radar signal processing,john wiley&sons,2008.)提出了一种解决方案是增加雷达系统的通道数量利用多输入多输出技术，但这样会严重增加雷达系统的复杂度，考虑到在民用设备中高系统复杂度的雷达系统是不希望的，因此不建议利用多输入多输出技术来实现将各个关节或者肢体的微多普勒频率分离开。另外一种解决方案是通过算法来实现对不同肢体的微多普勒频率进行推测，参见参考文献[2](r.g.raj,v.c.chen,and r.lipps,“analysis of radar human gait signatures,”iet image process,vol.4,no.3,2010.)，但上述提出的算法仅在模拟的微多普勒特征中的简单运动状态得到了验证。目前在分离人体不同肢体或者关节在微多普勒特征中的不同成分分量的工作较少，但是这个工作是对人体各个肢体或者关节运动状态进行量化分析的基础，并且该工作的结果具有潜在提高对人体运动状态或步态识别与分类的能力。


技术实现要素：

[0004]
本发明的目的在于克服现有技术缺陷，提出了一种运用深度相机辅助雷达识别人
体关节微运动的方法。
[0005]
为了实现上述目的，本发明提出了一种运用深度相机辅助雷达识别人体关节微运动的方法，基于雷达和深度相机实现，所述方法包括：
[0006]
步骤1)同时接收雷达和深度相机对若干个人体目标运动状态采集的数据，分别得到人体目标微运动的雷达数据和深度相机数据；
[0007]
步骤2)根据雷达制式进行处理，得到一维时间序列的雷达数据；
[0008]
步骤3)对处理后的雷达数据进行时频分析，得到对应人体目标的微多普勒特征；
[0009]
步骤4)对深度相机数据进行低通滤波处理，再将滤波处理后的某个人体目标各个关节随时间变化的距离信息转换为各个关节随时间变化的速度信息；
[0010]
步骤5)将某个人体目标的微多普勒特征和各个关节随时间变化的速度信息进行匹配。
[0011]
作为上述方法的一种改进，所述人体目标运动状态包括：走、跑步或其他运动状态；所述深度相机数据为从深度相机采集的数据中获取的每个人体目标的二维距离信息矩阵。
[0012]
作为上述方法的一种改进，所述步骤2)具体包括：
[0013]
步骤2-1)当雷达为非调制连续波雷达时，对雷达数据经混频和adc采样处理，得到雷达回波的一维时间序列；
[0014]
步骤2-2)否则，对雷达数据进行脉冲压缩处理，得到二维距离-慢时间域的数据，再截取人体目标所在的距离门，经相加处理，得到人体目标一维时间序列的雷达数据。
[0015]
作为上述方法的一种改进，所述步骤2-1)具体包括：
[0016]
当雷达为非调制连续波雷达时，对接收的雷达回波信号sr(t)经混频及adc采样后得到雷达回波的一维时间序列s
rdn
(ti)为：
[0017][0018]
其中，ti表示第i时刻，n表示雷达所照射区域内存在的n个雷达散射中心，kn为雷达所照射区域内第n个散射中心的幅度衰减系数，a表示非调制连续波雷达幅值，为第n个散射中心初始位置引起的初始相位，j表示虚部，为第n个散射中心所产生的多普勒频率，满足下式：
[0019][0020]
vn表示第n个散射中心的径向速度，λ表示雷达的波长。
[0021]
作为上述方法的一种改进，所述步骤2-2)具体包括：
[0022]
对雷达数据进行脉冲压缩处理，得到m行nr列的距离-慢时间域二维数据，其中，m为雷达发射的脉冲数，nr为每个脉冲的快时间采样点数；
[0023]
基于人体目标的运动轨迹仅存在于有限的距离门内，得到m行ns列的距离-慢时间域二维数据,其中ns≤nr；
[0024]
将ns列距离门数据按照对应行相加，得到m行的一维时间序列的雷达数据s
p
(ti)，其中i＝1,2,3,
…
,m。
时间曲线和微多普勒特征的匹配结果；
[0045]
图8是人体目标处于原地摆臂状态下利用深度相机数据获得的右边手臂的速度-时间曲线和微多普勒特征的匹配结果；
[0046]
图9是人体目标处于行走状态下的微多普勒特征；
[0047]
图10是深度相机采集到的经过低通滤波后的人体目标处于行走状态下的距离-时间曲线图；
[0048]
图11是人体目标处于行走状态下利用深度相机数据获得的躯干的速度-时间曲线和微多普勒特征的匹配结果；
[0049]
图12是人体目标处于行走状态下利用深度相机数据获得的左边腿部的速度-时间曲线和微多普勒特征的匹配结果；
[0050]
图13是人体目标处于行走状态下利用深度相机数据获得的右边腿部的速度-时间曲线和微多普勒特征的匹配结果；
[0051]
图14是人体目标处于行走状态下利用深度相机数据获得的左边手臂的速度-时间曲线和微多普勒特征的匹配结果；
[0052]
图15是人体目标处于行走状态下利用深度相机数据获得的右边手臂的速度-时间曲线和微多普勒特征的匹配结果。
具体实施方式
[0053]
深度相机传感器是一种低成本人体运动跟踪设备，可以识别人体骨骼，实时跟踪人体各个关节的三维坐标，记录人体运动数据。因此，深度相机已被广泛用于人类手势和步态识别。如今，基于深度相机的人类mds模拟被开发用于分类算法的训练数据生成。此外，深度相机传感器和雷达进行同步数据采集，使用深度相机传感器是为了获取另一个数据源，深度相机数据被视为人体运动的真值。
[0054]
现有的工作都验证了深度相机传感器在人体运动状态识别与分类，以及步态识别等领域具有较高的应用潜能。
[0055]
本发明的目的在于根据人体的微多普勒特征识别人体各个肢体部分或者关节所贡献的微多普勒频率分量，提出了一种利用深度相机数据辅助对人体的雷达微多普勒特征中人体各个关节的微多普勒成分识别的方法。为了实现雷达微多普勒特征中各个关节的自动识别，深度相机数据提供了前期辅助学习识别关节的微多普勒信息的重要基础，同时，根据人体的微多普勒特征去量化分析人体各个肢体部分或者关节的运动信息有助于提高现有基于人体微多普勒特征进行人体运动状态分类识别和步态识别算法的精度。该方法是将雷达微多普勒特征与深度相机采集的人体运动数据进行结合，通过将雷达和深度相机传感器放置在一起并同时对人体目标进行运动数据采集，并分别进行数据处理，将得到的雷达微多普勒特征与深度相机速度曲线进行配准，实现对人体的雷达微多普勒特征中人体各个关节的微多普勒成分进行识别，实验数据结果验证了本发明所提出的方法的有效性。
[0056]
下面结合附图和实施例对本发明的技术方案进行详细的说明。
[0057]
实施例1
[0058]
如图1所示，本发明提出了一种运用深度相机辅助雷达识别人体关节微运动的方法，所述方法包括：
[0059]
步骤1)雷达和深度相机对人体目标同时进行数据采集，分别得到人体微运动目标的雷达数据和深度相机数据；具体包括：
[0060]
在数据采集过程，将雷达于深度相机放置在同一位置并同时进行数据采集，人体目标处于雷达和深度相机的视线内，面对(或者背对)雷达和深度相机进行走、跑步或者执行其他运动状态，完成雷达和深度相机数据采集并存储。
[0061]
当雷达是非调制连续波体制时，发射信号为非调制连续波信号s(t)：
[0062]
s(t)＝aexp(jw0t)
ꢀꢀꢀ
(1)
[0063]
其中a表示非调制连续波信号的幅值，w0＝2πf0为非调制连续波信号的频率，t表示时间。发射信号照射到一个运动目标上后，经过散射后到达雷达接收天线，回波信号sr(t):
[0064][0065]
其中k为幅度的衰减系数，r0为初始时刻目标距雷达的距离，τ为雷达信号从发射到接收的时间延迟，v表示雷达目标的径向速度(靠近雷达运动时，速度为正值，反之为负值)。回波信号sr(t)经过混频后可以得到s
rd
(t)，即为雷达采集到的数据:
[0066]srd
(t)＝kaexp[j2π(fdt-φ0)]
ꢀꢀꢀ
(3)
[0067]
其中fd为该运动目标所产生的多普勒频率：
[0068][0069]
如果雷达所照射区域内存在n个目标，则雷达接收到的信号为n个不同的s
rd
(t)信号之和,经过adc采样后得到雷达回波的一维时间序列为s
rdn
(ti)：
[0070][0071]
n表示雷达所照射区域内存在的n个雷达散射中心，以人体目标为例，人体目标的尺寸远大于入射波长时，处于雷达视线内每一个人体目标的躯干及四肢等都可以看作为雷达的不同散射中心。
[0072]
使用深度相机对一个人体目标进行数据采集时，所存储的数据为n个关节点在每帧中的距离信息，为二维数据矩阵。为了研究人体关节点的微多普勒频率，只需要提取深度相机二维数据中对应关节点随着帧数目(即，时间)变化的一维距离信息序列。
[0073]
使用深度相机对多个人体目标同时进行数据采集时，其能够识别和对不同的人体目标进行标记，所存储的是每个人体目标的二维距离信息矩阵。
[0074]
步骤2)如果雷达为非调制连续波雷达，则跳过步骤3)直接进行步骤4)，否则进行步骤3)；
[0075]
步骤3)对雷达回波信号进行脉冲压缩处理，得到二维距离-慢时间域的数据，截取人体目标所在的距离单元，并根据对应时间序列进行相加处理，得到一维时间序列；具体包
括：
[0076]
对于脉冲体制的雷达数据，需要先将雷达原始回波数据做脉冲压缩处理，得到m行n列的距离-慢时间域二维数据。一般情况下，在雷达获取数据的过程中，人体目标的运动轨迹仅存在于有限的距离门内，因此，为了减少数据量和避免引入环境杂波的影响，可提取人体目标所存在的距离门数据，即上述距离-满时间二维数据的距离维数据量可以被减少，得到m行ns列的距离-慢时间域二维数据,其中ns≤nr。将上述二维数据的ns列距离门数据按照对应行相加，即得到m行的一维时间序列s
p
(ti)，其中i＝1,2,3,
…
,m。
[0077]
步骤4)对雷达一维时间序列进行时频分析，得到人体的微多普勒特征；具体包括：
[0078]
对于所述步骤1)中所得到的雷达数据一维时间序列s
rdn
(ti)或者所述步骤3)中得到的雷达数据一维时间序列s
p
(ti)，采用短时傅里叶变换实现对雷达数据一维时间序列的时频分析，时间序列x(t)的短时傅里叶变换可以表示为：
[0079]
stft(t,w)＝∫x(τ)g(τ-t)e-jwt
dτ
ꢀꢀꢀ
(6)
[0080]
其中g(t)为时间宽度很窄的窗函数，它沿着时间轴滑动，根据式(6)完成对雷达数据一维时间序列的时频分析。窗函数的宽度越小，频率分辨率越低，时间分辨率越高，反之，窗函数的宽度越大，频率分辨率越高，时间分辨率越小，当短时傅里叶变换退化为傅里叶变换。
[0081]
因此，选取窗函数g(t)的时间宽度时，要兼顾时间分辨率和频率分辨率。选取合适的窗长度后，对所述步骤1)中所得到的雷达数据一维时间序列s
rdn
(ti)或者所述步骤3)中得到的雷达数据一维时间序列s
p
(ti)进行短时傅里叶变换，即可得到人体目标的微多普勒特征，为慢时间-多普勒频率域二维数据。
[0082]
步骤5)首先对深度相机数据进行低通滤波处理，然后对滤波后的各个关节随时间变化的距离信息转换为各个关节随时间变化的速度信息。具体包括：
[0083]
深度相机传感器对人体目标探测，收集到的数据为n个关节点的实时位置信息，即随着时间变化过程中，深度相机视线中人体目标n个关节点距深度相机的距离信息其中上标ti表示第i帧的时间点，下标n为第n个关节点，为了减少高频噪声的影响，采用低通滤波器对深度相机原始数据进行平滑滤波，而后根据式(7)进行瞬时速度计算：
[0084][0085]
为便于将深度相机数据和雷达数据做联合处理，其中表示第n个关节点在第i帧时刻ti时的瞬时速度值，t
i-t
i-1
，表示第i帧时刻和相邻的第i-1帧时刻的时间差，对于深度相机传感器相邻帧直接的时间差为帧速率的倒数，即式(7)可改写为：
[0086][0087]
其中framerate为帧速率。人体目标的n个关节点的瞬时速度可以分别根据式(8)计算得到。
[0088]
步骤6)将所述步骤4)得到的微多普勒特征和所述步骤5)得到的各个关节随时间变化的速度信息进行匹配。具体包括：
[0089]
将所述步骤4)中所得到的慢时间-多普勒频率域二维数据的多普勒频率维按照式
(4)变换为速度维，即将人体目标的微多普勒特征转换到慢时间-速度域来显示；将所述步骤5)中所得到的人体目标n个关节点的瞬时速度数据，依次提取各个关节的瞬时速度数据，将时间单位和速度单位与微多普勒特征的时间单位和速度单位统一，进而对各个关节的瞬时速度数据与微多普勒特征进行匹配，实现对人体雷达微多普勒特征中人体各个关节的微多普勒成分进行分辨的目标。
[0090]
图2为进行人体目标探测的实验场景示意图。雷达和深度相机传感器放置在同一位置同时对人体目标进行运动数据采集，人体目标处于雷达和深度相机传感器的视线范围内。图3为人体目标处于原地摆臂状态下由雷达探测到的微多普勒特征。可以看出，处于零多普勒频率的躯干散射能量是最强的，手臂的散射能量较躯干能量较弱。图4为深度相机传感器所识别的n个关节点的示意图。由于得到深度相机的数据是为了分析雷达微多普勒特征，因此不需要将所有关节点全部依次分析，这里仅提取典型的和重要的11个关节点的深度相机数据，即由黄色高亮突出显示的11个关节点，每只手臂用两个关节点代表，每条腿用三个关节点代表，躯干由一个关节点代表。图5为深度相机采集的11个关节点经过低通滤波后的距离-时间域曲线图。可以看出人体目标位于距离深度相机传感器(或雷达)约3米处位置，保持原地摆臂状态，仅手臂距离曲线呈振荡状态，躯干和腿部基本保持静止。
[0091]
图6为人体目标原地摆臂状态下由深度相机数据得到的躯干和腿部的速度-时间曲线图和由雷达得到的微多普勒特征谱图的匹配结果。其中图中的实曲线是由深度相机数据得到，标注“躯干”的曲线代表躯干的速度-时间曲线，标注“膝关节”、“踝关节”以及“脚”的曲线代表腿部的速度曲线，图中的光谱图是由雷达数据得到。通过匹配结果，由于实验为人体目标处于原地摆臂，因此躯干和腿部的状态基本静止，微多普勒频率基本处于零多普勒频率。从图6可以看出，本发明提出的对微多普勒特征进行各个分量分辨的方法可以分辨躯干和腿部的运动在微多普勒特征中的贡献成分，使得能够从微多普勒特征中能够清楚地分辨出躯干和腿部的微多普勒频率分量。
[0092]
图7为人体目标原地摆臂状态下由深度相机数据得到的左边手臂的速度-时间曲线图和由雷达得到的微多普勒特征谱图的匹配结果。其中图中的实曲线是由深度相机数据得到，标注“左肘关节”的曲线代表左边手臂肘关节的速度-时间曲线(实线)，标注“左腕关节”的曲线代表左边手臂腕关节的速度曲线(虚线)，图中的光谱图是由雷达数据得到。通过匹配结果可以看出，肘关节运动产生的多普勒频率始终小于腕关节运动产生的多普勒频率，根据深度相机数据曲线可以从微多普勒特征中分辨肘关节和腕关节所贡献的微多普勒频率分量。图8为人体目标原地摆臂状态下由深度相机数据得到的右边手臂的速度-时间曲线图和由雷达得到的微多普勒特征谱图的匹配结果。同样地图中的实曲线是由深度相机数据得到，标注“右肘关节”的曲线代表右边手臂肘关节的速度-时间曲线(实线)，标注“右腕关节”的曲线代表右边手臂腕关节的速度曲线(虚线)，图中的光谱图是由雷达数据得到。通过匹配结果同样地可以看出，肘关节运动产生的多普勒频率始终小于腕关节运动产生的多普勒频率，根据深度相机数据曲线不仅可以从微多普勒特征中分辨肘关节和腕关节所贡献的微多普勒频率分量，还可以分辨微多普勒特征中左臂和右臂分别的微多普勒频率，如果仅有雷达微多普勒特征的情况下，很难区分左臂和右臂分别的微多普勒频率分量。从图7和图8可以看出，本发明提出的对微多普勒特征进行各个分量分辨的方法可以分辨手臂的运动在微多普勒特征中的贡献成分，使得能够从微多普勒特征中能够清楚地识别出手臂的微
多普勒频率分量。
[0093]
图9为人体目标处于行走状态下由雷达探测到的微多普勒特征。实验场景如图2所示，人体目标面向雷达和深度相机传感器，先向前行走，后不转身向后倒着行走。从雷达获得的微多普勒特征谱图中，由于运动状态复杂，四肢和躯干的运动处于非平稳运动状态，很难分辨四肢和躯干的微多普勒频率贡献分量。图10为深度相机采集的11个关节点经过低通滤波后的距离-时间域曲线图。可以看出人体目标在雷达和深度相机数据采集过程中，从距离约为3.5米的位置走向距离约为1米的位置，后远离走向距离约为3米的位置。整个行走过程，腿部和手臂均呈现明显振荡式的摆动状态。
[0094]
图11为人体目标行走状态下由深度相机数据得到的躯干的速度-时间曲线图和由雷达得到的微多普勒特征谱图的匹配结果。其中图中的实曲线是由深度相机数据得到，标注“躯干”的曲线代表躯干的速度-时间曲线(实线)，图中的光谱图是由雷达数据得到。通过匹配结果。从图11可以看出，本发明提出的对微多普勒特征进行各个分量识别的方法可以分辨出在微多普勒特征中躯干的微多普勒频率分量。
[0095]
图12为人体目标行走状态下由深度相机数据得到的左边腿部的速度-时间曲线图和由雷达得到的微多普勒特征谱图的匹配结果。其中曲线图是由深度相机数据得到，标注“左膝关节”的点线、标注“左踝关节”的实线以及标注“左脚”的点划线分别表示左边腿部的膝关节、踝关节以及脚部的速度曲线，图中的光谱图是由雷达数据得到。通过匹配结果，可以从微多普勒特征中分辨出左边腿部不同关节点的微多普勒频率分量。图13为人体目标行走状态下由深度相机数据得到的右边腿部的速度-时间曲线图和由雷达得到的微多普勒特征谱图的匹配结果。其中曲线图是由深度相机数据得到，标注“右膝关节”的点线、标注“右踝关节”的实线以及标注“右脚”的点划线分别表示右边腿部的膝关节、踝关节以及脚部的速度曲线，图中的光谱图是由雷达数据得到。通过匹配结果，可以从微多普勒特征中分辨出右边腿部不同关节点的微多普勒频率分量。同时可以看出在腿部三个关节点中，脚部具有最大的微多普勒频率，膝关节具有最小的微多普勒频率，在人体目标走向雷达和深度相机传感器时，腿部的微多普勒频率基本保持零多普勒频率以上，并且当左脚达到最大多普勒频率时，右脚处于最小多普勒频率，即零多普勒频率；当远离雷达和深度相机传感器时，腿部的微多普勒频率基本保持零多普勒频率以下，并且当左脚达到最大绝对值多普勒频率时，右脚处于零多普勒频率。从图12和图13可以看出，本发明提出的对微多普勒特征进行各个分量分辨的方法可以分辨腿部的运动在微多普勒特征中的贡献成分，使得能够从微多普勒特征中能够清楚地分辨出腿部不同关节点的微多普勒频率分量
[0096]
图14为人体目标行走状态下由深度相机数据得到的左边手臂的速度-时间曲线图和由雷达得到的微多普勒特征谱图的匹配结果。其中曲线图是由深度相机数据得到，标注“左肘关节”的曲线代表左边手臂肘关节的速度-时间曲线(实线)，标注“左腕关节”的曲线代表左边手臂腕关节的速度曲线(点线)，图中的光谱图是由雷达数据得到。通过匹配结果可以看出，肘关节运动产生的多普勒频率始终小于腕关节运动产生的多普勒频率，根据深度相机数据曲线可以从微多普勒特征中分辨左边手臂肘关节和腕关节所贡献的微多普勒频率分量。图15为人体目标行走状态下由深度相机数据得到的右边手臂的速度-时间曲线图和由雷达得到的微多普勒特征谱图的匹配结果。同样地曲线图是由深度相机数据得到，标注“右肘关节”的曲线代表右边手臂肘关节的速度-时间曲线(实线)，标注“右腕关节”的
曲线代表右边手臂腕关节的速度曲线(点线)，图中的光谱图是由雷达数据得到。从图14和图15可以看出，本发明提出的对微多普勒特征进行各个分量识别的方法可以在微多普勒特征中分辨出右边手臂的不同关节点的微多普勒频率分量。
[0097]
本发明所提出的分辨人体微多普勒特征中各个关节点不同的微多普勒频率分量的方法，虽然雷达数据做时频分析时采用的是短时傅里叶变换，但是也同样适用于gabor变换、wvd(wigner-ville distribution)等时频分析下得到的微多普勒特征。同时，本发明分析时虽然人体目标的运动状态为原地摆臂和行走，但是本发明同样适用于其他的人体运动状态，比如跑步、跌倒和挥手等等。此外，本发明分析时虽然仅使用了一个人体目标，但是本发明同样适用于多个人体目标同时处于不同或者相同运动运动状态的情况，例如两个人相向而行、三个人分别处于行走、跑步和挥手的运动状态。本发明所提出的方法对通过识别人体各个肢体或者关节的微多普勒频率以提取和量化分析人体目标各个肢体或者关节的运动状态有着重要的现实意义。
[0098]
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。