一种针对姿态识别的雷达点云数据增强方法

1.本发明涉及数据增强领域，尤其涉及一种针对姿态识别的雷达点云数据增强方法。


背景技术：

2.近年来深度学习飞速发展，被广泛应用于各个领域，深度学习中训练模型的优劣与数量集的大小密切相关。充足的数据量也可以避免训练过程中出现过拟合的问题。获取优质数据集成为了制约深度学习在某些领域发挥效用的瓶颈。
3.针对图像姿态数据，目前已有大量的开源数据集，并且数据采集较为方便。而在雷达领域，由于数据采集的困难以及通用性等问题，缺乏公开数据集，且普遍存在小样本数据集的现象。在姿态识别领域使用雷达点云数据应用深度学习方法时，易发生网络过拟合等问题。
4.因此，如何结合雷达信号的特性与传感器的参数针对姿态识别使用雷达点云数据进行可靠的数据增强，扩充数据集，是当下亟需解决的技术问题。


技术实现要素：

5.为了克服上述现有技术的不足，本发明提供了一种针对姿态识别的雷达点云数据增强方法。
6.本发明的目的是通过以下技术方案实现的：一种针对姿态识别的雷达点云数据增强方法，包括以下步骤：
7.步骤1、通过雷达获取人体姿态点云数据集，作为第一数据子集，并计算点云信噪比；
8.步骤2、对第一数据子集进行距离维增强，将点云向外平移一个固定距离后，更新点云的信噪比，之后对信噪比添加噪声增加泛化性能；根据雷达探测性能，剔除不符合物理规律的异常点，得到数据增强后的子集，记为第二数据子集；
9.步骤3、对第一数据子集进行角度维增强，更新角度调整后点云的信噪比，之后对信噪比添加噪声增加泛化性能；根据雷达探测性能，剔除不符合物理规律的异常点，得到数据增强后的子集，记为第三数据子集；
10.步骤4、对第一数据子集进行速度维增强，对点云数据集进行降采样操作并调整点云的速度值，作为第四数据子集；
11.步骤5、采用体素化方法对增强后的人体姿态点云数据进行预处理，将人体姿态点云数据划分为m
×n×
l的三维栅格矩阵；
12.步骤6、针对人体姿态动作特性，将步骤5得到的三维栅格矩阵按照人体结构进行分割，之后送至用于识别人体姿态的神经网络模型中进行训练。
13.进一步地，所述步骤1中，雷达获取的点云分为极坐标系下的点云与直角坐标系下的点云，需将直角坐标系下的点云转化为极坐标系下的点云，公式如下：
[0014][0015][0016][0017]
其中x、y、z为直角坐标系中x、y、z轴的坐标，r为雷达到点云的距离，θ为水平角，φ为俯仰角。
[0018]
进一步地，所述步骤1中，计算得到点云的信噪比信息，包括：
[0019]
计算点云处的功率密度s：
[0020][0021]
其中p
t
为雷达发射功率，r为雷达到点云的距离；
[0022]
雷达通常采用方向性天线，天线增益g与有效面积a和雷达波长λ的关系如下：
[0023][0024]
在雷达发射天线增益为g
t
的辐射方向上，距离雷达为r的点云处的功率密度s1为：
[0025][0026]
若假设点云处人体将接收到的回波信号无损耗全向辐射，则雷达接收天线回波功率密度s2为：
[0027][0028]
其中α为雷达散射截面积；
[0029]
根据雷达接收天线的有效接收面积ar计算接收到的回波功率pr：
[0030][0031]
其中λ为雷达波长，gr为接收天线增益；
[0032]
考虑雷达内部噪声和外界环境干扰，最终得到点云的信噪比snr：
[0033][0034]
其中t
meas
为总测量时间，k为波尔兹常数，t为天线温度，f为噪声系数。
[0035]
进一步地，所述步骤2中，基于已知距离为d1的点云信噪比snr1，计算出为距离d2的点云信噪比snr2；
[0036][0037]
因此将点云向外平移一个固定距离d后，得到平移后的信噪比snr
′d；
[0038][0039]
其中do为平移前点云与雷达的距离，snrd为平移前的信噪比。
[0040]
进一步地，所述步骤3中，对于单通道雷达，角度维增强后的信噪比snr
′a计算公式如下：
[0041][0042]
其中，go为角度调整前雷达收发天线对增益，gv为角度调整后雷达收发天线对增益，snra为角度调整前的信噪比。
[0043]
进一步地，在所述步骤3中，对雷达依次进行天线仿真和天线实测，分别得到收发天线对的方向图增益特征，使用仿真得到的方向图增益对实测的方向图增益偏差修正，得到修正后的方向图增益；若雷达具有多个收发天线对，根据收发天线两两组合的关系对不同收发天线对的修正后的方向图增益特征进行拟合，获得收发天线对的增益函数g(θ)＝{g1(θ),g2(θ),
…
,gn(θ)}，θ为调整后的新角度，gi(θ)为第i组收发天线对的增益函数；角度调整后需要对收发天线增益进行累积处理，角度调整后的信噪比snr
′b计算公式如下：
[0044][0045]
其中n为收发天线对总数目，g
oi
为角度调整前第i组天线收发对的增益，g
vi
为角度调整后第i组天线收发对的增益，snrb为角度调整前的信噪比。
[0046]
进一步地，在所述步骤3中，若雷达支持俯仰角与水平角的探测，同时对点云数据进行水平角维度和俯仰角维度的角度调整，然后将二者结合得到角度维扩展后的人体姿态点云数据；针对跳跃、蹲下等垂直面变化幅度大的人体姿态，以俯仰角维度为主，水平角维度作为辅助修正；针对走路、挥拳等水平变化幅度大的人体姿态，以水平角维度为主，俯仰角维度作为辅助修正。
[0047]
进一步地，所述步骤2、3中，添加的噪声为高斯噪声，以点云为原点，点云邻近位置处的高斯噪声如下：
[0048][0049]
snr
′
(x,y,z)
＝snr
(x,y,z)
+h
x,y,z
[0050]
其中σ为点云方差，(x,y,z)为点云坐标，为点云邻近位置处的坐标，h
x,y,z
为坐标(x,y,z)点云的高斯噪声强度，snr
(x,y,z)
,nr
′
(x,y,z)
分别为坐标(x,y,z)点云添加噪声前后的信噪比。
[0051]
进一步地，所述步骤2、3中，根据雷达探测性能，剔除不符合物理规律的异常点，条件如下：以雷达实际能够检测的点云最小信噪比强度snr
min
为基准，将经过一系列操作后信噪比强度小于snr
min
的点从点云数据集中剔除。
[0052]
进一步地，所述步骤2、3中，采用基于密度的聚类算法对人体姿态点云进行聚类，剔除不属于人体的异常干扰点，根据人体姿态点云在水平面关联紧密和在垂直面上分散性
大的特性，采用改进后的欧几里得距离代替传统欧几里得距离作为基于密度的聚类算法中的距离参数，减弱聚类过程中z轴的影响，公式如下：
[0053]
d(qi,qj)＝(x
i-xj)2+(y
i-yj)2+0.25*(z
i-zj)2[0054]
其中d(qi,qj)为点云qi和点云qj改进后的欧几里得距离，xi,yi,zi和xj,yj,zj依次为点云qi和点云qj的三维坐标。
[0055]
进一步地，所述步骤4中，由于雷达以固定帧率采集数据，当人体加速运动时，采集同一姿态动作的帧数将会减少；采集的点云数据集按时序分布，表示为f＝{f1,f2,
…
,fh}，其中fi表示第i帧的人体姿态点云数据集，h表示采集的总帧数；采用随机抽样的方式，从f中选取比例为p的帧，构成新的时序分布人体姿态点云数据集f
′
＝{f1,f2,
…
,fm}，其中同时更新点云数据集中点云的速度：
[0056][0057]
其中v表示点云原始速度，v
′
表示更新后的点云速度。
[0058]
进一步地，采用对第二、第三、第四数据子集进行组合扩展的方式，即步骤2、步骤3、步骤4的方法按需任意组合构成不同距离、角度和速度的点云数据集；针对人体姿态点云数据特性，速度维增强能够为神经网络提供包含更多信息量的不同速度的人体姿态点云数据，而距离维平移与角度维旋转相比对人体姿态点云分布改变较小，因此，三个维度的选择顺序为：速度维、角度维、距离维，在组合扩展时，分配的权重依次递减。
[0059]
进一步地，所述步骤5中，进行体素化操作，遍历人体的全部点云获取人体姿态点云的三维坐标最大值与最小值，依次为x
min
,x
max
,y
min
,y
max
,z
min
,z
max
；得到人体区域的长x，宽y，高z，将人体区域均匀划分为m
×n×
l个体块，并计算每个体块的强度值；体块的强度值计算方式包括：体块内点云的数目、体块内所有点云的信噪比强度之和、体块内所有点云的速度之和；最终得到三维栅格矩阵π；
[0060][0061]
其中i
x
、iy、iz依次表示在x轴、y轴、z轴上的体块序号。
[0062]
进一步地，所述步骤6中，对于人体的常见姿态，人体主要运动部分划分为左臂、躯干与右臂三部分，使用长短期记忆网络对左臂、躯干、右臂和人体整体进行处理，同时对时间窗内的所有帧的人体姿态点云叠加聚合后使用卷积神经网络进行处理，采用决策后融合的方式，通过注意力机制模块调节这五部分的权重，得到人体姿态识别结果。
[0063]
本发明所具有的有益效果：本发明提出的一种针对姿态识别的雷达点云数据增强方法，基于雷达采集的真实人体姿态点云数据，可以进行距离维、角度维、速度维的数据增强，并结合雷达本身特性筛选符合物理特性的点云，采用基于密度的聚类算法对人体姿态点云进行聚类，剔除不属于人体的异常干扰点。将点云通过体素化处理划分为三维矩阵形式的体素块；根据人体姿态特性划分人体主要部分，使用针对人体姿态的神经网络进行训练。通过该方法可以极大扩充数据集的规模，缓解当下雷达信号数据集不足的问题，并有效提升神经网络的性能。
附图说明
[0064]
图1是一示例性实施例提供的方法流程实施图；
[0065]
图2是一示例性实施例提供的原始点云示意图；
[0066]
图3是一示例性实施例提供的距离维增强后点云示意图；
[0067]
图4是一示例性实施例提供的角度维增强后点云示意图；
[0068]
图5是一示例性实施例提供的速度维增强后点云示意图；
[0069]
图6是一示例性实施例提供的雷达安装示意图；
[0070]
图7是一示例性实施例提供的点云体素化示意图；
[0071]
图8是一示例性实施例提供的神经网络结构示意图。
具体实施方式
[0072]
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
[0073]
不失一般性，本实施实例提供一种针对姿态识别的雷达点云数据增强方法，流程如图1所示。采用频率区间为60ghz至64ghz的fmcw毫米波传感器，发射信号帧率为20帧/秒，每帧数据分为288个chirp信号，每个chirp信号有96个采样点。
[0074]
步骤1、将雷达架设在地面高度1.5m处，如图6所示。通过雷达获取人体姿态点云数据集，作为第一数据子集。得到的点云若为直角坐标系下的点云，需转化为极坐标系下的点云，公式如下：
[0075][0076][0077][0078]
其中x、y、z为直角坐标系中x、y、z轴的坐标，r为雷达到点云的距离，θ为水平角，φ为俯仰角。
[0079]
计算点云处的功率密度s：
[0080][0081]
其中p
t
为雷达发射功率，r为雷达到点云的距离；
[0082]
雷达通常采用方向性天线，天线增益g与有效面积a和雷达波长λ的关系如下：
[0083][0084]
在雷达发射天线增益为g
t
的辐射方向上，距离雷达为r的点云处的功率密度s1为：
[0085][0086]
若假设点云处人体将接收到的回波信号无损耗全向辐射，则雷达接收天线回波功率密度s2为：
[0087][0088]
其中α为雷达散射截面积；
[0089]
根据雷达接收天线的有效接收面积ar计算接收到的回波功率pr：
[0090][0091]
其中λ为雷达波长，gr为接收天线增益；
[0092]
考虑雷达内部噪声和外界环境干扰，最终得到点云的信噪比snr：
[0093][0094]
其中t
meas
为总测量时间，k为波尔兹常数，t为天线温度，f为噪声系数。
[0095]
步骤2、对第一数据子集进行距离维增强。当距离发生变化时，信号强度会产生较大变动。基于已知距离为d1的点云信噪比snr1，计算出为距离d2的点云信噪比snr2；
[0096][0097]
因此将点云向外平移一个固定距离d后，得到平移后的信噪比snr
′d；
[0098][0099]
其中do为平移前点云与雷达的距离，snrd为平移前的信噪比。
[0100]
之后对信噪比添加高斯噪声增加泛化性能。添加高斯噪声，以点云为原点，点云邻近位置处的高斯噪声如下：
[0101][0102]
snr
′
(x,y,z)
＝snr
(x,y,z)
+h
x,y,z
[0103]
其中σ为点云方差，(x,y,z)为点云坐标，为点云邻近位置处的坐标，h
x,y,z
为坐标(x,y,z)点云的高斯噪声强度，snr
(x,y,z)
,snr
′
(x,y,z)
分别为坐标(x,y,z)点云添加噪声前后的信噪比。
[0104]
然后依据雷达探测能力，以雷达实际能够检测的点云最小信噪比强度snr
min
为基准，将经过一系列操作后信噪比强度小于snr
min
的点从点云数据集中剔除。采用基于密度的聚类算法对人体姿态点云进行聚类，剔除不属于人体的异常干扰点，根据人体姿态点云在水平面关联紧密和在垂直面上分散性大的特性，采用改进后的欧几里得距离代替传统欧几里得距离作为基于密度的聚类算法中的距离参数，减弱聚类过程中z轴的影响，得到数据增强后的子集，记为第二数据子集；
[0105]
d(qi,qj)＝(x
i-xj)2+(y
j-yj)2+0.25*(z
i-zj)2[0106]
其中d(qi,qj)为点云qi和点云qj改进后的欧几里得距离，xi,yi,zi和xj,yj,zj依次为点云qi和点云qj的三维坐标。
[0107]
步骤3、对第一数据子集进行角度维增强，对于单通道雷达，角度维增强后的信噪
比snr
′a计算公式如下：
[0108][0109]
其中，go为角度调整前雷达收发天线对增益，gv为角度调整后雷达收发天线对增益，snra为角度调整前的信噪比。
[0110]
本实施例中雷达拥有4根接收天线，3根发射天线，通过多入多出技术，形成12个收发天线对。对雷达依次进行天线仿真和天线实测，分别得到收发天线对的方向图增益特征，使用仿真得到的方向图增益对实测的方向图增益偏差修正，得到修正后的方向图增益；对于具有多个收发天线对的雷达，根据收发天线两两组合的关系对不同收发天线对修正后的方向图增益特征进行拟合，获得收发天线对的增益函数g(θ)＝{g1(θ),g2(θ),
…
,gn(θ)}，θ为调整后的新角度，gi(θ)为第i组收发天线对的增益函数；角度调整后需要对收发天线增益进行累积处理，角度调整后的信噪比snr
′b计算公式如下：
[0111][0112]
其中n为收发天线对总数目，g
oi
为角度调整前第i组天线收发对的增益，g
vi
为角度调整后第i组天线收发对的增益，snrb为角度调整前的信噪比。
[0113]
与步骤2相同，对信噪比添加噪声增加泛化性能。依据雷达探测能力，对不符合物理规律的异常点进行剔除操作，采用基于密度的聚类算法对人体姿态点云进行聚类，剔除不属于人体的异常干扰点，得到数据增强后的子集，记为第三数据子集；本实施例中雷达支持俯仰角与水平角的探测，因此可以同时对点云数据进行水平角维度和俯仰角维度的数据增强。然后将二者结合得到角度维扩展后的人体姿态点云数据。针对跳跃、蹲下等垂直面变化幅度大的人体姿态，以俯仰角维度为主，水平角维度作为辅助修正；针对走路、挥拳等水平变化幅度大的人体姿态，以水平角维度为主，俯仰角维度作为辅助修正；更新角度调整后的信噪比，作为第三数据子集。
[0114]
步骤4、对第一数据子集进行速度维增强。由于雷达以固定帧率采集数据，当人体加速运动时，采集同一姿态动作的帧数将会减少；采集的点云数据集按时序分布，表示为f＝{f1,f2,
…
,fh}，其中fi表示第i帧的人体姿态点云数据集，h表示采集的总帧数；采用随机抽样的方式，从f中选取比例为p＝0.8的帧，构成新的时序分布人体姿态点云数据集f
′
＝{f1,f2,
…
,fm}，其中同时更新点云数据集中点云的速度：
[0115][0116]
其中v表示点云原始速度，v
′
表示更新后的点云速度。
[0117]
图2-图5分别为一实施实例提供的原始点云、距离维增强后点云、角度维增强后点云、速度维增强后点云的示意图。
[0118]
步骤5、采用对第二、第三、第四数据子集进行组合扩展的方式，即步骤2、步骤3、步骤4的方法按需任意组合构成不同距离、角度和速度的点云数据集。针对人体姿态点云数据特性，速度维增强可以为神经网络提供包含更多信息量的不同速度的人体姿态点云数据，而距离维平移与角度维旋转相比对人体姿态点云分布改变较小，因此，三个维度的选择顺
序为：速度维、角度维、距离维，在组合扩展时，分配的权重依次递减。
[0119]
通过体素化方法对点云进行预处理。点云体素化示意图如图7所示。遍历人体的全部点云获取人体姿态点云的三维坐标最大值与最小值，依次为x
min
,x
max
,y
min
,y
max
,z
min
,z
max
；得到人体区域的长x，宽y，高z，将人体区域均匀划分为32
×
32
×
10的体块，并计算体块内所有点云的信噪比之和作为该体块的强度值，最终可以得到三维栅格矩阵π。
[0120][0121]
其中i
x
、iy、iz依次表示在x轴、y轴、z轴上的体块序号。
[0122]
步骤6、对于人体的常见姿态，人体主要运动部分划分为左臂、躯干与右臂三部分，使用长短期记忆网络对左臂、躯干、右臂和人体整体进行处理，同时对时间窗内的所有帧的人体姿态点云叠加聚合后使用卷积神经网络进行处理，采用决策后融合的方式，通过注意力机制模块调节这五部分的权重，得到人体姿态识别结果。图8是一实施实例提供的神经网络结构示意图。
[0123]
以下给出一种雷达点云数据增强应用场景，但不限于此。在室内放置有雷达传感器，定距定角采集特定姿态(跳跃、走路、蹲下、挥拳)的原始点云数据，设置增强的参数，包括平移距离、旋转角度、随机抽样比例，生成增强后数据集。通过体素化预处理后送入图8所示的神经网络模型中进行训练，并将分类结果进行对比。本发明增强后人体姿态识别准确率由原始点云数据的90.42％提升至93.29％。这样完成了数据增强，极大扩充了数据集的同时提升了准确率。
[0124]
综上所述，本发明提出针对姿态识别的雷达点云数据增强方法，对雷达进行点云数据采集，可以在进行距离维增、角度维、速度维增强和任意维度组合增强，且具有可靠性。在对点云进行体素化处理后，根据人体姿态特点划分人体躯干数据通过特定神经网络进行训练。通过该方法可以极大扩充数据集的数据量并提高识别准确率，为后续的各类研究提供足量的数据，可以缓解当下雷达姿态数据集中数据量不足的问题，更好地进行深度学习层面的研究。
[0125]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于发明的保护范围。