一种基于时-空-频三维雷达点云的人体行为分类方法

1.本发明涉及一种基于时-空-频三维雷达点云的人体行为分类方法，属于雷达人体行为分类领域。


背景技术：

2.人体行为分类在许多应用中发挥着重要的作用，包括安保监视、医疗健康监测、康复治疗和辅助生活等。特别是，准确地检测和识别出导致老年人意外伤害死亡的主要原因—跌倒行为，对于保障独居老年人的健康生活至关重要。经过长期的研究，各种方法被提出，常用的人体行为与健康监测手段主要有可穿戴式传感器(例如智能手镯、脚踝监视器)和非可穿戴式传感器(相机、麦克风、雷达)。其中，雷达对光照条件变化和环境噪声不敏感，可以穿透衣服和一些墙壁。此外，雷达不会记录任何关于被监测对象的对话和视觉信息，从而具备隐私保护的能力。这些优势使得雷达设备成为涉及隐私问题的室内环境行为监测的首选，例如医院、洗手间和卧室。
3.人的日常行为可以分为两大类。一类是具有明显距离变化和多普勒频率调制的跨距离单元运动，如行走，跑步。而另一种类是没有显著距离变化的原地运动，包括跌倒、坐下、下蹲等。当前基于雷达的人体行为分类方法主要是利用人体运动过程中由不同身体部位微动引起的微多普勒效应来区分不同的行为，但是此类方法只对跨距离单元运动类型的行为有高的分类准确率。实际上，目标运动的距离信息也是行为分类的一个重要依据，而基于微多普勒特征的行为分类方法由于忽略了目标运动的距离信息，不能很好的区分原地运动类型的行为。如跌倒、坐下和蹲下，这三种行为的微多普勒特征差异在大多情况下是微小的，利用基于微多普勒特征的方法难以有效区分，从而导致雷达检测跌倒具有高的误报率和虚警率。而三种原地运动类型的行为在距离扩展方面存在显着差异，跌倒的距离扩展范围明显超出坐下和下蹲行为的。因此，有效利用距离和多普勒信息的组合可以减少错误分类，特别是当要分类的活动同时包含跨距离单元运动和原地运动时。
4.实际上，距离多普勒雷达提供了人体目标运动三个变量的信息，即时间，距离，多普勒频率。而通过三个变量中两者间的联合分析，可以获得目标运动在距离-时间(距离图)、距离-多普勒频率(距离多普勒图)、多普勒频率-时间(微多普勒谱)三个域的信息。但是以上三个两维变量联合表征都有自己的缺点，仅含有三个雷达信号变量中的两个。通过目标运动在不同域信息的组合可以提供互补的信息，解决以上局限。但是，当前的多域组合方法本质上还是在各个单独的两维联合表征域处理，忽略了目标运动三个变量间的潜在依赖和相互关系，限制了人体行为分类系统的性能。因此，如何利用好雷达人体多维度回波信息是一个难点，需要开展研究，提高人体行为分类的准确率，降低跌倒行为检测的误报率和虚警率。


技术实现要素：

5.本发明公开的一种基于时-空-频三维雷达点云的人体行为分类方法的主要目的
是：提供一种基于雷达人体回波时间、距离和多普勒频率三维变量联合表征处理的人体行为分类方法，能提高人体行为分类的准确率和对噪声环境的鲁棒性能。
6.本发明的目的是通过下述技术方案实现的。
7.本发明公开的一种基于时-空-频三维雷达点云的人体行为分类方法，通过利用雷达点云构建方法将人体回波转换成一系列三维3d(three-dimensional)点云立方体，集成了人体运动在距离图、距离多普勒图、微多普勒谱三个域的信息。利用卷积多线性主成分分析网络 cmpcanet(two-layer convolutional multilinear principal component analysis network)处理生成的3d点云立方体，提取具有高辨识能力的特征，实现不同人体行为的分类。本发明利用时间、距离、频率三维变量联合表征处理的3d点云方式，充分挖掘不同变量间的相互依赖和潜在关系，且cmpcanet网络架构简单，训练参数少，能够以较少的训练样本实现高识别率的人体行为分类。
8.本发明公开的一种基于时-空-频三维雷达点云的人体行为分类方法，包括如下步骤：
9.步骤一、对采集到的含有人体运动距离和多普勒频率信息的原始回波信号r(n)进行预处理操作，得到预处理后的回波信号矩阵sr(k,l)，k为快时间单元，表示目标运动的距离信息， l为慢时间单元，表示目标运动的多普勒频率信息。所述信号预处理包括滤波、去直流、镜像频率抑制。
10.步骤二、利用3d点云联合表征的方式对步骤一得到的回波信号矩阵处理，将目标回波的时间、距离和多普勒频率的多维度信息集中在一个域，建立所述人体运动三个变量的内在联系，充分挖掘不同变量间的相互依赖和潜在关系，得到一系列低密度的时间-距离-频率3d点云立方体，提高人体行为分类方法对噪声环境的鲁棒性。
11.步骤2.1：对二维信号矩阵沿着快时间维执行快速傅里叶变换fft(fast fouriertransform)，得到目标运动的距离图。
12.对二维信号矩阵sr(k,l)沿着快时间维执行fft得到目标运动的距离图，如公式(1)所示。
13.其中，p为距离索引，ns为距离单元总数。
[0014][0015]
步骤2.2：对步骤二中得到的距离图沿着慢时间维，将整个观察慢时间划分为若干个不重叠的相干处理区间cpis(coherent processing intervals)，然后在每一个cpi上对每个距离单元执行fft，得到一系列距离多普勒图，记作rd(i)，i＝1，2，
…ncpi
，n
cpi
为不重叠的cpi数目。通过上述切片处理的方式，可以更好地描绘时变距离和多普勒频率的瞬时信息。
[0016]
步骤2.3：对步骤三中得到的一系列距离多普勒图rd(i)中的每一帧执行两维单元平均恒虚警ca-cfar(cell-average constant false alarm rate)检测，提取代表人体运动信息的主要散射点。然后对每一帧距离多普勒图rd(i)上提取到的散射点执行基于强度和距离的异常点检测技术获得重采样后的低密度点云数据立方体，提高人体行为分类方法对噪声环境的鲁棒性。
[0017]
步骤三、利用步骤二得到的3d点云立方体构建数据集，包括训练数据集和测
试数据集
[0018]
步骤四、利用卷积多线性主成分分析网络cmpcanet，直接对具有稀疏结构的3d点云立方体进行操作，无需破坏3d点云立方体数据结构，从步骤三构建的3d点云立方体数据集中学习高辨识度的特征，实现更为准确的人体行为分类。由于采用主成分分析网络cmpcanet，不仅能够降低数据维数，还能够学习高级特征表示。
[0019]
步骤4.1由训练数据集训练卷积核。对分片去均值化得到利用多线性主成分分析处理得到三维立方体每个张量模的特征向量。取前l1个主特征向量，由式(2) 映射得到第一层卷积层的l1个3d卷积核。
[0020][0021]
式中，分别表示三维立方体张量模-1，张量模-2和张量模-3的第l1个特征向量。
⊙
表示矩阵的khatri-rao乘积。为一个将大小为k1k2k3的向量映射成大小为k1×
k2×
k3张量的函数。
[0022]
第一层的输入样本m＝1，2，
…
m与该层第l1个卷积核的卷积输出结果为
[0023][0024]
式中，*表示3d卷积操作。
[0025]
步骤4.2第一层的卷积输出结果作为第二层卷积层的输入，第二层的卷积输出结果作为第三层卷积层的输入，依次类推，第n-1层的卷积输出结果作为第n层卷积层的输入，执行与步骤4.1一样的操作，得到第n层卷积层的ln个3d卷积核，如式(4)所示。
[0026][0027]
式中，分别表示由第n-1层的卷积输出结果分块采样和去均值后组成的三维立方体张量模-1，张量模-2和张量模-3的第ln个特征向量。
[0028]
对于第n层的l1l2…
l
n-1
个输入点云立方体每个有ln个输出，如下
[0029][0030]
步骤4.3通过二值化将每个输入样本第n层的ln个输出转化成一个张量特征图，其每个像素值的取值范围为如
[0031][0032]
式中，b(
·
)是阶跃函数。然后，l1个特征图中的每一个都被大小为h1×
h2×
h3的窗以重叠率α步进分成若干个特征块。紧接着对每个特征块执行取值范围为的直方图统计，将所有特征的直方图统计结果连接成一个特征向量，记作当完成以上所有操作后，每个输入点云样本的特征就定义为
[0033][0034]
步骤4.4对训练数据集和测试数据集中的每一个样本执行步骤4.1，步骤4.2和步骤4.3，得到点云训练集的特征矩阵为f
train
，点云测试集的特征矩阵为f
test
。
[0035]
步骤五、利用由卷积多线性主成分分析网络cmpcanet学习到的训练数据特征矩阵f
train
训练svm分类器，将提取的测试样本特征f
test
输入到训练好的svm分类器进行分类，输出更为准确的人体行为分类结果，且对噪声环境具有较好的为鲁棒性。
[0036]
还包括步骤六：利用步骤一至步骤五基于时-空-频三维雷达点云的人体行为分类方法，实现更为准确的人体行为分类，降低对跌倒行为检测的误报率和虚警率。
[0037]
有益效果：
[0038]
1.本发明公开的一种基于时-空-频三维雷达点云的人体行为分类方法，利用三维点云联合表征的方式和卷积多线性子空间学习方法，能够捕获人体运动的时间、距离和多普勒频率三个变量的内在联系并学习高辨识度的特征，实现更为准确的人体行为分类，且对噪声环境具有较好的为鲁棒性
[0039]
2.本发明公开的一种基于时-空-频三维雷达点云的人体行为分类方法，利用雷达点云构造方法来处理人体雷达回波，能够有效地整合人体运动的时间、距离、多普勒频率信息在一个域，充分挖掘三个变量之间的潜在关系。即使在高噪声情况下，该点云处理方法也能够准确估计人体运动的时间-距离-多普勒3d轨迹，增强行为分类方法在实际应用中的鲁棒性。
[0040]
3.本发明公开的一种基于时-空-频三维雷达点云的人体行为分类方法，针对3d点云立方体具有稀疏结构的特点，利用轻量级识别网络cmpcanet直接对具有稀疏结构的3d点云立方体进行操作，无需破坏3d点云立方体数据结构和三个变量间的潜在关系，并结合mpca和卷积架构的优点，从构建的3d点云立方体数据集中学习高辨识度的特征，实现更为准确的人体行为分类。由于采用主成分分析网络cmpcanet，不仅能够降低数据维数提高分类效率，还能够学习高级特征表示。
附图说明
[0041]
图1是本发明“一种基于时-空-频三维雷达点云的人体行为分类方法”中实施例中的人体行为分类流程示意图。
[0042]
图2是本发明“一种基于时-空-频三维雷达点云的人体行为分类方法”中实施例中的时间
‑ꢀ
距离-多普勒3d点云构建流程图。
[0043]
图3是本发明“一种基于时-空-频三维雷达点云的人体行为分类方法”中实施例中的距离多普勒序列构建示意图。
[0044]
图4是本发明“一种基于时-空-频三维雷达点云的人体行为分类方法”中实施例中的六种不同人体行为的3d点云图，其中图4(a)正常走nw行为的点云图，图4(b)为双手持物走 wp行为的点云图，图4(c)为慢跑jo行为的点云图，图4(d)为跌倒fa行为的点云图，图4 (e)为从坐到站起su行为的点云图，图4(f)为下蹲sq行为的点云图。
[0045]
图5是本发明“一种基于时-空-频三维雷达点云的人体行为分类方法”中实施例中所提人体行为分类方法六种行为分类混淆矩阵图。
[0046]
图6是本发明“一种基于时-空-频三维雷达点云的人体行为分类方法”中实施例中所提方法对六种行为分类的精确率precision、召回率recall，特异度specificity和f1-score指标。
[0047]
图7是本发明“一种基于时-空-频三维雷达点云的人体行为分类方法”中实施例中
的正常行走行为在不同噪声环境下的点云图，其中图7(a)为低噪声条件下正常走行为点云，图7 (b)为中噪声条件下正常走行为点云，图7(c)为高噪声条件下正常走行为点云。
具体实施方式
[0048]
下面将结合附图及具体实例对本发明技术方案进行详细说明，需要指出的是，所描述的实施例仅旨在便于对本发明的理解，而不起任何限定作用。
[0049]
实施例1：
[0050]
本实施例阐述:将本发明“一种基于时-空-频三维雷达点云的人体行为分类方法”应用于实际采集的人体行为分类的流程。
[0051]
如图1所示，本实施例公开的一种基于时-空-频三维雷达点云的人体行为分类方法，包括如下步骤：
[0052]
步骤一、对采集到的含有人体运动距离和多普勒频率信息的原始回波信号r(n)进行预处理操作，得到预处理后的回波信号矩阵sr(k,l)，k为快时间单元，表示目标运动的距离信息，l为慢时间单元，表示目标运动的多普勒频率信息。所述信号预处理包括滤波、去直流、镜像频率抑制。
[0053]
本实施例中，实验系统是由德州仪器开发的两个硬件模块组合的毫米波雷达，即 iwr1443-boost和dca1000evm数据采集卡。本实验中雷达参数设置为：载波频率79ghz，发射线性调频信号波形，调频率36.355mhz/us，扫频时间110us，采样率5000ksps，每个调频时间采样点数512，每一帧调频信号数目128，帧周期40ms。实验数据是在开阔的大厅环境中采集的，十个不同身高和不同体重的志愿者参与数据的采集，其中5名女性，5名男性。总共采集六种常见日常行为的数据，包括：(a)正常走nw(normal walking)，(b)双手持塑料杆行走wp(walking with plastic poles in both hands)，(c)慢跑jo(jogging)，(d)跌倒 fa(falling)，(e)坐在椅子上站起su(standing up from a chair)，(f)下蹲sq(squatting)。实验中每一次测试要求志愿者在1m和8m之间完成以上动作，每次只有一个志愿者执行特定的动作，持续时间为5秒，每个活动重复20次，总共产生(10个志愿者)
×
(6类活动)
×ꢀ
(20次重复)＝1200个测量数据。对每个测量数据执行滤波、去直流和镜像频率抑制操作，得到预处理后的1200个测量数据信号矩阵。
[0054]
步骤二、利用3d点云联合表征的方式对步骤一得到的回波信号矩阵处理，将目标回波的时间、距离和多普勒频率的多维度信息集中在一个域，建立所述人体运动三个变量的内在联系，充分挖掘不同变量间的相互依赖和潜在关系，得到一系列低密度的时间-距离-频率3d 点云立方体，提高人体行为分类方法对噪声环境的鲁棒性。
[0055]
为了生成3d点云数据集，对1200个预处理后的测量数据矩阵执行如图2所示的点云构建流程。从每个测量数据矩阵中裁剪出10000个调频脉冲(约3.5s)的数据，然后按照图3 所示的距离多普勒序列产生方式处理，每个cpi为100个脉冲，共产生100个距离多普勒帧。之后对每个距离多普勒序列的每一帧执行2d-cfar和点采样，每一帧采样的点数为2。对所有测量数据矩阵完成以上操作后，生成1200个点云立方体数据，大小为128(距离)
×
100(多普勒)
×
100(时间)。六种行为的3d点云图形化效果如图4所示。
[0056]
步骤三、利用步骤二得到的3d点云立方体构建数据集，包括训练数据集和测试数据集
[0057]
在分类实验中，本发明实例选择每类行为中的150个点云样本作为训练集，余下的50个作为测试集。
[0058]
步骤四、利用卷积多线性主成分分析网络cmpcanet，直接对具有稀疏结构的3d点云立方体进行操作，无需破坏3d点云立方体数据结构，从步骤三构建的3d点云立方体数据集中学习高辨识度的特征，实现更为准确的人体行为分类。由于采用主成分分析网络cmpcanet，不仅能够降低数据维数，还能够学习高级特征表示。
[0059]
本发明实施例中选择两层的卷积多线性主成分分析网络cmpcanet-2，具体操作包括；
[0060]
步骤4.1由训练数据集训练卷积核。对分片去均值化得到利用多线性主成分分析处理得到三维立方体每个张量模的特征向量。取前l1＝8个主特征向量，由式 (2)映射得到第一层卷积层的8个3d卷积核。
[0061][0062]
式中，分别表示三维立方体张量模-1，张量模-2和张量模-3的第l1个特征向量。
⊙
表示矩阵的khatri-rao乘积。为一个将大小为k1k2k3的向量映射成大小为k1×
k2×
k3张量的函数。本发明实施例中k1，k2，k3的大小均为13。
[0063]
第一层的输入样本m＝1，2，..900与该层第l1个卷积核的卷积输出结果为
[0064][0065]
式中，*表示3d卷积操作。
[0066]
步骤4.2第一层的输出结果作为第二层的输入被执行与步骤4.1一样的操作，得到第二层卷积层的l2＝8个3d卷积核，如式(10)所示。
[0067][0068]
式中，分别表示由分块采样和去均值后组成的三维立方体张量模-1，张量模-2 和张量模-3的第l2个特征向量。
[0069]
对于第二层的l1＝8个输入点云立方体每个有l2＝8个输出，如下
[0070][0071]
步骤4.3通过二值化将每个输入样本第二层的8个输出转化成一个张量特征图，其每个像素值的取值范围为[0，2
8-1]，如
[0072][0073]
式中，b(
·
)是阶跃函数。然后，8个特征图中的每一个都被大小为15
×
15
×
15的窗以重叠率α＝0.5 步进分成若干个特征块。紧接着对每个特征块执行取值范围为[0，2
8-1]的直方图统计，将所有特征的直方图统计结果连接成一个特征向量，记作当完成以上所有操作后，每个输入点云样本的特征就定义为
[0074]
[0075]
步骤4.4对训练数据集和测试数据集中的每一个样本执行步骤4.1，步骤4.2和步骤4.3，得到点云训练集的特征矩阵为f
train
，点云测试集的特征矩阵为f
test
。
[0076]
步骤五、利用由卷积多线性主成分分析网络cmpcanet学习到的训练数据特征矩阵f
train
训练svm分类器，将提取的测试样本特征f
test
输入到训练好的svm分类器进行分类，输出更为准确的人体行为分类结果，且对噪声环境具有较好的为鲁棒性。
[0077]
经过4次交叉验证后，本发明所提分类方法对六种行为的平均分类正确率为96.33％，混淆矩阵如图5所示。从图中可见，六种行为的误判主要发生在跨距离运动(nw，wp，jo) 和原地运动(fa，su，sq)各自的类别之中，而两大类之间难以发生误判。这是因为两大类行为在距离扩展和多普勒调制上具有明显的差异，前者有大的距离扩展和周期的多普勒调制，而后者没有。在每一个大类之中，混叠主要发生在相似行为之间，如跨距离运动类型中的正常走行为和双手持塑料杆行走行为。二者在距离图上具有较高的相似性，且因为用于区分他们的肢体微多普勒特征比较微弱，差异小，导致二者的误判最大。除了分类正确率外，本发明还利用了精确率precision、召回率recall，特异度specificity和f1-score四个指标来评价所提分类算法对不同行为的分类性能，结果如图6所示。可以看到，所提方法对六种行为的精确率、召回率，特异度和f1-score分别在94％,94％,98.8％和94％以上。尤其是对跌倒行为，召回率和特异度分别为98％和99.6％，能够保证本发明所提分类方法对跌倒行为有较低的误报率和虚警率。
[0078]
然后，本发明将测试数据中加入不同程度的噪声测试本发明所提分类算法的抗噪声性能。考虑低噪声环境、中噪声环境和高噪声环境，三种情况下正常走行为的点云如图7所示。表明，由于本发明所提分类方案中的点云构建方法具有好的去噪声和异常点剔除能力，即使在高噪声条件下也可以很好的生成测量数据的3d点云，描绘人体运动在三个域的信息。得益于这一优点，所提分类方法具有很好的噪声鲁棒性，在三种噪声条件下的分类准确率分别为 96.33％，94.1％和87.4％。
[0079]
通过本发明的高准确率人体行为分类，能够提升居家环境中对独居老人跌倒行为和其它异常行为的监测能力，对保障独居老人的健康生活有着十分重要的意义。本发明所提方法还可提高对武装威胁分子或受伤人员的检测能力。
[0080]
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。