面向智慧养老应用的雷达连续动作检测及行为识别方法

本发明涉及物联网应用、智慧养老，特别是面向智慧养老应用的雷达连续动作检测及行为识别方法。

背景技术：

1、中国人口老龄化程度在日益加深，养老问题已成为中国经济社会发展过程中面临的一项重大问题。对此，发展智慧健康养老新技术已然成为构建老龄化友好型社会的必然趋势。

2、动作检测技术作为智慧养老中的一项重要支持技术，主要依赖“可穿戴”式和“非可穿戴”式设备实现。其中“可穿戴”式设备要求监护对象随身携带专用传感器，缺乏舒适性和便利性，易被老年人遗忘或拒绝。为此，“非可穿戴”式设备具有更广阔的应用场景，其主要包括视觉传感器(如：摄像头、红外成像)、无线传感器(如：wifi)和射频传感器(如：雷达)等。其中，红外传感器易受环境温度的影响导致识别性能下降，无法普及应用；视频传感器无法适用于视距范围外及光线不好的应用场景，同时该传感器易泄露个人隐私，无法部署于卧室和浴室环境，而对于独居老人而言卧室和浴室却是最需要进行检测的场景。为了解决上述问题，基于wifi和毫米波雷达的行为感知技术得到学术界和工业界的关注。wifi和毫米波雷达同属被动式感知技术，具有非接触式、不受光照强度影响、可穿透墙体及某些障碍物的特性。不过，前者在复杂的室内环境下存在显著的多径效应，导致识别效果不佳。相较而言，后者的识别灵敏度更高，且具有更强的鲁棒性和隐私保护性。因此，毫米波雷达在监测人体行为方面具有较大的功能优势和良好的发展前景。利用毫米波雷达实现行为检测主要包括基于点云和微多普勒特征两大技术。其中，基于点云的行为识别技术不仅可以进行室内定位追踪，还能通过捕获的点云信息实现行为识别。但在实际应用中该方法存在诸多挑战，例如在复杂的室内环境中，雷达信号会受到家具及墙壁等非人体目标的多次反射影响而产生多径效应。对此需要采取背景消除法去除干扰，但这又可能导致点云信息的丢失。

3、现有的利用雷达微多普勒特征来识别人体动作的方法，主要使用直接对微多普勒矩阵映射的方法以得到图像化的微多普勒图。然而这种方法不仅容易使不同样本的所得图像背景色产生差异，而且图像的所有区域都存在明显噪声。以上缺陷将严重影响连续动作检测的最终性能。

4、此外，当前基于微多普勒特征的行为识别技术主要围绕单个行为进行研究，而针对连续行为识别的研究偏少，主要归因于连续行为识别存在以下三个难题：

5、(1)连续行为中动作顺序多变，以至于目前行为检测技术无法实现普及应用；

6、(2)连续行为序列中每个行为持续时间不定，以至于连续行为难以分割；

7、(3)连续行为谱图的时空特征难以充分提取，以至于目前行为检测技术效果不佳。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种面向智慧养老应用的雷达连续动作检测及行为识别方法，提升微多普勒图的成像质量，有效弥补以往识别中动作分割、特征提取及行为分类存在的不足，并更具普遍适用性。

2、为实现上述目的，本发明采用如下技术方案：面向智慧养老应用的雷达连续动作检测及行为识别方法，包括以下步骤：

3、步骤1：利用雷达采集人体连续行为数据，并进行数据预处理；

4、步骤2：采用动态特征可视化方法对微多普勒特征有选择地图像化；

5、步骤3：利用基于视觉目标检测模型改进的行为检测模型对所得包含连续动作信息的微多普勒图进行检测，从而得到各动作的类型及发生的起止时间，并根据动作间的相关性识别智慧养老应用场景的人体行为。

6、在一较佳的实施例中，所述步骤1具体为：首先对所得原始信号进行模数转换，得到数字信号；其次，对数字信号实施矩阵重整，按照虚拟接收天线顺序排列；接着，对重整后的三维矩阵进行静态消除，从而消除背景噪声的影响；最后，通过距离-fft和多普勒-fft，得到连续行为对应的微多普勒矩阵。

7、在一较佳的实施例中，采集人体连续行为数据具体为利用雷达板采集人体连续行为的回波信号，采集包含多种动作的多个连续行为序列，其中每个行为包含一个或多个原子动作；所采集的连续行为序列包含以下序列：

8、(1)跳跃-行走-喝水-坐下-起立-跌倒；

9、(2)坐下-起立-喝水-行走-跳跃-跌倒；

10、(3)行走-坐下-起立-喝水-跳跃-跌倒；

11、(4)伸展运动-喝水-行走-坐下-起立-跌倒；

12、(5)坐下-起立-伸展运动-行走-喝水-跌倒；

13、(6)喝水-行走-伸展运动-坐下-起立-跌倒；

14、(7)太极拳-小跑-伸展运动-咳嗽-摔倒-挥手求助；

15、(8)咳嗽-小跑-捡东西-伸展运动-摔倒-挥手求助；

16、(9)捡东西-小跑-小跑-伸展运动-摔倒-挥手求助；

17、(10)伸展运动-捡东西-小跑-咳嗽-坐下-起立。

18、在一较佳的实施例中，所述步骤2具体为：首先，对所得微多普勒矩阵中的元素按列取出，并将取出元素按其大小降幂排序得到列向量r'；其次，选取映射因子α，0<α<100，将r'前α％元素保留，剩余元素置零；接着，根据r'各个元素在原微多普勒矩阵中的位置还原，得到经过处理的微多普勒矩阵；最后，将处理后的微多普勒矩阵进行颜色的线性映射，得到图像化的微多普勒图。

19、在一较佳的实施例中，构建微多普勒矩阵具体为将连续行为经过模数转换、矩阵重整、静态消除、距离多普勒图rdm构建得到连续行为微多普勒矩阵，详细内容阐述如下：

20、通过雷达采集得到的原始信号经过混频及低通滤波器后得到的模拟形式为：

21、

22、将上述模拟信号先通过模数转换后得到数字信号，随后再进行矩阵重整；

23、根据收发天线顺序将数字信号重整为三维数据矩阵的形式；首先，将前述得到的二维矩阵中对应4根接收天线的数据分离；并在原有采样点基础上以行为单位对矩阵进行编排，直至完成最后一个chirp为止；此时，假设第m个chirp的第n个采样点表式为：

24、

25、式中，λ表示信号波长，r表示人体相对雷达的距离，tf为快时间维度上adc采样的间隔，ts为慢时间维度上的采样间隔，fb＝(b/tc)τ；此外，nr为采样点数，m为行为采集过程中发射的总chirp数；

26、由于使用多根接收天线，各个接收天线之间存在着相对距离，因而每根天线会产生额外的相移；此处以2根接收天线为例，假定接收天线间的距离为di，目标人体位于雷达左前方θ角的位置，此时相位变化在数学上可以推导出如下方程:

27、

28、由此，第i根接收天线上第m个chirp的第n个采样点表示为：

29、

30、最后，将12个数据矩阵按照虚拟接收天线的顺序进行拼接，得到三维数据矩阵；该三维数据矩阵包含人体目标完整的微动信息，将作为后续构建微多普勒谱图的基础；

31、雷达系统采集人体行为数据时，回波信号携带着环境中的物体所产生的干扰，首先，将前述得到的三维矩阵按照天线顺序分别进行处理，此处以第i根接收天线为例，对应数据矩阵按行依次求取行平均值，如式所示：

32、

33、其中，表示第i根接收天线上第m个chirp的第n个采样点位置的数值；随后，将原始数据矩阵的每一列都与平均值矩阵进行相减，此处以第m列为例：

34、

35、最终，得到经过静态消除后的目标数据矩阵为y'[n,m,i]；其中n∈[1,nr]，m∈[1,m]，i∈[1,na]；

36、需要分别对静态消除后目标数据矩阵的行列维进行傅里叶变换；

37、首先，对三维数组的距离维加上布莱克曼窗执行nr点的距离fft，得到目标的距离信息：

38、

39、继而，在速度维上添加汉明窗执行nd点的多普勒fft，获取目标的速度信息：

40、

41、最后，将零频分量搬移至频谱中心，并对天线维取平均，从而得到相应的rdm，具体表示为：

42、

43、将上述得到的rdm向速度维投影，再按照帧数顺序在列方向上依次相加，得到包含目标运动信息的微多普勒特征矩阵，此处以第q帧为例，其计算过程描述为：

44、

45、式中，表示第i根接收天线上第(1+(q-1)p)个chirp的第k个采样点；此外，p∈[1,nd]，q∈[1,m/nd]。

46、在一较佳的实施例中，所述步骤3具体为：通过专用标定工具，对微多普勒谱图中的单个行为进行标定，得到各行为对应标定框中的左上角及右下角坐标，继而将得到的左上角及右下角坐标计算成中心点坐标和宽高值；通过引入目标检测模型，并在此基础上加入坐标注意力机制ca，从而提取连续行为谱图的时间与空间特征并融合；通过改进损失函数、激活函数，提升检测性能得到连续行为检测及识别模型；在此基础上，将连续行为谱图数据集划分为训练集、验证集和测试集；先将训练集和验证集输入改进后的目标检测模型；通过模型提取训练集的特征，ca注意力机制进行时空域特征的提取和融合；通过验证集得到效果最佳的模型；最后，通过测试集测试所得到模型，从而实现连续动作的分割、检测，并根据动作间的相关性识别人体行为

47、与现有技术相比，本发明具有以下有益效果：本发明使用雷达作为人体连续行为识别传感器，无需佩戴专用传感器，提升了独居老人的舒适性。此外，相对于以往容易侵犯老年人隐私的摄像头、红外传感器及探测精度不高的wifi等识别设备而言具有更好的隐私保护性、距离分辨率及可穿透墙体等技术优势。

48、基于雷达的行为识别技术主要包含点云和微多普勒特征两种，其中基于微多普勒特征具有不受环境中多径干扰的优点，可以提高行为检测及识别的性能。通常现实生活中的人类活动普遍以连续行为存在，但因其行为类型及执行时间不定，导致难以实现分割及特征的有效提取，从而影响行为检测及识别的准确性。因此，本发明将目标检测技术引入基于雷达微多普勒特征的连续行为检测及识别，通过将数据处理转换为视觉处理解决了现有技术中连续行为分割的不足，从而提升检测的便捷性和准确性。在原有目标检测模型基础上，本发明为贴近连续行为谱图的特点，通过添加ca注意力机制实现时间和空间特征的提取和融合，进一步提升了连续行为检测及识别的精度。