双毫米波雷达人体跌倒检测装置及检测方法

1.本发明属于信号与信息处理技术领域，涉及一种双毫米波雷达人体跌倒检测装置及检测方法。


背景技术：

2.当前世界人口老龄化问题日益加剧，根据世界卫生组织最新发布的老龄化问题报告，预计到2050年60岁以上人口将达到世界总人口的20％，特别是中国等亚洲国家，老龄化人口比例将高达40％，人口老龄化将带来一个突出社会问题就是居家老人的健康护理问题，据世界卫生组织统计，65岁以上老人每年跌倒概率超过28％，跌倒也是造成79岁以上老人死亡的主要原因，一方面是跌倒本身造成的伤害，如骨折、软组织挫伤等，另一方面是老人跌倒后未能及时发现、及时就医引起的并发症，如心脏震荡、脑血栓等，因此迫切需要研究人体跌倒检测的有效方法。
3.针对人体跌倒检测的研究主要分为三类，第一类是基于可穿戴传感器的室内跌倒检测技术，此类技术通过佩戴在人体或嵌入人体的各类传感器检测人体姿态，从而判断是否出现跌倒事件，典型的有惯性传感器(速度、加速度和陀螺仪)、压力传感器、振动等，该方法具有灵敏度高、实时检测性好等特点，然而该方法是侵入式的，必须携带或穿戴，携带式传感器通常对用户不友好，容易受到损坏，且按钮式报警设备不适合有认知障碍的患者或老年人使用；第二类是基于视频/图像传感器的室内跌倒检测技术，此类检测系统通过高分辨率相机记录一系列人体活动图像/视频，采用动作分类算法对图像/视频进行处理，可以有效检测人体跌倒，但安装摄像头会涉及到侵犯隐私，尤其是卫生间、浴室、卧室等区域，而这些区域又是极易生跌倒的场所，环境中的水雾、灰尘等也会影响摄像头的检测效果，所以对其应用有一定限制；第三类是基于雷达探测人体运动的跌倒检测技术，其利用人体运动会引起雷达回波信号频率发生变化(即多普勒效应)的原理进行检测，具有非接触、隐私保护性好，能穿透雾气等优势，是一种非常具有应用潜力的跌倒检测手段。然而对人体跌倒动作的雷达回波信号进行时频域表征时，高频分量强度较弱，使用短时傅里叶变换的表征方法在高多普勒频率下的时宽测量精度受时间分辨率的影响；另外，传统的单毫米波雷达检测方式存在检测盲区，当人体跌倒方向沿雷达波束方向的切向时，其多普勒域信号能量更加微弱，受噪声影响严重，难以识别。


技术实现要素：

4.为了达到上述目的，本发明实施例提供一种双毫米波雷达人体跌倒检测装置，该装置结构简单，无需与人体接触即可准确检测人体跌倒情况，隐私保护性良好，在水雾、灰尘等复杂环境中也能对人体跌倒进行准确检测。
5.本发明实施例还提供一种双毫米波雷达人体跌倒检测方法，利用时频域分析方法，在低信噪比条件下，实现有效反映人体跌倒动作的雷达信号特征增强，同时利用双毫米波雷达的时频信息融合和基于深度学习的自动特征提取方法，实现对人体姿态的精确识
别。
6.本发明实施例所采用的技术方案是，双毫米波雷达人体跌倒检测装置，包括两个毫米波雷达、信号处理模块和自动特征提取与识别模块；
7.所述毫米波雷达，用于发射检测信号，接收人体反射的回波信号，并对其进行预处理得到多路回波数字信号；
8.所述信号处理模块，用于对多路回波数字信号进行数字波束形成、fft运算、stockwell变换和加权数据融合得到融合时频域图像；
9.所述自动特征提取与识别模块，用于提取融合时频域图像的特征值，进而对人体姿态进行识别，获得人体的跌倒情况。
10.进一步的，所述毫米波雷达为多输入多输出的多通道毫米波雷达，所述两个毫米波雷达在检测区域内呈90
°
放置。
11.进一步的，所述自动特征提取与识别模块包括依次连接的图像输入层、中间层、全连接层和输出层；
12.所述图像输入层，用于对融合时频域图像进行预处理；
13.所述中间层，用于提取预处理后融合时频域图像的特征；
14.所述全连接层，用于根据提取的特征值对人体姿态进行分类识别；
15.所述输出层，用于输出人体姿态分类识别结果。
16.进一步的，所述中间层由第一卷积块、最大池化层、第二卷积块、最大池化层和第三卷积块依次连接组成，所述第一卷积块、第二卷积块、第三卷积块均由依次连接的二维卷积层、批归一化层和修正线性单元层组成，所述二维卷积层的过滤器数目依次为8、16、32。
17.双毫米波雷达人体跌倒检测方法，包括以下步骤：
18.步骤s1，两个毫米波雷达同时向检测区域发射检测信号，信号经人体反射后被毫米波雷达的接收天线接收，毫米波雷达接收机前端对回波信号进行预处理得到雷达的多路回波数字信号，并将多路回波数字信号发送至信号处理模块；
19.步骤s2，对两个毫米波雷达发送的多路回波数字信号分别进行数字波束形成，在对数字波束依次进行快时间维度的fft运算和慢时间维度的stockwell变换，得到两个垂直方向的人体姿态多普勒域时频图像；
20.步骤s3，对两个垂直方向的人体姿态多普勒域时频图像进行加权数据融合得到融合时频域图像；
21.步骤s4，提取融合时频域图像的特征值，并基于此对人体姿态进行分类识别，得到人体跌倒情况。
22.进一步的，步骤s1中所述预处理过程如下：首先对回波信号进行低噪声放大，然后将其与本振信号混频后由射频转换到中频，最后使用数模转换器进行中频采样得到毫米波雷达的多路回波数字信号。
23.进一步的，所述步骤s3中使用以下过程进行加权数据融合：分别提取两个人体姿态多普勒时频域图像的脊线，对两条脊线在同一时刻的频率值进行相加处理得到融合时频域图像。
24.本发明实施例的有益效果是：1、本发明实施例使用两个多通道毫米波雷达进行垂直采样，避免了单个雷达存在检测盲区的问题，增加了人体跌倒检测的特征数据，使检测结
果更加准确；2、本发明实施例对雷达回波信号的数字波束依次进行快时间维度的fft运算和慢时间维度的stockwell变换，克服了短时傅里叶变换窗口时宽不变的缺陷，能根据频率变换自适应调整分析时宽，并提供直观的时间频率特征，无需选择窗函数域分析尺度，更适用于微弱信号(尤其是高频微弱分量)的检测，且保留了小波变换和短时傅里叶变换中褪色的相位信息，对信号的时频和特征信息提取具有明显优势，可以明显提高人体跌倒的识别率；3、本发明实施例采用图像脊线提取对两个多通道毫米波雷达的多普勒域信息进行加权融合，放大了人体跌倒动作中易于识别的信息，增强了回波信号中的可分辨特征，将其输入基于卷积神经网络的分类器模型，能够对人体跌倒动作进行准确识别，识别率优于现有的预先定义和人工设计提取特征的方法。
附图说明
25.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1是本发明的结构示意图。
27.图2是本发明的应用效果图。
28.图3是本发明的数据处理流程图。
29.图4是本发明的cnn模型训练流程图。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.实施例
32.如图1所示，双毫米波雷达人体跌倒检测装置包括两个毫米波雷达、信号处理模块和自动特征提取与识别模块，两个毫米波雷达包括两个垂直放置的多通道毫米波雷达，使用计算机控制两个多通道毫米波雷达同时向监控区域发射电磁波，并同时接收人体发射的回波信号，回波信号经预处理后传输至信号处理模块。
33.信号处理模块对接收的回波信号进行fft运算和stockwell变换，做时频分析后对特征进行增强，并融合两个多通道毫米波雷达的多通道多方位信息，再将融合信息传送至自动特征提取与识别模块；自动特征提取与识别模块首先提取融合图像的特征值，再利用基于卷积神经网络的分类算法对信号进行分类识别，从而判断人体的运动状态。
34.所述多通道毫米波雷达采用多输入多输出(mimo)工作模式如2发4收等，具有多个发射天线和接收天线，多发多收等效出来的虚拟孔径可以大大提高阵列的有效孔径，从而有效提高雷达的空间分辨率，能准确识别人体的运动状态；如图2所示，两个多通道毫米波雷达在检测区域内呈90
°
放置，安装高度为1m，安装与墙面平行，天线的水平发射角为0
°
，保证电磁波垂直发射到检测区域，能更好地解决单个雷达具有检测盲区的问题，提高特征提
取的性能。
35.两个多通道毫米波雷达的参数设定一致，使用计算机控制时在两个多通道毫米波雷达间建立连接，采用硬触发实现两个多通道毫米波雷达间的通信，从而保证数据采集的同步性和频域信息融合的可分析性，使人体跌倒的检测识别结果准确性良好。
36.如图3所示，双毫米波雷达人体跌倒检测方法，包括以下步骤：
37.步骤s1，两个多通道毫米波雷达同时向检测区域发射信号，信号经人体反射后传回多通道毫米波雷达的接收天线，回波信号经下变频处理后，由数模转换器(adc)转换得到多路回波数字信号；
38.具体过程如下：首先天线接收到回波信号，然后经过低噪声放大器后，再经过混频器与本振信号混频之后由射频转换到中频，然后由adc进行中频采样，采样后得到雷达的多路回波数字信号；该过程由雷达接收机前端完成；
39.步骤s2，信号处理模块接收到两个多通道毫米波雷达的多路回波数字信号后，分别对其进行处理；
40.首先对多路回波数字信号进行数字波束形成，将数据从阵元域变换到波束域，利用数字波束形成技术可以增大雷达的检测范围，更好地对检测区域进行无盲区实时检测；
41.对回波信号进行快时间维度的fft运算，再对处理后的信号做慢时间维度的stockwell变换，从垂直的两个方向得到人体运动的多普勒域时频信息；即先对单个周期chirp回波序列进行fft运算，对快时间维度的每一帧数据提取频谱峰值对应的横坐标频率，完成对目标距离的求解，然后经过多个chirp回波序列积累后，对同一距离单元的chirp回波序列进行stockwell变换，获得频率随时间变化的二维数据信息；stockwell变换公式如下：
[0042][0043]
其中s表示stockwell变换，t表示时间，x(t)表示t时刻的分析信号，τ表示窗口函数在时间轴上的位置，f表示频率，s(τ,f)表示变换得到的时频谱矩阵，i表示复数虚部；
[0044]
采用短时傅里叶变换的方式进行慢时间变换，选择的窗长变长时频率分辨率提升、时间分辨率下降，选择的窗长变短时时间分辨率提升、频率分辨率下降，而stockwell变换基于可扩展的局部高斯窗并提供频率相关的分辨率，是短时间傅里叶变换(stft)的变窗变换和小波变换的扩展，适用于微弱信号的检测，尤其对高频微弱分量有增强作用，同时保留了小波变换和短时傅里叶变换中衰减的相位信息，更适用于人体跌倒检测；
[0045]
步骤s3，采用图像脊线提取数据融合的方法对两个方向的多普勒域时频信息进行加权数据融合得到融合时频域信息；
[0046]
数据融合的过程如下：分别对两个毫米波雷达回波处理得到的两幅时频分布图进行脊线提取，获得时频域信息中所包含的具有特征信息的时频变化轨迹，由于两个毫米波雷达的数据采集过程是同时触发的，所以两幅图提取的脊线在时间上是对应的；
[0047]
以时间轴作为x轴、频率轴为y轴进行加权相加处理，即对两条脊线在同一时刻的频率值进行相加处理，从而放大了人体跌倒动作中易于识别的信息，有效增强回波信号中
的可分辨特征，使有效的频率变换变得更加显著，有利于后续的特征提取和识别；
[0048]
步骤s4，自动特征提取与识别模块提取融合时频域信息的特征值，并基于该特征值对人体姿态进行分类识别，判断人体所处的运动状态。
[0049]
如图4所示，所述自动特征提取与识别模块由依次连接的图像输入层、中间层、全连接层及输出层组成，图像输入层对输入的融合时频域信息进行预处理后将其输入中间层，中间层对输入的时频分布图进行多层级的特征提取，然后使用全连接层对提取的特征进行重新拟合，减少特征信息的丢失，再基于人体姿态特征对人体姿态进行分类识别，将人体跌倒情况通过输出层输出。
[0050]
图像输入层对融合时频域信息(即合成的二维时频分布图)进行数据规范化后，将其输入中间层，人体运动姿态包括跌倒动作和非跌倒动作，其中跌倒动作包括前向跌倒、后向跌倒、以及前后向跌倒加手臂支撑，非跌倒动作包括弯腰、快速弯腰和蹲下；
[0051]
所述中间层由第一卷积块、最大池化层、第二卷积块、最大池化层和第三卷积块依次连接组成，所述第一卷积块、第二卷积块、第三卷积块均包括依次连接的二维卷积层、批归一化层和修正线性单元层，三个二维卷积层的过滤器数目依次为8、16、32；第一卷积块的二维卷积层通过将滤波器沿输入方向垂直和水平移动，计算权值和输入的点积，然后添加偏置项对输入进行卷积，而后进入批归一化层进行标准化，再输入修正线性单元层对每个元素执行阈值操作，最后输入最大池化层，最大池化层通过将输入划分为矩形池化区域，计算每个池化区域的最大值来进行降采样，然后依次经过第二卷积块、最大池化层、第三卷积块处理，将处理结果输入全连接层，全连接层将输入乘以权值矩阵，然后添加偏置向量，得到高维空间数据，减少特征信息的损失，输出层用于输出人体运动状态识别结果。
[0052]
训练自动特征提取与识别模块时，首先采集大量的跌倒和非跌倒情景下人体姿态的回波数据集合，对其进行数据处理和加权融合后保存融合时频域图像，用作训练样本，对自动特征提取与识别模块进行训练，使用新的跌倒和非跌倒情景下人体姿态回波数据对自动特征提取与识别模块进行验证，得到最终的自动特征提取与识别模块。
[0053]
分别采集60名志愿者的动作数据作为数据集，每名志愿者均采集两组共14种动作，第一组动作为面向雷达做前向跌倒、后向跌倒、前向跌倒加手臂支撑、后向跌倒加手臂支撑、弯腰、蹲起和坐下，第二组动作面向雷达45
°
角做上述7种动作，分别使用本发明和传统检测方法对采集的数据进行人体跌倒检测，检测结果如表1所示：
[0054]
表1本发明与传统检测方法对人体跌倒检测的识别率数据
[0055][0056]
从表1可以看出：传统的单个毫米波雷达加短时傅里叶变换时频分析的方法，结合训练后的卷积神经网络对跌倒动作的识别率可以达到88％，如果对单毫米波雷达数据使用stockwell变换进行时频分析，其识别率可以提升到93％，可见stockwell变换这种方法对跌倒检测的识别正确率有很大的提升，将两个垂直放置的毫米波雷达数据经fft运算、stockwell变换再将时频域信息融合后经分类识别，识别率可高达96％，可见使用双毫米波雷达能够无盲区地检测人体的动作数据，通过fft运算和stockwell变换能根据频率自适应
调整分析时宽，增强回波信号中的高频微弱分量，保留小波变换和短时傅里叶变换中褪色的相位信息，方便对回波信号的时频和特征信息进行提取，基于提取的特征进行人体跌倒检测，检测结果识别率更高。
[0057]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0058]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。