基于雷达的分布式多目标检测、定位跟踪与身份识别系统的制作方法

[0001]
本发明属于定位跟踪与身份识别技术领域，具体涉及一种基于雷达的分布式多目标检测、定位跟踪与身份识别系统。


背景技术：

[0002]
随着科学技术的发展与进步，现代社会生产生活的智能化程度越来越高，智能家居、智能楼宇、智慧医疗、智慧城市等多种领域对人员检测、跟踪与识别技术的需求越来越强烈。通过检测场景内人员的状态（位置、运动、身份等），可以有效地为后续联动门禁、照明、空调等多种电器电子设备，为实现生产生活智能化提供了可靠的技术支持。
[0003]
目前已存在一些检测场景内人员状态的技术，然而现有方案存在如下应用场景和性能上的缺陷：1、现有的人员检测与定位跟踪技术除了雷达以外，还包括红外传感器、光学摄像头、超声波传感器和深度传感器等。红外传感器容易受到光照、温度和遮挡影响，光学摄像头获取二维图像信息，易受光照和遮挡等因素影响，对运动目标不敏感，有侵犯隐私风险，如已有专利[1]；超声波传感器受限于声波的传播速度和距离等因素限制，受衍射影响明显，如已有专利[2]所述；深度传感器获取三维图像信息，对运动目标不敏感，有侵犯隐私风险。
[0004]
2、当前身份识别主要分为接触式方案（掌纹和指纹识别）和非接触式方案（虹膜识别、光学摄像头识别和雷达识别等）。如已有专利[3]所述，基于掌纹和指纹方式的识别方案需要保证手掌与设备接触，且当手掌表皮破损会严重影响识别准确度；而虹膜识别的识别范围较小，适用场景有限；光学摄像头易受光照和遮挡等因素的影响，且需要采集人脸和身体轮廓等信息，不适用于隐私保护场合，适用范围有限；基于传统雷达方案虽然能够实现对人体目标的中远距离识别，但由于其分辨率的限制，导致对目标的特征提取不完备，无法达到高准确率的识别效果。
[0005]
3、对于当前的雷达目标（人员）跟踪方案而言，也存在一些局限性。如专利[3]所述，普通雷达跟踪（非超宽带雷达）距离分辨率不足，而超宽带雷达由于有限天线阵列下角度分辨率不足，识别精度有限。
[0006]
4、当前雷达目标跟踪方案在对多目标进行跟踪时，存在目标跟踪的数量上限问题。
[0007]
5、目前基于雷达的检测场景内人员跟踪与检测技术中，在多目标间距较近的情况下，雷达测得的多目标点云数据容易混淆，如何将混淆的点云数据准确地匹配到相应目标的轨迹上是一个难题。现如今主流的做法是借助卡尔曼滤波的方式，对不同目标的点云簇进行跟踪滤波处理，然而单一的滤波跟踪方式所获取追信息不完备，在多目标点云数据交叉时无法实现对多目标点云的准确匹配，所达到的跟踪精度与稳定性有限，如现有专利[5，6]所述。
[0008]
6、如何克服现有检测场景内人员跟踪与检测方案的不足，在检测场景内环境下对多个目标进行准确定位和稳定跟踪是目前亟待解决的问题。


技术实现要素：

[0009]
本发明的目的在于提出一种能够便捷、稳定、准确地对检测场景内多目标（人员）进行检测、跟踪和身份识别的系统。
[0010]
本发明提出的多目标检测、定位跟踪与身份识别系统，具体为一种基于雷达的分布式传感器系统。具体包括雷达数据采集子系统、数据处理子系统、多目标跟踪子系统、身份识别子系统和智能交互子系统。其中：所述雷达数据采集子系统，其硬件部分包括雷达射频前端、晶振、发射天线、接收天线、通信组件、模数转换器、微控制单元（microcontroller unit，mcu）、电源组件与外围配套电路等。其中，雷达射频前端、晶振，以及发射天线和接收天线共同完成向当前场景发射和接收线性调频连续波（lfmcw）的任务；模数转换器用于将接收到的模拟信号转换成数字信号；通信组件用于与其他模块进行通信和数据处理；微控制单元用于对雷达进行参数配置和数据预处理等；电源组件用于为雷达数据采集子系统提供电量支持；外围电路用于连接子系统内部各个模块和器件。
[0011]
所述数据处理子系统，其硬件部分包括mcu、数字信号处理器（dsp）、现场可编程门阵列（pga）、智能手机和计算机等具有一定信号处理能力的设备。具体流程为：雷达数据采集子系统将采集到的包含多目标运动特征的原始数据传入数据处理子系统，在包含mcu和dsp模块的计算设备中进行目标检测、到达角估计、特征数据聚类和数据特征提取，然后将得到的特征数据通过有线或无线方式传递给多目标跟踪子系统和多目标身份识别子系统中。
[0012]
所述多目标跟踪子系统，其硬件设备为边缘端计算模块，具体包括计算单元、存储单元与通信单元等主要组件，如智能手机、智能电视、智能空调等。利用边缘端计算模块对多目标特征数据匹配关联和卡尔曼滤波等一系列处理，结合多目标身份识别子系统的反馈结果，完成目标状态更新，获得多目标跟踪的结果，并将结果传递给多目标身份识别子系统。
[0013]
所述多目标身份识别子系统，其硬件部分包含边缘端计算模块和云端计算模块。边缘端计算模块为包含计算单元、存储单元与通信单元等主要组件，且具有较少计算存储能力的硬件设备，如智能手机、智能电视、智能空调等；云端计算模块为包括计算单元、存储单元与通信单元等主要组件，且具备高性能计算和存储能力的设备，如服务器等。具体流程为：对于由数据处理子系统获取含有多目标的特征数据，首先，判断该时刻特征数据是否存在分类模型，若当前特征数据存在分类模型，则直接送入多目标特征数据进行实时分类；若该多目标特征数据不存在分类模型，则利用其构建多目标特征数据集；然后，对该特征数据集进行判断，若其数据量足够支撑使用神经网络进行训练，则利用人工神经网络对当前特征数据进行训练，将获得的分类模型存储在云端计算模块，并将此分类模型实时传递到边缘端计算模块；若当前特征数据的数据集不足以支撑神经网络的训练，则对现有特征数据集采用传统分类的方法进行分类，并将分类获得的模型实时传递给多目标特征数据实时分类模块。与此同时，结合多目标追踪子系统中所获取的多目标更新状态结果，完成身份识别参数的迭代更新，并获取身份识别结果，利用有线或者无线的方式，将多目标身份信息和轨迹追踪结果传递如智能交互子系统中。
[0014]
所述智能交互子系统，其硬件部分包括图形用户界面模块，具体为具有实时人机
交互、通信和显示功能的设备，如显示器和显示屏等设备。具体流程为：多目标追踪子系统中的边缘端计算模块将多目标追踪的身份信息和轨迹信息传递给显示设备，显示设备将当前多目标信息进行实时显示；同时，边缘端根据当前多目标信息下达相关控制指令，传递给当前场景下的终端设施，完成实时响应。
[0015]
本发明中，所述雷达数据采集子系统中，所采用雷达体制包括脉冲雷达、连续波雷达、脉部压缩雷达和频率捷变等所有电磁波类型雷达，也可以是激光雷达、超声雷达等非电磁波类型雷达。
[0016]
本发明中，所述雷达数据采集子系统中，具有多个传感器端，设置在检测场景内，进行时间同步数据采集和信号处理，实现优于单个传感器的效果，如增大视场角（减少盲区）、获得多视角特征、提升角度测量能力等。
[0017]
本发明中，所述数据处理子系统对原始中频信号进行处理提取特征信息的过程，包括快速傅里叶变换（fft）、目标检测、到达角估计和特征数据聚类、特征数据提取等处理。提取到的多目标特征信息包括但不限于距离-多普勒图、距离-时间图、多普勒-时间图、方位角-时间图、俯仰角-时间图和三维点云等，通过有线或无线的方式被传递给多目标跟踪子系统和多目标身份识别子系统。
[0018]
本发明中，所述多目标追踪子系统和身份识别子系统中，将身份识别结果和定位跟踪结果进行交叉验证的双向反馈机制方案，将目标位置和轨迹特征用于辅助身份识别，身份识别结果反过来用于定位跟踪中辅助轨迹匹配，能够有效提高多目标定位跟踪和身份识别的精度和鲁棒性。
[0019]
本发明中，所述多目标跟踪子系统对多目标完成跟踪的过程包括：多运动目标信息确认、目标位置与运动参数估计、数据关联与起始跟踪、卡尔曼滤波和多目标状态更新等一系列数据处理过程。
[0020]
本发明中，所述身份识别子系统包括云端和边缘端两个模块，云端用于构建并存储多目标特征数据集，训练分类模型，运行深度学习（人工神经网络）分类，边缘端用于运行不依赖分类模型的传统分类方法和调用云端训练的分类模型的深度学习分类方法。
[0021]
本发明中，所述身份识别子系统在对多目标特征数据进行分类时，采取人工神经网络和传统分类方法结合的方式，具体结合方式为当多目标特征数据量不足以训练分类模型时，在边缘端采用不依赖分类模型的传统分类方法进行分类，具体是指利用贝叶斯分类和动态时间规整等方法对少样本数据集进行分类；当多目标特征数据量足以训练分类模型时，在云端训练分类模型，并将分类模型传递到边缘端，在边缘端或云端进行分类识别。
[0022]
本发明中，针对所述身份识别子系统中存在身份识别人员上限的问题，本发明采用细分场景目标识别的方式，通过对不同场景的长时间数据特征挖掘，以人工校正辅助的方式，有效地将人员与场景进行匹配，存储后用于针对特定场景多人员识别。
[0023]
本发明中，在所述身份识别子系统中，结合无监督学习（数据聚类得到隐性标签）与有监督学习，对多目标的特征数据进行分类识别；与此同时，采用在线数据收集与在线训练的方式，结合自我学习进化的自适应机器学习算法，有效提升多目标身份识别的精度。
[0024]
本发明中，所述多目标特征数据集，包括：不同年龄、不同性别、不同身材人员的运动（减去静态）状态和静态人体（减去场景）特征（大阵列点云成像获得的3维人体结构）。人员运动的运动状态包括行走状态和行走姿态，行走状态包括快走、慢走、随意走、直线行走、
往返行走、绕圈行走等；行走姿态包括外八字行走、内八字行走、猫步行走、大幅甩手行走和跳跃行走等。
[0025]
本发明中，所述智能交互子系统包括接收边缘端输出的多目标身份与轨迹信息，实时显示或转化为控制指令，对雷达传感器连接的终端硬件设备或软件应用进行控制。
[0026]
本发明中，所述雷达传感器，包括集成传感器和独立传感器，集成传感器可集成在受控的硬件设备中，如电视、空调、冰箱和洗衣机等。独立传感器是指由无需集成的传感器，如安置在房门、墙壁和天花板等位置的传感器设备。
[0027]
本发明中，系统工作流程为：（1）通过有线或者无线连接的方式，使各个子系统建立稳定通信；（2）根据实际应用场景需求，确定传感器数量、传感器位置、雷达坐标系、雷达参数、目标特征数据和算法设计；（3）雷达数据采集子系统向当前场景发射雷达波，将接收到含有多目标信息的回波信号经过混频滤波和adc采样等一系列相关处理后，得到包含多目标特征信息的原始数据；（4）数据处理子系统通过对原始数据做fft、目标检测、到达角估计和特征数据聚类、特征数据提取等处理后，提取包含多目标位置、运动参数、轮廓和姿态等多种独特的身份特征信息；（5）若检测到场景中无目标信号，各子系统处于省电（低功耗）模式，当检测到场景中存在有效目标，各子系统转变至正常工作模式，并将在边缘端执行目标定位跟踪流程，以及在云端执行目标特征数据集构建流程；（6）若所构建的特征数据中的数据量足以支撑分类模型的训练，则在云端进行分类模型的训练和调用分类模型进行多目标身份识别等任务；反之，则在本地边缘端利用不依赖分类模型的传统分类方法进行多目标身份识别任务；（7）将在边缘端或云端的目标检测、定位跟踪和分类识别结果通过有线或无线的方式传递给智能交互子系统；（8）智能交互子系统对接收数据进行显示，以及转化为控制指令，传递给终端硬件设备或软件应用，终端设置根据控制命令做出相关的响应。
[0028]
针对雷达在有限天线阵列下角度分辨率不足引起的目标识别精度较低这一问题，本发明提出分布式传感器技术方案，即通过在检测场景内设置多个时间同步的传感器端，同步进行数据采集和信号处理，增大视场角，提升角度测量能力。分布式传感器的优势包括两个方面：一是从不同角度观察相同的感兴趣空间，增大视场角，避免检测盲区；二是可利用分布式传感器的合成天线阵列角度估计算法提升角度测量能力，可有效解决单一传感器观察视角受限与角度分辨率不足的问题。
[0029]
针对身份识别存在的人员识别数量上限的问题，本发明采用细分场景目标识别的方式，通过对不同场景的长时间数据特征挖掘，以人工校正辅助的方式，有效地将人员与场景进行匹配，存储后用于针对特定场景多人员识别。
[0030]
针对多目标定位跟踪与身份识别存在的目标轨迹与身份混淆问题，本发明设计了将身份识别结果和定位跟踪结果进行交叉验证的双向反馈机制，能够有效提高多目标定位跟踪和身份识别的精度和鲁棒性。
[0031]
本发明系统通过检测场景内人员状态（如运动状态、位置和身份等信息），实现人
员存在检测、人员计数、人流统计、人员身份识别、人员位置统计、人员轨迹跟踪等功能，进而联动门禁、照明、空调和显示设备等各种终端设施，适用于智能家居、智能楼宇、智慧医疗、智慧城市等多种领域。
[0032]
本发明系统用于智能家居、智能楼宇、智慧医疗、智慧城市等场景，具备以下优点：（1）不受光照、温度、烟雾沙尘影响，且具备穿透或绕射一定厚度的非金属障碍物的能力，抗干扰能力强，适用场景广泛；（2）雷达工作所采用的毫米波功率较低，且不易发生电离，于人无害；（3）无需接触或穿戴电子设备，便捷性较高；（4）目标人员可以自由行走，不受运动状态限制，且适用于较大范围的运动，舒适性较高；（5）无需采集人体声音和外貌等特征，具有很好的隐私性；（6）可在被检测目标不知情的情况下完成对目标的探测，具有较强的隐蔽性；（7）雷达数据采集子系统和雷达数据处理子系统被集成在组件中，尺寸较小，集成能力强，方便携带安装；（8）既可作为集成传感器集成到现有电器电子设备中工作，又可作为独立传感器工作，灵活度高；（9）采用边缘端与云端结合的分类方案，适用场景广；（10）可以通过有线或者无线的方式与现有物联网设备连接，且适用于嵌入式设备、智能手机和计算机等终端，移植能力较高；（11）设计多目标定位跟踪与身份识别双向反馈验证的方案，鲁棒性和精度高。
附图说明
[0033]
图1本发明一个实施例中的应用场景示意图。
[0034]
图2本发明一个实施例中的实施过程流程图。
[0035]
图3本发明一个实施例中所设计分布式传感器示意图。
[0036]
图4本发明一个实施例中所设计的独立传感器结构示意图。
[0037]
图5本发明一个实施例中所设计的集成传感器结构示意图。
[0038]
图中标号：1为usb供电接口；2为数据传输接口；3为收发天线阵列；4为射频电路；5为电源模块（包括充电模块和供电模块）；6为蓝牙通信模块和wifi通信模块；7为数据存储模块；8为中央处理器模块；9为与显示屏数据传输接口；10为辅助数据存储模块。
具体实施方式
[0039]
下面结合实施例和附图对本发明作出进一步说明。但本发明的保护范围不限于下述实施例。
[0040]
实施例的应用场景如下图1所示，具体流程如图2所示。
[0041]
（1）在一个近似于图1的办公场景中，将所述雷达数据采集子系统和数据处理系统设置于电梯、卫生间、门、办公区和天花板，简称独立传感器端。将所述雷达数据采集子系统和数据处理系统集成在诸如自动贩售机、空调、灯光设备和显示屏等硬件设施中，简称集成传感器端。为每一个设置的传感器端进行编号，卫生间和电梯等场合设置传感器有效探测
范围为1.5米，门和办公区传感器探测范围为2米，防止误测。
[0042]
（2）根据当前办公场景建立初始多目标特征数据集，包括不同年龄、不同性别、不同身材人员的运动（减去静态）状态和静态人体（减去场景）特征（大阵列点云成像获得的3d人体结构）。定义快走、慢走、随意走、直线行走、往返行走、绕圈行走、外八字行走、内八字行走、猫步行走、大幅甩手行走和跳跃行走等十一种目标运动状态。每个个体目标每种运动状态均采集300个样本数据。筛选所述数据集，筛选标准包括利用不同类别之间数据的差异和类间数据的相似，剔除异常数据；通过对所获取的样本数据处理，提取其特征数据，包括距离多普勒图和点云数据等；利用自定义神经网络对当前的多目标进行识别分类和轨迹跟踪，并将分类模型储存至云端。
[0043]
（3）开启毫米波雷达，保证其实现实时通信，根据当前场景的实际需要，加载当前场景所需雷达参数设置。
[0044]
（4）如（1）中所述得独立传感器端和集成传感器端开始工作，实时发射周期线性调频连续波，当有目标出现时，实时捕捉当前目标的回波数据，经混频和模拟数字转换采样后得到雷达原始特征数据，并实时传递给数据处理子系统。
[0045]
（5）数据处理子系统对雷达原始特征数据进行实时处理，即微控制单元（mcu）和数字信号处理器（dsp），对雷达原始数据进行实时处理，具体包括距离fft、速度fft、目标检测、到达角估计、特征数据聚类和特征数据提取等过程，得到包含当前目标的距离、速度、方位角、俯仰角、能量分布和点云空间分布等多种特征参数，并得到距离-多普勒图、距离-时间图、多普勒-时间图、方位角-时间图、俯仰角-时间图和三维点云图等特征数据，将这些特征数据实时传递给多目标跟踪子系统和身份识别子系统。
[0046]
（6）身份识别子系统获取多目标特征数据后，首先对当前特征数据进行判断，结合云端存储的特征数据分类模型，判断当前特征数据是否为某一人员，若为确定人员特征数据，则将分类结果直接输出；若不是已确定人员特征数据，则将当前特征数据保存并更新分类模型，添加为新的人员，将当前特征数据与当前人员的身份标签存储至云端。与此同时，将多目标身份信息和轨迹信息实时传递给智能交互子系统。
[0047]
（7）利用智能交互子系统将当前分类识别的结果传递给边缘端，同时边缘端根据当前分类识别的结果对终端设备发布控制指令，例如，若识别到属于当前检测场景（房间）的人员出现，则打开房间门；若在库人员出现在会议室，则开启会议设备。
[0048]
参考文献[1]天津大学.一种基于视频图像的检测场景内人员检测方法:cn201811138806.1[p].2019-03-15.[2]杭州麦乐克科技股份有限公司.一种检测场景内人体数量估算装置:cn201910614150.4[p].2019-10-01.[3]深圳市海谱纳米光学科技有限公司.一种高光谱指纹识别系统以及指纹识别方法：cn202010365600.3[p].2020-08-18.[4]意诺科技有限公司.毫米波雷达目标识别方法:cn201911285358.2[p].2020-05-26.[5]浙江大学.一种毫米波雷达多目标跟踪方法:cn201910661302.6[p].2019-10-22.[6]四川长虹电器股份有限公司.用于毫米波雷达目标跟踪的点云划分与航迹匹配方
法:cn202010244026.6[p].2020-06-16.。