追踪与分类器在MMWAVE雷达中的集成的制作方法

追踪与分类器在mmwave雷达中的集成
技术领域
1.本公开总体上涉及一种电子系统和方法，并且在特定实施例中，涉及追踪与分类器在毫米波(mmwave)雷达中的集成。


背景技术：

2.在过去几年中，由于低成本半导体技术(诸如硅锗(sige)和精细几何互补型金属氧化物半导体(cmos)工艺)的快速发展，毫米波频率范围内的应用已经受到极大关注。高速双极型晶体管和金属氧化物半导体(mos)晶体管的可用性已经导致对用于24ghz、60ghz、77ghz和80ghz以及超过100ghz的毫米波应用的集成电路的需求的增长。这种应用包括例如静态对象和移动对象检测和追踪。
3.在一些雷达系统中，雷达与目标之间的距离通过以下步骤来确定：发送频率调制信号；接收频率调制信号的反射(也被称为回波)；以及基于频率调制信号的发送与接收之间的时间延迟和/或频率差来确定距离。因此，一些雷达系统包括用于发送射频(rf)信号的发送天线、用于接收rf的接收天线、以及用于生成所发送的信号和接收rf信号的相关联的rf电路系统。在一些情况下，可以使用相控阵技术将多个天线用于实现定向波束。具有多个芯片组的多输入多输出(mimo)配置还可以用于执行相干和非相干信号处理。
4.在一些设置中，静态对象与移动对象共存。例如，在室内设置中，静态对象(诸如家具和墙壁)与移动对象(诸如人类)共存。室内设置还可以包括展现周期性移动的对象，诸如风扇。已经使用多普勒分析来区分移动对象与静态对象。


技术实现要素：

5.根据一个实施例，一种用于使用毫米波雷达来追踪目标的方法包括：使用毫米波雷达来接收雷达信号；基于所接收的雷达信号来生成距离多普勒映射；基于距离多普勒映射来检测目标；使用轨迹(track)来追踪目标；基于轨迹来生成预测活动标签，其中预测活动标签指示目标的实际活动；基于轨迹来生成多普勒频谱图(spectrogram)；基于多普勒频谱图来生成临时活动标签；将不确定性值分配给临时活动标签，其中不确定性值指示临时活动标签是目标的实际活动的置信水平；以及基于不确定性值来生成最终活动标签。
6.根据一个实施例，一种毫米波雷达系统包括毫米波雷达以及处理器，该毫米波雷达被配置为发送和接收雷达信号，该处理器包括：雷达处理块，该雷达处理块被配置为基于由毫米波雷达接收的雷达信号来生成距离多普勒映射；目标检测器块，该目标检测器块被配置为基于距离多普勒映射来检测目标；追踪器，该追踪器被配置为：使用轨迹来追踪目标，并且基于轨迹来生成预测活动标签，其中预测活动标签指示目标的实际活动；特征提取块，该特征提取块被配置为基于轨迹来生成多普勒频谱图；分类器，该分类器被配置为基于多普勒频谱图来生成临时活动标签；以及分类选通(gating)块，该分类选通块被配置为：接收与临时活动标签相关联的不确定性值，并且基于不确定性值、预测活动标签和临时活动分类来产生选通数据，其中不确定性值指示临时活动标签是目标的实际活动的置信水平，
并且其中追踪器被配置为基于选通数据来生成最终活动标签。
7.根据一个实施例，一种用于使用毫米波雷达来追踪目标的方法包括：使用毫米波雷达来接收雷达信号；基于所接收的雷达信号来生成距离多普勒映射；基于距离多普勒映射来检测目标；使用追踪器来使用轨迹追踪目标；使用分类器来基于追踪器的输出生成临时活动标签；以及使用追踪器来基于分类器的输出生成最终活动标签，其中追踪器使用状态变量来追踪目标的活动标签。
附图说明
8.为了更完整地理解本发明及其优点，现在参考以下结合附图所做的描述，其中：
9.图1示出了根据本发明的实施例的雷达系统；
10.图2示出了根据本发明的实施例的利用毫米波雷达系统捕获的移动中的人类的距离多普勒映射；
11.图3示出了图示基于追踪器的输出来生成目标分类的分类器的框图；
12.图4至图6图示了在被馈入分类器中时可能会导致目标的错误分类的场景；
13.图7示出了根据本发明的实施例的人类活动状态转变图；
14.图8a示出了根据本发明的实施例的用于检测、追踪和分类人类目标的活动的框图；
15.图8b示出了根据本发明的实施例的用于追踪人类目标和对应活动的实施例方法的流程图；
16.图9示出了根据本发明的实施例的用于对人类活动进行分类的分类器；
17.图10a示出了根据本发明的实施例的、人类目标的人类活动和活动转变的多普勒频谱图的示例；
18.图10b图示了示出根据本发明的实施例的实际活动分类结果、分类器的输出以及追踪器的输出的图；
19.图10c和图10d分别示出了根据本发明的实施例的用于分类器812和追踪器808的混淆矩阵；并且
20.图11图示了示出用于基于机器语言的特征提取和标识的机器学习流水线的框图，该机器学习流水线可以用于训练图9的分类器以基于人类活动来对人类目标进行分类。
21.除非另外指出，否则不同附图中的对应数字和符号通常指代对应的部分。绘制附图以清楚地图示优选实施例的相关方面，并且这些附图并不一定按比例绘制。
具体实施方式
22.下面详细地讨论了所公开的实施例的制作和使用。然而，应当理解的是，本发明提供了许多可应用的发明概念，这些发明概念可以在各种特定的上下文中实施。所讨论的特定实施例仅仅是对制作和使用本发明的特定方式的说明，并且不限制本发明的范围。
23.以下描述说明了各种具体细节，以提供对根据本说明书的多个示例性实施例的深入理解。实施例可以在不具有具体细节中的一个或多个具体细节的情况下或者在利用其他方法、组件、材料等的情况下获得。在其他情况下，并未详细地示出或描述已知的结构、材料或操作，以免模糊实施例的不同方面。在本说明书中对“实施例”的参考指示相对于实施例
描述的特定配置、结构或特征被包括在至少一个实施例中。因此，可以出现在本说明书的不同点处的、诸如“在一个实施例中”的短语并不一定精确地指代相同的实施例。此外，在一个或多个实施例中，可以以任何适合的方式组合具体的形式、结构或特征。
24.将在特定上下文中描述本发明的实施例，将追踪人类目标的追踪器与对人类活动进行分类的分类器集成在一起的毫米波雷达。本发明的实施例可以用于其他类型的雷达中。一些实施例可以用于追踪人类以外的目标，诸如动物(例如，狗或猫)或机器人。一些实施例可以用于使用与人类活动不同的标准来对目标进行分类，诸如对目标的类型进行分类(例如，目标是人类还是非人类)。
25.在本发明的实施例中，毫米波雷达包括具有用于对人类目标活动进行分类的集成分类器的追踪器。追踪器通过使用与可能的人类活动对应的状态变量来实现集成分类器。追踪器基于分类器的输出来更新与人类活动相关联的状态变量，该分类器基于追踪器的输出来生成临时分类。因此，在一些实施例中，除了人类目标的定位之外，追踪器还有利地能够追踪对应的人类活动。
26.雷达(诸如毫米波雷达)可以用于检测和追踪目标，诸如人类。例如，图1示出了根据本发明的实施例的雷达系统100。雷达系统100包括毫米波雷达102和处理器104。在一些实施例中，毫米波雷达102包括处理器104。
27.在正常操作期间，毫米波雷达102朝向场景108发送多个辐射脉冲106，诸如调频脉冲(chirp)。在一些实施例中，调频脉冲是线性调频脉冲(即，调频脉冲的瞬时频率随时间而线性地变化)。
28.所发送的辐射脉冲106由场景108中的对象反射。所反射的辐射脉冲(图1中未示出)(也被称为回波信号)由毫米波雷达102检测并且由处理器104进行处理，以便例如检测和追踪目标，诸如人类。
29.场景108中的对象可以包括静态的人类，诸如躺着的人类110；展现出少且不频繁的运动的人类，诸如站立的人类112；以及移动中的人类，诸如跑步或行走的人类114和116。场景中的对象108还可以包括静态对象，诸如家具和周期性移动设备(未示出)。其他对象也可以存在于场景108中。
30.处理器104使用信号处理技术来分析回波数据以确定人类的位置。例如，在一些实施例中，距离fft用于估计检测到的人类的位置(例如，相对于毫米波雷达的位置)的距离分量。可以使用角度估计技术来确定检测到的人类的位置的方位角分量。
31.在一些实施例中，从回波数据中生成距离多普勒映射(图像)，并且对距离多普勒映射执行二维(2d)移动目标标识(mti)以检测移动目标。
32.处理器104可以被实现为包括例如耦合至存储器的组合电路的通用处理器、控制器或数字信号处理器(dsp)。在一些实施例中，例如，可以利用arm架构来实现处理器104。在一些实施例中，处理器104可以被实现为定制的专用集成电路(asic)。在一些实施例中，处理器104包括分别具有一个或多个处理核心的多个处理器。在其他实施例中，处理器104包括具有一个或多个处理核心的单个处理器。其他实现也是可能的。一些实施例可以被实现为硬件加速器与在dsp或通用微控制器上运行的软件的组合。
33.在一些实施例中，毫米波雷达102作为fmcw雷达运行，该fmcw雷达包括毫米波雷达传感器电路、发送天线和至少两个接收天线。毫米波雷达102在20ghz至122ghz的范围内发
送和接收信号。备选地，还可以使用该范围之外的频率，诸如1ghz与20ghz之间的频率或122ghz与300ghz之间的频率。
34.在一些实施例中，以本领域中已知的方式使用带通滤波器(bpf)、低通滤波器(lpf)、混频器、低噪声放大器(lna)以及中频(if)放大器对由毫米波雷达102的接收天线接收的回波信号进行滤波和放大。然后，使用一个或多个模数转换器(adc)将回波信号数字化以供进一步处理。其他实现也是可能的。
35.出于各种原因，可以期望例如在室内环境中检测和追踪(多个)人类目标。用于追踪目标的常规方法假定目标是距离多普勒映射中的单个点。在常规的距离多普勒处理链中，所获得的检测聚类用于获得距离多普勒图像中的单个频段(bin)，以确定所检测的目标的距离和多普勒分量。然后，将这样的单个频段馈送到用于追踪目标的追踪器中。例如，在常规的雷达信号处理中，可以针对单点目标来检测距离、多普勒和到达角度。然后，将这样的分量馈送到用于追踪目的的追踪器中。
36.用于常规追踪器的运动模型可以被表达为：
[0037][0038]
其中k表示离散时间步长，δt是每个时间步长之间的时间，px是目标在x方向上的位置，py是目标在y方向上的位置，vx是目标在x方向上的速度，并且vy是目标在y方向上的速度。
[0039]
在一些雷达系统中，诸如在毫米波雷达系统中，由于在人类目标的移动期间从人体的不同部分接收反射，因此人类目标可以在距离和多普勒频段上展现出双扩频(double spread)。例如，图2示出了根据本发明的实施例的利用毫米波雷达系统捕获的移动中的人类的距离多普勒映射。如图2中所示，人类目标可以在距离多普勒映射的不同位置处展现峰值，这些不同位置对应于人类目标身体的不同部分，诸如右脚204、左脚202、以及躯干和手206。
[0040]
在一些实施例中，追踪器可以使用协调转向运动模型(coordinated turn motion model)，诸如在2019年9月13日提交的名称为“人类目标追踪系统和方法(human target tracking system and method)”的共同未决的美国专利申请号16/570,190中所描述的协调转向运动模型，该申请以引用的方式并入本文。例如，在一些实施例中，由追踪器使用的协调转动运动模型可以由下式给出：
[0041][0042]
其中k表示离散时间步长，δt是每个时间步长之间的时间，px是人类目标质心在x方向上的位置，py是人类目标质心在y方向上的位置，lx是x方向上的边界框尺寸，ly是y方向上的边界框尺寸，vlx是边界框的x尺寸的变化率，vly是边界框的y尺寸的变化率，v
c
是人类目标质心的径向速度，θ是人类目标的到达角度，并且ω是人类目标的到达角度(aoa)的变化率，其中边界框可以具有矩形形状，并且围绕目标的多普勒和距离中的扩频。
[0043]
在一个实施例中，参数px、py、lx、ly、vlx、vly、v
c
、θ和/或ω表示利用轨迹来追踪人类目标的追踪器(例如，利用卡尔曼滤波器(诸如无迹卡尔曼滤波器)实现的追踪器)的状态。可以从毫米波雷达系统100的测量中获得这些状态。例如，在一个实施例中，毫米波雷达系统100测量r(目标与毫米波雷达传感器的距离)、θ(到达角度——目标的角度)、v
c
(目标的径向速度)、l
r
(在距离上的边界框尺寸)以及l
d
(在多普勒上的边界框尺寸)。这些测量可以被统称为：
[0044]
zmeas＝(r，θ，v
c
，l
r
，l
d
)
ꢀꢀꢀ
(3)
[0045]
可以通过下式将zmeas测量转换成追踪器的状态：
[0046][0047]
其中ω、vlx和vly被初始化为零。
[0048]
在每个时间步长下，收集测量zmeas的新集合，并且基于测量zmeas的这种新集合来更新轨迹。例如，针对每个时间步长，无迹卡尔曼滤波器(例如，使用等式2)(针对轨迹)计算预测状态px、py、lx、ly、vlx、vly、v
c
、θ以及ω。由于贝叶斯递归方法，因此这些状态可以体现来自从时间1:k起可用的所有测量(轨迹的所有测量)的信息。可以通过下式将这种预
测状态转换成预测测量的形式：
[0049][0050]
可以通过下式来在预测测量zpred与测量zmeas的新集合之间计算马氏距离(mahalanobis distance)：
[0051][0052]
其中s是zmeas与zpred之间的协方差矩阵。
[0053]
在一些实施例中，如果距离md小于预定阈值，则测量zmeas的新集合被视为正在被轨迹追踪的目标的有效测量。距离md小于预定阈值的多维区域被称为与轨迹相关联的选通区域(gating region)或预期区域。
[0054]
在许多应用中，期望对目标进行分类。例如，在一些实施例中，将目标分类为人类或非人类可以是有利的。例如，当目标被确定为人类目标(例如，与非人类目标(诸如狗)相对)时，可以自动打开房间的灯。
[0055]
其他分类也可以是有利的。例如，在一些实施例中，基于正在执行的活动(例如，步行、跑步、站立、坐着、躺下，等等)对人类目标进行分类。例如，如果目标被确定为人类目标，则一些实施例可以进一步将活动分类分配给这样的人类目标。这种活动分类可以用于增强人类目标的定位追踪。例如，与当人类目标正在执行跑步活动时相比，当人类目标正在执行坐着的活动时，人类目标可以具有保持在相同位置中的较高概率。这种活动分类还可以被用于其他目的。例如，系统可以基于检测到的人类正在执行的活动的类型来采取动作。例如，当检测到的人类目标正在执行躺在地板上的活动或者从步行转变为躺在地板上的活动时，系统可以打开警告灯。换句话说，所获得的(例如，活动)标签可以用于例如通过基于(例如，活动)标签更新追踪器的状态变量来进一步追踪目标。
[0056]
为了对目标进行分类，可以在开环中使用分类器。例如，图3示出了图示基于追踪器304的输出来生成目标分类的分类器308的框图300。如图3中所示，在雷达(例如，毫米波雷达102连同处理器104)执行目标检测302之后，追踪器304追踪这种目标。通过追踪器304来生成追踪器定位(例如，标识目标的位置)。基于追踪器304的输出来执行特征提取306。出于分类目的，将所提取的特征(例如，多普勒频谱图)馈送至分类器308。然后，分类器基于所接收的特征来对目标进行分类。在一些实施例中，检测参数(与302、304和306相关联的参数)每帧更新一次，而目标分类每n帧更新一次，其中n可以是例如8。
[0057]
可能的分类例如包括目标是人类还是非人类。其他分类例如包括活动分类。例如，当目标被标识为人类目标时，可能的活动分类可以包括：跑步、步行、睡觉、坐着、挥手、跌倒、烹饪、工作，等等。
[0058]
在正常操作期间，可能会由于各种原因而发生目标的错误分类。例如，雷达(诸如毫米波雷达102)可能会产生如下的输出，该输出在被处理时可能会导致错误分类。图4至图6图示了在被馈入分类器中时可能会导致目标的错误分类的场景。
[0059]
图4示出了在时间的一部分期间未被检测到的人类目标——如利用区域402所示——的图400。在错误检测期间，追踪器304的轨迹可能未与检测相关联，并且因此，在该帧期间可能会不存在特征提取，这是可能会导致错误分类的错误源。
[0060]
图5示出了在具有两个接收天线的雷达系统中位于相同距离频段中的两个人类目标(502和504)的图500。通常，只具有两个接收天线的雷达系统能够定位至多一个目标。当在这种系统中存在两个目标时，欠定的(under-determined)方程组可能会导致无法为每个目标独立地提取特征，这是可能会导致错误分类的错误源。
[0061]
图6示出了在活动之间转变(例如，从步行转变到站立转变到坐着)的人类目标的图600。当人类目标执行先前未用于训练分类器308的活动(例如，该活动不是用于训练分类器的库的一部分)时，分类器308可能会将错误的分类分配给目标。在从第一活动(例如，步行)转变到第二活动(例如，站立)之间可能会发生的瞬态也可以是可能会导致错误分类的错误源。
[0062]
在一个实施例中，追踪器的状态变量包括与人类活动相关联的状态变量。因此，追踪器在预测步骤期间基于轨迹的历史来预测人类目标的下一个人类活动。分类器基于从追踪器的输出中提取到的特征来生成临时目标分类。在预测步骤期间，追踪器(例如，使用贝叶斯递归)将不确定性值分配给临时目标分类。然后，当分类不确定性值高于阈值时，追踪器利用预测值来更新人类活动状态变量，或者当不确定性值低于阈值时，追踪器利用临时目标分类来更新人类活动状态变量。然后，追踪器基于更新后的人类活动状态变量来生成目标分类。
[0063]
通过使用追踪器来生成目标分类，与在开环配置中(在不使用追踪器来追踪人类活动的情况下和/或在不将分类器的输出反馈给追踪器的情况下)使用分类器的应用相比，一些实施例有利地提高了分类准确度。例如，当分类器产生具有高不确定性值的临时人类活动分类(例如，因为人类活动是在训练分类器期间未使用的新活动)时，追踪器替代地使用预测活动。
[0064]
在一些实施例中，其他优点包括：通过使用活动分类状态来增强定位追踪。例如，当第一人类目标正坐着并且第二人类目标在第一人类目标的位置附近步行时，可以通过第一人类目标正坐着(以及例如，第一人类目标保持坐着的概率是高的)并且第二人类目标正在步行(以及例如，第二人类目标保持步行的概率是高的)的知识来增强在人类目标路径相交时的数据关联。因此，在该示例中，例如，将第一人类目标和第二人类目标附近的、与不移动的目标对应的目标检测分配给第一人类目标的轨迹，而将第一人类目标和第二人类目标附近的、与移动目标对应的目标检测分配给第二人类目标的轨迹。
[0065]
在一个实施例中，除了其他状态变量(例如，如等式1和2中所示的状态变量)之外，追踪器还包括状态变量a0至a
n
，诸如通过下式所示：
[0066][0067]
其中a1对应于第一人类活动，a2对应于第二人类活动，并且a
n
对应于第n人类活动，其中n是大于1的整数。
[0068]
在一些实施例中，追踪器针对状态变量a0至a
n
执行由下式给出的人类活动预测步骤：
[0069][0070]
其中k表示离散时间步长，并且f是基于人类活动之间的转变概率的转变矩阵。在一些实施例中，转变概率不是线性的。在一些实施例中，每n帧执行一次预测步骤，其中n可以是例如8。
[0071]
图7示出了根据本发明的实施例的人类活动状态转变图700。如图7中所示，在该实施例中仅使用四个活动。应当理解的是，还可以使用少于四个活动，诸如三个或两个；或多于四个活动，诸如五个、八个、十个或更多个。
[0072]
作为非限制性示例，在一个实施例中，状态a1对应于挥手，状态a2对应于步行，状态a3对应于站立，并且状态a4对应于坐着。每种状态的概率可以相同或者可以不相同。例如，在一个实施例中，(例如，对于一旦人类目标已经坐着就保持坐着的)概率p
44
可以是例如0.95，(例如，对于一旦人类目标已经正在步行就保持步行的)概率p
22
可以是例如0.6，并且(例如，对于一旦人类目标已经站立就保持站立的)概率p
33
可以是例如0.6。
[0073]
在状态之间转变的概率可以是互逆的或者可以不是互逆的。例如，(例如，对于从站立转变为步行的)概率p
31
可以是例如0.1，而(例如，对于从步行转变为站立的)概率p
13
可以是例如0.3。并且(例如，对于从步行转变为坐着的)概率p
23
可以是例如0.05，而(例如，对
于从坐着转变为步行的)概率p
32
可以是例如0.05。
[0074]
在一些实施例中，相关联的活动a
i
的概率p
i
可以通过下式来计算：
[0075][0076]
其中q是状态的数量，并且a
i
可以通过下式给出：
[0077][0078]
其中w
ij
是对于从活动i转变为活动j的转变权重。换句话说，等式9可以理解为柔性最大值(softmax)运算，该柔性最大值运算对a
i
的值进行归一化以获得活动a
i
的概率值p
i
。
[0079]
图8a示出了根据本发明的实施例的用于检测、追踪和分类人类目标的活动的框图800。可以例如通过处理器104来实现块802、804、806、808、810、812以及814。
[0080]
雷达处理块802基于由毫米波雷达102接收的雷达信号来生成雷达图像。在一些实施例中，雷达图像是距离多普勒图像。在其他实施例中，雷达图像是距离横向距离图像(range cross-range image)。例如，在一些实施例中，具有两个接收天线的毫米波雷达从视场(例如从来自人类目标的反射)接收雷达信号，并且生成相应的距离多普勒映射。将二维(2d)mti滤波器应用于相应的距离多普勒映射，其结果被相干积分。在相干积分(coherent integration)之后，生成距离多普勒图像。
[0081]
目标检测器块804基于所接收的雷达图像来检测潜在目标。例如，在一些实施例中，通过目标检测器804来执行顺序统计(os)恒虚警率(cfar)(os-cfar)检测。这种cfar检测器基于例如距离多普勒图像的功率水平来生成检测图像，在该检测图像中，例如，“一”表示目标，并且“零”表示非目标。例如，在一些实施例中，cfar检测器将距离多普勒图像的功率水平与阈值进行比较，并且将高于阈值的点标记为目标，而将低于阈值的点标记为非目标。尽管目标可以由一指示并且非目标可以由零指示，但是应当理解的是，可以使用其他值来指示目标和非目标。
[0082]
在一个实施例中，os-cfar检测器使用第k个四分位数/中位数，而不使用平均ca-cfar(单元平均值)。使用第k个四分位数/中位数可以有利地对异常值较鲁棒。
[0083]
检测选通块806基于检测图像、来自追踪器808的数据以及例如等式1至6来生成目标和相关联的参数的列表。例如，在一些实施例中，使用例如具有噪声的基于密度的空间聚类(density-based spatial clustering of applications with noise,dbscan)算法对检测图像中所存在的目标进行聚类。然后，例如，使用等式1至4中的一个或多个等式对每个经聚类的目标执行参数估计。然后，检测选通块806使用估计的参数、从追踪器808接收的预测参数以及例如等式6来例如使用椭圆选通(ellipsoidal gating)来筛选有用的数据。然后，检测选通块806生成目标和相关联的估计的经筛选的参数的列表。由检测选通块806估计和筛选的参数包括例如针对相应目标的到达角度(aoa)、边界框尺寸(例如，lx和ly)、边界框尺寸的变化率(例如，vlx和vly)，等等。
[0084]
追踪器块808通过针对每个轨迹执行预测步骤和更新步骤来使用相应轨迹以追踪每个目标。例如，在预测步骤期间，追踪器808基于每个相应轨迹的相应历史(例如，使用等式1至5和等式7至8中的一个或多个等式)来(针对与每个轨迹相关联的参数)生成追踪器的
状态变量的预测。在更新步骤期间，追踪器808基于检测选通块806的输出来将检测到的目标与相应轨迹相关联。
[0085]
追踪器块808还可以基于轨迹的历史并且基于新接收的测量(例如，检测到的目标和相关联的参数)来生成和杀死(kill)目标。追踪器块808还可以执行追踪滤波。例如，在一些实施例中，使用无迹卡尔曼滤波器或粒子滤波器来实现追踪器块808，以基于轨迹的历史并且基于所接收的新测量来预测与每个目标相关联的一个或多个参数，诸如距离、角度、边界框尺寸。
[0086]
特征提取块810从追踪器块808的输出中提取对于每个目标的特征。例如，在一些实施例中，从由追踪器块808追踪的对应轨迹的历史中提取多普勒频谱图。由诸如长短期记忆(lstm)分类器的分类器块812使用多普勒频谱图来生成临时目标活动分类。
[0087]
分类选通块814从分类器812接收临时目标活动分类，从追踪器808接收与这种临时目标活动分类相关联的不确定性值，并且基于与临时目标活动分类相关联的不确定性来生成选通数据输出以指示是否使用临时目标分类。例如，在一些实施例中，使用椭圆选通来确定是否应当使用特定的临时目标分类(例如，与临时目标分类相关联的不确定性值是高于还是低于预定阈值)。例如，在一些实施例中，分类选通块814确定临时目标活动分类与(由追踪器808生成的)预测活动分类之间的第一(马氏)距离。例如，在一些实施例中，可以通过下式来在预测测量zpred与测量zmeas的新集合之间计算马氏距离md_act：
[0088][0089]
其中，是由追踪器预测的活动zpred_act与由分类器测量的活动zmeas_act之间的协方差矩阵。
[0090]
分类距离的确定还基于与临时目标活动分类相关联的不确定性值。当分类距离低于阈值时，分类选通块814生成选通数据输出，以通知追踪器808使用临时目标活动分类。当分类距离高于阈值时，分类选通块814生成选通数据输出，以通知追踪器808使用预测活动分类。
[0091]
如图8a中所示，追踪器808(例如，从分类器812或分类选通块812)接收临时目标活动分类，并且(例如，在预测步骤期间)生成与临时目标活动分类相关联的不确定性值。例如，追踪器使用来自先前时间步长的分类概率来生成与临时目标活动分类相关联的不确定性值。
[0092]
追踪器块808还从分类选通块814接收选通数据，并且基于这种选通数据来更新与人类活动相关联的状态变量。例如，在一些实施例中，当选通数据输出指示分类距离高于阈值时，追踪器块808利用由追踪器块808预测的值来更新人类活动状态变量，并且当分类距离低于阈值时，追踪器块808利用临时目标活动分类来更新人类活动状态变量。还可以基于更新后的人类活动状态变量来更新其他状态变量。然后，追踪器块808基于更新后的状态变量来生成目标活动分类和目标定位。在一些实施例中，使用argmax函数来生成由追踪器块808生成的目标活动分类。例如，具有最大概率权重的人类活动是被追踪器808选择作为目标活动的活动。
[0093]
如图8a中所示，追踪器块808和分类器块812以闭环方式操作。在一些实施例中，因为追踪器块808使用高斯状态的假设以及与其相关联的不确定性，所以分类器块812受益于
追踪器块808。因此，使用追踪器块808允许分类器块812相对于目标分类提供相关联的概率和相关联的不确定性(因为在一些实施例中，追踪器808的贝叶斯方法将不确定性测量添加到分类器812的输出中，其有助于选择下一个人类活动)。
[0094]
在一些实施例中，因为状态变量追踪目标的相关联的活动，从而增强了追踪器的预测步骤(例如，因为更多的信息可以用于预测)，所以追踪器块808受益于分类器块812。例如，当两个目标相交时，与每个目标相关联的活动可以帮助追踪器块808将正确的检测与正确的轨迹相关联。换句话说，在一些实施例中，利用追踪器块808追踪人类活动状态提高了将检测到的目标正确分配给相应轨迹的概率。
[0095]
一些实施例的优点包括通过使用由追踪器预测的目标分类而非由分类器确定的且具有高不确定性的目标分类改进对目标错误分类的响应。在一些实施例中，在不实现通常与贝叶斯深度学习相关联的复杂神经网络的情况下，追踪器有利地获得与贝叶斯深度学习类似的结果。
[0096]
图8b示出了根据本发明的实施例的用于追踪人类目标和对应活动的实施例方法850的流程图。方法850可以由毫米波雷达102和处理器104实现。
[0097]
在步骤852期间，毫米波雷达102朝向场景(例如，108)发送雷达信号(例如，106)。例如，毫米波雷达102可以发送以帧形式组织的雷达调频脉冲。在步骤854期间，毫米波雷达102接收经反射的雷达信号。
[0098]
在步骤856期间，例如由雷达处理块802基于所接收的经反射的雷达信号来生成雷达图像。在步骤858期间，例如由目标检测器块704生成检测图像(例如，包括针对检测到的目标为“1”并且否则为“0”的矩阵)。
[0099]
在步骤860期间，例如由检测选通块806对检测图像的检测到的目标进行聚类。例如，由于目标人类可以在距离和多普勒频段上展现出双扩频，因此可能的是，在检测图像中的多个检测到的目标属于单个人类目标。在步骤860期间，将具有属于单个人类目标的高概率的目标聚类在一起。
[0100]
在步骤862期间，基于雷达测量(例如，基于所接收的经反射的雷达信号和后续处理)来确定每个经聚类的目标的参数。在步骤862期间，为每个经聚类的目标确定参数，诸如r(目标距毫米波雷达传感器的距离)、θ(到达角度——目标的角度)、v
c
(目标的径向速度)、l
r
(在距离上的边界框尺寸)以及l
d
(在多普勒上的边界框尺寸)。
[0101]
在步骤864期间，追踪人类目标的追踪器(诸如，追踪器808)基于对应轨迹的历史来为被追踪的每个人类目标生成针对检测状态变量的预测。检测状态变量例如可以包括等式1和2的变量中的一个或多个变量。
[0102]
在步骤866期间，例如由检测选通块806来执行检测选通。例如，对于每个被追踪的目标，可以例如使用等式5来在所测量的参数与预测参数之间确定检测距离。当目标的测量在选通区域内(即，检测距离低于预定阈值)时，追踪器在步骤868期间利用所测量的值来更新这种目标的检测状态变量。当目标的测量在选通区域外(即，检测距离高于预定阈值)时，追踪器在步骤868期间利用预测值来更新这种目标的检测状态变量。
[0103]
在步骤870期间，例如由特征提取块810基于更新后的检测状态变量和雷达图像来生成多普勒频谱图。在步骤872期间，例如由分类器812为每个被追踪的人类目标生成临时目标活动分类。例如，分类器812可以为每个被追踪的人类目标生成包括每个可能的活动的
概率的向量。每个被追踪的目标的临时目标活动分类(活动标签)是具有对应向量的最高概率的活动。
[0104]
在步骤874期间，例如使用等式8(例如由追踪器808)为每个轨迹生成活动状态变量的预测值。在步骤876期间，例如使用贝叶斯递归，基于对应目标的对应活动状态变量的预测值来将不确定性值与每个临时目标活动分类相关联。
[0105]
在步骤878期间，例如由分类选通块814来执行分类选通。例如，在一些实施例中，对于每个被追踪的目标，可以通过计算临时目标活动分类与预测活动分类之间的马氏距离来确定分类距离。当目标的临时目标活动分类在选通区域内(即，分类距离低于预定阈值)时，追踪器在步骤880期间利用临时目标活动分类来更新这种目标的分类状态变量。当目标的临时目标活动分类在选通区域外(即，分类距离高于预定阈值)时，追踪器在步骤880期间利用预测值来更新这种目标的分类状态变量。
[0106]
在步骤882期间，基于追踪器的更新后的分类状态变量为每个目标生成最终目标分类。在步骤884期间，基于追踪器的更新后的检测状态变量为每个目标生成目标的定位。
[0107]
在一个实施例中，分类器使用与人类活动状态转变相关联的数据来改改进人类目标活动分类。利用人类活动片段(snippet)来训练分类器的第一级。利用人类活动转变片段来训练分类器的第二级。
[0108]
图9示出了根据本发明的实施例的用于对人类活动进行分类的分类器900。分类器308和812可以被实现为分类器900。分类器900利用活动模型来实现，该活动模型包括：第一级，该第一级包括双向lstm网络902、全连接(fc)层904和柔性最大值层906；以及第二级，该第二级包括fc层908。
[0109]
在正常操作期间，分类器900(例如，从从追踪器304或808提取的特征)接收与n个(连续的)帧对应的n个频谱图x1至x
n
作为输入。在一些实施例中，n是高于1的整数，诸如4、8、32或更高。
[0110]
双向lstm网络902基于相应输入频谱图x1至x
n
来生成人类目标活动向量，这些输入频谱图在由全连接层904和柔性最大值层906处理之后产生了输出活动概率y1至y
n
。实现来自公式8的转变矩阵f的全连接层908接收输出活动概率y1至y
n
，并且生成对应的最终活动概率至向量(在一些实施例中，每第n帧产生该向量)是包括所考虑的人类活动中的每种人类活动的概率的向量。向量的具有较高概率的人类活动对应于图3的“目标分类”，并且对应于图8a的“临时目标活动分类”。
[0111]
双向lstm网络902、全连接层904和908、以及柔性最大值层906可以以本领域中已知的任何方式实现。
[0112]
在一些实施例中，在两个步骤中训练分类器900。第一步骤训练分类器900的第一级，而第二步骤训练分类器900的第二级。
[0113]
在训练分类器900的第一步骤期间，将与人类活动相关联的第一频谱图片段被提供作为输入x1至x
n
，其中第一频谱图片段是不包括活动之间的转变的经截短的多普勒频谱图。(例如，如关于图10a所描述的)在监测输出y1至y
n
的同时，训练双向lstm网络902以及层904和906。
[0114]
在训练分类器900的第一步骤期间训练了分类器900的第一级之后，训练分类器
900的第二级。在训练分类器900的第二步骤期间，与人类活动转变相关联的第二频谱图片段被提供作为输入x1至x
n
。(例如，如关于图10a所描述的)在监测输出至的同时，训练全连接层908。在训练分类器900的第二步骤期间并未修改双向lstm网络902以及层904和906。
[0115]
图10a示出了根据本发明的实施例的、人类目标的人类活动和活动转变的多普勒频谱图1000。如图10a中所示，人类目标可以在一段时间期间在活动之间进行转变。在训练分类器900的第一步骤期间，第一频谱图片段可以包括与图10a中所示的活动片段类似的片段(例如，步行、站立、坐着以及挥手)。在训练分类器900的第二步骤期间，第二频谱图片段可以包括与图10a中所示的转变片段类似的片段(例如，从步行到站立的转变、从站立到坐着的转变、以及从坐着到挥手的转变)。
[0116]
图10b分别图示了示出根据本发明的实施例的实际活动分类结果、分类器812(例如，900)的输出以及追踪器808的输出的图1020、1030和1040。图10b的图1020、1030和1040对应于图10a的多普勒频谱图1000。如由图10b所示，追踪器808的输出(曲线1040)比分类器812的输出(曲线1030)更接近于实际活动分类结果(曲线1020)。换句话说，与在开环中使用分类器812相比，图10b示出了在使用追踪器808来对人类活动进行分类时的改进的性能。
[0117]
图10c和图10d分别示出了根据本发明的实施例的、用于分类器812和追踪器808的混淆矩阵。图10c和图10d的混淆矩阵对应于图10b的图1020、1030和1040并且对应于图10a的多普勒频谱图1000。如图10c和图10d中所示，在一个实施例中，与单独的分类器812的准确度相比，该分类器812显示了87.4％的总实际正确预测，追踪器808以94.1％的总实际正确预测显示了提高的准确度。
[0118]
通过将活动转变包括在分类器的训练中，一些实施例有利地最小化或消除了由活动之间的转变引起的错误分类。
[0119]
图11图示了示出用于基于机器语言的特征提取和标识的机器学习流水线的框图1100，该机器学习流水线可以用于训练分类器900以基于人类活动来对人类目标进行分类。图11的顶部部分1100致力于处理用于配置分类器900的第一部分和第二部分的训练特征(例如，多普勒频谱图片段)。底部部分1120致力于使用训练后的分类器900(例如，以如顶部部分1100中所示的方式被训练)来处理新测量。
[0120]
如图11的顶部部分1100中所示，将训练数据1102变换为特征向量1110和对应的标签1112。训练数据1102表示原始数据(例如，回波)。特征向量1110表示代表训练数据1102的、所生成的向量的集合。标签1112表示与对应的训练数据1102和特征向量1110相关联的用户元数据。例如，在训练分类器900的第一步骤期间，训练数据1102包括与人类活动和对应的标签(例如，步行、站立、坐着、挥手等)相关联的第一频谱图片段。在训练分类器900的第二步骤期间，训练数据1102包括与人类活动转变以及人类活动和对应的标签(例如，从步行到站立的转变、从站立到坐着的转变、从坐着到挥手的转变，等等)相关联的第二频谱图片段。
[0121]
如所示的，使用图像形成算法将训练数据1102变换为特征向量1110。数据准备块1104表示原始传感器数据的初始格式化(initial formatting)，并且数据注释块1108表示来自训练数据1102的状态标识。
[0122]
在训练期间，使用例如毫米波雷达在受控环境中拍摄一个或多个雷达图像，该受
控环境包括一个或多个静态目标和移动目标(例如，人类、移动的机械、家具以及其他移动的设备)。在一些情况下，记录多个雷达图像以提高标识的准确度。机器学习算法1114评估预测模型1130标识特征向量的能力，并且迭代地更新训练数据1102以提高算法的分类准确度。可以通过计算交叉熵(cross-entropy)性能来确定机器学习算法的训练性能。在一些实施例中，机器学习算法1114为了至少90％的分类准确度而迭代地调整图像形成参数。备选地，可以使用其他分类准确度。
[0123]
机器学习算法1114可以使用本领域中已知的各种机器学习算法来实现。例如，可以使用随机森林算法或神经网络算法(诸如resnet-18或本领域中已知的其他神经网络算法)来对特征向量1110进行分类和分析。在特征向量1110的迭代优化期间，可以更新图像形成1106的多个参数。
[0124]
一旦已经使用参考训练数据1102训练了分类器，就可以在正常操作期间将参考签名用于进行分类。训练后的分类器900在底部部分1120中表示为预测模型1130。在正常操作期间，接收新目标数据1122。数据准备块1124(例如，对应于块802、804、806以及808)准备用于图像形成的新目标数据1122，并且图像形成块1126(例如，对应于块810)形成新提取的特征向量1128。预测模型1130(例如，分类器900)基于所提取的特征向量1128来生成预测标签(例如，活动分类)。
[0125]
在这里概述了本发明的示例性实施例。还可以根据本文中所提交的说明书和权利要求的全部内容来理解其他实施例。
[0126]
示例1：一种用于使用毫米波雷达来追踪目标的方法，该方法包括：使用毫米波雷达来接收雷达信号；基于所接收的雷达信号来生成距离多普勒映射；基于距离多普勒映射来检测目标；使用轨迹来追踪目标；基于轨迹来生成预测活动标签，其中预测活动标签指示目标的实际活动；基于轨迹来生成多普勒频谱图；基于多普勒频谱图来生成临时活动标签；将不确定性值分配给临时活动标签，其中不确定性值指示临时活动标签是目标的实际活动的置信水平；以及基于不确定性值来生成最终活动标签。
[0127]
示例2：根据示例1的方法，其中生成最终活动标签包括：当不确定性值高于预定阈值时，将预测活动标签用作最终活动标签，并且当不确定性值低于预定阈值时，将临时活动标签用作最终活动标签。
[0128]
示例3：根据示例1或2中的一个示例的方法，其中生成最终活动标签包括：使用椭圆选通来确定不确定性值是高于预定阈值还是低于预定阈值。
[0129]
示例4：根据示例1至3中的一个示例的方法，该方法还包括：使用活动模型来生成临时活动标签，其中活动模型包括第一级和第二级，该第一级包括长短期记忆(lstm)网络，并且该第二级包括全连接层，其中第二级具有耦合至第一级的输出端的输入端。
[0130]
示例5：根据示例1至4中的一个示例的方法，该方法还包括：利用经截短的目标活动的多普勒频谱图片段来训练第一级。
[0131]
示例6：根据示例1至5中的一个示例的方法，该方法还包括：利用目标活动之间的转变的多普勒频谱图片段来训练第二级。
[0132]
示例7：根据示例1至6中的一个示例的方法，该方法还包括：利用经截短的目标活动的多普勒频谱图片段来训练第一级；以及在训练第一级之后，利用目标活动之间的转变的多普勒频谱图片段来训练第二级。
[0133]
示例8：根据示例1至7中的一个示例的方法，其中追踪目标包括：使用无迹卡尔曼滤波器来追踪目标。
[0134]
示例9：根据示例1至8中的一个示例的方法，其中目标是人类目标。
[0135]
示例10：根据示例1至9中的一个示例的方法，其中生成临时活动标签包括：使用长短期记忆(lstm)分类器。
[0136]
示例11：根据示例1至10中的一个示例的方法，其中基于轨迹来生成预测活动标签包括：基于与对应的活动相关联的状态变量，生成预测活动标签。
[0137]
示例12：根据示例1至11中的一个示例的方法，该方法还包括：基于与对应的活动相关联的状态变量，确定目标的位置。
[0138]
示例13：一种毫米波雷达系统，该毫米波雷达系统包括毫米波雷达以及处理器，该毫米波雷达被配置为发送和接收雷达信号，该处理器包括：雷达处理块，该雷达处理块被配置为基于由毫米波雷达接收的雷达信号来生成距离多普勒映射；目标检测器块，该目标检测器块被配置为基于距离多普勒映射来检测目标；追踪器，该追踪器被配置为：使用轨迹来追踪目标，并且基于轨迹来生成预测活动标签，其中预测活动标签指示目标的实际活动；特征提取块，该特征提取块被配置为基于轨迹来生成多普勒频谱图；分类器，该分类器被配置为基于多普勒频谱图来生成临时活动标签；以及分类选通块，该分类选通块被配置为：接收与临时活动标签相关联的不确定性值，并且基于不确定性值、预测活动标签和临时活动分类来产生选通数据，其中不确定性值指示临时活动标签是目标的实际活动的置信水平，并且其中追踪器被配置为基于选通数据来生成最终活动标签。
[0139]
示例14：根据示例13的系统，其中追踪器被配置为：当不确定性值高于预定阈值时，将预测活动标签用作最终活动标签，并且当不确定性值低于预定阈值时，将临时活动标签用作最终活动标签。
[0140]
示例15：根据示例13或14中的一个示例的系统，其中分类器包括第一级和第二级，该第一级包括长短期记忆(lstm)网络，并且该第二级包括全连接层，其中第二级具有耦合至第一级的输出端的输入端。
[0141]
示例16：根据示例13至15中的一个示例的系统，其中第一级进一步包括：第二全连接层，该第二全连接层具有耦合至lstm网络的输入端；以及柔性最大值层，该柔性最大值层具有耦合至第二全连接层的输出端的输入端、和耦合至第一级的输出端的输出端。
[0142]
示例17：根据示例13至16中的一个示例的系统，其中雷达信号包括线性调频脉冲。
[0143]
示例18：一种用于使用毫米波雷达来追踪目标的方法，该方法包括：使用毫米波雷达来接收雷达信号；基于所接收的雷达信号来生成距离多普勒映射；基于距离多普勒映射来检测目标；使用追踪器来使用轨迹追踪目标；使用分类器来基于追踪器的输出生成临时活动标签；以及使用追踪器来基于分类器的输出生成最终活动标签，其中追踪器使用状态变量来追踪目标的活动标签。
[0144]
示例19：根据示例18的方法，其中当与临时活动标签相关联的不确定性值高于预定阈值时，追踪器将预测活动标签用作最终活动标签，并且当不确定性值低于预定阈值时，追踪器将临时活动标签用作最终活动标签，其中追踪器基于状态变量来生成预测活动标签。
[0145]
示例20：根据示例18或19中的一个示例的方法，其中，追踪器包括无迹卡尔曼滤波
器。
[0146]
虽然已经参考说明性实施例描述了本发明，但本说明书并不旨在以限制性意义被解释。参考说明书，对于本领域的技术人员而言，说明性实施例以及本发明的其他实施例的各种修改和组合将是显而易见的。因此，所附权利要求书旨在涵盖任何这样的修改或实施例。