使用毫米波雷达进行人类检测和识别的系统和方法与流程
本发明总体涉及使用毫米波雷达在工厂车间中进行人类检测和识别的系统和方法。
背景技术：
由于低成本半导体技术例如硅锗(sige)和精细几何互补金属氧化物半导体(cmos)工艺的快速发展，毫米波频率体制下的应用在过去几年获得了极大的关注。高速双极性晶体管和金属氧化物半导体(mos)晶体管的可用性导致对用于24ghz、60ghz、77ghz和80ghz以及超过100ghz的毫米波应用的集成电路的需求不断增长。这样的应用包括例如机动车雷达系统和数千兆通信系统。
在一些雷达系统中，通过发送调频信号、接收调频信号的反射(也称为回波)来确定雷达与目标之间的距离，并且基于调频信号的发送与接收之间的时间延迟和/或频率差来确定距离。因此，一些雷达系统包括用于发射射频(rf)信号的发射天线、用于接收rf的接收天线以及用于产生发射信号和接收rf信号的相关rf电路。在一些情况下，可以使用多个天线来利用相控阵技术实现定向波束。具有多个芯片组的多输入多输出(mimo)配置也可以用于执行相干和非相干信号处理。
技术实现要素：
根据实施方式，一种用于人类检测的方法包括：使用毫米波雷达朝向场景中的对象发送/发射(transmit)多个啁啾以产生回波信号；使用毫米波雷达接收第一回波信号以产生第一组数据；基于第一组数据识别第一初始目标；基于第一组数据选择第一角度；基于第一初始目标使用第一角度对第一组数据执行分数阶傅里叶变换(frft)；通过将第一组数据的frft的峰值与第一阈值进行比较来识别第一目标；在接收到第一回波信号后，使用毫米波雷达接收第二回波信号以产生第二组数据；基于第二组数据识别第二初始目标；基于第二组数据选择第二角度，其中第二角度与第一角度不同；基于第二初始目标使用第二角度对第二组数据执行frft；通过将第二组数据的frft的峰值与第一阈值进行比较来识别第二目标；基于所识别的第一目标和第二目标生成一组目标跟踪；将该组目标跟踪中的每个目标跟踪与一组参考跟踪特征进行比较，以生成相应的目标跟踪比较结果；并且基于相应的目标跟踪比较结果将目标跟踪与人类跟踪相关联。
根据实施方式，一种系统包括：处理器，其被配置成耦接至毫米波雷达传感器电路，该处理器被配置成：从毫米波雷达传感器电路接收第一组数据和第二组数据；基于第一组数据识别第一初始目标；基于第一组数据选择第一角度；基于第一初始目标使用第一角度对第一组数据执行frft；通过将第一组数据的frft的峰值与第一阈值进行比较来识别第一目标；基于第二组数据选择第二角度，其中，第二角度与第一角度不同；基于第二组数据识别第二初始目标；基于第二初始目标使用第二角度对第二组数据执行frft；通过将第二组数据的frft的峰值与第一阈值进行比较来识别第二目标；基于所识别的第一目标和第二目标跟踪识别的目标；以及将所跟踪的识别目标与参考跟踪特征进行比较以检测人类。
根据实施方式，一种毫米波雷达包括：毫米波雷达传感器电路，其被配置成：朝向场景中的对象连续地发送多个啁啾以产生回波信号，使用毫米波雷达接收第一回波信号以产生第一组数据，并且在接收到第一回波信号之后接收第二回波信号以产生第二组数据；以及处理器，其被配置成：基于第一组数据选择第一角度，使用第一角度对第一组数据执行frft，通过将第一组数据的frft的峰值与第一阈值进行比较来识别第一目标，基于第二组数据选择第二角度，其中第二角度与第一角度不同，使用第二角度对第二组数据执行frft，通过将第二组数据的frft的峰值与第一阈值进行比较来识别第二目标，基于所识别的第一目标和第二目标跟踪识别的目标，并且将所跟踪的识别目标与参考跟踪特征进行比较以检测人类。
附图说明
为了更完整地理解本发明及其优点，现在参照下面结合附图的描述，附图中：
图1示出了包括与移动部件共存的人的汽车装配厂的工厂车间；
图2示出了包括与移动部件共存的人的电梯井中的电梯；
图3示出了根据本发明的实施方式的工业环境中的雷达系统；
图4示出了根据本发明的实施方式的在工业环境中检测和监视人类的实施方法的流程图；
图5a示出了根据本发明的实施方式的雷达传感器阵列的俯视图；
图5b示出了根据本发明的实施方式的图5a的雷达传感器阵列的正视图；
图6示出了根据本发明的另一实施方式的雷达传感器阵列的俯视图；
图7a至图7d示出了根据本发明的实施方式的由图3的毫米波雷达捕获和/或处理的回波信号的图形表示；
图7e示出了毫米波雷达传感器电路的tx元件和rx元件的可能布置；
图7f示出了根据本发明的实施方式的波束成形的图形表示；
图8示出了根据本发明的实施方式的在工业环境中检测和监视人类的实施方法的流程图；以及
图9示出了示出用于特征提取和标识的机器学习流水线的框图。
除非另有说明，否则不同附图中的对应数字和符号通常指代对应的部分。绘制附图以清楚地说明优选实施方式的相关方面，并且不一定按比例绘制附图。为了更清楚地说明特定实施方式，指示相同结构、材料或处理步骤的变化的字母可以遵循附图标记。
具体实施方式
下面详细讨论目前优选的实施方式的制作和使用。然而，应该理解的是，本发明提供了可以在各种具体场合中实施的许多可应用的发明概念。所讨论的具体实施方式仅说明制造和使用本发明的具体方式，并不限制本发明的范围。
下面的描述说明了各种具体细节，以根据本说明书来提供对若干示例实施方式的深入理解。可以在没有具体细节中的一个或更多个的情况下获得实施方式或者利用其他方法、组件、材料等获得实施方式。在其他情况下，未详细示出或描述已知的结构、材料或操作，以免模糊实施方式的不同方面。在本说明书中对“实施方式”的引用指示关于该实施方式描述的特定配置、结构或特征被包括在至少一个实施方式中。因此，可能出现在本说明书的不同点处的例如“在一个实施方式中”的短语不一定准确指代相同的实施方式。此外，在一个或更多个实施方式中，可以以任何适当的方式组合特定的形成、结构或特征。
将关于具体场合中的实施方式、在工业环境中使用毫米波雷达系统进行人类检测和识别的系统和方法来描述本发明，该工业环境包括具有移动部件的机械。可以在不同的环境中使用本发明的实施方式。一些实施方式可用于检测并识别除人类之外的对象，例如动物。
在一些环境中，具有多个移动部件的机械与人共存。例如，图1示出了汽车装配厂的工厂车间，其中包括与移动部件共存的员工。图2示出了包括与移动部件共存的安装者/维修者的电梯井中的电梯。
在与机械交互时人的受伤率可能很高。因此，对例如工厂环境中的事件进行预测、预防、警告和/或反应以减小或消除对人造成伤害的风险是有益的。本发明的实施方式使用基于雷达的解决方案在例如工厂车间的各种环境中检测人类。一些实施方式对任何给定时间处的给定环境中的多个人进行计数并跟踪每个人。例如，人类识别和跟踪信息可以用于警告危险情况，例如当人太靠近移动部件的情况。
一些实施方式执行活动辨识例如检测人是否躺在地板上，然后基于检测到的活动来采取行动。在一些实施方式中，一旦发生触发事件(例如，人躺在地板上)，则采取例如警报当局、启动急救程序和/或停止移动部件中的一个或更多个移动部件的行动。一些实施方式执行人类的识别用于例如跟踪疏散程序。
工业环境例如图1中所示的工厂车间，可以在不同时间处包括各种类型的对象。例如，工厂车间可以包括静态对象(例如，家具)、移动机械(例如，机器臂)和其他移动设备(例如，风扇)。移动设备例如风扇显示出具有中等到低强度的周期性移动。机械通常显示出高强度的周期性移动，尽管相对于移动设备例如风扇机械通常显示出较长周期的周期性移动。
工业环境中存在的人可以例如正在移动(例如，行走)、站立(例如，很少或没有移动)或躺在地板上(例如，由于事故)。在与机械的移动相比时，人通常以非周期性的方式移动并且强度较低。
本发明的实施方式通过使用毫米波雷达与信号处理技术一起在杂波(例如，移动机械、其他移动设备和静态对象)存在时对人(例如，移动、站立、躺下等)进行检测。例如，图3示出了根据本发明的实施方式的工业环境中的雷达系统300。雷达系统300包括毫米波雷达302和处理器304。
在正常操作期间，毫米波雷达302将多个辐射脉冲306例如啁啾发射至场景308。发射的辐射脉冲306在场景308的对象中被反射。反射的辐射脉冲(图3中未示出)也被称为回波信号，其由毫米波雷达302进行检测并由处理器304进行处理用于例如识别人类。
场景308中的对象可以包括静态的人例如躺着的人310，显示低运动和不频繁运动的人例如站立的人312以及移动的人例如跑步或行走的人314。场景308中的对象可以还包括静态对象例如家具316，周期性移动的设备例如风扇318以及周期性移动的机械例如机器臂320。场景308中还可以存在其他对象。
处理器304分析回波数据以识别目标(例如，人)。处理器304还可以使用回波数据来跟踪人，识别并警告危险情况并启动急救程序，例如疏散、联系当局(例如，消防部门或护理人员)、停止机械、照亮紧急出口等。
处理器304可以被实现为通用处理器、控制器或数字信号处理器(dsp)。在一些实施方式中，处理器304可以被实现为定制的专用集成电路(asic)。在一些实施方式中，处理器304包括多个处理器，每个处理器具有一个或更多个处理核。在其他实施方式中，处理器304包括具有一个或更多个处理核的单个处理器。
毫米波雷达302包括毫米波雷达传感器电路和(多个)天线。可以使用二维毫米波相位阵列雷达来实现毫米波雷达传感器电路。毫米波相位阵列雷达发射和接收20ghz至122ghz范围内的信号。可替选地，也可以使用该范围之外的频率。一些实施方式使用单个毫米波雷达传感器电路。其他实施方式使用多个毫米波雷达传感器电路，其数据由处理器304收集并处理，处理器304可以被实现为集中处理设备。
在一些实施方式中，毫米波雷达302包括均匀线性阵列天线。以本领域已知的方式使用带通滤波器(bpf)、低通滤波器(lpf)、混频器、低噪声放大器(lna)和中频(if)放大器对所接收的回波信号进行过滤和放大。然后使用一个或更多个模数转换器(adc)将回波信号数字化以进行进一步处理。其他实现也是可能的。
图4示出了根据本发明实施方式的在工业环境中检测和监视人的实施方法400的流程图。例如，方法400可以由处理器304执行。
在步骤401期间，通过雷达系统例如毫米波雷达302，辐射脉冲被发射、在对象中被反射并被接收。步骤401包括步骤402和步骤404。在步骤402期间，朝向场景例如场景308发送一系列辐射脉冲例如啁啾。一些实施方式可以在500ms时段期间发送例如128至256个啁啾。经过不同时段(例如，1秒或250毫秒)可以发送不同数量的啁啾(例如，16至32个啁啾)。在一些实施方式中，经过预定义时段发送的啁啾的数量是2的幂。
在一些实施方式中，从单个发射器的单个天线发射辐射脉冲。在其他实施方式中，从单个发射器的多个天线发射辐射脉冲。在其他实施方式中，从多个发射器的一个或更多个天线发射辐射脉冲，每个发射器朝向场景的不同视野发射。
在辐射脉冲在来自场景的对象中被反射之后，在步骤404中接收回波信号。在一些实施方式中，在单个接收器的单个天线中接收回波信号。在其他实施方式中，由单个接收器的多个天线接收回波信号。在其他实施方式中，在多个接收器的一个或更多个天线中接收回波信号，每个接收器捕获场景的不同视野。
在步骤405期间分析(处理)来自回波信号的数据。步骤405包括以下步骤：初始目标识别(步骤406)；数据过滤(步骤408)；杂波去除(步骤410)和活动确定(步骤412)。在一些实施方式中，步骤408和步骤410可以组合成单个步骤。
在步骤406期间，执行初始目标识别。例如，可以使用范围快速傅里叶变换(fft)来执行目标识别。通过分析所接收的回波信号的相位信息并将该信息与阈值进行比较来识别移动目标以及静态目标。可以选择在该步骤中应用的阈值以避免排除期望的目标。选择许可阈值可以导致高概率的识别期望目标(例如，人)。许可阈值还可以导致识别为某些杂波的目标(例如，移动机械、家具和其他移动设备)。
在步骤408期间，从正在分析的数据中去除数据异常值。可以使用统计方法例如通过使用带通滤波(例如，利用已知的人类活动多普勒极限来设计)来识别这样的数据异常值。可以使用其他异常值去除技术，例如多普勒间歇性脉冲串的中值滤波。
步骤408是可选的。一些实施方式可以执行步骤408连同另一步骤。例如，一些实施方式可以在执行杂波去除的同时执行数据过滤。其他实施方式可以在杂波去除之前和杂波去除期间执行数据过滤。其他实现也是可能的。
在步骤410期间，从正在分析的数据中识别杂波并去除杂波。例如，可以通过使用分数阶傅里叶变换(frft)技术来识别杂波。例如，人可以与特定特征例如特定时间-频率特征相关联。如果步骤406中识别的目标表现出人的特征，则将该目标识别为人。否则，如果步骤406中识别的目标没有表现出人的特征，或者表现出已知的非人对象的特征，则在考虑中去除这样的目标。
在步骤410中从杂波中识别人类目标之后，在步骤412中执行人的活动确定。例如，可以使用短时分数阶傅里叶变换(stfrft)来执行微多普勒(m-d)特征提取以确定所识别的人正在移动、站立还是躺下。
在步骤405期间分析来自回波信号的数据并且识别人之后，在步骤416期间报告结果。报告结果可以包括：识别并报告场景中的人的数量；他们各自的状态(例如，站立、行走、躺下等)；是否存在危险情况(例如，人太靠近危险位置)等。如果识别到危险情况(例如，人躺下，人太靠近危险位置等)，可以触发响应，例如警告个人(例如，工厂车间管理员)和/或该情况的急救响应团队。一些实施方式可以停止一个或更多个机器或采取额外的行动来解决危险情况。
一些实施方式可以连续地执行步骤402、404、406、408、410和412。例如，可以连续地执行辐射脉冲的发射(步骤402)和回波信号的接收(步骤404)。可以通过分析从接收的回波信号中提取的数据的移动窗口来执行步骤406、408、410和412。
包括发射辐射脉冲(步骤402)和接收回波信号(步骤404)的步骤401可以用毫米波雷达传感器电路阵列来实现。例如，图5a示出了根据本发明的实施方式的雷达传感器阵列500的俯视图。雷达传感器阵列500包括被分布成捕获场景502的多个毫米波雷达传感器电路504。毫米波雷达传感器电路504中的每一个具有视场506。
在正常操作期间，毫米波雷达传感器电路504中的每一个发射辐射脉冲(例如，啁啾)并在辐射脉冲从场景502中的对象反射之后接收相关联的回波信号。由毫米波雷达传感器电路504中的每一个生成的数据与它们在场景502中的相应位置相关。可以将来自毫米波雷达传感器电路504中的每一个的数据发送至集中处理器(未示出)。集中处理器可以将局部坐标变换成整体坐标。例如，可以通过执行下面的householder矩阵乘法将局部坐标变换成全局坐标：
rx·ry(1)
其中
其中x0和y0分别是沿x方向和y方向的平移分量，θx和θy分别是围绕x轴和y轴的旋度。
如图5a所示，一些毫米波雷达传感器电路504具有交叠的视场506区域。可以在集中处理器中处理交叠区域，并且可以通过例如使用已知的图像拼接技术将局部图像拼接在一起。例如，对于交叠区，首先估计交叠的数，并且然后将交叠的数用于对这样的区上的数据求平均。
使用多个雷达传感器电路的优点包括：可能用第一雷达传感器的视场不能观察到的对象(例如，因为对象妨碍视线)可以由具有不同的视场的第二雷达传感器捕获。一些实施方式可以选择雷达传感器电路的位置以优化雷达传感器阵列的视场。
在一些实施方式中，毫米波雷达传感器电路504可以位于场景的天花板处，并且由毫米波雷达传感器电路504捕获的位置信息可以与距离、方位角和仰角分量(elevationcomponent)相关联。例如，图5b示出了根据本发明的实施方式的雷达传感器阵列500的正视图。图5b示出了天花板508和地板510。如图5b所示，毫米波雷达传感器电路504位于天花板508中。目标对象512位于场景502中。例如，毫米波雷达传感器电路504可以通过使用仰角分量518、方位角分量516和距离分量514来报告目标对象512的位置信息。
一些实施方式可以具有位于三维(3d)空间的不同位置中和/或具有不同视角的毫米波雷达传感器电路504。作为另一个非限制示例，图6示出了根据本发明的另一实施方式的雷达传感器阵列600的俯视图。雷达传感器阵列600以与雷达传感器阵列500类似的方式操作。然而，雷达传感器阵列600包括毫米波雷达传感器电路604，每个毫米波雷达传感器电路都具有相应的视场606，其中视场606与视场506不同。
雷达回波具有各种相关特性，例如信号功率、频率、到达角、时域特性和噪声。回波信号特性中的一个或更多个特性可能受到场景中的对象(例如，场景中的对象的大小、位置和材料)以及这样的对象的行为(例如，场景中的对象的移动方向和速度)的影响。在一些实施方式中，m个啁啾(例如，相同的啁啾声)以已知间隔(例如，相同的间隔)被隔开发送，由天线阵列对其进行接收，由一个或更多个adc(例如，每个天线一个adc)对其进行采样，并且将其存储在数据结构中。
图7a示出了根据本发明的实施方式的由毫米波雷达302捕获的回波信号700的图形表示。如图所示，捕获到的回波信号700包括与由n个天线信道(例如，n个天线的阵列)捕获的m个啁啾有关的信息，其中每个啁啾被采样l次(每个啁啾具有l个样本)。在一些实施方式中，每个样本对应于跨越啁啾的整个带宽的压控振荡器(vco)中的离散步骤。如图7a所示，捕获到的回波信号700被示为3d数据立方体，其中数据立方体的轴中的每一个分别表示脉冲、相位中心和范围(range)。数据立方体的每个方形(即，单元)表示复杂的同相和正交分量(i&q)样本。
可以以不同方式分析捕获到的回波信号700。例如，捕获到的回波信号700可以沿着二维(2d)切片702(也在图7b中示出)并且沿着2d切片704(也在图7d中示出)被分析。还可以沿着不同的2d切片以及通过不同方向的矢量分析数据。应当理解的是，在该示例中存在n个2d切片702和l个2d切片704。还应理解的是，尽管可以关于特定数据切片(例如，2d切片702)描述特定处理步骤，但是相同的处理步骤可以应用于其他类似数据切片中的一个或更多个，包括所有其他类似切片(例如，所有n个2d切片702)。
如图7a所示，沿z轴应用的操作与单个啁啾有关。沿z轴的操作被称为在快速时间中执行的操作。沿x轴执行的操作与多个啁啾的相同样本位置有关。沿x轴的操作被称为在慢时间内执行的操作(因为它们与多个啁啾有关)。
例如，可以通过分析2d切片702中的一个或更多个来执行对象检测。例如，如图7b所示，m个啁啾中的每一个在2d切片702的列(例如，列j)中被捕获，其中每一行表示啁啾的样本位置。2d切片702的每行可以被称为范围区间(rangebin)。例如，如果发送16个啁啾，并且用512次采样捕获每个啁啾，则m等于16并且l等于512。
如果对象在与2d切片702相关联的视场中没有正在移动，则特定行(例如，行i)中的单元的相位和幅度信息将是相同的(因为每个发送的啁啾是相同的)。因此，可以例如基于行i的一个或更多个单元的幅度峰值来获得关于范围的信息。换句话说，沿z轴的每个范围区间对应固定距离/范围，(多个)特定单元的目标检测表示具有该范围的目标。
如果对象正在移动，则跨越相应行i的每个单元的相位信息可以根据移动方向、速度等而变化。在一些实施方式中，可以基于在慢时间中捕获的相位差来识别移动对象。例如，可以过滤(例如，使用线性滤波器)沿着范围区间的数据(慢时间数据)并将该数据与阈值进行比较。当数据显示高于阈值的峰值时，可以检测到移动目标。
为了提取速度信息，可以将使用傅里叶变换(例如fft)的多普勒分析应用于2d切片702的每一行以生成图7c的矩阵706。如图7c所示，矩阵706具有k个频率区间(bin)。如果特定行的样本大于阈值，则检测到目标并且相应的频率区间与检测到的目标的速度相关。在与相对于数据立方体(即相对于相位中心)的切片702相对应的位置检测目标。可以使用frft而不是fft来执行类似的分析。
为了确定到达角，可以使用如图7d所示的2d切片704。可以通过接收器波束成形来实现对所检测的目标的到达角的估计。例如，可以沿方位角并且沿仰角执行波束成形。例如，在一些实施方式中，通过基于由不同接收器或其组合接收的多个信号对多个基带信号进行后处理，在发射器处形成波束。通过后处理接收的基带信号来实现波束成形可以允许实现低复杂度的发射器。
在一个实施方式中，使用毫米波传感器系统，其中以线性阵列布置nt＝2个发射(tx)元件以及nr＝2个接收(rx)元件。因此，在用于方位角分布的线性阵列配置中存在从tx阵列到rx阵列的nt×nr＝4个不同的传播信道。如果可以在rx阵列处识别接收的信号的发射源(tx信道)，则可以用nt+nr个天线元件合成nt×nr个元件的虚拟相控阵列。在各种实施方式中，时分复用mimo阵列为能够进行近场成像的完全填充的天线孔径提供低成本解决方案。在一些实施方式中，可以使用tx和rx元件的对称线性布置，其中tx阵列与rx阵列之间的一些垂直偏移用于减少耦合。一些实施方式可以包括多于2个的tx元件和/或多于2个的rx元件。
在一些实施方式中，毫米波传感器系统的tx元件和rx元件可以布置成l形，如图7e所示。例如，对于图5b，可以利用图7e中示出的布置将tx元件和rx元件布置在毫米波雷达传感器电路504中，其中tx元件在朝向地板510的方向上照射并且rx元件具有在朝向地板510的方向上的视场。其他布置是可能的。
图7f示出了用于说明实施方式算法的坐标轴。如图所示，图7f示出了目标780、发射(tx)天线元件782和接收(rx)天线元件784的位置。目标780的位置r可以表示为：
r＝[rcos(θ)sin(φ)；rcos(θ)cos(φ)；rsin(θ)]
其中r是从原点到目标780的距离。目标780的方向向量u可以表示为
u＝[cos(θ)sin(φ)；cos(θ)cos(φ)；sin(θ)]。
在空间中将tx天线元件的3d位置坐标表示为
发射导向矢量可以写为：
并且接收导向矢量可以表示为：
其中λ是发射信号的波长。可以导出联合tx和rx导向矢量a(θ,φ)作为发送和接收导向矢量的克罗内克(kronecker)积(假设i＝j＝1)：
根据联合导向矢量，可以计算下面的波束空间频谱，根据最小方差无失真响应(mvdr)算法可以从中估计角度θ和φ：
在上面的表达式中，将c＝e{x(r,d)x(r,d)h}计算为协方差矩阵，其中e{.}是期望算子。可以将上述协方差矩阵估计为样本矩阵指示符：
其中xi(r，d)表示多普勒数据(r，d)的测量范围。
在本发明的实施方式中，在检测识别的目标之前通过跟踪在工厂环境中检测人。对雷达的回波执行范围fft以识别初始静态目标和移动目标。以最佳角度α执行frft以改善信号杂波比(scr)。对识别的目标进行聚类及跟踪。将跟踪的聚类与参考特征进行比较以进一步改善scr。基于跟踪的聚类来检测人。使用短时分数阶傅里叶变换(stfrft)和微多普勒(m-d)提取和检测来执行对检测到的人的活动确定。通过周期性地更新角度α来进一步改善信号杂波比(scr)。
图8示出了根据本发明的实施方式的在工业环境中检测和监视人的实施方法800的流程图。方法800是方法400的一部分的可能实现。方法800可以例如由处理器304执行。
在正常操作期间，如关于图4的步骤401所描述，接收雷达回波信号。雷达回波信号可以包括例如使用雷达传感器阵列的天线捕获的具有8到16个啁啾的数据帧，如关于图7a所描述的。一些实施方式可以使用不同数量的捕获啁啾(例如，32、64等)。在一些实施方式中，啁啾的数量可以是2的幂。
可以使用2×2的雷达传感器阵列来捕获雷达回波信号。具有不同大小的雷达传感器(例如3×3、3×2、4×2等)也是可能的。一些实施方式可以具有单个雷达传感器而不是雷达传感器阵列。
数据帧可以由adc(未示出)生成。adc(未示出)可以生成例如每个啁啾512个样本。每个啁啾的不同数量的样本例如128或256也是可能的。
在接收到回波信号之后，执行初始目标识别步骤(步骤406)。步骤406包括执行范围fft(步骤801)，执行范围fft识别初始移动目标(步骤802)和初始静态目标(步骤804)。例如，可以按照关于图7a和图7c所描述的执行步骤802。例如，可以按照关于图7a和图7b所描述的执行步骤804。在步骤801期间，利用其对应的范围区间来识别潜在目标(静态或移动)。在一些实施方式中，还在步骤406期间执行过滤步骤以去除异常值目标。
选择用于确定移动目标识别和静态目标识别的阈值以允许检测所有人类目标，即使某些杂波也可能被检测为目标。执行步骤410以从检测到的目标中去除杂波。
在步骤410期间，对与在步骤801期间识别的目标相关联的数据使用frft。对于任何实际角度α(不与波束成形期间使用的到达角度混淆)，信号s(t)的frft由下式给出：
其中n是整数。frft可以被理解为时频平面旋转角度α。例如，当α＝0时，frft是恒等算子并且产生时域信号。当
信号的分数阶傅里叶频谱可以高度集中在分数阶频率中。线性调频(lfm)信号的质心可以由信号的能量峰值在分数阶傅里叶频率中的位置来确定。因此，通过选择适当的旋转角度(即角度α)，可以检测由移动目标生成的lfm信号。
在步骤808(也可以称为校准步骤)期间，执行对最佳角度α的搜索。步骤808包括步骤810、812、814和816。在步骤810期间，评估多个角度αi，其中i可以是例如10。对每个角度αi，计算frft，如步骤812所示。可以按照与将fft应用于2d切片702类似的方式对2d切片702执行frft以生成2d切片706。计算每个角度αi的每个frft的多个局部峰值(例如，5到10个局部峰值)的能量并将其与相应frft的平均能量进行比较，以对每个角度αi生成峰值平均功率比(papr)度量标准。在针对所有i评估所有角度αi之后，选择具有最高papr的角度αi用于在步骤816期间的进一步处理。在一些实施方式中，选择的角度αi用于评估后续步骤中的所有2d切片。在一些实施方式中，每5到10秒执行一次步骤808。可以使用其他间隔。当不执行步骤808时，在步骤818中使用先前选择的角度α。
使用多个局部峰值来生成papr度量标准增加了所识别的目标包括存在的所有人的概率。使用多个局部峰值还增加了将杂波识别为目标的概率。为了最小化检测到杂波，可以从考虑中去除被识别为非人类的局部峰值。例如，如果局部峰值对应于高于人的高度的高度(例如，高于7英尺的高度)，则在papr计算中从考虑中去除局部峰值。换句话说，局部峰值不被视为“峰值”的一部分，而被认为是papr计算中“平均值”的一部分。其他情况，例如人(例如，相对于范围和方位角)不能存在的位置可以被使用以从考虑中去除局部峰值。
步骤808通过使用papr选择最佳角度α，如步骤810、812、814和816所示。选择最佳角度α的其他方式也是可能的。例如，在一些实施方式中，通过对邻域中的峰值的数量进行计数并选择在范围/多普勒邻域中具有最小区别的峰值的角度α来选择最佳角度α。
在步骤818期间，使用所选择的角度α执行frft。可以按照与将fft应用于2d切片702类似的方式在2d切片702上执行frft以生成2d切片706。可以仅在步骤801期间识别到潜在目标的范围区间上执行frft。通过将frft的峰值与阈值进行比较来识别目标。可以基于与相应峰值相关联的frft区间位置来提取所识别的移动目标的速度。
在步骤820期间使用例如波束成形技术来确定所识别的目标的位置和移动方向。例如，可以针对仰角和方位角来执行波束成形，如关于图7f所描述的。
在步骤822期间生成每个范围的对数似然比(llr)、多普勒(例如，速度)、方位角和仰角分量。换句话说，在步骤822期间确定在扫描的位置中的每个位置中存在目标的概率。基于预定参考目标特征来确定概率。例如，与非人类行为或非人类的位置相关联的峰值可能被丢弃或与非常低的概率相关联。类似地，与高于人类移动的移动速度(例如，高于12m/s)相关联以及具有重复多普勒模式的峰值可能与非常低的概率(例如0％)相关联。相反，与人类行为相关联或不与非人类行为相关联的峰值可能与较高的概率(例如70％)相关联。作为另一示例，如果在已知不可移动的家具处于的位置中识别到静态对象，则可以将低概率(例如0％)分配给该位置。例如可以使用机器学习算法例如随机森林算法来确定参考目标特征。
在步骤824期间对识别的目标进行聚类。例如，将彼此邻近的与高于例如50％的概率相关联的位置聚类在一起，这是因为它们很可能源自相同的目标。聚类中的能量中心可以与所识别的聚类的中心(质心)相关联，其中聚类是邻域内所有点的并集。与识别的目标相关联的位置或聚类也被称为命中(hit)。
在步骤826期间随时间跟踪所识别的聚类。例如，通过使用最近邻方法可以将聚类与跟踪相关联。
识别的跟踪中的一些可能与杂波相关联，而其他识别的聚类可能与人相关联。可以通过将跟踪的聚类行为与参考跟踪特征进行比较来执行对杂波聚类和人类聚类的区分。例如，当在步骤818期间使用特定角度α时，机械的一些移动部件可能显示为命中，但是当在步骤818期间使用不同角度α时，机械的一些移动部件可能不会显示为命中。由于角度α在校准步骤808期间被周期性地更新，机械的这样的移动部件可以在第一时间期间被检测为命中，并且可以在第二时间期间不被检测为命中。聚类的出现和消失可以与跟踪特征相关联，并且如果聚类周期性地出现并消失，则可以通过将跟踪的行为与参考跟踪特征进行比较来检测聚类，并且可以将其丢弃。例如，可以使用机器学习算法例如随机森林算法来确定参考跟踪特征。
在一些实施方式中，在步骤826期间生成每个识别的聚类的概率密度函数(pdf)p(sk|zk)，其中zk包含直到时间k的所有测量。进行所识别的聚类的下一状态的估计
如果与人类行为相关联的跟踪达至少预定时间例如30秒，则跟踪与人相关联，并且在步骤828期间检测到人。
对于被识别为人的每个聚类，在步骤412期间执行活动确定。例如，可以通过在步骤830期间对例如2d切片702执行stfrft来对被识别为人的每个聚类执行微多普勒(m-d)特征提取。在步骤830期间，可以将整个多普勒轴传递到分类器用于在步骤832期间检测人类活动。将提取的m-d特征与参考m-d特征进行比较以在步骤838期间使用例如随机森林算法来确定(分类)，例如，确定人是站立、行走还是躺下。例如，可以使用机器学习算法例如随机森林算法来确定参考m-d特征。
可以在受控环境(例如消声室)中对要被分类的活动(例如，站立、行走和躺下)提取参考m-d特征并且参考m-d特征被用于离线训练分类器。然后，训练的分类器/模型用于在步骤838期间对活动进行分类。使用例如所描述的允许在嘈杂环境中进行适当分类的分类器。
在步骤416期间，可以报告来自人类识别、检测和跟踪的结果。例如，处理器304可以报告检测到的人的数量，每个检测到的人的位置以及每个检测到的人正在执行的活动。还可以报告每个检测到的人的历史数据，例如人的位置跟踪、每个人在场景中已经存在的时间等。
在步骤834期间对人的数量进行计数。在一些实施方式中，人的数量基于步骤828期间与人相关联的跟踪数。例如，如果5次跟踪与人相关联，则人数等于5。如果跟踪被终止(例如，因为人退出场景)或者如果跟踪不再与人相关联，则在步骤834期间更新人数以反映与人相关联的跟踪数。
在步骤416期间，处理器304可以响应于检测到的触发条件。例如，在步骤836期间，将人类聚类的位置与参考位置进行比较。如果人类聚类的位置与参考位置交叠，则执行响应程序步骤840。作为另一示例，在步骤838期间，如果确定人类聚类躺下，则执行响应程序步骤840。其他活动和其他触发事件可以导致执行响应程序步骤840。
响应程序步骤840可以包括各种响应程序，例如，向个人(例如，工厂车间管理员)警报和/或向急救响应团队警报该情况、触发疏散，以及停止或关闭一台或更多台机器。其他响应程序也是可能的。
执行的特定响应程序可以取决于响应程序的触发。例如，躺下的人可以触发警报个人程序。作为另一示例，处于危险位置的人可能触发关闭与危险位置相关联的机器。
当触发疏散时，处理器304可以在每次疏散该区域时跟踪多个人。如果人在预定时间内未离开该区域，则处理器304可以警告急救人员。在一些实施方式中，可以在疏散与躺下的人相关联的人类聚类期间警告急救人员。其他动作也是可能的。
一些实施方式的优点包括在嘈杂环境例如工厂环境中对人进行检测，嘈杂环境中移动机械、静止对象、人和其他移动设备共存。通过对人进行检测，监视和/或计数，可以防止伤亡/受伤。其他优点包括通过在检测技术之前使用跟踪和动态最佳角度α选择来改善scr。
图9示出了示出用于基于机器语言的特征提取和标识的机器学习流水线的框图，该机器学习流水线可用于生成参考特征(参考目标特征、参考跟踪特征和参考m-d特征)以对目标进行分类(步骤822)、跟踪目标(步骤826)并检测人类活动(步骤832)。图9的顶部900专用于处理特征存储，用于与后面的测量进行比较。此部分中显示的数据和步骤表示在对分类类别执行和处理雷达测量时执行的操作。底部920专用于新测量值的处理和比较，用于与存储数据进行比较。这些数据和步骤表示在系统识别和检测人类和人类活动时执行的操作。部900适用于生成参考目标特征、参考跟踪特征和参考m-d特征。部920适用于分类步骤822、826和832。
如图9的顶部900所示，训练数据902被变换成存储的特征向量910和对应的标签912。训练数据902表示原始数据(例如回波)。特征向量910表示代表训练数据902的生成向量的集合。标签912表示与对应训练数据902和特征向量910相关联的用户元数据。
如示出的，使用图像形成算法将训练数据902变换成特征向量910。数据准备块904表示原始传感器数据的初始格式化，并且数据注释块908表示来自训练数据902的状态标识。
在操作期间，使用上面描述的毫米波传感器获取包括一个或更多个静态和移动目标(例如，人、移动机械、家具和其他移动设备)的受控环境的一个或更多个雷达图像。在一些情况下，记录多个雷达图像以提高识别的准确度。机器学习算法914评估预测模型930用以标识特征向量的能力并且迭代地更新训练数据902以提高算法的分类准确度。可以通过计算交叉熵性能来确定机器学习算法的训练性能。在一些实施方式中，机器学习算法914迭代地调整图像形成参数以获得至少90％的分类准确度。可替选地，可以使用其他分类准确度。
可以使用本领域已知的各种机器学习算法来实现机器学习算法914。例如，随机森林算法或神经网络算法例如resnet-18或本领域已知的其他神经网络算法可以用于存储的特征向量910的分类和分析。在存储的特征向量910的迭代优化期间，可以更新图像形成906的多个参数。
一旦使用参考训练数据902训练了系统，参考特征可以用于正常操作期间的分类。在正常操作期间，接收新目标数据922。数据准备块924准备新的目标数据922用于图像形成，并且图像形成块926形成新提取的特征向量928。预测模型930利用机器学习算法914将新提取的特征向量928与存储的特征向量910进行匹配。在匹配被识别时，提供标识新特征向量的预测标签。在一些实施方式中，来自存储的标签912的数据被提供为预测标签。预测模型930可以是具有通过机器学习算法计算/评估的最佳参数的机器学习模型。
此处概述了本发明的示例实施方式。根据在本文中提交的整个说明书和权利要求中还可以理解其他实施方式。
示例1.一种用于人类检测的方法，该方法包括：使用毫米波雷达朝向场景中的对象发送多个啁啾以产生回波信号；使用所述毫米波雷达接收第一回波信号以产生第一组数据；基于所述第一组数据识别第一初始目标；基于所述第一组数据选择第一角度；基于所述第一初始目标使用所述第一角度对所述第一组数据执行分数阶傅里叶变换(frft)；通过将所述第一组数据的frft的峰值与第一阈值进行比较来识别第一目标；在接收到所述第一回波信号之后，使用所述毫米波雷达接收第二回波信号以产生第二组数据；基于所述第二组数据识别第二初始目标；基于所述第二组数据选择第二角度，其中，所述第二角度与所述第一角度不同；基于所述第二初始目标使用所述第二角度对所述第二组数据执行frft；通过将所述第二组数据的frft的峰值与所述第一阈值进行比较来识别第二目标；基于所识别的第一目标和第二目标生成一组目标跟踪；将所述一组目标跟踪中的每个目标跟踪与一组参考跟踪特征进行比较，以生成相应的目标跟踪比较结果；以及基于所述相应的目标跟踪比较结果将目标跟踪与人类跟踪相关联。
示例2.根据示例1所述的方法，还包括通过对与人类跟踪相关联的多个目标跟踪进行计数来对所述场景中的多个人进行计数。
示例3.根据示例1或2中的一项所述的方法，其中，所述场景包括具有移动机械的工厂环境。
示例4.根据示例1至3中的一项所述的方法，其中，发送所述多个啁啾包括每500ms连续发送128至256个啁啾。
示例5.根据示例1至4中的一项所述的方法，其中，发送所述多个啁啾包括在时间上等间隔地发送啁啾。
示例6.根据示例1所述的方法，还包括：基于所识别的第一目标和第二目标来更新基于位置的概率矩阵；根据人类跟踪来对人进行检测；对所述第二组数据执行短时frft(stfrft)以生成第一stfrft数据集；以及基于所述第一stfrft数据集和所述基于位置的概率矩阵来使用微多普勒测量确定检测到的人的相应状态。
示例7.根据示例1至6中的一项所述的方法，还包括在至少一个检测到的人具有与躺下相关联的状态时生成警报。
示例8.根据示例1至7中的一项所述的方法，其中，与检测到的人相关联的状态包括：躺下、站立和行走。
示例9.根据示例1至8中的一项所述的方法，其中，基于所述第一stfrft数据集确定检测到的人的相应状态包括将所述第一stfrft数据集与参考活动特征进行比较。
示例10.根据示例1至9中的一项所述的方法，还包括：基于所确定的检测到的人的状态触发疏散；以及在所述疏散期间跟踪所述场景中的许多人。
示例11.根据示例1至10中的一项所述的方法，还包括使用机器学习算法生成所述参考活动特征。
示例12.根据示例1至11中的一项所述的方法，其中，所述毫米波雷达包括毫米波雷达传感器电路阵列，其中，每个毫米波雷达传感器捕获不同的视场。
示例13.根据示例1至12中的一项所述的方法，还包括拼接每个毫米波雷达传感器电路捕获到的相应的视场以生成拼接的数据集，其中，所述第一组数据和所述第二组数据是拼接的数据集。
示例14.根据示例1至13中的一项所述的方法，还包括基于所述第一组数据识别静态对象。
示例15.根据示例1至14中的一项所述的方法，其中，识别第一初始目标包括对所述第一组数据执行范围快速傅里叶变换(fft)。
示例16.根据示例1至15中的一项所述的方法，其中，选择所述第一角度包括：使用相应的多个不同角度对所述第一组数据执行多次frft；以及对于所述多次frft中的每次frft，计算峰值平均功率比(papr)，其中，选择所述多个不同角度中的与最高papr相关联的角度作为所述第一角度。
示例17.根据示例1至16中的一项所述的方法，其中，计算所述papr包括：识别相应frft的五个或更多个局部峰值；以及通过将所识别的五个或更多个局部峰值的能量与所述相应frft的平均能量进行比较来计算所述papr。
示例18.根据示例1至17中的一项所述的方法，其中，选择所述第二角度包括：使用相应的第二多个不同角度对所述第二组数据执行第二多次frft；以及对于所述第二多次frft中的每次frft，计算papr，其中，选择所述第二多个不同角度中的与最高papr相关联的角度作为所述第二角度。
示例19.根据示例1至18中的一项所述的方法，还包括：基于所识别的第一目标来更新基于位置的概率矩阵；以及通过对所述第一组数据执行波束成形来确定所述第一回波信号的到达角度，其中，基于所述波束成形更新所述基于位置的概率矩阵。
示例20.根据示例1至19中的一项所述的方法，还包括使用最邻近算法根据基于位置的概率矩阵来将目标聚类，其中，所述基于位置的概率矩阵基于所识别的第一目标和第二目标来更新，并且其中，生成所述一组目标跟踪包括跟踪聚类后的目标。
示例21.根据示例1至20中的一项所述的方法，其中，所述一组目标跟踪中的每个目标跟踪包括随时间的位置信息。
示例22.一种系统，包括：处理器，其被配置成耦接至毫米波雷达传感器电路，所述处理器被配置成：从所述毫米波雷达传感器电路接收第一组数据和第二组数据；基于所述第一组数据识别第一初始目标；基于所述第一组数据选择第一角度；基于所述第一初始目标使用所述第一角度对所述第一组数据执行分数阶傅里叶变换(frft)；通过将所述第一组数据的frft的峰值与第一阈值进行比较来识别第一目标；基于所述第二组数据选择第二角度，其中，所述第二角度与所述第一角度不同；基于所述第二组数据识别第二初始目标；基于所述第二初始目标使用所述第二角度对所述第二组数据执行frft；通过将所述第二组数据的frft的峰值与所述第一阈值进行比较来识别第二目标；基于所识别的第一目标和第二目标跟踪识别的目标；以及将所跟踪的识别目标与参考跟踪特征进行比较以检测人。
示例23.根据示例22所述的系统，其中，跟踪识别的目标包括根据基于位置的概率矩阵生成一组目标跟踪，其中，所述一组目标跟踪中的每个目标跟踪包括随时间的位置信息，并且其中，将所跟踪的识别目标与参考跟踪特征进行比较包括：将所述一组目标跟踪中的每个目标跟踪与一组参考跟踪特征进行比较以生成相应的目标跟踪比较结果，以及基于所述相应的目标跟踪比较结果将目标跟踪与人类跟踪相关联。
示例24.一种毫米波雷达，包括：毫米波雷达传感器电路，其被配置成：朝向场景中的对象连续发送多个啁啾以产生回波信号，使用所述毫米波雷达接收第一回波信号以产生第一组数据，并且在接收到所述第一回波信号之后接收第二回波信号以产生第二组数据；以及处理器，其被配置成：基于所述第一组数据选择第一角度，使用所述第一角度对所述第一组数据执行分数阶傅里叶变换(frft)，通过将所述第一组数据的frft的峰值与第一阈值进行比较来识别第一目标，基于所述第二组数据选择第二角度，其中所述第二角度与所述第一角度不同，使用所述第二角度对所述第二组数据执行frft，通过将所述第二组数据的frft的峰值与所述第一阈值进行比较来识别第二目标，基于所识别的第一目标和第二目标跟踪识别的目标，并且将所跟踪的识别目标与参考跟踪特征进行比较以对人进行检测。
示例25.根据示例24所述的毫米波雷达，还包括布置在所述场景的天花板中的多个毫米波雷达传感器电路，其中，所述处理器还被配置成拼接所述多个毫米波雷达传感器电路中的每个毫米波雷达传感器电路捕获到的相应的视场，以生成拼接的数据集。
尽管已经参考说明性实施方式描述了本发明，但是该描述并不旨在以限制意义来解释。参考说明书，本领域技术人员将清楚说明性实施方式的各种修改和组合以及本发明的其他实施方式。因此，所附权利要求书旨在涵盖任何这样的修改或实施方式。
- 还没有人留言评论。精彩留言会获得点赞！