使用低水平雷达数据的对象分类的制作方法

文档序号:26941061发布日期:2021-10-12 16:23阅读:91来源:国知局
使用低水平雷达数据的对象分类的制作方法
使用低水平雷达数据的对象分类


背景技术:

1.自主驾驶的进步可以导致无人驾驶汽车和自主机器人在商业和日常生活中的广泛应用。许多自主驾驶技术依靠由一个或多个传感器提供的信息来可视化周围环境。利用该信息,自主驾驶逻辑可以识别对象的存在(或不存在)及它们的当前位置和速度。然而,即使具有该信息,对于自主驾驶逻辑而言,确定提供足够的安全裕度以用于避免碰撞的适当动作也可能是具有挑战性的。
2.自主驾驶逻辑可以基于检测到的对象的类型确定适当的动作。对象的类型可以向自主驾驶逻辑指示对象的行为是可预测的还是不可预测的,以及是应当增大还是减小安全裕度以避免潜在的碰撞。在某些情况下,可用于确定适当动作的时间可能很短,并且在那个时间中,传感器可能无法获得对对象的足够观察来确定其行为并准确预测未来的运动。对于传感器而言,对对象快速分类以用于自主驾驶应用可能具有挑战性。


技术实现要素:

3.描述了使用低水平雷达数据实现对象分类的技术和装置。具体地,安装到移动平台的雷达系统基于低水平数据提取检测到的对象的特征。雷达系统使用机器学习来分析这些特征,以确定与检测到的对象相关联的对象类别。通过依靠低水平数据,雷达系统能够提取与跨(across)距离(range)、距离变化率(range rate)、方位角(azimuth)或仰角(elevation)的能量分布有关的附加信息,这些附加信息在检测水平数据中是无法得到的。具体地,低水平数据使雷达系统能够确定对象的基于强度的特征或基于几何的特征。在使用机器学习的情况下,可以快速地对对象进行分类(例如,在单个帧内或在单个观察中),从而为自主驾驶逻辑留出足够的时间来基于对象的类别发起适当的动作。此外,可以执行该分类,而不使用来自其他传感器的信息。雷达系统还可以利用对象的类别来定制(tailor)其跟踪模块的参数。这提高了雷达系统随时间推移维持对对象的跟踪或可见性的能力。
4.下面描述的各方面包括由安装到移动平台的雷达系统执行的方法。该方法包括发射和接收雷达信号。雷达信号被至少一个对象反射。该方法还包括:由雷达系统的多个接收通道生成表示所接收的雷达信号的时域样本的数字拍频信号(beat signal)。该方法附加地包括:基于数字拍频信号生成低水平数据。低水平数据包括跨距离、距离变化率、方位角或仰角中的一个或多个维度的幅度信息。该方法进一步包括:从低水平数据内的幅度信息中提取与至少一个对象相关联的一个或多个特征。使用机器学习,该方法包括:分析一个或多个特征以确定与至少一个对象相关联的对象类别。
5.下文描述的各方面还包括雷达系统,该雷达系统包括至少一个天线阵列、收发器和处理器。收发器耦合到至少一个天线阵列。处理器耦合到收发器。使用天线阵列,收发器发射和接收雷达信号,该雷达信号被至少一个对象反射。收发器还使用多个接收通道生成数字拍频信号,该数字拍频信号表示接收到的雷达信号的时域样本。处理器基于数字拍频信号生成低水平数据。低水平数据包括跨距离、距离变化率、方位角和仰角中的一个或多个维度的幅度信息。处理器还从低水平数据内的幅度信息中提取与至少一个对象相关联的一
个或多个特征。使用机器学习,处理器分析一个或多个特征以确定与至少一个对象相关联的对象类别。
6.下文描述的各方面还包括计算机可读存储介质,该计算机可读存储介质包括计算机可执行指令,该计算机可执行指令响应于处理器的执行而实现对象检测模块。对象检测模块接受低水平数据,该低水平数据包括跨距离、距离变化率、方位角和仰角中的一个或多个维度的幅度信息。幅度信息包括与至少一个对象相关联的反射能量的分布。对象检测模块从低水平数据内的幅度信息中提取与至少一个对象相关联的一个或多个特征。使用机器学习,对象检测模块分析一个或多个特征以确定与至少一个对象相关联的对象类别。
7.以下描述的各方面还包括一种系统,该系统具有用于使用低水平数据执行对象分类的装置。
8.该发明内容被提供以引入用于使用低水平雷达数据执行对象分类的简化概念,下面将在具体实施方式和附图中对该简化概念进行进一步描述。为了便于描述,本公开侧重于汽车雷达系统;然而,这些技术不限于汽车。该技术也适用于其他类型的交通工具、系统和移动平台的雷达。本发明内容并非旨在标识出要求保护的主题的必要特征,亦非旨在用于确定要求保护的主题的范围。
附图说明
9.在本文档中参考以下附图描述了使用低水平数据进行对象分类的一个或多个方面的详细信息。贯穿附图使用相同的数字来引用相同的特征和部件:图1示出了其中可以实现能够使用低水平数据执行对象分类的雷达系统的示例环境。图2示出了作为交通工具的一部分的雷达系统的示例实现。图3示出了用于使用低水平数据执行对象分类的雷达系统的收发器和处理器的示例实现。图4示出了用于对象分类的示例低水平数据。图5示出了由用于使用低水平数据执行对象分类的对象分类模块实现的示例方案。图6示出了用于使用低水平数据执行对象分类的机器学习模块的示例实现。图7示出了雷达系统的用于使用低水平数据执行对象分类的示例方法。
具体实施方式
概述
10.许多自主驾驶应用依靠来自传感器的信息来可视化周围环境,诸如雷达传感器。相对于其他类型的传感器(如相机),雷达能够在存在不同的环境条件(诸如低照明和雾、或具有移动或重叠对象)的情况下提供改善的性能。
11.一些雷达使用检测水平数据来分析对象随时间的行为。具体地,如果对象的一个或多个反射具有大于检测水平阈值(诸如,恒定误警报率(cfar)阈值)的幅度,则雷达可以检测到对象。通过使用检测水平数据,雷达可以减少误检测(例如,与噪声或干扰相关联的检测)的数量,并达到特定的误警报率。通过分析检测水平数据,雷达可以观察到被检测对
象的位置或距离变化率随时间的变化,以对对象进行分类。不幸的是,检测水平数据可能是可变的,并且不总是足以在不同类型的对象之间进行区分。对于雷达来说,在自主驾驶应用可用的短时间帧内确定对象的正确分类以发起操纵并避免与检测到的对象的潜在碰撞也可能是具有挑战性的。
12.为了解决这个问题,一些技术使用传感器融合来提供用于对对象进行分类的附加信息。然而,使用附加传感器会增加自主驾驶系统的成本、尺寸、功耗和复杂性。因此,这种方法对于注重小尺寸和低功耗的系统来说可能是不切实际的。附加地,可能仍需要对对象进行多次观察,以便将跨多个传感器的信息进行关联并对对象进行分类。该延迟可能太长,使得自主驾驶应用无法及时利用对象分类信息来确定适当的操作以避免潜在的碰撞。
13.相比之下,本文档描述了使用低水平雷达数据实现对象分类的技术和设备。具体地,安装到移动平台的雷达系统基于低水平数据提取检测到的对象的特征。雷达系统使用机器学习来分析这些特征,以确定与检测到的对象相关联的对象类别。通过依靠低水平数据,雷达系统能够提取与跨距离、距离变化率、方位角或仰角的能量分布有关的附加信息,这些附加信息在检测水平数据中是无法得到的。具体地,低水平数据使雷达系统能够确定对象的基于强度的特征或基于几何的特征。在使用机器学习的情况下,可以快速地对对象进行分类(例如,在单个帧内或在单个观察中),从而为自主驾驶逻辑留出足够的时间来基于对象的类别发起适当的动作。此外,可以执行该分类,而不使用来自其他传感器的信息。雷达系统还可以利用对象的类别来定制其跟踪模块的参数。这提高了雷达系统随时间推移维持对对象的跟踪或可见性的能力。示例环境
14.图1是示例环境100的图示,其中可以体现使用能够使用低水平数据执行对象分类的雷达系统102的技术以及包括雷达系统102的装置。在所描绘的环境100中,雷达系统102被安装到交通工具104或被集成在交通工具104内。雷达系统102能够检测在交通工具104附近区域内的一个或多个对象108。尽管图示为汽车,但交通工具104可以表示其他类型的机动交通工具(例如,摩托车、公共汽车、拖拉机、半挂车、或施工装备)、各类型的非机动交通工具(例如,自行车)、各类型的有轨交通工具(例如,火车或有轨电车)、水运工具(例如,船只或船舶)、飞行器(例如,飞机或直升机)、或航天器(例如,卫星)。在一些情况下,交通工具104可以拖曳或包括拖车或其他附接件。一般而言,雷达系统102可以被安装到任何类型的移动平台(包括移动机械或机器人装备)。
15.在所描绘的实现中,雷达系统102被安装在交通工具104的顶部并且提供照亮对象108的视场106。在其他实现中,雷达系统102可以被安装到交通工具104的前侧、后侧、左侧或右侧。在一些情况下,交通工具104包括多个雷达系统102,诸如被定位在交通工具104的左侧附近的第一后置雷达系统102和被定位在交通工具104的右侧附近的第二后置雷达系统102。一般而言,一个或多个雷达系统102的位置可以被设计成提供包含对象108可能存在于其中的感兴趣区域的特定视场106。示例视场106包括360度视场、一个或多个180度视场、一个或多个90度视场等,这些视场可以重叠(例如,四个120度视场)。
16.一般而言,对象108由反射雷达信号的一种或多种材料构成。在某些情况下,对象108是无生命对象,诸如四轮交通工具110或两轮交通工具112。四轮交通工具110的示例类型包括汽车110

1或半挂车110

2。自行车112

1和摩托车112

2表示不同类型的两轮交通工
具112。在其他情况下,对象108是有生命对象114,诸如人114

1或动物114

2。上述对象108可以是移动的或静止的。未显示的其他类型的对象可以包括连续或不连续的道路屏障、锥形交通路标、混凝土屏障、护栏、栅栏或树木。
17.与由雷达系统102检测到的对象的类型有关的信息可以使交通工具104的自主驾驶应用能够确定适当的动作以避免潜在的碰撞。示例动作可以包括制动以停车、转向或降低速度。具体地,对象的类型可以指示对象的行为是可预测的还是不可预测的,对象可以改变速度的最小和最大加速度,以及对象是有生命的还是无生命的。基于该信息,自主驾驶应用可以确定在接近对象108时要维持的适当的安全裕度(例如,适当的距离和/或速度),以便保留足够的时间以避免潜在的碰撞。
18.作为示例,与有生命对象114相关联的对象类别指示对象108可以具有不可预测的行为。例如,人114

1可能突然停在道路中间以捡起某个东西或在急着穿过道路时忽略交通标志。为了考虑这种不可预测的行为,自主驾驶应用可以在接近或经过有生命对象114时维持较大的距离或较慢的速度。相比之下,与四轮交通工具110相关联的对象类别可以指示对象108可以具有遵循道路规则的可预测行为。这样,自主驾驶应用可以在接近或经过四轮交通工具110时维持较短的距离或较快的速度。关于图2进一步描述雷达系统102和交通工具104。
19.图2示出了作为交通工具104的一部分的雷达系统102。交通工具104包括基于交通工具的系统202,诸如驾驶员辅助系统204和/或自主驾驶系统206。通常,基于交通工具的系统202使用由雷达系统102提供的雷达数据来执行功能。雷达数据可以包括与检测到的对象108的位置和移动有关的信息,以及分类数据,该分类数据指示与检测到的对象108相关联的对象类别。示例对象类别可以包括四轮交通工具类别、两轮交通工具类别或有生命对象类别。
20.驾驶员辅助系统204例如提供盲点监测并生成警报,该警报指示与雷达系统102检测到的对象108的潜在碰撞。在这种情况下,驾驶员辅助系统204基于由雷达系统102提供的雷达数据来确定改变车道是安全的还是不安全的。在某些情况下,可以基于与检测到的对象108关联的对象类别作出此确定。
21.作为另一示例,驾驶员辅助系统204将交通工具104移动到特定位置,同时避免与由雷达系统102检测到的其他对象108发生碰撞。由雷达系统102提供的雷达数据使自主驾驶系统206能够执行适当的动作以避免与对象108碰撞。这样的动作可以包括紧急制动、改变车道、调整交通工具104的速度、或它们的组合。在一些情况下,基于与检测到的对象108相关联的对象类别来确定动作的类型。
22.雷达系统102包括通信接口208,以通过交通工具104的通信总线将雷达数据发射到基于交通工具的系统202或(例如,当雷达系统102中所示的个体部件被集成在交通工具104内时)发射到交通工具104的另一个部件。一般而言,由通信接口208提供的雷达数据采用可由基于交通工具的子系统202使用的格式。在一些实现中,通信接口208可以向雷达系统102提供信息,诸如交通工具104的速度或转向指示灯是打开还是关闭。雷达系统102可以使用该信息来适当地配置自身。例如,雷达系统102可以通过补偿交通工具104的速度来确定对象108的绝对速度。替代地,雷达系统102可以基于是右转指示灯打开还是左转指示灯打开来动态地调整视场106。
23.雷达系统102还包括至少一个天线阵列210和用于发射和接收雷达信号的至少一个收发器212。天线阵列210包括至少一个发射天线元件和至少一个接收天线元件。在一些情况下,天线阵列210包括多个发射天线元件和多个接收天线元件,以实现能够在给定的时间处发射多个不同波形的多输入多输出(mimo)雷达(例如,每个发射天线元件发射不同的波形)天线元件可以是圆极化的、水平极化的、垂直极化的、或它们的组合。
24.雷达系统102可以使用天线阵列210来形成转向的或非转向的、以及宽的或窄的波束。可以通过模拟波束成形或数字波束成形来获得转向和成形。一个或多个发射天线元件可以具有例如非转向的全向辐射模式,或者可以产生宽的、可转向的波束以照亮大的空间体积。为了获得目标角度准确性和角分辨率,接收天线元件可以用于生成具有数字波束成形的数百个窄的转向波束。以此方式,雷达系统102可以有效地监测外部环境,并检测在感兴趣区域内的一个或多个对象108。
25.收发器212包括用于经由天线阵列210发射和接收雷达信号的电路系统和逻辑。收发器212的部件可包括用于调节雷达信号的放大器、混频器、开关、模数转换器、或滤波器。收发器212还包括用于执行同相/正交(in phase/quadrature,i/q)操作(诸如调制或解调)的逻辑。可以使用各种调制,包括线性频率调制、三角频率调制、步进频率调制或相位调制。收发器212可被配置成用于支持连续波或脉冲雷达操作。收发器212用于生成雷达信号的频谱(例如,频率范围)可以包含在一千兆赫兹到四百千兆赫兹(ghz)、在四ghz到一百ghz、或在大约七十ghz到八十ghz之间的频率。收发器212可以采用扩频技术(诸如码分多址(cdma)),以支持mimo操作。
26.雷达系统102还包括一个或多个处理器214和计算机可读存储介质(crm)216。crm 216包括低水平数据生成器218和对象分类模块220。可以使用硬件、软件、固件或它们的组合来实现低水平数据生成器218和对象分类模块220。在该示例中,处理器214实现低水平数据生成器218和对象分类模块220。低水平数据生成器218和对象分类模块220一起使得处理器214能够处理来自天线阵列210中的接收天线元件的响应,以检测对象108并生成用于基于交通工具的系统202的雷达数据。
27.低水平数据生成器218将由收发器212提供的原始数据转换为低水平数据,该低水平数据可以由对象分类模块220处理。对象分类模块220分析低水平数据以确定与对象108相关联的对象类别。关于图5进一步描述对象分类模块220的操作。
28.对象分类模块220产生用于基于交通工具的子系统202的雷达数据。雷达数据可以包括指示与对象108相关联的对象类别的数字和/或表示对象108的特性(例如,位置、速度或运动方向)的数字。
29.图3示出了收发器212和用于使用低水平数据执行对象分类的处理器214的示例实现。在所描绘的配置中,收发器212包括多个接收通道302

1、302
‑2…
302

m,其中m表示正整数。处理器被连接到接收通道302

1至302

m,并实现低水平数据生成器218和对象分类模块220。
30.低水平数据生成器218可以包括傅立叶变换模块304,傅立叶变换模块304执行一个或多个傅立叶变换操作,诸如快速傅立叶变换(fft)操作。使用傅立叶变换模块304,低水平数据生成器218可以生成距离

多普勒(range

doppler)图,该距离

多普勒图包括与不同的距离块(bin)和多普勒块相关联的复数(例如,同相和正交分量)。
31.低水平数据生成器218可以可选地包括数字波束成形模块306。数字波束成形模块306可以采用经典的波束成形算法,诸如bartlett算法。替代地,数字波束成形模块306可以采用超分辨率或自适应波束成形算法,诸如,迭代自适应方法(iaa)、最小方差无失真响应(mvdr)波束成形算法(例如,capon波束成形算法)、或多信号分类(music)波束成形算法。使用数字波束成形模块306,低水平数据生成器218可以生成方位角

仰角图,该方位角

仰角图包括用于不同方位角块和仰角块的复数。
32.在接收期间,低水平数据生成器218从接收通道302

1至302

m接受数字拍频信号308 1至308

m。数字拍频信号308

1至308m包括接收到的雷达信号的数字时域样本。通常,数字拍频信号308

1至308

m表示原始的或未处理的复杂雷达数据。低水平数据生成器218基于数字拍频信号308

1至308

m执行一个或多个操作以生成低水平数据310。作为示例,低水平数据生成器218可以使用傅立叶变换模块304和/或数字波束成形模块306来生成低水平数据310,低水平数据310包括一组或多组距离块、多普勒块、方位角块或仰角块的幅度信息。
33.在一些情况下,低水平数据310包括二维图,诸如距离

多普勒图或距离

方位角图。距离

多普勒图表示跨距离和多普勒维度的接收能量分布,而距离

方位角图则表示跨距离和方位角维度的接收能量的分布。在其他情况下,低水平数据310包括三维图,诸如距离

多普勒

方位角图或距离

方位角

仰角图。距离

多普勒

方位角图表示跨距离、距离变化率、和方位角维度的接收能量的分布。距离

方位角

仰角图表示跨距离、方位角、和仰角维度的接收能量的分布。替代地,低水平数据310可以包括四维距离

多普勒

方位角

仰角图,其表示跨距离、距离变化率、方位角和仰角维度的接收能量的分布。
34.低水平数据生成器218可以生成上面未描述的其他类型的图以表示低水平数据310。这些图可以包括一维矢量,该一维矢量表示跨距离、距离变化率、方位角或仰角维度中的一者的接收能量的分布。具有距离、距离变化率、方位角或仰角维度的其他组合。低水平数据310还可以包括具有上面未描述的维度的其他组合的其他多维图。随着时间的流逝,低水平数据生成器218为雷达接收信号的相应帧生成低水平数据310。帧可以包括雷达接收信号的一个或多个啁啾(chirp)或脉冲。
35.对象分类模块220接受低水平数据310并分析低水平数据310以生成分类数据312。分类数据312包括对象108

1至108

y及其相关联的对象类别314

1至314

x的列表,其中x和y是彼此可以相等或不相等的正整数。对象类别314的示例类型包括四轮交通工具类别、两轮交通工具类别或有生命对象类别。关于图4进一步描述低水平数据。
36.图4示出了用于对象分类的示例低水平数据310。在该示例中,以不同的图案(pattern)示出了低水平数据310的幅度(或大小)信息。较大的幅度用具有较大的黑色百分比的图案表示。较小的幅度用具有较小的黑色百分比(例如,较高的白色百分比)的图案表示。尽管未示出,但是低水平数据310还可以包括相位信息。
37.在该示例中,低水平数据310包括二维402和404的幅度信息。如上所述,这些维度402和404可以与距离、距离变化率、方位角或仰角相关联。每个维度402和404与一组块相关联,该组块将相关联的维度划分为间隔。沿着维度402,幅度信息跨块406

1至406

a分布,其中a表示正整数。沿着维度404,幅度信息跨块408

1至408

b分布,其中b表示可以等于或不等于a的正整数。取决于相关联的维度402和404,块406和408可以是距离块、多普勒块、方位
角块或仰角块。每个幅度值(或复数)由单元格410表示,单元格410与特定块406和特定块408相关联。
38.在低水平数据310内,对象108可以具有与它们的对象类别相关联的不同能量分布。考虑其中低水平数据310包括来自对象108

1和对象108

y的反射能量的示例。在该示例中,对象108

1是图1的汽车110

1,并且对象108

y是图1的人114

1。附加地,低水平数据310表示距离

多普勒图,其中维度402是距离维度,块406是距离块,维度404是多普勒(或距离变化率)维度,并且块408是多普勒块。在这种情况下,与对象108

y相关联的反射能量跨维度404的分布大于与对象108

1相关联的反射能量跨维度404的分布。之所以会发生这种情况,是因为可以观察到人1141的不同身体部位以不同的速率移动,而汽车110

1的各部件则可能不会。具有最大幅度的单元格410可以表示人114

1的主体或躯干的距离变化率,而其他单元格410可以表示与人114

1的手臂或腿相关联的其他距离变化率,人114

1的手臂或腿在人114

1行走时可以不同地移动。可以从低水平数据310中提取各种不同的特征,以便对对象108

1和108

y进行分类,如关于图5进一步描述的。
39.图5示出了由用于使用低水平数据310执行对象分类的对象分类模块220实现的示例方案。在所描绘的配置中,对象分类模块220实现跟踪模块502、特征提取模块504和机器学习模块506。通常,跟踪模块502检测低水平数据310内的对象108。特征提取模块504标识与检测到的对象108相关联的特征。机器学习模块506基于所标识的特征来确定与检测到的对象108相关联的对象类别314。下面进一步描述跟踪模块502、特征提取模块504和机器学习模块506的操作。
40.在操作期间,跟踪模块502从(图3的)低水平数据生成器218接受低水平数据310。为了检测低水平数据310内的一个或多个对象108,跟踪模块502可以使用滤波和检测技术来将同感兴趣的对象相关联的反射能量与同噪声或杂波相关联的反射能量分开。
41.作为示例,跟踪模块502从低水平数据310过滤(例如,去除)与静止多普勒块相关联的幅度信息,以检测移动的对象108。替代地,跟踪模块502从低水平数据310过滤与移动的多普勒块相关联的幅度信息以检测静止的对象108。跟踪模块502可以基于交通工具104的当前速度动态地确定静止的或运动的多普勒块。跟踪模块502还可以应用其他滤波器,诸如距离滤波器、方位角滤波器或仰角滤波器,以将低水平数据310精减到感兴趣的区域(例如,距离、方位角或仰角的特定集合)。
42.跟踪模块502可以使用各种类型的检测逻辑(诸如,斑点(blob)检测或强度阈值窗口化)来检测对象108。斑点检测通过标识幅度大于周围邻近(neighboring)单元格410的幅度的相邻(adjacent)单元格410来检测低水平数据310内的对象108。斑点检测可以使用阈值来确定相邻单元格410与邻近单元格410之间的幅度差是否足以指示对象108的存在。相比之下,强度阈值窗口化通过标识幅度大于或等于检测阈值的单元格410来检测低水平数据310内的对象108。可以基于雷达系统102的估计噪声水平来预先确定由斑点检测和强度阈值窗口化所使用的两个阈值,或者可以基于在当前帧的低水平数据310内观察到的噪声量来动态地调整这两个阈值。相比之下,实现强度阈值窗口化比实现斑点检测的复杂度更低。然而,斑点检测可以以较低的阈值进行操作,这使得跟踪模块502能够检测具有较弱反射的对象108,诸如与较小的对象108相关联的那些对象或处于较远距离处的对象108。
43.跟踪模块502基于低水平数据310生成轨迹数据508。轨迹数据508包括由跟踪模块
502检测到的每个对象108的低水平数据310信息中的一部分。换句话说,轨迹数据508包括与对象108相关联的一个或多个单元格410的幅度信息,这被称为轨迹。轨迹可以具有与低水平数据310相似的维度。例如,轨迹可包括跨距离

多普勒

方位角

仰角图的四个维度的单元格410。跨轨迹的每个维度的单元格410的数量可以相似或不同。
44.在一些实现中,不同对象108的轨迹可以具有相同数量的单元格410。在这种情况下,跟踪模块502可以使围绕具有最高幅度的单元格410的窗口居中,并且将该窗口内的单元格410提供为该对象108的轨迹。在其他实现中,基于对象108的跨低水平数据310的一个或多个维度的分布中的差异,不同对象108的轨迹可以具有不同数量的单元格410。通过针对每个对象108定制轨迹的尺寸,跟踪模块502可以降低轨迹包括与对象108不相关联的其他单元格410(例如,与噪声或另一对象相关联的其他单元格)的可能性。与使用检测水平数据进行分类的其他类型的雷达系统相比,轨迹数据508可以包括小于检测阈值的幅度,以便提供用于对对象108进行分类的附加信息。
45.特征提取模块504基于轨迹数据508为每个检测到的对象108提取一个或多个特征。特征数据510可以包括基于强度的特征512或基于几何的特征514。基于强度的特征512的示例类型包括跨轨迹内的单元格410的平均幅度、跨轨迹内的单元格410的幅度的变化、或跨轨迹内的单元格410的总能量。基于几何的特征514的示例类型包括跨一个或多个维度的轨迹的尺寸、跨一个或多个维度的轨迹的形状、或轨迹的纵横比(例如,长度和宽度)。可以根据与单个帧(例如,单次观看或观察)相关联的低水平数据310生成特征数据510,或者根据与多个帧相关联的低水平数据310生成特征数据510,如下文进一步描述的。
46.在一些实现中,跟踪模块502和特征提取模块504依赖于来自先前帧的信息,以便分别生成轨迹数据508和特征数据510。例如,跟踪模块502可以基于对低水平数据310的先前帧内的对象108的检测,来检测低水平数据310的当前帧内的对象108。作为示例,跟踪模块502可以跨低水平数据310的多个帧应用最近邻居匹配算法或相关强度算法,以将当前帧中的对象与先前帧中的对象进行关联。跟踪模块502还可基于由先前帧提供的信息来应用各种跟踪算法,以预测对象108在当前帧内的位置。
47.为了减少噪声,特征提取模块504可以跨对象108的多个轨迹应用噪声滤波器。例如,特征提取模块504可以在当前轨迹和先前轨迹的单元格410上执行加权和。为了有效地利用存储器并减少计算量,特征提取模块504可以确定表示先前确定的特征的组合的特征。
48.机器学习模块506从特征提取模块504接受特征数据510。使用机器学习,机器学习模块506分析每个对象的特征数据510,并根据对象类别314

1至314

x中的一者对对象进行分类。机器学习模块506生成(图3的)分类数据312,分类数据312针对低水平数据310的当前帧列出每个检测到的对象108的对象类别314。
49.在一些情况下,分类数据312被提供给(图2的)基于交通工具的子系统202中的一个或多个,以使基于交通工具的子系统202能够基于对象类别314做出决定,如以上关于图1和图2所描述的。在其他情况下,分类数据312被提供给雷达系统102的跟踪模块502或另一独立的跟踪器(未示出)。基于分类数据312,跟踪模块502或跟踪器可以基于对象108的对象类别314来调整跟踪参数。这样,雷达系统102可以随着时间动态地调整跟踪参数以维持对对象108的可见性。下面关于图6进一步描述机器学习模块506。
50.图6示出了机器学习模块506的示例实现。机器学习模块506可以包括一个或多个
人工神经网络。神经网络包括连接的节点(例如,神经元或感知器)群组,这些连接的节点被组织成一个或多个层。在所描绘的配置中,机器学习模块506包括深度神经网络600,深度神经网络600包括输入层602、输出层604、以及位于输入层602与输出层604之间的一个或多个隐藏层606。深度神经网络600的节点608可以在各层之间部分连接或完全连接。
51.输入层602内的节点608的数量对应于由(图5的)特征提取模块504为每个对象108提取的特征的数量。在隐藏层606内,对于不同的隐藏层606,节点608的数量可以相似或不同。输出层内的节点608的数量等于对象分类模块220能够标识的对象类别314的数量(例如,x)。
52.在一些实现中,深度神经网络600是递归深度神经网络(例如,长短期记忆(lstm)递归深度神经网络),其中各节点之间的连接形成循环以为输入数据序列的后续部分保留来自输入数据序列的先前部分的信息。在其他情况下,深度神经网络600是前馈深度神经网络,其中各节点之间的连接不形成循环。附加地或替代地,机器学习模块506可以包括另一种类型的神经网络,诸如卷积神经网络。
53.通常,可以基于可用功率、可用存储器、或计算能力来定制机器学习模块506的机器学习架构。机器学习架构也可以被定制为实现分类模型,该分类模型指示对象108是否与特定的对象类别314相关联,或者被定制为实现回归模型,该回归模型指示与对象108相关联的概率与不同的对象类别314相关联。
54.在所描绘的配置中,机器学习模块506实现经训练的回归模型。机器学习模块506包括隐藏层606内的卷积层610和一个或多个完全连接的层612。卷积层610提供了额外的灵活性,这使得机器学习模块506能够用由特征数据510提供的不同数量的特征进行操作。
55.在操作期间,将特征数据510被提供给输入层602。特征数据510可包括一个或多个基于强度的特征512、一个或多个基于几何的特征514、或它们的组合。隐藏层606内的每个节点608使用激活函数来分析特征数据510的不同段或部分。当在特征数据510内检测到特定类型的特性时,节点608激活(或反向激活)。
56.在输出层604处,机器学习模块506生成对象类别概率614。对象类别概率614包括连续值,该连续值指示对象108与对象类别314

1至314

x相关联的概率。例如,对象类别概率614包括对象108与对象类别314

1相关联的第一概率和对象108与对象类别314

z相关联的第二概率。机器学习模块506根据与最高概率相关联的对象类别314来对对象108进行分类。该信息被提供作为分类数据312的一部分。可以针对与在低水平数据310的当前帧内检测到的不同对象108相关联的不同特征数据510多次执行所描述的操作。
57.通过训练,机器学习模块506可以通过识别特征数据510中的细微图案来确定对象类别314。机器学习模块506依赖于监督式学习,并且可以将测量的(例如,真实的)数据用于机器学习训练目的。通常,在雷达系统102观察到特定类型的对象(诸如,图1的四轮交通工具110、两轮交通工具112或有生命对象114的任一个)的情况期间收集真实数据(例如,低水平数据310)。通过提供真实数据以及对应的对象类别314,机器学习模块506可以确定用于对后续对象108进行分类的适当权重。
58.也可以使用训练数据的递增集合来连续地训练机器学习模块506。在训练机器学习模块506根据一组对象类别314来对对象108进行分类之后,机器学习模块506可以使用一组新的训练数据来执行另一训练操作,以对与新的对象类别314相关联的对象108进行分
类。然而,代替从随机的一组权重开始的是,机器学习模块506使用预先确定的权重执行训练操作。以这种方式,当针对新的对象类别314,新的训练数据变得可用时,机器学习模块506可以连续地建立其权重并对其权重进行微调(fine

tune)。示例方法
59.图7描绘了用于使用低水平数据执行对象分类的示例方法700。方法700被示出为被执行的多组操作(或动作),但不必限于本文示出的操作采用的次序或组合。此外,操作中的一个或多个操作中的任一者可以被重复、被组合或被重组以提供其他方法。在以下讨论的部分中,可以参考图1的环境100,以及图2、图3和图5中详述的实体,参考这些实体仅是出于示例的目的。技术不限于由一个实体或多个实体执行。
60.在702处,发射和接收雷达信号。雷达信号被至少一个对象反射。例如,雷达系统102发射和接收雷达信号,该雷达信号被图1的对象108反射。对象108的示例类型可包括四轮交通工具110、两轮交通工具112、或有生命对象114,如图1所示的。
61.在704处,由雷达系统的多个接收通道生成数字拍频信号。数字拍频信号表示接收到的雷达信号的时域样本。例如,接收通道302

1至302

m生成数字拍频信号308

1至308

m,如图3所示的。数字拍频信号308

1至308

m表示接收到的雷达信号的时域样本。
62.在706处,基于数字拍频信号生成低水平数据。低水平数据包括跨距离、距离变化率、方位角和仰角中的一个或多个维度的幅度信息。例如,低水平数据生成器218基于数字拍频信号308

1至308

m生成低水平数据310,如图3所示的。低水平数据310包括跨距离、距离变化率、方位角和仰角中的一个或多个维度的幅度信息,如图4所示的。作为示例,低水平数据310可以包括距离

多普勒图、距离

方位角图、或距离

多普勒

方位角图。以上关于图4描述了其他示例。
63.在708处,从低水平数据内的幅度信息中提取与至少一个对象相关联的一个或多个特征。例如,图5的特征提取模块504基于低水平数据310内的幅度信息来提取与对象108相关联的特征。这些特征被包括在图5的特征数据510内,并且可以包括基于强度的特征512、基于几何的特征514、或它们的组合。以上关于图5描述了示例特征。
64.在710处,使用机器学习来分析一个或多个特征,以确定与至少一个对象相关联的对象类别。例如,如以上关于图6所述的,机器学习模块506分析特征数据510以确定与对象108相关联的对象类别314。机器学习模块506可以使用神经网络700来实现并且可以使用监督式学习来训练。通常,机器学习的使用表示机器学习模型的执行。
65.下面描述一些示例。
66.示例1:一种由安装到移动平台的雷达系统执行的方法,该方法包括:发射和接收雷达信号,该雷达信号被至少一个对象反射;由雷达系统的多个接收通道生成数字拍频信号,该数字拍频信号表示接收到的雷达信号的时域样本;基于数字拍频信号生成低水平数据,该低水平数据包括跨距离、距离变化率、方位角和仰角中的一个或多个维度的幅度信息;从低水平数据内的幅度信息中提取与至少一个对象相关联的一个或多个特征;以及使用机器学习分析一个或多个特征,以确定与至少一个对象相关联的对象类别。
67.示例2:示例1的方法,进一步包括:基于对象类别,调整雷达系统的跟踪系统的参数,以使跟踪系统能够维持对至少一个对象的跟踪。
68.示例3:示例1的方法,进一步包括:向移动平台的子系统提供对象类别,以使移动平台能够避免与至少一个对象的潜在碰撞。
69.示例4:示例1的方法,其中低水平数据与距离变化率维度相关联,该方法进一步包括:在提取一个或多个特征之前,过滤低水平数据以使低水平数据中与移动的多普勒块相关联的一部分通过;以及基于低水平数据的该部分来检测至少一个对象。
70.示例5:示例4的方法,其中:低水平数据的该部分包括具有相应幅度的多个单元格;对至少一个对象的检测包括:标识多个单元格中的、幅度大于多个单元格中的邻近单元格的幅度的相邻单元格,相邻单元格的幅度与邻近单元格的幅度之间的差异大于特定阈值;或者标识多个单元格中的、幅度大于或等于检测阈值的一个或多个单元格;生成轨迹数据以包括所述相邻单元格或所述一个或多个单元格;以及提取一个或多个特征包括从轨迹数据中提取一个或多个特征。
71.示例6:示例4的方法,进一步包括:跨低水平数据的多个帧跟踪至少一个对象,其中,对至少一个对象的检测包括:基于对多个帧中的先前帧中的至少一个对象的检测,来检测多个帧中的当前帧中的至少一个对象。
72.示例7:示例6的方法,进一步包括:基于与先前帧相关联的低水平数据生成至少一个对象的第一轨迹,该第一轨迹包括具有相应的第一幅度的第一单元格;基于与当前帧相关联的低水平数据生成至少一个对象的第二轨迹,该第二轨迹包括具有相应的第二幅度的第二单元格;以及组合第一轨迹和第二轨迹,以提取与至少一个对象相关联的一个或多个特征。
73.示例8:示例1的方法,其中一个或多个特征包括以下各项中的一项或多项:跨低水平数据的一个或多个维度的一部分的平均幅度;跨低水平数据的一个或多个维度的该部分的幅度变化;跨低水平数据的一个或多个维度的该部分的总能量;跨低水平数据的一个或多个维度的、至少一个对象的尺寸;跨低水平数据的一个或多个维度的、至少一个对象的形状;或者至少一个对象的纵横比。
74.示例9:示例1的方法,其中低水平数据包括:距离

多普勒图;距离

方位角图;距离

多普勒

方位角图;或者
距离

多普勒

方位角

仰角图。
75.示例10:示例1的方法,其中对象类别包括四轮交通工具类别、两轮交通工具类别、或有生命对象类别。
76.示例11:示例1的方法,其中低水平数据内的幅度信息包括:小于检测水平阈值的一个或多个幅度。
77.示例12:示例1的方法,其中使用机器学习的分析包括:执行机器学习模型,该机器学习模型被训练以确定与至少一个对象相关联的对象类别。
78.示例13:一种雷达系统,包括:至少一个天线阵列;耦合到至少一个天线阵列的收发器,该收发器被配置成用于:使用天线阵列发射和接收雷达信号,该雷达信号被至少一个对象反射;并且由收发器的多个接收通道生成数字拍频信号,该数字拍频信号表示接收到的雷达信号的时域样本;以及处理器,该处理器被耦合到收发器,该处理器被配置成用于:基于数字拍频信号生成低水平数据,该低水平数据包括跨距离、距离变化率、方位角和仰角的一个或多个维度的幅度信息;从低水平数据内的幅度信息中提取与至少一个对象相关联的一个或多个特征;并且使用机器学习分析一个或多个特征,以确定与至少一个对象相关联的对象类别。
79.示例14:示例13的雷达系统,其中对象类别包括四轮交通工具类别、两轮交通工具类别、或有生命对象类别。
80.示例15:示例13的雷达系统,其中一个或多个特征包括以下各项中的一项或多项:跨低水平数据的一个或多个维度的一部分的平均幅度;跨低水平数据的一个或多个维度的该部分的幅度变化;跨低水平数据的一个或多个维度的该部分的总能量;跨低水平数据的一个或多个维度的、至少一个对象的尺寸;跨低水平数据的一个或多个维度的、至少一个对象的形状;或者至少一个对象的纵横比。
81.示例16:一种计算机可读存储介质,包括计算机可执行指令,该计算机可执行指令响应于由处理器执行而实现:对象检测模块,该对象检测模块被配置成用于:接受低水平数据,该低水平数据包括跨距离、距离变化率、方位角和仰角中的一个或多个维度的幅度信息,该幅度信息包括与至少一个对象相关联的反射能量的分布;从低水平数据内的幅度信息中提取与至少一个对象相关联的一个或多个特征;并且使用机器学习分析一个或多个特征,以确定与至少一个对象相关联的对象类别。
82.示例17:示例16的计算机可读存储介质,其中:低水平数据与距离变化率维度相关联;并且对象检测模块被配置成用于:
在提取一个或多个特征之前,过滤低水平数据以使低水平数据中与移动的多普勒块相关联的一部分通过;并且基于低水平数据的该部分来检测至少一个对象。
83.示例18:示例17的计算机可读存储介质,其中:低水平数据的该部分包括具有相应幅度的多个单元格;并且对象检测模块被配置成用于:选择性地:标识多个单元格中的、幅度大于多个单元格中的邻近单元格的幅度的相邻单元格,相邻单元格的幅度与邻近单元格的幅度之间的差异大于特定阈值;或者标识多个单元格中的、幅度大于或等于检测阈值的一个或多个单元格;生成轨迹数据以包括所述相邻单元格或所述一个或多个单元格;并且从轨迹数据中提取一个或多个特征。
84.示例19:示例17的计算机可读存储介质,其中对象检测模块被配置成用于:跨低水平数据的多个帧跟踪至少一个对象;并且基于对多个帧中的先前帧中的至少一个对象的检测,来检测多个帧中的当前帧中的至少一个对象。
85.示例20:示例19的计算机可读存储介质,其中对象检测模块被配置成用于:基于与先前帧相关联的低水平数据生成至少一个对象的第一轨迹,该第一轨迹包括具有相应的第一幅度的第一单元格;基于与当前帧相关联的低水平数据生成至少一个对象的第二轨迹,该第二轨迹包括具有相应的第二幅度的第二单元格;并且组合第一轨迹和第二轨迹,以提取与至少一个对象相关联的一个或多个特征。
86.虽然在前述描述中描述并且在附图中示出了本公开的各种实施例,但是应当理解,本公开不限于此,而是可以在接下来的权利要求的范围内以各种方式实施为实践。从前述描述中,将显而易见的是,可以做出各种更改而不偏离由接下来的权利要求所限定的本公开的精神和范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1