一种用于对目标探测数据进行处理的方法、装置与流程

文档序号:15928959发布日期:2018-11-14 01:25阅读:207来源:国知局

本发明涉及目标检测及跟踪技术领域,尤其涉及一种用于对目标探测数据进行处理的方法、装置。

背景技术

自动驾驶或无人驾驶汽车,越来越受到人们的关注,各大整车厂以及科技互联网等公司都积极投入大量人力物力研发无人驾驶系统,期望早日实现无人驾驶汽车的量产。高级自动驾驶系统,一般由六大子系统组成:传感器系统、感知系统、定位系统、规划及决策系统、车辆控制系统和系统管理系统。传感器系统是车辆感知和定位的硬件基础,由该系统测量的各种环境原始信息(如运动车辆的距离、角度和速度,静止障碍物距离、角度和类别,道路标志和车道线等等),将会在感知系统和定位系统中,做进一步的处理,以得到可以用来进行规划和决策的信息。最终车辆控制系统将会利用规划和决策信息,对车辆进行实时控制,以达到预期车辆行驶目的。在自动驾驶系统中,因为其他子系统是基于环境感知系统的信息输出,所以该系统的表现,在整个自动驾驶系统中起着至关重要的作用。

环境感知系统利用各种传感器,获得车辆周围各种静止以及运动目标的信息。在对静止和运动目标的实时动态感知过程中,目标跟踪技术和多传感器数据融合技术起着关键性的作用,并且它们是相辅相成、不可分割的关系。

在目标跟踪和数据融合中,对同一目标的跟踪,在不同时间段可能需要融合不同数量、不同种类的传感器信息,因而需要目标跟踪和融合算法,对各种传感器具有很好的兼容性。

目前车上的一些目标跟踪和融合算法,都是针对特定数量或特定种类的传感器设计的,不利于车载传感器的选配,例如目前自动驾驶level2上的自适应巡航功能,就是通过前方传感器和前方单目摄像头融合实现的,对应的跟踪和融合算法的设计,就是针对这两种传感器的融合,如果现在需要实现更多功能而增加侧前方传感器,对应的算法就需要重新设计,不利于节约开发成本。



技术实现要素:

为了解决上述技术问题,本发明提出了一种用于对目标探测数据进行处理的方法及装置,具体地,

一方面提供了一种用于对目标探测数据进行处理的方法,所述方法包括:

在检测到多个传感器对目标进行同时探测时,依次对多个传感器的探测过程进行处理,包括:

对多个传感器中当前传感器的探测过程进行处理,包括:

将当前传感器的探测信息与前一传感器输出的航迹进行关联,得到关联信息;

利用所述关联信息对所述航迹的航迹信息进行更新,

对更新后的航迹信息进行航迹管理,

将下一个传感器更新为当前传感器,并进行探测过程的处理;

在当前传感器为多个传感器中用于探测的最后一个传感器,且在最后一个传感器探测过程处理结束后输出对所述目标的最终处理数据。

进一步地,所述依次对多个传感器的探测过程进行处理,还包括:

在当前传感器为多个传感器中用于探测的第一个传感器时,则对第一个传感器探测过程进行处理;包括:

根据所述目标的上一帧航迹信息预测当前帧的航迹,

将所述第一个传感器的探测信息与预测得到的航迹进行关联,得到关联信息;

利用所述关联信息对预测得到的航迹的航迹信息进行更新,

对更新后的航迹信息进行航迹管理。

进一步地,所述将当前传感器的探测信息与前一传感器输出的航迹进行关联,得到关联信息;包括:

获取当前传感器的多个探测信息,以及前一传感器输出的航迹;

获取每个探测信息对应计算出的马氏距离,并得出最小马氏距离值;

将所述航迹与所述最小马氏距离值对应的探测信息相关联,所述最小马氏距离值对应的探测信息为关联信息。

进一步地,

所述航迹管理包括对航迹进行初始化、合并和删除;

所述对航迹进行初始化是为剩余的探测数据确定出对应的航迹;所述对航迹进行合并是将当前时刻的航迹信息中,与前一时刻的航迹信息相同的航迹进行合并。

进一步地,所述根据所述目标的上一帧航迹信息预测当前帧的航迹,之前包括:

为所述目标分配一个身份标识符,所述身份标识符用于代表所述目标的航迹。

另一方面提供了一种用于对目标探测数据进行处理的装置,所述装置包括:

所述装置包括:多雷达探测处理模块和探测数据输出模块;

所述多雷达探测处理模块,用于在检测到多个传感器对目标进行同时探测时,依次对多个传感器的探测过程进行处理;

所述多雷达探测处理模块包括当前传感器处理单元和传感器更新单元;所述当前传感器处理单元包括:

前一传感器航迹关联子单元,用于将当前传感器的探测信息与前一传感器输出的航迹进行关联,得到关联信息;

第一更新子单元,用于利用所述关联信息对所述航迹的航迹信息进行更新,

第一航迹管理子单元,用于对更新后的航迹信息进行航迹管理;

所述传感器更新单元,用于将下一传感器更新为当前传感器,并进行探测过程的处理;

所述探测数据输出模块,用于在当前传感器为多个传感器中用于探测的最后一个传感器,且在最后一个传感器探测过程处理结束后输出对所述目标的最终处理数据。

进一步地,所述多雷达探测处理模块,还包括:

第一传感器处理单元,用于在当前传感器为多个传感器中用于探测的第一个传感器时,则对第一个传感器探测过程进行处理;

所述第一传感器处理单元包括:

航迹预测子单元,用于根据所述目标的上一帧航迹信息预测当前帧的航迹,

预测航迹关联子单元,用于将所述第一个传感器的探测信息与预测得到的航迹进行关联,得到关联信息;

第二更新子单元,用于利用所述关联信息对预测得到的航迹的航迹信息进行更新,

第二航迹管理子单元,用于对更新后的航迹信息进行航迹管理。

进一步地,所述前一传感器航迹关联子单元,包括:

探测信息航迹获取子单元,用于获取当前传感器的多个探测信息,以及前一传感器输出的航迹;

最小探测距离获取子单元,用于获取每个探测信息对应计算出的马氏距离,并得出最小马氏距离值;

最小探测距离关联子单元,用于将所述航迹与所述最小马氏距离值对应的探测信息相关联,所述最小马氏距离值对应的探测信息为关联信息。

进一步地,所述航迹管理包括对航迹进行初始化、合并和删除;

所述对航迹进行初始化是为剩余的探测数据确定出对应的航迹;所述对航迹进行合并是将当前时刻的航迹信息中,与前一时刻的航迹信息相同的航迹进行合并。

进一步地,所述多雷达探测处理模块,还包括:

身份分配单元,用于为所述目标分配一个身份标识符,所述身份标识符用于代表所述目标的航迹。

本发明提供的一种用于对目标探测数据进行处理的方法、装置具有的有益效果为:

本发明在检测到多个传感器对目标进行同时探测时,依次对多个传感器的探测过程进行处理;在当前传感器为多个传感器中用于探测的最后一个传感器,且在最后一个传感器探测过程处理结束后输出对所述目标的最终处理数据;其中,多个传感器中当前传感器探测过程的处理方法包括:将当前传感器的探测信息与前一传感器输出的航迹进行关联,得到关联信息;利用所述关联信息对所述航迹的航迹信息进行更新,对更新后的航迹信息进行航迹管理。

本发明对多个触感器的探测过程的处理属于数据融合的过程,通过采用序贯式融合方式进行有次序、分批次的处理,避免了现有技术因为传感器数量或种类的改变导致算法无法正常工作的问题。

本发明通过这种有次序分批次的序贯式融合方式,使得算法对各个传感器数据的处理相对独立,相比于所有数据一起处理,运算效率得到提升。

并且,本发明对传感器的数量和种类没有限制,具有高度兼容性,便于车辆传感器的选配;进一步地,在某个传感器失效时,并不影响整个系统的工作。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种用于对目标探测数据进行处理方法的主要流程图;

图2本发明实施例提供的多个传感器中当前传感器探测过程的处理方法流程图;

图3是本发明实施例提供的将当前传感器的探测信息与前一传感器的航迹进行关联步骤的方法流程图;

图4是本发明实施例提供的对第一个传感器探测过程进行处理方法流程图;

图5是本发明实施例提供的在超车的场景下五个毫米波雷达的探测示意图;

图6是根据图5将前方车辆对后方车辆的跟踪可以分为五个阶段的示意图;

图7是本发明实施例提供的单个雷达的跟踪算法对探测数据的处理流程图;

图8是本发明实施例提供的以侧后方右毫米波雷达rsrr和侧后方左毫米波雷达rsrl为例对融合算法对探测数据的处理流程图;

图9是本发明实施例提供的一种用于对目标探测数据进行处理的装置结构图;

图10是本发明实施例提供的另一种用于对目标探测数据进行处理的装置结构图;

图11是本发明实施例提供的前一传感器航迹关联子单元结构组成图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

需要说明的是,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

现有的目标跟踪和数据融合算法,是针对特定数量和特定种类的传感器而设计。当需要融合的传感器数量改变,或传感器的种类改变,现有的融合算法便无法正常工作。这是因为现有算法是集中式融合各个传感器的信息,即所有传感器的信息都输入到融合中心,并且得到同时处理,在算法的设计上,来自各个传感的信息相互关联,导致增加或减少传感器的数量,或更改传感器种类,算法没法有效识别到增加或减少的信息,进而导致算法没法正常工作。

所以,本发明提出了一种序贯式的目标跟踪和融合方案,当各个传感器的信息输入到车辆的信息融合中心(车辆融合中心或车辆域控制器)后,该算法并不是对这些信息进行统一处理,而是有次序、分批次的处理;这样能够避免因为传感器数量或种类的改变,导致算法无法正常工作的问题。

具体地,本发明实施例提出了一种用于对目标探测数据进行处理的方法,如图1所示,所述方法包括:

s202.在检测到多个传感器对目标进行同时探测时,依次对多个传感器的探测过程进行处理,包括:

对多个传感器中当前传感器的探测过程进行处理,如图2所示,包括:

s402.将当前传感器的探测信息与前一传感器输出的航迹进行关联,得到关联信息;

进一步地,步骤s402中,将当前传感器的探测信息与前一传感器的航迹进行关联,得到关联信息;如图3所示,包括:

s602.获取当前传感器的多个探测信息,以及前一传感器的航迹;

其中,在获取传感器的航迹的同时也就获取了当前传感器的航迹信息;传感器的航迹用于表示探测目标的运动轨迹,航迹信息包括目标的位置、速度、加速度等信息。

s604.获取每个探测信息对应计算出的马氏距离,并得出最小马氏距离值;

s606.将所述航迹与所述最小马氏距离值对应的探测信息相关联,所述最小马氏距离值对应的探测信息为关联信息。

其中,马氏距离是一种有效的计算两个未知样本集的相似度的方法。它考虑到各种特性之间的联系(例如:一条关于身高的信息会带来一条关于体重的信息,因为两者是有关联的),并且是尺度无关的(scale-invariant),即独立于测量尺度。探测信息为z,x具有均值为x、协方差矩阵为p的多变量向量,则马氏距离为d=(z-x)'p-1(z-x)。

给与举例说明,例如前一传感器具有a航迹,同时当前传感器具有4个探测信息(传感器测量)z1、z2、z3和z4;四个测量对应会计算出马氏距离d1、d2、d3和d4;

如果给定给出探测信息(比如位置坐标)以及航迹信息的均值航迹信息的协方差则根据马氏距离公式得到:

d1=(z1-x)'p-1(z1-x)=5.2615

d2=(z2-x)'p-1(z2-x)=4.0770

d3=(z3-x)'p-1(z3-x)=7.3372

d4=(z4-x)'p-1(z4-x)=17.3549

如上述的例子所示,如果比较得出距离d2最小,说明d2对应的探测信息属于当前目标信息,则将航迹a和上述探测信息中的z2测量关联。

需要说明的是,探测信息指的是传感器测量;航迹信息指的是对连续时间上获得的传感器测量处理后的信息,其中因为每一帧都会收到一个传感器或多个传感器的测量信息,而航迹从上一帧到下一帧不会中断,因此需要连续处理每一帧获得的测量。

s404.利用所述关联信息对所述航迹的航迹信息进行更新,

具体地,可以利用卡尔曼滤波算法对航迹信息的更新,比如利用卡尔曼滤波算法对目标的位置、速度、加速度等信息的更新。

s406.对更新后的航迹信息进行航迹管理;

具体地,所述航迹管理包括对航迹进行初始化、合并和删除;

所述对航迹进行初始化是为剩余的探测数据确定出对应的航迹;所述对航迹进行合并是将当前时刻的航迹信息中,与前一时刻的航迹信息相同的航迹进行合并。其中,有些被跟踪目标的对应航迹,在被跟踪目标消失后,需要将它的航迹删除,以防止干扰其他航迹,影响后续数据的处理。

s204.在当前传感器为多个传感器中用于探测的最后一个传感器,且在最后一个传感器探测过程处理结束后输出对所述目标的最终处理数据。

进一步地,所述依次对多个传感器的探测过程进行处理,还包括:

在当前传感器为多个传感器中用于探测的第一个传感器时,则对第一个传感器的探测过程进行处理;如图4所示,包括:

s802.根据所述目标的上一帧航迹信息预测当前帧的航迹,

s804.将所述第一个传感器的探测信息与预测得到的航迹进行关联,得到关联信息;

s806.利用所述关联信息对预测得到的航迹的航迹信息进行更新,

具体地,对航迹信息的更新,例如目标位置、速度、加速度等信息的更新,该过程通常需要用到卡尔曼滤波算法进行信息的更新。

s808.对更新后的航迹信息进行航迹管理。

对应地,步骤s804中,将所述第一个毫米波雷达的探测信息与预测得到的航迹进行关联,得到关联信息;包括:

获取所述第一个毫米波雷达的多个探测信息;

获取每个探测信息对应计算出的马氏距离,并得出最小马氏距离值;

将预测得到的航迹与所述最小马氏距离值对应的探测信息相关联。

进一步地,所述根据所述目标的上一帧航迹信息预测当前帧的航迹,之前包括:

为所述目标分配一个身份标识符,所述身份标识符用于代表所述目标的航迹。

需要说明的是,在检测到单一传感器对目标进行探测时,则对所述单一传感器的探测过程的处理方法,与对多个传感器的第一个传感器处理方法相似,在最后进行对更新后的航迹信息进行航迹管理之后,将得到的处理数据输出,该探测数据就是所述单一传感器对目标的处理数据。

针对本发明实施例给与具体的举例说明:

如图5所示,现以车载的五个毫米波雷达为例,当红色车辆超越黑色车辆时,提出的方法是能够实现对它的跟踪以及数据融合。

其中,五个毫米波雷达分别指:

前方毫米波雷达(flr,红色探测区域)、侧前方左毫米波雷达(fsrl,绿色探测区域)、侧前方右毫米波雷达(fsrr,绿色探测区域)、侧后方左毫米波雷达(rsrl,橙色探测区域)和侧后方右毫米波雷达(rsrr,橙色探测区域)。

如图6所示,图中虚线的起始点为后方车辆所在的位置,后方车辆从前方车辆的左方进行超车;其中后方车辆在超赶前方车辆过程中,前方车辆对后方车辆的跟踪可以分为五个阶段:

第一阶段是rsrl(侧后方左)和rsrr(侧后方右)的融合跟踪;

第二阶段是rsrl(侧后方左)的跟踪;

第三阶段是rsrl(侧后方左)和fsrl(侧前方左)的融合跟踪;

第四阶段是fsrl(侧前方左)的跟踪;

最后阶段是fsrl(侧前方左)、fsrr(侧前方右)和flr(前方)的融合跟踪。

每个阶段,各个雷达都将原始探测数据发送到跟踪及数据融合中心(trackinganddatafusioncenter)进行处理。在这个过程中,既有单一雷达的跟踪,例如第二、四阶段;也有多雷达的融合跟踪,例如第一、三、五阶段。

由于融合算法是在目标跟踪算法的基础上完成的,下面以单个雷达为例,说明跟踪算法是如何实现对目标的连续跟踪。

如图7所示,跟踪算法对雷达测量的处理主要分为四个部分:

航迹预测(trackprediction)、数据关联(dataassociation)、卡尔曼滤波(kalmanfilter)和航迹管理(trackmanagement);其中,雷达探测(radardetection)将当前雷达探测到的探测数据传输给数据关联(dataassociation)、卡尔曼滤波(kalmanfilter),为数据关联和航迹信息的数据更新做准备。

对于每个被跟踪的目标,跟踪算法都会分配一个id,每个id代表了目标对应的航迹;

航迹管理模块(trackmanagement)就是对些id代表的航迹进行管理,例如航迹初始化、航迹合并等等;

航迹预测(trackprediction)需要将上一个时刻目标的航迹信息,通过建立的系统模型预测到当前时刻;

当收到雷达的探测信息后,第一步需要做的是将航迹和雷达测量(探测数据)进行关联,得到关联信息;即数据关联;

接下来就是用关联后的测量,对目标的航迹信息进行更新,例如目标位置、速度、加速度等信息的更新,该过程通常需要用到卡尔曼滤波算法(kalmanfilter);

其中,卡尔曼滤波的时间更新公式为:

卡尔曼滤波的状态更新公式为:

这里的z是传感器测量信息;x是航迹信息的均值,为更新后的航迹信息的均值,为预测的航迹信息的均值;p是航迹信息的均值对应的协方差;x和p属于航迹信息;k是卡尔曼增益;上述公式中的a、q、h、r均为已知参数,

在初始时刻,传感器初始探测信息z0用来初始化航迹信息x0,比如z0可能只有位置信息,但是x0可能有位置和速度信息。

具体地,本实施例中如果给出初始时刻航迹信息的均值为则利用公式(1)得到下一时刻的预测信息的均值其中,航迹信息的均值包括位置信息和速度信息;因为坐标系有x轴和y轴,目标的运动也是可以分解到这两个方向上的;目标的实际运动位置和运动速度,可以看作是这两个方向上的合位移和合速度。

本实施例中可以利用公式(5)以及已知参数,将公式(5)中的k换为k-1可以求得

利用求得的公式(2)和已知参数,可以求得

和已知参数带入公式(3),求得

如果给定k时刻的探测数据则在将kk和带入公式(4)中,最终得到

其中,因为p是航迹信息的均值x对应的协方差,所以由也能够得到协方差

当目标对应的航迹更新后,需要对更新后的航迹再次进行航迹管理,以便能够输出所需要的各种信息。需要说明的是,每个传感器的数据被处理完后,要进行一次航迹管理。

在单个传感器对目标的跟踪基础之上,序贯式融合算法将每个需要融合的雷达测量数据,按顺序处理,下面以rsrr和rsrl两个雷达的数据融合为例。

如图8所示,当rsrr雷达的数据用跟踪算法处理后,会进行第一次航迹管理,此时不会直接输出航迹信息,而是在此基础之上,将更新后的航迹,与rsrl雷达测量进行数据关联,其中没有航迹预测的过程。

当数据关联之后,用卡尔曼滤波算法对每条航迹再次进行更新,更新之后的航迹需要再次进行航迹管理,之后便可输出所需要的目标信息。

以上便是该发明提出的多传感器序贯式目标跟踪及数据融合方法。

本发明实施例还提供了一种用于对目标探测数据进行处理的装置,如图9所示,所述装置包括:

多雷达探测处理模块202,用于在检测到多个传感器对目标进行同时探测时,依次对多个传感器的探测过程进行处理;

所述多雷达探测处理模块202包括当前传感器处理单元302和传感器更新单元304;

所述当前传感器处理单元302包括:

前一传感器航迹关联子单元402,用于将当前传感器的探测信息与前一传感器输出的航迹进行关联,得到关联信息;

第一更新子单元404,用于利用所述关联信息对所述航迹的航迹信息进行更新,

第一航迹管理子单元406,用于对更新后的航迹信息进行航迹管理;

所述传感器更新单元304,用于将下一传感器更新为当前传感器,并进行探测过程的处理;

探测数据输出模块204,用于在当前传感器为多个传感器中用于探测的最后一个传感器,且在最后一个传感器探测过程处理结束后输出对所述目标的最终处理数据。

进一步地,所述多雷达探测处理模块202,还包括:

第一传感器处理单元306,用于在当前传感器为多个传感器中用于探测的第一个传感器时,则对第一个传感器探测过程进行处理;

所述第一传感器处理单元306,如图10所示,包括:

航迹预测子单元602,用于根据所述目标的上一帧航迹信息预测当前帧的航迹,

预测航迹关联子单元604,用于将所述第一个传感器的探测信息与预测得到的航迹进行关联,得到关联信息;

第二更新子单元606,用于利用所述关联信息对预测得到的航迹的航迹信息进行更新,

第二航迹管理子单元608,用于对更新后的航迹信息进行航迹管理。

进一步地,如图11所示,所述前一传感器航迹关联子单元402,包括:

探测信息航迹获取子单元802,用于获取当前传感器的多个探测信息,以及前一传感器的航迹;

最小探测距离获取子单元804,用于获取每个探测信息对应计算出的马氏距离,并得出最小马氏距离值;

最小探测距离关联子单元806,用于将所述航迹与所述最小马氏距离值对应的探测信息相关联,所述最小马氏距离值对应的探测信息为关联信息。

进一步地,所述航迹管理包括对航迹进行初始化、合并和删除;

所述对航迹进行初始化是为剩余的探测数据确定出对应的航迹;所述对航迹进行合并是将当前时刻的航迹信息中,与前一时刻的航迹信息相同的航迹进行合并。

进一步地,所述多雷达探测处理模块,还包括:

身份分配单元,用于为所述目标分配一个身份标识符,所述身份标识符用于代表所述目标的航迹。

本发明提供的一种用于对目标探测数据进行处理的方法、装置具有的有益效果为:

本发明在检测到多个传感器对目标进行同时探测时,依次对多个传感器的探测过程进行处理;在当前传感器为多个传感器中用于探测的最后一个传感器,且在最后一个传感器探测过程处理结束后输出对所述目标的最终处理数据;其中,多个传感器中当前传感器探测过程的处理方法包括:将当前传感器的探测信息与前一传感器的航迹进行关联,得到关联信息;利用所述关联信息对所述航迹的航迹信息进行更新,对更新后的航迹信息进行航迹管理。通过本发明将多个传感器对目标的探测数据进行融合(序贯式融合方式),并进行有次序、分批次的处理,能够避免现有技术因为传感器数量或种类的改变导致算法无法正常工作的问题。通过这种有次序分批次的序贯式融合方式,使得算法对各个传感器数据的处理相对独立,相比于所有数据一起处理,运算效率得到提升。

并且,本发明对传感器的数量和种类没有限制,具有高度兼容性,便于车辆传感器的选配;进一步地,在某个传感器失效时,并不影响整个系统的工作。

本发明中所述模块/单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。可以根据实际的需要选择其中的部分或者全部模块/单元来达到实现本发明方案的目的。

另外,在本发明各个实施例中的各模块/单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1