本发明涉及一种高级辅助驾驶系统(adas),尤其是涉及一种用于高级辅助驾驶系统(adas)中的多传感器数据融合方法。
背景技术:
高级辅助驾驶系统(adas)是通过多源传感器数据融合(informationfusion),为用户打造稳定、舒适、可靠可依赖的辅助驾驶功能,如车道保持系统(lanekeepingassist,lka)、前碰预警(forwardcollisionwarning,fcw)、行人碰撞警告(pedestriancollisionwarning,pcw)、车距监测报告(headmonitoringandwarning,hmw)、紧急制动(aeb)、自适应巡航、自动泊车(aps)等。这些多源数据融合,目的在于数据信息的冗余为数据信息的可靠分析提供依据,从而提高准确率,降低虚警率和漏检率,实现辅助驾驶系统的自检和自学习,最终实现智能驾驶、安全驾驶的最终目标。
多传感器数据融合就是获得不同传感器和传感器种类的输入内容,并且使用组合在一起的信息来更加准确地感知周围的环境。使用不同的传感器,各自对应着不同的工况环境和感知目标。例如:工作在可见光谱范围内的摄像头在浓雾、下雨、刺眼阳光和光照不足的情况下会出现识别故障。而雷达缺少目前成像传感器所具有的高分辨率。毫米波雷达主要识别前向中远距离障碍物(0.5米-150米),如路面车辆、行人、路障等。超声波雷达主要识别车身近距离障碍物(0.2米-5米),如泊车过程中的路沿、静止的前后车辆、过往的行人等信息。两者协同作用,互补不足,通过测量障碍物角度、距离、速度等数据融合,刻画车身周边环境和可达空间范围。相对于独立系统,这样可以做出更好、更安全的决策。数据融合充分利用了不同时间与空间的多传感器数据资源,采用计算机技术按时间序列获得多传感器的观测数据,在一定准则下进行分析、综合、支配和使用。获得对被测对象的一致性解释与描述,进而实现相应的决策和估计,使系统获得比它各组成部分更为充分的信息。
而目前现有数据融合基本架构采用为传感器并联形式,也即将所有传感器测量结果信号预处理后进行目标相关,将相关目标进行数据融合(见图2);图2中各传感器是指毫米波雷达、图像传感器和激光雷达等传感器;各传感器主要作用是识别并测量周围目标实体,目标实体包括车辆周围静止和运动车辆、行人等。图2中各信号处理模块50是实现对传感器20对目标实体测量信息进行滤波、坐标转换以及时间同步等处理;图2中相关数据计算和决策模块10是对图2中对应的各不同传感器测量的所有目标实体判断是不是同一目标源,所使用的常用算法有最邻近法和jpda等算法,并作虚警等判断。
图2中数据融合计算模块40就是将不同传感器测量的数据关联的目标的测量参数进行数据融合;常用的数据融合计算有:贝叶斯统计理论,神经网络技术,以及卡尔曼滤波方法。
现有多传感器数据融合架构方法不足之处在于:一是不同传感器测量结果需要同步在同一时刻,然后进行相关处理和数据融合,二是只利用当前传感器的测量结果融合,而对于历史测量结果丢弃,测量结果精度较低而且虚警率高,容易漏掉目标实体,也即漏警。虚警率和漏警对于高级辅助驾驶系统adas则是非常不利,所以在数据融合过程中,必须降低虚警率和漏警。
技术实现要素:
本发明为解决现有用于高级辅助驾驶系统中的多传感器数据融合方法存在着不同传感器测量结果需要同步在同一时刻,然后进行相关处理和数据融合;虚警率和漏警现象比较多等现状而提供的一种可以降低虚警率和漏警现象,提高测量精度的用于高级辅助驾驶系统的多传感器数据融合方法。
本发明为解决上述技术问题所采用的具体技术方案为:一种用于高级辅助驾驶系统的多传感器数据融合方法,包括数据计算与决策模块、多个传感器、多个信号处理模块和数据融合计算模块,其特征在于:还包括预算计算模块和多个传感器选择开关,所述预算计算模块为目标实体根据上一时刻数据融合后的状态预测当时时刻状态,预算计算模块将所述的多个传感器观测到多个目标实体与预测计算的多个目标实体进行关联判断,判断所有出现目标实体是真实实体还是虚警,若是虚警,就剔出掉;多个传感器选择开关分别对应设置于每个传感器与其对应的每个信号处理模块之间,如果多个传感器中任何一个输出测量结果,则该传感器被选中,与之相对应的传感器选择开关也随之闭合,进行一次数据融合过程;在数据融合过程中只选择一个传感器,如果多个传感器同时有测量结果输出,顺序进行多次数据融合,如此循环,将所有传感器测量结果进行融合。可以降低虚警率和漏警现象,提高测量精度。本发明为高级辅助驾驶和自动驾驶提供一种多传感器数据融合方法,该方法可以降低雷达虚警率和漏警现象,提高目标测量精度。
作为优选,在进行融合前,先确定数据融合所使用的坐标系,坐标系采用车体坐标系,在本车辆的车体上安装所有传感器,并将传感器安装在车体多个不同位置上,将坐标系的坐标原点定在车辆最前部中心位置,车辆前向为x正,左侧为y正;在此坐标系下建立目标实体状态方程和观测方程。
状态方程描述了目标的运动状态,为多传感器数据融合提供基础。
作为优选,所述的关联判断结果有包括如下情况:一是传感器一次测量得到的目标实体与预测计算目标实体相关,即两种目标实体是同一目标实体源;二是传感器测量得到的目标实体在预测计算中找不到相关的目标实体;三是预测计算的目标实体在传感器测量中得不到相关目标实体;所述的第二、第三种情况可能是新目标实体或虚警;因此预算计算模块第二个任务就是判断所有出现目标实体是真实实体还是虚警,如果是虚警,就剔出掉。
关联是数据融合一个关键过程,是把传感器测量到的目标与原来的测量目标相比较,是否为同一目标。
作为优选,所述的目标实体状态方程为离散状态方程,离散状态方程采用为:
上标i为目标实体编号i=1、2、…;
下标k为当前时刻,k-1为k前一时刻;
t表示矩阵转置;
fk-1为目标实体运动状态矩阵;
本案状态矩阵如下:
其中:|δt为时间间隔,可以为k和k-1时间间隔;
均值
协方差
qk噪声方差矩阵
δt为时间间隔;
σvx为x方向速度噪声方差;
σvy为y方向速度噪声方差;
σax为x方向加速度噪声方差;
σay为y方向加速度噪声方差;
本案认为加速度不变,变化量为噪声,其方差σaxσay。
δln是克罗内克函数
下标l,n代表l和n时刻。
本案描述的目标实体的测量参数是指传感器对周围目标识别并得到的测量参数,不同传感器测量参数不一样。
比如:图像传感器,对目标实体测量参数矩阵表示为
其中:
上标c为图像传感器测量目标实体c=1、2…;
下标k为当前时刻;
t表示矩阵转置;
对于毫米波雷达的目标实体测量参数矩阵表示为
上标r为图像传感器测量目标实体r=1、2…;
下标k为当前时刻;
本案建立目标实体测量参数与目标实体状态变量关系方程如下:
其中:
上标j为传感器编号j=1、2、...,m;m为传感器数量;
上标i为目标实体编号i=1、2、3...;
下标k为当前时刻;
对于毫米波雷达为
均值:
协方差:cov(vi,vn)=rjδln(2.5)
rj为传感器j测量噪声矩阵,不同传感器测量噪声矩阵不同,
δln是克罗内克函数
l,n代表l和n时刻;
测量矩阵是建立传感器测量结果与状态变量关系的矩阵。
作为优选,所述的预算计算模块的预测计算包括对已有目标实体参数预测,目标实体参数预测包括状态变量预测和协方差预测;状态预测方程如下:
其中:
上标i为目标实体编号i=1、2、…;
下标k为当前时刻,k-1为k前一时刻;
fk-1为目标实体运动状态矩阵,目标实体运动状态矩阵定义公式同权利要求4的公式(1.3)相同;
协方差的预测方程描述如下:
上标i为目标实体编号i=1、2、...;
下标k为当前时刻;
下标k-1为k前一时刻;
t为矩阵转置;
qk为噪声方差矩阵,同噪声方差矩阵同上述技术方案的公式(1.7)相同。
作为优选,所述的多个传感器中的编号为传感器1、传感器2、…传感器m分别为包括毫米波雷达、图像传感器、激光雷达和超声波雷达中的一个或多个,用于识别目标实体并得到的目标实体的测量参数;传感器的目标实体测量值包括:目标实体的位置坐标、速度、目标实体到传感器的距离、类型以及识别置信度信息中一种或多种;每个传感器的一次测量可以识别多个目标实体以及多个目标实体的测量值。
作为优选,所述的多个信号处理模块的信号处理包括为将传感器测量结果进行滤波、坐标转换和时间同步处理,信号处理后得到的每个目标实体测量矩阵
其中:
上标j为传感器编号j=1、2、...,m;m为传感器数量;
上标i为目标实体编号i=1、2、3...;
下标k为当前时刻;
作为优选,所述的数据计算与决策模块的数据计算与决策过程为:一个传感器当前时刻可以识别多个目标实体,并对每个目标实体给出测量参数也即测量参数矩阵,通过前多个时刻多次传感器测量,预测当前时刻有多个目标实体,数据计算建立起传感器当前时刻测量的多个目标实体与预测的多个目标实体关联关系,判断确定它们是否有一个目标源;确定使用的关联方法如下:
假设一个传感器测量的目标实体为ci,预测的目标实体为a;
1)建立传感器测量的目标实体ci与预测的目标实体aj的关联矩阵dij;
下标i为传感器测量的目标实体编号,i=1、2、3...m;m为传感器测量的目标实体数量;
下标j为预测的目标实体编号,j=1、2、3...n;n预测的目标实体数量;
dij是关联矩阵中每个(ci,aj)关联的度量,是ci与aj接近程度的度量或称相似性度量;称为关联度,关联度关系表示如下表:
其中dij计算是根据多个描述目标实体的特征综合得到,这些特征包括距离、速度差、以及类别传感器能够测量得到的参数;类别传感器包括大型车、中型车、小型车、人以及人力车所使用的多个传感器;
本案的目标实体相关判定原则如下:
1)如果dij>dmax表示(ci,aj)不相关,dmax为关联度阈值;
2)一个传感器测量的目标实体只能与一个预测的目标实体相关联;
3)上表中,对于每个预测目标实体aj,对应的列中,关联度最小所对应的传感器测量的目标实体相关;
通过上述原则以及相关度dij值可以找出相关联的目标实体(ci,aj);
经过上述关联计算最后得到以下结果:
1)传感器测量的目标实体有一个预测目标实体与之对应,即属于同一目标源,则该目标实体测量参数是预测目标实体新的测量值;
2)传感器测量的目标实体,没有预测的目标实体与之相关,则可能是新目标,也可能是虚警.通过目标实体决策判定;
3)预测的目标实体中没有传感器测量的目标实体与之相关,可能是传感器漏掉,也可能是由噪声、干扰等产生,也是通过目标实体决策确定;
本案给出目标实体决策方法是通过计算其目标实体的置信度,决定是虚警还是实体;
目标置信度计算如下:
1)识别并测量目标实体的所有传感器;
2)识别并测量目标实体的传感器给出的置信度;
3)目标实体被传感器识别时距离当前时刻的时间;
其中:上标j为传感器编号i=1、2、…;
上标i为目标实体编号j=1、2、…、m;
k为当前时刻;
k-n为k前n的时刻n=0、1、2、…;
当bj>by时作为实体目标存在;
当bj<bn时作为虚警,消除目标实体;
在by<bj<bn时候,无法判断,保留目标参数,后续观测待确认;
其中:by为确定目标实体的阀值;
bn为确定目标虚警的阀值;
由于是多传感器多次测量结果进行的决策,大大降低虚警率。
作为优选,所述的数据融合计算模块所采用的数据融合计算如下;
根据关联计算和决策,得到三类结果并分别处理;
1)传感器测量的目标实体有一个预测目标实体与之对应,即属于同一目标源,则该目标实体测量参数是预测目标实体新的测量值;
数据融合计算方法经过如下三个方程:
第一步为增益计算:
第二步为状态变量参数最优估计
第三步为协方差估计
上述式(6.1)、式(6.2)、式(6.3)的各符号解释如下:
其中:下标k表示当前时刻,k-1为当前的前一时刻
上标i关联的目标实体编号i=1、2、…;
上标j为传感器编号j=1、2、…、m;m为传感器数量;
t表示矩阵转置;
rj为传感器j测量噪声矩阵,同上述技术方案中的公式(2.3);
2)传感器测量的目标实体,没有预测的目标实体与之相关,则可能是新目标,也可能是虚警;先按目标实体处理,经过多次测量才决策是否为实体;
需要目标实体状态变量参数初始矩阵和协方差初始矩阵,初始矩阵确定是根据传感器测量的目标实体和传感器特性确定;
3)预测的目标实体中没有传感器测量的目标实体与之相关,可能是传感器漏掉识别,称为漏警;也可能是移出传感器测量范围,还有可能是虚警,也是通过目标实体决策确定;
通过决策后去掉虚警和已经不在观测范围的目标实体,对于漏警即遗漏的目标实体进行如下计算;
遗漏目标实体状态变量参数矩阵和协方差矩阵为预测的状态变量参数矩阵和协方差矩阵;待以后观测结果,如果多次未观测到,为虚警去掉;如果有传感器观测到该目标实体则进行数据融合计算。
作为优选,所述的传感器选择开关指对应传感器的选择,传感器选择开关包括k1开关、k2开关、...km开关;如果传感器中任何一个输出测量结果,该传感器被选中,与其对应的传感器选择开关闭合,进行一次数据融合过程;在一次数据融合中只选择一个传感器,如果多个传感器同时有测量结果,顺序进行多次融合;每次融合结果作为进入下次融合的预测计算,如此循环,可以将所有传感器测量结果进行数据融合.得到最优估计。
本发明的有益效果是:可以降低虚警率和漏警现象,提高测量精度。可以将所有传感器测量结果进行融合.决策过程不仅利用所有传感器测量结果作为决策依据,还要将历史多次结果作为依据.提高精度,降低虚警率和漏警率。
附图说明:
下面结合附图和具体实施方式对本发明做进一步的详细说明。
图1是本发明用于高级辅助驾驶系统的多传感器数据融合方法的融合方法示意图。
图2是现有技术中用于高级辅助驾驶系统的多传感器数据融合方法的融合方法示意图。
具体实施方式
图1所示的实施例中,一种用于高级辅助驾驶系统的多传感器数据融合方法,包括数据计算与决策模块10、多个传感器20、多个信号处理模块50和数据融合计算模块40,还包括预算计算模块30和多个传感器选择开关60,所述预算计算模块为目标实体根据上一时刻数据融合后的状态预测当时时刻状态,预算计算模块将所述的多个传感器观测到多个目标实体与预测计算的多个目标实体进行关联判断,判断所有出现目标实体是真实实体还是虚警,若是虚警,就剔出掉;多个传感器选择开关分别对应设置于每个传感器与其对应的每个信号处理模块之间,如果多个传感器中任何一个输出测量结果,则该传感器被选中,与之相对应的传感器选择开关也随之闭合,进行一次数据融合过程;在数据融合过程中只选择一个传感器,如果多个传感器同时有测量结果输出,顺序进行多次数据融合,如此循环,将所有传感器测量结果进行融合。多个传感器20包括传感器1#、传感器2#...传感器m#;多个信号处理模块50包括信号处理模块1#、信号处理模块2#...信号处理模块m#。
在进行融合前,先确定数据融合所使用的坐标系,坐标系采用车体坐标系,在本车辆的车体上安装所有传感器,并将传感器安装在车体多个不同位置上,将坐标系的坐标原点定在车辆最前部中心位置,车辆前向为x正,左侧为y正;在此坐标系下建立目标实体状态方程和观察方程。
关联判断结果有包括如下情况:一是传感器一次测量得到的目标实体与预测计算目标实体相关,即两种目标实体是同一目标实体源;二是传感器测量得到的目标实体在预测计算中找不到相关的目标实体;三是预测计算的目标实体在传感器测量中得不到相关目标实体;所述的第二、第三种情况可能是新目标实体或虚警;因此预算计算模块第二个任务就是判断所有出现目标实体是真实实体还是虚警,如果是虚警,就剔出掉。
目标实体状态方程为离散状态方程,离散状态方程采用为:
上标i为目标实体编号i=1、2、…;
下标k为当前时刻,k-1为k前一时刻;
t表示矩阵转置;
fk-1为目标实体运动状态矩阵;本案状态矩阵如下:
其中:|δt为时间间隔,可以为k和k-1时间间隔;
均值
协方差
qk噪声方差矩阵
δt为时间间隔;
σvx为x方向速度噪声方差;
σvy为y方向速度噪声方差;
σax为x方向加速度噪声方差;
σay为y方向加速度噪声方差;
本案认为加速度不变,变化量为噪声,其方差σaxσay。
δln是克罗内克函数
下标l,n代表l和n时刻。
本案描述的目标实体的测量参数是指传感器对周围目标识别并得到的测量参数,不同传感器测量参数不一样。
比如:图像传感器,对目标实体测量参数矩阵表示为
其中:
上标c为图像传感器测量目标实体c=1、2…;
下标k为当前时刻;
t表示矩阵转置;
对于毫米波雷达的目标实体测量参数矩阵表示为
上标r为图像传感器测量目标实体r=1、2…;
下标k为当前时刻;
本案建立目标实体测量参数与目标实体状态变量关系方程如下:
其中:
上标j为传感器编号j=1、2、...,m;m为传感器数量;
上标i为目标实体编号i=1、2、3...;
下标k为当前时刻;
对于毫米波雷达为
均值:
协方差:cov(vi,vn)=rjδln(2.5)
rj为传感器j测量噪声矩阵,不同传感器测量噪声矩阵不同,
δln是克罗内克函数
l,n代表l和n时刻;
预算计算模块的预测计算包括对已有目标实体参数预测,目标实体参数预测包括状态变量预测和协方差预测;状态预测方程如下:
其中:
上标i为目标实体编号i=1、2、…;
下标k为当前时刻,k-1为k前一时刻;
状态变量矩阵与上述技术方案的公式(1.2)相同;
fk-1为目标实体运动状态矩阵,目标实体运动状态矩阵定义公式同权利要求4的公式(1.3)相同;
协方差的预测方程描述如下:
上标i为目标实体编号i=1、2、...;
下标k为当前时刻;
下标k-1为k前一时刻;
t为矩阵转置;
qk为噪声方差矩阵,同噪声方差矩阵同上述技术方案的公式(1.7)相同。
多个传感器中的编号为传感器1、传感器2、…传感器m分别为包括毫米波雷达、图像传感器、激光雷达和超声波雷达中的一个或多个,用于识别目标实体并得到的目标实体的测量参数;传感器的目标实体测量值包括:目标实体的位置坐标、速度、目标实体到传感器的距离、类型以及识别置信度信息中一种或多种;每个传感器的一次测量可以识别多个目标实体以及多个目标实体的测量值。
多个信号处理模块的信号处理包括为将传感器测量结果进行滤波、坐标转换和时间同步处理,信号处理后得到的每个目标实体测量矩阵
其中:
上标j为传感器编号j=1、2、...,m;m为传感器数量;
上标i为目标实体编号i=1、2、3...;
下标k为当前时刻;
数据计算与决策模块的数据计算与决策过程为:一个传感器当前时刻可以识别多个目标实体,并对每个目标实体给出测量参数也即测量参数矩阵,通过前多个时刻多次传感器测量,预测当前时刻有多个目标实体,数据计算建立起传感器当前时刻测量的多个目标实体与预测的多个目标实体关联关系,判断确定它们是否有一个目标源;确定使用的关联方法如下:
假设一个传感器测量的目标实体为ci,预测的目标实体为a;
1)建立传感器测量的目标实体ci与预测的目标实体aj的关联矩阵dij;
下标i为传感器测量的目标实体编号,i=1、2、3...m;m为传感器测量的目标实体数量;
下标j为预测的目标实体编号,j=1、2、3...n;n预测的目标实体数量;
dij是关联矩阵中每个(ci,aj)关联的度量,是ci与aj接近程度的度量或称相似性度量;称为关联度,关联度关系表示如下表:
其中dij计算是根据多个描述目标实体的特征综合得到,这些特征包括距离、速度差、以及类别传感器能够测量得到的参数;类别传感器包括大型车、中型车、小型车、人以及人力车所使用的多个传感器;
本案的目标实体相关判定原则如下:
1)如果dij>dmax表示(ci,aj)不相关,dmax为关联度阈值;
2)一个传感器测量的目标实体只能与一个预测的目标实体相关联;
3)上表中,对于每个预测目标实体aj,对应的列中,关联度最小所对应的传感器测量的目标实体相关;
通过上述原则以及相关度dij值可以找出相关联的目标实体(ci,aj);
经过上述关联计算最后得到以下结果:
1)传感器测量的目标实体有一个预测目标实体与之对应,即属于同一目标源,则该目标实体测量参数是预测目标实体新的测量值;
2)传感器测量的目标实体,没有预测的目标实体与之相关,则可能是新目标,也可能是虚警.通过目标实体决策判定;
3)预测的目标实体中没有传感器测量的目标实体与之相关,可能是传感器漏掉,也可能是由噪声、干扰等产生,也是通过目标实体决策确定;
本案给出目标实体决策方法是通过计算其目标实体的置信度,决定是虚警还是实体;
目标置信度计算如下:
1)识别并测量目标实体的所有传感器;
2)识别并测量目标实体的传感器给出的置信度;
3)目标实体被传感器识别时距离当前时刻的时间;
其中:上标j为传感器编号i=1、2、…;
上标i为目标实体编号j=1、2、…、m;
k为当前时刻;
k-n为k前n的时刻n=0、1、2、…;
当bj>by时作为实体目标存在;
当bj<bn时作为虚警,消除目标实体;
在by<bj<bn时候,无法判断,保留目标参数,后续观测待确认;
其中:by为确定目标实体的阀值;
bn为确定目标虚警的阀值;
由于是多传感器多次测量结果进行的决策,大大降低虚警率。
数据融合计算模块所采用的数据融合计算如下;
根据关联计算和决策,得到三类结果并分别处理;
1)传感器测量的目标实体有一个预测目标实体与之对应,即属于同一目标源,则该目标实体测量参数是预测目标实体新的测量值;
数据融合计算方法经过如下三个方程:
第一步为增益计算:
第二步为状态变量参数最优估计
第三步为协方差估计
上述式(6.1)、式(6.2)、式(6.3)的各符号解释如下:
其中:下标k表示当前时刻,k-1为当前的前一时刻
上标i关联的目标实体编号i=1、2、…;
上标j为传感器编号j=1、2、…、m;m为传感器数量;
t表示矩阵转置;
rj为传感器j测量噪声矩阵,同上述技术方案中的公式(2.3);
2)传感器测量的目标实体,没有预测的目标实体与之相关,则可能是新目标,也可能是虚警;先按目标实体处理,经过多次测量才决策是否为实体;
需要目标实体状态变量参数初始矩阵和协方差初始矩阵,初始矩阵确定是根据传感器测量的目标实体和传感器特性确定;
3)预测的目标实体中没有传感器测量的目标实体与之相关,可能是传感器漏掉识别,称为漏警;也可能是移出传感器测量范围,还有可能是虚警,也是通过目标实体决策确定;
通过决策后去掉虚警和已经不在观测范围的目标实体,对于漏警即遗漏的目标实体进行如下计算;
遗漏目标实体状态变量参数矩阵和协方差矩阵为预测的状态变量参数矩阵和协方差矩阵;待以后观测结果,如果多次未观测到,为虚警去掉;如果有传感器观测到该目标实体则进行数据融合计算。
传感器选择开关指对应传感器的选择,传感器选择开关包括k1开关、k2开关、...km开关;如果传感器中任何一个输出测量结果,该传感器被选中,与其对应的传感器选择开关闭合,进行一次数据融合过程;在一次数据融合中只选择一个传感器,如果多个传感器同时有测量结果,顺序进行多次融合;每次融合结果作为进入下次融合的预测计算,如此循环,可以将所有传感器测量结果进行数据融合.得到最优估计。
提高测量精度,在决策过程不仅利用所有传感器测量结果作为决策依据,还要将历史多次测量结果作为决策依据。将跟踪与多传感器融合结合的方法不仅仅大大降低虚警,同时降低漏警。
以上内容和结构描述了本发明方法的基本原理、主要特征和本发明的优点,本行业的技术人员应该了解。上述实例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都属于要求保护的本发明范围之内。本发明要求保护范围由所附的权利要求书及其等效物界定。