障碍物检测方法、装置、存储介质及电子设备与流程

文档序号:30582843发布日期:2022-06-29 13:23阅读:75来源:国知局
障碍物检测方法、装置、存储介质及电子设备与流程

1.本公开涉及无人车技术领域,具体地,涉及一种障碍物检测方法、装置、存储介质及电子设备。


背景技术:

2.无人驾驶车辆在行驶过程中会自动进行障碍物检测,获得无人车周围的障碍物的具体位置、形状大小以及移动方向等信息,从而可以帮助无人车确定避障策略。相关技术中,无人车利用单目相机、双目相机、多线激光雷达等进行3d目标检测,现有的检测技术包括单帧检测和多帧检测。
3.无车人行驶过程是一个时序性的过程,单帧检测会损失时序性的特征,导致障碍物识别的准确率比较低,而多帧检测虽然考虑了无人车的时序性特征,但是,由于自车移动产生比较大的误差,也会导致障碍物识别的准确率比较低。


技术实现要素:

4.为了解决上述问题,本公开提供一种障碍物检测方法、装置、存储介质及电子设备。
5.第一方面,本公开提供一种障碍物检测方法,所述方法包括:
6.获取待检测数据,所述待检测数据包括当前帧数据和历史帧数据,所述当前帧数据包括车辆的雷达采集的当前帧的三维点云数据和所述车辆在所述当前帧的定位信息,所述历史帧数据包括所述车辆的雷达采集的历史帧的三维点云数据和所述车辆在所述历史帧的定位信息,所述历史帧包括与所述当前帧相邻且在所述当前帧之前的多个帧;
7.确定所述历史帧数据在所述当前帧的本地坐标系对应的目标历史帧数据;
8.根据所述当前帧数据和所述目标历史帧数据,确定所述车辆周围的障碍物信息。
9.可选地,所述根据所述当前帧数据和所述目标历史帧数据,确定所述车辆周围的障碍物信息包括:
10.确定所述当前帧数据对应的当前空间特征和所述历史帧数据对应的历史空间特征;
11.根据所述当前空间特征和所述历史空间特征,确定所述车辆周围的障碍物信息。
12.可选地,所述当前空间特征包括当前二维空间特征和当前三维空间特征,所述历史空间特征包括历史二维空间特征和历史三维空间特征;所述确定所述当前帧数据对应的当前空间特征和所述历史帧数据对应的历史空间特征包括:
13.将所述当前帧数据划分为多个当前体素,并将所述历史帧数据划分为多个历史体素;
14.确定每个所述当前体素对应的所述当前二维空间特征和所述当前三维空间特征,以及每个所述历史体素对应的所述历史二维空间特征和所述历史三维空间特征。
15.可选地,所述根据所述当前空间特征和所述历史空间特征,确定所述车辆周围的
障碍物信息包括:
16.将所述当前空间特征和所述历史空间特征输入预先训练的障碍物检测模型,以获取所述障碍物检测模型输出的障碍物检测框;
17.根据所述障碍物检测框,确定所述车辆周围的障碍物信息。
18.可选地,所述障碍物检测模型包括第一空间几何特征获取子模型、第二空间几何特征获取子模型以及障碍物检测框获取子模型;所述将所述当前空间特征和所述历史空间特征输入预先训练的障碍物检测模型,以获取所述障碍物检测模型输出的障碍物检测框包括:
19.将所述当前空间特征输入所述第一空间几何特征获取子模型,以获取所述第一空间几何特征获取子模型输出的第一空间几何特征;
20.将所述历史空间特征输入所述第二空间几何特征获取子模型,以获取所述第二空间几何特征获取子模型输出的第二空间几何特征;
21.将所述第一空间几何特征和所述第二空间几何特征输入所述障碍物检测框获取子模型,以获取所述障碍物检测框获取子模型输出的所述障碍物检测框。
22.可选地,所述障碍物检测模型通过以下方式训练得到:
23.获取多个样本检测数据,所述样本检测数据包括目标帧样本数据和历史帧样本数据,所述目标帧样本数据包括所述车辆的雷达采集的目标帧的三维点云数据和所述车辆在所述目标帧的定位信息,所述历史帧样本数据包括所述车辆的雷达采集的目标历史帧的三维点云数据和所述车辆在所述目标历史帧的定位信息,所述目标历史帧包括与所述目标帧相邻且在所述目标帧之前的多个帧;
24.确定所述历史帧样本数据在所述目标帧的本地坐标系对应的目标历史帧样本数据;
25.通过多个所述目标帧样本数据和多个所述目标历史帧样本数据对目标神经网络模型进行训练,得到所述障碍物检测模型。
26.第二方面,本公开提供一种障碍物检测装置,所述装置包括:
27.数据获取模块,用于获取待检测数据,所述待检测数据包括当前帧数据和历史帧数据,所述当前帧数据包括车辆的雷达采集的当前帧的三维点云数据和所述车辆在所述当前帧的定位信息,所述历史帧数据包括所述车辆的雷达采集的历史帧的三维点云数据和所述车辆在所述历史帧的定位信息,所述历史帧包括与所述当前帧相邻且在所述当前帧之前的多个帧;
28.数据确定模块,用于确定所述历史帧数据在所述当前帧的本地坐标系对应的目标历史帧数据;
29.障碍物信息确定模块,用于根据所述当前帧数据和所述目标历史帧数据,确定所述车辆周围的障碍物信息。
30.可选地,所述障碍物信息确定模块,还用于:
31.确定所述当前帧数据对应的当前空间特征和所述历史帧数据对应的历史空间特征;
32.根据所述当前空间特征和所述历史空间特征,确定所述车辆周围的障碍物信息。
33.可选地,所述当前空间特征包括当前二维空间特征和当前三维空间特征,所述历
史空间特征包括历史二维空间特征和历史三维空间特征;所述障碍物信息确定模块,还用于:
34.将所述当前帧数据划分为多个当前体素,并将所述历史帧数据划分为多个历史体素;
35.确定每个所述当前体素对应的所述当前二维空间特征和所述当前三维空间特征,以及每个所述历史体素对应的所述历史二维空间特征和所述历史三维空间特征。
36.可选地,所述障碍物信息确定模块,还用于:
37.将所述当前空间特征和所述历史空间特征输入预先训练的障碍物检测模型,以获取所述障碍物检测模型输出的障碍物检测框;
38.根据所述障碍物检测框,确定所述车辆周围的障碍物信息。
39.可选地,所述障碍物检测模型包括第一空间几何特征获取子模型、第二空间几何特征获取子模型以及障碍物检测框获取子模型;所述障碍物信息确定模块,还用于:
40.将所述当前空间特征输入所述第一空间几何特征获取子模型,以获取所述第一空间几何特征获取子模型输出的第一空间几何特征;
41.将所述历史空间特征输入所述第二空间几何特征获取子模型,以获取所述第二空间几何特征获取子模型输出的第二空间几何特征;
42.将所述第一空间几何特征和所述第二空间几何特征输入所述障碍物检测框获取子模型,以获取所述障碍物检测框获取子模型输出的所述障碍物检测框。
43.可选地,所述障碍物信息确定模块,还用于:
44.获取多个样本检测数据,所述样本检测数据包括目标帧样本数据和历史帧样本数据,所述目标帧样本数据包括所述车辆的雷达采集的目标帧的三维点云数据和所述车辆在所述目标帧的定位信息,所述历史帧样本数据包括所述车辆的雷达采集的目标历史帧的三维点云数据和所述车辆在所述目标历史帧的定位信息,所述目标历史帧包括与所述目标帧相邻且在所述目标帧之前的多个帧;
45.确定所述历史帧样本数据在所述目标帧的本地坐标系对应的目标历史帧样本数据;
46.通过多个所述目标帧样本数据和多个所述目标历史帧样本数据对目标神经网络模型进行训练,得到所述障碍物检测模型。
47.第三方面,本公开提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开第一方面所述方法的步骤。
48.第四方面,本公开提供一种电子设备,包括:
49.存储器,其上存储有计算机程序;
50.处理器,用于执行所述存储器中的所述计算机程序,以实现本公开第一方面所述方法的步骤。
51.通过上述技术方案,通过获取待检测数据,所述待检测数据包括当前帧数据和历史帧数据,所述当前帧数据包括车辆的雷达采集的当前帧的三维点云数据和所述车辆在所述当前帧的定位信息,所述历史帧数据包括所述车辆的雷达采集的历史帧的三维点云数据和所述车辆在所述历史帧的定位信息,所述历史帧包括与所述当前帧相邻且在所述当前帧之前的多个帧;确定所述历史帧数据在所述当前帧的本地坐标系对应的目标历史帧数据;
根据所述当前帧数据和所述目标历史帧数据,确定所述车辆周围的障碍物信息。也就是说,本公开可以结合当前帧数据和历史帧数据,确定车辆周围的障碍物信息,在确定该障碍物信息时考虑了空间上的时序性,并且,该当前帧数据和该历史帧数据均包括三维点云数据和车辆的定位信息,这样,在解决自车移动问题的同时,可以提高车辆的感知能力,从而提高了障碍物识别的准确率。
52.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
53.附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
54.图1是根据本公开一示例性实施例示出的一种障碍物检测方法的流程图;
55.图2是根据本公开一示例性实施例示出的另一种障碍物检测方法的流程图;
56.图3是根据本公开一示例性实施例示出的一种当前二维空间特征的示意图;
57.图4是根据本公开一示例性实施例示出的一种当前三维空间特征的示意图;
58.图5是根据本公开一示例性实施例示出的一种该障碍物检测模型的训练方法的流程图;
59.图6是根据本公开一示例性实施例示出的一种障碍物检测装置的框图;
60.图7是根据本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
61.以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
62.在下文中的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
63.首先,对本公开的应用场景进行说明。无人车的感知主要包括三个方面:路面、静态物体和动态物体,为了确保无人车对环境的理解和把握,无人车的环境感知部分通常需要融合激光雷达、摄像头、毫米波雷达等多种传感器的数据来识别车辆周围的环境信息。其中,对障碍物的识别主要包括单帧检测和多帧检测,单帧检测是使用置换矩阵对输入数据进行排序和加权,或使用对称函数对特征点提取全局信息与局部信息,构造3d识别卷积神经网络,但是,由于低线束雷达的单帧点过于稀疏,而高线束雷达又过于昂贵,无法通过较低成本获取稠密的点云信息,并且,单帧检测未考虑空间上的时序性,忽略了很多有用的历史信息,导致单帧识别的准确率和召回率比较低。多帧检测虽然解决了单帧检测点云稀疏的问题,也考虑了空间上的时序性,但是,多帧检测会由于自车移动产生比较大的误差,也会导致识别的准确率比较低。
64.为了解决上述存在的问题,本公开提供一种障碍物检测方法、装置、存储介质及电子设备,可以结合当前帧数据和历史帧数据,确定车辆周围的障碍物信息,在确定该障碍物信息时考虑了空间上的时序性,并且,该当前帧数据和该历史帧数据均包括三维点云数据和车辆的定位信息,这样,在解决自车移动问题的同时,可以提高车辆的感知能力,从而提高了障碍物识别的准确率。
65.下面结合具体实施例对本公开进行说明。
66.图1是根据本公开一示例性实施例示出的一种障碍物检测方法的流程图,该方法可以应用于车辆,该车辆可以是无人驾驶车辆,如图1所示,该方法可以包括:
67.s101、获取待检测数据。
68.其中,该待检测数据可以包括当前帧数据和历史帧数据,该当前帧数据可以包括该车辆的雷达采集的当前帧的三维点云数据和该车辆在该当前帧的定位信息,该历史帧数据可以包括该车辆的雷达采集的历史帧的三维点云数据和该车辆在该历史帧的定位信息,该历史帧可以包括与该当前帧相邻且在该当前帧之前的多个帧,该多个帧的数量可以根据试验预先测试得到,示例地,该多个帧可以是2帧。
69.在本步骤中,可以周期性通过该车辆的激光雷达获取该三维点云数据,通过该车辆的gps(global positioning system,全球定位系统)获取该车辆的定位信息。在获取该当前帧数据后,可以存储该当前帧数据,并删除存储的历史帧之前的数据。示例地,若该历史帧包括与该当前帧相邻且在该当前帧之前的2帧,则在存储该当前帧数据后,可以将待定帧之外的其他帧的数据删除,该待定帧包括该当前帧和该当前帧的前两帧。
70.s102、确定该历史帧数据在该当前帧的本地坐标系对应的目标历史帧数据。
71.在本步骤中,在获取该当前帧数据后,可以获取存储的该历史帧数据,通过现有的矩阵变换方法将该历史帧数据统一到该当前帧的本地坐标系下,得到该历史帧数据对应的目标历史帧数据。
72.s103、根据该当前帧数据和该目标历史帧数据,确定该车辆周围的障碍物信息。
73.其中,该障碍物信息可以包括障碍物的类型、大小等,本公对此不作限定。
74.在本步骤中,在确定该目标历史帧数据后,可以确定该当前帧数据对应的当前空间特征和该历史帧数据对应的历史空间特征,并根据该当前空间特征和该历史空间特征,确定该车辆周围的障碍物信息。
75.采用上述方法,可以结合当前帧数据和历史帧数据,确定车辆周围的障碍物信息,在确定该障碍物信息时考虑了空间上的时序性,并且,该当前帧数据和该历史帧数据均包括三维点云数据和车辆的定位信息,这样,在解决自车移动问题的同时,可以提高车辆的感知能力,从而提高了障碍物识别的准确率。
76.图2是根据本公开一示例性实施例示出的另一种障碍物检测方法的流程图,如图2所示,该方法可以包括:
77.s201、获取待检测数据。
78.其中,该待检测数据可以包括当前帧数据和历史帧数据,该当前帧数据可以包括该车辆的雷达采集的当前帧的三维点云数据和该车辆在该当前帧的定位信息,该历史帧数据可以包括该车辆的雷达采集的历史帧的三维点云数据和该车辆在该历史帧的定位信息,该历史帧可以包括与该当前帧相邻且在该当前帧之前的多个帧,该多个帧的数量可以根据试验预先测试得到,示例地,该多个帧可以是2帧。
79.s202、确定该历史帧数据在该当前帧的本地坐标系对应的目标历史帧数据。
80.s203、确定该当前帧数据对应的当前空间特征和该历史帧数据对应的历史空间特征。
81.其中,该当前空间特征可以包括当前二维空间特征和当前三维空间特征,该历史
空间特征可以包括历史二维空间特征和历史三维空间特征。
82.在本步骤中,在获取该当前帧数据并确定该目标历史帧数据后,可以将该当前帧数据划分为多个当前体素,并将该目标历史帧数据划分为多个历史体素,确定每个当前体素对应的当前二维空间特征和当前三维空间特征,以及每个历史体素对应的历史二维空间特征和历史三维空间特征。
83.示例地,可以按照预设点云参数将该当前帧数据划分为多个当前体素,将该目标历史帧数据划分为多个历史体素,该预设点云参数可以表示为(x,y,z),x=0.2m,y=0.2m,z=0.5m。
84.针对每个当前体素,确定该当前体素对应的当前二维空间特征,图3是根据本公开一示例性实施例示出的一种当前二维空间特征的示意图,如图3所示,每个圆圈表示一个当前体素。该当前二维空间特征可以是8维特征,表示为(max z,sum z,max intensity,是否有点,点数,sqrt(x*x+y*y)/max range,atan(y,x)/pi),其中,max z为该当前帧数据对应的所有当前体素中最高当前体素点的z值,sum z为该当前帧数据对应的所有当前体素的z的和值,max intensity表示该当前帧数据对应的所有当前体素中的最大intensity,,intensity可以是该当前体素的激光反射强度,intensity的取值为0~255,“是否有点”对应的值为1或0,在有当前体素点时,“是否有点”的取值为1,在没有当前体素点时,“是否有点”的取值为0,点数为该当前帧数据对应的所有当前体素的数量,max range为该当前帧数据对应的整体空间的对角线的长度。
85.针对每个当前体素,该当前体素对应的当前三维空间特征可以是3维特征,图4是根据本公开一示例性实施例示出的一种当前三维空间特征的示意图,如图4所示,每个圆圈表示一个当前体素。示例地,可以通过抽取该当前体素周围3*3*3空间的其他当前体素确定,该当前三维空间特征可以表示为(dx/fx,dy/fy,dz/fz),其中,dx为该当前帧数据对应的所有当前体素的x的平均值,dy为该当前帧数据对应的所有当前体素的y的平均值,dz为该当前帧数据对应的所有当前体素的z的平均值,fx为该当前体素周围3*3*3空间的其他当前体素的x的平均值,fy为该当前体素周围3*3*3空间的其他当前体素的y的平均值,fz为该当前体素周围3*3*3空间的其他当前体素的z的平均值。
86.针对每个历史体素,可以参照上述确定该当前体素对应的当前二维空间特征和当前三维空间特征的方法,确定该历史体素对应的历史二维空间特征和历史三维空间特征,此处不再赘述。
87.s204、根据该当前空间特征和该历史空间特征,确定该车辆周围的障碍物信息。
88.在本步骤中,在确定该当前帧数据对应的当前空间特征和该历史帧数据对应的历史空间特征后,可以将该当前空间特征和该历史空间特征输入预先训练的障碍物检测模型,以获取该障碍物检测模型输出的障碍物检测框,并根据该障碍物检测框,确定该车辆周围的障碍物信息。其中,该障碍物信息可以包括障碍物的中心、尺寸、旋转角、障碍物的类别以及该障碍物为每种类别的概率,该类别可以包括小车、大车、行人、动物等。
89.在一种可能的实现方式中,该障碍物检测模型可以包括第一空间几何特征获取子模型、第二空间几何特征获取子模型以及障碍物检测框获取子模型,在确定该当前帧数据对应的当前空间特征和该历史帧数据对应的历史空间特征后,可以将该当前空间特征输入该第一空间几何特征获取子模型,以获取该第一空间几何特征获取子模型输出的第一空间
几何特征;将该历史空间特征输入该第二空间几何特征获取子模型,以获取该第二空间几何特征获取子模型输出的第二空间几何特征;将该第一空间几何特征和该第二空间几何特征进行拼接,示例地,可以通过concat算法该第一空间几何特征和该第二空间几何特征进行拼接,得到拼接空间几何特征,并将该拼接空间几何特征输入该障碍物检测框获取子模型,以获取该障碍物检测框获取子模型输出的该障碍物检测框。
90.图5是根据本公开一示例性实施例示出的一种该障碍物检测模型的训练方法的流程图,如图5所示,该方法可以包括:
91.s1、获取多个样本检测数据。
92.其中,该样本检测数据可以包括目标帧样本数据和历史帧样本数据,该目标帧样本数据可以包括该车辆的雷达采集的目标帧的三维点云数据和该车辆在该目标帧的定位信息,该历史帧样本数据可以包括该车辆的雷达采集的目标历史帧的三维点云数据和该车辆在该目标历史帧的定位信息,该目标历史帧可以包括与该目标帧相邻且在该目标帧之前的多个帧。
93.该多个样本检测数据的获取方式可以参考步骤s101中获取该待检测数据的方式,此处不再赘述。
94.s2、确定该历史帧样本数据在该目标帧的本地坐标系对应的目标历史帧样本数据。
95.在获取多个目标帧样本数据后,针对每个目标帧样本数据,可以获取存储的该目标帧样本数据对应的历史帧样本数据,并通过现有的矩阵变换方法将该历史帧样本数据统一到该目标帧的本地坐标系下,得到该历史帧样本数据对应的目标历史帧样本数据。
96.s3、通过多个目标帧样本数据和多个目标历史帧样本数据对目标神经网络模型进行训练,得到该障碍物检测模型。
97.其中,该目标神经网络模型可以包括第一卷积神经网络模型、第二卷积神经网络模型以及rpn(regional proposal network,区域提案网络),针对每个样本检测数据,可以确定该样本检测数据中的目标帧样本数据对应的目标样本空间特征,以及该样本检测数据中的历史帧样本数据对应目标历史帧样本数据的历史样本空间特征,确定该目标样本空间特征的方法可以参考步骤s203中确定该当前空间特征的方法,确定该历史样本空间特征的方法可以参考步骤s203中确定该历史空间特征的方法,此处不再赘述。
98.在确定每个样本检测数据中的目标帧样本数据对应的目标样本空间特征和历史帧样本数据对应目标历史帧样本数据的历史样本空间特征后,可以循环执行模型训练步骤,直至根据障碍物标注框和障碍物预测框确定训练后的目标神经网络模型满足预设停止迭代条件,将训练后的目标神经网路模型作为该障碍物检测模型;该障碍物预测框为该目标样本空间特征和该历史样本空间特征输入该训练后的目标神经网络模型后输出的预测框。该障碍物标注框可以通过人工标注,并在人工标注后对该障碍物标注框进行质量检测,以提高该障碍物标注框的准确率。
99.该模型训练步骤包括:
100.s31、将多个样本检测数据对应的目标样本空间特征和历史样本空间特征输入该目标神经网络模型,输出每个样本检测数据对应的障碍物预测框。
101.针对每个样本检测数据,可以将该样本检测数据对应的目标样本空间特征输入该
第一卷积神经网络模型,以获取该第一卷积神经网络模型输出的第一样本空间几何特征,将该样本检测数据对应的历史样本空间特征输入该第二卷积神经网络模型,以获取该第二卷积神经网络模型输出的第二样本空间几何特征,之后,可以将该第一样本空间几何特征和该第二样本空间几何特征进行拼接,得到拼接样本空间几何特征,并将该拼接样本空间几何特征输入该rpn,以获取该rpn输出的该样本检测数据对应的障碍物预测框。
102.s32、在根据该障碍物标注框和该障碍物预测框确定该目标神经网络模型不满足该预设停止迭代条件的情况下,根据该障碍物标注框和该障碍物预测框确定损失值,根据该损失值更新该目标神经网络模型的参数,得到训练后的目标神经网络模型,并将训练后的目标神经网络模型作为新的目标神经网络模型。
103.其中,该预设停止迭代条件可以是现有技术模型训练中任一停止迭代的条件,本公开对此不作限定。在确定该损失值后,可以根据该损失值更新该第一卷积神经网络模型、该第二卷积神经网络模型以及该rpn的参数。
104.需要说明的是,本公开通过目标帧样本数据训练该第一目标神经网络模型,通过该历史帧样本数据训练该第二目标神经网络模型,该历史帧样本数据比该目标帧样本数据多,基于此,
105.采用上述方法,可以结合该当前帧数据和该历史帧数据,确定车辆周围的障碍物信息,该当前帧数据和该历史帧数据是基于帧级别的数据,在确定该障碍物信息时能够体现空间上的时序性,并且,该当前帧数据和该历史帧数据均包括三维点云数据和车辆的定位信息,这样,在解决自车移动问题的同时,可以提高车辆的感知能力,从而提高了障碍物识别的准确率。进一步地,将该当前帧数据和该历史帧数据均划分为多个体素,并对每个体素进行特征抽取,根据抽取的特征确定该车辆周围的障碍物信息,这样,更能体现该待处理数据的空间几何特征,从而进一步提高了障碍物识别的准确率。
106.图6是根据本公开一示例性实施例示出的一种障碍物检测装置的框图,如图6所示,该装置可以包括:
107.数据获取模块601,用于获取待检测数据,该待检测数据包括当前帧数据和历史帧数据,该当前帧数据包括车辆的雷达采集的当前帧的三维点云数据和该车辆在该当前帧的定位信息,该历史帧数据包括该车辆的雷达采集的历史帧的三维点云数据和该车辆在该历史帧的定位信息,该历史帧包括与该当前帧相邻且在该当前帧之前的多个帧;
108.数据确定模块602,用于确定该历史帧数据在该当前帧的本地坐标系对应的目标历史帧数据;
109.障碍物信息确定模块603,用于根据该当前帧数据和该目标历史帧数据,确定该车辆周围的障碍物信息。
110.可选地,该障碍物信息确定模块603,还用于:
111.确定该当前帧数据对应的当前空间特征和该历史帧数据对应的历史空间特征;
112.根据该当前空间特征和该历史空间特征,确定该车辆周围的障碍物信息。
113.可选地,该当前空间特征包括当前二维空间特征和当前三维空间特征,该历史空间特征包括历史二维空间特征和历史三维空间特征;该障碍物信息确定模块,还用于:
114.将该当前帧数据划分为多个当前体素,并将该历史帧数据划分为多个历史体素;
115.确定每个该当前体素对应的该当前二维空间特征和该当前三维空间特征,以及每
个该历史体素对应的该历史二维空间特征和该历史三维空间特征。
116.可选地,该障碍物信息确定模块603,还用于:
117.将该当前空间特征和该历史空间特征输入预先训练的障碍物检测模型,以获取该障碍物检测模型输出的障碍物检测框;
118.根据该障碍物检测框,确定该车辆周围的障碍物信息。
119.可选地,该障碍物检测模型包括第一空间几何特征获取子模型、第二空间几何特征获取子模型以及障碍物检测框获取子模型;该障碍物信息确定模块603,还用于:
120.将该当前空间特征输入该第一空间几何特征获取子模型,以获取该第一空间几何特征获取子模型输出的第一空间几何特征;
121.将该历史空间特征输入该第二空间几何特征获取子模型,以获取该第二空间几何特征获取子模型输出的第二空间几何特征;
122.将该第一空间几何特征和该第二空间几何特征输入该障碍物检测框获取子模型,以获取该障碍物检测框获取子模型输出的该障碍物检测框。
123.可选地,该障碍物信息确定模块603,还用于:
124.获取多个样本检测数据,该样本检测数据包括目标帧样本数据和历史帧样本数据,该目标帧样本数据包括该车辆的雷达采集的目标帧的三维点云数据和该车辆在该目标帧的定位信息,该历史帧样本数据包括该车辆的雷达采集的目标历史帧的三维点云数据和该车辆在该目标历史帧的定位信息,该目标历史帧包括与该目标帧相邻且在该目标帧之前的多个帧;
125.确定该历史帧样本数据在该目标帧的本地坐标系对应的目标历史帧样本数据;
126.通过多个该目标帧样本数据和多个该目标历史帧样本数据对目标神经网络模型进行训练,得到该障碍物检测模型。
127.通过上述装置,可以结合当前帧数据和历史帧数据,确定车辆周围的障碍物信息,在确定该障碍物信息时考虑了空间上的时序性,并且,该当前帧数据和该历史帧数据均包括三维点云数据和车辆的定位信息,这样,在解决自车移动问题的同时,可以提高车辆的感知能力,从而提高了障碍物识别的准确率。
128.关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
129.图7是根据本公开一示例性实施例示出的一种电子设备700的框图。如图7所示,该电子设备700可以包括:处理器701,存储器702。该电子设备700还可以包括多媒体组件703,输入/输出(i/o)接口704,以及通信组件705中的一者或多者。
130.其中,处理器701用于控制该电子设备700的整体操作,以完成上述的障碍物检测方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作,这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(static random access memory,简称sram),电可擦除可编程只读存储器(electrically erasable programmable read-only memory,简称eeprom),可擦除可编程只读存储器(erasable programmable read-only memory,简称eprom),可编程只读存储器
(programmable read-only memory,简称prom),只读存储器(read-only memory,简称rom),磁存储器,快闪存储器,磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器,用于输出音频信号。i/o接口704为处理器701和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信,例如wi-fi,蓝牙,近场通信(near field communication,简称nfc),2g、3g、4g、nb-iot、emtc、或其他5g等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件705可以包括:wi-fi模块,蓝牙模块,nfc模块等等。
131.在一示例性实施例中,电子设备700可以被一个或多个应用专用集成电路(application specific integrated circuit,简称asic)、数字信号处理器(digital signal processor,简称dsp)、数字信号处理设备(digital signal processing device,简称dspd)、可编程逻辑器件(programmable logic device,简称pld)、现场可编程门阵列(field programmable gate array,简称fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的障碍物检测方法。
132.在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的障碍物检测方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器702,上述程序指令可由电子设备700的处理器701执行以完成上述的障碍物检测方法。
133.在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的障碍物检测方法的代码部分。
134.在另一示例性实施例中,还提供一种车辆,包括上述电子设备700。
135.以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
136.此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1