障碍物的检测方法、装置、设备及存储介质与流程

文档序号:33125711发布日期:2023-02-01 05:06阅读:19来源:国知局
障碍物的检测方法、装置、设备及存储介质与流程

1.本发明涉及自动驾驶技术领域,尤其涉及一种障碍物的检测方法、装置、设备及存储介质。


背景技术:

2.在自动驾驶技术领域中,为了提高自动驾驶车辆的环境感知能力,在检测障碍物时,通常会融合不同类型检测源的信息,如相机、激光雷达等,以提高障碍物检测的准确度。
3.现有技术在融合不同类型检测源的信息时,通常是针对每一帧进行一次算法的检测,但是,由于环境的变化通常是连续的,这种方式忽略了帧与帧之间的数据连贯性对障碍物检测的价值,导致检测的效率低、实时性差。


技术实现要素:

4.本发明提供了一种障碍物的检测方法、装置、设备及存储介质,用于提高障碍物检测的效率和实时性。
5.本发明第一方面提供了一种障碍物的检测方法,包括:
6.获取当前帧的原始障碍物信息,并将所述原始障碍物信息投射至预设的网络模型;
7.基于所述网络模型中所有网格的索引,通过所述网络模型的历史检测记录确定所述网络模型中的第一网格和第二网格;所述第一网格用于指示类别信息可复用的网格;所述第二网格用于指示类别信息不可复用的网格;
8.将所述历史检测记录中所述第一网格对应的类别信息确定为所述第一网格对应的类别信息,并对所述第二网格进行梯度变化的类别聚类,得到所述第二网格对应的类别信息;
9.基于所述类别信息,输出当前帧的目标障碍物信息。
10.可选的,所述基于所述网络模型中所有网格的索引,通过所述网络模型的历史检测记录确定所述网络模型中的第一网格和第二网格,包括:
11.根据所述网络模型中所有网格的索引,对所述网络模型的历史检测记录进行网格类别匹配,得到每个网格对应的匹配结果;所述匹配结果用于指示所述历史检测记录中能否匹配到对应网格的类别信息;
12.若所述匹配结果指示所述历史检测记录中匹配到对应网格的类别信息,则将对应网格确定为第一网格;
13.若所述匹配结果指示所述历史检测记录中未匹配到对应网格的类别信息,则将对应网格确定为第二网格。
14.可选的,所述根据所述网络模型中所有网格的索引,对所述网络模型的历史检测记录进行网格类别匹配,得到每个网格对应的匹配结果,包括:
15.对所述网络模型中的历史检测记录进行噪点去除和高度平滑处理,得到所述网络
模型中的目标检测数据;所述目标检测数据包括历史高度信息;
16.根据所述网络模型中所有网格的索引,将各网格的原始障碍物信息中的高度信息与相邻网格的历史高度信息进行梯度差异计算,得到各网格对应的梯度差异值;所述梯度差异值用于指示匹配结果;所述相邻网格用于指示与对应网格的欧氏距离小于预设距离阈值的网格;
17.若所述梯度差异值小于预设梯度阈值,则确定所述匹配结果指示所述历史检测记录中匹配到对应网格的类别信息;
18.若所述梯度差异值大于或等于预设梯度阈值,则确定所述匹配结果指示所述历史检测记录中未匹配到对应网格的类别信息。
19.可选的,所述对所述第二网格进行梯度变化的类别聚类,得到所述第二网格对应的类别信息,包括:
20.基于所述第二网格的原始高度信息和原始类别信息,对所述网络模型中各第二网格预设搜索半径内的网格进行高度梯度变化和类别梯度变化的计算,得到第一高度变化程度和第一类别变化程度;
21.将所述第一高度变化程度小于预设高度变化阈值,且所述第一类别变化程度小于预设类别变化阈值的网格确定为同一类别网格,得到所述第二网格对应的类别信息。
22.可选的,所述基于所述类别信息,输出当前帧的目标障碍物信息,包括:
23.基于所述类别信息,判断所述网络模型中同一类别网格的高度是否连续;
24.若同一类别网格的高度连续,则将对应类别网格的网格信息转换为目标障碍物信息,并输出所述目标障碍物信息;
25.若同一类别网格的高度不连续,则分割对应类别的网格,得到异常网格,并对所述异常网格进行梯度变化的类别重聚类,得到所述异常网格对应类别信息,以使得基于所述异常网格对应的类别信息,输出当前帧的目标障碍物信息。
26.可选的,所述基于所述类别信息,判断所述网络模型中同一类别网格的高度是否连续,包括:
27.基于所述类别信息,构建同一类别网格的高度直方图;所述高度直方图用于指示同一类别网格的高度分布信息;
28.通过所述高度分布信息判断同一类别网格中是否存在高度变化大于预设高度变化阈值的网格;
29.若存在高度变化大于预设高度变化阈值的网格,则确定所述网络模型中同一类别网格的高度不连续;
30.若存在高度变化小于或等于预设高度变化阈值的网格,则确定所述网络模型中同一类别网格的高度连续。
31.可选的,所述若同一类别网格的高度不连续,则分割对应类别的网格,得到异常网格,并对所述异常网格进行梯度变化的类别重聚类,得到所述异常网格对应类别信息,包括:
32.若同一类别网格的高度不连续,则对所述网络模型进行对应类别网格的分割,得到异常网格;所述异常网格包括对应类别的所有网格;
33.对所有异常网格进行高度分类,得到至少一个高度类别的异常网格;
34.分别对每个高度类别的异常网格进行梯度变化的类别重聚类,得到所述异常网格对应类别信息。
35.可选的,所述对所述异常网格进行梯度变化的类别重聚类,得到所述异常网格对应类别信息,包括:
36.基于所述异常网格的原始高度信息和原始类别信息,对所述异常网格预设搜索半径内的网格进行高度梯度变化和类别梯度变化的计算,得到第二高度变化程度和第二类别变化程度;
37.将所述第二高度变化程度小于预设高度变化阈值,且所述第二类别变化程度小于预设类别变化阈值的网格确定为同一类别网格,得到所述异常网格对应的类别信息。
38.可选的,所述获取当前帧的原始障碍物信息,并将所述原始障碍物信息投射至预设的网络模型,包括:
39.获取当前帧的原始障碍物信息;所述原始障碍物信息包括多个检测源分别对应障碍物信息;
40.将所述原始障碍物信息转换至地图坐标系,并将地图坐标系下的原始障碍物信息投射至预设的网络模型。
41.本发明第二方面提供了一种障碍物的检测装置,包括:
42.构建模块,用于获取当前帧的原始障碍物信息,并将所述原始障碍物信息投射至预设的网络模型;
43.确定模块,用于基于所述网络模型中所有网格的索引,通过所述网络模型的历史检测记录确定所述网络模型中的第一网格和第二网格;所述第一网格用于指示类别信息可复用的网格;所述第二网格用于指示类别信息不可复用的网格;
44.聚类模块,用于将所述历史检测记录中所述第一网格对应的类别信息确定为所述第一网格对应的类别信息,并对所述第二网格进行梯度变化的类别聚类,得到所述第二网格对应的类别信息;
45.输出模块,用于基于所述类别信息,输出当前帧的目标障碍物信息。
46.可选的,所述确定模块包括:
47.网格匹配单元,用于根据所述网络模型中所有网格的索引,对所述网络模型的历史检测记录进行网格类别匹配,得到每个网格对应的匹配结果;所述匹配结果用于指示所述历史检测记录中能否匹配到对应网格的类别信息;
48.第一确定单元,用于若所述匹配结果指示所述历史检测记录中匹配到对应网格的类别信息,则将对应网格确定为第一网格;
49.第二确定单元,用于若所述匹配结果指示所述历史检测记录中未匹配到对应网格的类别信息,则将对应网格确定为第二网格。
50.可选的,所述网格匹配单元具体用于:对所述网络模型中的历史检测记录进行噪点去除和高度平滑处理,得到所述网络模型中的目标检测数据;所述目标检测数据包括历史高度信息;根据所述网络模型中所有网格的索引,将各网格的原始障碍物信息中的高度信息与相邻网格的历史高度信息进行梯度差异计算,得到各网格对应的梯度差异值;所述梯度差异值用于指示匹配结果;所述相邻网格用于指示与对应网格的欧氏距离小于预设距离阈值的网格;若所述梯度差异值小于预设梯度阈值,则确定所述匹配结果指示所述历史
检测记录中匹配到对应网格的类别信息;若所述梯度差异值大于或等于预设梯度阈值,则确定所述匹配结果指示所述历史检测记录中未匹配到对应网格的类别信息。
51.可选的,所述聚类模块还用于:基于所述第二网格的原始高度信息和原始类别信息,对所述网络模型中各第二网格预设搜索半径内的网格进行高度梯度变化和类别梯度变化的计算,得到第一高度变化程度和第一类别变化程度;将所述第一高度变化程度小于预设高度变化阈值,且所述第一类别变化程度小于预设类别变化阈值的网格确定为同一类别网格,得到所述第二网格对应的类别信息。
52.可选的,所述输出模块包括:
53.判断单元,用于基于所述类别信息,判断所述网络模型中同一类别网格的高度是否连续;
54.转换单元,用于若同一类别网格的高度连续,则将对应类别网格的网格信息转换为目标障碍物信息,并输出所述目标障碍物信息;
55.重聚类单元,用于若同一类别网格的高度不连续,则分割对应类别的网格,得到异常网格,并对所述异常网格进行梯度变化的类别重聚类,得到所述异常网格对应类别信息,以使得基于所述异常网格对应的类别信息,输出当前帧的目标障碍物信息。
56.可选的,所述判断单元具体用于:基于所述类别信息,构建同一类别网格的高度直方图;所述高度直方图用于指示同一类别网格的高度分布信息;通过所述高度分布信息判断同一类别网格中是否存在高度变化大于预设高度变化阈值的网格;若存在高度变化大于预设高度变化阈值的网格,则确定所述网络模型中同一类别网格的高度不连续;若存在高度变化小于或等于预设高度变化阈值的网格,则确定所述网络模型中同一类别网格的高度连续。
57.可选的,所述重聚类单元还用于:若同一类别网格的高度不连续,则对所述网络模型进行对应类别网格的分割,得到异常网格;所述异常网格包括对应类别的所有网格;对所有异常网格进行高度分类,得到至少一个高度类别的异常网格;分别对每个高度类别的异常网格进行梯度变化的类别重聚类,得到所述异常网格对应类别信息。
58.可选的,所述重聚类单元还用于:基于所述异常网格的原始高度信息和原始类别信息,对所述异常网格预设搜索半径内的网格进行高度梯度变化和类别梯度变化的计算,得到第二高度变化程度和第二类别变化程度;将所述第二高度变化程度小于预设高度变化阈值,且所述第二类别变化程度小于预设类别变化阈值的网格确定为同一类别网格,得到所述异常网格对应的类别信息。
59.可选的,所述构建模块具体用于:获取当前帧的原始障碍物信息;所述原始障碍物信息包括多个检测源分别对应障碍物信息;将所述原始障碍物信息转换至地图坐标系,并将地图坐标系下的原始障碍物信息投射至预设的网络模型。
60.本发明第三方面提供了一种障碍物的检测设备,包括:存储器和至少一个处理器,所述存储器中存储有计算机程序;所述至少一个处理器调用所述存储器中的所述计算机程序,以使得所述障碍物的检测设备执行上述的障碍物的检测方法。
61.本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行上述的障碍物的检测方法。
62.本发明提供的技术方案中,获取当前帧的原始障碍物信息,并将所述原始障碍物
信息投射至预设的网络模型;基于所述网络模型中所有网格的索引,通过所述网络模型的历史检测记录确定所述网络模型中的第一网格和第二网格;所述第一网格用于指示类别信息可复用的网格;所述第二网格用于指示类别信息不可复用的网格;将所述历史检测记录中所述第一网格对应的类别信息确定为所述第一网格对应的类别信息,并对所述第二网格进行梯度变化的类别聚类,得到所述第二网格对应的类别信息;基于所述类别信息,输出当前帧的目标障碍物信息。本发明实施例中,通过结合有当前帧的原始障碍物信息和历史检测记录的网络模型,对所有网格进行复用网格分类,得到可复用和不可复用的网格,可复用的网格可以直接沿用历史检测的类别信息,不可复用的网格进行再分类,使得障碍物检测的效率和实时性得以提高。
附图说明
63.图1为本发明实施例中障碍物的检测方法的一个实施例示意图;
64.图2为本发明实施例中障碍物的检测方法的另一个实施例示意图;
65.图3为本发明实施例中障碍物的检测装置的一个实施例示意图;
66.图4为本发明实施例中障碍物的检测装置的另一个实施例示意图;
67.图5为本发明实施例中障碍物的检测设备的一个实施例示意图。
具体实施方式
68.本发明实施例提供了一种障碍物的检测方法、装置、设备及存储介质,用于提高障碍物检测的效率和实时性。
69.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
70.可以理解的是,本发明的执行主体可以为障碍物的检测装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
71.为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中障碍物的检测方法的一个实施例包括:
72.101、获取当前帧的原始障碍物信息,并将原始障碍物信息投射至预设的网络模型;
73.需要说明的是,当前帧的原始障碍物信息是指当前时刻检测到的原始障碍物信息,原始障碍物信息用于指示通过对至少两种类型的数据采集装置采集的数据进行障碍物检测得到的信息,即,原始障碍物信息包括至少两种数据采集装置类型对应的障碍物信息,其中,不同类型的数据采集装置包括但不限于摄像头、激光雷达、毫米波雷达、超声波雷达等可以用于环境感知的装置。例如,原始障碍物信息可以包括:通过对摄像头拍摄到的图像检测得到的障碍物信息,以及,通过对激光雷达扫描到的点云检测得到的障碍物信息。可以
理解的是,由于不同类型的数据采集装置都有其自身的局限性和相对优势,因此,本实施方式通过输入不同类型数据采集装置检测的障碍物信息,作为后续障碍物确定的辅助数据,能够避免单一类型数据采集装置的局限性的同时,结合不同类型数据采集装置的优势,使得障碍物的检测更准确。
74.在一种实施方式中,原始障碍物信息包括障碍物的位置信息,还可以包括障碍物的类别信息和/或置信度信息等,例如,如果原始障碍物信息包括摄像头对应的障碍物信息,那么,原始障碍物信息则可以包括通过摄像头拍摄的图像检测得到的障碍物3d轮廓信息,如果原始障碍物信息包括激光雷达对应的障碍物信息,那么,原始障碍物信息则可以包括通过激光雷达扫描得到的点云检测得到的障碍物点云信息,具体此处不做限定。
75.在一种实施方式中,网络模型是基于预设坐标系预先建立的三维空间模型,例如,基于车身坐标系(如以车后轴中心为坐标原点的坐标系)预先建立的三维空间模型、基于虚拟鸟瞰相机坐标系预先建立的三维空间模型、基于地球坐标系预先建立的三维空间模型、或基于任一数据采集装置坐标系预先建立的三维空间模型等,具体此处不做限定。本实施方式中,将原始障碍物信息投射至预设的网络模型,包括:根据原始障碍物信息与预设坐标系之间的转换关系,将原始障碍物信息转换至预设坐标系,得到预设坐标系下的原始障碍物信息,再将预设坐标系下的原始障碍物信息投射至预设的网络模型,即可得到包含当前帧的原始障碍物信息的网络模型。本实施方式通过基于不同坐标系构建的网络模型,能够结合实际的应用场景提高障碍物的检测效率,并使得障碍物的检测更灵活,例如,如果原始障碍物信息包含激光雷达对应的障碍物信息,那么,就可以基于激光雷达坐标系构建网络模型,减少激光雷达对应的障碍物信息的转换计算和精度流失,使得障碍物的检测更高效、更实时、更灵活。
76.在一种实施方式中,网络模型是根据实时的地图位置预先建立的三维空间模型,是由预设大小的网格组成,可以用于指示预设范围内的地图坐标信息,本实施方式中,将原始障碍物信息投射至预设的网络模型,包括:根据原始障碍物信息与地图坐标系之间的转换关系,将原始障碍物信息转换至地图坐标系,并将地图坐标系下的原始障碍物信息投射至预设网络模型对应的网格中。例如,假设原始障碍物信息包括摄像头对应的障碍物信息和激光雷达对应的障碍物信息,那么,根据摄像头坐标系与地图坐标系之间的转换关系,将摄像头对应的障碍物信息由摄像头坐标系转换至地图坐标系,得到地图坐标系下的第一障碍物信息,同理,根据激光雷达坐标系与地图坐标系之间的转换关系,将激光雷达对应的障碍物信息由激光雷达坐标系转换至地图坐标系,得到地图坐标系下的第二障碍物信息,最后,将地图坐标系下的第一障碍物信息和第二障碍物信息投射到预设网络模型对应的网格中即可。可见,网络模型中的每个网格可能没有投射有障碍物信息,也可能投射有一种数据采集装置对应的障碍物信息,还可能投射有一种以上数据采集装置分别对应的障碍物信息,具体取决于各数据采集装置在实际采集过程中采集到的各网格的障碍物信息。
77.102、基于网络模型中所有网格的索引,通过网络模型的历史检测记录确定网络模型中的第一网格和第二网格;第一网格用于指示类别信息可复用的网格;第二网格用于指示类别信息不可复用的网格;
78.可以理解的是,网络模型中的每个网格对应一个唯一的索引,在一种实施方式中,该索引可以是网格在地图坐标系下的坐标值,也可以是根据网格在地图坐标系下的坐标值
生成的标识符,还可以是其它与地图坐标系相关的标识符,具体此处不做限定。在一种实施方式中,将当前帧的原始障碍物信息投射至预设的网络模型之后,网络模型中包含历史检测记录和当前帧的原始障碍物信息,其中,历史检测记录用于指示历史障碍物信息,历史障碍物信息是指通过历史采集数据检测得到的障碍物信息,其中,历史障碍物信息的检测方式可以是任意的障碍物检测方式,如融合不同数据采集装置采集的数据得到的障碍物信息、通过不同的障碍物检测算法检测得到的障碍物信息、通过本发明实施例提供的步骤101-105检测得到的障碍物信息等,具体的检测方式此处不做限定。为了提高障碍物检测的准确度,历史检测记录是指实际用于自动驾驶控制决策的历史障碍物信息,具有最高的准确度,那个辅助当前帧的障碍物信息检测,使得障碍物信息检测的准确度提高。
79.在一种实施方式中,历史检测记录包括网格的历史类别信息,历史类别信息包括历史类别标识符,本步骤包括:基于网络模型中所有网格的索引,搜索网络模型的历史检测记录中是否存在各网格对应的历史类别标识符,如果存在,则确定对应的网格为第一网格,如果不存在,则确定对应的网格为第二网格,其中,第一网格用于指示类别信息可复用的网格,第二网格用于指示类别信息不可复用的网格。也就是说,如果某一个网格在历史检测记录中已经检测出类别信息,那么则确定该网格为类别信息可以复用的网格,而如果某一个网格在历史检测记录中未检测出类别信息,或该网格在历史检测记录中并不存在,那么,则确定该网格为类别信息不可以复用的网格。由于环境的变化具有连续性,因此,历史检测记录对当前检测结果具有很高的参考价值,甚至可以直接复用,本实施方式通过划分可复用和不可复用的网格,能够大幅度地提高障碍物的检测效率,更好地满足自动驾驶车辆控制的实时性要求。
80.基于上述,如果网络模型的历史检测记录中不存在网格对应的历史类别标识符,还可以搜索该网格预设半径内是否存在目标网格,其中,目标网格是指历史检测记录中存在历史类别标识符的网格,如果预设半径内存在目标网格,则将目标网格的历史检测信息(或原始障碍物信息)中的障碍物高度信息与该网格的原始障碍物信息中的障碍物高度信息进行梯度差异计算,得到梯度差异值,再根据梯度差异值确定该网格是否为第二网格。进一步的,如果梯度差异值小于预设梯度阈值,则确定该网格为第一网格,并复用目标网格的类别信息,如果梯度差异值大于或等于预设梯度阈值,则确定该网格为第二网格,通过后续的其它方式确定该网格的类别信息。本实施方式能够通过搜索邻进网格快速确定当前网格的类别,从而大幅度地提高障碍物分类效率,降低对计算资源的消耗。
81.103、将历史检测记录中第一网格对应的类别信息确定为第一网格对应的类别信息,并对第二网格进行梯度变化的类别聚类,得到第二网格对应的类别信息;
82.需要说明的是,对于类别信息可复用的网格,直接复用历史检测记录中的类别信息即可,也就是,将历史检测记录中第一网格对应的类别信息确定为当前帧的第一网格对应的类别信息,无需再重新聚类。而对于类别信息不可复用或无法复用(不存在类别信息)的网格,则需要对其进行重新聚类,也就是,对第二网格进行梯度变化的类别聚类,才能得到当前帧的第二网格对应的类别信息。其中,梯度变化的变化因子可以是网格的高度、宽度、颜色、类别等,由于网格的高度变化更能区分不同网格是否对应同一障碍物,因此,本步骤中,对第二网格进行梯度变化的类别聚类,得到第二网格对应的类别信息,包括:对第二网格预设半径内的网格进行高度梯度变化的类别聚类,得到第二网格对应的类别信息。
83.具体的,对第二网格进行梯度变化的类别聚类,得到第二网格对应的类别信息,包括:获取第二网格预设半径内网格的原始障碍物信息,并对预设半径内所有网格的原始障碍物信息(或历史检测记录)中的障碍物高度信息与第二网格的原始障碍物信息中的障碍物高度信息进行梯度变化计算,得到预设半径内所有网格对应的梯度差异值,并将预设半径内梯度差异值小于预设梯度阈值的网格确定为与第二网格同类别的目标网格,将目标网格的原始障碍物信息(或历史检测记录)中的类别信息确定为第二网格对应的类别信息,其中,预设半径内所有网格和目标网格若有历史检测记录,则用历史检测记录,若无历史检测记录,则用原始障碍物信息,用于梯度变化计算。
84.104、基于类别信息,输出当前帧的目标障碍物信息。
85.本步骤中,确定当前帧的网络模型中所有网格(包括第一网格和第二网格)分别对应的类别信息之后,将网络模型中的网格信息转换为障碍物信息,得到当前帧的目标障碍物信息并输出,用于实际的自动驾驶控制决策。其中,目标障碍物信息包括目标障碍物的轮廓、目标类别、目标高度、目标置信度等信息。在一种实施方式中,基于当前帧的网络模型中所有网格的类别信息,计算障碍物的凸包轮廓,得到当前帧的目标障碍物的网格集合,再对网格集合内的所有网格进行平均置信度、最大平滑高度和类别众数计算,得到目标障碍物的目标置信度、目标高度和目标类别,即得到目标障碍物信息。
86.发明实施例中,通过结合有当前帧的原始障碍物信息和历史检测记录的网络模型,对所有网格进行复用网格分类,得到可复用和不可复用的网格,可复用的网格可以直接沿用历史检测的类别信息,不可复用的网格进行再分类,使得障碍物检测的效率和实时性得以提高。
87.请参阅图2,本发明实施例中障碍物的检测方法的另一个实施例包括:
88.201、获取当前帧的原始障碍物信息,并将原始障碍物信息投射至预设的网络模型;
89.具体的,步骤201包括:获取当前帧的原始障碍物信息;原始障碍物信息包括多个检测源分别对应障碍物信息;将原始障碍物信息转换至地图坐标系,并将地图坐标系下的原始障碍物信息投射至预设的网络模型。本实施方式中,原始障碍物信息包括多个检测源分别对应的障碍物信息,其中,检测源是指障碍物信息的检测终端,或用于障碍物信息检测的数据采集终端,例如,摄像头、激光雷达、毫米波雷达、超声波雷达等终端,具体此处不做限定。可以理解的是,每个检测源对应一个障碍物信息,原始障碍物信息包括所有检测源对应的障碍物信息。本实施方式中,网络模型用于指示地图坐标系下的模型,因此,在将原始障碍物投射指预设的网络模型的过程中,首先将原始障碍物信息转换至地图坐标系,再将地图坐标系下的原始障碍物信息投射至预设的网络模型,使得网络模型中包含多个检测源分别对应的障碍物信息。具体的,将原始障碍物信息转换至地图坐标系,包括:根据原始障碍物信息中各检测源坐标系与地图坐标系之间的转换关系,将原始障碍物信息转换至地图坐标系。例如,根据摄像头坐标系与地图坐标系之间的转换关系,将原始障碍物信息中摄像头对应的障碍物信息转换至地图坐标系。
90.202、根据网络模型中所有网格的索引,对网络模型的历史检测记录进行网格类别匹配,得到每个网格对应的匹配结果;匹配结果用于指示历史检测记录中能否匹配到对应网格的类别信息;
91.本步骤中,根据网络模型中所有网格的索引,在网络模型的历史检测记录中搜索网格类别匹配的目标网格,得到每个网格对应的匹配结果,如果搜索到与对应网格的网格类别匹配的目标网格,则该网格对应的匹配结果为历史检测记录中能匹配到该网格的类别信息,如果搜索不到与对应网格的网格类别匹配的目标网格,则该网格对应的匹配结果为历史检测记录中不能匹配到该网格的类别信息。其中,网格类别匹配的目标网格可以是索引相同的网格,也可以是预设半径内网格类别相同的网格,还可以是预设半径内梯度差异小于预设梯度差异阈值的网格,还可以是其它网格类别匹配方式匹配到的网格,具体此处不做限定。
92.具体的,步骤202包括:对网络模型中的历史检测记录进行噪点去除和高度平滑处理,得到网络模型中的目标检测数据;目标检测数据包括历史高度信息;根据网络模型中所有网格的索引,将各网格的原始障碍物信息中的高度信息与相邻网格的历史高度信息进行梯度差异计算,得到各网格对应的梯度差异值;梯度差异值用于指示匹配结果;相邻网格用于指示与对应网格的欧氏距离小于预设距离阈值的网格;若梯度差异值小于预设梯度阈值,则确定匹配结果指示历史检测记录中匹配到对应网格的类别信息;若梯度差异值大于或等于预设梯度阈值,则确定匹配结果指示历史检测记录中未匹配到对应网格的类别信息。本实施方式中,由于历史检测记录中可能存在噪点数据,例如,激光雷达采集的点云可能受灰尘、雨水或其它误检导致存在点云噪点,影响后续对网格的高度梯度差异的计算。因此,首先对网络模型中的历史检测记录进行噪点去除,并对噪点去除后的历史检测记录进行高度平滑处理,得到网络模型中的目标检测数据,再根据每个网格的索引,将各网格的原始障碍物信息中的高度信息与相邻网格的目标检测数据中的高度信息进行高度梯度差异计算,得到各网格对应的梯度差异值,其中,梯度差异值用于指示匹配结果,相邻网格用于指示与对应网格的欧氏距离小于预设距离阈值的网格,例如,某一网格的相邻网格为与该网格的欧氏距离小于1米的网格,具体此处不做限定。可以理解的是,如果梯度差异值小于预设梯度阈值,则确定历史检测记录中匹配到对应网格的类别信息;如果梯度差异值大于或等于预设梯度阈值,则确定历史检测记录中未匹配到对应网格的类别信息。本实施方式能够避免噪点数据对高度梯度差异计算造成误差,使得梯度差异计算更准确,进而提高障碍物检测的效率和准确度。
93.203、若匹配结果指示历史检测记录中匹配到对应网格的类别信息,则将对应网格确定为第一网格;第一网格用于指示类别信息可复用的网格;
94.本步骤中,如果在网络模型的历史检测记录中搜索到与对应网格的网格类别匹配的目标网格,那么,则将对应网格确定为类别信息可复用的网格,即第一网格。其中,与对应网格的网格类别匹配的目标网格是指通过预设的网格类别匹配方式匹配到的网格,例如,索引相同的网格、预设半径内网格类别相同的网格、预设半径内梯度差异小于预设梯度差异阈值的网格等,具体此处不做限定。
95.204、若匹配结果指示历史检测记录中未匹配到对应网格的类别信息,则将对应网格确定为第二网格;第二网格用于指示类别信息不可复用的网格;
96.本步骤中,如果在网络模型的历史检测记录中搜索不到与对应网格的网格类别匹配的目标网格,那么,则将对应网格确定为类别信息不可复用的网格,即第二网格。其中,匹配结果指示历史检测记录中未匹配到对应网格的类别信息,代表通过预设的网格类别匹配
方式无法匹配到网格,例如,无法搜索到索引相同的网格、预设半径内不存在网格类别相同的网格、或预设半径内不存在梯度差异小于预设梯度差异阈值的网格等,具体此处不做限定。
97.205、将历史检测记录中第一网格对应的类别信息确定为第一网格对应的类别信息,并对第二网格进行梯度变化的类别聚类,得到第二网格对应的类别信息;
98.具体的,上述对第二网格进行梯度变化的类别聚类,得到第二网格对应的类别信息,包括:基于第二网格的原始高度信息和原始类别信息,对网络模型中各第二网格预设搜索半径内的网格进行高度梯度变化和类别梯度变化的计算,得到第一高度变化程度和第一类别变化程度;对第一高度变化程度小于预设高度变化阈值,且第一类别变化程度小于预设类别变化阈值的网格确定为同一类别网格,得到第二网格对应的类别信息。本实施方式中,对于不可复用的网格,需要重新进行高度梯度变化的类别聚类,以获得对应的类别信息,具体的,根据各第二网格的原始障碍物信息中的原始高度信息和原始类别信息,对各第二网格预设搜索半径内的网格进行高度梯度变化和类别梯度变化计算,得到第一高度变化程度和第一类别变化程度,进一步的,对各第二网格的原始障碍物信息中的原始高度信息与预设搜索半径内网格的历史检测记录中的历史高度信息进行高度梯度变化计算,得到各第二网格对应的第一高度变化程度,以及对各第二网格的原始障碍物信息中的原始类别信息与预设搜索半径内网格的历史检测记录中的历史类别信息进行类别梯度变化计算,得到各第二网格对应的第一类别变化程度。最后,将所有第二网格中第一高度变化程度小于预设高度变化阈值,且第一类别变化程度小于预设类别变化阈值的网格确定为同一类别网格,并将同一类别的网格的类别信息确定为对应第二网格的类别信息。
99.206、基于类别信息,输出当前帧的目标障碍物信息。
100.具体的,步骤206包括:基于类别信息,判断网络模型中同一类别网格的高度是否连续;若同一类别网格的高度连续,则将对应类别网格的网格信息转换为目标障碍物信息,并输出目标障碍物信息;若同一类别网格的高度不连续,则分割对应类别的网格,得到异常网格,并对异常网格进行梯度变化的类别重聚类,得到异常网格对应类别信息,以使得基于异常网格对应的类别信息,输出当前帧的目标障碍物信息。本实施方式中,确定当前帧的网络模型中所有网格的类别信息之后,为了避免同一类别网格的高度变化急剧或出现高度断层的问题,在输出当前帧的目标障碍物信息之前,基于所有网格(包括第一网格和第二网格)对应的类别信息,判断网络模型中同一类别的网格的高度是否连续,如果连续,则可以直接将该类别的所有网格的所有网格信息转换为目标障碍物信息并输出,如果不连续,则需要对该类别的网格进行分割并提取异常网格,再对异常网格进行梯度变化的类别重新聚类,进而确定异常网格对应的类别信息。最后基于异常网格和非异常网格对应的类别信息,输出当前帧的目标障碍物信息。
101.进一步的,上述基于类别信息,判断网络模型中同一类别网格的高度是否连续,包括:基于类别信息,构建同一类别网格的高度直方图;高度直方图用于指示同一类别网格的高度分布信息;通过高度分布信息判断同一类别网格中是否存在高度变化大于预设高度变化阈值的网格;若存在高度变化大于预设高度变化阈值的网格,则确定网络模型中同一类别网格的高度不连续;若存在高度变化小于或等于预设高度变化阈值的网格,则确定网络模型中同一类别网格的高度连续。本实施方式中,高度是否连续的判断方式可以是首先构
建同一类别网格的高度直方图,再根据高度直方图判断相邻网格之间的高度变化是否大于预设高度变化阈值,如果高度变化大于预设高度变化阈值,那么,则确定该类别网格的高度不连续,存在高度急剧变化的网格或断层,如果高度变化小于或等于预设高度变化阈值,则确定该类别网格的高度连续,不存在高度急剧变化的网格或断层。
102.进一步的,上述若同一类别网格的高度不连续,则分割对应类别的网格,得到异常网格,并对异常网格进行梯度变化的类别重聚类,得到异常网格对应类别信息,包括:若同一类别网格的高度不连续,则对网络模型进行对应类别网格的分割,得到异常网格;异常网格包括对应类别的所有网格;对所有异常网格进行高度分类,得到至少一个高度类别的异常网格;分别对每个高度类别的异常网格进行梯度变化的类别重聚类,得到异常网格对应类别信息。本实施方式中,如果某一类别的网格高度不连续,那么,则将该类别的所有网格分割出来,全部作为异常网格进行类别重聚类处理,具体的是,对所有异常网格进行高度分类,得到至少一个高度类别的异常网格,例如,不可行驶高度类别、悬浮可通过高度类别、低矮障碍物高度类别等。再对每个高度类别的异常网格进行高度梯度变化的类别聚类,得到各异常网格对应的类别信息。
103.在一种实施方式中,上述对异常网格进行梯度变化的类别重聚类,得到异常网格对应类别信息,包括:基于异常网格的原始高度信息和原始类别信息,对异常网格预设搜索半径内的网格进行高度梯度变化和类别梯度变化的计算,得到第二高度变化程度和第二类别变化程度;将第二高度变化程度小于预设高度变化阈值,且第二类别变化程度小于预设类别变化阈值的网格确定为同一类别网格,得到异常网格对应的类别信息。本实施方式中,对异常网格进行梯度变化的类别重聚类方式与对第二网格进行高度梯度变化的类别聚类方式相同,具体也是对各异常网格预设搜索半径内的网格进行高度梯度变化和类别梯度变化的计算,得到各异常网格对应的第二高度变化程度和第二类别变化程度,再将第二高度变化程度小于预设高度变化阈值,且第二类别变化程度小于预设类别变化阈值的网格确定为同一类别网格,并将同一类别网格的类别信息确定为异常网格对应的类别信息,具体此处不再赘述。
104.本发明实施例中,通过结合有当前帧的原始障碍物信息和历史检测记录的网络模型,对所有网格进行网格类别匹配并进行复用网格分类,得到可复用和不可复用的网格,可复用的网格可以直接沿用历史检测的类别信息,不可复用的网格进行再分类,使得障碍物检测的效率和实时性得以提高。
105.上面对本发明实施例中障碍物的检测方法进行了描述,下面对本发明实施例中障碍物的检测装置进行描述,请参阅图3,本发明实施例中障碍物的检测装置一个实施例包括:
106.构建模块301,用于获取当前帧的原始障碍物信息,并将所述原始障碍物信息投射至预设的网络模型;
107.确定模块302,用于基于所述网络模型中所有网格的索引,通过所述网络模型的历史检测记录确定所述网络模型中的第一网格和第二网格;所述第一网格用于指示类别信息可复用的网格;所述第二网格用于指示类别信息不可复用的网格;
108.聚类模块303,用于将所述历史检测记录中所述第一网格对应的类别信息确定为所述第一网格对应的类别信息,并对所述第二网格进行梯度变化的类别聚类,得到所述第
二网格对应的类别信息;
109.输出模块304,用于基于所述类别信息,输出当前帧的目标障碍物信息。
110.本发明实施例中,通过结合有当前帧的原始障碍物信息和历史检测记录的网络模型,对所有网格进行复用网格分类,得到可复用和不可复用的网格,可复用的网格可以直接沿用历史检测的类别信息,不可复用的网格进行再分类,使得障碍物检测的效率和实时性得以提高。
111.请参阅图4,本发明实施例中障碍物的检测装置的另一个实施例包括:
112.构建模块301,用于获取当前帧的原始障碍物信息,并将所述原始障碍物信息投射至预设的网络模型;
113.确定模块302,用于基于所述网络模型中所有网格的索引,通过所述网络模型的历史检测记录确定所述网络模型中的第一网格和第二网格;所述第一网格用于指示类别信息可复用的网格;所述第二网格用于指示类别信息不可复用的网格;
114.聚类模块303,用于将所述历史检测记录中所述第一网格对应的类别信息确定为所述第一网格对应的类别信息,并对所述第二网格进行梯度变化的类别聚类,得到所述第二网格对应的类别信息;
115.输出模块304,用于基于所述类别信息,输出当前帧的目标障碍物信息。
116.可选的,所述确定模块302包括:
117.网格匹配单元3021,用于根据所述网络模型中所有网格的索引,对所述网络模型的历史检测记录进行网格类别匹配,得到每个网格对应的匹配结果;所述匹配结果用于指示所述历史检测记录中能否匹配到对应网格的类别信息;
118.第一确定单元3022,用于若所述匹配结果指示所述历史检测记录中匹配到对应网格的类别信息,则将对应网格确定为第一网格;
119.第二确定单元3023,用于若所述匹配结果指示所述历史检测记录中未匹配到对应网格的类别信息,则将对应网格确定为第二网格。
120.可选的,所述网格匹配单元3021具体用于:对所述网络模型中的历史检测记录进行噪点去除和高度平滑处理,得到所述网络模型中的目标检测数据;所述目标检测数据包括历史高度信息;根据所述网络模型中所有网格的索引,将各网格的原始障碍物信息中的高度信息与相邻网格的历史高度信息进行梯度差异计算,得到各网格对应的梯度差异值;所述梯度差异值用于指示匹配结果;所述相邻网格用于指示与对应网格的欧氏距离小于预设距离阈值的网格;若所述梯度差异值小于预设梯度阈值,则确定所述匹配结果指示所述历史检测记录中匹配到对应网格的类别信息;若所述梯度差异值大于或等于预设梯度阈值,则确定所述匹配结果指示所述历史检测记录中未匹配到对应网格的类别信息。
121.可选的,所述聚类模块303还用于:基于所述第二网格的原始高度信息和原始类别信息,对所述网络模型中各第二网格预设搜索半径内的网格进行高度梯度变化和类别梯度变化的计算,得到第一高度变化程度和第一类别变化程度;将所述第一高度变化程度小于预设高度变化阈值,且所述第一类别变化程度小于预设类别变化阈值的网格确定为同一类别网格,得到所述第二网格对应的类别信息。
122.可选的,所述输出模块304包括:
123.判断单元3041,用于基于所述类别信息,判断所述网络模型中同一类别网格的高
度是否连续;
124.转换单元3042,用于若同一类别网格的高度连续,则将对应类别网格的网格信息转换为目标障碍物信息,并输出所述目标障碍物信息;
125.重聚类单元3043,用于若同一类别网格的高度不连续,则分割对应类别的网格,得到异常网格,并对所述异常网格进行梯度变化的类别重聚类,得到所述异常网格对应类别信息,以使得基于所述异常网格对应的类别信息,输出当前帧的目标障碍物信息。
126.可选的,所述判断单元3041具体用于:基于所述类别信息,构建同一类别网格的高度直方图;所述高度直方图用于指示同一类别网格的高度分布信息;通过所述高度分布信息判断同一类别网格中是否存在高度变化大于预设高度变化阈值的网格;若存在高度变化大于预设高度变化阈值的网格,则确定所述网络模型中同一类别网格的高度不连续;若存在高度变化小于或等于预设高度变化阈值的网格,则确定所述网络模型中同一类别网格的高度连续。
127.可选的,所述重聚类单元3043还用于:若同一类别网格的高度不连续,则对所述网络模型进行对应类别网格的分割,得到异常网格;所述异常网格包括对应类别的所有网格;对所有异常网格进行高度分类,得到至少一个高度类别的异常网格;分别对每个高度类别的异常网格进行梯度变化的类别重聚类,得到所述异常网格对应类别信息。
128.可选的,所述重聚类单元3043还用于:基于所述异常网格的原始高度信息和原始类别信息,对所述异常网格预设搜索半径内的网格进行高度梯度变化和类别梯度变化的计算,得到第二高度变化程度和第二类别变化程度;将所述第二高度变化程度小于预设高度变化阈值,且所述第二类别变化程度小于预设类别变化阈值的网格确定为同一类别网格,得到所述异常网格对应的类别信息。
129.可选的,所述构建模块301具体用于:获取当前帧的原始障碍物信息;所述原始障碍物信息包括多个检测源分别对应障碍物信息;将所述原始障碍物信息转换至地图坐标系,并将地图坐标系下的原始障碍物信息投射至预设的网络模型。
130.本发明实施例中,通过结合有当前帧的原始障碍物信息和历史检测记录的网络模型,对所有网格进行网格类别匹配并进行复用网格分类,得到可复用和不可复用的网格,可复用的网格可以直接沿用历史检测的类别信息,不可复用的网格进行再分类,使得障碍物检测的效率和实时性得以提高。
131.上面图3和图4从模块化功能实体的角度对本发明实施例中的障碍物的检测装置进行详细描述,下面从硬件处理的角度对本发明实施例中障碍物的检测设备进行详细描述。
132.图5是本发明实施例提供的一种障碍物的检测设备的结构示意图,该障碍物的检测设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,cpu)510(例如,一个或一个以上处理器)和存储器520,一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对障碍物的检测设备500中的一系列计算机程序操作。更进一步地,处理器510可以设置为与存储介质530通信,在障碍物的检测设备500上执行存储介质530中的一系列计算机程序操作。
133.障碍物的检测设备500还可以包括一个或一个以上电源540,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口560,和/或,一个或一个以上操作系统531,例如windows serve,mac os x,unix,linux,freebsd等等。本领域技术人员可以理解,图5示出的障碍物的检测设备结构并不构成对障碍物的检测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
134.本发明还提供一种计算机设备,所述计算机设备包括存储器和处理器,存储器中存储有计算机可读计算机程序,计算机可读计算机程序被处理器执行时,使得处理器执行上述各实施例中的所述障碍物的检测方法的步骤。
135.本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得计算机执行所述障碍物的检测方法的步骤。
136.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
137.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干计算机程序用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
138.以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1