一种目标检测方法、装置、电子设备及存储介质与流程

文档序号:32259555发布日期:2022-11-19 11:19阅读:48来源:国知局
一种目标检测方法、装置、电子设备及存储介质与流程

1.本发明涉及汽车领域,尤其涉及一种目标检测方法、装置、电子设备及存储介质。


背景技术:

2.随着科学技术的发展,自动驾驶的应用场景逐渐增多,传感器在自动驾驶技术中的应用也越发广泛。在高级别的自动驾驶中,往往采用激光雷达、摄像头等传感器作为目标感知的传感器,通过传感器可以实现目标检测,以辅助车辆的控制器执行自动驾驶的相关决策。
3.目前的目标检测方法采用深度学习模型对雷达数据进行三维检测,得到三维检测目标,之后进行三维检测目标的跟踪,并将跟踪的结果发送至下游的车端进行后续的处理。由于训练数据的场景和实际驾驶的场景存在差异,导致这种方法采用的模型检测精度不足,进而导致检测出的检测区域位置错误,容易导致他车驾驶行为的误判、漏判,从而危害汽车的驾驶安全。


技术实现要素:

4.针对现有技术存在的缺陷,本公开实施例提供一种目标检测方法、装置、电子设备及存储介质,可以通过更新三维检测得到的检测区域,提高检测的精确度。
5.本技术实施例提供一种目标检测方法,方法包括:确定至少一个待更新检测区域;至少一个待更新检测区域通过三维检测得到;每个待更新检测区域包括检测位置信息;根据雷达点云数据确定至少一个聚类点云集合;每个聚类点云集合包括点云位置信息;将至少一个待更新检测区域和至少一个聚类点云集合进行匹配,得到至少一个匹配组合;每个匹配组合包括一个匹配检测区域和一个匹配聚类点云集合;针对至少一个匹配组合中的每个匹配组合,执行:根据匹配聚类点云集合的点云位置信息和匹配检测区域的检测位置信息,调整匹配检测区域,得到更新检测区域。
6.可选的,确定至少一个待更新检测区域,包括:确定至少一个备选检测区域;获取每个备选检测区域所处的车道;根据每个备选检测区域的检测位置信息,确定每个备选检测区域的区域中心;将至少一个备选检测区域中,车道为第一预设车道,且区域中心和自车的距离满足距离条件的备选检测区域,确定为待更新检测区域;第一预设车道包含自车的相邻车道。
7.可选的,根据匹配聚类点云集合的点云位置信息和匹配检测区域的检测位置信息,调整匹配检测区域,得到更新检测区域,包括:基于匹配聚类点云集合的点云位置信息,确定匹配聚类点云集合的凸包切线;根据凸包切线和匹配检测区域的检测位置信息调整匹配检测区域,得到更新检测区域;更新检测区域的一边位于凸包切线上。
8.可选的,确定至少一个待更新检测区域,包括:确定至少一个备选检测区域;获取每个备选检测区域所处的车道;根据每个备选检测区域的检测位置信息,确定每个备选检测区域的尺寸信息;将至少一个备选检测区域中,车道为第二预设车道,且尺寸信息满足尺
寸条件的备选检测区域,确定为待更新检测区域;第二预设车道包括自车的相同车道。
9.可选的,将至少一个待更新检测区域和至少一个聚类点云集合进行匹配,得到至少一个匹配组合之后,方法还包括:针对至少一个匹配组合中的每个匹配组合,执行:在历史帧识别到匹配检测区域且当前帧识别不到匹配检测区域的情况下,根据上一帧的匹配检测区域和当前帧的匹配聚类点云集合,预测得到当前帧的匹配检测区域。
10.可选的,将至少一个待更新检测区域和至少一个聚类点云集合进行匹配,得到至少一个匹配组合,包括:针对至少一个待更新检测区域中的每个待更新检测区域,执行:根据待更新检测区域的检测位置信息和至少一个聚类点云集合的点云位置信息,确定待更新检测区域对应的目标聚类点云集合;根据待更新检测区域和待更新检测区域对应的目标聚类点云集合确定一个匹配组合;基于每个待更新检测区域对应的匹配组合确定至少一个匹配组合。
11.可选的,根据待更新检测区域的检测位置信息和至少一个聚类点云集合的点云位置信息,确定待更新检测区域对应的目标聚类点云集合,包括:根据至少一个聚类点云集合的点云位置信息,确定至少一个聚类点云集合的至少一个聚类重心;在基于待更新检测区域的检测位置信息,确定目标重心位于待更新检测区域之内的情况下,将目标重心对应的聚类点云集合确定为待更新检测区域对应的目标聚类点云集合;目标重心为至少一个聚类重心中的一个聚类重心。
12.相应地,本技术实施例提供一种目标检测装置,装置包括:检测模块,用于确定至少一个待更新检测区域;至少一个待更新检测区域通过三维检测得到;每个待更新检测区域包括检测位置信息;聚类模块,用于根据雷达点云数据确定至少一个聚类点云集合;每个聚类点云集合包括点云位置信息;匹配模块,用于将至少一个待更新检测区域和至少一个聚类点云集合进行匹配,得到至少一个匹配组合;每个匹配组合包括一个匹配检测区域和一个匹配聚类点云集合;更新模块,用于针对至少一个匹配组合中的每个匹配组合,执行:根据匹配聚类点云集合的点云位置信息和匹配检测区域的检测位置信息,调整匹配检测区域,得到更新检测区域。
13.可选的,检测模块用于:确定至少一个备选检测区域;获取每个备选检测区域所处的车道;根据每个备选检测区域的检测位置信息,确定每个备选检测区域的区域中心;将至少一个备选检测区域中,车道为第一预设车道,且区域中心和自车的距离满足距离条件的备选检测区域,确定为待更新检测区域;第一预设车道包含自车的相邻车道。
14.可选的,更新模块用于:基于匹配聚类点云集合的点云位置信息,确定匹配聚类点云集合的凸包切线;根据凸包切线和匹配检测区域的检测位置信息调整匹配检测区域,得到更新检测区域;更新检测区域的一边位于凸包切线上。
15.可选的,检测模块用于:确定至少一个备选检测区域;获取每个备选检测区域所处的车道;根据每个备选检测区域的检测位置信息,确定每个备选检测区域的尺寸信息;将至少一个备选检测区域中,车道为第二预设车道,且尺寸信息满足尺寸条件的备选检测区域,确定为待更新检测区域;第二预设车道包括自车的相同车道。
16.可选的,更新模块还用于:针对至少一个匹配组合中的每个匹配组合,执行:在历
史帧识别到匹配检测区域且当前帧识别不到匹配检测区域的情况下,根据上一帧的匹配检测区域和当前帧的匹配聚类点云集合,预测得到当前帧的匹配检测区域。
17.可选的,匹配模块用于:针对至少一个待更新检测区域中的每个待更新检测区域,执行:根据待更新检测区域的检测位置信息和至少一个聚类点云集合的点云位置信息,确定待更新检测区域对应的目标聚类点云集合;根据待更新检测区域和待更新检测区域对应的目标聚类点云集合确定一个匹配组合;基于每个待更新检测区域对应的匹配组合确定至少一个匹配组合。
18.可选的,匹配模块用于:根据至少一个聚类点云集合的点云位置信息,确定至少一个聚类点云集合的至少一个聚类重心;在基于待更新检测区域的检测位置信息,确定目标重心位于待更新检测区域之内的情况下,将目标重心对应的聚类点云集合确定为待更新检测区域对应的目标聚类点云集合;目标重心为至少一个聚类重心中的一个聚类重心。
19.相应地,本公开实施例提供一种电子设备,电子设备包括处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的目标检测方法。
20.相应地,本公开实施例提供一种计算机可读存储介质,存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的目标检测方法。
21.本技术实施例具有如下有益效果:(1)如果它车实际已经部分入侵本车道,但三维模型未检出,往往会导致擦碰风险。除此之外,对于自车相同车道的车辆,也可能出现上述的检测框精度不够影响车控判断的情况。通过本技术实施例,可以对需要进行三维检测框调整的车辆结合聚类结果进行检测框的调整,从而提高三维检测结果的准确度,同时避免对它车行为的误判、漏判,以保证驾驶员的驾驶安全;(2)如果通过三维检测深度学习模型推理数据无法输出得到三维检测区域,导致识别目标丢失,会造成灾难性的后果。通过本技术实施例,可以在目标丢失的情况下,结合聚类结果预测还原当前丢失的检测区域,以避免目标丢失带来灾难性的后果,提高自动驾驶功能的可靠性,并保证驾驶员的行车安全;(3)通过先将三维检测区域、聚类结果各自划分车道再进行关联,可以减少匹配过程中的计算量,从而节约算力,并且提高检测区域和聚类点云集合匹配的效率。
附图说明
22.为了更清楚地说明本技术实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
23.图1是本技术实施例所提供的一种目标检测方法的应用场景示意图;图2是本技术实施例所提供的一种目标检测方法的第一流程示意图;图3是本技术实施例所提供的一种目标检测方法的第二流程示意图;图4a是本技术实施例所提供的一种目标检测方法的车道场景示意图;
图4b是本技术实施例所提供的一种目标检测方法的三维检测示意图;图4c是本技术实施例所提供的一种目标检测方法的二维投影示意图;图5是本技术实施例所提供的一种目标检测方法的第三流程示意图;图6是本技术实施例所提供的一种目标检测方法的第四流程示意图;图7是本技术实施例所提供的一种目标检测方法的第五流程示意图;图8是本技术实施例所提供的一种目标检测方法的第六流程示意图;图9是本技术实施例所提供的一种目标检测装置的结构示意图;图10是本技术实施例所提供的一种目标检测方法的服务器的硬件结构框图。
具体实施方式
24.为使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术实施例作进一步地详细描述。显然,所描述的实施例仅仅是本技术一个实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本技术保护的范围。
25.此处所称的“实施例”是指可包含于本技术至少一个实现方式中的特定特征、结构或特性。在本技术实施例的描述中,需要理解的是,术语“上”、“下”、“左”、“右”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本技术和简化描述,而不是指示或暗示所指的装置/系统或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本技术的限制。术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含的包括一个或者更多个该特征。而且,术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术实施例能够以除了在这里图示或描述以外的顺序实施。此外,术语“包括”和“具有”/“为”以及他们/其的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元/模块的过程、方法、系统/装置、产品或设备不必限于清楚地列出的那些步骤或单元/模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元/模块。
26.下面介绍本技术提供的一种目标检测方法的具体实施例。请参阅图1,图1是本技术实施例所提供的一种目标检测方法的应用场景示意图。如图1所示,包括车辆101以及车辆101所包含的一个或者多个传感器1011、一个或者多个控制器1012。
27.可选的,车辆101可以包括传感器1011,用于感知周围环境。传感器1011可以包括下列传感器中的一个或多个:超声波传感器、毫米波雷达、激光雷达(lidar)、视觉摄像头以及红外摄像头。传感器1011可以实时捕获车辆内外的情况,并收集相对应的感知数据。
28.可选的,车辆101可以包括控制器1012。控制器1012可以包括与各种类型的计算机可读存储装置或介质通信的处理器,例如中央处理单元(cpu)或图形处理单元(gpu),或者其他的专用处理器等。计算机可读存储装置或介质可以包括任何非暂时性存储设备,非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备,并且可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质,光盘或任何其他光学介质、只读存储器(rom)、随机存取存储器(ram)、高速缓冲存储器
和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。计算机可读存储装置或介质中的一些数据表示由控制器1012用于控制车辆的可执行指令。控制器1012可以包括用于自动控制车辆中的各种致动器的自动驾驶系统。在一种可选的实施方式中,控制器1012可以确定至少一个待更新检测区域;至少一个待更新检测区域通过三维检测得到;每个待更新检测区域包括检测位置信息;根据雷达点云数据确定至少一个聚类点云集合;每个聚类点云集合包括点云位置信息;将至少一个待更新检测区域和至少一个聚类点云集合进行匹配,得到至少一个匹配组合;每个匹配组合包括一个匹配检测区域和一个匹配聚类点云集合;针对至少一个匹配组合中的每个匹配组合,执行:根据匹配聚类点云集合的点云位置信息和匹配检测区域的检测位置信息,调整匹配检测区域,得到更新检测区域。
29.此外,需要说明的是,图1所示的仅仅是本公开提供的目标检测方法的一种应用环境,在实际应用中,还可以包括其他应用环境,本实施例不对此做限定,本公开的车辆可以包括图1所示的车辆101的结构或者功能中的一种或多种。可选的,车俩101还可以包括通信模块,用于和路测设备或者云端通信,以使云端执行本技术实施例提供的一种目标检测方法,并将更新检测区域反馈至车端。
30.下面介绍本技术提供的一种目标检测方法的示例性流程。可选的,一种目标检测方法的执行主体可以是车控服务器或者自动驾驶算力平台。图2是本技术实施例提供的一种目标检测方法的第一流程示意图。本说明书提供了如实施例或流程图所示的方法或者流程操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多执行顺序中的一种方式,不代表唯一的执行顺序,在实际执行时,可以按照实施例或者附图所示的方法或者流程顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,该方法的示例性流程可以包括:步骤s201:确定至少一个待更新检测区域。
31.在一种可选的实施方式中,至少一个待更新检测区域可以通过三维检测得到。可选的,可以通过三维检测深度学习模型,得到至少一个待更新检测目标的至少一个待更新检测区域,每个待更新检测区域可以对应于一个待更新检测目标。
32.在一种可选的实施方式中,每个待更新检测区域可以包括检测位置信息。可选的,待更新检测区域可以是三维检测框,检测位置信息可以包括三维检测框的各点的坐标信息,三维检测框的长度信息、宽度信息、高度信息。可选的,待更新检测区域还可以是三维检测框的二维投影区域,检测位置信息可以包括二维投影区域的各点坐标信息,二位投影区域的长度信息和宽度信息。
33.下面介绍三种步骤s201中待更新检测区域的判定条件包括距离条件的实施例。可选的,在这些实施例中确定的待更新检测区域,可以用于后续对这些待更新检测区域进行位置更新,以得到更新检测区域。
34.第一种:下面基于图3进一步阐述步骤s201。
35.图3是本技术实施例所提供的一种目标检测方法的第二流程示意图。在一种可选的实施方式中,步骤s201的示例性流程可以包括:步骤s301:确定至少一个备选检测区域。
36.在一种可选的实施方式中,可以将雷达数据输入训练好的三维检测深度学习模型,得到至少一个备选目标的至少一个备选检测区域,每个备选检测区域可以对应于一个备选目标。
37.步骤s302:获取每个备选检测区域所处的车道。
38.在一种可选的实施方式中,可以获取地图信息,将备选检测区域的检测位置信息和地图信息相关联,确定每个备选检测区域所处的车道。
39.步骤s303:根据每个备选检测区域的检测位置信息,确定每个备选检测区域的区域中心。
40.在一种可选的实施方式中,可以基于检测位置信息中的坐标信息,确定备选检测区域的区域中心。可选的,可以根据每个备选检测区域的检测位置信息中,各个顶点坐标,将各个坐标求平均得到区域中心的坐标。
41.步骤s304:将至少一个备选检测区域中,车道为第一预设车道,且区域中心和自车的距离满足距离条件的备选检测区域,确定为待更新检测区域。
42.在一种可选的实施方式中,第一预设车道可以是自车的相邻车道。距离条件可以是区域中心和自车的距离小于第一预设距离,其中,该距离可以是自车中心点到地面的投影与它车备选检测区域中心点到地面投影之间的距离。
43.下面结合图4b、图4c进一步阐述备选检测区域中心点到地面投影的具体确定方式。
44.图4b是本技术实施例所提供的的一种目标检测方法的三维检测示意图;图4c是本技术实施例所提供的的一种目标检测方法的二维投影示意图。图4b图示了一个备选检测区域的具体结构示例,图示的立方体框即为备选检测区域,也可以是三维检测模型输出的三维检测框;图4c图示了图4b中的立方体框在二维平面的投影区域,四边形abcd,具体而言,四边形abcd可以是备选检测区域到地面的投影。在图4b、图4c所图示的实施例中,备选目标的备选检测区域中心点到地面投影的点位即为四边形abcd的中心。
45.下面结合图4a进一步阐述步骤s301-步骤s304的具体实施例。
46.图4a是本技术实施例所提供的一种目标检测方法的车道场景示意图。如图4a所图示,步骤s301中得到的备选目标可以包括它车0、它车1、它车2、它车3、它车4、它车5、它车6、它车7和它车8,图4a分别图示了上述9个备选目标分别对应的9个备选检测区域的俯视图。通过执行步骤s302,可以确定这9个备选目标各自的备选检测区域分别位于四个车道,包括自车车道a、相邻车道b、相邻车道c和其他车道d,而步骤s304中,可选的,第一预设车道可以是相邻车道,距离条件可以是步骤s303中确定的区域中心和自车的距离小于第一预设距离;可选的,9辆车中满足距离条件的备选检测区域对应的备选目标分别为它车8、它车3、它车4、它车5和它车6,且9辆车中备选检测区域位于相邻车道b、相邻车道c的备选目标包括它车3、它车4、它车5和它车6,则可以在步骤s304中将它车3、它车4、它车5和它车6分别对应的备选检测区域确定为待更新检测区域。
47.第二种:在另一种可选的实施方式中,步骤s304之前还可以包括:确定自车坐标系之下自车区域中心点到地面的投影与它车对应的备选检测区域中心点到地面投影所成角度。可选的,自车坐标系的原点可以定义在自车车体正中心与地面的交点处,自车坐标系的x轴可以
与自车长边平行,z轴可以指向天空,y轴可以与自车短边平行,自车坐标系可以符合右手定则。步骤s304还可以是:将至少一个备选检测区域中,车道为第一预设车道,且区域中心和自车的距离满足距离条件,且角度满足预设角度条件的备选检测区域确定为待更新检测区域。
48.可选的,预设角度条件可以为角度属于预设角度范围,如[-θ,+θ]。距离条件可以是距离小于预设距离,如预设距离d。第一预设车道可以是自车的相邻车道。需要注意的是,本技术实施例不对d和θ的具体数值做限定,在一些可选的实施例中,d和θ可以分别采用任何可选的数值。
[0049]
下面结合图4a中图示的场景对此实施例进行阐述,如图4a所图示,9辆车中满足距离条件的备选检测区域对应的备选目标分别为它车8、它车3、它车4、它车5和它车6,且9辆车中备选检测区域位于相邻车道b、相邻车道c的备选目标包括它车3、它车4、它车5和它车6,自车坐标系之下自车中心点到地面的投影与它车5对应的备选检测区域中心点到地面投影所成角度可以为θ,自车坐标系之下自车中心点到地面的投影与它车4对应的备选区域中心点到地面投影所成角度可以为-θ,那么可以确定它车3、它车4、它车5、它车6分别对应的备选检测区域的相关参数满足上述的预设角度条件、距离条件和车道条件,则可以在步骤s304中将它车3、它车4、它车5和它车6分别对应的备选检测区域确定为待更新检测区域。
[0050]
第三种:下面继续基于图2进行阐述:在另一种可选的实施方式中,步骤s201还可以包括:确定至少一个备选检测区域;根据每个备选检测区域的检测位置信息,确定每个备选检测区域的区域中心;将至少一个备选检测区域中,区域中心和自车的距离满足距离条件的备选检测区域,确定为待更新检测区域。
[0051]
下面结合图4a中图示的场景对此实施例进行阐述,如图4a所图示,9辆车中满足距离条件的备选检测区域对应的备选目标分别为它车8、它车3、它车4、它车5和它车6,则可以将它车8、它车3、它车4、它车5和它车6分别对应的备选检测区域确定为待更新检测区域。
[0052]
可选的,可以令备选目标的备选检测区域中心坐标为position(x,y,z)。以图4b中图示的备选检测区域为例,备选检测区域的3d框中心点坐标position(x,y,z)可以定义在自车坐标系中。则确定待更新检测区域的计算公式可以如下:对于相邻车道的position(x,y,z),如果:x^2 + y^2 《 d^2;tan
ꢀ‑
θ 《 y/x 《 tanθ,则将position(x,y,z)对应的备选检测区域确定为待更新检测区域。
[0053]
其中,d可以是预设距离,θ可以是预设角度。需要注意的是,本技术不对预设距离和预设角度的具体数值作限定,在可选的一些实施例中,预设距离和预设角度可以是任意可选的数值。
[0054]
下面介绍三种步骤s201中待更新检测区域的判定条件包括尺寸条件的实施例。可选的,在这些实施例中确定的待更新检测区域,可以用于后续对这些待更新检测区域进行位置更新,以得到更新检测区域。可选的,在这些实施例中确定的待更新检测区域,还可以用于在三维检测丢失待更新检测区域的情况下,基于历史帧的待更新检测区域预测得到当前帧的待更新检测区域。
[0055]
第一种:
下面基于图5进一步阐述步骤s201。
[0056]
图5是本技术实施例所提供的一种目标检测方法的第二流程示意图。具体地如图5所图示,步骤s201的示例性流程可以包括:步骤s501:确定至少一个备选检测区域。
[0057]
在一种可选的实施方式中,可以将雷达数据输入训练好的三维检测深度学习模型,得到至少一个备选目标的至少一个备选检测区域,每个备选检测区域可以对应于一个备选目标。
[0058]
步骤s502:获取每个备选检测区域所处的车道。
[0059]
在一种可选的实施方式中,可以获取地图信息,将备选检测区域的检测位置信息和地图信息相关联,确定每个备选检测区域所处的车道。
[0060]
步骤s503:根据每个备选检测区域的检测位置信息,确定每个备选检测区域的尺寸信息。
[0061]
在一种可选的实施方式中,可以根据每个备选检测区域的检测位置信息,确定每个备选检测区域的尺寸信息。可选的,尺寸信息可以包括宽度的信息和高度的信息。
[0062]
步骤s504:将至少一个备选检测区域中,车道为第二预设车道,且尺寸信息满足尺寸条件的备选检测区域,确定为待更新检测区域。
[0063]
在一种可选的实施方式中,第二预设车道可以为自车的相同车道。尺寸条件可以是宽度大于预设宽度,高度大于预设高度。
[0064]
下面结合图4a进一步阐述步骤s501-步骤s504的具体实施例。
[0065]
如图4a所图示,步骤s501中得到的备选目标可以包括它车0、它车1、它车2、它车3、它车4、它车5、它车6、它车7和它车8,图4a分别图示了上述9个备选目标分别对应的9个备选检测区域的俯视图。通过执行步骤s502,可以确定这9个备选目标各自的备选检测区域分别位于四个车道,包括自车车道a、相邻车道b、相邻车道c和其他车道d,而步骤s504中,可选的,第一预设车道可以是自车的相同车道,尺寸条件可以是备选检测区域的宽度大于预设宽度、备选检测区域的高度大于预设高度;可选的,9辆车中满足尺寸条件的备选检测区域为它车0、它车8、它车6对应的备选检测区域,且9辆车中备选检测区域位于自车车道a的备选目标包括它车0、它车8,则可以在步骤s504中将它车0和它车8分别对应的备选检测区域确定为待更新检测区域。
[0066]
第二种:在另一种可选的实施方式中,步骤s504之前还可以包括:确定每个备选检测区域中心和自车中心的距离,步骤s504还可以是:将至少一个备选检测区域中,车道为第二预设车道,且尺寸信息满足尺寸条件,且距离满足距离条件,且车道上和自车之间不存在其他备选检测区域的备选检测区域,确定为待更新检测区域。
[0067]
下面结合图4a中图示的场景对此实施例进行阐述,如图4a所图示,9辆车中满足尺寸条件的备选检测区域为它车0、它车8、它车6对应的备选检测区域,且9辆车中备选检测区域位于自车车道a的备选目标包括它车0、它车8,且只有它车8的备选检测区域在车道上和自车之间不存在其他备选检测区域,且它车8的备选检测区域中心在地面的投影和自车中心在地面的投影满足距离条件,则可以在步骤s504中将它车8对应的备选检测区域确定为待更新检测区域。
[0068]
可选的,可以令备选目标的备选检测区域中心坐标为position(x,y,z)。以图4b中图示的备选检测区域为例,在图4b中,w、l、h可以分别表示模型推理出3d框的宽、长、高;3d框中心点坐标position(x,y,z)可以定义在自车坐标系中。则确定待更新检测区域的计算公式可以如下:对于本车车道的position(x,y,z),若x 》 0;x^2+y^2 《 d^2;w 》 u0wz;h 》 u1hz,则可以将position(x,y,z)对应的备选检测区域确定为待更新检测区域。
[0069]
其中,其中u0 、u1 可以分别为大车宽高的第一判定参数和第二判定参数,二者的值可以分别大于1。d可以是预设距离。w、h可以表示本车道自车前方的第一辆车的宽和高。wz、hz可以表示自车的宽和高。需要注意的是,本技术不对u0 、u1、d的具体数值作限定,在可选的一些实施例中,u0 、u1、d可以是任意可选的数值。
[0070]
第三种:下面继续基于图2进行阐述:在另一种可选的实施方式中,步骤s201还可以包括:确定至少一个备选检测区域;根据每个备选检测区域的检测位置信息,确定每个备选检测区域的尺寸信息;根据每个备选检测区域的检测位置信息,确定每个备选检测区域的区域中心;将至少一个备选检测区域中,尺寸信息满足尺寸条件,且区域中心和自车的距离满足距离条件的备选检测区域,确定为待更新检测区域。可选的,尺寸条件可以是相对面的长度大于预设长度,相对面的宽度大于预设宽度;相对面可以是备选检测区域靠近自车的一面。
[0071]
下面结合图4a中图示的场景对此实施例进行阐述,如图4a所图示,9辆车中满足距离条件的备选检测区域对应的备选目标分别为它车8、它车3、它车4、它车5和它车6,9辆车中满足尺寸条件的备选检测区域对应的备选目标分别为它车0、它车8、它车6,则可以在步骤s304中将它车8和它车6分别对应的备选检测区域确定为待更新检测区域。
[0072]
步骤s202:根据雷达点云数据确定至少一个聚类点云集合。
[0073]
在一种可选的实施方式中,每个聚类点云集合可以包括点云位置信息。
[0074]
步骤s203:将至少一个待更新检测区域和至少一个聚类点云集合进行匹配,得到至少一个匹配组合。
[0075]
在一种可选的实施方式中,每个匹配组合包括一个匹配检测区域和一个匹配聚类点云集合。
[0076]
下面基于图6进一步阐述步骤s203。
[0077]
图6是本技术实施例所提供的一种目标检测方法的第四流程示意图。具体地如图6所图示,在上文中阐述的确定待更新检测区域的判定条件包括距离条件的实施例中,步骤s203可以包括:步骤s601:针对至少一个待更新检测区域中的每个待更新检测区域,执行:根据待更新检测区域的检测位置信息和至少一个聚类点云集合的点云位置信息,确定待更新检测区域对应的目标聚类点云集合。
[0078]
在一种可选的实施方式中,可以根据至少一个聚类点云集合的点云位置信息,确定至少一个聚类点云集合的至少一个聚类重心;在基于待更新检测区域的检测位置信息,确定目标重心位于待更新检测区域之内的情况下,将目标重心对应的聚类点云集合确定为待更新检测区域对应的目标聚类点云集合;目标重心为至少一个聚类重心中的一个聚类重
心。
[0079]
可选的,3d模型对雷达数据的推理结果可以包括至少一个待更新目标的至少一个待更新检测区域。假设本车道待更新目标为d0,相邻车道待更新目标为d1
‑ꢀ
dk(表示0到n的整数),同时对于属于d0-dk的待更新目标di,有待更新检测区域的区域中心position(pxi,pyi,pzi),长宽高li、wi、hi,朝向heading等属性。可选的,还可以将长宽外扩u倍,u略大于1,实际使用时需要调参确认。
[0080]
可选的,可以通过以下公式计算3d目标投影至xoy平面的4个顶点坐标及z方向坐标的最小值zmin,di、最大值zmax,di:可选的,还可以将聚类点云集合划分车道,以提高匹配效率。可选的,对于聚类结果ci,可以有点point(xik,yik,zik)属于ci,其中k可以表示0到k的整数。可选的,属于ci的点有ni个。
[0081]
可以通过下式计算聚类点云集合的聚类重心fci(xfci,yfci,zfci):计算得到聚类中心fci(xfci,yfci,zfci)之后,可以根据 fci查询地图,找到隶属于当前车道和相邻车道的聚类点云集合。
[0082]
可选的,可以通过下述步骤,确定位于自车的相邻车道或者自车的相同车道的待更新检测区域对应的目标聚类点云集合。
[0083]
遍历d1-dk, 找到隶属于di的ci,如果下式成立,
则确定ci为di对应的目标聚类点云集合,也就是说,隶属于ci 的ni个点云属于di。
[0084]
步骤s602:根据待更新检测区域和待更新检测区域对应的目标聚类点云集合确定一个匹配组合。
[0085]
在一种可选的实施方式中,可以根据待更新检测区域和待更新检测区域对应的目标聚类点云集合确定一个匹配组合,具体而言,将待更新检测区域确定为一个匹配组合中的匹配检测区域,将待更新检测区域对应的目标聚类点云集合确定为一个匹配组合中的匹配聚类点云集合。
[0086]
步骤s603:基于每个待更新检测区域对应的匹配组合确定至少一个匹配组合。
[0087]
在一种可选的实施方式中,可以基于每个待更新检测区域对应的匹配组合,确定至少一个匹配组合;上述的至少一个匹配组合中,包括所有待更新检测区域对应的匹配组合。
[0088]
下面继续基于图2进行阐述。
[0089]
步骤s204:针对至少一个匹配组合中的每个匹配组合,执行:根据匹配聚类点云集合的点云位置信息和匹配检测区域的检测位置信息,调整匹配检测区域,得到更新检测区域。
[0090]
下面基于图7进一步阐述步骤s204。
[0091]
图7是本技术实施例所提供的一种目标检测方法的第五流程示意图。具体地如图7所图示,在一种可选的实施方式中,在上文中阐述的确定待更新检测区域的判定条件包括尺寸条件的实施例中,步骤s204可以包括:针对至少一个匹配组合中的每个匹配组合,执行步骤s701-步骤s702。
[0092]
步骤s701:基于匹配聚类点云集合的点云位置信息,确定匹配聚类点云集合的凸包切线。
[0093]
在一种可选的实施方式中,可以基于匹配聚类点云集合的点云位置信息,确定匹配聚类点云集合的凸包切线。
[0094]
可选的,可以通过下述步骤找到ni个点云的凸包切线。举例说明,如果匹配组合对应的匹配目标,也就是匹配聚类点云集合对应的聚类目标,包括它车2、它车3、它车6、它车7,对于图4a中自车左侧的它车2、它车3,可以找到聚类点云最右侧、自车最左侧的切线,例如图4c中的中切线s;对于自车右侧的它车6、它车7,可以找到聚类点云最左侧、自车最右侧的切线。切线所在的方程可以代表他们的碰撞极限,以左侧它车的计算为例,计算公式可以是:
如果n/ni》=cri_value,则判定为要找的切线,其中cri_value是需要调参的量,且cri_value《=1。
[0095]
步骤s702:根据凸包切线和匹配检测区域的检测位置信息调整匹配检测区域,得到更新检测区域。
[0096]
在一种可选的实施方式中,更新检测区域的一边可以位于凸包切线上。
[0097]
可选的,以图4c为例,对于位于自车相邻车道的匹配检测区域,由于匹配检测区域的二维投影abcd四点在xoy平面的坐标已知,则可以求出对应的直线方程。可以将直线ab表示为y =k1x+b1;直线b’c’即表示为 y =k2x+b2,直线cd表示为y =k3x+b3;由以上三条直线方程,连立之后可以求出b’(xb’,yb’)、c
’ꢀ
(xc’,yc’)的坐标;又因cc’=dd’,且dd’垂直a’d’,a’d’斜率为heading,并且cd方程已知,根据这些信息可以解出d
’ꢀ
(xd’,yd’)点坐标,同理可拿到a
’ꢀ
(xa’,ya’)坐标。
[0098]
具体地,公式如下:其中,w、l、h以及可以分别表示调整前和调整后的匹配检测区域的宽、长、高。可以表示调整后的匹配检测区域的中心。
[0099]
更新检测区域的二维投影区域即为四边形a’bcd’,即原三维匹配检测区域投影在xoy平面上的图形经过结合聚类结果进行凸包微调得到的结果。可选的,可以更新检测区域的二维投影区域,按照对应的匹配检测区域的顶点z轴坐标信息,确定更新检测区域的位置信息,以得到更新检测区域。
[0100]
在自车相邻车道行驶的目标,比如车身宽度较大的大车或者靠近自车行驶方向车道行驶的车辆,如果三维模型检测框的精度不够,比如靠近自车一侧的车身检测出在自车车道,且入侵较多,会导致自车无故刹车;如果它车实际已经部分入侵本车道,但三维模型未检出,往往会导致擦碰风险。除此之外,对于自车相同车道的车辆,也可能出现上述的检测框精度不够影响车控判断的情况。通过本技术实施例,可以对需要进行三维检测框调整的车辆结合聚类结果进行检测框的调整,从而提高三维检测结果的准确度,同时避免对它车行为的误判、漏判,以保证驾驶员的驾驶安全。
[0101]
下面基于图8进一步阐述步骤s204。
[0102]
图8是本技术实施例所提供的一种目标检测方法的第六流程示意图。在一种可选
的实施方式中,在步骤s204之后还可以包括步骤s801。在另一种可选的实施方式中,步骤s204还可以包括步骤s801。具体地如图8所图示,包括:步骤s801:针对至少一个待更新检测区域中的每个待更新检测区域,执行:在历史帧识别到匹配检测区域且当前帧识别不到匹配检测区域的情况下,根据上一帧的匹配检测区域和当前帧的匹配聚类点云集合,预测得到当前帧的匹配检测区域。
[0103]
可选的,以位于自车相同车道的匹配检测区域为例,该匹配检测区域对应的匹配聚类点云集合cb的聚类重心可以是(xfcb,yfcb,zfcb)。如果当前帧的匹配检测区域db存在,则直接输出;如果不存在,则按下式处理:其中,(wdb-1, ldb-1,hdb-1)可以分别表示上一帧匹配检测区域的宽、长、高,headingself、headingdb-1可以分别表示当前帧自车朝向以及上一帧匹配检测区域的朝向,xfcb可以表示当前帧匹配聚类点云集合的聚类重心的横坐标,ydb-1、zdb-1可以表示上一帧匹配检测区域的中心的坐标信息。可选的,heading可以表示在自车xoy坐标系中,采用opencv定义法定义。
[0104]
在匹配检测区域位于自车相同车道上的实施例中,若三维检测结果丢失,对于自车前方的车辆,此时的点云主要分布在匹配检测区域对应的车辆的尾部;对于自车后方的车辆,此时的点云主要分布在匹配检测区域对应的车辆的头部。因此,由于上述公式是基于点云分布在它车靠近自车的端面得出的,因此预测匹配检测区域的准确度较高。
[0105]
在自车车道上,当自车快速靠近大车譬如公交车的过程中,受激光雷达的安装高度以及激光雷达传感器特性的影响,二者在较近距离保持相对静止状态,则此时激光雷达采样的三维检测数据可能降维成为二维检测数据。除此之外,对于相邻车道的大车,如果自车和大车快速靠近且处于相对静止状态,也可能发生类似于上述的数据降维现象。具体而言,自车的激光雷达只能检测到它车的靠近自车这一面的检测数据,而背离这一面的它车数据全部丢失,在这种情况下,通过三维检测深度学习模型推理此数据时,无法输出得到三维检测区域,导致识别目标丢失,从而会造成灾难性的后果。通过本技术实施例,可以在目标丢失的情况下,结合聚类结果预测还原当前丢失的检测区域,以避免目标丢失带来灾难性的后果,提高自动驾驶功能的可靠性,并保证驾驶员的行车安全。
[0106]
相应地,本技术实施例还提供一种目标检测装置。图9是本技术实施例所提供的一种目标检测装置的结构示意图。如图9所图示,目标检测装置900可以包括:检测模块901,用于确定至少一个待更新检测区域;至少一个待更新检测区域通过三维检测得到;每个待更新检测区域包括检测位置信息;聚类模块902,用于根据雷达点云数据确定至少一个聚类点云集合;每个聚类点云集合包括点云位置信息;匹配模块903,用于将至少一个待更新检测区域和至少一个聚类点云集合进行匹配,得到至少一个匹配组合;每个匹配组合包括一个匹配检测区域和一个匹配聚类点云集合;更新模块904,用于针对至少一个匹配组合中的每个匹配组合,执行:根据匹配聚
类点云集合的点云位置信息和匹配检测区域的检测位置信息,调整匹配检测区域,得到更新检测区域。
[0107]
可选的,检测模块901可以用于:确定至少一个备选检测区域;获取每个备选检测区域所处的车道;根据每个备选检测区域的检测位置信息,确定每个备选检测区域的区域中心;将至少一个备选检测区域中,车道为第一预设车道,且区域中心和自车的距离满足距离条件的备选检测区域,确定为待更新检测区域;第一预设车道包含自车的相邻车道。
[0108]
可选的,更新模块904可以用于:基于匹配聚类点云集合的点云位置信息,确定匹配聚类点云集合的凸包切线;根据凸包切线和匹配检测区域的检测位置信息调整匹配检测区域,得到更新检测区域;更新检测区域的一边位于凸包切线上。
[0109]
可选的,检测模块901可以用于:确定至少一个备选检测区域;获取每个备选检测区域所处的车道;根据每个备选检测区域的检测位置信息,确定每个备选检测区域的尺寸信息;将至少一个备选检测区域中,车道为第二预设车道,且尺寸信息满足尺寸条件的备选检测区域,确定为待更新检测区域;第二预设车道包括自车的相同车道。
[0110]
可选的,更新模块904还可以用于:针对至少一个匹配组合中的每个匹配组合,执行:在历史帧识别到匹配检测区域且当前帧识别不到匹配检测区域的情况下,根据上一帧的匹配检测区域和当前帧的匹配聚类点云集合,预测得到当前帧的匹配检测区域。
[0111]
可选的,匹配模块903可以用于:针对至少一个待更新检测区域中的每个待更新检测区域,执行:根据待更新检测区域的检测位置信息和至少一个聚类点云集合的点云位置信息,确定待更新检测区域对应的目标聚类点云集合;根据待更新检测区域和待更新检测区域对应的目标聚类点云集合确定一个匹配组合;基于每个待更新检测区域对应的匹配组合确定至少一个匹配组合。
[0112]
可选的,匹配模块903可以用于:根据至少一个聚类点云集合的点云位置信息,确定至少一个聚类点云集合的至少一个聚类重心;在基于待更新检测区域的检测位置信息,确定目标重心位于待更新检测区域之内的情况下,将目标重心对应的聚类点云集合确定为待更新检测区域对应的目标聚类点云集合;目标重心为至少一个聚类重心中的一个聚类重心。
[0113]
本技术实施例提供的装置实施例和方法实施例可以基于相同的构思。
[0114]
相应地,本公开实施例还提供一种电子设备,电子设备包括处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的目标检测方法。
[0115]
本技术实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图10是本技术实施例提供的目标检测方法的服务器的硬件结构框图。如图10所示,该服务器1000可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,cpu)1010(中央处理器1010可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器1030,一个或一个以上存储应用程序1023或数据1022的存储介质1020(例如一个或一个以上海量存储设备)。其中,存储器1030和存储介质1020可以是短暂存储或持久存储。存储在存储介质1020的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1010可以设置为与存储介质1020通信,在服务器
1000上执行存储介质1020中的一系列指令操作。服务器1000还可以包括一个或一个以上电源1060,一个或一个以上有线或无线网络接口1050,一个或一个以上输入输出接口1040,和/或,一个或一个以上操作系统1021,例如windows servertm,mac os xtm,unixtm, linuxtm,freebsdtm等等。
[0116]
输入输出接口1040可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1000的通信供应商提供的无线网络。在一个实例中,输入输出接口1040包括一个网络适配器(network interface controller,nic),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口1040可以为射频(radio frequency,rf)模块,其用于通过无线方式与互联网进行通讯。
[0117]
本领域普通技术人员可以理解,图10所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器1000还可包括比图10中所示更多或者更少的组件,或者具有与图10所示不同的配置。
[0118]
本技术实施提供一种存储介质,存储介质可设置于服务器之中以保存用于实现方法实施例中目标检测方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述目标检测方法。
[0119]
可选的,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于包括:u盘、只读存储器(rom,read-only memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0120]
在本发明中,除非另有明确的规定和限定,术语“相连”、“连接”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的相连或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
[0121]
需要说明的是:上述本技术实施例的先后顺序仅仅为了描述,不代表实施例的优劣,且上述本说明书对特定的实施例进行了描述,其他实施例也在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或者步骤可以按照不同的实施例中的顺序来执行并且能够实现预期的结果。另外,在附图中描绘的过程不一定要求示出特定顺序或者而连接顺序才能够实现期望的结果,在某些实施方式中,多任务并行处理也是可以的或者可能是有利的。
[0122]
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的均为与其他实施例的不同之处。尤其,对于装置/系统的实施例而言,由于其基于相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0123]
以上是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1