一种可行驶区域的确定方法、装置、设备及存储介质与流程

文档序号:23472012发布日期:2020-12-29 13:18阅读:183来源:国知局
一种可行驶区域的确定方法、装置、设备及存储介质与流程

本申请涉及自动驾驶技术领域,特别涉及一种可行驶区域的确定方法、装置、设备及存储介质。



背景技术:

随着自动驾驶技术的兴起和普及,对环境感知的功能和性能要求越来越高。可行驶区域检测为自动驾驶车辆提供路径规划辅助,以达到实现高等级自动驾驶。

现有的基于视觉的可行驶区域检测方案,主要有基于颜色、基于文理、基于边缘、基于灭点、道路模型分割、神经网络等方法,但是视觉可行驶区域检测存在以下问题:

1、基于双目视觉的可行驶区域检测方案,设备成本高,不适用于对成本敏感的高级辅助驾驶系统,具有局限性;

2、基于单目视觉的可行驶区域检测方案,由于单目视觉受相机姿态和地面起伏影响较大,易造成边缘检测误差较大;且在某些场景下,如水泥材质的高速防护栏和路面,由于防护栏和路面的颜色、纹理相近,容易造成道路边缘检测失效。



技术实现要素:

本申请实施例提供了一种可行驶区域的确定方法、装置、设备及存储介质,可以有效解决部分场景下视觉检测道路边缘检测失效的问题,可以提高可行驶区域检测的准确度。

一方面,本申请实施例提供了一种可行驶区域的确定方法,包括:

获取车辆的当前关注区域;当前关注区域包括多个子区域;

根据获取的当前行驶环境中的障碍物信息,确定多个子区域中每个子区域的第一特征;每个子区域的第一特征包括第一可行驶概率;

根据获取的当前行驶环境中的行驶边界信息,确定多个子区域中每个子区域的第二特征;每个子区域的第二特征包括第二可行驶概率;

获取多个子区域中每个子区域的预测特征;预测特征包括预测可行驶概率;

基于每个子区域的第二可行驶概率、第一可行驶概率和预测可行驶概率,从当前关注区域中确定当前可行驶区域。

可选的,预测特征还包括预测子区域类型、和预测边界概率;获取多个子区域中每个子区域的预测特征,包括:获取当前关注区域的前次关注区域,并得到前次关注区域的多个子区域中每个子区域的前次子区域类型、前次可行驶概率和前次边界概率;前次关注区域的多个子区域和当前关注区域的多个子区域一一对应;获取车辆的运动参数集合;针对前次关注区域中多个子区域的每个子区域:根据子区域的前次子区域类型、前次可行驶概率、前次边界概率和运动参数集合,确定子区域与车辆的当前相对位置;若当前相对位置处于当前关注区域对应的位置范围内,则在当前关注区域中确定当前相对位置对应的当前子区域,将子区域的前次子区域类型、前次边界概率和前次可行驶概率作为当前子区域的预测特征。

可选的,前次子区域类型包括运动障碍物;运动参数集合包括当前车速和当前车辆行驶方向;根据子区域的前次子区域类型、前次可行驶概率、前次边界概率和运动参数集合,确定子区域与车辆的当前相对位置,包括:若子区域的前次子区域类型为运动障碍物,且子区域的前次边界概率大于等于第一预设边界概率,则从障碍物信息中确定出子区域对应的障碍物信息;根据障碍物信息、当前车速和当前车辆行驶方向,确定子区域与车辆的当前相对位置。

可选的,还包括获取当前行驶环境中的障碍物信息的步骤;获取当前行驶环境中的障碍物信息,包括:通过毫米波雷达获取当前行驶环境信息,从当前行驶环境信息中确定出障碍物信息;障碍物信息包括多个障碍物的类型、速度、位置和置信度。

可选的,每个子区域的第一特征还包括第一子区域类型;根据获取的当前行驶环境中的障碍物信息,确定多个子区域中每个子区域的第一特征,包括:针对多个障碍物中每个障碍物:根据障碍物的位置,在当前关注区域中确定障碍物对应的子区域集合;根据障碍物的速度,确定子区域集合中每个子区域的第一子区域类型;将子区域集合中每个子区域的第一可行驶概率确定为预设可行驶概率。

可选的,还包括获取当前行驶环境中的行驶边界信息的步骤;获取当前行驶环境中的行驶边界信息,包括:通过摄像头获取当前行驶环境图像;对当前行驶环境图像进行语义分割,得到当前行驶环境图像对应的语义图像;从语义图像中确定出行驶边界像素点集合;行驶边界像素点集合中每个行驶边界像素点的语义特征包括车辆、护栏和绿化带中任一种;将行驶边界像素点集合映射到当前车身坐标系,得到行驶边界坐标集合;对行驶边界坐标集合进行插值处理,得到行驶边界信息。

可选的,每个子区域的第二特征还包括第一边界概率;根据获取的当前行驶环境中的行驶边界信息,确定多个子区域中每个子区域的第二特征,包括:针对行驶边界信息中每个行驶边界坐标:在当前关注区域中确定行驶边界坐标对应的子区域,并将子区域的第一边界概率确定为第二预设边界概率;根据第二预设边界概率确定第二可行驶概率。

另一方面,本申请实施例提供了一种可行驶区域的确定装置,包括:

第一获取模块,用于获取车辆的当前关注区域;当前关注区域包括多个子区域;

第一确定模块,用于根据获取的当前行驶环境中的障碍物信息,确定多个子区域中每个子区域的第一特征;每个子区域的第一特征包括第一可行驶概率;

第二确定模块,用于根据获取的当前行驶环境中的行驶边界信息,确定多个子区域中每个子区域的第二特征;每个子区域的第二特征包括第二可行驶概率;

第二获取模块,用于获取多个子区域中每个子区域的预测特征;预测特征包括预测可行驶概率;

第三确定模块,用于基于每个子区域的第二可行驶概率、第一可行驶概率和预测可行驶概率,从当前关注区域中确定当前可行驶区域。

另一方面,本申请实施例提供了一种设备,设备包括处理器和存储器,存储器中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行上述的可行驶区域的确定方法。

另一方面,本申请实施例提供了一种计算机存储介质,存储介质中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行以实现上述的可行驶区域的确定方法。

本申请实施例提供的一种可行驶区域的确定方法、装置、设备或存储介质具有如下有益效果:

通过获取车辆的当前关注区域;当前关注区域包括多个子区域;根据获取的当前行驶环境中的障碍物信息,确定多个子区域中每个子区域的第一特征;每个子区域的第一特征包括第一可行驶概率;根据获取的当前行驶环境中的行驶边界信息,确定多个子区域中每个子区域的第二特征;每个子区域的第二特征包括第二可行驶概率;获取多个子区域中每个子区域的预测特征;预测特征包括预测可行驶概率;基于每个子区域的第二可行驶概率、第一可行驶概率和预测可行驶概率,从当前关注区域中确定当前可行驶区域。如此,将从多个维度确定的当前关注区域中每个子区域的多个特征进行融合,可以提高可行驶区域检测的准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种应用场景的示意图;

图2是本申请实施例提供的一种可行驶区域的确定方法的流程示意图;

图3是本申请实施例提供的一种当前关注区域的示意图;

图4是本申请实施例提供的一种当前关注区域的示意图;

图5是本申请实施例提供的一种获取当前行驶环境中的行驶边界信息的方法流程示意图;

图6是本申请实施例提供的一种图像语义分割的示意图;

图7是本申请实施例提供的一种确定行驶边界像素点集合的示意图;

图8是本申请实施例提供的一种坐标转换的示意图;

图9是本申请实施例提供的一种插值结果示意图;

图10是本申请实施例提供的一种当前关注区域的示意图;

图11是本申请实施例提供的一种网格递推示意图;

图12是本申请实施例提供的一种当前关注区域的最终结果示意图;

图13是本申请实施例提供的一种可行驶区域的确定装置的结构示意图;

图14是本申请实施例提供的一种可行驶区域的确定方法的服务器的硬件结构框图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。

需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

现有技术中,基于单目视觉的可行驶区域检测方案,除了背景技术中提到的单目视觉受相机姿态和地面起伏影响较大,易造成边缘检测误差较大的问题外,还存在下述问题:

单目视觉无法对三维目标产生直接感知,必须通过一些假设(常用的是路面平面假设),来产生可行驶区域边缘,如此,得到的可行驶区域检测结果通常与真实场景存在误差;例如,如图1所示,车辆在上坡道行驶过程中,真实的环境是距离越远、路面高度越高,实际的可行驶区域的左右边界应该是平行的;而在单目视觉将二维的像平面信息转换为世界坐标下的三维可行驶区域时,一般假设第三维度路面信息在水平面上,最终检测到的可行驶区域的左右边界呈分叉趋势,此与真实场景存在较大误差;又例如,在路面存在坑洞或者桥接缝时,与以上的原理类似,也会造成可行驶区域的检测结果有较大误差。

除了基于视觉的可行驶区域检测方案,现有技术中也有通过激光雷达来检测可行驶区域的方案,激光雷达的可行驶区域检测有基于点云高度分割、基于道路边缘分割、基于点云视角一致性等方法,但是,采用激光雷达方案在辅助驾驶系统中对传感器成本敏感的领域并不适用。

基于此,本申请实施例提供了一种可行驶区域的确定方法、装置、设备及存储介质,成本低,可以有效解决部分场景下视觉检测道路边缘检测失效的问题,可以提高可行驶区域检测的准确度。

以下介绍本申请一种可行驶区域的确定方法的具体实施例,图2是本申请实施例提供的一种可行驶区域的确定方法的流程示意图,本说明书提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,该方法可以包括:

s201:获取车辆的当前关注区域;当前关注区域包括多个子区域。

本申请实施例中,为了给自动驾驶车辆提供路径规划辅助,需要在车辆行驶过程中实时关注车辆周围环境,以便路径规划系统给出适应当前行驶环境的自动驾驶路径,或者在全局路径规划的基础上实时调整局部路径,从而避免车辆与其他障碍物发生碰撞等事故。

因此,当前关注区域是以车辆为参照规划的,例如,以当前自车坐标系规划,在当前计算周期内车辆只需要从当前关注区域中获得有效信息;当前关注区域的范围可以基于车辆的尺寸和/或当前行驶环境实时调整,也可以基于人为经验进行固定。为了计算方便和更加有效地从当前关注区域中获得有效信息,本申请又将当前关注区域划分为多个子区域,多个子区域的大小尺寸可以相同。

一种可选的实施方式中,步骤s203之前,还包括获取当前行驶环境中的障碍物信息的步骤:通过毫米波雷达获取当前行驶环境信息,从当前行驶环境信息中确定出障碍物信息;障碍物信息包括多个障碍物的类型、速度、位置和置信度。此处,障碍物信息指的是任何车辆无法行驶通过的目标,且该目标能够形成有效反射点,具体可以包括其他车辆、行人、水泥材质的高速防护栏、绿化带、限高栏等。

具体的,毫米波雷达可以安装于车身前侧;通过毫米波雷达发射电磁波,获得环境的回波数据;根据目标检测等算法或神经网络模型从环境回波数据中得到目标点云;再利用目标跟踪算法得到目标点云中目标的航迹信息,目标的航迹信息包含类型、置信度、位置、速度等。

s203:根据获取的当前行驶环境中的障碍物信息,确定多个子区域中每个子区域的第一特征;每个子区域的第一特征包括第一可行驶概率。

本申请实施例中,当前关注区域多个子区域中每个子区域可以包括多个特征,该多个特征可以由不同的设备采集当前行驶环境信息来确定,例如上述通过毫米波雷达获取障碍物信息,可以确定每个子区域的第一特征,第一特征包括第一可行驶概率;第一可行驶概率根据该子区域是否存在障碍物来确定;将毫米波雷达检测到的障碍物信息映射到当前关注区域中,为了保证结果的准确性,毫米波雷达的检测范围可以大于当前关注区域的范围;根据障碍物的位置,找到该障碍物在当前关注区域中对应的子区域,对应的子区域的数量可以是多个也可以是一个,并确定对应的子区域第一可行驶概率;若不能找到该障碍物在当前关注区域中对应的子区域,则表示该障碍物不在车辆当前关注区域内,不影响车辆正常行驶。

本申请实施例中,每个子区域的第一特征还包括第一子区域类型;第一子区域类型可以是运动障碍物或静止障碍物或未知;即,若根据障碍物的位置,能够找到该障碍物在当前关注区域中对应的子区域,再根据障碍物的速度,确定对应的子区域的第一子区域类型为运动障碍物或静止障碍物;将当前关注区域中未与障碍物对应的剩余子区域的第一子区域类型确定为未知。

一种可选的根据获取的当前行驶环境中的障碍物信息,确定多个子区域中每个子区域的第一特征的实施方式中,包括:

针对多个障碍物中每个障碍物:根据障碍物的位置,在当前关注区域中确定障碍物对应的子区域集合;根据障碍物的速度,确定子区域集合中每个子区域的第一子区域类型;将子区域集合中每个子区域的第一可行驶概率确定为预设可行驶概率。其中,预设可行驶概率可以根据障碍物的置信度来确定,障碍物的置信度越高,表示子区域存在障碍物的可能性越高,则第一可行驶概率越低;预先建立置信度与可行驶概率的映射关系,实际计算过程中可以直接查表获得,以节省计算时间。

在确定完各障碍物对应的子区域集合中每个子区域的第一可行驶概率和第一子区域类型之后,将当前关注区域中剩余的子区域的第一可行驶概率和第一子区域类型设为默认值。

需要说明的是,当前关注区域多个子区域中每个子区域可以包括多个第一特征,本申请实施例提到的第一可行驶概率和第一子区域类型在可行驶区域的计算过程中起关键作用,但不表示本申请的第一特征仅包括第一可行驶概率和第一子区域特征,例如,当需要为车辆其他功能系统提供辅助时,第一特征也可以包括第一不可行驶概率和第二边界概率等,此时,第一不可行驶概率、第二边界概率与第一可行驶概率之和为1。

一种可选的实施方式中,在获取当前关注区域时,也可以对当前关注区域进行初始化设置;即在实际应用中,可以预先设置第一特征的默认值,再根据获取的障碍物信息来调整默认值。

一种可选的实施方式中,在确定完当前关注区域中每个子区域的第一特征之后,根据预设条件将第一子区域类型相同的子区域两两连接,组成间断或者连续的区域;对于位于连线上、第一特征为默认值的子区域,可以根据该连线上的障碍物信息再次确定该子区域的第一特征;对于该间断或者连续区域前方(远离车辆方向)的多个子区域,可以将该多个子区域的第一可行驶概率设定的较低,而对于该间断或者连续区域后方(靠近车辆方向)的多个子区域,可以将该多个子区域的第一可行驶概率设定的较高。

上述根据预设条件将第一子区域类型相同的子区域两两连接中预设条件的意思是,在第一子区域类型相同的情况下,可以将相邻的子区域两两连接(上下左右四个方向表示相邻),也可以将不相邻的子区域两两连接,不相邻的子区域可以指左上、左下、右上、右下方向的,也可以指相邻预设间隔的子区域。因此,在将相邻的子区域两两连接的情况下,连线上的子区域不需要再次确定第一特征;而在存在有不相邻的子区域两两连接的情况下,连线上存在第一特征是默认值的子区域,针对这些子区域,根据该连线上的障碍物信息调整其默认值。

下面结合图3-图4,通过一个具体的例子对上述步骤s201-s203及可选的实施方式进行说明,图3是本申请实施例提供的一种当前关注区域的示意图;当前关注区域是自车前方的6*4个i米*j米的网格组成的矩形区域,子区域为其中一个i米*j米的网格;

每个网格的第一特征包括第一可行驶概率、第一不可行驶概率、第二边界概率、第一子区域类型,预先初始化所有网格的第一特征为默认值;例如,第一可行驶概率的默认值为1/3、第一不可行驶概率的默认值为1/3、第二边界概率的默认值为1/3,第一子区域类型的默认值为未知;

将毫米波雷达获取的障碍物信息,映射到对应的网格中,结果如图4所示,此处为了便于理解和说明,假设每个障碍物只对应一个网格;例如,根据障碍物信息中某五个障碍物(m1、m2、m3、m4和m5)的位置找到对应的网格为k1、k2、k3、k4和k5;对于网格k1,根据障碍物m1的置信度得到对应的预设可行驶概率,将该预设可行驶概率更新为网格k1的第一可行驶概率pr1,并计算得到第一不可行驶概率pr2和第二边界概率pr3,根据障碍物m1的速度更新网格k1的第一子区域类型为运动障碍物(或静止障碍物);对于网格k2、k3、k4和k5采取和网格k1相同的手段,得到各自更新后的第一特征;图4中给出的数据值仅作参考;对于矩形区域中的其他网格,保持默认值不变;

将第一子区域类型为静止障碍物的网格两两相连,而考虑到运动障碍物之间可能是可行驶的区域,因此第一子区域类型为运动障碍物的网格保持独立,得到一个间断的区域;对于该间断区域前方(远离车辆方向)的多个网格,可以降低多个网格的第一可行驶概率,如网格k6从默认值降低至0.02;而对于该间断区域后方(靠近车辆方向)的多个网格,可以提高该多个网格的第一可行驶概率,如网格k7从默认值提高至0.95。

一种可选的实施方式中,步骤s205之前,还包括获取当前行驶环境中的行驶边界信息的步骤;请参阅图5,图5是本申请实施例提供的一种获取当前行驶环境中的行驶边界信息的方法流程示意图,该方法可以包括:

s501:通过摄像头获取当前行驶环境图像。

s503:对当前行驶环境图像进行语义分割,得到当前行驶环境图像对应的语义图像。

具体的,如图6所示,通过卷积神经网络模型对当前行驶环境图像进行语义分割,得到当前行驶环境图像对应的语义图像,包括每个像素点的语义特征;输出的语义图像的像素尺寸与输入的当前行驶环境图像的像素尺寸可以是一致的,也可以不一致,具体由使用的卷积神经网络模型决定,本申请中不作限定。

s505:从语义图像中确定出行驶边界像素点集合;行驶边界像素点集合中每个行驶边界像素点的语义特征包括车辆、护栏和绿化带中任一种。

具体的,行驶边界像素点集合在实际行驶环境中,主要指的是道路边界,如图6中标注的道路与护栏之间的点集;当然也可以是前方车辆或其他障碍物的像素点;如图7所示,在语义图像的底部设置一个主点,然后通过从主点向上发散,按照一个固定的角度寻找语义特征为预设语义特征的像素点,预设语义特征除了可以包括上述车辆、护栏和绿化带,还可以包括其他象征道路边界或者障碍物边界的词语,通过训练完善卷积神经网络模型可以不断丰富预设语义特征种类。例如沿着箭头1的方向,会先找到两个语义特征为车道线的像素点,但车道线不是预设语义特征,则继续向上发散,直至找到表征边界的语义特征(如护栏)及其对应的像素点pointx,并获得其在图像坐标系下的坐标(u,v);其中,寻找行驶边界像素点的频率可以是每隔0.5°扫描一个点,假设摄像头视场角(fieldangleofview,fov)的范围是-30°~30°,则总共扫描约120个像素点。

s507:将行驶边界像素点集合映射到当前车身坐标系,得到行驶边界坐标集合。

具体的,根据摄像头的内参和外参关系,将图像坐标系中的行驶边界像素点集合投影到世界坐标系xyz中,如图8所示,将图像坐标系中的行驶边界像素点a、b、c投影到世界坐标系中的点a’、b’、c’,此处,假设y轴方向的坐标均为0,因此,a’、b’、c’均位于xoz平面。

s509:对行驶边界坐标集合进行插值处理,得到行驶边界信息。(可选)

具体的,图像坐标系中每隔相同度数的行驶边界像素点集合,投影到世界坐标系中,度数间隔不是固定的,图像坐标系中距离很近的两个行驶边界像素点,在映射到世界坐标系后,两个行驶边界坐标之间可能存在比较大的间隔,在后续的计算过程中,有可能会认为两个行驶边界坐标之间是可行驶的区域,为了提高行车的安全性,采取对映射后的行驶边界坐标集合进行插值处理,如此,原先可能被认为是可行驶的区域,在进行插值后,就不会被认为是可行驶区域。需要说明的是,在不同的应用场景下,也可以选择不进行插值处理,直接将映射后的行驶边界坐标集合作为行驶边界信息,输入到车辆其他功能系统中,因此,该步骤可以根据实际情况选择执行或不执行。

例如,如图9所示,对世界坐标系中的点a’、b’、c’进行插值处理,插值方法采用在世界坐标系中、以本车为原点,固定角度进行扫描插值,例如将a’与b’连线,b’与c’连线,从a’点开始扫描差值,得到p2后,按照固定角度在a’与b’的连线上找不到p3,则可以在b’与c’的连线上找到p3,如此,可以得到p1~p5,p1~p5中相邻两个点之间的夹角为固定角度;其中,固定角度可以参考摄像头fov角度范围的1/64。

s205:根据获取的当前行驶环境中的行驶边界信息,确定多个子区域中每个子区域的第二特征;每个子区域的第二特征包括第二可行驶概率。

本申请实施例中,当前关注区域多个子区域中每个子区域还包括第二特征,第二特征包括第二可行驶概率,可以通过上述摄像头获取的行驶边界信息来确定;将行驶边界信息映射到当前关注区域中,同样地,为了保证结果的准确性,摄像头的检测范围可以大于当前关注区域的范围;根据行驶边界像素点的坐标,找到该行驶边界像素点在当前关注区域中对应的子区域,对应的子区域的数量可以是多个也可以是一个,并确定对应的子区域第二可行驶概率;若不能找到该行驶边界像素点在当前关注区域中对应的子区域,则表示该行驶边界像素点代表的实际行驶边界不在车辆当前关注区域内,不影响车辆正常行驶。

本申请实施例中,每个子区域的第二特征还包括第一边界概率;第一边界概率与第二可行驶概率满足代数关系;例如,第一边界概率与第二可行驶概率之和等于1,则第一边界概率也可称为不可行驶概率;又例如,第一边界概率也可以指某子区域位于可行驶区域与不可行驶区域交界处的概率,如此,每个子区域的第二特征还可以包括第二不可行驶概率,此时,第二不可行驶概率、第一边界概率与第二可行驶概率之和为1。

一种可选的根据获取的当前行驶环境中的行驶边界信息,确定多个子区域中每个子区域的第二特征的实施方式中,包括:

针对行驶边界信息中每个行驶边界坐标:在当前关注区域中确定行驶边界坐标对应的子区域,并将子区域的第一边界概率确定为第二预设边界概率;根据第二预设边界概率确定第二可行驶概率;其中,第二预设边界概率相对于第二可行驶概率较高,表示该子区域在实际行驶场景中可能是道路边界或者障碍物边界。

在确定完各行驶边界坐标对应的子区域的第二特征之后,将当前关注区域中剩余的子区域的第一边界概率和第二可行驶概率设为默认值。

与上文中第一特征相对应的,一种可选的实施方式中,每个子区域的第二特征还可以包括第二子区域特征;在上文获取当前行驶环境中的行驶边界信息的步骤中,最终得到的行驶边界信息不仅可以包括行驶边界坐标集合,也可以包括行驶边界坐标集合中每个行驶边界坐标对应的语义特征;因此,针对行驶边界信息中每个行驶边界坐标:在确定行驶边界坐标对应的子区域之后,还可以根据其语义特征来确定该子区域的第二子区域特征;例如,语义特征为车辆的第二子区域特征为运动边界,语义特征为护栏的第二子区域特征为静止边界。

一种可选的实施方式中,在确定完当前关注区域中每个子区域的第二特征之后,可以将各行驶边界坐标对应的子区域两两相连,组成连续的区域;对于位于连线上、第二特征为默认值的子区域,可以将其第二可行驶概率调整的较低、第一边界概率较高;对于该连续区域前方(远离车辆方向)的多个子区域,可以将该多个子区域的第二可行驶概率调整的较低、第一边界概率较高,而对于该连续区域后方(靠近车辆方向)的多个子区域,可以将该多个子区域的第二可行驶概率调整的较高、第一边界概率较低。

下面结合图10,基于上文的例子对步骤s205及其可选的实施方式进行说明。

同样的,每个网格的第二特征包括第二可行驶概率、第二不可行驶概率、第一边界概率、第二子区域类型,预先初始化所有网格的第二特征为默认值;例如,第二可行驶概率的默认值为1/3、第二不可行驶概率的默认值为1/3、第一边界概率的默认值为1/3,第二子区域类型的默认值为未知;

将基于摄像头获取的行驶边界信息,映射到对应的网格中,结果如图10所示,此处为了便于理解和说明,假设每个行驶边界坐标只对应一个网格;例如,根据行驶边界信息中某五个行驶边界坐标(p1、p2、p3、p4和p5)的位置找到对应的网格为k1、k2、k3、k4和k8;对于网格k1、k2、k3、k4和k8,确定各网格的第一边界概率均为第二预设边界概率0.75、并计算得到第二可行驶概率为0.125、第二不可行驶概率为0.125;根据行驶边界信息中p1、p2、p3、p4和p5各自的语义特征确定各网格的第二子区域类型为运动障碍物(运动边界)或静止障碍物(静止边界),如p1的语义特征是车辆,则网格k1的第二子区域类型为运动障碍物,如p2的语义特征是护栏,则网格k2的第二子区域类型为静止障碍物;对于矩形区域中的其他网格,保持默认值不变;

将网格k1、k2、k3、k4和k8进行连接,组成一连续的区域;对于该连续区域前方(远离车辆方向)的多个网格,可以降低该多个网格的第二可行驶概率,如网格k6从默认值降低至0.05;而对于该连续区域后方(靠近车辆方向)的多个网格,可以提高该多个网格的第二可行驶概率,如网格k7从默认值提高至0.9;

需要说明的是,该例子中,也可以不将第一子区域类型为运动障碍物的网格k2、k3、k4和k5两两连接,不将网格k1、k2、k3、k4和k8进行连接,直接得到离散的数据;是否进行连接可以根据实际应用场景来确定。

s207:获取多个子区域中每个子区域的预测特征;预测特征包括预测可行驶概率。

s209:基于每个子区域的第二可行驶概率、第一可行驶概率和预测可行驶概率,从当前关注区域中确定当前可行驶区域。

本申请实施例中,除了基于当前行驶环境来确定当前关注区域中每个子区域的第一特征、第二特征之外,还获取每个子区域的预测特征;融合从三个不同维度得到的第一特征、第二特征和预测特征,基于第二可行驶概率、第一可行驶概率和预测可行驶概率,使用证据理论或简单加权平均,更新每个子区域最终的可行驶概率,从当前关注区域中确定当前可行驶区域。

一种可选的基于每个子区域的第二可行驶概率、第一可行驶概率和预测可行驶概率,从当前关注区域中确定当前可行驶区域的实施方式中,包括:对每个子区域的第二可行驶概率、第一可行驶概率和预测可行驶概率加权后计算均值,得到每个子区域的当前可行驶概率;将数值大于等于预设可行驶概率的当前可行驶概率对应的子区域确定为可行驶子区域,得到当前可行驶区域。

一种可选的实施方式中,预测特征还包括预测子区域类型、和预测边界概率;在需要进行多维度数据融合时,可以将第一子区域特征的名称、第二子区域特征的名称和预测子区域类型的名称设定为相同的名称。

本申请实施例中,将前次关注区域中每个子区域的特征作为预测特征,这样做的好处是,在计算周期非常短的情况下,前次关注区域中每个子区域的特征的参考价值相对较高;由于自车运动,基于世界坐标系的子区域的位置也会变化,因此,需要递推每个子区域在当前关注区域中的位置。

一种可选的获取多个子区域中每个子区域的预测特征的实施方式中,包括:获取当前关注区域的前次关注区域,并得到前次关注区域的多个子区域中每个子区域的前次子区域类型、前次可行驶概率和前次边界概率;前次关注区域的多个子区域和当前关注区域的多个子区域一一对应;获取车辆的运动参数集合;

针对前次关注区域中多个子区域的每个子区域:根据子区域的前次子区域类型、前次可行驶概率、前次边界概率和运动参数集合,确定子区域与车辆的当前相对位置;若当前相对位置处于当前关注区域对应的位置范围内,则在当前关注区域中确定当前相对位置对应的当前子区域,将子区域的前次子区域类型、前次边界概率和前次可行驶概率作为当前子区域的预测特征。

例如,前次子区域类型包括运动障碍物;运动参数集合包括当前车速和当前车辆行驶方向;一种可选的根据子区域的前次子区域类型、前次可行驶概率、前次边界概率和运动参数集合,确定子区域与车辆的当前相对位置的实施方式中,包括:

若子区域的前次子区域类型为运动障碍物,且子区域的前次边界概率大于等于第一预设边界概率,则从障碍物信息中确定出子区域对应的障碍物信息;根据障碍物信息、当前车速和当前车辆行驶方向,确定子区域与车辆的当前相对位置。

下面结合图11,基于上文的例子对步骤s207-s209及其可选的实施方式进行说明。

同样的,每个网格的预测特征包括预测可行驶概率、预测不可行驶概率、预测边界概率、预测子区域类型,预先初始化所有网格的预测特征为默认值;例如,预测可行驶概率的默认值为1/3、预测不可行驶概率的默认值为1/3、预测边界概率的默认值为1/3,预测子区域类型的默认值为未知;

如图11所示,将获取的前次关注区域中每个网格的前次特征,递推到当前关注区域中对应的网格,作为该网格的预测特征;例如前次关注区域中网格k9的位置是第2行、第4列,由于自车运动和网格k9中的障碍物运动,网格k9在当前关注区域会发生变化,因此根据障碍物信息、当前车速和当前车辆行驶方向,确定网格k9在当前关注区域的位置可能是第1行、第4列;其中,网格k9中的障碍物运动可以通过目标运动模型(cv、ca、ct等)计算其在前次自车坐标系中的位置,然后基于当前车速和当前车辆行驶方向确定其基于当前自车坐标系的位置,即当前相对位置;上述例子是针对网格k9的前次子区域类型为运动障碍物且前次边界概率较高的,针对其他前次子区域类型为静止障碍物或未知且前次边界概率较高的网格,直接基于当前车速和当前车辆行驶方向确定其基于当前自车坐标系的位置;

若确定网格k9在当前关注区域的位置是第1行、第4列,则更新当前第1行、第4列的网格的预测特征为网格k9的前次特征;

若前次关注区域某网格在当前关注区域没有对应的网格,则表示该网格不会对当前车辆行驶产生影响;针对当前关注区域中没有与前次关注区域中任一网格有对应关系的网格,例如网格k10,则保持预测特征为默认值。

最后,将得到从三个不同维度(毫米波雷达、摄像头、前次关注区域)获得的网格信息进行融合,对每个网格的第二可行驶概率、第一可行驶概率和预测可行驶概率加权后计算均值,得到每个网格的当前可行驶概率;将当前可行驶概率超过预设可行驶概率的网格确定为可行驶网格,从而得到如图12所示的当前可行驶区域(白色区域);

需要说明的是,本申请实施例给出了一种可行驶区域的确定方法,针对每个子区域不仅确定了可行驶概率,同时也可以得到不可行驶概率和边界概率,因此,在其他实施例中,根据车辆功能系统的要求,也可以选择输出对应的不可行驶区域(浅灰色区域)或者边界区域(深灰色区域)。

综上,本申请实施例提供的可行驶区域确定方法,将从多个维度确定的当前关注区域中每个子区域的多个特征进行融合,可以得到准确度较高的可行驶区域;且适用于低成本的硬件设备,可以降低目前可行驶区域检测方案的成本;当使用毫米波雷达和摄像头来分别确定第一特征和第二特征时,能够有效解决部分场景下视觉检测道路边缘检测失效的问题,如上文提到的上坡道场景,视觉可行驶区域检测呈分叉趋势,但雷达检测受上下坡道影响较小,利用雷达检测点进行边界修正,可获得较为准确的可行驶区域。

本申请实施例还提供了一种可行驶区域的确定装置,图13是本申请实施例提供的一种可行驶区域的确定装置的结构示意图,如图13所示,该装置包括:

第一获取模块1301,用于获取车辆的当前关注区域;当前关注区域包括多个子区域;

第一确定模块1302,用于根据获取的当前行驶环境中的障碍物信息,确定多个子区域中每个子区域的第一特征;每个子区域的第一特征包括第一可行驶概率;

第二确定模块1303,用于根据获取的当前行驶环境中的行驶边界信息,确定多个子区域中每个子区域的第二特征;每个子区域的第二特征包括第二可行驶概率;

第二获取模块1304,用于获取多个子区域中每个子区域的预测特征;预测特征包括预测可行驶概率;

第三确定模块1305,用于基于每个子区域的第二可行驶概率、第一可行驶概率和预测可行驶概率,从当前关注区域中确定当前可行驶区域。

在一种可选的实施方式中,第二获取模块1304具体用于:获取当前关注区域的前次关注区域,并得到前次关注区域的多个子区域中每个子区域的前次子区域类型、前次可行驶概率和前次边界概率;前次关注区域的多个子区域和当前关注区域的多个子区域一一对应;获取车辆的运动参数集合;针对前次关注区域中多个子区域的每个子区域:根据子区域的前次子区域类型、前次可行驶概率、前次边界概率和运动参数集合,确定子区域与车辆的当前相对位置;若当前相对位置处于当前关注区域对应的位置范围内,则在当前关注区域中确定当前相对位置对应的当前子区域,将子区域的前次子区域类型、前次边界概率和前次可行驶概率作为当前子区域的预测特征。

在一种可选的实施方式中,第二获取模块1304具体用于:若子区域的前次子区域类型为运动障碍物,且子区域的前次边界概率大于等于第一预设边界概率,则从障碍物信息中确定出子区域对应的障碍物信息;根据障碍物信息、当前车速和当前车辆行驶方向,确定子区域与车辆的当前相对位置。

在一种可选的实施方式中,还包括第三获取模块,用于:通过毫米波雷达获取当前行驶环境信息,从当前行驶环境信息中确定出障碍物信息;障碍物信息包括多个障碍物的类型、速度、位置和置信度;

第一确定模块1302具体用于:根据障碍物的位置,在当前关注区域中确定障碍物对应的子区域集合;根据障碍物的速度,确定子区域集合中每个子区域的第一子区域类型;将子区域集合中每个子区域的第一可行驶概率确定为预设可行驶概率。

在一种可选的实施方式中,还包括第四获取模块,用于:通过摄像头获取当前行驶环境图像;对当前行驶环境图像进行语义分割,得到当前行驶环境图像对应的语义图像;从语义图像中确定出行驶边界像素点集合;行驶边界像素点集合中每个行驶边界像素点的语义特征包括车辆、护栏和绿化带中任一种;将行驶边界像素点集合映射到当前车身坐标系,得到行驶边界坐标集合;对行驶边界坐标集合进行插值处理,得到行驶边界信息。

第二确定模块1303具体用于:针对行驶边界信息中每个行驶边界坐标:在当前关注区域中确定行驶边界坐标对应的子区域,并将子区域的第一边界概率确定为第二预设边界概率;根据第二预设边界概率确定第二可行驶概率。

本申请实施例中的装置与方法实施例基于同样地申请构思。

本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图14是本申请实施例提供的一种可行驶区域的确定方法的服务器的硬件结构框图。如图14所示,该服务器1400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessingunits,cpu)1410(处理器1410可以包括但不限于微处理器ncu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器1430,一个或一个以上存储应用程序1423或数据1422的存储介质1420(例如一个或一个以上海量存储设备)。其中,存储器1430和存储介质1420可以是短暂存储或持久存储。存储在存储介质1420的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1410可以设置为与存储介质1420通信,在服务器1400上执行存储介质1420中的一系列指令操作。服务器1400还可以包括一个或一个以上电源1460,一个或一个以上有线或无线网络接口1450,一个或一个以上输入输出接口1440,和/或,一个或一个以上操作系统1421,例如windows,macos,unix,linux,freebsd等等。

输入输出接口1440可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1400的通信供应商提供的无线网络。在一个实例中,输入输出接口1440包括一个网络适配器(networkinterfacecontroller,nic),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口1440可以为射频(radiofrequency,rf)模块,其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解,图14所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器1400还可包括比图14中所示更多或者更少的组件,或者具有与图14所示不同的配置。

本申请的实施例还提供了一种存储介质,所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种可行驶区域的确定方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述可行驶区域的确定方法。

可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的可行驶区域的确定方法、装置、设备或存储介质的实施例可见,本申请中通过获取车辆的当前关注区域;当前关注区域包括多个子区域;根据获取的当前行驶环境中的障碍物信息,确定多个子区域中每个子区域的第一特征;每个子区域的第一特征包括第一可行驶概率;根据获取的当前行驶环境中的行驶边界信息,确定多个子区域中每个子区域的第二特征;每个子区域的第二特征包括第二可行驶概率;获取多个子区域中每个子区域的预测特征;预测特征包括预测可行驶概率;基于每个子区域的第二可行驶概率、第一可行驶概率和预测可行驶概率,从当前关注区域中确定当前可行驶区域。如此,将从多个维度确定的当前关注区域中每个子区域的多个特征进行融合,可以提高可行驶区域检测的准确度。

需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1