道路灭点位置的获取方法及装置与流程

文档序号:18643533发布日期:2019-09-11 23:56阅读:1075来源:国知局
道路灭点位置的获取方法及装置与流程

本发明涉及辅助驾驶领域,尤其涉及一种道路灭点位置的获取方法及装置。



背景技术:

基于视觉算法的高级辅助驾驶系统(adas,advanceddrivingassistantsystem)广泛应用于安全驾驶中,其利用安装在车上的传感器,在汽车行驶过程中实时感应周围的环境并结合导航仪地图数据,进行系统的运算与分析,从而预先让驾驶者察觉到可能发生的危险,有效增加汽车驾驶的舒适性和安全性,道路灭点位置是其中各项技术的关键输入信息。

相关技术通过对图像进行车道线提取或使用迭代的方式获取道路灭点的位置,但该类技术至少需要找到两条车道线,在车道线非常难以获取的情况下,例如拥堵造成的遮挡,想要找到多条车道线就变得越发困难,从而导致无法获取道路灭点位置或获取的道路灭点位置的精度不高。



技术实现要素:

本发明实施例提供一种道路灭点位置的获取方法及装置,能够借助车辆信息快速精准的获取到道路灭点位置。

本发明实施例的技术方案是这样实现的:

本发明实施例提供一种道路灭点位置的获取方法,应用于第一车辆设备,包括:

采集包括第二车辆设备的图像;

基于采集的所述图像进行车道线检测,得到所述图像中所述第一车辆设备所处车道的车道线信息;

基于采集的所述图像进行车辆检测,得到所述第二车辆设备相对于所述图像的车辆参数;

基于所述车道线信息及所述车辆参数,确定所述第一车辆设备所处车道对应的灭点位置。

上述方案中,所述基于采集的所述图像进行车道线检测,得到所述图像中所述第一车辆设备所处车道的车道线信息,包括:

对所述图像进行区域截取,得到包括所述第一车辆设备所处车道的图像区域;

获取所述图像区域中属于车道线的像素点;

通过对获取的所述像素点进行曲线拟合,确定所述图像区域中所述第一车辆设备所处车道的车道线。

上述方案中,所述通过对获取的所述像素点进行曲线拟合,确定所述图像区域中所述第一车辆设备所处车道的车道线,包括:

响应于所述车道线至少包括左车道线及右车道线,基于获取的所述像素点,确定所述左车道线及右车道线中完整性较高的车道线;

对所述完整性较高的车道线的像素点进行曲线拟合,以确定所述图像区域中所述第一车辆设备所处车道的车道线。

上述方案中,所述基于采集的所述图像进行车辆检测,得到所述第二车辆设备相对于所述图像的车辆参数,包括:

将采集的所述图像输入训练得到的神经网络模型,识别得到所述第二车辆设备的多个边框;

对识别得到的所述多个边框进行非极大抑制(nms,nonmaximumsuppression)处理,得到对应所述第二车辆设备的目标边框;

基于所述目标边框与所述图像的相对位置关系,得到所述第二车辆设备相对于所述图像的车辆参数。

上述方案中,所述基于所述目标边框与所述图像的相对位置关系,得到所述第二车辆设备相对于所述图像的车辆参数,包括:

基于所述目标边框的上边框及下边框在所述图像中的位置,确定所述第二车辆设备相对于所述图像的车辆高度;

基于所述目标边框的上边框在所述图像中的位置,确定所述上边框相对于所述图像中第一坐标系方向的第一距离,所述上边框与所述第一坐标系方向相平行。

上述方案中,所述基于所述车辆参数及所述车道线信息,确定所述第一车辆设备所处车道对应的灭点位置,包括:

确定灭点位置相对于所述图像中第一坐标系方向的第二距离;

绘制与所述图像中第一坐标系方向平行,且间距为所述第二距离的第一直线;

获取绘制的所述第一直线与所述车道线的交点在所述图像中的第一位置,将所述第一位置作为所述灭点位置。

上述方案中,所述确定灭点位置相对于所述图像中第一坐标系方向的第二距离,包括:

通过以下关系确定所述灭点位置相对于所述图像中第一坐标系方向的第二距离:

所述第二距离等于所述车辆高度的常数倍与所述第一距离的和。

上述方案中,所述基于所述车辆参数及所述车道线信息,确定所述第一车辆设备所处车道对应的灭点位置,包括:

响应于所述车辆参数包括所述第二车辆设备相对于所述图像的车辆高度,基于所述车辆高度、所述灭点位置相对于所述图像中第一坐标系方向的第二距离与所述车辆高度所呈的正相关关系,确定所述第二距离;

绘制与所述图像的上边缘平行,且间距为所述第二距离的第二直线;

获取绘制的所述第二直线与所述车道线的交点在所述图像中的第二位置,将所述第二位置作为所述灭点位置。

本发明实施例提供一种道路灭点位置的获取装置,应用于第一车辆设备,包括:

采集单元,用于采集包括第二车辆设备的图像;

第一检测单元,用于基于采集的所述图像进行车道线检测,得到所述图像中所述第一车辆设备所处车道的车道线信息;

第二检测单元,用于基于采集的所述图像进行车辆检测,得到所述第二车辆设备相对于所述图像的车辆参数;

确定单元,用于基于所述车道线信息及所述车辆参数,确定所述第一车辆设备所处车道对应的灭点位置。

上述方案中,所述第一检测单元,用于对所述图像进行区域截取,得到包括所述第一车辆设备所处车道的图像区域;

获取所述图像区域中属于车道线的像素点;

通过对获取的所述像素点进行曲线拟合,确定所述图像区域中所述第一车辆设备所处车道的车道线。

上述方案中,所述第一检测单元,用于响应于所述车道线至少包括左车道线及右车道线,基于获取的所述像素点,确定所述左车道线及右车道线中完整性较高的车道线;

对所述完整性较高的车道线的像素点进行曲线拟合,以确定所述图像区域中所述第一车辆设备所处车道的车道线。

上述方案中,所述第二检测单元,用于将采集的所述图像输入训练得到的神经网络模型,识别得到所述第二车辆设备的多个边框;

对识别得到的所述多个边框进行nms处理,得到对应所述第二车辆设备的目标边框;

基于所述目标边框与所述图像的相对位置关系,得到所述第二车辆设备相对于所述图像的车辆参数。

上述方案中,所述第二检测单元,用于基于所述目标边框的上边框及下边框在所述图像中的位置,确定所述第二车辆设备相对于所述图像的车辆高度;

基于所述目标边框的上边框在所述图像中的位置,确定所述上边框相对于所述图像中第一坐标系方向的第一距离,所述上边框与所述第一坐标系方向相平行。

上述方案中,所述确定单元,用于确定灭点位置相对于所述图像中第一坐标系方向的第二距离;

绘制与所述图像中第一坐标系方向平行,且间距为所述第二距离的第一直线;

获取绘制的所述第一直线与所述车道线的交点在所述图像中的第一位置,将所述第一位置作为所述灭点位置。

上述方案中,所述确定单元,用于通过以下关系确定所述灭点位置相对于所述图像中第一坐标系方向的第二距离:

所述第二距离等于所述车辆高度的常数倍与所述第一距离的和。

上述方案中,所述确定单元,用于响应于所述车辆参数包括所述第二车辆设备相对于所述图像的车辆高度,基于所述车辆高度、所述灭点位置相对于所述图像中第一坐标系方向的第二距离与所述车辆高度所呈的正相关关系,确定所述第二距离;

绘制与所述图像的上边缘平行,且间距为所述第二距离的第二直线;

获取绘制的所述第二直线与所述车道线的交点在所述图像中的第二位置,将所述第二位置作为所述灭点位置。

本发明实施例提供一种获取道路灭点位置的装置,包括:

存储器,用于存储可执行指令;

处理器,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的道路灭点位置的获取方法。

本发明实施例提供一种存储介质,存储有可执行指令,用于引起处理器执行时,实现本发明实施例提供的道路灭点位置的获取方法。

本发明实施例具有以下有益效果:

应用本发明实施例提供的道路灭点的获取方法,通过采集包括第二车辆设备的图像,分别确定第一车辆设备所处车道的车道线信息,及第二车辆设备相对于图像的车辆参数,根据得到的车辆参数确定灭点在图像中所在的水平线,在基于车道线与灭点所在水平线的交点确定灭点的位置。如此,利用辅助车辆信息及一条车道线就可以快速精确的确定灭点所在位置,使用范围广,增强了用户体验。

附图说明

图1为本发明实施例提供的道路灭点位置的获取系统的架构示意图;

图2为本发明实施例提供的道路灭点位置的获取装置的硬件结构示意图;

图3为本发明实施例提供的道路灭点位置的获取方法的流程示意图;

图4为本发明实施例提供的车道线二进制示意图;

图5为本发明实施例提供的车道线像素分布示意图;

图6为本发明实施例提供的车道线像素拟合示意图;

图7为本发明实施例提供的nms处理车辆边框的示意图;

图8为本发明实施例提供的确定车辆参数示意图;

图9为本发明实施例提供的确定灭点示意图;

图10为本发明实施例提供的道路灭点位置的获取方法的流程示意图;

图11为本发明实施例提供的道路灭点的获取装置的组成结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。

在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的,不是旨在限制本发明。

对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。

1)车道线,用于表示道路上分隔不同车道的白实线、白虚线、黄实线、黄虚线,以及道路边界等标志线。

2)车道线检测,指的是在图片中找到车道线,并且以点列或者直线(曲线)方程表示出来。

3)灭点,又被称为消失点,是指车道线上两条或多条代表平行线线条向远处地平线伸展直至聚合的那一点。

4)俯视图,指的是在行驶过程中,以正常视角拍摄的图片中,车道线这些平行线都会相交在灭点,通过透视变换,可以将车道线变换成为平行线,这种透视变换后的图像,称作俯视图。

5)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。

下面说明实现本发明实施例的道路灭点位置的获取装置的示例性应用,本发明实施例提供的道路灭点位置的获取装置可以由车辆设备和服务器协同实施,也可以由车辆设备自行实施。下面,将结合图1进行说明。

图1为本发明实施例提供的道路灭点位置的获取系统100的架构示意图,参见图1,为实现支撑一个示例性应用,车辆设备200通过网络300连接服务器400,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。

车辆设备200上设置有图像采集装置,用于采集包括第二车辆设备的图像,第二车辆设备与第一车辆设备(即车辆设备200)可处于同一车道,亦可处于不同车道,车辆设备发送携带有所采集的图像的灭点位置获取请求给服务器400,并在图形界面上显示服务器返回的第一车辆设备所处车道对应的灭点位置。

服务器400用于接收灭点位置获取请求,并基于接收的图像进行车道线检测,得到图像中第一车辆设备所处车道的车道线信息;基于采集的图像进行车辆检测,得到第二车辆设备相对于图像的车辆参数;基于车道线信息及车辆参数,确定第一车辆设备所处车道对应的灭点位置,并将该灭点位置发送给车辆设备200。如此,车道线检测、车辆检测以及确定道路灭点位置的操作由服务器完成,降低了车辆设备侧的数据处理压力,且适用于源图像的分辨率较大的情况。

当本发明实施例提供的道路灭点位置的获取装置由车辆设备自行实施时,车辆设备200上设置有图像采集装置及处理芯片,图像采集装置能够采集车辆设备在行驶过程中周围的图像,如采集包括与车标设备200位于同一车道上或不同车道上的第二车辆设备的图像;处理芯片基于采集的图像进行车道线检测,得到图像中车辆设备200所处车道的车道线信息,基于采集的图像进行车辆检测,得到第二车辆设备相对于图像的车辆参数,基于车道线信息及车辆参数,确定车辆设备200所处车道对应的灭点位置。如此,灭点位置的确定可在车辆设备侧实现实时化,提高了灭点位置获取效率,增强用户体验。

本发明实施例提供的道路灭点位置的获取装置可以实施为硬件或者软硬件结合的方式,下面说明本发明实施例提供的道路灭点位置的获取装置的各种示例性实施。

图2为本发明实施例提供的道路灭点位置的获取装置的硬件结构示意图,实际应用中可以应用于前述的运行应用程序的各种车辆设备,参见图2,图2所示的道路灭点位置的获取装置200包括:至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。道路灭点位置的获取装置200中的各个组件通过总线系统205耦合在一起。可以理解,总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统205。

其中,用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解,存储器202可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(rom,readonlymemory)、可编程只读存储器(prom,programmableread-onlymemory)、可擦除可编程只读存储器(eprom,erasableprogrammableread-onlymemory)、闪存(flashmemory)等。易失性存储器可以是随机存取存储器(ram,randomaccessmemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的ram可用,例如静态随机存取存储器(sram,staticrandomaccessmemory)、同步静态随机存取存储器(ssram,synchronousstaticrandomaccessmemory)。本发明实施例描述的存储器202旨在包括这些和任意其它适合类型的存储器。

本发明实施例中的存储器202用于存储各种类型的数据以支持道路灭点位置的获取装置200的操作。这些数据的示例包括:用于在道路灭点位置的获取装置200上操作的任何计算机程序,如可执行程序2021,实现本发明实施例的道路灭点位置的获取方法的程序可以包含在可执行程序2021中。

本发明实施例提供的道路灭点位置的获取方法可以应用于处理器201中,或者由处理器201实现。处理器201可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,道路灭点位置的获取方法的各步骤可以通过处理器201中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器201可以是通用处理器、数字信号处理器(dsp,digitalsignalprocessor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器201可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所提供的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器202,处理器201读取存储器202中的信息,结合其硬件完成本发明实施例提供的道路灭点位置的获取方法的步骤。

接下来将结合前述的实现本发明实施例的道路灭点位置的获取装置的示例性应用和实施,说明实现本发明实施例的道路灭点位置的获取方法。

图3为本发明实施例提供的道路灭点位置的获取方法的流程示意图,参见图3,本发明实施例提供的道路灭点位置的获取方法包括:

步骤301:第一车辆设备采集包括第二车辆设备的图像。

在实际实施中,车辆设备上设置有图像采集装置及处理芯片,图像采集装置能够采集车辆设备在行驶过程中周围的图像,如采集包括第二车辆设备的图像,这里,第二车辆设备与第一车辆设备可处于同一车道上,亦可处于不同车道上,处理芯片基于采集的图像进行后续处理。

在一些实施例中,第一车辆设备与第二车辆设备行驶方向相同,这里可以理解为:第一车辆设备为当前车辆,第二车辆设备位于当前车辆前方。当然,在另一些实施例中,第一车辆设备与第二车辆设备的行驶方向亦可不相同,在此不做具体限定。

步骤302:第一车辆设备基于采集的图像进行车道线检测,得到图像中第一车辆设备所处车道的车道线信息。

这里,第一车辆设备在进行道路灭点位置的确定之前需要获取当前车辆所处车道的车道线信息,而在实际实施时,第一车辆设备至少可以通过如下方式获取车道线信息:

对图像进行区域截取,得到包括第一车辆设备所处车道的图像区域;获取图像区域中属于车道线的像素点;通过对获取的像素点进行曲线拟合,确定图像区域中第一车辆设备所处车道的车道线。

在实际应用中,当第一车辆设备的图像采集设备畸变较大时,在对所采集的图像进行检测之前,需要采用棋盘格等方式对所采集的图像进行校正,对校正之后的图像进行区域截取,得到包括当前车辆设备所处车道的感兴趣区域,如此,仅对包含车道的图像区域进行处理,可以提高处理效率。

由于车辆所处道路的环境处于不断变化中,比如在不同的时间和路段,车道的颜色、光照和清晰度都会有所不同,为了应对多变的道路情况,需结合多种阈值过滤方法进行处理。在此,针对不同颜色的车道线,不同光照条件下的车道线,不同清晰度的车道线,根据不同的颜色空间使用不同的梯度阈值及颜色阈值进行不同的处理,并将每一种处理方式进行融合,得到车道线的二进制图,图4为本发明实施例提供的车道线二进制示意图,从二进制图中提取属于车道线的像素,对二进制图片的像素进行直方图统计,统计左右两侧的峰值点作为左右车道线的起始点坐标进行曲线拟合,从而确定图像区域中的车道线。

在实际应用中,得到的二进制图可能还存在一定的噪音像素,为了准确检测车道边界,首先需要确定哪些像素是属于车道线的,因此需要定位车道的基点,图5为本发明实施例提供的车道线像素分布示意图,参见图5,基点为图5中最下方车道出现的x轴坐标,由于车道线在的像素都集中在x轴一定范围内,因此将阈值化的图像一分为二,左右两边的在x轴上的像素分布峰值有可能是车道线基点。

在左右车道的基点定位后,第一车辆设备可通过如下方式对获取的像素点进行曲线拟合,确定图像区域中第一车辆设备所处车道的车道线:

响应于车道线包括至少左车道线及右车道线,基于获取的所述像素点,确定左车道线及右车道线中完整性较高的车道线;对完整性较高的车道线的像素点进行曲线拟合,以确定图像区域中第一车辆设备所处车道的车道线。

在实际实施时,车辆设备中的图像采集装置可采集到多条车道线,在此优选完整性较好的车道线进行灭点位置的获取,可采用滑动窗多项式拟合的方式来定位一条车道线像素,图6为本发明实施例提供的车道线像素拟合示意图,参见图6,左车道线像素点比右车道线像素点的完整性要高,因此对左车道线进行滑动窗多项式拟合,从而确定了图像区域中当前车辆所处车道的车道线为左车道线。

步骤303:第一车辆设备基于采集的图像进行车辆检测,得到第二车辆设备相对于图像的车辆参数。

这里,第一车辆设备在进行道路灭点位置的确定之前,还需要获取与当前车辆所处同一车道的第二车辆设备相对于图像的车辆参数,而在实际实施时,第一车辆设备至少可以通过如下方式获取车辆参数:

将采集的图像输入训练得到的神经网络模型,识别得到第二车辆设备的多个边框;对识别得到的多个边框进行nms处理,得到对应第二车辆设备的目标边框;基于目标边框与图像的相对位置关系,得到第二车辆设备相对于图像的车辆参数。

在实际实施时,第一车辆设备通过训练得到的神经网络模型(如循环神经网络(rnn,recurrentneuralnetwork))识别得到第二车辆设备的多个边框,具体地,第一车辆设备将采集的图像输入神经网络的输入层,经隐藏层,通过输出层输出得到第二车辆设备的多个边框,这里,对神经网络模型的训练进行说明,第一车辆设备可以通过如下方式训练上述神经网络模型:初始化神经网络模型包括的输入层、中间层和输出层;构建训练样本集合,训练样本集合包括车辆图像及非车辆图像;以采集的包括第二车辆设备的图像作为输入、相应第二车辆设备的多个边框作为输出,根据神经网络模型的损失函数,更新神经网络模型的模型参数。

而在实际应用中,经上述神经网络模型输出的第二车辆设备的边框有很多重叠的边框,为了得到对应第二车辆设备的目标边框,需将识别得到的多个边框进行nms处理,具体地:选择置信度最高的边框,计算它与其他边框的重叠度,若重叠度大于一定的阈值,则将该边框剔除,重复上述过程,直到其他边框比当前边框置信度更低。图7为本发明实施例提供的nms处理车辆边框的示意图,参见图7,多个边框经nms处理之后得到一个目标边框,如此,滤除了重叠的边框,确定了目标边框。

这里,在得到第二车辆的目标边框之后,就可以基于该目标边框与图像的相对位置关系,确定第二车辆相对于图像的车辆参数。在一些实施例中,第一车辆设备可通过如下方式得到第二车辆设备相对于图像的车辆参数:

基于目标边框的上边框及下边框在图像中的位置,确定第二车辆设备相对于图像的车辆高度;基于目标边框的上边框在图像中的位置,确定上边框相对于图像中第一坐标系方向的第一距离,上边框与第一坐标系方向相平行。

在一些实施例中,第一车辆设备基于目标边框在图像中的位置,确定第二车辆设备相对于图像的车辆高度,以及上边框与其相平行的坐标系之间的距离。

示例性地,图8为本发明实施例提供的确定车辆参数示意图,参见图8,以图像左上角为原点,建立(x,y)坐标系,单位为像素,x方向为第一坐标方向,y为第二坐标方向。假设目标边框的上边框的y方向的坐标为y1,下边框的y方向的坐标为y2,则第二车辆相对于图像的车辆高度h1为y2-y1,第一距离为y1。

步骤304:第一车辆设备基于车道线信息及车辆参数,确定第一车辆设备所处车道对应的灭点位置。

这里,根据统计值发现,道路灭点在图像中的水平线位置是与车辆边框紧密相关的,图8中道路灭点的y方向坐标是被包含在车辆边框的上边框与下边框之间,这样就大大缩小了道路灭点y方向坐标的搜索范围。

经过以上各步骤,得到了车道线信息及车辆参数之后,在一些实施例中,第一车辆设备可通过如下方式确定第一车辆设备所处车道对应的灭点位置:

确定灭点位置相对于图像中第一坐标系方向的第二距离;绘制与图像中第一坐标系方向平行,且间距为第二距离的第一直线;获取绘制的第一直线与车道线的交点在所述图像中的第一位置,将第一位置作为所述灭点位置。

这里,可根据灭点位置相对于图像中的y方向坐标绘制第一直线,其中,第一直线可以理解为灭点所在水平线。第一车辆设备根据灭点所在水平线和车道线绘制得到两者的交点所在的位置即为灭点所在位置。图9为本发明实施例提供的确定灭点示意图,参见图9,在得到了灭点y方向坐标的基础上,只需要一条车道线即可获取到灭点的位置。

在一些实施例中,第一车辆设备可通过如下方式确定灭点位置相对于图像中第一坐标系方向的第二距离:

通过以下关系确定灭点位置相对于图像中第一坐标系方向的第二距离:第二距离等于车辆高度的常数倍与第一距离的和。

示例性地,由于道路灭点在图像中的水平线位置是与车辆边框紧密相关的,在此可将灭点y方向坐标定义为一个以车辆边框参数、相机安装高度为变量的函数h=f(y1,h1,vh,a),其中,h是灭点y方向坐标,y1是车辆边框上边缘的y方向坐标,h1是车辆高度,vh是相机安装高度(单位:米),a为一个可学习的参数。计算h的函数f可以有很多实现方式,例如一个简单的公式可以凭经验取为:h=y1+h1*(a/vh-1),其中,相机安装高度vh可根据车辆的高度设置成固定值,例如对于普通轿车,可以将相机安装高度设置为统一值1.2米。根据经验或者统计或者用简单的拟合算法,我们可以得到a的一个合理的值,对应于1.2米的相机高度,a取值为1.5左右可以取得较好的效果。除此之外,h=f(y1,h,vh,a)还可以通过收集大量的采样数据,即实际出现的不同的(h,y1,h1,vh)的组合,使用回归拟合的方法,例如线性拟合,二次拟合,支持向量机回归(svr,supportvectorregression)等以获取更为精准的函数。

在一些实施例中,第一车辆设备还可以通过如下方式基于车辆参数及车道线信息,确定第一车辆设备所处车道对应的灭点位置:

响应于车辆参数包括第二车辆设备相对于图像的车辆高度,基于车辆高度、灭点位置相对于图像中第一坐标系方向的第二距离与车辆高度所呈的正相关关系,确定第二距离;绘制与图像的上边缘平行,且间距为第二距离的第二直线;获取绘制的第二直线与车道线的交点在图像中的第二位置,将第二位置作为灭点位置。

这里,根据第二车辆在图像中的车辆高度与灭点位置相对于x方向的距离的正相关关系,确定灭点在图像中的y方向坐标,依此确定灭点在图像中所在水平线,在得到了灭点所在水平线的基础上,只需要一条车道线即可以获取到灭点的位置。

应用本发明上述实施例,第一车辆设备通过采集包括第二车辆设备的图像,分别确定第一车辆设备所处车道的车道线信息,及第二车辆设备相对于图像的车辆参数,根据得到的车辆参数确定灭点在图像中所在的水平线,在基于车道线与灭点所在水平线的交点确定灭点的位置。如此,利用辅助车辆信息及一条车道线就可以快速精确的确定灭点所在位置,使用范围广,增强了用户体验。

图10为本发明实施例提供的道路灭点位置的获取方法的流程示意图,该道路灭点位置的获取方法可通过车辆设备和服务器协同实现,参见图10,本发明实施例的道路灭点位置的获取方法包括:

步骤1001:第一车辆设备采集包括第二车辆设备的图像。

在实际实施时,第一车辆设备设置有图像采集装置,可通过自身的图像采集装置(如摄像头)采集第二车辆设备的图像,在一些实施例中,第一车辆设备与第二车辆设备行驶方向相同,第一车辆设备与第一车辆设备处于同一车道上,这里可理解为:第一车辆设备为当前车辆,第二车辆设备位于当前车辆前方。

当然,在另一些实施例中,第一车辆设备与第二车辆设备亦可处于不同车道上,或者,第一车辆设备与第二车辆设备行驶方向亦可不相同,在此不做具体限定。

步骤1002:第一车辆设备发送灭点位置获取请求给服务器,请求中携带有包括第二车辆设备的图像。

这里,第一车辆设备发送灭点位置获取请求给服务器,请求中携带有第一车辆标识及包括第二车辆设备的图像,使服务器基于接收的图像进行灭点位置的确定,以及将确定的灭点位置基于第一车辆标识返回给第一车辆设备。

步骤1003:服务器基于灭点位置获取请求,对接收的图像进行车道线检测,得到图像中第一车辆设备所处车道的车道线信息。

这里,服务器采用车道线检测技术对所接收的图像进行车道线检测,在实际实施时,第一车辆设备中的图像采集装置至少采集到一条车道线,在此可采用滑动窗多项式的拟合方式对完整性较好的车道线进行拟合来定位一条车道线,并将该定位好的车道线确定为第一车辆设备所处车道的车道线信息。

步骤1004:服务器基于车辆检测技术对接收的图像进行车辆检测,得到第二车辆设备相对于图像的车辆参数。

在实际实施时,服务器将接收的图像输入训练得到的神经网络模型,得到第二车辆设备的多个边框,并对得到的多个边框进行nms处理,得到对应第二车辆设备的目标边框,基于得到的目标边框与图像的相对位置关系,得到第二车辆设备相对于图像的车辆参数,参见图8,这里,车辆参数包括车辆边框的上边框的y方向的坐标及车辆高度,图8中车辆边框的上边框的y方向的坐标为y1,下边框的y方向的坐标为y2,则第二车辆相对于图像的车辆高度h1为y2-y1。

步骤1005:服务器基于第二车辆设备相对于图像的车辆参数,得到图像中灭点所在水平线

这里,由于道路灭点在图像中的水平线位置是与车辆边框紧密相关的,在得到第二车辆设备相对于图像的车辆高度h1及车辆边框上边框距x轴的距离y1之后,服务器根据公式h=y1+h1*(a/vh-1)计算得出灭点位置相对于图像的距离horizon,其中,相机安装高度vh可根据车辆的高度设置成固定值,a是一个可学习的参数,例如对于普通轿车,可以将相机安装高度设置为统一值1.2米,那么相应地,根据经验或者统计或者用简单的拟合算法,a取值为1.5。参见图9,在确定了h之后,可绘制一条与x轴平行且间距为h的直线(如图9中编号1),该直线即为图像中的灭点所在水平线。

步骤1006:服务器基于得到的车道线信息及灭点所在水平线,确定灭点位置。

这里,在得到灭点所在水平线之后,结合上述检测得到的一条车道线,即可绘制得到灭点所在水平线与该条车道线的交点(如图9中编号2),将该交点的位置确定为灭点所在位置。

步骤1007:服务器返回灭点位置给第一车辆设备。

在实际应用中,灭点位置是adas中前车距离计算、行人距离估计、车道线检测等技术的关键输入信息,第一车辆设备可基于确定的灭点位置进行相应的驾驶辅助。

示例性地,灭点和车道线是相互影响的,在已知车道线的情况下,可通过两条车道线相交的点确定灭点的位置,在已知灭点位置的情况下,则可根据灭点位置确定车道线。这里,第一车辆设备基于确定的灭点位置进行车道线的检测,降低了车道线检测的难度。

经过上述步骤,车辆设备将采集的图像发送给服务器进行后续处理,即车道线检测、车辆检测以及确定道路灭点位置的操作由服务器完成,如此,降低了车辆设备侧的数据处理压力,且适用于源图像的分辨率较大的情况。

下面,将说明本发明实施例在一个实际的应用场景中的示例性应用。

在辅助驾驶系统中,车辆设备安装有图像采集装置及处理芯片,图像采集装置能够采集车辆设备在行驶过程中或停止时的周围环境信息,比如采集包括前方车辆的图像,这里,前方车辆与当前车辆设备可位于同一车道上,亦可位于不同车道上。处理芯片基于采集的图像进行车道线检测,得到图像中当前车辆所处车道的车道线信息,基于采集的图像进行车辆检测,得到前方车辆相对于图像的车辆参数,基于得到的车道线信息及车辆参数,确定图像中的灭点位置。

具体的,根据统计值可以发现,灭点在图像中的y方向坐标即水平线的位置是与车辆边框有紧密的相关性的。如图8所示,灭点的y方向坐标是被包含在车辆边框的上下边缘之间的,这样已大大缩小了灭点y方向坐标的搜索范围,只需要在这个小范围内,找到边框与灭点y方向坐标的具体位置关系即可。而在辅助驾驶系统中,车辆检测和前车预警是一项必备的功能,想使用车辆的边框信息并不需要额外的计算量,即可采用车辆检测技术对采集的图像进行车辆检测,得到车辆在图像中的车辆边框参数。

这里,可以将灭点y方向坐标定义为一个以车辆边框参数、相机安装高度为变量的函数,即h=f(yt,h1,vh,a),其中h是灭点y方向坐标,yt是车辆边框上边缘的y方向坐标,h1是车辆高度(单位:像素),vh是相机安装高度(单位:米),a为一个可学习的参数。计算h的函数f可以有很多设计方式,例如一个简单的公式可以凭经验取为:h=yt+h1*(a/vh-1)。摄像头安装高度vh,可以根据车辆的高度设置成固定值,例如对于普通轿车,可以将摄像头安装高度统一设置为1.2米,并可根据经验或者统计或者用简单的拟合算法得到a的一个合理的值,比如,对应于1.2米的摄像头高度,a取值为1.5左右可以取得较好的效果。除此之前,h=f(yt,h1,vh,a)公式还可有很多种设计方法,比如,通过收集大量的采样数据,即实际出现的不同的(h,yt,h1,vh)的组合,可使用各种回归拟合的方法,例如线性拟合、二次拟合与svr等,来获取更为精准的公式。

在确定了图像中灭点所在水平线的基础上,再通过车道线检测技术对采集的图像进行车道线检测,只需要检测到一条车道线,即可以根据灭点所在水平线与一条车道线获取灭点的位置,该灭点的位置为水平线与车道线的交点所在位置,如图9所示。

如此,通过上述方法可以快速准确的获取灭点位置,使用范围广,特别是在现有方案无法获取灭点位置的部分情况下,诸如因堵车造成车道线遮挡或者车道线模糊等恶劣情况从而无法获取两条车道线进行灭点确定,而采用本发明所提供的方法也能准确获取到灭点位置。

续对本发明实施例提供的道路灭点的获取装置的软件实现进行说明。图11为本发明实施例提供的道路灭点的获取装置的组成结构示意图,参见图11,本发明实施例道路灭点的获取装置11,应用于第一车辆设备,包括:

采集单元1101,用于采集包括第二车辆设备的图像;

第一检测单元1102,用于基于采集的图像进行车道线检测,得到图像中第一车辆设备所处车道的车道线信息;

第二检测单元1103,用于基于采集的图像进行车辆检测,得到第二车辆设备相对于图像的车辆参数;

确定单元1104,用于基于车道线信息及车辆参数,确定第一车辆设备所处车道对应的灭点位置。

在一些实施例中,第一检测单元1102,用于对图像进行区域截取,得到包括第一车辆设备所处车道的图像区域;

获取图像区域中属于车道线的像素点;

通过对获取的所述像素点进行曲线拟合,确定图像区域中第一车辆设备所处车道的车道线。

在一些实施例中,第一检测单元1102,用于响应于车道线至少包括左车道线及右车道线,基于获取的所述像素点,确定左车道线及右车道线中完整性较高的车道线;

对完整性较高的车道线的像素点进行曲线拟合,以确定图像区域中第一车辆设备所处车道的车道线。

在一些实施例中,第二检测单元1103,用于将采集的图像输入训练得到的神经网络模型,识别得到第二车辆设备的多个边框;

对识别得到的多个边框进行nms处理,得到对应第二车辆设备的目标边框;

基于目标边框与图像的相对位置关系,得到第二车辆设备相对于所述图像的车辆参数。

在一些实施例中,第二检测单元1103,用于基于目标边框的上边框及下边框在图像中的位置,确定第二车辆设备相对于图像的车辆高度;

基于目标边框的上边框在图像中的位置,确定上边框相对于图像中第一坐标系方向的第一距离,上边框与第一坐标系方向相平行。

在一些实施例中,确定单元1104,用于确定灭点位置相对于图像中第一坐标系方向的第二距离;

绘制与图像中第一坐标系方向平行,且间距为第二距离的第一直线;

获取绘制述第一直线与车道线的交点在图像中的第一位置,将第一位置作为所述灭点位置。

在一些实施例中,确定单元1104,用于通过以下关系确定灭点位置相对于图像中第一坐标系方向的第二距离:

第二距离等于车辆高度的常数倍与第一距离的和。

在一些实施例中,确定单元1104,用于响应于车辆参数包括第二车辆设备相对于图像的车辆高度,基于车辆高度、灭点位置相对于图像中第一坐标系方向的第二距离与车辆高度所呈的正相关关系,确定第二距离;

绘制与图像的上边缘平行,且间距为第二距离的第二直线;

获取绘制的第二直线与所述车道线的交点在图像中的第二位置,将第二位置作为灭点位置。

本发明实施例该提供一种存储有可执行指令的存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本发明实施例提供的路灭点位置的获取方法,例如,如图3示出的道路灭点位置的获取方法。

在一些实施例中,存储介质可以是fram、rom、prom、eprom、eeprom、闪存、磁表面存储器、光盘、或cd-rom等存储器;也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(html,hypertextmarkuplanguage)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。

作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。

综上所述,通过本发明实施例提供的道路灭点位置的获取方法,通过采集包括第二车辆设备的图像,分别确定第一车辆设备所处车道的车道线信息,及第二车辆设备相对于图像的车辆参数,根据得到的车辆参数确定灭点在图像中所在的水平线,在基于车道线与灭点所在水平线的交点确定灭点的位置。如此,利用辅助车辆信息及一条车道线就可以快速精确的确定灭点所在位置,使用范围广,增强用户体验。

以上所述,仅为本发明的实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1