辅助驾驶方法、辅助驾驶系统、计算设备及存储介质与流程

文档序号:20189980发布日期:2020-03-27 19:33阅读:140来源:国知局
辅助驾驶方法、辅助驾驶系统、计算设备及存储介质与流程

本公开涉及车辆驾驶领域,特别是涉及一种辅助驾驶方法、辅助驾驶系统、计算设备及存储介质。



背景技术:

现有的车辆导航方案大多是根据车辆当前位置和目的地,规划导航路径,并根据车辆行驶过程中的实时位置,生成导航提示信息。这种车辆导航方案主要通过语音向用户播报导航提示信息,并且所播报的导航提示信息大多是诸如“向前行驶500米后右转”、“前方路口右转”等较为粗略的提示语。用户在接收到导航提示信息后,还需要结合当前实际道路信息,来确定驾驶动作,整个驾驶过程中,用户并不轻松。

有些导航方案会采用2d或3d的画面来标识道路形态,以便于用户直观地获取导航提示信息。这种方案的缺点在于,用户看到后不能够有效地将卡通画面和实景路面进行信息转换,特别是在复杂路口处,通过卡通的路口放大图进行引导,并不能给用户带来很直观的认知转换。



技术实现要素:

本公开的一个目的在于,提供一种能够为用户驾驶车辆提供便利的辅助驾驶方案。

根据本公开的第一个方面,提出了一种辅助驾驶方法,包括:识别车辆周围的环境信息;确定车辆所处的车道信息;基于环境信息和车道信息,生成用于引导驾驶行为的交通标志信息。

可选地,交通标志信息是车道级标志信息。

可选地,生成交通标志信息的步骤还包括:基于导航信息、环境信息以及车道信息,生成与导航信息相对应的交通标志信息。

可选地,生成与导航信息相对应的交通标志信息的步骤包括:在导航信息为直线前行的提示信息的情况下,生成用于引导车辆沿着当前车道直线前行的直线前行标志。

可选地,直线前行标志的长度随着车辆与前车之间的距离的变化而变化。

可选地,生成与导航信息相对应的交通标志信息的步骤包括:在导航信息为转向行驶的提示信息的情况下,生成用于引导车辆由当前车道行驶至转向处并转向行驶的转向行驶标志。

可选地,在车辆距离转向处大于第一距离的情况下,转向行驶标志为直行引导标识,在车辆距离转向处小于第一距离且大于第二距离的情况下,转向行驶标志为直行引导标识与转向引导标识的组合,第二距离小于第一距离,在车辆距离转向处的距离小于第二距离的情况下,转向行驶标志为转向引导标识。

可选地,生成与导航信息相对应的交通标志信息的步骤包括:在根据导航信息,判定车辆需从当前所处车道需驶向目标车道的情况下,生成用于引导车辆由当前车道驶向目标车道的并线标志。

可选地,该方法还包括:响应于车辆到达或即将到达预定场景,执行生成用于引导驾驶行为的交通标志信息的步骤。

可选地,预定场景包括以下至少一项:导航引擎生成路口放大图的场景;高架桥场景;环岛场景。

可选地,环境信息包括以下至少一项:车道线;车辆;行人;交通标志;路面障碍。

可选地,交通标志信息包括以下至少一项:直线直行标志;曲线直行标志;掉头行驶标志;转向行驶标志;并线标志;驶入环岛标志;驶出环岛标志;驶入高速标志;驶出高速标志;错误标志。

可选地,该方法还包括:可视化地展示交通标志信息。

可选地,可视化地展示交通标志信息的步骤包括:将交通标志信息叠加显示在实景道路上。

可选地,将交通标志信息叠加显示在实景道路上的步骤包括:获取实景道路图像;基于实景道路图像,确定渲染参数信息;使用渲染参数信息进行图像渲染,以将交通标志信息叠加显示在实景道路上。

可选地,使用渲染参数信息进行图像渲染的步骤包括:基于渲染参数信息,将交通标志信息绘制到实景道路图像上,该方法还包括:在车载显示屏幕上呈现渲染后的实景道路图像。

可选地,使用渲染参数信息进行图像渲染的步骤包括:基于渲染参数信息,将交通标志信息绘制到车载显示屏幕上,以使得车载显示屏幕上显示的交通标志信息与实景道路相匹配。

可选地,确定渲染参数信息的步骤包括:识别实景道路图像中的图像特征点;基于图像特征点,确定实景道路图像中的道路画面尺寸与实际距离的关系;以及基于道路画面尺寸与实际距离的关系,生成渲染参数信息。

可选地,渲染参数信息包括以下至少一项:位置;旋转角度;大小变化;持续时间。

可选地,识别车辆周围的环境信息的步骤包括:对车辆周围进行成像;对所成的图像进行分析,以识别车辆周围的环境信息。

可选地,确定车辆所处的车道信息的步骤包括:基于信号定位算法、航迹推算算法以及环境特征匹配算法中的一种或多种来确定车辆所处的车道信息。

可选地,该方法还包括:播放与交通标志信息一致的语音播报信息。

根据本公开的第二个方面,还提供了一种辅助驾驶系统,包括:图像采集模块,用于对车辆周围成像,以得到包含车辆周围的环境信息的图像;图像识别模块,用于对图像采集模块生成的图像进行分析,以识别车辆周围的环境信息;车道定位模块,用于确定车辆所处的车道信息;以及标志生成模块,用于基于环境信息和车道信息,生成用于引导驾驶行为的交通标志信息。

根据本公开的第三个方面,还提供了一种计算设备,包括:处理器;以及存储器,其上存储有可执行代码,当可执行代码被处理器执行时,使处理器执行如本公开第一个方面述及的方法。

根据本公开的第四个方面,还提供了一种非暂时性机器可读存储介质,其上存储有可执行代码,当可执行代码被电子设备的处理器执行时,使处理器执行如本公开第一个方面述及的方法。

本公开借助于车道级别的定位信息和车辆周围的环境信息,生成用于引导驾驶行为的交通标志信息。由此,可以为用户驾驶车辆或无人驾驶,提供便利。并且,本公开可以与导航工具(如导航引擎)相结合,将导航信息转换为更为精细化的交通标志信息,以为用户提供更为精准、便利的导航服务。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施方式中,相同的参考标号通常代表相同部件。

图1是示出了根据本公开一实施例的辅助驾驶系统的结构的示意性方框图。

图2是示出了在车载显示屏幕上显示交通标志信息的示意图。

图3是示出了根据本公开一实施例的辅助驾驶方法的示意性流程图。

图4示出了根据本公开一实施例可用于实现上述辅助驾驶方法的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。

本公开提供了一种辅助驾驶方案,其中,借助于车道级别的定位信息和车辆周围的环境信息,生成用于引导驾驶行为的交通标志信息。交通标志信息是指能够引导驾驶行为的标志信息,例如,交通标志信息可以是用于引导直行、转向、并线、掉头、驶入环岛等关键驾驶动作的标志信息。其中,交通标志信息可以是车道级标志信息,以便在更为精细的车道级别引导驾驶行为。

本公开的辅助驾驶方案可以与现有的导航工具(如导航引擎)相结合,将导航信息转换为更为精细化的交通标志信息,如车道级交通标志信息,以为用户提供更为精准、便利的导航服务。例如,在导航引擎根据车辆位置和导航路径,生成“向前直行100米”这一导航提示信息时,可以根据识别出的环境信息和车辆所处的车道信息,生成用于引导车辆沿着当前车道直线前行的直线直行标志;在导航引擎生成“转向行驶”这一提示信息时,可以根据实时获取的环境信息和车道信息,生成用于引导车辆沿着当前车道向目标车道转向行驶的转向行驶标志。

并且,在将本公开的辅助驾驶方案与现有的导航工具(如导航引擎)相结合时,本公开还可以在一定程度上避免因导航不准造成的驾驶事故。例如,在导航信息提示沿着当前道路前行300米,但是前方100米就无路的情况下,如果用户完全依照导航行驶,不可避免会产生交通事故,基于本公开的辅助驾驶方案,则可以显示沿着当前车道前行的交通标志信息,在检测到前方无路时,交通标志信息可以变为错误标识,以提示用户。

另外,本公开的辅助驾驶方案也可以不依赖于导航引擎的导航信息,而在车辆的行驶过程中,自动生成用于引导驾驶行为的交通标志信息。例如,可以根据实时获取的环境信息和车辆所处的车道信息,判断当前的驾驶行为是否违反交通规则,在违反交通规则的情况下,生成用于引导用户做出正确驾驶动作的交通标志信息。再例如,也可以根据用户(可以是群体用户,也可以是单个用户)的历史驾驶行为,统计用户的驾驶出错情况,确定驾驶出错较高的场景(如高架桥场景、环岛等复杂场景),可以在车辆行驶到这类出错率较高的场景中时,自动执行本公开的辅助驾驶方案,生成用于在车道级别引导驾驶行为的标志信息,以降低用户在这类场景中的驾驶出错率。还例如,还可以根据专家经验,定义一些特殊场景,包括但不限于导航引擎生成路口放大图的场景、高架桥场景、环岛场景,在车辆行驶到这类特殊场景中时,可以自动执行本公开的辅助驾驶方案,生成用于引导驾驶行为的交通标志信息,以降低用户在特殊场景中的驾驶出错率。其中,特殊场景的筛选前期可以通过专家经验确定,在执行过程中可以通过机器学习了解司机驾驶出错率,来自动标记特殊场景。

进一步地,基于本公开的辅助驾驶方案生成的交通标志信息可以配合道路实景展示在中控屏幕、仪表盘、hud屏幕等车载屏幕上,实现ar显示,以帮助用户获得更直观、友好的导航体验,解决传统2d或3d导航画面的认知困难问题。

下面就本公开涉及的各方面做进一步说明。

【术语解释】

ar:增强现实技术(augmentedreality,简称ar),是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频的技术。

图像识别技术:是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对像的技术。

车道定位:定位进度可以精确到具体车道的一种定位技术,相较于传统导航定位仅能支持路径定位和导航。

【辅助驾驶系统】

图1是示出了根据本公开一实施例的辅助驾驶系统的结构的示意性方框图。辅助驾驶系统100可以结合图像识别、车道定位、图像渲染等技术实现本公开的辅助驾驶方案。其中,辅助驾驶系统100可以搭载在车载操作系统中,以为用户或无人驾驶提供辅助驾驶服务,如可以结合导航模块140为用户提供更为精细化的导航服务。

图1示出了在一些实施例中可能涉及的多个模块。应当理解,并非所有这些模块都是实现本公开的技术方案所必须的。例如,通过阅读下面的实施例的具体描述可以明白,在一些场景下并不需要所有这些模块的参与。

图像采集模块110用于对车辆周围成像,以得到包含车辆周围的环境信息的图像,其中,图像采集模块110采集到的图像可以是视频,也可以是图片。可选地,图像采集模块110可以是视频信号采集模块,视频信号采集模块可以包括安装在车辆上的右侧路面采集模块、前方主路采集模块以及左侧路面采集模块。作为示例,视频信号采集模块可以是车载摄像头,可以通过车载摄像头实时采集车辆前方及左右路面情况,以得到包含车辆周围的环境信息的视频信息流。

图像采集模块110采集到的图像可以传递给图像识别模块120。图像识别模块120可以对图像采集模块110采集到的图像进行分析(图像识别),以识别车辆周围的环境信息。此处述及的环境信息可以是车辆所处的道路及道路上的车道线、行人、交通标志、路面障碍等一种或多种路况信息。

本公开主要是生成车道级别的标志信息,因此需要图像识别模块120对车道线进行更为精细的识别。优选地,识别出的车道线可以包括但不限于白色单实线、黄色单实线、黄色双实线、白色虚线、黄色虚线、导流线、斑马线、行车停止线、路面限速标识、黄色虚实线、遮挡强磨损线、车辆行人遮挡边缘线等等。其中,具体的图像识别算法此处不再赘述。

车道定位模块130用于确定车辆所处的车道信息。其中,车道定位模块130可以基于信号定位(如gps信号定位)、航迹推算、环境特征匹配等多种融合定位算法,来确定车辆所处的车道信息。并且,车道定位模块130在对车辆所处的车道进行定位的过程中还可以结合图像识别模块120识别出的车道线,以实现更精准的车道定位。其中,信号定位、航迹推算、环境特征匹配均为现有定位技术,基于多定位技术进行车道定位的具体实现过程此处不再赘述。

标志生成模块150是辅助驾驶系统100的核心规则模块,用于基于特定的规则生成用于引导驾驶行为的交通标志信息。例如,用户可以根据交通标志信息执行相应的驾驶动作,另外也可以根据生成的交通标志信息,为无人驾驶提供决策。

标志信息的生成

交通标志信息是指能够引导驾驶行为的标志信息,可选地可以是能够在车道级别引导驾驶行为的车道级标志信息,如可以是用于引导直行、转向、并线、掉头、驶入驶出环岛、驶入驶出高速等关键驾驶动作的标志信息。具体来说,交通标志信息可以包括但不限于直线直行标志、曲线直行标志、掉头行驶标志、转向行驶标志、并线标志、驶入环岛标志、驶出环岛标志、驶入高速标志、驶出高速标志、错误标志等多种标志。简要来说,直线直行标志是指沿着当前车道的延伸方向直线前行的标志;曲线直行标志是指沿着当前车道曲线前行的标志,如可以是在车道为具有一定弧度的弯曲车道的情况下,生成曲线直行标志;掉头行驶标志可以是由当前车道掉头至目标车道的标志;转向行驶标志可以是左转行驶标志,也可以是右转行驶标志;并线标志可以是从当前车道并线到目标车道的标志,可以是向左并线,也可以是向右并线;驶入环岛标志可以是在驶入或即将驶入环岛时生成的引导标志,驶出环岛标志可以是在驶出或即将驶出环岛时生成的引导标志;驶入高速标志可以是在驶入或即将驶入高速路段时生成的引导标志,驶出高速标志可以是在驶出或即将驶出高速路段时生成的引导标志;错误标志可以是行车线错误标志,也可以是路线错误标志等其他错误标志。

生成方式一

在本公开的一个实施例中,导航模块140可以用来获取导航信息,如导航模块140可以是车载导航引擎,可以基于车辆的位置和目的地,实时进行导航规划,并生成导航提示信息。另外,导航模块140也可以与导航引擎(如手机等移动端导航引擎)连接,用于接收导航引擎生成的导航信息。其中,导航信息可以包括路径规划信息和基于车辆位置生成的导航提示信息。

标志生成模块150可以根据导航信息、识别到的环境信息以及车辆所处的车道信息,生成与导航信息相对应的交通标志信息。导航信息可以包括路径规划信息和导航提示信息,因此,交通标志信息的生成可以参考路径规划信息,也可以参考导航提示信息。

例如,可以根据路径规划信息和车辆当前所处的车道信息,确定车辆是否行驶在正确的车道上,在车辆未行驶在正确的车道上的情况下,可以生成用于引导车辆由当前车道驶向正确车道的并线标志。再例如,还可以根据路径规划信息、车辆当前所处的车道信息和环境信息,判断车辆的行驶方向是否出错,在车辆的行驶方向出错的情况下,可以生成由当前车道掉头至目标车道的掉头行驶标志。还例如,还可以根据实时生成的导航提示信息,生成与导航提示信息对应的交通标志信息,所生成的交通标志信息可以视为导航提示信息在车道级别的转换结果。

下面就几种交通标志信息的生成过程及动画显示效果做示例性说明。

1、直线直行标志

可以在导航信息为直线前行的提示信息(如“前方直行300米”)的情况下,生成用于引导车辆沿着当前车道直线前行的直线直行标志。其中,直线直行标志的长度可以随着车辆与前车之间的距离的变化而变化。

作为示例,可以在开启导航功能时,生成用于引导车辆直线直行(也即直线前行)的直行引导线,作为直线直行标志。直行引导线的长度可以随前车距离变动。直行引导线的动画显示规则可以设定为,流体效果、长度不超过视平线、前车尾部,且与前车尾部留一像素空隙。并且,当触发其他标志(如转向标志、并线标志)时,可以关闭直线直行标志。

2、转向行驶标志

可以在导航信息为转向行驶的提示信息(如“前方路口右转”)的情况下,生成用于引导车辆由当前车道行驶至转向处并转向行驶的转向行驶标志。

作为示例,可以在导航引擎生成转向提示信息时,启动检测。根据车辆与转向位置之间的距离生成相应的转向行驶标志。如在车辆距离转向处大于第一距离(如30米)的情况下,转向行驶标志可以为直行引导标识,在车辆距离转向处小于第一距离且大于第二距离(如10米)的情况下,转向行驶标志可以转变为直行引导标识与转向引导标识的组合,在车辆距离转向处的距离小于第二距离的情况下,转向行驶标志可以转变为转向引导标识。其中,第二距离小于第一距离,直行引导标识可以是直行引导线,转向引导标识可以是转向引导箭头。转向引导标识的方向需要与导航提示方向一致,区分左右。可以在导航引擎检测到完成转向后关闭转向行驶标志,也可以在识别到后方来车时,关闭转向行驶标志,另外也可以在关闭转向灯时,关闭转向行驶标志。

3、并线标志

在根据导航信息,车辆需从当前所处车道需驶向目标车道的情况下,可以生成用于引导车辆由当前车道驶向目标车道的并线标志。例如,可以在判定当前车辆所处车道与导航信息不一致,需驶向目标车道的情况下,生成由当前车道驶向目标车道的并线标志。其中,可以在距离实线(单实线,双实线,虚实线的实线侧)处大于3m时,触发并线标志的生成。并且,并线标志的触发条件的判断可以通过多种方式实现,此处不再赘述。

在判定需要并线的情况下,可以在目标车道内没有车辆,或者在目标车道内有车辆且与该车辆的距离大于10m时,生成视觉上引导用户做出并线驾驶操作的并线标志。例如,并线标志可以是视觉引导箭头,视觉引导箭头可以最远延展至前车尾部,当目标车道有车辆,且小于10m时,并线标志可以正常显示,且进行车辆高亮提醒。

如图2所示,在车辆与目标车道内的前车距离较远时,并线标志可以显示在抬头显示屏(hud)上的特定位置,以使得在视觉效果上并线标志叠加显示在实景道路上。图中示出的并线标志包括并线标志1和并线标志2。并线标志1是线短距离的视觉引导箭头,用于引导并线操作,并线标志2从较远处开始显示,并延伸至目标车道内的前车车尾,用于标识目标车道内的前车。其中,并线标志1和并线标志2可以是与道路不同颜色且高亮显示,如可以是显示为高亮绿色。

当检测到车辆进入不可变道车道线(实线,虚实线实线侧)区域,可以不进行变道提醒。在并线后可以由导航引擎按照所属车道即将驶入的路线,进行路线重新规划。

至此,以直线直行标志、转向行驶标志以及并线标志为例,就这几种并线标志的生成机制及显示效果做了示例性说明。如上文所述,交通标志信息还可以包括可曲线直行标志、掉头行驶标志、驶入环岛标志、驶出环岛标志、驶入高速标志、驶出高速标志、错误标志等其他多种标志,不同类别的车道级标志可以具有相应的生成机制及显示规则,对此本公开不再赘述。

生成方式二

在本公开的另一个实施例中,标志生成模块150也可以不依赖于导航引擎的导航信息,而在用户驾驶车辆行驶过程中,自动生成用于引导驾驶行为的交通标志信息。例如,标志生成模块150可以根据实时获取的环境信息和车辆所处的车道信息,判断当前的驾驶行为是否违反交通规则,在违反交通规则的情况下,生成用于引导用户做出正确驾驶动作的交通标志信息。再例如,也可以根据用户(可以是群体用户,也可以是单个用户)的历史驾驶行为,统计用户的驾驶出错情况,确定驾驶出错较高的场景(如高架桥场景、环岛等复杂场景),在车辆行驶到这类出错率较高的场景中时,标志生成模块150可以生成用于在车道级别引导驾驶行为的标志信息,以降低用户的驾驶出错率。还例如,还可以根据专家经验,定义一些特殊复杂场景,包括但不限于导航引擎生成路口放大图的场景(如2d导航出现路口放大图的场景)、高架桥场景、环岛场景。在车辆行驶到这类特殊场景中时,标志生成模块150可以生成用于在车道级别引导驾驶行为的标志信息,以降低用户的驾驶出错率。其中,复杂场景的筛选前期可以通过专家经验确定,在执行过程中可以通过机器学习了解司机驾驶出错率,来自动标记特殊场景。

标志信息的展示

所生成的交通标志信息可以显示在显示模块170上。其中,显示模块170可以是车载显示模块,可以包括但不限于中控屏幕、仪表盘、hud屏幕等车载显示屏。优选地,显示模块170可以将交通标志信息叠加显示在实景道路上,也即ar显示,以帮助用户获得更直观、友好的驾驶体验,解决传统2d或3d导航画面的认知困难问题。优选地,可以将交通标志信息叠加显示在实景道路中的对应车道上,使得用户可以直接基于所见做出相应的驾驶动作,而无需再对所见进行任何认知上的转换。

可以通过渲染模块160将交通标志信息绘制到显示模块170上。具体来说,渲染模块160可以首先从图像采集模块110获取实景道路图像,基于实景道路图像,确定渲染参数信息。例如,渲染模块160可以识别实景道路图像中的道路中轴、道路视平线等图像特征点,基于识别出的图像特征点,可以确定实景道路图像中的道路画面尺寸与实际距离的关系,如可以通过图像特征点与预先制作的距离特征库比对的方式来确定实景道路图像中的道路画面尺寸与实际距离的关系。基于道路画面尺寸与实际距离的关系,可以生成用于渲染的参数信息,如可以包括位置、旋转角度、大小变化、持续时间等参数信息。最后渲染模块160可以基于生成的渲染参数,进行图像渲染,以将交通标志信息绘制到显示模块170上。

需要说明的是,可以预先为各个类型的交通标志信息设置对应的动画显示效果及显示规则。例如,直线直行标志的动画显示效果及规则可以是:自身为流体效果、长度不能超过平视线、前车车辆尾部,留一像素空隙,且直线直行标志的长度随前车距离的变化而变化。转向标志的动画显示效果及规则可以是:在距离转向处的距离大于30米时转向标志为“直行引导线”,在距离小于30米时,“直行引导线”转变为“直行引导线”+“转向引导箭头”,在距离转向处小于10米时转向标志变为“转向引导示意”。渲染模块160在确定渲染参数信息时,也可以参考相应的动画显示效果及显示规则,并且在确定了渲染参数后,可以基于需要绘制的交通标志信息对应的显示效果及显示规则,进行绘制。

在本公开中,渲染模块160可以将交通标志信息绘制到实景道路图像上,并将渲染后的实景道路图像呈现在显示模块170上,以实现ar显示。另外,如图2所示,显示模块170可以是车载显示屏(如hud抬头显),渲染模块160也可以将交通标志信息直接绘制到车载显示屏幕(如hud抬头显)上,以使得屏幕上显示的交通标志信息与实景道路相匹配,由此也可以实现ar显示。可选地,由于不同的显示屏幕显示画面差异、屏幕尺寸差异,还可以通过屏幕适配模块(图中未示出)根据当前屏幕的特点进行图像效果适配,适配过程此处不再赘述。

作为本公开的一个示例,标志生成模块150可以用于生成和调度各类交通标志信息、显示时间、显示位置等信息。渲染模块160可以从标志生成模块150获取生成的交通标志信息序列,交通标志信息序列包括队列时间和交通标志信息。渲染模块160可以根据位置、旋转角度、大小变化、序列持续时间等渲染参数信息,对序列中的各个交通标志信息进行渲染,最后显示在显示模块170上。

提示模块180可以播放与交通标志信息一致的语音播报信息,以帮助用户更好地理解交通标志信息。可选地,提示模块可以180整合导航信息和交通标志信息,合成为语音播报信息,以帮助用户更好地理解导航意图。

综上,本公开的辅助驾驶系统可以与导航引擎相结合,以将导航信息转换为更为精细的用于在车道级引导驾驶行为的标志信息,并且可以将交通标志信息结合实景道路进行ar显示。因此,本公开的辅助驾驶系统可以实现为一种ar导航系统,可以对原车载操作系统进行如下系统改造,以实现ar导航系统。

1)加装固定的前置摄像头,用于支持图像采集模块110进行道路图像采集。车载系统需要添加必要的摄像头信号采集处理单元,图像画面大小、帧率参数、图像传输格式。可选地,对于可接收高硬件成本的车机可以选配左右鱼眼摄像头,用于采集左右车道画面,可以提高转向、并线引导的安全性。如果选配,系统部分的视频信号处理单元需要相应增加。

2)系统算力的提高,由于需要进行实时图形识别、渲染等工作,对整体车载系统的硬件计算需要进一步提升,具体提升的数值根据实际应用的功能点动态计算。在车载系统中需要添加算力资源分配单元,用于分配算力和图像处理资源。

3)ar导航模式切换控制单元,ar效果的导航模式在车载操作系统中可以默认作为备选导航视图模式。可以在用户主动点击切换控制单元进行模式切换后,将默认2d导航画面切换为ar导航模式。并且,在一些特殊复杂场景,包括但不限于所有2d导航出现路口放大图的场景、高架桥场景、环岛场景,还可以自动切换至ar导航模式。复杂场景的筛选前期可以通过导航专家经验确定,系统执行过程中可以通过机器学习了解司机驾驶出错率,来自动标记复杂场景。

【车辆导航方法】

图3是示出了根据本公开一实施例的辅助驾驶方法的示意性流程图。其中,图3所示的方法可以由图1所示的辅助驾驶系统实现。下面就辅助驾驶方法的基本实现过程进行说明,对于其中涉及的细节,均可以参考上文相关描述,下面不再赘述。

参见图3,在步骤s310,识别车辆周围的环境信息。

车辆周围的环境信息可以是车辆所处的道路及道路上的车道线、行人、交通标志、路面障碍等一种或多种路况信息。可以对车辆周围进行成像,通过对所成的图像进行分析,以识别所述车辆周围的环境信息。

在步骤s320,确定车辆所处的车道信息。

可以基于信号定位算法、航迹推算算法以及环境特征匹配算法中的一种或多种来确定车辆所处的车道信息。

在步骤s330,基于环境信息和车道信息,生成用于引导驾驶行为的交通标志信息。关于交通标志信息及其生成过程,可以参见上文相关说明,此处不再赘述。

在得到交通标志信息后,还可以可视化地展示交通标志信息。例如,可以将交通标志信息叠加显示在实景道路上,实现交通标志信息的ar显示。关于交通标志信息的显示,可以参见上文相关说明,此处不再赘述。

另外,还可以播放与交通标志信息一致的语音播报信息。并且,可以响应于检测到车辆到达或即将到达预定场景,执行生成用于引导驾驶行为的交通标志信息的步骤。其中,预定场景可以是用户驾驶出错率较高的场景或预先设定的特殊场景,如可以包括但不限于导航引擎生成路口放大图的场景、高架桥场景、环岛场景等。

【计算设备】

图4示出了根据本公开一实施例可用于实现上述辅助驾驶方法的计算设备的结构示意图。

参见图4,计算设备400包括存储器410和处理器420。

处理器420可以是一个多核的处理器,也可以包含多个处理器。在一些实施例中,处理器420可以包含一个通用的主处理器以及一个或多个特殊的协处理器,例如图形处理器(gpu)、数字信号处理器(dsp)等等。在一些实施例中,处理器420可以使用定制的电路实现,例如特定用途集成电路(asic,applicationspecificintegratedcircuit)或者现场可编程逻辑门阵列(fpga,fieldprogrammablegatearrays)。

存储器410可以包括各种类型的存储单元,例如系统内存、只读存储器(rom),和永久存储装置。其中,rom可以存储处理器420或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器410可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(dram,sram,sdram,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器410可以包括可读和/或写的可移除的存储设备,例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom,双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、minsd卡、micro-sd卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器410上存储有可执行代码,当可执行代码被处理器420处理时,可以使处理器420执行上文述及的辅助驾驶方法。

上文中已经参考附图详细描述了根据本公开的辅助驾驶方法、系统及计算设备。

本公开可以结合ar显示技术配合车载系统中的图像识别、高精定位、导航技术,来实现的车道级别的绘制和显示效果,现有产品相比于本方案,都存在易用性、实用性和用户体验层面的较大差距。

具体来说,市面上已有一些厂商和高校研究机构提出了不同形态、不同方案的ar导航,具体缺点包括:a)仅能显示示意图标,不能将标识精确到具体车道,相比于传统导航地图并无较大实用性提升,由于车道定位技术限制,市面上的产品仅能够提示仅包括直行、转向两种功能,其他功能(如并线、掉头、环岛等强依赖精准车道信息),因此不能够有效引导和覆盖驾驶行为,这是目前市场方案最大的限制;b)示意图标展示方式相对固定,多为静态图标(如hudar方案)。提醒效果较弱,叠加在真实场景下用户很难仔细看到,相比传统导航信息更让车主费解和费眼,不能有效发挥技术价值。

本公开可以综合利用图像识别、高精定位、导航技术实现的车道定位方案,实现更精准的ar导航展现、更多形态的导航标志提示,从而提高车主的驾驶体验。具体优点包括:1)极大地拓展了当前市面产品能支持的ar导航标记种类,拓展类型包括左右并线、掉头、驶入驶出环岛、驶入驶出高速等;2)将市面已有的ar导航形态(直线直行、转向)进行了更高精度的展示,精准贴合当前车道,能更直观有效地帮助用户理解导航功能。

此外,根据本公开的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本公开的上述方法中限定的上述各步骤的计算机程序代码指令。

或者,本公开还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质),其上存储有可执行代码(或计算机程序、或计算机指令代码),当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时,使所述处理器执行根据本公开的上述方法的各个步骤。

本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本公开的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1