车辆行驶自动控制方法和装置与流程

文档序号:15443447发布日期:2018-09-14 23:04阅读:180来源:国知局

本发明涉及汽车控制技术领域,尤其涉及一种车辆行驶自动控制方法和装置。



背景技术:

目前,车辆自适应巡航系统通常使用毫米波雷达、激光雷达等作为测距传感器。由此,主体车辆通过安装上述任一种类型的测距传感器就可以感测主体车辆前方的多个目标车辆并自适应地调整巡航系统的运动参数。

然而,对于多个目标车辆行驶于隧道的情况,毫米波雷达、激光雷达等测距传感器并不能很好地识别车道线。因此仅安装载毫米波雷达或激光雷达的主体车辆很可能将本车道的目标车辆识别为在非本车道,并可能将非本车道的目标车辆识别为在本车道,可能导致主体车辆的自适应巡航系统执行错误的制动或制动延迟,主体车辆的行驶安全性低。



技术实现要素:

本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。

为此,本发明的第一个目的在于提出一种车辆行驶自动控制方法,能够使得主体车辆的自适应巡航系统执行正确的制动,减少不必要的制动调整,有效地减少了追尾碰撞风险,提高了主体车辆的行驶安全性、以及提高了主体车辆驾驶员在进出隧道过程中的操作便利性。

本发明的第二个目的在于提出一种车辆行驶自动控制装置。

为达上述目的,本发明第一方面实施例提出了一种车辆行驶自动控制方法,包括:从前置3d相机获取主体车辆前方环境的第一图像和第二图像,从后置3d相机获取主体车辆后方环境的第三图像和第四图像,其中,第一图像和第三图像为色彩或亮度图像,第二图像和第四图像为深度图像;根据所述第一图像获取前方公路车道线,根据所述第三图像获取后方公路车道线;根据所述第一图像和所述第二图像之间的交织映射关系将所述前方公路车道线映射至所述第二图像中生成多个前方车辆识别范围,根据所述第三图像和所述第四图像之间的交织映射关系将所述后方公路车道线映射至所述第四图像中生成多个后方车辆识别范围;根据所有前方车辆识别范围识别前方目标车辆,根据所有后方车辆识别范围识别后方目标车辆;获取隧道信息和限速信息;根据所述隧道信息和所述限速信息改变所述主体车辆的巡航车速上限和巡航安全距离的设置;根据所述隧道信息调整所述前置3d相机和所述后置3d相机的焦距,根据所述前方目标车辆和所述后方目标车辆的运动参数对所述主体车辆的运动参数进行隧道内巡航控制。

本发明实施例的车辆行驶自动控制方法,首先从前置3d相机获取主体车辆前方环境的第一图像和第二图像,从后置3d相机获取主体车辆后方环境的第三图像和第四图像,并根据第一图像获取前方公路车道线和根据第三图像获取后方公路车道线,然后根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,根据第三图像和第四图像之间的交织映射关系将后方公路车道线映射至第四图像中生成多个后方车辆识别范围,并根据所有前方车辆识别范围识别前方目标车辆和根据所有后方车辆识别范围识别后方目标车辆,最后获取隧道信息和限速信息,根据隧道信息和限速信息改变主体车辆的巡航车速上限和巡航安全距离的设置以及根据隧道信息调整前置3d相机和后置3d相机的焦距,根据前方目标车辆和后方目标车辆的运动参数对主体车辆的运动参数进行隧道内巡航控制。由此,能够使得主体车辆的自适应巡航系统执行正确的制动,减少不必要的制动调整,有效地减少了追尾碰撞风险,提高了主体车辆的行驶安全性、以及提高了主体车辆驾驶员在进出隧道过程中的操作便利性。

为达上述目的,本发明第二方面实施例提出了一种车辆行驶自动控制装置,包括:第一获取模块,用于从前置3d相机获取主体车辆前方环境的第一图像和第二图像,从后置3d相机获取主体车辆后方环境的第三图像和第四图像,其中,第一图像和第三图像为色彩或亮度图像,第二图像和第四图像为深度图像;第二获取模块,用于根据所述第一图像获取前方公路车道线;第三获取模块,用于根据所述第三图像获取后方公路车道线;第一生成模块,用于根据所述第一图像和所述第二图像之间的交织映射关系将所述前方公路车道线映射至所述第二图像中生成多个前方车辆识别范围,根据所述第三图像和所述第四图像之间的交织映射关系将所述后方公路车道线映射至所述第四图像中生成多个后方车辆识别范围;第一识别模块,用于根据所有前方车辆识别范围识别前方目标车辆;第二识别模块,用于根据所有后方车辆识别范围识别后方目标车辆;第四获取模块,用于获取隧道信息和限速信息;改变模块,用于根据所述隧道信息和所述限速信息改变所述主体车辆的巡航车速上限和巡航安全距离的设置;调整模块,用于根据所述隧道信息调整所述前置3d相机和所述后置3d相机的焦距;控制模块,用于根据所述前方目标车辆和所述后方目标车辆的运动参数对所述主体车辆的运动参数进行隧道内巡航控制。

本发明实施例的车辆行驶自动控制装置,首先从前置3d相机获取主体车辆前方环境的第一图像和第二图像,从后置3d相机获取主体车辆后方环境的第三图像和第四图像,并根据第一图像获取前方公路车道线和根据第三图像获取后方公路车道线,然后根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,根据第三图像和第四图像之间的交织映射关系将后方公路车道线映射至第四图像中生成多个后方车辆识别范围,并根据所有前方车辆识别范围识别前方目标车辆和根据所有后方车辆识别范围识别后方目标车辆,最后获取隧道信息和限速信息,根据隧道信息和限速信息改变主体车辆的巡航车速上限和巡航安全距离的设置以及根据隧道信息调整前置3d相机和后置3d相机的焦距,根据前方目标车辆和后方目标车辆的运动参数对主体车辆的运动参数进行隧道内巡航控制。由此,能够使得主体车辆的自适应巡航系统执行正确的制动,减少不必要的制动调整,有效地减少了追尾碰撞风险,提高了主体车辆的行驶安全性、以及提高了主体车辆驾驶员在进出隧道过程中的操作便利性。

本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1为本发明一个实施例提供的车辆行驶自动控制方法的流程示意图;

图2为本发明另一个实施例提供的车辆行驶自动控制方法的流程示意图;

图3为本发明又一个实施例提供的车辆行驶自动控制方法的流程示意图;

图4为本发明再一个实施例提供的车辆行驶自动控制方法的流程示意图;

图5为本发明一个实施例提供的准确识别后方左侧非本车道目标车辆的转向灯的示意图;

图6为本发明一个实施例提供的在直道中准确识别向左弯道中前方目标车辆完成向右变道的示意图;

图7为本发明一个实施例提供的在直道中准确识别向右弯道中前方目标车辆正在向左变道的示意图;

图8为本发明一个实施例提供的车辆行驶自动控制装置的结构示意图;

图9为本发明另一个实施例提供的车辆行驶自动控制装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的车辆行驶自动控制方法和装置。

通常,通过安装毫米波雷达、激光雷达等作为测距传感器感测主体车辆前方的多个目标车辆并自适应地调整巡航系统的运动参数。

然而,在多个目标车辆行驶于隧道的情况下,毫米波雷达、激光雷达等测距传感器并不能很好地识别车道线。可能导致主体车辆的自适应巡航系统执行错误的制动或制动延迟,主体车辆的行驶安全性低。

为了解决上述问题,本发明提出一种车辆行驶自动控制方法,能够使得主体车辆的自适应巡航系统执行正确的制动,减少不必要的制动调整,提高了主体车辆的行驶安全性。具体如下:

图1为本发明一个实施例提供的车辆行驶自动控制方法的流程示意图。

如图1所示,该车辆行驶自动控制方法包括以下步骤:

步骤101,从前置3d相机获取主体车辆前方环境的第一图像和第二图像,从后置3d相机获取主体车辆后方环境的第三图像和第四图像,其中,第一图像和第三图像为色彩或亮度图像,第二图像和第四图像为深度图像。

可以理解的是,从前置3d相机获取主体车辆前方环境的第一图像和第二图像以及从后置3d相机获取主体车辆后方环境的第三图像和第四图像的方式有很多种,可以根据实际应用需要进行选择设置。举例说明如下:

第一种示例,从前置3d相机的图像传感器获取主体车辆前方环境的第一图像,从前置3d相机的飞行时间传感器获取主体车辆前方环境的第二图像。

具体地,通过图像传感器获取主体车辆前方环境的色彩或亮度图像作为第一图像和通过飞行时间传感器获取主体车辆前方环境的深度图像作为第二图像。

第二种示例,从后置3d相机的图像传感器获取主体车辆后方环境的第三图像,从后置3d相机的飞行时间传感器获取主体车辆后方环境的第四图像。

具体地,通过图像传感器获取主体车辆后方环境的色彩或亮度图像作为第三图像和通过飞行时间传感器获取主体车辆后方环境的深度图像作为第四图像。

步骤102,根据第一图像获取前方公路车道线,根据第三图像获取后方公路车道线。

可以理解的是,第一图像可以是亮度图像、或者是色彩图像。根据不同的第一图像根据第一图像获取前方公路车道线不同,具体说明如下:

第一种示例,当第一图像为亮度图像,根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。

第二种示例,当第一图像为色彩图像,将色彩图像转换为亮度图像,根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。

需要说明的是,获取前方公路车道线指的是获取主体车辆前方所有的公路车道线。

可以理解的是,第三图像可以是亮度图像、或者是色彩图像。根据不同的第三图像根据第三图像获取后方公路车道线不同,具体说明如下:

第一种示例,当第三图像为亮度图像,根据第三图像中后方公路车道线与路面的亮度差异识别后方公路车道线。

第二种示例,当第三图像为色彩图像,将色彩图像转换为亮度图像,根据第三图像中后方公路车道线与路面的亮度差异识别后方公路车道线。

需要说明的是,获取后方公路车道线指的是获取主体车辆后方所有的公路车道线。

步骤103,根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,根据第三图像和第四图像之间的交织映射关系将后方公路车道线映射至第四图像中生成多个后方车辆识别范围。

可以理解的是,第一图像和第二图像之间的交织映射关系表示第一图像的每个像素的行列坐标经过等比例的调整都可以在第二图像至少确定一个像素的行列坐标,因此根据第一图像获取的前方公路车道线的每个边缘像素位置都可以在第二图像至少确定一个像素位置,从而在第二图像中获取了等比例调整的前方公路车道线。

由此,根据第二图像中获取的等比例的前方公路车道线,每两个相邻的前方公路车道线唯一创建一个前方车辆识别范围,从而,多个两个相邻的前方公路车道线能够生成多个前方车辆识别范围。

可以理解的是,第三图像和第四图像之间的交织映射关系表示第三图像的每个像素的行列坐标经过等比例的调整都可以在第四图像至少确定一个像素的行列坐标,因此根据第三图像获取的后方公路车道线的每个边缘像素位置都可以在第四图像至少确定一个像素位置,从而在第四图像中获取了等比例调整的后方公路车道线。

由此,根据第四图像中获取的等比例的后方公路车道线,每两个相邻的后方公路车道线唯一创建一个后方车辆识别范围,从而,多个两个相邻的后方公路车道线能够生成多个后方车辆识别范围。

步骤104,根据所有前方车辆识别范围识别前方目标车辆,根据所有后方车辆识别范围识别后方目标车辆。

可以理解的是,根据所有前方车辆识别范围识别前方目标车辆的方式有很多种,可以根据实际应用需要进行选择设置。举例说明如下:

第一种示例,对所有前方车辆识别范围标记前方本车道和前方非本车道的标签,根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆,根据标记前方非本车道标签的车辆识别范围识别前方非本车道目标车辆,根据两两组合的前方车辆识别范围识别前方变道目标车辆。

第二种示例,采用图像处理算法中的边界检测方法检测前方目标车辆的目标边界进行识别。

具体地,前方目标车辆相对于飞行时间传感器的距离和位置随时间总是变化的,而路面、隔离带相对于飞行时间传感器的距离和位置随时间近似是不变化的。因此可以通过利用两幅不同时刻获取的第二图像(深度图像)创建时间微分深度图像以检测上述距离和位置的变化,进而标记本车道标签的前方车辆识别范围识别前方本车道目标车辆,标记非本车道标签的前方车辆识别范围识别前方非本车道目标车辆,在两两组合的前方车辆识别范围识别前方变道目标车辆。

可以理解的是,根据所有后方车辆识别范围识别后方目标车辆的方式有很多种,可以根据实际应用需要进行选择设置。举例说明如下:

第一种示例,对所有后方车辆识别范围标记后方本车道和后方非本车道的标签,根据标记后方本车道标签的车辆识别范围识别后方本车道目标车辆,根据标记后方非本车道标签的车辆识别范围识别后方非本车道目标车辆,根据两两组合的后方车辆识别范围识别后方变道目标车辆。

第二种示例,采用图像处理算法中的边界检测方法检测后方目标车辆的目标边界进行识别。

具体地,后方目标车辆相对于飞行时间传感器的距离和位置随时间总是变化的,而路面、隔离带相对于飞行时间传感器的距离和位置随时间近似是不变化的。因此可以通过利用两幅不同时刻获取的第二图像(深度图像)创建时间微分深度图像以检测上述距离和位置的变化,进而标记本车道标签的后方车辆识别范围识别后方本车道目标车辆,标记非本车道标签的后方车辆识别范围识别后方非本车道目标车辆,在两两组合的后方车辆识别范围识别后方变道目标车辆。

步骤105,获取隧道信息和限速信息。

可以理解的是,隧道信息和限速信息可以是隧道入口信息及其对应的限速信息、或者是隧道出口信息及其对应的限速信息。

由此,获取隧道信息和限速信息的方式有很多种,可以根据实际应用需要进行选择设置,举例说明如下:

第一种示例,从导航系统获取隧道入口信息和限速信息。

第二种示例,从导航系统获取隧道出口信息和限速信息。

第三种示例,根据第一图像和第二图像识别隧道入口信息和限速信息。

第四种示例,根据第一图像和第二图像识别隧道出口信息和限速信息。

步骤106,根据隧道信息和限速信息改变主体车辆的巡航车速上限和巡航安全距离的设置。

可以理解的是,不同的隧道信息,改变主体车辆的巡航车速上限和巡航安全距离的设置不同。

作为一种示例,隧道信息为隧道出口信息时,根据隧道出口信息、限速信息和用户设置信息,改变主体车辆的巡航车速上限和巡航安全距离的设置。

步骤107,根据隧道信息调整前置3d相机和后置3d相机的焦距,根据前方目标车辆和后方目标车辆的运动参数以及转向灯对主体车辆的运动参数进行隧道内巡航控制。

可以理解的是,不同的隧道信息调整前置3d相机和后置3d相机的焦距的方式不同,举例说明如下:

第一种示例,当隧道信息为隧道入口信息,减小前置3d相机和后置3d相机的焦距。

第二种示例,当隧道信息为隧道出口信息,增大前置3d相机和后置3d相机的焦距。

进一步地,根据前方目标车辆和后方目标车辆的运动参数对主体车辆的运动参数进行隧道内巡航控制。

在本发明的一个实施例中,可以根据前方目标车辆生成前方目标车辆范围的方式有很多种,可以根据实际应用需要进行选择设置。举例说明如下:

第一种示例,根据前方目标车辆的目标边界围成的闭合区域生成前方目标车辆范围。

第二种示例,根据前方目标车辆的目标边界的延伸的围成的闭合区域生成前方目标车辆范围。

第三种示例,根据前方目标车辆的多个像素位置连线围成的闭合区域生成前方目标车辆范围。

在本发明的一个实施例中,可以,根据后方目标车辆生成后方目标车辆范围的方式有很多种,可以根据实际应用需要进行选择设置。举例说明如下:

第一种示例,根据后方目标车辆的目标边界围成的闭合区域生成后方目标车辆范围。

第二种示例,根据后方目标车辆的目标边界的延伸的围成的闭合区域生成后方目标车辆范围。

第三种示例,根据后方目标车辆的多个像素位置连线围成的闭合区域生成后方目标车辆范围。

进一步地,根据第一图像和第二图像之间的交织映射关系将前方目标车辆范围映射至第一图像中生成前方车灯识别区域,根据第三图像和第四图像之间的交织映射关系将后方目标车辆范围映射至第三图像中生成后方车灯识别区域。

具体地,第一图像和第二图像之间的交织映射关系表示第二图像中前方目标车辆范围的每个像素的行列坐标经过等比例的调整都可以在第一图像至少确定一个像素的行列坐标,并且该前方目标车辆的车灯的成像包含在相应的前方目标车辆范围中,从而在第一图像中生成了车灯识别区域。

具体地,第三图像和第四图像之间的交织映射关系表示第四图像中后方目标车辆范围的每个像素的行列坐标经过等比例的调整都可以在第三图像至少确定一个像素的行列坐标,并且该后方目标车辆的车灯的成像包含在相应的后方目标车辆范围中,从而在第三图像中生成了车灯识别区域。

进一步地,根据前方车灯识别区域识别相应前方目标车辆的转向灯,根据后方车灯识别区域识别相应后方目标车辆的转向灯。

具体地,可以根据前方车灯识别区域中车尾灯的颜色、闪烁频率或闪烁序列识别相应前方目标车辆的转向灯。

举例而言,前方目标车辆变道的初期其纵向位移和横向位移都较小,意味着前方目标车辆的车灯识别区域大小变化也较小,只有转向灯处成像的亮度因闪烁而变化较大。

具体地,可以根据后方车灯识别区域中车前灯的颜色、闪烁频率或闪烁序列识别相应后方目标车辆的转向灯。

举例而言,后方目标车辆变道的初期其纵向位移和横向位移都较小,意味着后方目标车辆的车灯识别区域大小变化也较小,只有转向灯处成像的亮度因闪烁而变化较大。

由此,根据前方目标车辆和后方目标车辆的运动参数对主体车辆的运动参数进行隧道内巡航控制的方式有很多种,举例说明如下:

第一种示例,根据前方目标车辆的运动参数和转向灯识别到前方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统在隧道内提前进行制动调整,以及使主体车辆的车灯系统提醒后方目标车辆。由此,使得主体车辆的运动参数控制系统和车灯系统可以更早做出调整,提醒后方目标车辆,为后方目标车辆提供了更多的制动或调整时间,更有效地减少了追尾碰撞风险,提高了主体车辆及其乘员的行驶安全性。

第二种示例,根据前方目标车辆的运动参数和转向灯识别到前方本车道目标车辆减速变道至前方非本车道的工况,以使主体车辆的运动参数控制系统在隧道内不进行制动调整。由此,使得主体车辆的运动参数控制系统可以减少不必要的制动调整,从而减少了由于主体车辆的不必要的制动调整导致的追尾碰撞风险。

第三种示例,根据后方目标车辆的运动参数和转向灯识别到后方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统在隧道内提前进行调整,以及使主体车辆的车灯系统提醒后方目标车辆。由此,使得主体车辆的车灯系统可以更早做出调整以提醒后方目标车辆,为后方目标车辆提供了更多的制动或调整时间,更有效地减少了追尾碰撞风险。

综上所述,本发明实施例的车辆行驶自动控制方法,首先从前置3d相机获取主体车辆前方环境的第一图像和第二图像,从后置3d相机获取主体车辆后方环境的第三图像和第四图像,并根据第一图像获取前方公路车道线和根据第三图像获取后方公路车道线,然后根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,根据第三图像和第四图像之间的交织映射关系将后方公路车道线映射至第四图像中生成多个后方车辆识别范围,并根据所有前方车辆识别范围识别前方目标车辆和根据所有后方车辆识别范围识别后方目标车辆,最后获取隧道信息和限速信息,根据隧道信息和限速信息改变主体车辆的巡航车速上限和巡航安全距离的设置以及根据隧道信息调整前置3d相机和后置3d相机的焦距,根据前方目标车辆和后方目标车辆的运动参数对主体车辆的运动参数进行隧道内巡航控制。由此,能够使得主体车辆的自适应巡航系统执行正确的制动,减少不必要的制动调整,有效地减少了追尾碰撞风险,提高了主体车辆的行驶安全性、以及提高了主体车辆驾驶员在进出隧道过程中的操作便利性。

图2为本发明另一个实施例提供的车辆行驶自动控制方法的流程示意图。

如图2所示,该车辆行驶自动控制方法包括以下步骤:

步骤201,从前置3d相机的图像传感器获取主体车辆前方环境的第一图像,从前置3d相机的飞行时间传感器获取主体车辆前方环境的第二图像,从后置3d相机的图像传感器获取主体车辆后方环境的第三图像,从后置3d相机的飞行时间传感器获取主体车辆后方环境的第四图像其中,第一图像和第三图像为色彩或亮度图像,第二图像和第四图像为深度图像。

具体地,图像传感器指的是亮度像素传感器的阵列或集合,比如红、绿、蓝(rgb)或亮度、色度(yuv)等亮度像素传感器,与检测物体之间的距离有关系,通常用于获取环境的亮度图像。

具体地,飞行时间传感器指飞行时间像素传感器的阵列或集合,比如飞行时间像素传感器可以是光传感器、相位检测器等,可以检测来自脉冲光源、调制光源的光在飞行时间像素传感器与被检测物体之间传播的飞行时间,从而检测物体的距离并获取深度图像。

举例而言,图像传感器或飞行时间传感器都可以使用互补金属氧化物半导体(cmos)工艺进行制作,并且亮度像素传感器和飞行时间像素传感器可以按比例制作在同一基板之上,例如以8:1比例进行制作的8个亮度像素传感器和1个飞行时间像素传感器组成一个大的交织像素,其中1个飞行时间像素传感器的感光面积可以等于8个亮度像素传感器的感光面积,其中8个亮度像素传感器可以按2行及4列的阵列形式排列。

进一步地,再例如,可以在1英寸光学靶面的基板上制作360行及480列的上述活跃交织像素的阵列,可获取720行及1920列的活跃亮度像素传感器阵列、360行及480列的活跃tof像素传感器阵列,由此图像传感器和飞行时间传感器组成的同一个相机可同时获取彩色或亮度图像和深度图像。

因此,在本实施例中,可以利用同一个前置3d相机获取关于主体车辆前方环境的第一图像和第二图像,其中,第一图像为彩色或亮度图像,第二图像为深度图像;可以利用同一个后置3d相机获取关于主体车辆后方环境的第三图像和第四图像,其中,第三图像为彩色或亮度图像,第四图像为深度图像。

其中,彩色或亮度图像像素和深度图像像素的特征是按比例的交织排列。并且由于获取第一图像和第二图像的同一个前置3d相机可以使用cmos工艺制造实现以及获取第三图像和第四图像的同一个后置3d相机可以使用cmos工艺制造实现,根据半导体工业的摩尔定律,3d相机在有限时期内将具备足够低的生产成本。

步骤202,当第一图像为亮度图像,根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线,当第三图像为亮度图像,根据第三图像中后方公路车道线与路面的亮度差异识别后方公路车道线。

需要说明的是,前方(后方)公路车道线既有前方(后方)实线车道线也有前方(后方)虚线车道线。第一图像和第三图像都为亮度图像时,两者识别前方(后方)公路车道线的具体过程相同,下面以第一图像为亮度图像时,根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线为例具体说明如下:

具体地,首先根据第一图像的亮度信息和预设的亮度阈值创建前方公路车道线的二值图像,可以理解的是可以通过利用前方公路车道线与路面的亮度差异,可以查找得到某些亮度阈值作为预设的亮度阈值,预设的亮度阈值可以利用“直方图统计—双峰”算法来查找得到,并利用预设的亮度阈值和亮度图像创建前方公路车道线的二值图像。

还可以理解的是,可以通过将亮度图像划分为多个亮度子图像,对每个亮度子图像执行“直方图统计—双峰”算法来查找得到多个亮度阈值,利用各个亮度阈值和相应的亮度子图像创建前方公路车道线的二值子图像,并利用二值子图像创建完整的前方公路车道线的二值图像。

进一步地,根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置。

可以理解的是,前方公路车道线的曲率半径不可能太小,并且由于相机投影原理导致近处前方公路车道线相对远处前方公路车道线的成像像素更多,使得弯道的前方实线车道线在亮度图像中排列成直线的像素也占该前方实线车道线成像像素的大部分。

由此,可以通过hough变换算法等预设的检测算法在前方公路车道线的二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置。

需要说明的是,上述预设的检测算法也可以将隔离带、电线杆在二值图像中的直线边缘像素位置检出。根据图像传感器的长宽比例、3d相机镜头焦距、道路设计规范的道路宽度范围和图像传感器在主体车辆的安装位置可以设置车道线在二值图像中的斜率范围,从而根据该斜率范围将非车道线的直线过滤排除。

需要说明的是,弯道的实线车道线的边缘像素位置总是连续变化的,因此根据查找上述检测的初始直线两端的边缘像素位置的连通像素位置,并将该连通像素位置并入该初始直线边缘像素集合,重复上述查找和并入该连通像素位置,最后将弯道实线车道线的全部边缘像素位置唯一确定。

可理解的是,上述方式也能够将前方虚线车道线全部边缘像素位置检测出来。

作为一种示例,根据实线车道线的先验知识、车道线中相互平行的原则、图像传感器及3d相机的投影参数,将实线车道线的全部边缘像素位置投影到虚线车道线的初始直线边缘像素位置以连接该虚线车道线的初始直线边缘像素位置和属于该虚线车道线的其他较短的车道线的边缘像素位置,从而获取虚线车道线的全部边缘像素位置。

作为另一种示例,不需要得到直道或弯道的先验知识。由于车辆在直道巡航或恒定转向角弯道巡航的过程中,虚线车道线的横向偏移在较短的连续时间内几乎可以忽略,但纵向偏移却较大,因此虚线车道线在不同时刻的连续几幅公路车道线的二值图像中可以叠加成一条实线车道线,然后再通过上述实线车道线的识别方法获取该虚线车道线的全部边缘像素位置。

可以理解的是,由于虚线车道线的纵向偏移量受到主体车辆车速的影响,以此可以根据从轮速传感器获取的车速动态地确定不同时刻的连续的公路车道线的二值图像的最少幅数以将虚线车道线叠加成一条实线车道线,从而获取虚线车道线的全部边缘像素位置。

需要说明的是,在本实施例中,“公路车道线”代指该公路车道线的全部边缘像素位置。

需要说明的是,根据第三图像中后方公路车道线与路面的亮度差异识别后方公路车道线包括根据第三图像的亮度信息和预设的亮度阈值创建后方公路车道线的二值图像;根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置;根据预设的检测算法在二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置的具体说明可以参见对根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线的具体描述,此处不再详述。

步骤203,根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,根据第三图像和第四图像之间的交织映射关系将后方公路车道线映射至第四图像中生成多个后方车辆识别范围。

需要说明的是,步骤s203的描述与上述步骤s103相对应,因此对的步骤s203的描述参考上述步骤s103的描述,在此不再赘述。

步骤204,对所有前方车辆识别范围标记前方本车道和前方非本车道的标签,根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆,根据标记前方非本车道标签的前方车辆识别范围识别前方非本车道目标车辆,根据两两组合的前方车辆识别范围识别前方变道目标车辆。

在本发明的一个是实施例中,根据第二图像中获取的等比例的前方公路车道线,取每个前方公路车道线的初始直线部分所占的行数和列数相比得到前方公路车道线的初始直线的斜率,对根据斜率最大的两条前方公路车道线的初始直线所在的前方公路车道线创建的前方车辆识别范围标记本车道的标签,对其他创建的前方车辆识别范围标记非本车道的标签。

可以理解的是,第二图像为深度图像,同一个前方目标车辆的背面的光反射到tof传感器形成的深度子图像包含一致的距离信息,因此只要识别前方目标车辆形成的深度子图像在深度图像中的位置即可获取前方目标车辆的距离信息。其中,子图像指图像的一部分像素的组合。

可以理解的是,同一个前方目标车辆的背面的光反射到tof传感器形成深度子图像是包含一致的距离信息,而路面的光反射到tof传感器形成深度子图像是包含连续变化的距离信息,因此包含一致的距离信息的深度子图像与包含连续变化的距离信息的深度子图像在两者的交界处必然形成突变差异,这些突变差异的交界形成了前方目标车辆在深度图像中的目标边界。

进一步地,可以通过采用图像处理算法中的检测边界的canny、sobel、laplace等多种边界检测方法以检测前方目标车辆的目标边界。

进一步地,车辆识别范围由车道线的全部像素位置所确定,因此在车辆识别范围内检测前方目标车辆的目标边界将减少隔离带、路灯杆、防护桩等道路设施形成的边界干扰。

具体地,分别将每个车辆识别范围内检出的目标边界投影至图像的行坐标轴上,并在行坐标轴上进行一维查找,即可确定前方车辆识别范围内所有前方目标车辆的纵向目标边界所占的行数和行坐标范围,以及确定横向目标边界的所占的列数和行坐标位置。其中,纵向目标边界指占有像素行数多并且列数少的目标边界,横向目标边界指有占有像素行数少并且列数多的目标边界。

进一步地,根据前方车辆识别范围内所有的横向目标边界所占的列数、行坐标位置,在前方车辆识别范围内查找所有纵向目标边界的列坐标位置(也即相应横向目标边界的列坐标起始位置和终点位置),并根据目标边界包含一致的距离信息的原则区分不同目标车辆的目标边界,从而确定前方车辆识别范围内所有前方目标车辆的位置和距离信息。

因此,检测获取前方目标车辆的目标边界即可以唯一确定前方目标车辆形成的深度子图像在深度图像中的位置,从而唯一确定前方目标车辆的距离信息。

由此,通过上述示例的边界检测方法可以同时检测多个前方目标车辆及其距离信息。

进一步地,根据上述示例,在标记前方本车道标签的车辆识别范围内识别前方本车道目标车辆,在标记前方非本车道标签的车辆识别范围内识别前方非本车道目标车辆,在两两组合的前方车辆识别范围内识别变道前方目标车辆。

步骤205,对所有后方车辆识别范围标记后方本车道和后方非本车道的标签,根据标记后方本车道标签的车辆识别范围识别后方本车道目标车辆,根据标记后方非本车道标签的车辆识别范围识别后方非本车道目标车辆,根据两两组合的后方车辆识别范围识别后方变道目标车辆。

在本发明的一个是实施例中,根据第四图像中获取的等比例的后方公路车道线,取每个后方公路车道线的初始直线部分所占的行数和列数相比得到后方公路车道线的初始直线的斜率,对根据斜率最大的两条后方公路车道线的初始直线所在的后方公路车道线创建的后方车辆识别范围标记本车道的标签,对其他创建的后方车辆识别范围标记非本车道的标签。

可以理解的是,第二图像为深度图像,同一个后方目标车辆的背面的光反射到tof传感器形成的深度子图像包含一致的距离信息,因此只要识别后方目标车辆形成的深度子图像在深度图像中的位置即可获取后方目标车辆的距离信息。其中,子图像指图像的一部分像素的组合。

可以理解的是,同一个后方目标车辆的背面的光反射到tof传感器形成深度子图像是包含一致的距离信息,而路面的光反射到tof传感器形成深度子图像是包含连续变化的距离信息,因此包含一致的距离信息的深度子图像与包含连续变化的距离信息的深度子图像在两者的交界处必然形成突变差异,这些突变差异的交界形成了后方目标车辆在深度图像中的目标边界。

进一步地,可以通过采用图像处理算法中的检测边界的canny、sobel、laplace等多种边界检测方法以检测后方目标车辆的目标边界。

进一步地,后方车辆识别范围由车道线的全部像素位置所确定,因此在后方车辆识别范围内检测后方目标车辆的目标边界将减少隔离带、路灯杆、防护桩等道路设施形成的边界干扰。

具体地,分别将每个后方车辆识别范围内检出的目标边界投影至图像的行坐标轴上,并在行坐标轴上进行一维查找,即可确定后方车辆识别范围内所有后方目标车辆的纵向目标边界所占的行数和行坐标范围,以及确定横向目标边界的所占的列数和行坐标位置。其中,纵向目标边界指占有像素行数多并且列数少的目标边界,横向目标边界指有占有像素行数少并且列数多的目标边界。

进一步地,根据后方车辆识别范围内所有的横向目标边界所占的列数、行坐标位置,在后方车辆识别范围内查找所有纵向目标边界的列坐标位置(也即相应横向目标边界的列坐标起始位置和终点位置),并根据目标边界包含一致的距离信息的原则区分不同目标车辆的目标边界,从而确定后方车辆识别范围内所有后方目标车辆的位置和距离信息。

因此,检测获取后方目标车辆的目标边界即可以唯一确定后方目标车辆形成的深度子图像在深度图像中的位置,从而唯一确定后方目标车辆的距离信息。

由此,通过上述示例的边界检测方法可以同时检测多个后方目标车辆及其距离信息。

进一步地,根据上述示例,在标记后方本车道标签的车辆识别范围内识别后方本车道目标车辆,在标记后方非本车道标签的车辆识别范围内识别后方非本车道目标车辆,在两两组合的后方车辆识别范围内识别变道后方目标车辆。

步骤206,根据前方目标车辆的目标边界围成的闭合区域生成前方目标车辆范围,根据第一图像和第二图像之间的交织映射关系将前方目标车辆范围映射至第一图像中生成前方车灯识别区域,根据第三图像和第四图像之间的交织映射关系将后方目标车辆范围映射至第三图像中生成后方车灯识别区域。

具体地,第一图像和第二图像之间的交织映射关系表示第二图像中前方目标车辆范围的每个像素的行列坐标经过等比例的调整都可以在第一图像至少确定一个像素的行列坐标,并且该前方目标车辆的车灯的成像包含在相应的前方目标车辆范围中,从而在第一图像中生成了车灯识别区域。

具体地,第三图像和第四图像之间的交织映射关系表示第四图像中后方目标车辆范围的每个像素的行列坐标经过等比例的调整都可以在第三图像至少确定一个像素的行列坐标,并且后方目标车辆的车灯的成像包含在相应的后方目标车辆范围中,从而在第三图像中生成了车灯识别区域。

步骤207,根据前方车灯识别区域中车尾灯的颜色、闪烁频率或闪烁序列识别相应前方目标车辆的转向灯,根据后方车灯识别区域中车前灯的颜色、闪烁频率或闪烁序列识别相应后方目标车辆的转向灯。

具体地,通过连续获取多幅不同时刻的彩色或亮度图像并对前方(后方)目标车辆的车灯识别区域进行时间微分处理以创建该目标车辆的时间微分车灯识别区域子图像。

其中,时间微分车灯识别区域子图像将突出前方(后方)目标车辆的连续闪烁的车尾灯(车前灯)子图像。然后将时间微分车灯识别区域子图像投影到列坐标轴,进行一维查找获取前方(后方)目标车辆的车尾灯(车前灯)子图像的起始和终点列坐标位置,将这些起始和终点列坐标位置投影至时间微分车灯识别区域子图像并查找车尾灯(车前灯)子图像的起始和终点行坐标位置,将车尾灯(车前灯)子图像的起始和终点的行、列坐标位置投影至上述多幅不同时刻的彩色或亮度图像中以确认前方(后方)目标车辆的车尾灯(车前灯)的颜色、闪烁频率或闪烁序列,从而确定了闪烁的车尾灯(车前灯)子图像的行、列坐标位置。

进一步地,闪烁的车尾灯(车前灯)子图像的行、列坐标位置只在前方(后方)目标车辆的车灯识别区域左侧时可以确定前方(后方)目标车辆在打左转向灯,闪烁的车尾灯(车前灯)子图像的行、列坐标位置只在前方(后方)目标车辆的车灯识别区域右侧时可以确定前方(后方)目标车辆在打右转向灯,闪烁的车尾灯(车前灯)子图像的行、列坐标位置在前方(后方)目标车辆的车灯识别区域两侧时可以确定前方(后方)目标车辆在打双闪警示灯。

需要说明的是,当前方(后方)目标车辆变道的过程中其纵向位移或横向位移较大导致前方(后方)目标车辆的车灯识别区域大小变化也较大,可以对连续获取的多幅不同时刻的前方(后方)目标车辆的车灯识别区域进行纵向位移或横向位移补偿并缩放成大小一致的车灯识别区域,再对调整后的前方(后方)目标车辆的车灯识别区域进行时间微分处理以创建前方(后方)目标车辆的时间微分车灯识别区域子图像。

进一步地,将时间微分车灯识别区域子图像投影到列坐标轴,进行一维查找获取前方(后方)目标车辆的车尾灯(车前灯)子图像的起始和终点列坐标位置,将这些起始和终点列坐标位置投影至时间微分车灯识别区域子图像并查找车尾灯(车前灯)子图像的起始和终点行坐标位置,将车尾灯(车前灯)子图像的起始和终点的行、列坐标位置投影至上述多幅不同时刻的彩色或亮度图像中以确认前方(后方)目标车辆的车尾灯(车前灯)的颜色、闪烁频率或闪烁序列,从而确定了闪烁的车尾灯(车前灯)子图像的行、列坐标位置,最后完成左转向灯、右转向灯或双闪警示灯的识别。

步骤208,当隧道信息为隧道入口信息,则在根据隧道信息和限速信息改变主体车辆的巡航车速上限和巡航安全距离的设置之后,执行减速控制。

具体地,车辆导航系统通常能够在主体车辆驶入隧道前提供当前主体车辆位置至该隧道的入口的距离信息,并且能够提供该隧道的限速信息、提供当前主体车辆位置至该限速标志的距离信息。主体车辆在驶入隧道前的巡航车速通常高于隧道限速,即有必要在驶入隧道前控制车速。

举例而言,可以定期通过主体车辆的总线系统从导航系统获取隧道入口信息和限速信息;计算当前车速值减去隧道限速值的差值,若差值为正值则计算主体车辆减速至隧道限速的舒适滑行距离;可以当主体车辆行驶至该隧道入口或限速标志的距离达到例如1.2倍上述舒适滑行距离开始更新巡航车速上限(即更新为隧道限速值)的设置和更新巡航安全距离的设置(例如巡航安全距离更新为原来的一半),并减少动力输出执行舒适滑行减速。

需要说明的是,作为另一种实现形式,还可以基于第一图像和第二图像识别隧道入口信息和限速信息,第一图像和第二图像分别是彩色图像和深度图像,根据识别的隧道入口信息和限速信息改变巡航车速上限和巡航安全距离的设置,并执行必要的减速控制。

举例而言,公路隧道入口就是隧道的一个截面,而该截面总是与车道和车道线相交,并且隧道入口以内的车道线成像亮度小在第一图像中成像不明显,而隧道外的车道线在第一图像中成像明显,因此在第一图像中识别车道线成像的最远像素位置就相当于识别到了隧道入口在第一图像中的成像位置。

其中,隧道入口在第一图像中的成像受到光照和亮度的影响,但在第二图像中的深度成像却不受光照和亮度的影响,因此将第一图像识别的公路车道线映射至第二图像中以在第二图像中生成若干车辆识别范围,根据该车辆识别范围的最远端像素位置以获取隧道入口处的深度值例如a(即主体车辆当前至该隧道入口的距离),又由于隧道入口(即隧道截面)具有近似一致的深度值。

例如,取属于a±1m的深度值范围的像素位置即可获取隧道入口截面的完整形状,即隧道外墙的深度像素围绕隧道入口形成的形状,并且隧道入口在a±1m的深度值范围是空洞无反射,隧道外墙的深度像素与隧道入口空洞像素位置形成强烈反差,因此可以容易提取隧道入口空洞像素位置从而确定隧道入口的高度、宽度和形状,从而识别了隧道入口信息。

可以理解的是,限速标志由于外圆圈为红色,限速信息适宜采用彩色图像的第二图像以识别。例如在第二图像中利用红色色度过滤大部分非红色图像信息,并在过滤后的红色图像中采用本领域人员熟悉的圆形或椭圆形霍夫变换算法确定限速标志在第二图像中的像素位置,还可以将该像素位置投影至第一图像中确定限速标志到主体车辆的深度值即距离,最后根据限速标志像素位置利用本领域人员熟悉的数字模板匹配方法识别红色外圆圈内的限速值,从而识别了限速信息。

进一步地,例如,巡航系统计算当前车速值减去上述识别的隧道限速值的差值,若差值为正值则计算主体车辆减速至隧道限速的舒适滑行距离;巡航系统可以当主体车辆至该限速标志的距离达到例如1.2倍上述舒适滑行距离开始更新巡航车速上限(即更新为隧道限速值)的设置和更新巡航安全距离的设置(例如巡航安全距离更新为原来的一半),并减少动力输出(或电动车启动制动能量回收)执行舒适滑行减速。

步骤209,当隧道信息为隧道入口信息,减小前置3d相机和后置3d相机的焦距,根据前方目标车辆的运动参数和转向灯识别到前方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统在隧道内提前进行制动调整,以及使主体车辆的车灯系统提醒后方目标车辆。

可以理解的是,主体车辆在隧道中通常存在中低速行驶的工况,此时主体车辆近处的道路环境对主体车辆控制影响更大,减小前置3d相机和后置3d相机的焦距以获取主体车辆前方近处较宽视角的环境成像,例如减小焦距可以通过电动调焦镜头实现,辅助3d相机成像的光源例如也可以切换为与3d相机匹配的宽近光照射光型。进一步提高行车安全性。

需要说明的是,以前方本车道的左右车道线为参考,无论该前方目标车辆变道时处于直道或是弯道、无论前方目标车辆向左或向右变道都可以识别准确,从而为主体车辆自适应巡航系统提供准确的运动控制依据。

需要说明的是,毫米波雷达方位角的识别误差一般为±0.5度,在隧道中由于车道通常比较窄、目标车辆到主体车辆比较近导致前方目标车辆的车宽占据了毫米波雷达方位角的一个较宽的范围,即同一个前方目标车辆的毫米波雷达产生了多个散射点,多个散射点的雷达散射截面积的波动将导致毫米波雷达方位角的识别误差的恶化,最终导致毫米波雷达不能准确识别前方目标车辆的车宽有多少位于主体车辆本车道或非本车道,因而不能提供给车辆自适应巡航系统准确的运动控制依据,即可能导致主体车辆非必要的变速巡航而降低主体车辆的行驶经济性,也可能导致主体车辆非必要的紧急制动而降低主体车辆的行驶安全性。

因此,本发明实施例中,减小前置3d相机和后置3d相机的焦距,根据识别的前方目标车辆和后方目标车辆的及其车尾转向灯以对主体车辆的运动参数进行隧道内巡航控制。

综上所述,本发明实施例的车辆行驶自动控制方法,能够从导航系统获取隧道入口信息和限速信息,根据获取的隧道入口信息和限速信息改变巡航车速上限和巡航安全距离的设置,并执行必要的减速控制,减小前置3d相机和后置3d相机的焦距,根据前方目标车辆的运动参数以及转向灯对主体车辆的运动参数进行隧道内巡航控制。由此,通过识别的前方目标车辆的运动参数和相应识别前方目标车辆的转向灯,可以识别到非本车道前方目标车辆减速变道至主体车辆本车道的工况,使得主体车辆的运动参数控制系统和安全系统可以更早做出调整,提高了主体车辆及其乘员的行驶安全性,以及使得主体车辆的车灯系统可以更早做出调整以提醒后方目标车辆,为后方目标车辆提供了更多的制动或调整时间,更有效地减少了追尾碰撞风险。

基于上述步骤s208-s209以隧道信息为隧道入口信息的情况下说明,为了本领域人员更加清楚本发明实施例的具体过程,在步骤s207之后,以隧道信息为隧道出口信息的情况具体结合图3说明如下:

步骤301,根据第一图像和第二图像识别隧道出口信息和限速信息,根据隧道出口信息、限速信息和用户设置信息,改变主体车辆的巡航车速上限和巡航安全距离的设置。

具体地,根据第一图像和第二图像识别隧道出口信息和限速信息。基于步骤s208的描述说明,公路隧道出口就是隧道的一个截面,而该截面总是与车道和车道线相交,并且隧道出口以内的车道线在第一图像中成像明显,而隧道外的车道线在第一图像中通常曝光过度成像不明显,因此根据上述车辆识别方法中第二步骤的方法在第一图像中识别车道线成像的最远像素位置就相当于识别到了隧道出口在第一图像中的成像位置。

其中,隧道出口在第一图像中的成像受到光照和亮度的影响,但在第二图像中的深度成像却不受光照和亮度的影响,因此根据上述车辆识别方法中第三步骤中将第一图像识别的公路车道线映射至第二图像中以在第二图像中生成若干车辆识别范围,根据该车辆识别范围的最远端像素位置以获取隧道出口处的深度值例如b(即主体车辆当前至隧道出口的距离),又由于隧道出口(即隧道截面)的具有近似一致的深度值。

例如,取属于b±0.5m的深度值范围的像素位置即可获取隧道出口截面的完整形状,即隧道内墙的深度像素围绕隧道出口形成的形状,并且隧道出口在b±0.5m的深度值范围是空洞无反射,隧道内墙的深度像素与隧道出口空洞像素位置形成强烈反差,因此可以容易提取隧道出口空洞像素位置从而确定隧道出口的高度、宽度和形状,从而识别了隧道出口信息。

需要说明的是,限速信息的具体说明参见步骤s208中的限速信息的具体说明,此处不再详述。

需要说明的是,主体车辆在驶出隧道后的巡航车速通常高于隧道限速,即可以根据主体车辆用户设置在驶出隧道后控制车速。

步骤302,增大前置3d相机和后置3d相机的焦距,根据前方目标车辆的运动参数和转向灯识别到前方本车道目标车辆减速变道至前方非本车道的工况,以使主体车辆的运动参数控制系统在隧道内不进行制动调整。

具体地,根据识别的前方本车道目标车辆的运动参数及其车尾转向灯以对主体车辆的运动参数进行控制,以提高主体车辆的行驶经济性。

可以理解的是,在主体车辆驶出隧道后,主体车辆较远处的道路环境对主体车辆控制影响更大,增大前置3d相机和后置3d相机的焦距以获取主体车辆前方较远处的环境成像细节,例如增大焦距可以通过电动调焦镜头实现,辅助3d相机成像的光源例如也可以切换为与3d相机匹配的远光照射光型。

同理,在隧道外的道路行驶中,车辆自适应巡航系统保持匀速巡航工况将使得该主体车辆获得良好的行驶经济性,出现变速巡航工况的次数越多该车辆的行驶经济性越差。例如,在本车道目标车辆减速变道至紧急停车道或匝道的过程中,传统的车辆自适应巡航系统的匀速巡航将被打断,该主体车辆先减速并在该前方目标车辆驶出主体车辆本车道后再加速从而导致了不经济的变速巡航。

由此,不需要组合导航系统也可以识别和监控本车道前方目标车辆从打转向灯到完成变道至非本车道的连续过程,而前方目标车辆在连续变道过程中的持续时间、相对主体车辆的距离和横向位移等运动参数也容易被监控,从而目标车辆的运动参数可以用于控制主体车辆的运动参数以减少非必要的变速巡航。

举例而言,识别到本车道目标车辆的右转向灯亮起时前方目标车辆的左侧目标边界到本车道左侧车道线的像素距离经相机投影关系换算确定为横向距离p;经过连续获取n幅不同时刻的第一图像和第二图像(获取一幅第一图像或第二图像的时间为t),期间识别并记录该目标车辆的距离r的变化;识别到该前方目标车辆刚好完成变道至本车道右侧的非本车道,此时前方目标车辆的左侧目标边界到本车道右侧车道线重合,本车道宽度为d;因此,前方目标车辆在该连续变道过程中的运动参数为持续时间n×t、相对主体车辆的距离为r和横向位移为(d-p)。

因此,根据上述识别的前方目标车辆变道过程中的距离r,主体车辆自适应巡航系统只要确定r始终大于设定的安全巡航制动距离即可保持匀速巡航,甚至即使识别到该前方目标车辆刚好完成变道至本车道右侧的非本车道,此时前方目标车辆的左侧目标边界到本车道右侧车道线重合且r小于安全巡航制动距离,主体车辆自适应巡航系统也可能减少动力输出,稍微等待识别到目标车辆继续向右位移产生更安全更大的横向位移即可恢复动力输出以保持匀速巡航。

综上所述,本发明实施例的车辆行驶自动控制方法,能够基于第一图像和第二图像识别隧道出口信息和限速信息,根据识别的隧道出口信息、限速信息和用户设置信息,改变巡航车速上限和巡航安全距离的设置,再通过识别的目标车辆的运动参数和相应识别目标车辆的车尾转向灯,可以识别到本车道目标车辆减速变道至主体车辆非本车道的工况,使得主体车辆的运动参数控制系统可以减少不必要的制动调整,从而减少了由于主体车辆的不必要的制动调整导致的追尾碰撞风险。

进一步基于上述实施例,继续以隧道信息为隧道出口信息的情况具体结合图4说明如下:

步骤401,从导航系统获取隧道出口信息和限速信息,根据隧道出口信息、限速信息和用户设置信息,改变主体车辆的巡航车速上限和巡航安全距离的设置。

具体地,车辆导航系统通常能够在主体车辆驶出隧道前提供当前主体车辆位置至该隧道的出口的距离信息,并且能够提供该隧道外道路的限速信息、提供当前主体车辆位置至该限速标志的距离信息。

举例而言,可以定期通过主体车辆的总线系统从导航系统获取隧道出口信息和更新的限速信息,可以当主体车辆行驶至该隧道出口或新的限速标志处,可以根据主体车辆驾驶员默认的自动更新巡航车速上限的用户设置以改变巡航车速上限和巡航安全距离的设置、并通过语音系统向主体车辆驾驶员发出相应设置更新的语音提示;也可以向主体车辆驾驶员先发出相应设置更新的语音提示,等待驾驶员的特定设置输入(例如按键输入、触摸屏输入、语音识别输入等等),获得该特定设置输入确认后以改变巡航车速上限和巡航安全距离的设置。

因此,从导航系统获取隧道出口信息和限速信息,根据获取的隧道出口信息、限速信息和用户设置信息,改变巡航车速上限和巡航安全距离的设置。

步骤402,增大前置3d相机和后置3d相机的焦距,根据后方目标车辆的运动参数和转向灯识别到后方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统在隧道内提前进行调整,以及使主体车辆的车灯系统提醒后方目标车辆。

具体地,在主体车辆驶出隧道后,主体车辆较远处的道路环境对车辆控制影响更大,增大前置3d相机和后置3d相机的焦距以获取主体车辆前方较远处的环境成像细节,例如增大焦距可以通过电动调焦镜头实现,辅助3d相机成像的光源例如也可以切换为与3d相机匹配的远光照射光型。

可以理解的是,识别到后方非本车道目标车辆减速变道至主体车辆本车道的工况,使得主体车辆可以提前亮起刹车灯以警示后方目标车辆驾驶员取消变道或减速变道,从而减缓了主体车辆与后方目标车辆的追尾碰撞风险。

综上所述,本发明实施例的车辆行驶自动控制方法,能够从导航系统获取隧道出口信息和限速信息,根据隧道出口信息、限速信息和用户设置信息,改变主体车辆的巡航车速上限和巡航安全距离的设置,增大前置3d相机和后置3d相机的焦距,根据后方目标车辆的运动参数和转向灯识别到后方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统在隧道内提前进行调整,以及使主体车辆的车灯系统提醒后方目标车辆。由此,使得主体车辆可以提前亮起刹车灯以警示后方目标车辆驾驶员取消变道或减速变道,从而减缓了主体车辆与后方目标车辆的追尾碰撞风险。

为了本领域人员更加清楚上述实施例控制过程,下面结合图5至图7举例说明如下:

可以理解的是,上述识别的横向位移以本车道的左右车道线为参考,无论该目标车辆变道时处于直道或是弯道、无论目标车辆向左或向右变道都可以识别准确,从而为主体车辆自适应巡航系统提供准确的控制依据。

如图5所示,可以在通常的直道或弯道工况中控制主体车辆跟随前方本车道目标车辆匀速巡航,可以识别前方目标车辆的距离为ra,并同时识别到主体车辆后方左侧非本车道目标车辆的距离为rb并且识别其右转向灯正在闪烁的变道意图;当rb距离过小,后方目标车辆变道至主体车辆后方容易发生追尾碰撞,由于本示例中识别后方目标车辆打转向灯的初始变道意图,根据本发明可以控制主体车辆的刹车灯提前亮起以警示后方目标车辆驾驶员取消变道或减速变道,从而减缓了主体车辆与后方目标车辆的追尾碰撞风险。

进一步地,本示例中可以准确识别后方目标车辆继续强行变道且变道不减速产生的相对于本车道线的横向位移,本示例中可以控制主体车辆的巡航系统自动地提高车速以适当地减少主体车辆与该前方目标车辆的跟随距离、增大主体车辆与后方目标车辆的距离,从而减缓了主体车辆与该后方目标车辆的追尾碰撞风险。

需要说明的是,传统的仅依靠毫米波雷达或激光雷达的车辆识别后方变道目标车辆具有足够大的变道横向位移才能判断该后方目标车辆的变道意图,将导致追尾碰撞风险增大。

进一步地,传统的仅依靠毫米波雷达或激光雷达的车辆自适应巡航系统识别的目标车辆的横向位移是以主体车辆为参考的,以主体车辆为参考识别的目标车辆的横向位移有时将不能提供给车辆自适应巡航系统准确的运动控制依据。

如图6所示,当本车道前方目标车辆从本车道完成向右变道正好处在向左弯的弯道时,位于直道上传统车辆的毫米波雷达或激光雷达仍可能识别前方目标车辆部分处于本车道上,上述弯道曲率半径250米,上述前方目标车辆变道过程中在弯道上行驶了25米,与前方目标车辆的左侧目标边界重合的本车道右侧车道线在弯道25米处已经相对该车道线的直道延长线向左偏移了

可以理解的是,若此时上述传统车辆的毫米波雷达或激光雷达识别到前方目标车辆的距离为50米至80米,即上述传统车辆的毫米波雷达或激光雷达位于直道上并且距离弯道入口仍有25米至55米的距离,上述传统车辆的毫米波雷达或激光雷达在缺乏弯道先验知识的情况下将识别到前方目标车辆仍然约有1.25米宽度的车身在本车道上,并且随着目标车辆继续沿着向左弯道减速行驶,上述传统车辆的毫米波雷达或激光雷达识别到前方目标车辆有更大宽度的车身在本车道上,即上述传统车辆的毫米波雷达或激光雷达将产生了不准确的识别并将导致传统车辆自适应巡航系统执行连续的不准确和不必要的制动,从而导致该传统车辆与其后方目标车辆的追尾碰撞风险增大。

同理,上述传统车辆的毫米波雷达或激光雷达对上述本车道目标车辆在向右弯道上从本车道完成向左变道的识别也存在不准确性。

因此,根据识别的目标车辆的运动参数和相应识别目标车辆的转向灯,可以识别到本车道目标车辆减速变道至主体车辆非本车道的工况,使得主体车辆的运动参数控制系统可以减少不必要的制动调整,从而减少了由于主体车辆的不必要的制动调整导致的追尾碰撞风险。

可以理解的是,可以识别和监控非本车道目标车辆从打转向灯到完成变道至本车道的连续过程,而前方目标车辆在该连续变道过程中的持续时间、相对主体车辆的距离、相对速度和横向位移等运动参数也容易被监控,从而前方目标车辆的该运动参数可以用于控制主体车辆的运动参数以更早做出制动调整并提高行驶安全性、并更早地控制车灯警示后方目标车辆以减少追尾碰撞风险。

如图7所示,主体车辆在本车道直道以定速模式行驶,并且距离弯道入口仍有55米(或至25米)的距离,该弯道向右弯曲并且曲率半径为250米,在距离弯道入口前方25米本车道右侧有一辆非本车道前方目标车辆正在打左转向灯向本车道变道,并且前方目标车辆的左侧目标边界已经与本车道的右侧车道线重合。

由此,可以准确识别前方目标车辆正在向本车道变道,由于前方目标车辆距离主体车辆约80米(或至50米),可以控制主体车辆的动力系统准确地执行动力输出减小甚至制动的动作、及时亮起刹车灯,以保证主体车辆与前方、后方目标车辆的安全距离,从而提高了主体车辆的行驶安全性和减少了追尾碰撞风险。

需要说明的是,传统的仅依靠毫米波雷达或激光雷达的车辆自适应巡航系统识别的前方目标车辆的横向位移是以主体车辆为参考的,在缺乏弯道先验知识的情况下将识别前方目标车辆距离本车道右侧车道线的延长线还约有的横向距离,即错误地识别前方目标车辆需要继续向左横向位移约1.25米上述毫米波雷达或激光雷达才能确认前方目标车辆开始进入本车道。

可以理解的是,若前方目标车辆横向位移速度为1米每秒,则上述传统的仅依靠毫米波雷达或激光雷达的车辆自适应巡航系统将在前方目标车辆实际进入本车道约1.25秒以后才能执行动力输出减小甚至制动的动作,无疑减少了主体车辆与前方、后方目标车辆的安全距离,导致了主体车辆的行驶安全性下降和增加了追尾碰撞风险。

因此,根据识别的目标车辆的运动参数和相应识别目标车辆的转向灯,可以识别到非本车道目标车辆减速变道至主体车辆本车道的工况,使得主体车辆的运动参数控制系统和安全系统可以更早做出调整,提高了主体车辆及其乘员的行驶安全性,使得主体车辆的车灯系统可以更早做出调整以提醒后方目标车辆,为后方目标车辆提供了更多的制动或调整时间,更有效地减少了追尾碰撞风险。

为了实现上述实施例,本发明还提出一种车辆行驶自动控制装置。

图8为本发明一个实施例提供的车辆行驶自动控制装置的结构示意图。

如图8所示,该车辆行驶自动控制装置包括:第一获取模块801、第二获取模块802、第三获取模块803、第一生成模块804、第一识别模块805、第二识别模块806、第四获取模块807、改变模块808、调整模块809和控制模块810。

其中,第一获取模块801用于从前置3d相机获取主体车辆前方环境的第一图像和第二图像,从后置3d相机获取主体车辆后方环境的第三图像和第四图像,其中,第一图像和第三图像为色彩或亮度图像,第二图像和第四图像为深度图像。

第二获取模块802用于根据第一图像获取前方公路车道线。

第三获取模块803用于根据第三图像获取后方公路车道线。

第一生成模块804用于根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,根据第三图像和第四图像之间的交织映射关系将后方公路车道线映射至第四图像中生成多个后方车辆识别范围。

第一识别模块805用于根据所有前方车辆识别范围识别前方目标车辆。

第二识别模块806用于根据所有后方车辆识别范围识别后方目标车辆。

第四获取模块807用于获取隧道信息和限速信息。

改变模块808用于根据隧道信息和限速信息改变主体车辆的巡航车速上限和巡航安全距离的设置。

调整模块809用于根据隧道信息调整前置3d相机和后置3d相机的焦距。

控制模块810用于根据前方目标车辆和后方目标车辆的运动参数以及转向灯对主体车辆的运动参数进行隧道内巡航控制。

进一步地,在本发明实施例的一种可能的实现方式中,第一获取模块801用于从前置3d相机的图像传感器获取主体车辆前方环境的第一图像;从前置3d相机的飞行时间传感器获取主体车辆前方环境的第二图像;从后置3d相机的图像传感器获取主体车辆后方环境的第三图像;从后置3d相机的飞行时间传感器获取主体车辆后方环境的第四图像。

进一步地,在本发明实施例的一种可能的实现方式中,第二获取模块802包括:第一识别单元8021和第一转换单元8022。

其中,第一识别单元8021用于当第一图像为亮度图像,根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。或者,

第一转换单元8022用于当第一图像为色彩图像,将色彩图像转换为亮度图像,第一识别单元8021用于根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。

在本发明的一个实施例中,第一识别单元8021具体用于根据第一图像的亮度信息和预设的亮度阈值创建前方公路车道线的二值图像;根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置;根据预设的检测算法在二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。

进一步地,在本发明实施例的一种可能的实现方式中,第三获取模块803包括:第二识别单元8031和第一转换单元8032。

其中,第二识别单元8031用于当第三图像为亮度图像,根据第三图像中后方公路车道线与路面的亮度差异识别后方公路车道线。或者,

第二转换单元8032用于当第三图像为色彩图像,将色彩图像转换为亮度图像,第二识别单元8031用于根据第三图像中后方公路车道线与路面的亮度差异识别后方公路车道线。

在本发明的一个实施例中,第二识别单元8031具体用于根据第三图像的亮度信息和预设的亮度阈值创建后方公路车道线的二值图像;根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置;根据预设的检测算法在二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。

在本发明的一个实施例中,第一识别模块805具体用于对所有前方车辆识别范围标记前方本车道和前方非本车道的标签;根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆;根据标记前方非本车道标签的车辆识别范围识别前方非本车道目标车辆;根据两两组合的前方车辆识别范围识别前方变道目标车辆。

在本发明的一个实施例中,第一识别模块805具体还用于采用图像处理算法中的边界检测方法检测前方目标车辆的目标边界进行识别。

在本发明的一个实施例中,第二识别模块806具体用于对所有后方车辆识别范围标记后方本车道和后方非本车道的标签;根据标记后方本车道标签的车辆识别范围识别后方本车道目标车辆;根据标记后方非本车道标签的车辆识别范围识别后方非本车道目标车辆;根据两两组合的后方车辆识别范围识别后方变道目标车辆。

在本发明的一个实施例中,第二识别模块806具体还用于采用图像处理算法中的边界检测方法检测后方目标车辆的目标边界进行识别。

在本发明的一个实施例中,第四获取模块807具体用于从导航系统获取隧道入口信息和限速信息;或者,从导航系统获取隧道出口信息和限速信息。

在本发明的一个实施例中,第四获取模块807具体还用于根据第一图像和第二图像识别隧道入口信息和限速信息;或者,根据第一图像和第二图像识别隧道出口信息和限速信息。

在本发明的一个实施例中,改变模块808用于当隧道信息为隧道出口信息,根据隧道出口信息、限速信息和用户设置信息,改变主体车辆的巡航车速上限和巡航安全距离的设置。

在本发明的一个实施例中,调整模块809具体用于当隧道信息为隧道入口信息,减小前置3d相机和后置3d相机的焦距;当隧道信息为隧道出口信息,增大前置3d相机和后置3d相机的焦距。

进一步地,在本发明实施例的一种可能的实现方式中,如图9所示,在图8的基础上,该车辆行驶自动控制装置还包括:执行模块815。

其中,执行模块815用于当隧道信息为隧道入口信息时改变模块812用于在根据所述隧道信息和所述限速信息改变主体车辆的巡航车速上限和巡航安全距离的设置之后,执行减速控制。

进一步地,在本发明实施例的一种可能的实现方式中,还包括第二生成模块811、第三生成模块812。

其中,第二生成模块811具体用于根据前方目标车辆的目标边界围成的闭合区域生成前方目标车辆范围;或者,根据前方目标车辆的目标边界的延伸的围成的闭合区域生成前方目标车辆范围;或者,根据前方目标车辆的多个像素位置连线围成的闭合区域生成前方目标车辆范围。

进一步地,在本发明实施例的一种可能的实现方式中,第三生成模块812具体用于根据后方目标车辆的目标边界围成的闭合区域生成后方目标车辆范围;或者,根据后方目标车辆的目标边界的延伸的围成的闭合区域生成后方目标车辆范围,或者,根据后方目标车辆的多个像素位置连线围成的闭合区域生成后方目标车辆范围。

进一步地,在本发明实施例的一种可能的实现方式中,第四生成模块813和第三识别模块814。

其中,第四生成模块813用于根据第一图像和第二图像之间的交织映射关系将前方目标车辆范围映射至第一图像中生成前方车灯识别区域,根据第三图像和第四图像之间的交织映射关系将后方目标车辆范围映射至第三图像中生成后方车灯识别区域。

第三识别模块814用于根据前方车灯识别区域识别相应前方目标车辆的转向灯,根据后方车灯识别区域识别相应后方目标车辆的转向灯。

进一步地,在本发明实施例的一种可能的实现方式中,第三识别模块814具体用于根据前方车灯识别区域中车尾灯的颜色、闪烁频率或闪烁序列识别相应前方目标车辆的转向灯;根据后方车灯识别区域中车前灯的颜色、闪烁频率或闪烁序列识别相应后方目标车辆的转向灯。

在本发明的一个实施例中,控制模块810具体用于根据前方目标车辆的运动参数和转向灯识别到前方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统在隧道内提前进行制动调整,以及使主体车辆的车灯系统提醒后方目标车辆;或者,根据前方目标车辆的运动参数和转向灯识别到前方本车道目标车辆减速变道至前方非本车道的工况,以使主体车辆的运动参数控制系统在隧道内不进行制动调整;或者,根据后方目标车辆的运动参数和转向灯识别到后方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统在隧道内提前进行调整,以及使主体车辆的车灯系统提醒后方目标车辆。

需要说明的是,前述对车辆行驶自动控制方法实施例的解释说明也适用于本发明实施例的车辆行驶自动控制装置,此处不再赘述。

综上所述,本发明实施例的车辆行驶自动控制装置,首先从前置3d相机获取主体车辆前方环境的第一图像和第二图像,从后置3d相机获取主体车辆后方环境的第三图像和第四图像,并根据第一图像获取前方公路车道线和根据第三图像获取后方公路车道线,然后根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,根据第三图像和第四图像之间的交织映射关系将后方公路车道线映射至第四图像中生成多个后方车辆识别范围,并根据所有前方车辆识别范围识别前方目标车辆和根据所有后方车辆识别范围识别后方目标车辆,最后获取隧道信息和限速信息,根据隧道信息和限速信息改变主体车辆的巡航车速上限和巡航安全距离的设置以及根据隧道信息调整前置3d相机和后置3d相机的焦距,根据前方目标车辆和后方目标车辆的运动参数对主体车辆的运动参数进行隧道内巡航控制。由此,能够使得主体车辆的自适应巡航系统执行正确的制动,减少不必要的制动调整,有效地减少了追尾碰撞风险,提高了主体车辆的行驶安全性、以及提高了主体车辆驾驶员在进出隧道过程中的操作便利性。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。

此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1