车辆行驶自动控制方法和装置与流程

文档序号:15451660发布日期:2018-09-15 00:07阅读:159来源:国知局

本发明涉及车辆控制技术领域,尤其涉及一种车辆行驶自动控制方法和装置。



背景技术:

目前,车辆的自适应巡航系统的关注度越来越高,在车辆自适应巡航系统中,用户设定所希望的车速,系统利用低功率雷达或红外线光束得到前方车辆的确切位置,如果发现前方车辆减速或监测到新目标,系统就会发送执行信号给发动机或制动系统来降低车速使车辆和前方车辆保持一个安全的行驶距离。当前方道路没车时又会加速恢复到设定的车速,雷达系统会自动监测下一个目标。车辆的自适应巡航控制系统代替用户控制车速,避免了频繁的取消和设定巡航控制,使自适应巡航系统适合于更多的路况,为用户提供了一种更轻松的驾驶方式。

然而,对于多个目标车辆行驶于隧道的情况,毫米波雷达等测距传感器并不能很好地识别车道线。因此仅安装载毫米波雷达的主体车辆很可能将本车道的目标车辆识别为在非本车道,并可能将非本车道的目标车辆识别为在本车道,可能导致主体车辆的自适应巡航系统执行错误的制动或制动延迟,主体车辆的行驶安全性低。



技术实现要素:

本发明的目的旨在至少在一定程度上解决上述的技术问题之一。

为此,本发明的第一个目的在于提出一种车辆行驶自动控制方法,该方法提高了隧道内车辆的行驶安全性。

本发明的第二个目的在于提出一种车辆行驶自动控制装置。

为了实现上述目的,本发明第一方面实施例提出了一种车辆行驶自动控制方法,包括:从前置3d相机获取主体车辆前方环境的第一图像和第二图像,其中,第一图像为彩色或亮度图像,第二图像为深度图像;根据所述第一图像获取前方公路车道线;根据所述第一图像的成像参数和所述前方公路车道线获取第三图像和后方公路车道线;根据所述第一图像和所述第二图像之间的交织映射关系将所述前方公路车道线映射至所述第二图像中生成多个前方车辆识别范围;根据所有前方车辆识别范围识别前方目标车辆;根据所述第三图像和所述后方公路车道线生成多个后方车辆识别范围;从毫米波雷达获取后方目标车辆参数组,根据所述毫米波雷达的安装参数将所述后方目标车辆参数组投影到所述第三图像中以获取多个后方目标车辆参数点;根据所有后方车辆识别范围和所述多个后方目标车辆参数点识别后方目标车辆;获取隧道信息和限速信息;根据所述隧道信息和所述限速信息改变所述主体车辆的巡航车速上限和巡航安全距离的设置;根据所述隧道信息调整所述前置3d相机的焦距,根据所述前方目标车辆的运动参数,以及所述后方目标车辆对所述主体车辆的运动参数进行隧道内巡航控制。

本发明实施例的车辆行驶自动控制方法,从前置3d相机获取主体车辆前方环境的第一图像和第二图像,获取前公路车道线,并根据第一图像的成像参数和前方公路车道线获取第三图像和后方公路车道线,根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,以根据前方车辆识别范围识别前方目标车辆,根据第三图像和后方公路车道线生成多个后方车辆识别范围,且从毫米波雷达获取后方目标车辆参数组,根据毫米波雷达的安装参数将后方目标车辆参数组投影到第三图像中以获取多个后方目标车辆参数点,从而识别出后方目标车辆,最后获取隧道信息和限速信息,根据隧道信息和限速信息改变主体车辆的巡航车速上限和巡航安全距离的设置以及根据隧道信息调整前置3d相机的焦距,根据前方目标车辆的运动参数以及后方目标车辆对主体车辆的运动参数进行隧道内巡航控制。由此,能够使得主体车辆根据公路车道线环境信息控制主体车辆的制动,减少不必要的制动调整,有效地减少了追尾碰撞风险,提高了主体车辆在隧道中的行驶安全性。

为了实现上述目的,本发明第二方面实施例提出了一种车辆行驶自动控制装置,包括:第一获取模块,用于从前置3d相机获取主体车辆前方环境的第一图像和第二图像,其中,第一图像为彩色或亮度图像,第二图像为深度图像;第二获取模块,用于根据所述第一图像获取前方公路车道线;第三获取模块,用于根据所述第一图像的成像参数和所述前方公路车道线获取第三图像和后方公路车道线;第一生成模块,用于根据所述第一图像和所述第二图像之间的交织映射关系将所述前方公路车道线映射至所述第二图像中生成多个前方车辆识别范围;第一识别模块,用于根据所有前方车辆识别范围识别前方目标车辆;第二生成模块,用于根据所述第三图像和所述后方公路车道线生成多个后方车辆识别范围;第四获取模块,用于从毫米波雷达获取后方目标车辆参数组,根据所述毫米波雷达的安装参数将所述后方目标车辆参数组投影到所述第三图像中以获取多个后方目标车辆参数点;第二识别模块,用于根据所有后方车辆识别范围和所述多个后方目标车辆参数点识别后方目标车辆;第五获取模块,用于获取隧道信息和限速信息;第一调整模块,用于根据所述隧道信息和所述限速信息改变所述主体车辆的巡航车速上限和巡航安全距离的设置;第二调整模块,用于根据所述隧道信息调整所述前置3d相机的焦距;控制模块,用于根据所述前方目标车辆的运动参数,以及所述后方目标车辆对所述主体车辆的运动参数进行隧道内巡航控制。

本发明实施例的车辆行驶自动控制装置,从前置3d相机获取主体车辆前方环境的第一图像和第二图像,获取前公路车道线,并根据第一图像的成像参数和前方公路车道线获取第三图像和后方公路车道线,根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,以根据前方车辆识别范围识别前方目标车辆,根据第三图像和后方公路车道线生成多个后方车辆识别范围,且从毫米波雷达获取后方目标车辆参数组,根据毫米波雷达的安装参数将后方目标车辆参数组投影到第三图像中以获取多个后方目标车辆参数点,从而识别出后方目标车辆,最后获取隧道信息和限速信息,根据隧道信息和限速信息改变主体车辆的巡航车速上限和巡航安全距离的设置以及根据隧道信息调整前置3d相机的焦距,根据前方目标车辆的运动参数以及后方目标车辆对主体车辆的运动参数进行隧道内巡航控制。由此,能够使得主体车辆根据公路车道线环境信息控制主体车辆的制动,减少不必要的制动调整,有效地减少了追尾碰撞风险,提高了主体车辆在隧道中的行驶安全性。

本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1是根据本发明第一个实施例的车辆行驶自动控制方法的流程图;

图2是根据本发明第二个实施例的车辆行驶自动控制方法的流程图;

图3是根据本发明第三个实施例的车辆行驶自动控制方法的流程图;

图4是根据本发明第四个实施例的车辆行驶自动控制方法的流程图;

图5是根据本发明第五个实施例的车辆行驶自动控制方法的流程图;

图6是根据本发明第六个实施例的车辆行驶自动控制方法的流程图

图7是根据本发明第七个实施例的车辆行驶自动控制方法的流程图;

图8是根据本发明一个实施例的车辆行驶自动控制方法的场景示意图;

图9是根据本发明另一个实施例的车辆行驶自动控制方法的场景示意图;

图10是根据本发明第一个实施例的车辆行驶自动控制装置的结构示意图;

图11是根据本发明第二个实施例的车辆行驶自动控制装置的结构示意图;

图12是根据本发明第三个实施例的车辆行驶自动控制装置的结构示意图;

图13是根据本发明第四个实施例的车辆行驶自动控制装置的结构示意图;

图14是根据本发明第五个实施例的车辆行驶自动控制装置的结构示意图;

图15是根据本发明第六个实施例的车辆行驶自动控制装置的结构示意图;以及

图16是根据本发明第七个实施例的车辆行驶自动控制装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的车辆行驶自动控制方法和装置。

图1是根据本发明一个实施例的车辆行驶自动控制方法的流程图。

通常,将毫米波雷达装配在车辆的前方、侧方、或者后方,完成前视防撞、侧方防撞、和后视防撞等侧重点各异的功能,在实际应用中,毫米波雷达根据针对其发射信号的反馈信号,分析前方车辆与当前主体车辆间的距离和相对速度,以便于车辆自动调节车速,保证行车安全。

具体而言,安装毫米波雷达的车辆上路后,毫米波雷达选定跟随的车辆后,将跟随的车辆作为目标车辆进行监测,无论前方车辆加速、减速、停车还是启动,主题车辆都会实时获知并采取相应的措施。然而,由于毫米波雷达是单脉冲,不能准确判定被测目标车辆的类别和性质,当前方目标车辆行驶于隧道时,不能良好地识别车道线,容易导致识别延迟等,导致行车存在安全隐患。

为了解决上述问题,本发明提出了一种车辆行驶自动控制方法,保证了隧道中主体车辆的行车安全。

下面结合具体的实施例,对本发明车辆行驶自动控制方法进行说明。如图1所示,该车辆行驶自动控制方法包括:

s101,从前置3d相机获取主体车辆前方环境的第一图像和第二图像,其中,第一图像为彩色或亮度图像,第二图像为深度图像。

具体地,预先在当前主体车辆的前方设置3d相机获取主体车辆前方环境的第一图像和第二图像,其中,第一图像为彩色或亮度图像,第二图像为深度图像。

需要说明的是,在实际应用中,根据前置3d相机的成像装置结构的不同,可采用多种方式从前置3d相机获取主体车辆前方环境的第一图像和第二图像。

作为一种可能的实现方式,从前置3d相机的图像传感器获取主体车辆前方环境的第一图像,从前置3d相机的飞行时间传感器(timeofflight,简称tof)获取主体车辆前方环境的第二图像。

其中,图像传感器指亮度像素传感器的阵列或集合,示例如红、绿、蓝(rgb)或亮度、色度(yuv)等亮度像素传感器,其受限于精确的确定亮度像素传感器于被检测物体之间的距离的能力,通常用于获取环境的亮度图像。

tof传感器指tof像素传感器的阵列或集合,示例tof像素传感器可以是光传感器、相位检测器等,可以检测来自脉冲光源、调制光源的光在tof像素传感器与被检测物体之间传播的飞行时间,从而检测物体的距离并获取深度图像。

另外,在实际应用中,图像传感器或tof传感器都可以使用互补金属氧化物半导体(cmos)工艺进行制作,并且亮度像素传感器和tof像素传感器可以按比例制作在同一基板之上,例如以8:1比例进行制作的8个亮度像素传感器和1个tof像素传感器组成一个大的交织像素,其中1个tof像素传感器的感光面积可以等于8个亮度像素传感器的感光面积,8个亮度像素传感器可以按2行4列的阵列形式排列。

例如,可以在1英寸光学靶面的基板上制作360行480列的上述活跃交织像素的阵列,可获取720行1920列的活跃亮度像素传感器阵列、360行480列的活跃tof像素传感器阵列,由此图像传感器和tof传感器组成的同一个相机可同时获取彩色或亮度图像和深度图像。

由此,获取关于主体车辆前方环境的第一图像和第二图像的同一个前置3d相机,可以使用cmos工艺制造实现,根据半导体工业的摩尔定律,前置3d相机在有限时期内将具备足够低的生成成本。

s102,根据第一图像获取前方公路车道线。

具体地,由于第一图像为彩色或亮度图像,而识别公路车道线的位置只需要利用公路车道线与路面的亮度差异即可实现。因此,在实际执行过程中,可通过第一图像的亮度信息获取公路车道线。

具体而言,如果第一图像为亮度图像,则根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。

如果第一图像为彩色图像,则将彩色图像转换为亮度图像,根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。

其中,由于由彩色图像转换为亮度图像的转换方法是本领域技术人员所熟悉的,因而在此不对由彩色图像转换为亮度图像的具体过程赘述。

s103,根据第一图像的成像参数和前方公路车道线获取第三图像和后方公路车道线。

其中,第一图像的成像参数可以包含获取第一图像的相机的成像像素坐标系、焦距、该相机在主体车辆上的物理世界坐标系的位置和朝向,也即通过该成像参数可以将第一图像的任意图像像素坐标与主体车辆物理世界坐标系建立投影关系,该投影关系的建立方法是本领域技术人员所熟悉的。

其中,第三图像是投影后的前方公路车道线的全部像素位置的俯视图,因此第三图像中的前方公路车道线的位置就是主体车辆前方的公路车道线相对主体车辆物理世界坐标系原点的位置。

进而,由于后方公路车道线是前方的公路车道线的延续,因而,还在获取的第一公路车道线的基础上,获取后方公路车道线。

s104,根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围。

具体地,由于第一图像和第二图像是同一个前置3d相机获取的彩色或亮度图像以及深度图像,因而,第一图像和第二图像具有交织映射关系,由于第一图像和第二图像之间的交织映射关系,第一图像的每个像素的行列坐标经过等比例的调整都可以在第二图像至少确定一个像素的行列坐标,因此根据第一图像获取的前方公路车道线的每个边缘像素位置都可以在第二图像至少确定一个像素位置,从而在第二图像中获取了等比例调整的前方公路车道线。

进而,根据人眼观看的视野,根据第二图像中获取的等比例的前方公路车道线,每两个相邻的前方公路车道线唯一创建一个前方车辆识别范围。

s105,根据所有前方车辆识别范围识别前方目标车辆。

具体地,在获取前方车道的识别范围后,获取位于前方车道识别范围内的车辆为前方目标车辆。

s106,根据第三图像和后方公路车道线生成多个后方车辆识别范围。

具体地,根据人眼观看的视野,根据第三图像中的后方公路车道线,每两个相邻的后方公路车道线唯一创建一个后方车辆识别范围。

s107,从毫米波雷达获取后方目标车辆参数组,根据毫米波雷达的安装参数将后方目标车辆参数组投影到第三图像中以获取多个后方目标车辆参数点。

具体地,毫米波雷达,例如工作在24ghz或77ghz的调频连续波雷达,可以获取多个后方目标车辆的距离、相对速度和方位角等参数,形成了后方目标车辆参数组,因而通过毫米波雷达获取后方目标车辆参数,该后方目标车辆参数组的每一组至少包含该后方目标车辆的距离、相对速度和方位角。

其中,毫米波雷达在主体车辆上的物理世界坐标系的位置和朝向的安装参数可以通过主体车辆的下线检测以获取和记录,因此毫米波雷达目标车辆参数组的各个目标车辆的距离、相对速度和方位角等参数可以转换为相对主体车辆的物理世界坐标系原点的参数,即根据毫米波雷达的安装参数将后方目标车辆参数组投影到第三图像中以获取多个后方目标车辆参数点。

举例而言,该毫米波雷达的法线与主体车辆的物理世界坐标系的y轴重合,该毫米波雷达的法线起点到主体车辆的物理世界坐标系原点的距离是-2m,该毫米波雷达识别的某个后方目标车辆的距离为10m、相对速度为2m/s、方位角30°(即目标车辆与原点的连线到y轴的夹角),则该目标车辆到主体车辆的物理世界坐标系原点的x、y坐标是(10m*sin30°,-2m-10m*cos30°)即(5m,-10.66m),即根据毫米波雷达的安装参数将毫米波雷达目标车辆参数组投影到第三图像中获取了该后方目标车辆参数点(5m,-10.66m)。

s108,根据所有后方车辆识别范围和多个后方目标车辆参数点识别后方目标车辆。

具体地,由于根据毫米波雷达的安装参数将毫米波雷达后方目标车辆参数组投影到第三图像中以获取若干后方目标车辆参数点,因此将后方目标车辆参数点落在对应的车辆识别范围的目标车辆标记为后方目标车辆。

s109,获取隧道信息和限速信息。

可以理解的是,隧道信息和限速信息可以是隧道入口信息及其对应的限速信息、或者是隧道出口信息及其对应的限速信息。

由此,获取隧道信息和限速信息的方式有很多种,可以根据实际应用需要进行选择设置,举例说明如下:

第一种示例,从导航系统获取隧道入口信息和限速信息。

第二种示例,从导航系统获取隧道出口信息和限速信息。

第三种示例,根据第一图像和第二图像识别隧道入口信息和限速信息。

第四种示例,根据第一图像和第二图像识别隧道出口信息和限速信息。

s110,根据隧道信息和限速信息改变主体车辆的巡航车速上限和巡航安全距离的设置。

可以理解的是,不同的隧道信息,改变主体车辆的巡航车速上限和巡航安全距离的设置不同。

作为一种示例,隧道信息为隧道出口信息时,根据隧道出口信息、限速信息和用户设置信息,改变主体车辆的巡航车速上限和巡航安全距离的设置。

s111,根据隧道信息调整前置3d相机,根据前方目标车辆的运动参数以及后方目标车辆对主体车辆的运动参数进行隧道内巡航控制。

可以理解的是,不同的隧道信息调整前置3d相机的焦距的方式不同,举例说明如下:

第一种示例,当隧道信息为隧道入口信息,减小前置3d相机的焦距。

第二种示例,当隧道信息为隧道出口信息,增大前置3d相机的焦距。

进一步地,根据前方目标车辆的运动参数、后方目标车辆以及转向灯对主体车辆的运动参数进行隧道内巡航控制。

因而,在本发明的一个实施例中,还可根据前方目标车辆生成前方目标车辆范围,根据第一图像和第二图像之间的交织映射关系将前方目标车辆范围映射至第一图像中生成前方车灯识别区域。

可以理解,由于行车安全与前方目标车辆行驶状态有关,比如,前方目标车辆直行时,主体车辆可正常行驶,如果前方目标车辆突然减速变道,则为了避免追尾事故的发生,主体车辆需要制动行驶。而由于前方目标车辆的行驶状态可通过的前方目标车辆的车灯反应,因而,在本实施例中,为了获知前方目标车辆的车灯,需要确定前方车灯识别区域。

具体地,由于前方车灯识别区域位于前方目标车辆范围内,因而,根据前方目标车辆生成前方目标车辆范围,由于第一图像和第二图像之间的交织映射关系,第二图像中前方目标车辆范围的每个像素的行列坐标经过等比例的调整都可以在第一图像至少确定一个像素的行列坐标,并且该目标车辆的车灯的成像包含在相应的前方目标车辆范围中,从而在第一图像中生成了前方车灯识别区域。

需要说明的是,在实际应用中,根据具体应用场景的不同,根据前方目标车辆生成前方目标车辆范围的方式不同,示例如下:

第一种示例:

根据前方目标车辆的目标边界围成的闭合区域生成前方目标车辆范围。

在本示例中,作为一种可能的实现方式,采用图像处理算法中的边界检测方法(例如canny、sobel、laplace等边界检测方法)检测前方目标车辆的目标边界进行识别。

由于,在深度图像中,同一个目标车辆的背面或正面的光反射到tof传感器形成的深度子图像包含一致的距离信息,因此只要识别该目标车辆形成的深度子图像在深度图像中的位置即可获取该目标车辆的距离信息。其中,子图像指图像的一部分像素的组合。

同一个目标车辆的背面或正面的光反射到tof传感器形成深度子图像是包含一致的距离信息,而路面的光反射到tof传感器形成深度子图像是包含连续变化的距离信息,因此包含一致的距离信息的深度子图像与包含连续变化的距离信息的深度子图像在两者的交界处必然形成突变差异,这些突变差异的交界形成了该目标车辆在深度图像中的目标边界。

第二种示例:

根据前方目标车辆的目标边界的延伸的围成的闭合区域生成前方目标车辆范围。

在本示例中,作为一种可能的实现方式,采用图像处理算法中的边界检测方法检测前方目标车辆的目标边界进行识别。

第三种示例:

根据前方目标车辆的多个像素位置连线围成的闭合区域生成前方目标车辆范围。

其中,车辆识别范围由车道线的全部像素位置所确定,因此在车辆识别范围内检测目标车辆的目标边界将减少隔离带、路灯杆、防护桩等道路设施形成的边界干扰。

进一步地,根据前方车灯识别区域识别相应前方目标车辆的转向灯。

具体地,在获取前方车灯识别区域后,为了准确获知前方目标车辆的具体形式状态,根据前方车灯识别区域识别相应前方目标车辆的转向灯。

需要说明的是,根据具体应用需求的不同,根据前方车灯识别区域识别相应前方目标车辆的转向灯的方式不同。

作为一种可能的实现方式,根据前方车灯识别区域中车尾灯的颜色、闪烁频率或闪烁序列识别相应前方目标车辆的转向灯。

在本实现方式中,前方目标车辆变道的初期其纵向位移和横向位移都较小,意味着该前方目标车辆的车灯识别区域大小变化也较小,只有转向灯处成像的亮度因闪烁而变化较大。

因此,通过连续获取多幅不同时刻的彩色或亮度图像,并对其中该前方目标车辆的车灯识别区域进行时间微分处理,以创建该前方目标车辆的时间微分车灯识别区域子图像。时间微分车灯识别区域子图像将突出该前方目标车辆的连续闪烁的车灯子图像。

进而,将时间微分车灯识别区域子图像投影到列坐标轴,进行一维查找获取该目标车辆的车灯子图像的起始和终点列坐标位置,将这些起始和终点列坐标位置投影至时间微分车灯识别区域子图像,并查找车灯子图像的起始和终点行坐标位置,将车灯子图像的起始和终点的行、列坐标位置投影至上述多幅不同时刻的彩色或亮度图像中以确认该前方目标车辆的车灯的颜色、闪烁频率或闪烁序列,从而确定了闪烁的车灯子图像的行、列坐标位置。

进一步地,闪烁的车灯子图像的行、列坐标位置只在该前方目标车辆的车灯识别区域左侧时,可以确定该前方目标车辆在打左转向灯,闪烁的车灯子图像的行、列坐标位置只在该前方目标车辆的车灯识别区域右侧时,可以确定该前方目标车辆在打右转向灯,闪烁的车灯子图像的行、列坐标位置在该前方目标车辆的车灯识别区域两侧时可以确定该目标车辆在打双闪警示灯。

另外,在本实现方式中,当前方目标车辆变道的过程中其纵向位移或横向位移较大,导致该前方目标车辆的车灯识别区域大小变化也较大,可以对连续获取的多幅不同时刻的前方目标车辆的车灯识别区域,进行纵向位移或横向位移补偿并缩放成大小一致的车灯识别区域,再对调整后的前方目标车辆的车灯识别区域,进行时间微分处理以创建该前方目标车辆的时间微分车灯识别区域子图像,将时间微分车灯识别区域子图像投影到列坐标轴,进行一维查找获取该前方目标车辆的车灯子图像的起始和终点列坐标位置,将这些起始和终点列坐标位置投影至时间微分车灯识别区域子图像,并查找车灯子图像的起始和终点行坐标位置,将车灯子图像的起始和终点的行、列坐标位置投影至上述多幅不同时刻的彩色或亮度图像中,以确认该前方目标车辆的车灯的颜色、闪烁频率或闪烁序列,从而确定了闪烁的车灯子图像的行、列坐标位置,最后完成左转向灯、右转向灯或双闪警示灯的识别。

举例说明如下:

第一种示例,根据前方目标车辆的运动参数和转向灯识别到前方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统在隧道内提前进行制动调整,以及使主体车辆的车灯系统提醒后方目标车辆。由此,使得主体车辆的运动参数控制系统和车灯系统可以更早做出调整,提醒后方目标车辆,为后方目标车辆提供了更多的制动或调整时间,更有效地减少了追尾碰撞风险,提高了主体车辆及其乘员的行驶安全性。

第二种示例,根据前方目标车辆的运动参数和转向灯识别到前方本车道目标车辆减速变道至前方非本车道的工况,以使主体车辆的运动参数控制系统在隧道内不进行制动调整。由此,使得主体车辆的运动参数控制系统可以减少不必要的制动调整,从而减少了由于主体车辆的不必要的制动调整导致的追尾碰撞风险。

综上所述,本发明实施例的车辆行驶自动控制方法,从前置3d相机获取主体车辆前方环境的第一图像和第二图像,获取前公路车道线,并根据第一图像的成像参数和前方公路车道线获取第三图像和后方公路车道线,根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,以根据前方车辆识别范围识别前方目标车辆,根据第三图像和后方公路车道线生成多个后方车辆识别范围,且从毫米波雷达获取后方目标车辆参数组,根据毫米波雷达的安装参数将后方目标车辆参数组投影到第三图像中以获取多个后方目标车辆参数点,从而识别出后方目标车辆,最后获取隧道信息和限速信息,根据隧道信息和限速信息改变主体车辆的巡航车速上限和巡航安全距离的设置以及根据隧道信息调整前置3d相机的焦距,根据前方目标车辆的运动参数对主体车辆的运动参数进行隧道内巡航控制。由此,能够使得主体车辆根据公路车道线环境信息控制主体车辆的制动,减少不必要的制动调整,有效地减少了追尾碰撞风险,提高了主体车辆在隧道中的行驶安全性。

基于以上描述,需要说明的是,根据具体应用场景的不同,可采用不同的技术,根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。下面结合具体的示例进行说明。

图2是根据本发明第二个实施例的车辆行驶自动控制方法的流程图,如图2所示,上述步骤s102包括:

s201,根据第一图像的亮度信息和预设的亮度阈值创建前方公路车道线的二值图像。

具体地,由于在实际生活中,公路车道线既有实线车道线也有虚线车道线,为了便于说明,下面首先以识别实线车道线为例进行说明。

具体地,利用第一图像中公路车道线与路面的亮度差异,预先设置亮度阈值,其中预设的亮度阈值是通过查找得到某些亮度阈值,亮度阈值可以利用“直方图统计—双峰”算法来查找得到。

进而,利用预设的亮度阈值和亮度图像创建突出公路车道线的二值图像,还可以将亮度图像划分为多个亮度子图像,对每个亮度子图像执行“直方图统计—双峰”算法来查找得到多个亮度阈值,利用各个亮度阈值和相应的亮度子图像创建突出公路车道线的二值子图像,并利用二值子图像创建完整的突出公路车道线的二值图像,从而可以应对路面或车道线亮度变化的情况。

其中,查找亮度阈值和创建公路车道线的二值图像的具体实施步骤,可由本领域的技术人员在现有技术的基础上得到,在此不再赘述。

s202,根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置。

具体地,在得到前方公路车道线的二值图像后,由于公路车道线的曲率半径不可能太小,并且由于相机投影原理导致近处车道线相对远处车道线的成像像素更多,使得弯道的实线车道线在亮度图像中排列成直线的像素也占该实线车道线成像像素的大部分。

因此可以使用预设的检测算法,比如hough变换算法等直线检测算法在突出公路车道线的二值图像中,检测出直道的实线车道线的全部边缘像素位置或检测出弯道的实线车道线的大部分初始直线边缘像素位置。

当然,如果不做过滤处理,直线检测也将隔离带、电线杆在二值图像中的大部分直线边缘像素位置检出。根据图像传感器的长宽比例、相机镜头焦距、道路设计规范的道路宽度范围和图像传感器在主体车辆的安装位置可以设置车道线在二值图像中的斜率范围,从而根据该斜率范围将非车道线的直线过滤排除。

由于弯道的实线车道线的边缘像素位置总是连续变化的,因此根据查找上述检测的初始直线两端的边缘像素位置的连通像素位置,并将该连通像素位置并入该初始直线边缘像素集合,重复上述查找和并入该连通像素位置,最后将弯道实线车道线的全部边缘像素位置唯一确定。

s203,根据预设的检测算法在二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。

为了全面的说明根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线,下面首先以识别虚线车道线为例进行说明。

上述步骤s201中描述的直线检测算法,也可将虚线车道线的大部分初始直线边缘像素位置检测出来,可通过虚线车道线的大部分初始直线边缘像素位置的延长线或查找合并的方法将属于该虚线车道线的其他较短的车道线的边缘像素连接起来,以获得虚线车道线的全部边缘像素位置。其中,延长线的方法用于获取直道虚线车道线的全部边缘像素位置,查找合并的方法用于获取弯道虚线车道线的全部边缘像素位置,选择延长线的方法还是查找合并的方法需要得到虚线车道线是直道还是弯道的先验知识,当然该先验知识可以通过检测实线车道线来获取。

作为一种实现方式,可根据实线车道线的先验知识、车道线现实中相互平行的原则、图像传感器及相机的投影参数,将实线车道线的全部边缘像素位置投影到虚线车道线的初始直线边缘像素位置,以连接该虚线车道线的初始直线边缘像素位置和其他属于该虚线车道线的其他较短的车道线的边缘像素位置,从而获取虚线车道线的全部边缘像素位置。

作为另一种实现方式,不需要得到直道或弯道的先验知识,由于车辆在直道巡航或恒定转向角弯道巡航的过程中,虚线车道线的横向偏移在较短的连续时间内几乎可以忽略,但纵向偏移却较大,因此虚线车道线在不同时刻的连续几幅突出公路车道线的二值图像中,可以叠加成一条实线车道线,然后再通过上述实线车道线的识别方法,获取该虚线车道线的全部边缘像素位置。

由于虚线车道线的纵向偏移量受到主体车辆车速的影响,以此可以根据从轮速传感器获取的车速,动态的确定不同时刻的连续的突出公路车道线的二值图像的最少幅数,以将虚线车道线叠加成一条实线车道线,从而获取虚线车道线的全部边缘像素位置。

综上所述,本发明实施例的车辆行驶自动控制方法,根据第一图像的亮度信息和预设的亮度阈值创建前方公路车道线的二值图像,根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置,根据预设的检测算法在二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。由此,可准确识别出公路车道线中直道和弯道的虚线和实线车道线。

需要说明的是,根据具体应用场景的不同,可采用不同的技术,根据第一图像的成像参数和前方公路车道线获取第三图像和后方公路车道线。下面结合具体的示例以进行更加清楚的说明。

图3是根据本发明第三个实施例的车辆行驶自动控制方法的流程图,如图3所示,上述步骤s103包括:

s301,根据第一图像的成像参数将前方公路车道线的全部像素位置投影到主体车辆物理世界坐标系建立第三图像。

s302,将第三图像中的前方公路车道线的位置通过连续时间积累和相对主体车辆物理世界坐标系原点的位移将获取后方公路车道线的位置。

具体地,将获取的前方公路车道线的全部像素位置投影到主体车辆物理世界坐标系建立第三图像,第三图像可以是投影后的前方公路车道线的全部像素位置的俯视图,因此第三图像中的前方公路车道线的位置就是主体车辆前方的公路车道线相对主体车辆物理世界坐标系原点的位置。

由于某一时刻获取的前方公路车道线经过若干时间后将位于主体车辆后方,因此第三图像中的前方公路车道线的位置通过连续时间积累和相对主体车辆物理世界坐标系原点的位移将获取主体车辆的后方公路车道线的位置。

举例而言,在t1时刻前方公路车道线的一点a相对主体车辆物理世界坐标系原点的y轴距离为d1(x轴距离为d2),该主体车辆以车速v匀速沿y轴行驶了t时间,即在t2=t1+t时刻公路车道线的一点a在主体车辆物理世界坐标系的位移为v×t(例如v×t=2×d1),在t2=t时刻公路车道线的一点a相对主体车辆物理世界坐标系原点的距离为d1-v×t=-d1,即获取了主体车辆的后方公路车道线的位置(x轴距离仍为d2)。

对于主体车辆变速行驶的情况,v对t的变化曲线可以由轮速传感器获取,可以使用v对t的积分获取变速行驶的位移。对于主体车辆行驶于弧形弯道的情况,利用前方公路车道线在主体车辆物理世界坐标系的坐标计算弯道的曲率半径,再利用该曲率半径和主体车辆行驶时间t的积分的弧形位移可以计算该前方公路车道线经过时间t相对主体车辆物理世界坐标系原点的坐标,即获取了主体车辆的后方公路车道线的位置。

综上所述,本发明实施例的车辆行驶自动控制方法,根据第一图像的成像参数将前方公路车道线的全部像素位置投影到主体车辆物理世界坐标系建立第三图像,将第三图像中的前方公路车道线的位置通过连续时间积累和相对主体车辆物理世界坐标系原点的位移将获取后方公路车道线的位置。由此,准确获知了后方车道线的位置,便于根据后方车道线的位置对车辆进行相关控制,为保证行驶安全奠定基础。

由于在实际应用中,无论是主体车辆前方目标车辆还是后方目标车辆,都具有多种行驶状态和行驶位置,而不同的行驶状态和行驶位置直接关系到对主体车辆的具体控制操作,比如,对于前方非本车道的目标车辆,只要其保持在前方非本车道运行,无论其加速和减速都对主体车辆的行车安全没有影响,但是一旦其变道到本车道,主体车辆需要进行减速操作等。

下面分别对如何识别前方目标车辆和后方目标车辆进行详细说明。

图4是根据本发明第四个实施例的车辆行驶自动控制方法的流程图,如图4所示,上述步骤s105包括:

s401,对所有前方车辆识别范围标记前方本车道和前方非本车道的标签。

具体地,根据第二图像中获取的等比例的前方公路车道线,取每个前方公路车道线的初始直线部分所占的行数和列数相比得到该公路车道线的初始直线的斜率,对根据斜率最大的两条公路车道线的初始直线所在的前方公路车道线创建的前方车辆识别范围,标记前方本车道的标签,其他创建的前方车辆识别范围标记前方非本车道的标签。

由此,可根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中,以在第二图像中生成若干前方车辆识别范围,并对所有前方车辆识别范围标记前方本车道和前方非本车道的标签。

s402,根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆。

具体地,获取前方本车道标签后,前方本车道目标车辆在前方本车道识别范围内,可根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆。

具体而言,由于目标车辆相对于tof传感器的距离和位置随时间总是变化的,而路面、隔离带相对于tof传感器的距离和位置随时间近似是不变化的。因此可利用两幅不同时刻获取的深度图像创建时间微分深度图像以检测上述距离和位置的变化,进而实际在标记本车道标签的车辆识别范围识别前方本车道目标车辆。

s403,根据标记前方非本车道标签的车辆识别范围识别前方非本车道目标车辆。

具体地,获取前方非本车道标签后,前方非本车道目标车辆在前方非本车道识别范围内,可根据标记前方非本车道标签的车辆识别范围识别前方非本车道目标车辆。

具体而言,由于目标车辆相对于tof传感器的距离和位置随时间总是变化的,而路面、隔离带相对于tof传感器的距离和位置随时间近似是不变化的。因此可利用两幅不同时刻获取的深度图像创建时间微分深度图像以检测上述距离和位置的变化,进而实际在标记非本车道标签的车辆识别范围识别前方非本车道目标车辆。

s404,根据两两组合的前方车辆识别范围识别前方变道目标车辆。

具体地,由于可以识别出前方本车道目标车辆以及前方非本车道目标车辆,从而基于同样的识别方法,根据两两组合的前方车辆识别范围识别前方变道目标车辆。

具体而言,由于目标车辆相对于tof传感器的距离和位置随时间总是变化的,而路面、隔离带相对于tof传感器的距离和位置随时间近似是不变化的。因此可利用两幅不同时刻获取的深度图像创建时间微分深度图像以检测上述距离和位置的变化,进而实际在根据两两组合的前方车辆识别范围识别前方变道目标车辆。

图5是根据本发明第五个实施例的车辆行驶自动控制方法的流程图,如图5所示,上述步骤s108包括:

s501,对所有后方车辆识别范围标记后方本车道和后方非本车道的标签。

具体地,根据第三图像中的后方公路车道线,取每个后方公路车道线的初始直线部分所占的行数和列数相比得到该公路车道线的初始直线的斜率,对根据斜率绝对值最大的两条公路车道线的初始直线所在的后方公路车道线,创建的后方车辆识别范围标记后方本车道的标签,其他创建的后方车辆识别范围标记后方非本车道的标签。

由此,可根据第一图像和第二图像之间的交织映射关系将后方公路车道线映射至第二图像中,以在第二图像中生成若干后方车辆识别范围,并对所后方车辆识别范围标记后方本车道和后方非本车道的标签。

s502,根据标记后方本车道标签的车辆识别范围和后方目标车辆参数点识别标记后方本车道目标车辆。

具体地,获取后方本车道标签后,后方本车道目标车辆在后方本车道识别范围内,可根据标记后方本车道标签的车辆识别范围识别后方本车道目标车辆。

具体而言,由于目标车辆相对于tof传感器的距离和位置随时间总是变化的,而路面、隔离带相对于tof传感器的距离和位置随时间近似是不变化的。因此可利用两幅不同时刻获取的深度图像创建时间微分深度图像以检测上述距离和位置的变化,进而实际在标记本车道标签的车辆识别范围识别后方本车道目标车辆。

s503,根据标记后方非本车道标签的车辆识别范围和后方目标车辆参数点识别标记后方非本车道目标车辆。

具体地,获取后方非本车道标签后,后方非本车道目标车辆在后方非本车道识别范围内,可根据标记后方非本车道标签的车辆识别范围识别后方非本车道目标车辆。

具体而言,由于目标车辆相对于tof传感器的距离和位置随时间总是变化的,而路面、隔离带相对于tof传感器的距离和位置随时间近似是不变化的。因此可利用两幅不同时刻获取的深度图像创建时间微分深度图像以检测上述距离和位置的变化,进而实际在标记非本车道标签的车辆识别范围识别后方非本车道目标车辆。

s504,根据两两组合的后方车辆识别范围和后方目标车辆参数点识别标记后方变道目标车辆。

具体地,由于可以识别出后方本车道目标车辆以及后方非本车道目标车辆,从而基于同样的识别方法,根据两两组合的后方车辆识别范围识别后方变道目标车辆。

具体而言,由于目标车辆相对于tof传感器的距离和位置随时间总是变化的,而路面、隔离带相对于tof传感器的距离和位置随时间近似是不变化的。因此可利用两幅不同时刻获取的深度图像创建时间微分深度图像以检测上述距离和位置的变化,进而实际在根据两两组合的后方车辆识别范围识别后方变道目标车辆。

当然,除了上述示出的获取目标车辆的识别方法,还可采用其他方式获取目标车辆,作为一种可能的实现方式,在上述步骤s109后识别出前方目标车辆的目标边界后,分别将每个车辆识别范围内检出的目标边界投影至图像的行坐标轴上,并在行坐标轴上进行一维查找,即可确定该车辆识别范围内所有前方目标车辆的纵向目标边界所占的行数和行坐标范围,以及确定横向目标边界的所占的列数和行坐标位置。

其中,纵向目标边界指占有像素行数多并且列数少的目标边界,横向目标边界指有占有像素行数少并且列数多的目标边界。

进而,根据该车辆识别范围内所有的横向目标边界所占的列数、行坐标位置,在该车辆识别范围内查找所有纵向目标边界的列坐标位置(也即相应横向目标边界的列坐标起始位置和终点位置),并根据目标边界包含一致的距离信息的原则区分不同目标车辆的目标边界,从而确定该车辆识别范围内所有前方目标车辆的位置和距离信息。

因此,检测获取前方目标车辆的目标边界即可唯一确定该前方目标车辆形成的深度子图像在深度图像中的位置,从而唯一确定该前方目标车辆的距离信息。

根据此示例的边界检测方法可以同时检测多个前方目标车辆及其距离信息,进而在标记本车道标签的车辆识别范围内识别前方本车道目标车辆,在标记非本车道标签的车辆识别范围内识别前方非本车道目标车辆,在两两组合的车辆识别范围内识别前方变道目标车辆。

基于同样的原理,也可对后方目标车辆进行识别,在此不再赘述。

其中,作为获取后方目标车辆的另外一种实现方式,在上述步骤s107中获取多个后方目标车辆参数点后,将后方目标车辆参数点落在标记后方本车道标签的车辆识别范围的目标车辆标记为后方本车道目标车辆,将后方目标车辆参数点落在标记后方非本车道标签的车辆识别范围的目标车辆,标记为后方非本车道目标车辆。

其中,在实际应用中,对于工作带宽较宽的毫米波雷达,其测距分辨率较高,其对同一后方目标车辆获取的目标车辆参数点较多,可以通过聚类的方法将多个目标车辆参数点归类为一个目标车辆参数集合,该目标车辆参数集合可以形成同一后方目标车辆的轮廓。

例如,可以首先通过相对速度参数将所有的目标车辆参数点归类为几个初始集合,然后再将每个初始集合中的所有参数点根据物理世界坐标系原点的x、y坐标,进行二维轮廓的聚类获取同一个目标车辆的参数集合,例如使用k-means等本领域技术人员所熟悉的聚类方法等,最后将后方目标车辆参数合集落在标记后方本车道标签的车辆识别范围的目标车辆,标记为后方本车道目标车辆,将后方目标车辆参数集合落在标记后方非本车道标签的车辆识别范围的目标车辆,标记为后方非本车道目标车辆,将后方目标车辆参数集合落在两个以上相邻后方车辆识别范围的目标车辆标记为后方变道目标车辆。

综上所述,本发明实施例的车辆行驶自动控制方法,准确识别前方和后方目标车辆,以便于根据前方目标车辆的运动参数和转向灯,以及后方目标车辆对主体车辆进行行车控制,为保证行车安全提供保证。

基于以上实施例,为了更加清楚的说明在隧道中对主体车辆的行车控制,下面分别以隧道信息为隧道入口信息和出口信息时,结合主体车辆不同工况的控制实施过程进行说明。

图6是根据本发明第六个实施例的车辆行驶自动控制方法的流程图,如图6所示,上述步骤s113包括:

s601,当隧道信息为隧道入口信息,则在根据隧道信息和限速信息改变主体车辆的巡航车速上限和巡航安全距离的设置之后,执行减速控制。

具体地,车辆导航系统通常能够在主体车辆驶入隧道前提供当前主体车辆位置至该隧道的入口的距离信息,并且能够提供该隧道的限速信息、提供当前主体车辆位置至该限速标志的距离信息。主体车辆在驶入隧道前的巡航车速通常高于隧道限速,即有必要在驶入隧道前控制车速。

举例而言,可以定期通过主体车辆的总线系统从导航系统获取隧道入口信息和限速信息,计算当前车速值减去隧道限速值的差值,若差值为正值则计算主体车辆减速至隧道限速的舒适滑行距离,可以当主体车辆行驶至该隧道入口或限速标志的距离达到例如1.2倍上述舒适滑行距离开始更新巡航车速上限(即更新为隧道限速值)的设置和更新巡航安全距离的设置(例如巡航安全距离更新为原来的一半),并减少动力输出执行舒适滑行减速。

需要说明的是,作为另一种实现形式,还可以基于第一图像和第二图像识别隧道入口信息和限速信息,第一图像和第二图像分别是彩色图像和深度图像,根据识别的隧道入口信息和限速信息改变巡航车速上限和巡航安全距离的设置,并执行必要的减速控制。

举例而言,公路隧道入口就是隧道的一个截面,而该截面总是与车道和车道线相交,并且隧道入口以内的车道线成像亮度小在第一图像中成像不明显,而隧道外的车道线在第一图像中成像明显,因此在第一图像中识别车道线成像的最远像素位置就相当于识别到了隧道入口在第一图像中的成像位置。

其中,隧道入口在第一图像中的成像受到光照和亮度的影响,但在第二图像中的深度成像却不受光照和亮度的影响,因此将第一图像识别的公路车道线映射至第二图像中以在第二图像中生成若干车辆识别范围,根据该车辆识别范围的最远端像素位置以获取隧道入口处的深度值例如a(即主体车辆当前至该隧道入口的距离),又由于隧道入口(即隧道截面)具有近似一致的深度值。

例如,取属于a±1m的深度值范围的像素位置即可获取隧道入口截面的完整形状,即隧道外墙的深度像素围绕隧道入口形成的形状,并且隧道入口在a±1m的深度值范围是空洞无反射,隧道外墙的深度像素与隧道入口空洞像素位置形成强烈反差,因此可以容易提取隧道入口空洞像素位置从而确定隧道入口的高度、宽度和形状,从而识别了隧道入口信息。

可以理解的是,限速标志由于外圆圈为红色,限速信息适宜采用彩色图像的第二图像以识别。例如在第二图像中利用红色色度过滤大部分非红色图像信息,并在过滤后的红色图像中采用本领域人员熟悉的圆形或椭圆形霍夫变换算法确定限速标志在第二图像中的像素位置,还可以将该像素位置投影至第一图像中确定限速标志到主体车辆的深度值即距离,最后根据限速标志像素位置利用本领域人员熟悉的数字模板匹配方法识别红色外圆圈内的限速值,从而识别了限速信息。

进一步地,例如,巡航系统计算当前车速值减去上述识别的隧道限速值的差值,若差值为正值则计算主体车辆减速至隧道限速的舒适滑行距离;巡航系统可以当主体车辆至该限速标志的距离达到例如1.2倍上述舒适滑行距离开始更新巡航车速上限(即更新为隧道限速值)的设置和更新巡航安全距离的设置(例如巡航安全距离更新为原来的一半),并减少动力输出(或电动车启动制动能量回收)执行舒适滑行减速。

s602,当隧道信息为隧道入口信息,减小前置3d相机,根据前方目标车辆的运动参数和转向灯识别到前方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统在隧道内提前进行制动调整,以及使主体车辆的车灯系统提醒后方目标车辆。

可以理解的是,主体车辆在隧道中通常存在中低速行驶的工况,此时主体车辆近处的道路环境对主体车辆控制影响更大,减小前置3d相机的焦距以获取主体车辆前方近处较宽视角的环境成像,例如减小焦距可以通过电动调焦镜头实现,辅助3d相机成像的光源例如也可以切换为与3d相机匹配的宽近光照射光型。进一步提高行车安全性。

需要说明的是,以前方本车道的左右车道线为参考,无论该前方目标车辆变道时处于直道或是弯道、无论前方目标车辆向左或向右变道都可以识别准确,从而为主体车辆自适应巡航系统提供准确的运动控制依据。

要说明的是,毫米波雷达方位角的识别误差一般为±0.5度,在隧道中由于车道通常比较窄、目标车辆到主体车辆比较近导致前方目标车辆的车宽占据了毫米波雷达方位角的一个较宽的范围,即同一个前方目标车辆的毫米波雷达产生了多个散射点,多个散射点的雷达散射截面积的波动将导致毫米波雷达方位角的识别误差的恶化,最终导致毫米波雷达不能准确识别前方目标车辆的车宽有多少位于主体车辆本车道或非本车道,因而不能提供给车辆自适应巡航系统准确的运动控制依据,即可能导致主体车辆非必要的变速巡航而降低主体车辆的行驶经济性,也可能导致主体车辆非必要的紧急制动而降低主体车辆的行驶安全性。

因此,本发明实施例中,减小前置3d相机的焦距,根据识别的前方目标车辆和后方目标车辆的及其车尾转向灯以对主体车辆的运动参数进行隧道内巡航控制。

图7是根据本发明第七个实施例的车辆行驶自动控制方法的流程图,如图7所示,上述步骤s113包括:

s701,根据第一图像和第二图像识别隧道出口信息和限速信息,根据隧道出口信息、限速信息和用户设置信息,改变主体车辆的巡航车速上限和巡航安全距离的设置。

具体地,根据第一图像和第二图像识别隧道出口信息和限速信息。基于上述说明,公路隧道出口就是隧道的一个截面,而该截面总是与车道和车道线相交,并且隧道出口以内的车道线在第一图像中成像明显,而隧道外的车道线在第一图像中通常曝光过度成像不明显,因此上述步骤中在第一图像中识别车道线成像的最远像素位置,就相当于识别到了隧道出口在第一图像中的成像位置。

其中,隧道出口在第一图像中的成像受到光照和亮度的影响,但在第二图像中的深度成像却不受光照和亮度的影响,因此根据上述车辆识别方法中第三步骤中将第一图像识别的公路车道线,映射至第二图像中以在第二图像中生成若干车辆识别范围,根据该车辆识别范围的最远端像素位置以获取隧道出口处的深度值例如b(即主体车辆当前至隧道出口的距离),又由于隧道出口(即隧道截面)的具有近似一致的深度值。

例如,取属于b±0.5m的深度值范围的像素位置即可获取隧道出口截面的完整形状,即隧道内墙的深度像素围绕隧道出口形成的形状,并且隧道出口在b±0.5m的深度值范围是空洞无反射,隧道内墙的深度像素与隧道出口空洞像素位置形成强烈反差,因此可以容易提取隧道出口空洞像素位置从而确定隧道出口的高度、宽度和形状,从而识别了隧道出口信息。

需要说明的是,限速信息的具体说明上述描述的限速信息的具体说明,此处不再详述。

需要说明的是,主体车辆在驶出隧道后的巡航车速通常高于隧道限速,即可以根据主体车辆用户设置在驶出隧道后控制车速。

s702,增大前置3d相机的焦距,根据前方目标车辆的运动参数和转向灯识别到前方本车道目标车辆减速变道至前方非本车道的工况,以使主体车辆的运动参数控制系统在隧道内不进行制动调整。

具体地,根据识别的前方本车道目标车辆的运动参数及其车尾转向灯以对主体车辆的运动参数进行控制,以提高主体车辆的行驶经济性。

可以理解的是,在主体车辆驶出隧道后,主体车辆较远处的道路环境对主体车辆控制影响更大,增大前置3d相机的焦距以获取主体车辆前方较远处的环境成像细节,例如增大焦距可以通过电动调焦镜头实现,辅助3d相机成像的光源例如也可以切换为与3d相机匹配的远光照射光型。

同理,在隧道外的道路行驶中,车辆自适应巡航系统保持匀速巡航工况将使得该主体车辆获得良好的行驶经济性,出现变速巡航工况的次数越多该车辆的行驶经济性越差。例如,在本车道目标车辆减速变道至紧急停车道或匝道的过程中,传统的车辆自适应巡航系统的匀速巡航将被打断,该主体车辆先减速并在该前方目标车辆驶出主体车辆本车道后再加速从而导致了不经济的变速巡航。

由此,不需要组合导航系统也可以识别和监控本车道前方目标车辆从打转向灯到完成变道至非本车道的连续过程,而前方目标车辆在连续变道过程中的持续时间、相对主体车辆的距离和横向位移等运动参数也容易被监控,从而目标车辆的运动参数可以用于控制主体车辆的运动参数以减少非必要的变速巡航。

举例而言,识别到本车道目标车辆的右转向灯亮起时前方目标车辆的左侧目标边界到本车道左侧车道线的像素距离经相机投影关系换算确定为横向距离p,经过连续获取n幅不同时刻的第一图像和第二图像(获取一幅第一图像或第二图像的时间为t),期间识别并记录该目标车辆的距离r的变化,识别到该前方目标车辆刚好完成变道至本车道右侧的非本车道,此时前方目标车辆的左侧目标边界到本车道右侧车道线重合,本车道宽度为d,因此,前方目标车辆在该连续变道过程中的运动参数为持续时间n×t、相对主体车辆的距离为r和横向位移为(d-p)。

因此,根据上述识别的前方目标车辆变道过程中的距离r,主体车辆自适应巡航系统只要确定r始终大于设定的安全巡航制动距离即可保持匀速巡航,甚至即使识别到该前方目标车辆刚好完成变道至本车道右侧的非本车道,此时前方目标车辆的左侧目标边界到本车道右侧车道线重合且r小于安全巡航制动距离,主体车辆自适应巡航系统也可能减少动力输出,稍微等待识别到目标车辆继续向右位移,产生更安全、更大的横向位移即可恢复动力输出以保持匀速巡航。

综上所述,本发明实施例的车辆行驶自动控制方法,能够从导航系统获取隧道入口信息和限速信息,根据获取的隧道入口信息和限速信息改变巡航车速上限和巡航安全距离的设置,并执行必要的减速控制,减小前置3d相机的焦距,根据前方目标车辆的运动参数以及转向灯对主体车辆的运动参数进行隧道内巡航控制,能够基于第一图像和第二图像识别隧道出口信息、限速信息,根据识别的隧道出口信息、限速信息和用户设置信息,改变巡航车速上限和巡航安全距离的设置,再通过识别的目标车辆的运动参数和相应识别目标车辆的车尾转向灯,可以识别到本车道目标车辆减速变道至主体车辆非本车道的工况,使得主体车辆的运动参数控制系统可以减少不必要的制动调整,从而减少了由于主体车辆的不必要的制动调整导致的追尾碰撞风险。

基于以上实施例,为了更加清楚的说明,如何根据前方目标车辆的运动参数和转向灯,以及后方目标车辆对主体车辆的运动参数进行隧道内巡航控制,下面结合具体地应用场景,说明本实施例中识别和监控主体车辆的前方本车道目标车辆从打转向灯到完成变道至非本车道的连续过程。

具体地,根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆,根据两两组合的前方车辆识别范围识别前方变道目标车辆,并且,根据车灯识别区域识别相应目标车辆的转向灯,可以识别和监控前方本车道目标车辆从打转向灯到完成变道至非本车道的连续过程,而该目标车辆在该连续变道过程中的持续时间、相对主体车辆的距离、相对速度和横向位移等运动参数也容易被监控,从而根据该目标车辆的该运动参数可以用于控制主体车辆。

在识别到前方本车道目标车辆的右转向灯亮起时,该目标车辆的左侧目标边界到前方本车道左侧车道线的像素距离经相机投影关系换算确定为横向距离p,经过连续获取n幅不同时刻的第一图像和第二图像(获取一幅第一图像或第二图像的时间为t),期间识别并记录该目标车辆的距离r的变化,并可以通过对该目标车辆的距离r相对t的变化计算该目标车辆的相对速度v。

识别到该目标车辆刚好完成变道至前方本车道右侧的非本车道,此时该目标车辆的左侧目标边界到前方本车道右侧车道线重合,本车道宽度为d,因此,该前方目标车辆在该连续变道过程中的运动参数为持续时间n×t、相对主体车辆的距离为r、相对速度v和横向位移为(d-p)。

需要强调的是,上述识别的横向位移以本车道的左右车道线为参考,无论该目标车辆变道时处于直道或是弯道、无论目标车辆向左或向右变道都可以识别准确,从而为主体车辆自适应巡航系统提供准确的控制依据。

进一步地,传统的仅依靠毫米波雷达的车辆自适应巡航系统识别的目标车辆的横向位移是以主体车辆为参考的,以主体车辆为参考识别的目标车辆的横向位移有时将不能提供给车辆自适应巡航系统准确的运动控制依据。

图8是根据本发明一个实施例的车辆行驶自动控制方法的场景示意图。

如图8所示,当本车道前方目标车辆从本车道完成向右变道正好处在向左弯的弯道时,位于直道上传统车辆的毫米波雷达仍可能识别该前方目标车辆部分处于本车道上,上述弯道曲率半径250米,上述前方目标车辆变道过程中在弯道上行驶了25米,与该前方目标车辆的左侧目标边界重合的本车道右侧车道线在弯道25米处已经相对该车道线的直道延长线向左偏移了

若此时上述传统车辆的毫米波雷达识别到该目标车辆的距离为50米至80米,即上述传统车辆的毫米波雷达位于直道上并且距离弯道入口仍有25米至55米的距离,上述传统车辆的毫米波雷达在缺乏弯道先验知识的情况下将识别到该前方目标车辆仍然约有1.25米宽度的车身在本车道上,并且随着该目标车辆继续沿着向左弯道减速行驶,上述传统车辆的毫米波雷达识别到该目标车辆有更大宽度的车身在本车道上,即上述传统车辆的毫米波雷达将产生了不准确的识别并将导致该传统车辆自适应巡航系统执行连续的不准确和不必要的制动,从而导致该传统车辆与其后方目标车辆的追尾碰撞风险增大。

同理,上述传统车辆的毫米波雷达对上述本车道目标车辆在向右弯道上从本车道完成向左变道的识别也存在不准确性。

上述传统车辆的毫米波雷达为了解决上述识别的不准确性,要么增加相机帮助识别车道线,要么增加方位角的识别精度,总之将提高系统复杂度和成本。

因此根据上述示例,根据本发明识别的目标车辆的运动参数和相应识别目标车辆的转向灯,可以识别到本车道目标车辆减速变道至主体车辆非本车道的工况,使得主体车辆的运动参数控制系统可以减少不必要的制动调整,从而减少了由于主体车辆的不必要的制动调整导致的追尾碰撞风险。

同理,根据上述示例,本发明也可以识别和监控非本车道目标车辆从打转向灯到完成变道至本车道的连续过程,而该前方目标车辆在该连续变道过程中的持续时间、相对主体车辆的距离、相对速度和横向位移等运动参数也容易被监控,从而该前方目标车辆的该运动参数可以用于控制主体车辆的运动参数以更早做出制动调整并提高行驶安全性、并更早地控制车灯警示后方目标车辆以减少追尾碰撞风险。

图9是根据本发明另一个实施例的车辆行驶自动控制方法的场景示意图。

例如图9所示,主体车辆在本车道直道以定速模式行驶,并且距离弯道入口仍有55米(或至25米)的距离,该弯道向右弯曲并且曲率半径为250米,在距离弯道入口前方25米本车道右侧有一辆非本车道前方目标车辆正在打左转向灯向本车道变道,并且该目标车辆的左侧目标边界已经与本车道的右侧车道线重合。

根据上述示例,本发明将可以准确识别该前方目标车辆正在向本车道变道,由于该目标车辆距离主体车辆约80米(或至50米),本发明可以控制主体车辆的动力系统准确地执行动力输出减小甚至制动的动作、及时亮起刹车灯,以保证主体车辆与前方、后方目标车辆的安全距离,从而提高了主体车辆的行驶安全性和减少了追尾碰撞风险。

然而,传统的仅依靠毫米波雷达的车辆自适应巡航系统识别的目标车辆的横向位移是以主体车辆为参考的,在缺乏弯道先验知识的情况下将识别该前方目标车辆距离本车道右侧车道线的延长线还约有米的横向距离,即错误地识别该前方目标车辆需要继续向左横向位移约1.25米上述毫米波雷达才能确认该前方目标车辆开始进入本车道。

若该前方目标车辆横向位移速度为1米每秒,则上述传统的仅依靠毫米波雷达的车辆自适应巡航系统将在该前方目标车辆实际进入本车道约1.25秒以后才能执行动力输出减小甚至制动的动作,这无疑减少了主体车辆与前方、后方目标车辆的安全距离,导致了主体车辆的行驶安全性下降和增加了追尾碰撞风险。

因此,根据上述示例,根据识别的目标车辆的运动参数和相应识别目标车辆的转向灯,可以识别到非本车道目标车辆减速变道至主体车辆本车道的工况,使得主体车辆的运动参数控制系统和安全系统可以更早做出调整,提高了主体车辆及其乘员的行驶安全性,使得主体车辆的车灯系统可以更早做出调整以提醒后方目标车辆,为后方目标车辆提供了更多的制动或调整时间,更有效地减少了追尾碰撞风险。

综上所述,本发明实施例的车辆行驶自动控制方法,提高了主体车辆及其乘员的行驶安全性,使得主体车辆的车灯系统可以更早做出调整以提醒后方目标车辆,为后方目标车辆提供了更多的制动或调整时间,更有效地减少了追尾碰撞风险。

为实现上述目的,本发明还提出一种车辆行驶自动控制装置。

图10是根据本发明第一个实施例的车辆行驶自动控制装置的结构示意图。

如图10所示,该车辆行驶自动控制装置可包括:第一获取模块1010、第二获取模块1020、第三获取模块1030、第一生成模块1040、第一识别模1050、第二生成模块1060、第四获取模块1070、第二识别模块1080、第五获取模块1090、第一调整模块1100、第二调整模块1110和控制模块1120。

其中,第一获取模块1010,用于从前置3d相机获取主体车辆前方环境的第一图像和第二图像,其中,第一图像为彩色或亮度图像,第二图像为深度图像。

在本发明的一个实施例中,第一获取模块1010从前置3d相机的图像传感器获取主体车辆前方环境的第一图像,从前置3d相机的飞行时间传感器获取主体车辆前方环境的第二图像。

第二获取模块1020,用于根据第一图像获取前方公路车道线。

在本发明的一个实施例中,第二获取模块1020,在第一图像为亮度图像时,根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线;或者,

在第一图像为彩色图像时,将彩色图像转换为亮度图像,根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。

第三获取模块1030,用于根据第一图像的成像参数和前方公路车道线获取第三图像和后方公路车道线。

第一生成模块1040,用于根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围。

第一识别模块1050,用于根据所有前方车辆识别范围识别前方目标车辆。

第二生成模块1060,用于根据第三图像和后方公路车道线生成多个后方车辆识别范围。

第四获取模块1070,用于从毫米波雷达获取后方目标车辆参数组,根据毫米波雷达的安装参数将后方目标车辆参数组投影到第三图像中以获取多个后方目标车辆参数点。

第二识别模块1080,用于根据所有后方车辆识别范围和多个后方目标车辆参数点识别后方目标车辆。

第五获取模块1090,用于获取隧道信息和限速信息。

在本发明的一个实施例中,第五获取模块1090,根据第一图像和第二图像识别隧道入口信息和限速信息。或者,

根据第一图像和第二图像识别隧道出口信息和限速信息。

第一调整模块1100,用于根据隧道信息和限速信息改变主体车辆的巡航车速上限和巡航安全距离的设置。

第二调整模块1110,用于根据隧道信息调整前置3d相机的焦距。

控制模块1120,用于根据前方目标车辆的运动参数,以及后方目标车辆对主体车辆的运动参数进行隧道内巡航控制。

在本发明的一个实施例中,图11是根据本发明第二个实施例的车辆行驶自动控制装置的结构示意图。如图11所示,在如图10所示的基础上,车辆行驶自动控制装置还包括第三生成模块1130和第三生成模块1140。

其中,第三生成模块1130,用于根据前方目标车辆生成前方目标车辆范围,根据第一图像和第二图像之间的交织映射关系将前方目标车辆范围映射至第一图像中生成前方车灯识别区域。

在本发明的一个实施例中,第三生成模块1130采用图像处理算法中的边界检测方法检测前方目标车辆的目标边界进行识别。

在本发明的一个实施例中,第三生成模块1130根据前方目标车辆的目标边界围成的闭合区域生成前方目标车辆范围;或者,

根据前方目标车辆的目标边界的延伸的围成的闭合区域生成前方目标车辆范围;或者,

根据前方目标车辆的多个像素位置连线围成的闭合区域生成前方目标车辆范围。

第三生成模块1140,用于根据前方车灯识别区域识别相应前方目标车辆的转向灯。

在本发明的一个实施例中,第三生成模块1140根据所述前方车灯识别区域中车尾灯的颜色、闪烁频率或闪烁序列识别相应前方目标车辆的转向灯。

在本实施例中,控制模块1120根据前方目标车辆的运动参数和转向灯识别到前方非本车道目标车辆减速变道至本车道的工况,以使主体车辆的运动参数控制系统在隧道内提前进行制动调整,以及使主体车辆的车灯系统提醒后方目标车辆。

在本发明的一个实施例中,控制模块1120根据前方目标车辆的运动参数和转向灯识别到前方本车道目标车辆减速变道至前方非本车道的工况,以使主体车辆的运动参数控制系统在隧道内不进行制动调整。

需要说明的是,前述对车辆行驶自动控制方法的解释说明,也适用于本发明实施例的车辆行驶自动控制装置,其实现原理类似,在此不再赘述。

综上所述,本发明实施例的车辆行驶自动控制装置,从前置3d相机获取主体车辆前方环境的第一图像和第二图像,获取前公路车道线,并根据第一图像的成像参数和前方公路车道线获取第三图像和后方公路车道线,根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围,以根据前方车辆识别范围识别前方目标车辆,根据第三图像和后方公路车道线生成多个后方车辆识别范围,且从毫米波雷达获取后方目标车辆参数组,根据毫米波雷达的安装参数将后方目标车辆参数组投影到第三图像中以获取多个后方目标车辆参数点,从而识别出后方目标车辆,最后获取隧道信息和限速信息,根据隧道信息和限速信息改变主体车辆的巡航车速上限和巡航安全距离的设置以及根据隧道信息调整前置3d相机的焦距,根据前方目标车辆的运动参数以及后方目标车辆对主体车辆的运动参数进行隧道内巡航控制。由此,能够使得主体车辆根据公路车道线环境信息控制主体车辆的制动,减少不必要的制动调整,有效地减少了追尾碰撞风险,提高了主体车辆在隧道中的行驶安全性。

图12是根据本发明第三个实施例的车辆行驶自动控制装置的结构示意图。如图12所示,在如图11所示的基础上,第二获取模块1020包括创建单元1021、第一检测单元1022和第二检测单元1023。

其中,创建单元1021,用于根据第一图像的亮度信息和预设的亮度阈值创建前方公路车道线的二值图像。

第一检测单元1022,用于根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置。

第二检测单元1023,用于根据预设的检测算法在二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。

需要说明的是,前述对车辆行驶自动控制方法的解释说明,也适用于本发明实施例的车辆行驶自动控制装置,其实现原理类似,在此不再赘述。

本发明实施例的车辆行驶自动控制装置,根据第一图像的亮度信息和预设的亮度阈值创建前方公路车道线的二值图像,根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置,根据预设的检测算法在二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。由此,可准确识别出公路车道线中直道和弯道的虚线和实线车道线。

图13是根据本发明第四个实施例的车辆行驶自动控制装置的结构示意图。如图13所示,在如图11所示的基础上,第三获取模块1030包括投影单元1031和获取单元1032。

其中,投影单元1031,用于根据第一图像的成像参数将前方公路车道线的全部像素位置投影到主体车辆物理世界坐标系建立第三图像。

获取单元1032,用于将第三图像中的前方公路车道线的位置通过连续时间积累和相对主体车辆物理世界坐标系原点的位移将获取后方公路车道线的位置。

需要说明的是,前述对车辆行驶自动控制方法的解释说明,也适用于本发明实施例的车辆行驶自动控制装置,其实现原理类似,在此不再赘述。

本发明实施例的车辆行驶自动控制装置,根据第一图像的成像参数将前方公路车道线的全部像素位置投影到主体车辆物理世界坐标系建立第三图像,将第三图像中的前方公路车道线的位置通过连续时间积累和相对主体车辆物理世界坐标系原点的位移将获取后方公路车道线的位置。由此,准确获知了后方车道线的位置,便于根据后方车道线的位置对车辆进行相关控制,为保证行驶安全奠定基础。

图14是根据本发明第五个实施例的车辆行驶自动控制装置的结构示意图。如图14所示,在如图11所示的基础上,第一识别模块1050包括第一标记单元1051、第一识别单元1052、第二识别单元1053和第三识别单元1054。

其中,第一标记单元1051,用于对所有前方车辆识别范围标记前方本车道和前方非本车道的标签。

第一识别单元1052,用于根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆。

第二识别单元1053,用于根据标记前方非本车道标签的车辆识别范围识别前方非本车道目标车辆。

第三识别单元1054,用于根据两两组合的前方车辆识别范围识别前方变道目标车辆。

图15是根据本发明第六个实施例的车辆行驶自动控制装置的结构示意图。如图15所示,在如图11所示的基础上,第二识别模块1080包括第二标记单元1081、第四识别单元1082、第五识别单元1083和第六识别单元1084。

其中,第二标记单元1081,用于对所有后方车辆识别范围标记后方本车道和后方非本车道的标签。

第四识别单元1082,用于根据标记后方本车道标签的车辆识别范围和后方目标车辆参数点识别标记后方本车道目标车辆。

第五识别单元1083,用于根据标记后方非本车道标签的车辆识别范围和后方目标车辆参数点识别标记后方非本车道目标车辆。

第六识别单元1084,用于根据两两组合的后方车辆识别范围和后方目标车辆参数点识别标记后方变道目标车辆。

需要说明的是,前述对车辆行驶自动控制方法的解释说明,也适用于本发明实施例的车辆行驶自动控制装置,其实现原理类似,在此不再赘述。

综上所述,本发明实施例的车辆行驶自动控制装置,准确识别前方和后方目标车辆,以便于根据前方目标车辆的运动参数和转向灯,以及后方目标车辆对主体车辆进行行车控制,为保证行车安全提供保证。

图16是根据本发明第七个实施例的车辆行驶自动控制装置的结构示意图。如图16所示,在如图11所示的基础上,车辆行驶自动控制装置还包括第三调整模块1150。

其中,第三调整模块1150,用于执行减速控制。

在本发明的实施例中,第一调整模块1100还用于根据隧道出口信息、限速信息和用户设置信息,改变主体车辆的巡航车速上限和巡航安全距离的设置。

第二调整模块1110还用于在隧道信息为隧道入口信息,减小前置3d相机的焦距,或者,在隧道信息为隧道出口信息,增大前置3d相机的焦距。

需要说明的是,前述对车辆行驶自动控制方法的解释说明,也适用于本发明实施例的车辆行驶自动控制装置,其实现原理类似,在此不再赘述。

综上所述,本发明实施例的车辆行驶自动控制装置,能够从导航系统获取隧道入口信息和限速信息,根据获取的隧道入口信息和限速信息改变巡航车速上限和巡航安全距离的设置,并执行必要的减速控制,减小前置3d相机的焦距,根据前方目标车辆的运动参数以及后方目标车辆和转向灯对主体车辆的运动参数进行隧道内巡航控制,能够基于第一图像和第二图像识别隧道出口信息、限速信息,根据识别的隧道出口信息、限速信息和用户设置信息,改变巡航车速上限和巡航安全距离的设置,再通过识别的目标车辆的运动参数和相应识别目标车辆的车尾转向灯,可以识别到本车道目标车辆减速变道至主体车辆非本车道的工况,使得主体车辆的运动参数控制系统可以减少不必要的制动调整,从而减少了由于主体车辆的不必要的制动调整导致的追尾碰撞风险。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1