一种端到端自动驾驶的方法及装置与流程

本申请涉及车辆控制技术领域，尤其涉及一种端到端自动驾驶的方法及装置。

背景技术：

端到端自动驾驶依靠人工智能、视觉计算、监控装置等的协同合作，让行车电脑可以在没有人类主动操作时自助操作机动车辆的运行。现有的端到端自动驾驶技术实时拍摄车辆前方的路面以获得路面的车道线信息，然后将所述拍摄图像输入至端到端神经网络模型中进行深度学习，输出当前对车辆的控制参数以实现对车辆驾驶控制。然而由于在交通路口处往往没有车道线的存在，这会导致现有的端到端自动驾驶技术难以在交通路口处输出准确的控制参数，可能会出现车辆控制失稳的情况，带来了极大的安全隐患。

技术实现要素：

为了解决现有技术存在的上述技术问题，本申请提供了一种端到端自动驾驶的方法及装置，能够有效弥补端到端自动驾驶时在交通路口处控制失稳的情况，提高端到端自动驾驶的安全性。

本申请提供了一种端到端自动驾驶的方法，所述方法包括：

判断若当前道路存在交通路口，在实时拍摄的图像中添加虚拟车道线以获得输入图像；

根据所述输入图像获得车辆的经过所述交通路口的行车参数；

根据所述行车参数控制所述车辆通过所述交通路口。

可选的，所述在实时拍摄的图像中添加虚拟车道线以获得输入图像，具体为：

获取实时地图信息、车辆定位信息、实时车头偏角及预设路径；所述实时车头偏角为所述车辆的车头偏离当前真实车道线的角度；

根据所述实时地图信息、所述车辆定位信息、所述实时车头偏角及所述预设路径在实时拍摄的图像中添加虚拟车道线以获得所述输入图像。

可选的，所述根据所述输入图像获得所述车辆的经过所述交通路口的行车参数，具体为：

将所述输入图像输入至预设神经网络模型中以获得所述车辆的经过所述交通路口的行车参数。

可选的，所述根据所述行车参数控制所述车辆通过所述交通路口后，所述方法还包括：

根据所述实时地图信息、所述车辆定位信息判断若所述车辆通过所述交通路口，停止向所述实时拍摄的图像中添加所述虚拟车道线。

可选的，所述行车参数至少包括以下其中的一种：

方向盘参数、油门参数以及刹车参数。

本申请实施例还提供了一种端到端自动驾驶的装置，其特征在于，所述装置包括：第一处理单元、第二处理单元和控制单元；

所述第一处理单元，用于判断若当前道路存在交通路口，在实时拍摄的图像中添加虚拟车道线以获得输入图像；

所述第二处理单元，用于根据所述输入图像获得车辆的经过所述交通路口的行车参数；

所述控制单元，用于根据所述行车参数控制所述车辆通过所述交通路口。

可选的，所述第一处理单元，具体包括：获取子单元和添加子单元；

所述获取子单元，用于获取实时地图信息、实时车头偏角及预设路径；所述实时车头偏角为所述车辆的车头偏离当前真实车道线的角度；

所述添加子单元，用于根据所述实时地图信息、实时车头偏角及预设路径在实时拍摄的图像中添加虚拟车道线以获得所述输入图像。

可选的于，所述第二处理单元，具体用于将所述输入图像输入至预设神经网络模型中以获得所述车辆的经过所述交通路口的行车参数。

可选的，所述装置还包括：第三处理单元；

所述第三处理单元，用于根据所述实时地图信息、所述车辆定位信息判断若所述车辆通过所述交通路口，停止向所述实时拍摄的图像中添加所述虚拟车道线。

可选的，所述行车参数为下列的一种或多种的组合：

方向盘参数、油门参数以及刹车参数。

本申请所述方法具有以下优点：

本申请提供了一种端到端自动驾驶的方法，所述方法包括：判断若当前道路存在交通路口，在实时拍摄的图像中添加虚拟车道线以获得输入图像，避免了由于交通路口处无车道线而导致无法从输入图像中采集到车道线信息的问题；根据所述输入图像获得所述车辆的经过所述交通路口的行车参数，此时由于输入图像中添加了虚拟车道线，可以通过所述虚拟车道线以获取所述车辆的行驶轨迹，进而获取所述车辆的行车参数；根据所述行车参数控制所述车辆通过所述交通路口。利用本申请提供的端到端自动驾驶的方法及装置，能够有效弥补端到端自动驾驶时在交通路口处控制失稳的情况，提高端到端自动驾驶的安全性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例一提供的一种端到端自动驾驶的方法的流程图；

图2为本申请实施例一提供的一种端到端自动驾驶的方法应用场景示意图；

图3为本申请实施例二提供的另一种端到端自动驾驶的方法的流程图；

图4为本申请实施例三提供的一种端到端自动驾驶的装置的示意图；

图5为本申请实施例四提供的另一种端到端自动驾驶的装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一：

本申请实施例一提供了一种端到端自动驾驶的方法，下面结合附图具体说明。

参见图1，该图为本申请实施例一提供的一种端到端自动驾驶的方法的流程图。

本申请实施例所述方法包括以下步骤：

s101：判断若当前道路存在交通路口，在实时拍摄的图像中添加虚拟车道线以获得输入图像。

车辆内的摄像装置实时拍摄车辆前方的道路信息，对所述拍摄到的道路信息进行实时分析以判断所述车辆行驶的道路前方有无交通路口，其中用于分析所述拍摄到的道路信息的装置可以是车载电脑或远程终端等，本申请对此不做具体限定。

所述交通路口为两条或两条以上道路的交叉口，可以是常见的十字路口、“t”型路口、“y”型路口和“x”型路口等，还可以为可以简化近似为上述几种类型路口的交通路口等，本申请对此不作具体限定。

具体可以参见图2，该图为本申请实施例一提供的端到端自动驾驶的方法应用场景示意图。图2中实线为真实车道线，虚线分别是不同类型的交通路口添加的虚拟车道线，图2中所示虚拟车道线的偏角表征所述虚拟车道线最终端偏离当前真实车道线的角度。下面分别说明：

以β表示车辆通过所述交通路口后的行驶方向与通过所述交通路口前的行驶方向之间存在的偏角。

在一种可能的实现方式中，以所述交通路口为十字路口或“t”型路口为例，若β＝0，此时车辆通过所述交通路口后的行驶方向与通过所述交通路口前的行驶方向相同，则添加的虚拟车道线的最终端偏离所述当前真实车道线的角度为0°，参见虚拟车道线201，需要注意的是，车辆直行通过“x”型路口时添加的所述虚拟车道线的最终端偏离当前真实车道线的角度也为0°。若β＝90°，则添加的虚拟车道线的最终端与所述当前真实车道线垂直，由于车辆通过所述交通路口时可以进行左转或右转，添加的虚拟车道线的最终端可以在所述当前真实车道线的左侧或右侧，图2中只给出了虚拟车道线的最终端在所述当前真实车道线的右侧的示意图，即虚拟车道线202。

在另一种可能的实现方式中，以所述交通路口为“y”型路口或“x”型路口为例，当0<β<90°时，添加的虚拟车道线的最终端与所述当前真实车道线的偏角为锐角，例如β＝30°时，添加的虚拟车道线为虚拟车道线203。当90°<β<180°时，添加的虚拟车道线的最终端与所述当前真实车道线的偏角为钝角，例如β＝120°时，添加的虚拟车道线为虚拟车道线204。

在又一种可能的实现方式中，β＝180°，此时车辆通过所述交通路口后的行驶方向与通过所述交通路口前的行驶方相反，即车辆在所述交通路口处进行掉头，添加的虚拟车道线的最终端与所述当前真实车道线的偏角为180°，本申请对车辆的掉头方向不作具体限定，其中车辆向右侧掉头时添加的虚拟车道线为虚拟车道线205。

需要注意的是，图2中为方便区分所述真实车道线和虚拟车道线，将虚拟车道线以虚线表示，但在实时拍摄的图像中添加虚拟车道线以获得输入图像时，添加的虚拟车道线可以是虚线，也可以是实线，本申请对此不作具体限定，此外本申请对所述虚拟车道线的宽度、颜色和纹理等属性也不作具体限定，若所述虚拟车道线与所述真实车道线具有不同的属性，例如颜色不同或纹理不同，能够便于区分所述虚拟车道线；但若所述虚拟车道线与所述真实车道线具有相同的属性，则在添加所述虚拟车道线时不必重新设置虚拟车道线的参数，同时由于所述虚拟车道线与所述真实车道线的属性相同，也能有效简化处理所述输入图像的神经网络模型，提高深度学习的效率。

s102：根据所述输入图像获得所述车辆的经过所述交通路口的行车参数。

将所述输入图像输入至预设神经网络模型中进行深度学习以获得所述车辆的经过所述交通路口的行车参数。所述行车参数至少包括方向盘参数、油门参数以及刹车参数中的一种，其中所述方向盘参数，用于控制所述车辆的驾驶方向；所述油门参数及刹车参数，用于控制所述车辆的行驶速度。

在一种可能的实现方式中，总是实时获取用于控制所述车辆的全部行车参数，例如同时获取方向盘参数、油门参数以及刹车参数。在另一种可能的实现方式中，可以只获取发生变化的行车参数，未变化的行车参数默认维持不变，例如当方向盘参数不发生变化时，可以只获取油门参数或刹车参数。

s103：根据行车参数控制所述车辆通过所述交通路口。

根据所述行车参数，即方向盘参数、油门参数以及刹车参数等中的一种或者多种，控制所述车辆的驾驶方向与行驶速度，使所述车辆沿所述虚拟车道线通过所述交通路口。

本申请提供了一种端到端自动驾驶的方法，所述方法包括：判断若当前道路存在交通路口，在实时拍摄的图像中添加虚拟车道线以获得输入图像，避免了由于交通路口处无车道线而导致无法从输入图像中采集到车道线信息的问题；根据所述输入图像获得所述车辆的经过所述交通路口的行车参数，此时由于输入图像中添加了虚拟车道线，可以通过所述虚拟车道线以获取所述车辆的行驶轨迹，进而获取所述车辆的行车参数；根据所述行车参数控制所述车辆通过所述交通路口。利用本申请提供的端到端自动驾驶的方法，能够有效弥补端到端自动驾驶时在交通路口处控制失稳的情况，提高端到端自动驾驶的安全性。

实施例二：

本申请实施例二还提供了另一种端到端自动驾驶的方法，下面结合附图具体说明。

参见图3，该图为本申请实施例二提供的另一种端到端自动驾驶的方法的流程图。

本申请实施例所述方法包括以下步骤：

s301：获取实时地图信息、车辆定位信息、实时车头偏角及预设路径。

所述实时车头偏角为所述车辆的车头偏离当前真实车道线的角度。

所述实时地图信息，包含了所述交通路口的信息，例如交通路口的具体类型、路口车道信息、车道方向信息和车道宽度等。

所述车辆定位信息，包含了本车的当前位置。

所述预设路径包括了车辆通过所述交通路口的路径，例如当所述交通路口为十字路口时，所述预设路径包括了所述车辆通过所述十字路口的路径，例如从当前车道直行通过所述十字路口，再例如从当前车道右转90°通过所述十字路口，所述预设路径还可以包括车辆通过所述交通路口之前与之后所在的车道信息，例如所述车辆通过所述交通路口之前行驶于道路的右侧车道，通过所述交通路口之后，行驶于道路的左侧车道。

所述实时车头偏角为所述车辆的车头偏离当前真实车道线的角度，若所述实时车头偏角为0，表征此时车辆处于直行通过所述交通路口的状态；所述实时车头偏角越大，表征此时所述车辆的车头偏离当前真实车道线的角度越大。

s302：根据所述实时地图信息、车辆定位信息、实时车头偏角及预设路径在实时拍摄的图像中添加虚拟车道线以获得所述输入图像。

为了能够更加准确的添加虚拟车道线以及更加准确控制所述车辆沿所述虚拟车道线行驶，在向所述实时拍摄的图像中添加虚拟车道线时可以结合实时地图信息、实时车头偏角及预设路径，实时调整所述虚拟车道线曲率。所述虚拟车道线曲线的曲率就是针对所述虚拟车道线上某个点的切线方向角对弧长的转动率，表征所述虚拟车道线偏离直线的程度，曲率越大，表示所述虚拟车道线的弯曲程度越大。

在一种可能的实现方式中，假设车辆通过所述交通路口时需要转弯，通过实时地图信息与预设路径可以获取所述车辆通过所述交通路口后的最终车头偏角，车辆刚驶入所述交通路口时，为所述虚拟车道线设置较大的曲率以增大所述虚拟车道线弯曲程度，可以使所述车辆的当前车头偏角更快接近最终车头偏角，并且在车辆转弯过程中逐步调整减小所述虚拟车道线的曲率，使得所述虚拟车道线的曲率在所述当前车头偏角达到所述最终车头偏角时为0，此时所述车辆为直行状态并且已经通过所述交通路口。

在另一种可能的实现方式中，仍然假设车辆通过所述交通路口时需要转弯，通过实时地图信息与预设路径可以获取所述车辆通过所述交通路口后的最终车头偏角，车辆驶入所述交通路口后，逐步增大所述虚拟车道线的曲率，可以使所述车辆的当前车头偏角更快接近最终车头偏角，并且在所述当前车头偏角达到预设角度值后在逐步减小所述虚拟车道线的曲率，使得所述虚拟车道线的曲率在所述当前车头偏角达到所述最终车头偏角时为0，此时所述车辆为直行状态并且已经通过所述交通路口。所述预设角度值可由所述最终车头偏角决定，例如将所述最终车头偏角的一半作为所述预设角度值，本申请对所述预设角度值的取值不作具体限定。

需要注意的是，对于所述车辆直行通过所述交通路口的情况，即通过实时地图信息与预设路径获取所述车辆通过所述交通路口后的最终车头偏角为0，所述虚拟车道线的曲率始终为0。

所述虚拟车道线的曲率还可以采取其他的变化方式，本申请对此不作具体限定，但考虑到车辆通过所述交通路口处的稳定性与安全性，所述虚拟车道线的曲率不宜剧烈变化或反复变化。

s303：将所述输入图像输入至预设神经网络模型中以获得所述车辆的经过所述交通路口的行车参数。

将所述输入图像输入至预设神经网络模型中进行深度学习以获得所述车辆的经过所述交通路口的行车参数。所述行车参数至少包括方向盘参数、油门参数以及刹车参数中，其中所述方向盘参数，用于控制所述车辆的驾驶方向；所述油门参数及刹车参数，用于控制所述车辆的行驶速度。

s304：根据所述行车参数控制所述车辆通过所述交通路口。

根据所述行车参数，即方向盘参数、油门参数以及刹车参数等，控制所述车辆的驾驶方向与行驶速度，使所述车辆沿所述虚拟车道线通过所述交通路口。

s305：根据所述实时地图信息、所述车辆定位信息判断若所述车辆通过所述交通路口，停止向所述实时拍摄的图像中添加所述虚拟车道线。

在另一种可能的实现方式中，也可以通过判断所述拍摄图像中是否存在真实车道线以判断所述车辆是否通过所述交通路口，若在所述拍摄图像中检测到真实车道线，则停止向所述实时拍摄的图像中添加所述虚拟车道线。

本申请实施例所述端到端自动驾驶的方法，首先获取实时地图信息、实时车头偏角及预设路径，再根据所述实时地图信息、实时车头偏角及预设路径在实时拍摄的图像中添加虚拟车道线以获得所述输入图像，避免了由于交通路口处无车道线而导致无法从输入图像中采集到车道线信息的问题；将所述输入图像输入至预设神经网络模型中以获得所述车辆的经过所述交通路口的行车参数，此时由于输入图像中添加了虚拟车道线，可以通过所述虚拟车道线以获取所述车辆的行驶轨迹，进而获取所述车辆的行车参数；根据所述行车参数控制所述车辆通过所述交通路口；此外，本实施例所述方法还会实时判断所述车辆是否已经通过所述交通路口，若是，则停止向所述实时拍摄的图像中添加所述虚拟车道线。利用本申请提供的端到端自动驾驶的方法，能够有效弥补端到端自动驾驶时在交通路口处控制失稳的情况，提高端到端自动驾驶的安全性。

实施例三：

基于上述实施例提供的端到端自动驾驶的方法，本申请实施例三还提供了一种端到端自动驾驶的装置，下面结合附图具体说明。

参见图4，该图为本申请实施例三提供的一种端到端自动驾驶的装置的示意图。

本申请实施例所述装置包括：第一处理单元401、第二处理单元402和控制单元403。

所述第一处理单元401，用于判断若当前道路存在交通路口，在实时拍摄的图像中添加虚拟车道线以获得输入图像。

所述第二处理单元402，用于根据所述输入图像获得车辆的经过所述交通路口的行车参数。

所述行车参数至少包括方向盘参数、油门参数以及刹车参数中的一种或多种的组合。

所述控制单元403，用于根据所述行车参数控制所述车辆通过所述交通路口。

需要注意的是，本申请中的“第一”和“第二”只是为了方便说明所述装置的工作原理，并不是对于所述装置的限定。

本申请提供了一种端到端自动驾驶的装置，所述装置的第一处理单元用于判断若当前道路存在交通路口，在实时拍摄的图像中添加虚拟车道线以获得输入图像，避免了由于交通路口处无车道线而导致无法从输入图像中采集到车道线信息的问题；第二处理单元用于根据所述输入图像获得所述车辆的经过所述交通路口的行车参数，此时由于输入图像中添加了虚拟车道线，可以通过所述虚拟车道线以获取所述车辆的行驶轨迹，进而获取所述车辆的行车参数；控制单元用于根据所述行车参数控制所述车辆通过所述交通路口。利用本申请提供的端到端自动驾驶的装置，能够有效弥补端到端自动驾驶时在交通路口处控制失稳的情况，提高端到端自动驾驶的安全性。

实施例四：

本申请实施例四还提供了另一种端到端自动驾驶的装置，下面结合附图具体说明。

参见图5，该图为本申请实施例四提供的另一种端到端自动驾驶的装置的示意图。

本申请实施例所述装置在实施例三所述装置的基础上，还包括：第三处理单元501。

所述第三处理单元501，用于根据所述实时地图信息、车辆定位信息判断若所述车辆通过所述交通路口，停止向所述实时拍摄的图像中添加所述虚拟车道线。

本申请实施例中所述第一处理单元401，具体包括：获取子单元401a和添加子单元401b。

所述获取子单元401a，用于获取实时地图信息、车辆定位信息、实时车头偏角及预设路径；所述实时车头偏角为所述车辆的车头偏离当前真实车道线的角度。

所述添加子单元401b，用于根据所述实时地图信息、所述车辆定位信息、所述实时车头偏角及所述预设路径在实时拍摄的图像中添加虚拟车道线以获得所述输入图像。

本申请实施例中所述第二处理单元402，具体用于将所述输入图像输入至预设神经网络模型中以获得所述车辆的经过所述交通路口的行车参数。

本申请提供了一种端到端自动驾驶的装置，所述装置的第一处理单元中的获取子单元用于获取实时地图信息、车辆定位信息、实时车头偏角及预设路径，所述添加子单元用于根据所述实时地图信息、车辆定位信息、、实时车头偏角及预设路径在实时拍摄的图像中添加虚拟车道线以得到待处理图像，避免了由于交通路口处无车道线而导致无法从输入图像中采集到车道线信息的问题；第二处理单元用于根据所述输入图像获得所述车辆的经过所述交通路口的行车参数，此时由于输入图像中添加了虚拟车道线，可以通过所述虚拟车道线以获取所述车辆的行驶轨迹，进而获取所述车辆的行车参数；控制单元用于根据所述行车参数控制所述车辆通过所述交通路口；第三处理单元用于判断若所述实时拍摄的图像中存在真实车道线，停止向所述实时拍摄的图像中添加所述虚拟车道线。利用本申请提供的端到端自动驾驶的装置，能够有效弥补端到端自动驾驶时在交通路口处控制失稳的情况，提高端到端自动驾驶的安全性。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外，还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。