用于自动驾驶车辆的驾驶指令生成方法和装置与流程

本申请实施例涉及计算机技术领域，具体涉及人工智能技术领域，尤其涉及用于自动驾驶车辆的驾驶指令生成方法和装置。

背景技术：

随着生活水平的提高，机动车辆的数量也越来越多，使得人们的出现越来越简单。

然而由于机动车辆驾驶人员的不恰当驾驶，例如酒后驾驶等导致的交通问题例如交通事故越来越严重。为了改善由于驾驶人员的不当驾驶引起的交通问题，车辆的自动驾驶技术成为当下一个研究热点。

在现阶段实现车辆自动驾驶的驾驶指令主要为根据当前时刻的行驶环境生成的驾驶指令。

技术实现要素：

本申请实施例的目的在于提出一种用于自动驾驶车辆的驾驶指令生成方法和装置。

第一方面，本申请实施例提供了一种用于自动驾驶车辆的驾驶指令生成方法，该方法包括：获取当前采样时刻采集到的环境图像；提取当前采样时刻采集到的环境图像的特征；基于当前采样时刻采集到的环境图像的特征以及历史采样时刻采集到的环境图像的特征从预设的多个驾驶指令中选取与当前采样时刻匹配的驾驶指令。

第二方面，本申请实施例提供了一种用于自动驾驶车辆的驾驶指令生成装置，该装置包括：获取单元，配置用于获取当前采样时刻采集到的环境图像；提取单元，配置用于提取当前采样时刻采集到的环境图像的特征；匹配单元，配置用于基于当前采样时刻采集到的环境图像的特征以及历史采样时刻采集到的环境图像的特征从预设的多个驾驶指令中选取与当前采样时刻匹配的驾驶指令。

第三方面，本申请实施例提供了一种驾驶控制设备，该驾驶控制设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面中描述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如第一方面中描述的方法。

本申请实施例提供的用于自动驾驶车辆的驾驶指令生成方法和装置，通过综合分析提取的当前采样时刻采集到的环境图像的特征以及历史采样时刻采集到的环境图像的特征从预设的多个驾驶指令中选取与当前采样时刻匹配的驾驶指令，从而使得当前时刻生成的驾驶指令与当前环境图像和历史环境图像均相关联，可以提高驾驶指令决策的准确率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的用于自动驾驶车辆的驾驶指令生成方法的一个实施例的流程图；

图3是根据本申请的用于自动驾驶车辆的驾驶指令生成方法的一个原理性示意图；

图4是根据本申请的用于自动驾驶车辆的驾驶指令生成装置的一个实施例的结构示意图；

图5是适于用来实现本申请实施例的驾驶控制设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的用于自动驾驶车辆的驾驶指令生成方法或用于自动驾驶车辆的驾驶指令生成装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括自动驾驶车辆(例如无人驾驶车辆)101。

自动驾驶车辆101中安装有驾驶控制设备1011、网络1012和图像采集设备1013。网络1012用以在驾驶控制设备1011和图像采集设备1013之间提供通信链路的介质。网络1012可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

驾驶控制设备(又称为车载大脑)1011负责自动驾驶车辆101的智能控制。驾驶控制设备1011可以是单独设置的控制器，例如可编程逻辑控制器(programmablelogiccontroller，plc)、单片机、工业控制机等；也可以是由其他具有输入/输出端口，并具有运算控制功能的电子器件组成的设备；还可以是安装有车辆驾驶控制类应用的计算机设备。

图像采集设备1013例如可以是摄像机、照相机等设备。

驾驶控制设备1011通过网络1012接收图像采集设备1013采集的图像。对图像进行处理得到驾驶指令以控制自动驾驶车辆的驾驶。

需要说明的是，本申请实施例所提供的用于识自动驾驶车辆的驾驶指令生成方法一般由驾驶控制设备1011执行，相应地，用于识自动驾驶车辆的驾驶指令生成装置一般设置于驾驶控制设备1011中。

应该理解，图1中的驾驶控制设备、网络和图像采集设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的驾驶控制设备、网络和图像采集设备。

在自动驾驶车辆的驾驶控制中，可以包括横向驾驶控制和纵向驾驶控制。横向驾驶控制即转向控制，纵向驾驶控制例如可以包括位移速度控制和加速度控制。相应地，控制指令可以包括横向驾驶指令和纵向驾驶指令。纵向驾驶指令例如可以包括具体的位移、速度、加速度指令值。横向驾驶指令例如可以包括例如向前、向左、向右等转向角度指令控制。以下将以横向驾驶指令为例来示意性地描述本申请实施例的方案。但本领域技术人员应当理解，本申请实施例中的方法同样适用于纵向驾驶指令的生成。

继续参考图2，其示出了根据本申请的用于自动驾驶车辆的驾驶指令生成方法的一个实施例的流程200。该用于自动驾驶车辆的驾驶指令生成方法，包括以下步骤：

步骤201，获取当前采样时刻采集到的环境图像。

在本实施例中，用于自动驾驶车辆的驾驶指令生成方法运行于其上的电子设备(例如图1所示的驾驶控制设备1011)可以通过有线连接方式或者无线连接方式从图像采集设备(例如图1所示的图像采集设备1013)获取当前采样时刻采集到的环境图像。

这里的环境例如可以是指自动驾驶车辆行驶过程中所处的环境，例如，可以包括但不限于行车车道形状、路标、车距、障碍物等等。

在一些应用场景中，上述图像采集设备可以按照预定时间间隔(例如1/30秒)采集自动驾驶车辆行驶过程中的环境图像。并将采集到的环境图像发送到上述电子设备。每次采集环境图像的时刻可被认为是一个采样时刻。

步骤202，提取当前采样时刻采集到的环境图像的特征。

在本实施例中，基于步骤201中得到的当前采样时刻采集到的环境图像，上述电子设备(例如图1所示的驾驶控制设备)可以使用各种图像分析处理方法对当前采样时刻采集到的环境图进行各种分析处理，以提取当前采样时刻采集到的环境图像的特征。上述图像分析处理方法例如可以包括但不限于傅里叶变换法、窗口傅里叶变换法、小波变换法、最小二乘法、边界直方图法、神经网络方法等中的至少一种。上述傅里叶变换法、窗口傅里叶变换法、小波变换法、最小二乘法、边界直方图法、神经网络方法是目前广泛研究和应用的公知技术，此处不再赘述。

步骤203，基于当前采样时刻采集到的环境图像的特征以及历史采样时刻采集到的环境图像的特征从预设的多个驾驶指令中选取与当前采样时刻匹配的驾驶指令。

在本实施例中，用于自动驾驶车辆的驾驶指令生成方法运行于其上的电子设备可以对从图像采集设备获取的各个采样时刻采集到的环境图像进行特征提取。此外，上述电子设备还可以存储电子设备获取的多个历史采样时刻的环境图像的特征。

在一些应用场景中，还可以是指定的在当前采样时刻之前的一个或多个采样时刻。

在一些应用场景中，上述电子设备可以分时段(每个时段例如可以为1秒)获取图像采集设备采集到的环境图像。每一个接收时段可以包括多个采样时刻。在完成上一时段获取图像采集设备采集到的环境图像，并提取该时段的各个采样时刻采集到的环境图像的特征之后，在获取下一时段第一个采样时刻采集到的环境图像之前，上述电子设备可以删除已经提取的上一时段各个采样时刻的环境图像特征。这样一来，上述历史时刻可以包括当前采样时刻所在获取时段内的当前采样时刻之前的各个采样时刻。

上述电子设备可以根据当前时刻采集到的环境图像的特征以及历史时刻采集到的环境图像的特征从上述预设的多个驾驶指令中选与当前采样时刻匹配的驾驶指令。这里的驾驶指令例如可以包括前进、左转、右转等转向等具体的横向控制指令。可以根据实际的需要来细化上述横向控制指令，例如，向左/向右偏转15°等。

这里，上述电子设备可以根据当前时刻所处的环境图像的特征以及历史时刻环境图像的特征生成与当前采样时刻匹配的驾驶指令。

例如上述电子设备获取到的当前采样时刻的环境图像中车辆正前方路段有障碍物而电子设备获取到的历史采样时刻的环境图像中左侧有正在行驶的车辆，则上述电子设备可以根据提取的当前时刻环境图像的特征以及提取的历史时刻环境图像的特征，作出驾驶方向向右前方偏转的驾驶指令。

本申请的上述实施例提供的方法通过综合参考提取的当前采样时刻采集到的环境图像的特征以及历史采样时刻采集到的环境图像的特征从预设的多个驾驶指令中选取与当前采样时刻匹配的驾驶指令，从而使得当前时刻生成的驾驶指令与当前环境图像和历史环境图像均相关联，可以提高驾驶决策的准确率。

请继续参考图3，其示出了根据本申请的用于自动驾驶车辆的驾驶指令生成方法的另一个实施例的流程图。该用于自动驾驶车辆的驾驶指令生成方法，包括以下步骤：

步骤301，获取当前采样时刻采集到的环境图像。

步骤302，使用预先训练的卷积神经网络提取当前采样时刻采集到的环境图像的特征。

在本实施例中，用于自动驾驶车辆的驾驶指令生成方法运行于其上的电子设备(例如图1所示的驾驶控制设备1011)可以使用设置在其中的预先训练的卷积神经网络提取当前采样时刻采集到的环境图像。

上述卷积神经网络(convolutionalneuralnetwork，cnn)是深度人工神经网络的一种，通常卷积神经网络可以包括多个特征提取层(又称卷积层)以及多个下采样层(又称池化层，pooling层)。其中，特征提取层与下采样层交替连接。每一个特征提取层可以包括至少一个卷积核。对于一个特征提取层，使用该层的一个卷积核与前一层的输出进行卷积得到一个特征图。下采样层，用来对与其连接的特征提取层的输出的卷积结果求局部平均和降维处理。其中，特征提取层中的卷积核中包括多个权值。卷积核中的权值可以由多个样本训练得到。卷积神经网络的每一个卷积核对图像提取特征图时都利用局部权值共享，可以降低卷积神经网络的复杂度。

这样一来，可以将采集到的当前时刻的环境图像输入到卷积神经网络，经过上述卷积神经网络的处理，其输出的特征图可以用三维矩阵来表示。例如卷积神经网络输出的三维矩阵特征图可以包括a个b行c列矩阵。每个b行c列矩阵中包括b×c个元素。这里，a≥1，且a为正整数。b≥1，且b为正整数，c≥1，且c为正整数。

可以理解的是，在每一个采样时刻，均可以使用卷积神经网络提取该采样时刻采集到的环境图像的特征。

可以使用卷积神经网络提取每一个采样时刻采集到的环境图像的特征图。

此外，卷积神经网络还可以将上述特征图中的所有点的值转换为一维特征向量，将该一维特征向量作为卷积神经网络的输出。例如上述卷积神经网络输出的、包括a个b行c列元素的三维矩阵的特征图可以转换为包括a×b×c个分量的一维特征向量。

步骤303，将当前采样时刻采集到的环境图像的特征和预先训练的长短期记忆网络上一时刻输出的输出特征向量输入长短期记忆网络，得到当前时刻的输出特征向量。

这里，长短期记忆网络(longshort-termmemory，lstm)是一种循环神经网络，可以包括多个隐层。隐层中可以包括历史时刻的状态。lstm可以将历史时刻隐层的状态参与到当前时刻的计算过程中，适合于处理和预测时间序列中间隔和延迟相对较长的事件。

在本实施例中，lstm的输入可以为当前采样时刻采集的环境图像的特征以及上一时刻lstm输出的输出特征向量。当前采样时刻采集的环境图像的特征可以由一维向量表示。可选的，可以将当前时刻采集到的环境图像的特征以及上一时刻lstm输出的输出特征向量组合成一个一维向量作为当前时刻lstm的输入。lstm的输出可以是包括多个元素的一维向量。

步骤304，使用预先训练的全连接层对当前时刻的输出特征向量进行处理，根据处理结果从预设的多个驾驶指令中选取与当前采样时刻匹配的驾驶指令。

全连接层可以起到分类器的作用，其可以将其输入的分布式特征表示映射到样本标记空间。在实际使用中，全连接层可以通过卷积实现。

在本实施例中，上述样本标记空间例如可以为驾驶命令空间。驾驶命令空间例如可包括多个具体的驾驶命令，例如驾驶盘旋转向角度等横向控制自动驾驶车辆的驾驶命令。

可选地，上述步骤304可以由以下子步骤实现：

子步骤3041，对于多个驾驶指令中的每一个驾驶指令，上述全连接层执行如下驾驶指令值计算操作：计算当前时刻的输出特征向量中各元素(也称为分量)数值与各元素分别对应的预设权值乘积的累加和；将累加和与该驾驶指令对应的预设偏置参数之和作为该驾驶指令对应的驾驶指令值。

上述步骤3041可以由以下公式来实现：

其中，a1、a2、a3和a4分别可以是向前行驶、向左转和向右转和向后转等四个驾驶指令分别对应的驾驶指令值。x1、x2、x3、…、xm可以是长短期记忆网络输出的一维向量。b1、b2、b3、b4可以是分别对应于向前行驶、向左转和向右转和向后转四个驾驶指令分别对应的预设偏置参数。

为预设的权值矩阵。

上述权值矩阵中的各个预设权值w11、w12、…、w4m以及各个预设偏置参数可以由多个样本训练得到。公式(1)只是以4个驾驶指令为例进行了说明，实际使用中，可以根据需要对横向驾驶指令进行细化并使用上述方法得到各个横向驾驶指令对应的驾驶指令值。

子步骤3042，选取驾驶指令值最大的驾驶指令作为当前采样时刻匹配的驾驶指令。

例如设根据公式(1)计算出各驾驶指令值分别为：a1＝90％，a2＝50％，a3＝30％，a4＝5％，则选取驾驶指令值a1对应的驾驶指令-向前行驶(也即不对驾驶方向进行偏转)作为与当前时刻匹配的驾驶指令。

从图3中可以看出，与图2所示实例相比，本实施例中的用于自动驾驶车辆的驾驶指令生成方法突出了使用卷积神经网络提取图像的特征，并利用长短期记忆网络将上一时刻长短期记忆网络的输出向量与当前时刻提取的环境图像特征共同作为分析当前时刻驾驶指令的参考数据，最后使用全连接层生成驾驶指令。从而可以快速的生成适用于当前驾驶时刻的驾驶指令。

值得指出的是，在使用上述卷积神经网络、长短期记忆网络以及全连接层对环境图像进行处理生成驾驶指令之前，还包括对上述卷积神经网络、长短期记忆网络以及全连接层进行训练的过程。可以将卷积神经网络、长短期记忆网络以及全连接层作为一个整体的模型，使用多个样本数据对由卷积神经网络、长短期记忆网络以及全连接层形成的整体的模型进行训练。

进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种用于自动驾驶车辆的驾驶指令生成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例的用于自动驾驶车辆的驾驶指令生成装置400包括：接收单元401、提取单元402、匹配单元403。其中，获取单元401，配置用于获取当前采样时刻采集到的环境图像；提取单元402，配置用于提取当前采样时刻采集到的环境图像的特征；匹配单元403，配置用于基于当前采样时刻采集到的环境图像的特征以及历史采样时刻采集到的环境图像的特征从预设的多个驾驶指令中选取与当前采样时刻匹配的驾驶指令

在本实施例中，用于自动驾驶车辆的驾驶指令生成装置400的接收单元401、提取单元402和匹配单元403的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202和步骤203的相关说明，在此不再赘述。

在本实施例的一些可选实现方式中，提取单元402进一步配置用于：使用预先训练的卷积神经网络提取当前采样时刻采集到的环境图像的特征。

在本实施例的一些可选实现方式中，提取单元402进一步配置用于：提取当前时刻采集到的环境图像的特征图；将特征图转换为一维特征向量。

在本实施例的一些可选实现方式中，匹配单元403进一步配置用于：将当前采样时刻采集到的环境图像的特征和预先训练的长短期记忆网络上一时刻输出的输出特征向量输入长短期记忆网络，得到当前时刻的输出特征向量；使用预先训练的全连接层对当前时刻的输出特征向量进行处理，根据处理结果从预设的多个驾驶指令中选取与当前采样时刻匹配的驾驶指令。

在本实施例的一些可选实现方式中，匹配单元403进一步配置用于：对于多个驾驶指令中的每一个驾驶指令，执行如下驾驶指令值计算操作：计算当前时刻的输出特征向量中各元素数值与各元素分别对应的预设权值乘积的累加和；将累加和与该驾驶指令对应的预设偏置参数之和作为该驾驶指令对应的驾驶指令值；选取驾驶指令值最大的驾驶指令作为当前采样时刻匹配的驾驶指令。

下面参考图5，其示出了适于用来实现本申请实施例的驾驶控制设备的计算机系统500的结构示意图。图5示出的控制设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(cpu，centralprocessingunit)501，其可以根据存储在只读存储器(rom，readonlymemory)502中的程序或者从存储部分506加载到随机访问存储器(ram，randomaccessmemory)503中的程序而执行各种适当的动作和处理。在ram503中，还存储有系统500操作所需的各种程序和数据。cpu501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o，input/output)接口505也连接至总线504。

以下部件连接至i/o接口505：包括硬盘等的存储部分506；以及包括诸如lan(局域网，localareanetwork)卡、调制解调器等的网络接口卡的通信部分507。通信部分507经由诸如因特网的网络执行通信处理。驱动器508也根据需要连接至i/o接口505。可拆卸介质509，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器508上，以便于从其上读出的计算机程序根据需要被安装入存储部分506。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分507从网络上被下载和安装，和/或从可拆卸介质509被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、提取单元和匹配单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“用于获取当前采样时刻采集到的环境图像的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取当前采样时刻采集到的环境图像；提取当前采样时刻采集到的环境图像的特征；基于当前采样时刻采集到的环境图像的特征以及历史采样时刻采集到的环境图像的特征从预设的多个驾驶指令中选取与当前采样时刻匹配的驾驶指令。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。