车辆路径预测的制作方法
本公开总体上涉及车辆传感器和车辆导航。
背景技术：
车辆可以被装配为在自主模式和乘员驾驶模式两者下操作。车辆可以配备有计算装置、网络、传感器和控制器以获取关于车辆环境的信息并且基于所述信息来操作车辆。车辆的安全且舒适的操作可取决于获取关于车辆的环境的准确且及时的信息。车辆传感器可以提供关于在车辆环境中要行驶的路线和要避开的对象的数据。车辆的安全和有效的操作可以取决于当车辆在道路上操作时获取关于在车辆环境中的路线和对象的准确和及时的信息。
技术实现要素：
车辆可以被配备成以自主模式和乘员驾驶模式两者操作。就半自主或完全自主模式而言，意指其中车辆可以由计算装置部分或完全进行驾驶的操作模式，所述计算装置作为具有传感器和控制器的信息系统的一部分。车辆可以被乘坐或者未被乘坐，但在任一情况下，可以在没有乘员辅助的情况下部分或完全地驾驶车辆。出于本公开的目的，自主模式被定义为其中车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式中，一个或多个车辆计算机控制车辆推进、制动和转向中的一者或两者。在非自主车辆中，这些都不由计算机控制。
车辆中的计算装置可以被编程为从车辆传感器获取关于车辆的外部环境的数据并使用所述数据来确定车辆路径以在所述车辆路径上以自主或半自主模式操作车辆。基于车辆路径通过确定命令以引导车辆的动力传动系统、制动和转向部件操作车辆以沿着所述路径行驶，车辆可以在道路上操作。关于外部环境的数据可以包括车辆周围环境中的一个或多个移动对象(诸如车辆和行人等)的位置，并且可以与地图数据一起由车辆中的计算装置用于操作车辆，所述地图数据例如存储在所述计算装置所包括的存储器中或从基于云的服务器计算机下载。
基于静止和移动对象数据来操作车辆可以包括确定避免与静止和移动对象碰撞或接近碰撞的车辆路径。静止和移动对象是存在于车辆的外部环境中的所述车辆应避免与其碰撞或接近碰撞的物理实体。静止和移动对象可以包括车辆、行人、自行车等。预测包括静止和移动对象的未来位置的移动对象的路径可以允许计算装置确定避免与移动对象碰撞或接近碰撞的车辆路径。本文中讨论的技术可以通过允许车辆中所包括的神经网络预测(包括当要避开的对象当前对于车辆的传感器不可见时)移动对象的路径来改善车辆操作。例如，行人可能从车辆的传感器中完全遮挡或部分遮挡。其他车辆将避免与遮挡或部分遮挡的对象碰撞或接近碰撞，并且可以主动修改其运动计划。例如，这可以包括转向角、制动或加速度的改变。用于移动对象的路径预测可以是基于使用生成查询网络(gqn)处理所下载的车辆数据，以从与其他车辆或传感器相对应的视角生成图像和其他传感器数据。gqn是深度神经网络架构，其可以进行训练，以从先前看不见的视角输出场景的预测图像和传感器数据。该视图可以是基于从行人、骑自行车的人、车辆等的角度。可以处理来自gqn的输出预测图像和传感器数据，以预测其他移动对象(例如另一辆汽车)的运动计划。可以使用的算法是强化学习深度神经网络(rldnn)，以对移动对象进行识别、分类和定位。rldnn可以包含移动对象(例如另一辆车)的视野。例如，另一车辆可能具有其自身的被遮挡视野，使得移动对象被部分地或完全地遮挡在其视野之外。在这种情况下，车辆将选择不包含此类信息的运动计划。
本文中公开了一种方法，其包括：将经由车辆对车辆(v2v)和车辆对基础设施(v2i)网络中的一个或多个所接收的第二车辆传感器数据输入到被训练为生成第二车辆视角数据的生成查询神经网络(gqn)中；以及使用增强学习深度神经网络(rldnn)基于所述第二车辆视角数据预测第二车辆的路径。可以从应用于rldnn的贝叶斯框架和第一车辆路径获得预测的第二车辆路径的置信度，并且基于预测的第二车辆路径和所述置信度确定第一车辆路径。高清晰度(hd)地图数据可以从基于云的基于的交通基础设施系统v2i网络被下载。通过基于第二车辆的位置和视野将第二车辆视角数据投影到hd地图数据上，可以将hd地图数据与第二车辆视角融合。可以使用rldnn处理第二车辆传感器数据，以检测第二车辆视角数据中的移动对象。
由交通基础设施摄像机获取的传感器数据可以包括在第二车辆视角数据中。可以基于以下各项中的一个或多个来预测第二车辆的路径：从第二车辆接收车辆传感器数据，以及基于使用第二rldnn处理第二车辆的观察结果来确定路径数据。贝叶斯框架可以基于根据先前的输出预测准确度的观察结果而确定的预测准确度来确定所述置信度。可以将第二车辆视角数据与第二车辆传感器数据进行比较以确定第二车辆传感器数据的准确度。基于所述预测的第二车辆路径以及所述置信度来确定第一车辆路径可包括避免碰撞和接近碰撞。可以通过控制车辆的动力传动系统、转向和制动基于第一车辆路径来操作第一车辆。可以基于摄像机的位置和视野来确定全局坐标。可以在交通信息系统中所包括的服务器计算机处确定预测的车辆路径。预测的车辆路径可以从服务器计算机下载到车辆。
还公开了计算机可读介质，其存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了被编程用于执行上述方法步骤中的一些或全部的计算机，其包括计算机设备，所述计算机设备被编程为：将经由车辆对车辆(v2v)和车辆对基础设施(v2i)网络中的一个或多个所接收的第二车辆传感器数据输入到被训练为生成第二车辆视角数据的生成查询神经网络(gqn)中；以及使用增强学习深度神经网络(rldnn)基于所述第二车辆视角数据预测第二车辆的路径。可以从应用于rldnn的贝叶斯框架和第一车辆路径获得预测的第二车辆路径的置信度，并且基于预测的第二车辆路径和所述置信度确定第一车辆路径。高清晰度(hd)地图数据可以从基于云的基于的交通基础设施系统v2i网络被下载。通过基于第二车辆的位置和视野将第二车辆视角数据投影到hd地图数据上，可以将hd地图数据与第二车辆视角融合。可以使用rldnn处理第二车辆传感器数据，以检测第二车辆视角数据中的移动对象。
所述计算机设备还可以被编程为将由交通基础设施摄像机获取的传感器数据包括在第二车辆视角数据中。可以基于以下各项中的一个或多个来预测第二车辆的路径：从第二车辆接收车辆传感器数据，以及基于使用第二rldnn处理第二车辆的观察结果来确定路径数据。贝叶斯框架可以基于根据先前的输出预测准确度的观察结果而确定的预测准确度来确定所述置信度。可以将第二车辆视角数据与第二车辆传感器数据进行比较以确定第二车辆传感器数据的准确度。基于所述预测的第二车辆路径以及所述置信度来确定第一车辆路径可包括避免碰撞和接近碰撞。可以通过控制车辆的动力传动系统、转向和制动基于第一车辆路径来操作第一车辆。可以基于摄像机的位置和视野来确定全局坐标。可以在交通信息系统中所包括的服务器计算机处确定预测的车辆路径。预测的车辆路径可以从服务器计算机下载到车辆。
附图说明
图1是示例交通基础设施系统的框图。
图2是交通场景的示例图像的图示。
图3是示例高清(hd)交通图的图示。
图4是示例生成查询网络(gqn)的图示。
图5是示例三维(3d)场景的图示。
图6是3d场景的三个示例图像的图示。
图7是基于预测的第二车辆路径来确定第一车辆路径的过程的流程图。
具体实施方式
图1是交通基础设施系统100的图，所述交通基础设施系统100包括可以自主(“自主”本身在本公开中意指“完全自主”)模式、半自主模式和乘员驾驶(也称为非自主)模式操作的车辆110。一个或多个车辆110计算装置115可以从传感器116接收关于车辆110操作的信息。计算装置115可以以自主模式、半自主模式或非自主模式来操作车辆110。
计算装置115包括诸如已知的处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质，并存储有指令，所述指令可由处理器执行以用于执行各种操作，包括如本文所公开的。例如，计算装置115可以包括编程以操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、车门、分流器、扩散器、扰流板、内部灯和/或外部灯等中的一项或多项，以及确定计算装置115(而不是操作人员)是否以及何时控制此类操作。
计算装置115可以包括一个以上计算装置(例如，包括在车辆110中以用于监测和/或控制各种车辆部件的控制器(例如，动力传动系统控制器112、制动控制器113、转向控制器114等)，或例如经由如下文进一步描述的车辆通信总线耦合到一个以上计算装置。计算装置115一般被布置用于在车辆通信网络(例如，包括车辆110中的总线，诸如控制器局域网(can)等)上通信；车辆110网络可以另外或替代地包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
计算装置115可以经由车辆网络向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。替代地或另外，在计算装置115实际上包括多个装置的情况下，车辆通信网络可用于在本公开中表示为计算装置115的装置之间的通信。此外，如下面所提及，各种控制器或感测元件(诸如传感器116)可经由车辆通信网络向计算装置115提供数据。
另外，计算装置115可以被配置用于经由网络130通过车辆对基础设施(v2i)接口111与远程服务器计算机120(例如，云服务器)进行通信，如下所述，该接口包括允许计算装置115经由诸如无线互联网(wi-fi)或蜂窝网络的网络130与远程服务器计算机120通信的硬件、固件和软件。因此，v2i接口111可包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝网络、
如已经提及的，用于在没有人类操作员干预的情况下操作一个或多个车辆110部件(例如，制动、转向、推进等)的编程通常包括在存储器中所存储的并可由计算装置115的处理器执行的指令中。使用在计算装置115中接收的数据(例如，来自传感器116、服务器计算机120等的传感器数据)，计算装置115可在没有驾驶员的情况下作出各种确定和/或控制各种车辆110部件和/或操作以操作车辆110。例如，计算装置115可包括编程来调节车辆110的操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略行为(即，通常以预期实现路线的安全且有效的行驶的方式控制操作行为)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转跨过路径最小值、路径计划、在特定位置处的到达时间和为了通过十字路口的十字路口(无信号灯)最小到达时间。
控制器(如所述术语在本文中所使用的那样)包括通常被编程为控制特定车辆子系统的计算装置。示例包括动力传动系统控制器112、制动控制器113和转向控制器114。控制器可以是诸如已知的电子控制单元(ecu)，可能包括如本文所描述的另外的编程。控制器可通信地连接到计算装置115并从所述计算装置115接收指令以根据指令致动子系统。例如，制动控制器113可从计算装置115接收指令以操作车辆110的制动器。
用于车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ecu)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一个可包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可被编程并且可连接到车辆110通信总线(诸如控制器局域网络(can)总线或局域互连网络(lin)总线)以从计算机115接收指令并且基于指令来控制致动器。
传感器116可以包括已知的各种装置以经由车辆通信总线提供数据。例如，固定到车辆110的前保险杠(未示出)的雷达可提供从车辆110到车辆110前方的下一车辆的距离，或者设置在车辆110中的全球定位系统(gps)传感器可提供车辆110的地理坐标。由雷达和/或其他传感器116提供的一个或多个距离和/或由gps传感器提供的地理坐标可由计算装置115用来例如自主地或半自主地操作车辆110。
车辆110通常是能够自主和/或半自主操作并且具有三个或更多个车轮的基于地面的车辆110(例如，客车、轻型载货汽车等)。车辆110包括一个或多个传感器116、v2i接口111、计算装置115和一个或多个控制器112、113、114。传感器116可收集与车辆110和车辆110的操作环境相关的数据。以举例的方式但非限制，传感器116可以包括例如测高仪、相机、激光雷达(lidar)、雷达、超声传感器、红外传感器、压力传感器、传声器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可以用于感测车辆110的操作环境，例如，传感器116可以检测诸如天气条件(降雨、外界温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如相邻车辆110)的位置。传感器116还可用于收集数据，包括与车辆110的操作相关的动态车辆110数据(诸如速度、横摆率、转向角度、发动机转速、制动压力、油压力、施加到车辆110中的控制器112、113、114的功率水平、部件之间的连接性以及车辆110的部件的准确且及时的性能)。
图2是交通场景的示例性图像200的图示。图像200是以黑白呈现的红-绿-蓝(rgb)彩色图像，以符合专利局规定。例如，图像200可以由包括在车辆110中的视频传感器116获取。图像200包括具有交叉路口204的道路202、具有车道标志和路缘等的交通标志206、交通信号208、210、212和其他车辆214、216、218、220。车辆110中的计算装置115可以处理图像200以尝试确定其他车辆214、216、218、220的未来可能路径。计算装置115可以使用其他车辆214、216、218、220的所确定的未来可能路径来确定车辆110行驶的车辆路径，该车辆路径安全地避免与其他车辆214、216、218、220碰撞或接近碰撞。安全地避免碰撞或接近碰撞被定义为避免用户定义的横向和纵向加速度限制，同时避免用户定义的车辆之间距离限制。
计算装置115可以使用卷积神经网络(cnn)处理图像200，例如，以确定对交通标志206、交通信号208、210、212和其他车辆214、216、218、220进行识别、分类和定位的输出数据。车辆的识别包括确定图像200中的像素的连接区域并将该像素区域标记为车辆。车辆的分类包括确定所识别的对象属于有限数量的类别中的哪个类别。另外，可以基于应用于cnn的贝叶斯框架来确定分类正确的置信度。车辆的位置包括确定对应于车辆的像素的连接区域的最小封闭矩形。像素坐标中的位置可以基于获取图像200的视频传感器的位置和方向及视野的放大倍数以及关于与道路202平行且一致的二维(2d)平面的位置的数据而转换为全局坐标。例如，可以基于包括gps和惯性测量单元(imu)的传感器116的数据来确定该道路202的位置数据。
处理图像200以产生对象数据的cnn包括多个卷积层和多个全连接层，所述层处理图像200以输出包括对象身份、类别和位置的对象数据。对象身份确定图像中的像素的连接区域对应于移动对象。对象类别确定了有限数量的类别标签中的哪个标签可以应用于所识别的对象，其中类别标签包括车辆、行人、自行车等。对象位置是对应于移动对象的像素的连接区域的最小封闭矩形的位置和大小，以像素坐标表示。可以基于地面实况数据训练深度神经网络，其中将反向传播的对象数据与独立于cnn获得的对象数据进行比较。例如，可以基于应用于图像200数据的像素的测量值通过用户输入来确定图像200数据中的对象的身份和位置数据。在训练时，输出对象数据可以反向传播以与地面实况对象数据进行比较，以基于奖励函数确定奖励，该奖励函数可以与图像200一起输入到dnn，以训练cnn对对象进行识别、分类和定位。
可以将cnn封装在贝叶斯框架中，该贝叶斯框架基于先前观察到的输出对象数据的预测准确度来确定与输出对象数据的预测准确度相对应的概率。贝叶斯框架记录输出的对象数据，并通过跟踪先前观察到的对象数据来确定cnn准确预测对象数据的概率。贝叶斯推理基于条件概率，即事件的概率，来计算概率，即网络预测的置信度，其中例如在假定另一个独立事件已发生的情况下确定事件的概率。贝叶斯框架可以确定以先前的预测准确度的观察结果为条件的cnn的预测准确度。贝叶斯推理在cnn处理中的应用通过基于历史对象数据输出确定与cnn的输出相对应的预测准确度来改善cnn处理。例如，计算装置115可以使用预测准确度来确定置信度值以应用于cnn的输出来预测车辆214、216、218、220、222中的一个或多个的未来位置。可以通过基于用户确定值对预测准确度值进行阈值确定来确定置信度值。例如，大于0.7的预测准确度值可以归类为“高”置信度，而小于0.5的预测准确度值可以归类为“低”置信度。
可以由贝叶斯框架中的cnn确定在图像200中可见的作为具有完整、不间断轮廓的对象的车辆214、216的未来位置的预测。贝叶斯框架中的神经网络一般无法确定仅作为部分轮廓可见的车辆218、220、222的未来位置的预测，该神经网络处理从车辆110中所包括的视频传感器获取的图像200。为了允许计算装置115预测部分可见的车辆218、220、222的未来位置，计算装置115可以例如从包括在其他车辆214、216、218、220、222或222中的其他传感器或包括在交通基础设施系统100中的固定相机获取关于车辆218、220、222的数据。数据可以包括前视、侧视或后视视频传感器数据以及其他传感器类型和位置，例如前激光雷达或雷达或者后激光雷达或雷达，以及与位置、方向和运动相对应的gps和惯性测量单元(imu)数据。来自其他车辆(v2v)和交通基础设施系统100(v2i)(合起来是v2x)的传感器数据可以与从传感器116获得的对象数据进行融合，以提供交通场景200的更完整视图。传感器融合可以在高清(hd)地图中示出，该地图结合了来自车辆110传感器的数据和v2x数据，其可以包括来自交通基础设施系统100的hd地图数据，或来自其他车辆的传感器数据。
图3是高清晰度(hd)地图300的图示。hd地图300是类似于googletm地图的地理区域的地图。hd地图可以经由v2i网络从基于云的交通基础设施系统100(例如从服务器计算机120)下载。hd地图300可以不同于提供给人类用户观看的地图(例如google地图)，因为hd地图在x和y方向上的分辨率可以小于10厘米(cm)。可能需要单位数厘米范围的分辨率以在道路202上操作车辆110。可能需要单位数厘米的分辨率才能足够准确地定位车辆以允许在道路上操作。例如，车道标记的宽度可以小于10厘米。分辨率小于10厘米的地图可能会完全错过车道标记。hd地图300可以由计算装置115使用来融合v2x数据与来自处理图像200数据的数据。hd地图300包括道路302(包括交叉路口304)和交通边界306(包括路缘和车道标记)、车辆110、对应于来自图像200的车辆214、216、218、220、222的车辆314、316、318、320、322(统称为车辆326)，以及对应于来自图像200的交通信号208、310、312的交通信号308、310、312。hd地图300还包括在由交通基础设施系统100或另一车辆传感器数据提供的图像200中不可见的交通信号314。附在每个车辆326上的成对的虚线示出了在每个车辆326中所包括的传感器的前视视野的轮廓。hd地图300还包括可以与交通基础设施系统100通信的固定摄像机324，以获取交通场景的视频数据，以由交通基础设施系统100使用本文中所描述的技术来进一步处理以检测移动对象。
hd地图300可以包括关于由车辆110在道路202上操作时获取的诸如建筑物、交通信号和交通标志等的静止或固定对象的数据。随着路线的重复，车辆110可以沿途获取关于对象的信息。其他车辆也可以获取关于沿着道路202的对象的数据，并将该数据上传到交通基础设施系统100的服务器计算机120。车辆110可以例如基于预期路线从服务器计算机120下载hd地图300的数据，或者hd地图300的数据可以被预加载并存储在计算装置115中所包括的非易失性存储器中。在hd地图300中融合来自多个源的数据可以通过提供数据冗余来验证数据的准确度。交通基础设施系统100的服务器计算机120可以处理对象位置的多个测量，以确保多个测量一致作为冗余检查。
可以在hd地图300中识别环境中表现出动态行为的移动对象，这帮助识别车辆110周围的潜在危险。例如，在车辆旁边行进的骑自行车的人、主车辆前方的其他车辆、穿过道路的行人和在人行道上行走的行人都是潜在的危险点，应预测其未来的路径以安全地避免碰撞或接近碰撞。安全地避免碰撞被定义为避免用户定义的接触限制，同时避免用户定义的横向和纵向加速度限制。交通基础设施系统可以包括连续记录道路202的固定相机。主车辆可能潜在地包括经由诸如“物联网”的网络与静止对象(如广播或传输一个或多个位置的建筑物)进行v2x数据交换，以帮助填充hd地图300。
可以基于如已知的用于检测道路上的对象的机器视觉技术和用于确定连续图像帧中位置和距离的变化的跟踪算法来执行将静止和动态对象添加到hd地图300的操作。例如，贝叶斯框架中的cnn可以在如上文关于图2讨论的视野中检测和定位对象，诸如车辆、行人、自行车等，并且可以使用对象数据来预测移动对象的未来位置。本文中描述的技术可以使用gqn系统来投影由车辆110感测和接收的传感器数据，以生成场景表示或图像。gqn可以根据该场景表示将传感器数据投影到移动参与者的角度上，所述移动参与者诸如骑自行车的人、行人、另一辆车(包括不具有通过v2v通信共享图像数据的能力的那些车辆)，以及其他移动参与者。
图4是可以被训练为生成3d场景的视图的gqn400的图示。gqn400是神经网络架构，在该神经网络架构中，当车辆110的传感器116、基础设施传感器或其他车辆传感器在不同交通场景周围移动时，gqn可以被训练为利用对由这些传感器获得的数据的训练来感知周围环境。另外，hd地图数据(例如图像)也可以用作进入该网络的训练数据。类似地，在预测期间，这些输入可以用于创建用于gqn预测的场景表示。这个训练数据的收集过程可以通过使用v2x通信而得到帮助。此外，使用无人机来收集道路或地面限制之外的附加视角可以用于改善任意视角(例如鸟瞰角度)的网络预测。训练gqn不需要人工标记，例如类似于神经网络自动编码器。gqn由表示网络402和生成网络404组成。表示网络402是深度卷积神经网络，其输入来自车辆110上的传感器116的训练数据并生成车辆110周围交通场景的表示向量412。来自多个传感器(包括多种类型的传感器)的数据可以融合为单个表示。表示网络402可以用比地图数据或图像数据所需的更少的数据比特来捕获描述交通场景的数据，从而执行数据压缩。在表示向量412中捕获的数据包括车辆110周围道路的位置、静止和动态对象的相对位置、声音、深度图、速度等，以及各种对象(包括车辆、行人等)的色彩、特定图案和特征。
表示网络402包括层406、408、412，这些层可以包括可以被训练为生成表示向量412的多个卷积层和全连接层。另外，网络可以诸如通过使用循环层(例如，长短期存储器(lstm)神经网络层)来并入时间序列数据。表示向量412可以与查询414一起输入到生成网络404。查询414是对特定传感器的位置、模式(即，视频、激光雷达、红外等)、视野和方向的描述。生成网络404是深度卷积神经网络，其包括层416、418、420，层416、418、420包括将表示向量412和查询414相结合以确定输出预测图像422的多个全连接层和卷积层。gqn400可以通过在道路上操作车辆110或下载gqn400来训练，该gqn400是通过训练道路上的多个车辆并将得到的训练数据从多个车辆上传到交通基础设施系统100中的服务器计算机120而训练的。以这种方式训练gqn400将允许车辆110中的计算装置115在变化的道路交通场景中预测其他附近车辆的传感器数据。
生成网络404可以输出车辆视角数据作为预测图像422，该预测图像是从第二车辆观察到但未被车辆110观察到的视角的交通场景的图像。来自网络的附加输出包括来自其他传感器模式的数据，诸如雷达图，激光雷达点云等。采用哪种传感器模式输出可以取决于对包括来自路径预测算法(例如cnn)的输出的另一车辆的驾驶模式的确定。例如，未观察到的车辆视角数据可以是来自车辆110前方或附近的第二车辆的视角。未观察到的视角对应于如通过另一车辆的传感器看到的数据，包括另一辆车辆的传感器的视野中的交通场景。生成网络404可以生成现实图像，而无需事先指定透视法则、遮挡法则或照明法则。来自生成网络404的输出预测图像422可以如上文关于图2所描述进行处理，以对移动对象进行识别、分类和定位(包括预测未来对象位置)，从而确定在其上操作车辆110的车辆路径。图5和图6在使用人工3d环境的示例中示出了gqn400处理。
输出预测图像422还可以用于对对象进行分类或执行其他感知任务，其中车辆的和/或其他车辆的传感器被部分或完全遮挡。在遮挡区域中，对象可能被完全或部分隐藏。车辆可以使用来自另一图像角度(例如，俯视角度或hd地图300的数据)的输出预测图像来获得改善的情景感知。通过这样的过程，可以改善车辆自身对驾驶场景的理解，并且车辆可以修改其路径计划，而与驾驶场景中的附加车辆无关。
输出预测图像422可以包括图像数据，该图像数据然后可以通过附加算法例如cnn来标记。与所包括对象的身份、类别和位置相对应的数据。对象标签可以包括例如到对象的距离和相对对象速度。输出预测图像422可以由计算装置115用作如上文关于图2所讨论的车辆路径预测神经网络的输入，以及用作确定对应于车辆110周围的每个另一车辆的自主水平(非自主、半自主或完全自主)的过程的输入。确定其他车辆的自主性水平的过程可以依靠用于一些车辆的v2v通信；然而，交通场景可以包括具有许多不同水平的v2v通信能力(包括无v2v通信)的车辆。自主水平有时可以通过观察到的车辆照明方案来推断，其中例如将图案编码在由自主操作的车辆发射的光中，或者通过观察车辆传感器方案来推断，其中激光雷达以及多个视频和雷达传感器可以对应于自主操作。除了可以包括位置、速度、边界框等的其他数据之外，自主操作的激活和类型也可以经由v2x通信进行传送。非自主操作有时可以基于观察车辆的驾驶行为来确定。例如，可以预测进行车道变换而没有发信号或过度切入通过交通的车辆具有激活自主模式的低置信度。
gqn400的输出可以用于验证经由v2x网络接收的车辆传感器数据的准确度。利用v2x数据，有可能恶意参与者可以通过意图或通过错误来传输欺诈数据。在这种情况下，可以对经由v2x提供的视角数据和由gqn400确定的视角数据进行比较以验证车辆传感器的准确度。贝叶斯框架可以被应用来解释gqn400预测图像422的置信度。针对给定的车辆传感器数据生成的预测图像422应具有高的预测准确度，即，例如预测图像422应与从车辆传感器接收的图像基本匹配。在其他示例中，来自gqn400的输出可以单独用于预测目标车辆的视角。在某些示例中，目标车辆可能没有v2v能力。在其他示例中，对象类别也将没有v2v能力，诸如行人、骑自行车的人等。在这种情况下，可以单独使用gqn400预测图像422。如上文关于图2所讨论的，可以将贝叶斯框架与gqn400一起应用，以通过确定以先前预测图像422的观察到的概率为条件的当前预测图像422的预测准确度来确定gqn400预测图像422中的置信度，其中预测准确度基于先前的输出预测图像422来测量输出预测图像422和预期预测图像422之间的差异。
除了路径预测外，还可以利用包括与来自gqn400的预测图像422结合的经由v2v的车辆传感器数据的视角来使用强化学习深度神经网络。强化学习神经网络基于反向传播的结果计算奖励函数，以在奖励函数可以基于一系列输入和动作的示例中训练深度神经网络。例如，通过假定底层模型是马尔可夫决策过程，可以使用动态编程技术来确定奖励函数。马尔可夫决策过程是处理技术，其中与当前事件相对应的概率仅基于与一个或多个紧接先前事件相对应的概率。在场景中有或没有3d深度信息的情况下，此视角可能都是完全可视的。过去的车辆轨迹可以包括在输入中。在一些示例中，包括其他传感器信息(例如，超声、雷达、激光雷达、音频等)来预测车辆110的人为或自动控制的运动计划，可能是适当的。附加输入可以包括来自交通基础设施系统100的数据。可以基于车辆类型(汽车、卡车、自行车、摩托车等)来训练cnn。进一步的训练可以在非自主驾驶、半自主驾驶和完全自主驾驶之间进行区分。一种选择驾驶员模型的子类别(例如，进取的驾驶员与过分谨慎的驾驶员)的技术可以是使在车辆110的视线或v2x范围内跟踪另一车辆时在路径预测和该另一车辆的来自最新历史数据的观察到的实际路径之间的误差最小化。其他输入可以用于帮助cnn网络，诸如观察到的车辆制动和转弯信号。cnn的输出是目标车辆的未来路径和预测的加速/制动。
cnn还可以被配置用于强化学习。强化学习是处理奖励函数的技术，其可能需要多个步骤来确定初始奖励值。例如，基于移动对象相对于车辆110的预测位置的初始奖励值可以取决于在未来时间步长所评估的奖励函数，该未来时间步长取决于移动对象在哪里结束。这种方法通常与模仿学习相结合，使得奖励函数使在神经网络的输出和期望模仿的某个输出之间的损失最小化。在这种情况下，希望在给定某个输入(例如，来自另一辆车中驾驶员的角度的图像)的情况下模仿人类驾驶员的驾驶行为。动态编程技术可以应用于神经网络处理，以形成强化学习深度神经网络，其可以例如以迭代方式评估多步奖励函数以基于奖励函数的未来值确定初始奖励。
贝叶斯框架可以应用于rldnn，既可以确定生成的投影的传感器数据的预测准确度，也可以确定强化学习对另一车辆未来动作的置信度。应用贝叶斯框架将生成总体预测置信度，并且允许预测可能的但不太可能的其他路径预测。包括通过贝叶斯框架确定的置信区间的目标车辆的未来路径和预测的加速/制动可以用于确定避免车辆110的碰撞和接近碰撞的车辆路径。例如，当确定车辆路径时，仅可以考虑具有“高”置信度的碰撞和接近碰撞路径。
在某些示例中，v2x数据和gqn400预测图像422可以被组合。例如，车辆可能缺少作为路径预测神经网络的输入所需的侧视相机。在该示例中，侧视图像的gqn400预测图像422可以与v2x数据结合。另外，v2x数据可以用作自身目标车辆110的gqn400的输入或与主车辆相比从目标车辆成像更好的另一车辆的视角预测。经验证的v2x数据包括车辆数据和交通基础设施系统100数据，可以用于改善用于预测第三车辆或移动对象的视角的场景表示输出。在另一个示例中，gqn网络可以用于创建车辆的等距或俯视透视图，以用于环视成像。鉴于gqn网络能够从任意角度生成图像，并且能够通过贝叶斯框架理解预测的置信度，因此用户可能能够在网络的置信度高于某个角度的情况下任意滚动、平移和倾斜视图。
图5是三维(3d)场景500的图示。3d场景500从俯视角度示出并且包括地板502和四个壁504、506、508、510。3d场景500中包括三个3d形状、一个立方体512、一个四面体514和一个球体516。3d场景中还包括三个相机，即第一位置处的第一相机518、第二位置处的第二相机520和第三位置处的第三相机522。每个相机518、520、522具有指向由虚线示出的方向的视野。相机518、520、522每个都可以获取从每个相机位置在它们各自的视野方向上观察到的3d场景500的一部分的图像。
图6是由相机518、520、522获取的3d场景500的三个图像600的图示。由第一相机518获取第一图像602，由第二相机520获取第二图像606，并且由第三相机522获取第三图像606。每个图像602、606、606包括3d场景500的不同部分，这取决于各个相机518、520、522相对于3d场景500的视野的位置和方向。上文关于图4描述的技术可以使用图像602和604来训练gqn400，以获取相对于3d场景500的输入位置和方向，并且可以生成与先前(由gqn400)看不到的视图相对应的图像。例如，响应于包括与第三相机522相对应的位置和方向的查询，尽管在训练期间没有看到第三图像604，但是训练后的gqn400可以输出与第三图像604匹配的图像。
图7是用于预测第二车辆路径并基于该第二车辆路径确定第一车辆路径的过程700的关于图1至图6描述的流程图的图示。过程700可以由计算装置115的处理器来实施，例如将来自传感器的信息作为输入，以及执行命令，以及将对象跟踪信息发送到车辆110。过程700包括以所公开的顺序进行的多个框。过程700可以替代地或另外包括更少的框，或者可包括以不同顺序进行的框。
过程700开始于框702，其中车辆110中的计算装置115接收包括来自第二车辆的传感器数据的v2x数据。传感器数据可以经由v2v网络从第二车辆接收或经由v2i网络从交通基础设施系统100接收。
在框704处，计算装置115通过输入来自车辆110的传感器116的图像数据来训练生成查询网络(gqn)。如上文关于图4所讨论的，还可以通过从交通基础设施系统100下载训练数据来训练gqn。
在框706处，计算装置115通过将所接收的第二车辆传感器数据输入到训练后的gqn并输出如上文关于图4所讨论的预测图像来生成第二车辆视角。gqn可以包括贝叶斯框架，该贝叶斯框架输出预测准确度，该预测准确度可以被处理来形成置信度。
在框708处，计算装置115可以基于由gqn输出的包括基于如上文关于图4所讨论的预测准确度的置信度的预测图像来预测第二车辆的第二车辆路径。
在框710处，计算装置115可以基于预测的第二车辆路径来确定第一车辆的车辆路径。计算装置115可以在车辆路径确定中通过置信度进行筛选，仅考虑具有“高”置信度的预测的第二车辆路径，如上文关于图2、图3和图4所讨论的。在框710之后，过程700结束。
诸如本文讨论的那些的计算装置一般各自包括命令，所述命令可由诸如上文所述的那些的一个或多个计算装置执行并用于执行上文所述过程的框或步骤。例如，上文讨论的过程框可以被体现为计算机可执行命令。
计算机可执行命令可以由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于：javatm、c、c++、python、julia、scala、visualbasic、javascript、perl、html等。一般来说，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行一个或多个过程，包括本文所述的过程中的一个或多个。这类命令和其他数据可以存储在文件中并使用各种计算机可读介质进行传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
计算机可读介质包括参与提供可以由计算机读取的数据(例如，命令)的任何介质。这种介质可采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(dram)。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、cd-rom、dvd、激光盘、任何其他光学介质、穿孔卡片、纸带、任何其他具有孔图案的物理介质、ram、prom、eprom、快闪eeprom、任何其他存储器芯片或盒式磁带，或计算机可以从中读取的任何其他介质。
除非本文作出相反的明确指示，否则权利要求中使用的所有术语旨在给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一/一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。
术语“示例性”在本文中以表示示例的意义使用，例如，对“示例性小部件”的引用应被解读为仅指代小部件的示例。
修饰值或结果的副词“约”是指形状、结构、测量、值、确定、计算结果等可以因材料、加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷而与确切描述的几何结构、距离、测量、值、确定、计算结果等有偏差。
在附图中，相同的附图标记指示相同的元件。此外，可改变这些元件中的一些或全部。关于本文所描述的介质、过程、系统、方法等，应理解，虽然此类过程等的步骤或框已被描述为按照特定顺序的序列发生，但是此类过程可通过以本文所描述的顺序以外的顺序执行的所描述步骤来实践。还应理解，可同时执行某些步骤、可添加其他步骤，或者可省略本文所述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例的目的而提供的，并且绝不应被解释为限制所要求保护的发明。
根据本发明，提供了一种计算机，其具有：处理器；以及存储器，所述存储器包括指令，所述指令将由所述处理器执行以：将经由车辆对车辆(v2v)和车辆对基础设施(v2i)网络中的一个或多个接收的第二车辆传感器数据输入到被训练为生成第二车辆视角数据的生成查询神经网络(gqn)中；利用卷积神经网络(cnn)基于所述第二车辆视角数据预测第二车辆的路径；从应用于所述cnn的贝叶斯框架获得所述预测的第二车辆路径的置信度；以及基于所述预测的第二车辆路径和所述置信度来确定第一车辆路径。
根据一个实施例，本发明的特征还在于，用于经由v2i网络从基于云的交通基础设施系统下载高清晰度(hd)地图数据的指令。
根据一个实施例，所述指令还包括用于通过基于所述第二车辆的位置和视野将第二车辆视角数据投影到所述hd地图数据上来将所述hd地图数据与所述第二车辆视角数据融合的指令。
根据一个实施例，本发明的特征还在于，用于用cnn处理第二车辆视角数据以检测所述第二车辆视角数据中的移动对象的指令。
根据一个实施例，本发明的特征还在于，用于将由交通基础设施摄像机获取的传感器数据包括在第二车辆视角数据中的指令。
根据一个实施例，本发明的特征还在于，用于基于以下各项中的一个或多个来预测所述第二车辆的所述路径的指令：从所述第二车辆接收车辆传感器数据，以及基于使用第二cnn处理所述第二车辆的观察结果来确定路径数据。
根据一个实施例，贝叶斯框架基于以先前的输出预测准确度的观察结果为条件的预测准确度来确定所述置信度。
根据一个实施例，本发明的特征还在于，用于将所述第二车辆视角数据与所述第二车辆传感器数据进行比较以确定第二车辆传感器数据的准确度的指令。
根据一个实施例，基于所述预测的第二车辆路径以及所述置信度来确定所述第一车辆路径包括避免碰撞和接近碰撞。
根据一个实施例，本发明的特征还在于，用于通过控制车辆动力传动系统、转向和制动基于所述第一车辆路径来操作所述第一车辆的指令。
根据本发明，提供了一种方法，其具有：将经由车辆对车辆(v2v)和车辆对基础设施(v2i)网络中的一个或多个接收的第二车辆传感器数据输入到被训练为生成第二车辆视角数据的生成查询神经网络(gqn)中；利用强化学习深度神经网络(cnn)基于所述第二车辆视角数据预测第二车辆的路径；从应用于所述cnn的贝叶斯框架获得所述预测的第二车辆路径的置信度；以及基于所述预测的第二车辆路径和所述置信度来确定第一车辆路径。
根据一个实施例，本发明的特征还在于，经由v2i网络从基于云的交通基础设施系统下载高清晰度(hd)地图数据。
根据一个实施例，本发明的特征还在于，通过基于所述第二车辆的位置和视野将第二车辆视角数据投影到所述hd地图数据上来将所述hd地图数据与所述第二车辆视角融合。
根据一个实施例，本发明的特征还在于，用cnn处理第二车辆传感器数据以检测所述第二车辆视角数据中的移动对象。
根据一个实施例，本发明的特征还在于，将由交通基础设施摄像机获取的传感器数据包括在第二车辆视角数据中。
根据一个实施例，本发明的特征还在于，基于以下各项中的一个或多个来预测所述第二车辆的所述路径：从所述第二车辆接收车辆传感器数据，以及基于使用第二cnn处理所述第二车辆的观察结果来确定路径数据。
根据一个实施例，贝叶斯框架基于根据先前的输出预测准确度的观察结果而确定的预测准确度来确定所述置信度。
根据一个实施例，将所述第二车辆视角数据与所述第二车辆传感器数据进行比较以确定第二车辆传感器数据的准确度。
根据一个实施例，基于所述预测的第二车辆路径以及所述置信度来确定第一车辆路径包括避免碰撞和接近碰撞。
根据一个实施例，本发明的特征还在于，通过控制车辆动力传动系统、转向和制动基于所述第一车辆路径来操作所述第一车辆。
- 还没有人留言评论。精彩留言会获得点赞！