具有自动辅助的自主车辆操作的制作方法

本公开总体上涉及自主车辆，并且更具体地涉及使用利用逆向加强学习确定的策略来自主控制车辆的系统和方法。

背景技术：

自主车辆是能够感测其环境并且以很少或不需要用户输入进行导航的车辆。自主车辆使用诸如雷达、激光雷达、图像传感器等感测装置来感测其环境。自主车辆系统进一步使用来自全球定位系统(gps)技术、导航系统、车对车通信、车辆对基础设施技术和/或线控驱动系统的信息来对车辆进行导航。

车辆自动化已经被分类为从零(对应于全人为控制的非自动化)到五(对应于无人为控制的全自动化)的范围中的数值等级。各种自动驾驶员辅助系统(诸如巡航控制、自适应巡航控制以及停放辅助系统)对应于较低自动化等级，而真正的“无人驾驶”车辆对应于较高自动化等级。

由于现实世界环境中的不同变量的数量庞大，自主车辆控制系统可能遇到在决策制定期间可能需要辅助的环境或场景。例如，可能遇到道路施工、道路封闭以及其他障碍物或场景，它们抑制了控制系统实现在车道边界或合乎法规的其他限制或约束的背景下如何自主操作车辆的解决方案的能力。虽然车辆乘员在一些情况下可以手动控制或操作车辆，但是这种解决方案给乘坐者带来了与自主车辆的意图有些相反的负担。还提出了利用车辆的远程辅助或远程控制作为解决自主车辆控制系统不能实现令人满意的控制解决方案的场景的方式。然而，对远程辅助的依赖也会引起对延时或延迟、通信可靠性或中断等的担忧。因此，期望提供能够自主解决在正常控制方案不能实现如何自主操作车辆的令人满意的解决方案时的场景的车辆控制系统和方法。另外，从以下结合附图和前面的技术领域及背景技术进行的实施方式和所附权利要求书中将更清楚地明白本发明的其他期望特征和特性。

技术实现要素：

提供了用于控制车辆的系统和方法。在一个实施例中，一种车辆包括：车辆上的一个或多个感测装置；数据存储元件，其用于维持自主辅助策略；车辆上的一个或多个致动器；以及控制器，其由处理器从一个或多个感测装置获取传感器数据，至少部分地基于传感器数据来识别辅助事件，至少部分地基于传感器数据和自主辅助策略来确定对辅助事件的自动响应，并且根据自动响应而自主地操作车辆上的一个或多个致动器。

在另一个实施例中，提供了一种控制车辆的方法。该方法涉及车辆的控制模块从车辆上的一个或多个感测装置获取传感器数据，至少部分地基于传感器数据来识别辅助事件，从远程装置获取自主辅助策略，至少部分地基于传感器数据和自主辅助策略来确定对辅助事件的自动响应，并且根据自动响应而自主地操作车辆上的一个或多个致动器。

在另一个实施例中，提供了一种自主车辆控制系统。自主车辆控制系统包括：数据库，其用于维护与由多台车辆提供的辅助请求相关联的车辆状态数据和与对辅助请求的辅助响应对应的辅助响应数据；和耦合到数据库的服务器。服务器确定用于基于状态数据与响应数据之间的关系修改车辆状态的回报函数，确定用于基于回报函数来自主修改车辆状态的策略，并且通过网络向多台车辆中的至少一台提供策略，其中至少一台车辆上的一个或多个致动器以受策略影响的方式来自主操作。

附图说明

下文将结合以下附图描述示例性实施例，其中相同标号表示相同元件，且其中：

图1是说明根据各种实施例的自主车辆的功能框图；

图2是说明根据各种实施例的具有一台或多台如图1中所示的自主车辆的运输系统的功能框图；

图3是根据各种实施例的适用于由图1的车辆实施的自动驾驶系统(ads)的示意框图；

图4是根据各种实施例的诸如图1的自主车辆的车辆上的多个成像装置和多个测距装置的布置的图示；

图5是根据一个或多个示例性实施例的远程辅助系统的框图；

图6是说明根据一个或多个示例性实施例的辅助策略确定过程的流程图；以及

图7是说明根据一个或多个示例性实施例的自辅助过程的流程图。

具体实施方式

具体实施方式本质上仅仅是示例性的，而不旨在限制应用和用途。另外，不存在被任何前述的技术领域、背景技术、发明内容或具体实施方式中提出的任何明确的或暗示的理论约束的意图。如本文所使用，术语模块是指单独或呈任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，包括但不限于：专用集成电路(asic)、电子电路、处理器(共享、专用或成组)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能性的其他合适部件。

在本文描述的一个或多个示例性实施例中，能够进行至少某种级别的自主操作的车辆包括从不同角度捕获图像或以其他方式产生表示车辆附近的场景或环境的数据的多个不同装置。可以校准特定装置相对于另一个装置或参考系(诸如车辆参考系或装置的坐标系(反之亦然))的关系，从而产生可以用于从一个参考系转换为另一个参考系以建立数据集之间的相关性的转换函数。例如，来自一个车载成像装置的图像数据可以与来自车辆上的测距装置的测距数据相关或以测距数据校准，以将来自测距装置的三维测距数据转换为由成像装置捕获的二维图像，反之亦然。出于解释的目的，本文中可以主要在成像装置被实现为相机并且测距装置被实现为光检测和测距(激光雷达)装置的背景下描述主题。即，应当明白，本文描述的主题不必限于与光学相机和激光雷达一起使用。替代实施例可以采用其他类型的相机或成像装置、雷达或其他类型的测距装置，或成像装置与测距装置的任何数量的组合。

如下面主要在图5至7的背景下更详细地描述的，在本文描述的示例性实施例中，当车辆控制系统不能基于与车辆周围的操作环境对应的捕获数据实现用于自主操作车辆的路径的解决方案时，可以产生辅助请求。使用捕获的环境数据和使用逆向加强学习确定的辅助策略产生对辅助请求的自动响应。在这方面，将来自各种车辆的先前远程辅助请求以及相应的环境和车辆状态数据的集合与先前为那些远程辅助请求提供的手动远程协助响应进行比较，以确定表示手动远程辅助行为的回报函数。基于优化的回报函数确定用于自主修改车辆状态的辅助策略，然后当正常自主车辆控制方案无法解决符合车道边界或其他约束或限制的车辆路径时响应于随后对增强正常自主车辆控制方案的辅助请求来利用该辅助策略。因此，车辆可以利用自动辅助策略来代替依赖于对远程辅助请求的手动响应。

在一个或多个示例性实施例中，先前的手动远程辅助响应(或人类专家车辆轨迹)被收集、聚合或以其他方式存储在与对应的远程辅助请求数据相关联的数据库或类似数据存储元件中并且被“离线”分析以计算回报函数和自动化自主辅助策略。取决于实施例，策略可以被推送或以其他方式发布给车辆，或者替代地存储在对后续远程辅助请求进行分析和响应的远程位置处。在这方面，辅助策略应用于与后续辅助请求相关联的环境和车辆状态数据，以基于辅助策略和即时环境和车辆状态数据来自动确定用于将请求车辆从当前状态转变到第二状态的动作。

应当注意，如本文所使用的，该动作不一定直接对应于特定的状态改变或目的地车辆状态。即，该动作可以影响潜在状态转变的概率分布，进而影响所得到的状态转变。例如，通过应用辅助策略自主确定的动作可以涉及临时修改自主车辆控件所使用的一个或多个标准或约束(例如，扩展车道边界以包括道路的整个铺砌表面区域)，其中所得到的状态变化或目的地车辆状态受修改标准的影响(但不一定完全由其决定)。

现在参考图1，根据一个或多个实施例，示为100的自主车辆控制系统确定用于以考虑由车载传感器28、40检测到的对象或障碍物的方式沿着路线自主地操作车辆10的运动计划，如在下文更详细地描述。在这方面，自主车辆10上的控制模块相对于彼此和/或车辆10校准不同类型的车载传感器28、40，由此为了对象检测、对象分类以及所得到的车辆10的自主操作的目的允许来自那些不同类型的车载传感器28、40的数据基于校准而在空间上相关联或者彼此相关联。

如图1中所描绘，车辆10通常包括底盘、车身14，以及在车身14的相应拐角附近可旋转地联接到底盘的前轮16和后轮18。车身14布置在底盘上并基本上包围车辆10的部件，并且车身14和底盘可以共同形成框架。

在示例性实施例中，车辆10是自主车辆，并且控制系统100被结合到自主车辆10(在下文中被称为自主车辆10)中。自主车辆10例如是被自动控制以将乘客从一个位置运送到另一个位置的车辆。在所说明的实施例中，车辆10被描绘为乘用车，但是应当明白的是，也可以使用包括摩托车、卡车、运动型多用途车辆(suv)、休闲车辆(rv)、船舶、飞行器等任何其他车辆。在示例性实施例中，自主车辆10是所谓的四级或五级自动化系统。四级系统指示“高度自动化”，其指代自动驾驶系统执行动态驾驶任务的所有方面的驾驶模式，即使人类驾驶员对干预请求没有做出适当响应。另一方面，五级系统指示“全自动化”，其指代自动驾驶系统在可由人类驾驶员管理的所有道路和环境状况下在动态驾驶任务的所有方面的全面性能的驾驶模式。

如所示，自主车辆10通常包括推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34以及通信系统36。推进系统20在各种实施例中可以包括内燃机、诸如牵引电动机等电机和/或燃料电池推进系统。变速器系统22被配置为根据可选速比将来自推进系统20的动力传输到车轮16和18。根据各种实施例，变速器系统22可以包括分级传动比自动变速器、无级变速器或其他适当的变速器。制动系统26被配置为向车轮16、18提供制动转矩。在各种实施例中，制动系统26可以包括摩擦制动器、线控制动器、诸如电机等再生制动系统，和/或其他适当的制动系统。转向系统24影响车轮16、18的位置。虽然为了说明目的而被描绘为包括方向盘，但是在本公开的范围内预期的一些实施例中，转向系统24可以不包括方向盘。

传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察状况的一个或多个感测装置40a到40n。感测装置40a到40n可以包括但不限于雷达、激光雷达、全球定位系统、光学相机、热像仪、超声波传感器和/或其他传感器。致动器系统30包括一个或多个致动器装置42a到42n，其控制一个或多个车辆特征，诸如但不限于推进系统20、变速器系统22、转向系统24以及制动系统26。在各种实施例中，车辆特征可以进一步包括内部和/或外部车辆特征，诸如但不限于车门、行李箱以及诸如无线电、音乐、照明等驾驶室特征(未编号)。

数据存储装置32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储装置32存储限定的可导航环境地图。在各种实施例中，限定地图可以由远程系统预定义并且从远程系统获取(关于图2进一步详细描述)。例如，限定地图可以由远程系统组装并且(以无线方式和/或以有线方式)传送到自主车辆10并存储在数据存储装置32中。如将明白的是，数据存储装置32可以为控制器34的一部分，与控制器34分开，或作为控制器34的一部分以及单独系统的一部分。

控制器34包括至少一个处理器44和计算机可读存储装置或介质46。处理器44可以为任何定制的或商业上可用的处理器、中央处理单元(cpu)、图形处理单元(gpu)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片集的形式)、宏处理器、它们的任何组合或通常用于执行指令的任何装置。计算机可读存储装置或介质46可以包括例如只读存储器(rom)、随机存取存储器(ram)和保活存储器(kam)中的易失性和非易失性存储装置。kam是一种持久或非易失性存储器，其可以在处理器44断电时用于存储各种操作变量。计算机可读存储装置或介质46可以使用诸如prom(可编程只读存储器)、eprom(电prom)、eeprom(电可擦除prom)、闪速存储器或能够存储数据的任何其他电动、磁性、光学或组合存储器装置的许多已知存储器中的任何一种来实施，其中的某些数据表示由控制器34用于控制自主车辆10的可执行指令。

指令可以包括一个或多个单独的程序，每个程序包括用于实施逻辑功能的可执行指令的有序列表。指令在由处理器44执行时接收并处理来自传感器系统28的信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并且向致动器系统30产生控制信号以基于逻辑、计算、方法和/或算法来自动地控制自主车辆10的部件。虽然图1中仅示出了一个控制器34，但是自主车辆10的实施例可以包括通过任何合适的通信介质或通信介质的组合进行通信并且协作以处理传感器信号、执行逻辑、计算、方法和/或算法且产生控制信号以自动控制自主车辆10的特征的任意数量的控制器34。

在各种实施例中，控制器34的一个或多个指令体现在控制系统100中(例如，在数据存储元件46中)，并且当由处理器44执行时使处理器44从成像和测距装置40获取所捕获或产生的数据，并利用所捕获的环境数据来确定用于自主操作车辆10的命令，如下面更详细地描述的。在一个或多个示例性实施例中，数据存储元件46维持自动辅助策略，其由处理器44利用或以其他方式参考以响应于可以由通过处理器44支持的正常车辆引导或控制方案产生的辅助请求(例如，当控制方案不能解决符合车道边界的命令车辆路径等时)来确定用于自主操作车辆10的命令。

仍然参考图1，在示例性实施例中，通信系统36被配置为向和从其他实体48(诸如但不限于其他车辆(“v2v”通信)、基础设施(“v2i”通信)、远程系统和/或个人装置无线地传送信息(关于图2更详细地描述)。在示例性实施例中，通信系统36是被配置为经由使用ieee802.11标准的无线局域网(wlan)或通过使用蜂窝数据通信来进行通信的无线通信系统。然而，诸如专用短程通信(dsrc)信道等附加或替代通信方法也被认为在本公开的范围内。dsrc信道是指专门为汽车使用以及相应的一组协议和标准而设计的单向或双向短程到中程无线通信信道。

现在参考图2，在各种实施例中，关于图1描述的自主车辆10可以适用于在某个地理区域(例如，城市、学校或商业园区、购物中心、游乐园，活动中心等)的出租车或班车系统的背景下或可以只需由远程系统管理。例如，自主车辆10可以与基于自主车辆的远程运输系统相关联。图2说明了总体上以50示出的操作环境的示例性实施例，该操作环境包括基于自主车辆的远程运输系统52，其与关于图1所描述的一台或多台自主车辆10a到10n相关联。在各种实施例中，操作环境50进一步包括经由通信网络56与自主车辆10和/或远程运输系统52进行通信的一个或多个用户装置54。

通信网络56根据需要支持在由操作环境50支持的装置、系统和部件之间(例如，经由有形的通信链路和/或无线通信链路)的通信。例如，通信网络56可以包括无线载波系统60，诸如蜂窝电话系统，其包括多个蜂窝塔(未示出)、一个或多个移动交换中心(msc)(未示出)以及将无线载波系统60与陆地通信系统连接所需要的任何其他联网部件。每个蜂窝塔都包括发送和接收天线以及基站，其中来自不同蜂窝塔的基站直接或经由诸如基站控制器等中间设备连接到msc。无线载波系统60可以实施任何合适的通信技术，包括(例如)诸如cdma(例如，cdma2000)、lte(例如，4glte或5glte)、gsm/gprs或其他当前或正涌现的无线技术等数字技术。其他蜂窝塔/基站/msc布置是可能的并且可以结合无线载波系统60使用。例如，基站和蜂窝塔可以共同位于相同站点处或它们可远离彼此，每个基站可以负责单个蜂窝塔或单个基站可服务于各个蜂窝塔，且各个基站可以联接到单个msc，这里仅列举几种可能布置。

除包括无线载波系统60外，可以包括呈卫星通信系统64的形式的第二无线载波系统来提供与自主车辆10a到10n进行的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路传输站(未示出)来进行。单向通信可以包括(例如)卫星无线电服务，其中节目内容(新闻、音乐等)是由传输站接收、封装上传并且然后发送到卫星，从而向用户广播该节目。双向通信可以包括(例如)使用卫星以在车辆10与站之间中继电话通信的卫星电话服务。除了或代替无线载波系统60，可以利用卫星电话。

可以进一步包括陆地通信系统62，其为连接到一个或多个陆线电话的常规陆基电信网络并且将无线载波系统60连接到远程运输系统52。例如，陆地通信系统62可以包括诸如用于提供硬接线电话、分组交换数据通信和因特网基础设施的公共交换电话网(pstn)。一段或多段陆地通信系统62可以通过使用标准有线网络、光纤或其他光学网络、电缆网络、电力线、其他无线网络(诸如无线局域网(wlan))或提供宽带无线接入(bwa)的网络或其任何组合来实施。另外，远程运输系统52不需要经由陆地通信系统62连接，反而可以包括无线电话设备使得其可以直接与无线网络(诸如无线载波系统60)通信。

虽然在图2中仅示出了一个用户装置54，但是操作环境50的实施例可以支持任意数量的用户装置54，包括由一个人拥有、操作或以其他方式使用的多个用户装置54。由操作环境50支持的每个用户装置54可以使用任何合适的硬件平台来实施。在这方面，用户装置54可以任何常见外形规格来实现，包括但不限于：台式计算机；移动计算机(例如，平板计算机、膝上型计算机或上网本计算机)；智能电话；视频游戏装置；数字媒体播放器；一件家庭娱乐设备；数码相机或视频摄影机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)等。由操作环境50支持的每个用户装置54被实现为具有执行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实施的或基于计算机的装置。例如，用户装置54包括可编程装置形式的微处理器，该微处理器包括存储在内部存储器结构中并且被施加来接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，用户装置54包括能够接收gps卫星信号并且基于那些信号产生gps坐标的gps模块。在其他实施例中，用户装置54包括蜂窝通信功能性使得该装置通过通信网络56使用一个或多个蜂窝通信协议(如本文所讨论)执行语音和/或数据通信。在各种实施例中，用户装置54包括可视显示器，诸如触摸屏图形显示器或其他显示器。

远程运输系统52包括一个或多个后端服务器系统，该后端服务器系统可以为基于云的、基于网络的或常驻在由远程运输系统52服务的特定校园或地理位置。远程运输系统52可以由现场顾问、自动顾问、人工智能系统或它们的组合来管理。远程运输系统52可以与用户装置54和自主车辆10a到10n进行通信以安排乘车、派遣自主车辆10a到10n等。在各种实施例中，远程运输系统52存储诸如用户认证信息、车辆标识符、简档记录、行为模式以及其他相关用户信息等账户信息。

根据典型的用例工作流程，远程运输系统52的注册用户可以经由用户装置54创建乘车请求。乘车请求通常将指示乘客希望的上车位置(或当前gps位置)、期望目的地位置(其可识别预定义的车辆停靠站和/或用户指定的乘客目的地)以及上车时间。远程运输系统52接收乘车请求、处理该请求，并且在指定的上车地点且在适当的时间派遣自主车辆10a到10n中的选定车辆来让乘客上车(当一台车辆可用时和如果一台车辆可用)。远程运输系统52还可以向用户装置54产生并发送适当配置的确认消息或通知，以使乘客知道车辆正在途中。

如可明白，本文公开的主题提供了可以被认为是标准或基线的自主车辆10和/或基于自主车辆的远程运输系统52的某些增强的特征和功能。为此，自主车辆和基于自主车辆的远程运输系统可以被修改、增强或以其他方式补充以提供下面更详细描述的附加特征。

现在参考图3，根据各种实施例，控制器34实施如图3中所示的自主驾驶系统(ads)70。即，利用控制器34的合适软件和/或硬件部件(例如，处理器44和计算机可读存储装置46)来提供与车辆10结合使用的自主驾驶系统70，以例如自动地控制各种致动器30并且由此分别控制车辆加速、转向以及制动，而无人为干预。

在各种实施例中，自主驾驶系统70的指令可以由功能或系统组织。例如，如图3中所示，自主驾驶系统70可以包括传感器融合系统74、定位系统76、引导系统78以及车辆控制系统80。如可以明白的是，在各种实施例中，由于本公开不限于本示例，所以可以将指令组织(例如，组合、进一步划分等)为任何数量的系统。

在各种实施例中，传感器融合系统74合成并处理传感器数据并且预测对象的存在、位置、分类和/或路径以及车辆10的环境的特征。在各种实施例中，传感器融合系统74可以结合来自多个传感器(包括但不限于相机、激光雷达、雷达和/或任何数量的其他类型的传感器)的信息。在本文所述的一个或多个示例性实施例中，传感器融合系统74使用与相应相机和参考系的配对相关联的校准转换参数值将图像数据与激光雷达点云数据、车辆参考系或某个其他参考坐标系相关，以将激光雷达点与像素位置相关，向图像数据分配深度，识别图像数据和激光雷达数据中一个或多个数据中的对象，或以其他方式合成相关图像数据和激光雷达数据。换句话说，来自传感器融合系统74的被提供给车辆控制系统80的传感器输出(例如，检测到的对象的标记和/或它们相对于车辆10的位置)反映相机图像、激光雷达点云数据等之间的校准和关联或以其他方式受其影响。

定位系统76处理传感器数据以及其他数据以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统78处理传感器数据以及其他数据以确定车辆10遵循的路径。在这方面，当引导系统78在给定当前传感器数据和车辆姿态的情况下不能确定车辆10遵循的路径时，引导系统78调用或以其他方式利用自动辅助策略来响应辅助事件，如下面更详细描述的。车辆控制系统80然后根据所确定的路径产生用于控制车辆10的控制信号。

在各种实施例中，控制器34实施机器学习技术以辅助控制器34的功能，诸如特征检测/分类、障碍物减少、路线穿越、映射、传感器集成、地面实况确定等。

图4描绘了示例性车辆400，其包括围绕车辆400分布的多个相机402和围绕车辆400分布的多个测距装置404。相机402设置在不同的位置处并定向成提供捕获车辆400附近的周围环境的不同部分的不同视场。例如，第一相机位于车辆400的左前(或驾驶员)侧，并且其视场相对于车辆400的纵向轴线在向前方向上逆时针方向45°，而另一个相机可以位于车辆400的右前方(或乘客侧)并且其视场相对于车辆400的纵向轴线顺时针45°定向。附加的相机位于车辆400的左后侧和右后侧，并且类似地相对于车辆纵向轴线以45°远离纵向轴线定向，以及相机位于车辆400的左侧和右侧并且远离与车辆纵向轴线垂直的纵向轴线定向。所示实施例还包括一对相机，其位于车辆纵向轴线处或附近并且被定向成沿着基本平行于车辆纵向轴线的视线捕获前视视场。

在示例性实施例中，一个或多个相机402可以与一个或多个其他相机402的具有不同的视角、焦距以及其他属性。例如，车辆右侧和左侧的相机的视角可以大于与位于车辆的左前侧、右前侧、左后侧或右后侧的相机相关联的视角。在一些实施例中，选择相机的视角，使得不同相机的视场至少部分地重叠以确保相对于车辆400的特定位置或取向的相机覆盖。

更多测距装置404之一也设置在车辆400的不同位置处以实现视差，并且在一个实施例中，关于车辆400的纵向轴线对称地设置。在本文所述的示例性实施例中，测距装置404被实现为激光雷达装置。在这方面，每个测距装置404可以包括或结合一个或多个激光器、扫描部件、光学装置、光电探测器以及适当地被配置为以特定角度频率或转速而水平和可旋转地扫描车辆400附近的环境的其他部件。例如，在一个实施例中，每个激光雷达装置404被配置为以10赫兹(hz)的频率水平旋转并扫描360°。如本文所使用的，激光雷达扫描应当被理解为指代激光雷达装置404的单次旋转。

在本文所述的示例性实施例中，相机402自主地并自动地捕获特定频率的图像，该特定频率可以大于激光雷达装置404的角频率。在一个实施例中，相机402的频率或采样速率至少是激光雷达装置404的角频率的两倍。例如，相机402可以30hz的速率捕获与它们相应的视场对应的新图像数据，同时激光雷达装置404以10hz的速率扫描并自动提供更新的数据。因此，每个相机402可以每次激光雷达扫描捕获多个图像，并且在不同时间捕获图像，这与激光雷达装置404的定向或扫描内的角位置无关。在这样的实施例中，可以基于获取图像的时间与激光雷达扫描的角度位置与激光雷达装置404的视线对应(该视线与相应相机402的视线或视角对齐)的时间之间的相对时间差来选择或识别来自每个相应相机402的图像，该图像在时间上与来自特定激光雷达扫描的激光雷达点云数据相关联。

在其他实施例中，在激光雷达扫描期间获取的图像可以被融合或以其他方式组合以实现与激光雷达扫描对应的代表性图像。在又其他实施例中，当激光雷达扫描的角位置与激光雷达装置404时(该视线与相应相机402的视线或视角对齐)，可以触发或以其他方式控制相机402以在激光雷达扫描期间及时捕获图像。在这方面，应当理解的是，存在许多不同的方式来同步或在时间上关联不同的数据集，并且本文描述的主题不旨在限于用于识别区域的图像数据或将图像数据与该区域的激光雷达或表示该区域的对应激光雷达数据关联的任何特定方式。

图5描绘了远程辅助系统500的示例性实施例，该远程辅助系统适用于远程辅助通信地耦合到通信网络508的一台或多台自主车辆502(例如，车辆10、400)。远程辅助系统500包括耦合到网络508的远程服务器504和耦合到网络508的一个或多个远程计算装置506，人类用户可以利用该个远程计算装置来手动提供对由车辆502产生的远程辅助请求的远程辅助响应。应注意，远程辅助系统500的实际实施例可以包括任何数量的车辆502和远程装置504、506。另外，虽然图5为了说明和易于描述的目的描绘了单个通信网络508，但是远程辅助系统500的实际实施例可以利用多个不同的通信网络，其可以在逻辑上或物理上不同或彼此分离。例如，车辆502可以通过与用于远程服务器504与远程计算装置506之间的通信的通信网络不同的通信网络来与远程服务器504进行通信，并且类似地，车辆502可以通过与用于与远程服务器504的通信的通信网络不同的通信网络来与远程计算装置506进行通信。

通常，例如，当自主车辆502的车载计算机无法在给定当前的车辆和环境状态的情况下确定满意的解决方案并且可能希望请求辅助分析数据或决定成功协商特定场景时，远程辅助系统500使得远程辅助能够增强自主车辆502的车载计算机的智能。远程辅助系统500使得车载计算机能够经由远程计算装置506上的远程辅助应用程序507(而不是依赖于乘坐在自主车辆502中的人类驾驶员)请求来自人类专家的辅助。

可能期望远程辅助的一些示例性场景包括自主车辆感测受损(例如，由于传感器异常、环境危害或其他原因)的场景、自主车辆操作受损(例如，爆胎、机械问题等)的场景、自主车辆决策制定置信度低(例如，道路中有未识别的对象、车辆或行人表现不规律、对象阻挡自主车辆的路径)的场景，以及另外需要与环境或其他实体进行交互(例如，恶劣天气、乘客或行人需要医疗辅助、车辆被未经认证的个人占用、物品已被前一乘员留在车辆中)的场景。自主车辆的乘员也可以请求远程辅助。

作为另一个常见示例，自主车辆可能遇到辅助期望场景，其中用于遍历期望辅助场景的唯一可能路线设计或路径涉及违反一个或多个交通法则或违反车辆行驶规范和自主车辆的一般重新路线设计(例如，符合交通法规)并非可用选项。。这些类型的辅助期望场景可能要求自主车辆遍历双黄线并可能进入对向交通以避免事故或并排停放的车辆等。然而，在一些实施例中，用于自主车辆的标准控制和/或操作参数不允许自主车辆明确违反交通法规或车道边界，并且此外，自主车辆可能没有足以导航跨过双黄线的内部协议。在这样的实施例中，车载计算机可以产生辅助请求。

响应于期望辅助场景，远程计算装置506处的人类专家可以(例如，经由网络508)控制自主车辆502以便远程遍历双黄线。替代地，远程辅助应用程序507可以用于绘制、产生和/或选择用于遍历辅助期望场景的建议路线，并且将建议路线传输到自主车辆502以便实施和/或执行。例如，远程辅助应用程序507可以允许人类专家经由通过计算装置506支持的用户界面临时重新绘制现有边界线，诸如限定道路或行驶车道的交通线。在这样的示例中，人类专家可以使用输入工具(诸如绘图笔或他们的手指)将新边界线或新行驶车道绘制到显示器上，该显示器示出了自主车辆502周围的环境的实际视图。重新绘制的边界线一旦完成或者在人类专家绘制新边界线的时间可以被传输到自主车辆。基本上，人类专家能够绘制用于导航避让场景的新车道，并且在人类专家的绘图的同一时间或同时，新的行驶车道将被提供给自主车辆。另外或替代地，通过由人类专家绘制新路线，远程计算装置506可以自动产生自主车辆控制数据，该自主车辆控制数据将通过网络508与绘图一起或分开传输到自主车辆502。自主车辆控制数据将优选地包括计算机指令，当由自主车辆502的车载计算机执行时，该计算机指令使得自主车辆502能够根据重新绘制的边界线行驶。

另一种期望辅助场景可以包括道路被重新粉刷和/或其中自主车辆很可能沿错误方向或路径或在另一个车道中驾驶的结构，如上面类似地描述的。这些类型的场景可能导致双道路成为可能包括交通信号控制器(例如，人员交通引导)等的双向单车道共享道路的情况。

如上所述，车辆502上的计算机用于自主地控制车辆。车载计算机优选地耦合到传感器套件(例如，计算机视觉系统、lidar、轮速传感器、gps等)并且处理来自传感器套件和/或其他传感器的感测数据以便确定自主车辆的状态；并且基于车辆状态和车辆应当如何操作的编程指令或规则，车载计算机优选地修改或控制自主车辆502的行为。

在一个或多个示例性实施例中，车载计算机产生或以其他方式向远程服务器504提供辅助请求，其包括表示车辆502的当前状态和周围环境的状态数据。伴随辅助请求的这种状态数据可以包括原始传感器数据(例如，自主车辆的一个或多个相机的视图)、处理后的传感器数据(例如，覆盖有通过自主车辆的车载计算机放置的对象识别指示器的相机视图、预测的车辆轨迹)、自主车辆分析(例如，由自主车辆产生的文本描述、由机器视觉系统成像的场景的文本描述)、自主车辆的历史行为、自主车辆的计划的未来(或建议的)行为、当前车辆姿势、来自另一个实体(例如，车辆的乘员、行人、机构、已访问车辆的内部或外部实体、无人驾驶车辆服务的用户等)的通信数据，或者表征车辆状态或车辆周围或车辆附近的操作环境的任何其他数据。

远程计算装置506通常表示耦合到网络508的电子装置，其可以由用户用来提供远程辅助响应。远程计算装置506可以被实现为任何种类的个人计算机、移动电话、平板计算机或其他支持网络的电子装置。远程计算装置506通常包括能够以图形方式呈现与由远程服务器504提供的辅助请求对应的数据和/或信息的显示装置，诸如监视器、屏幕或其他常规电子显示器，以及能够从远程计算装置506的用户接收输入的用户输入装置，诸如触摸屏、触摸板、鼠标、操纵杆、方向垫、运动传感器等。所示的远程计算装置506执行或以其他方式支持远程辅助应用程序507，该远程辅助应用程序与远程服务器504进行通信以接收辅助请求数据，产生与特定辅助请求有关的对应图形表示，从用户接收对辅助请求的响应，以及然后将相应的远程辅助响应传输到与特定辅助请求相关联的自主车辆502。

在一个或多个实施例中，远程辅助系统500使用远程服务器504将辅助请求或辅助引导到自主车辆。例如，远程服务器504可以从可用远程计算装置506或专家的列表中选择特定远程计算装置506或特定人类专家，并且向选定辅助器分派或以其他方式分配辅助请求。替代地，远程服务器504可以维护远程辅助请求的队列，特定的远程计算装置506或专家可以从该队列中选择要服务的远程辅助请求。远程服务器504还可以对辅助请求执行各种优先级排序算法、分组算法或其他操作以促进以期望方式处理辅助请求。

远程服务器504通常表示计算装置、计算系统或处理逻辑、电路、硬件和/或被配置为支持本文所述的辅助策略确定过程、任务、操作和/或功能的其他部件的另一种组合。在这方面，服务器504包括处理系统510，其可以使用任何合适的处理系统和/或装置(诸如例如，一个或多个处理器、中央处理单元(cpu)、控制器、微处理器、微控制器、处理核心和/或被配置为支持本文描述的处理系统510的操作的其他硬件计算资源)来实施。处理系统510可以包括或以其他方式访问能够存储用于由处理系统510执行的编程指令的数据存储元件512(或存储器)，该编程指令在读取和执行时使处理系统510支持本文所述的过程。取决于实施例，存储器512可以被实现为随机存取存储器(ram)、只读存储器(rom)、闪速存储器、磁或光存储装置，或任何其他合适的非暂时性短期或长期数据存储装置或其他计算机可读介质，和/或其任何合适的组合。

在一个或多个实施例中，编程指令使处理系统510创建、产生或以其他方式促进逆向加强学习应用程序514，其支持基于辅助请求数据522与相应的辅助响应数据524之间的关系来确定自主辅助策略，如下面更详细描述的。在这方面，在示例性实施例中，远程服务器504耦合到数据库520，该数据库存储或以其他方式维护彼此相关联的辅助请求数据522和相应的辅助响应数据524以便由反向加强学习应用程序514进行分析。

如下面在图6的背景中更详细地描述，在示例性实施例中，对于由服务器504从车辆502接收的辅助请求，辅助请求数据522包括表征与辅助请求相关联的操作环境的状态数据或信息，诸如例如原始传感器数据、处理后的传感器数据、自主车辆分析数据、历史行为和/或自主车辆的计划的未来(或建议的)行为、当前车辆姿态等。因此，辅助请求数据522表征触发辅助请求的车辆状态和/或操作环境。另外，在一个或多个示例性实施例中，辅助请求数据522还包括与对辅助请求的辅助响应对应的持续时间的状态数据或信息。因此，辅助请求数据522还可以表征在请求车辆502正接收辅助的时间段期间车辆的状态和/或操作环境。

在示例性实施例中，对于辅助请求数据522的每个示例，辅助响应数据524包括表征对由远程计算装置506提供给请求车辆502的特定辅助请求的响应的数据或信息。在这方面，辅助响应数据524表征并记录提供给请求车辆502的补救命令或动作以解决对辅助的需要。例如，在一些情况下，辅助响应数据524可以包括人类专家在远程计算装置506处用于远程控制车辆502的命令或动作。在其他情况下，辅助响应数据524可以表征用于遍历由远程辅助应用程序507的用户绘制、产生或以其他方式选择的辅助期望场景的建议路线。在又其他情况下，辅助响应数据524可以表征现有边界线或其他约束被修改以用于导航触发辅助请求的场景的方式。

图6描绘了示出可以由自主车辆系统支持的辅助策略确定过程600的示例性实施例的流程图。该方法内的操作顺序不限于如图6中所描绘的顺序执行，而是可以根据需要并且根据本公开来以一个或多个不同顺序来执行。此外，在图6的背景中示出和描述的一个或多个任务可以从辅助策略确定过程600的实际实施例中省略，同时仍然实现通常预期的整体功能。出于说明性目的，以下描述可以参考上文结合图1至5提到的元件。在这方面，虽然辅助策略确定过程600的各部分可以由自主车辆控制系统的不同元件执行，但是出于解释的目的，本文可以主要在主要由远程服务器504执行或支持的辅助策略确定过程600的背景下描述主题。

通过在602处从多台自主车辆捕获或以其他方式获取与远程辅助请求对应的状态数据以及与在604处提供给相应的自主车辆的相应远程辅助请求相关联的远程辅助响应数据来初始化或以其他方式开始所示的辅助策略确定过程600。在这方面，响应于自主车辆10、502遇到自主控制系统无法解决符合车道边界或其他约束或限制的解决方案的事件或场景，车辆10、502的控制模块(诸如控制器34或处理器44)利用车载感测元件28、40、402、404捕获环境和其他操作状态数据并且传输或以其他方式提供辅助请求以及相应的状态数据。在一个或多个示例性实施例中，将辅助请求提供给远程服务器504，该远程服务器将辅助请求引导或以其他方式发布给特定远程辅助器506、507，并且将相关辅助请求状态数据522存储或以其他方式维护在数据库520中。

如上所述，人类用户在远程计算装置506处可以利用远程辅助应用程序507来分析与辅助请求相关联的状态数据，并且提供被传回请求车辆502的远程辅助响应。取决于实施例，辅助装置506或请求车辆502之一将相应的远程辅助响应数据上传、传输或以其他方式提供给远程服务器504，该远程服务器将辅助响应数据524存储或以其他方式维护在与其辅助请求状态数据522相关联的数据库520中。在这方面，对于数据库520中的与对该远程辅助请求的人类响应对应的远程辅助响应数据524中的辅助请求状态数据522的每个示例，与该辅助请求状态数据522的示例配对或以其他方式相关联。配对数据集由此可以来自多个不同远程辅助器的相应响应反映多台不同的车辆502遇到的多个不同的远程辅助事件或场景。在示例性实施例中，远程服务器504接收或以其他方式获取与提供远程辅助的整个持续时间对应的辅助请求状态数据和远程辅助响应数据。

通过对配对辅助请求和辅助响应数据集合应用逆向加强学习来继续该辅助策略确定过程600，以在606处优化与对辅助请求状态数据的辅助响应相关的回报函数，然后在608处基于回报函数来确定用于自主修改车辆状态的策略。在示例性实施例中，逆向加强学习应用程序514利用马尔可夫决策过程来优化关于如何基于远程辅助请求状态数据522与用于对相应的远程辅助请求作出响应的远程辅助响应数据524之间的关系来增强或修改车辆状态以解决远程辅助事件的未知回报函数。在这方面，远程辅助请求状态数据522提供车辆状态集合，并且远程辅助响应数据524提供用于在车辆状态之间转变的动作集合，其中动作与状态转变之间的关系指示回报函数。一旦优化了用于在车辆状态之间转变的回报函数的加权因子，逆向加强学习应用程序514就基于回报函数来确定用于自主修改车辆状态的策略。在这方面，策略被配置为当应用于最佳地反映优化的回报函数的输入车辆状态时产生或以其他方式产生动作。因此，所得到的策略规定如何增强或修改自主车辆控制方案或其约束以实现对以最佳地反映优化的回报函数的方式影响车辆状态的辅助事件的自动解决方案。

例如，辅助请求状态数据可以包括障碍物的物理位置和速度、车辆的物理位置和速度、车辆转向的当前方向，以及当前车道边界，并且人类专家可用的潜在辅助响应动作集合可以包括什么都不做、扩展车道边界以包括整个道路铺砌表面、向左转10度、向右转10度、向前移动1米或向后移动1米。在收集包括一个或多个潜在辅助响应动作的远程辅助响应的多个示例之后，可以将逆向加强学习应用于远程辅助响应与其相关辅助请求状态数据之间的关系以确定提供车辆状态与数字回报值表示之间的映射的回报函数。例如，提高不利事件概率的目的地车辆状态可以具有相对惩罚性负值，而正值可以被分配给车辆可以自主地成功从其中操纵的状态(例如，在修复车道边界之后或可能由辅助响应修改的其他标准)。

一旦确定了回报函数，就可以确定自主辅助策略以将车辆状态映射到动作。实际上，自主辅助策略可以提供用于取决于当前环境和车辆状态数据在潜在响应动作之间进行仲裁的一个或多个逻辑规则或标准。例如，示例性策略可以指示当车辆停在或卡在障碍物后面并且车道边界尚未扩展时，响应动作应当是扩展车道边界。如果车辆停在或卡在障碍物后面并且边界已经扩展，则辅助策略可以指示响应动作应当使车辆向后移动1米。如果车辆正在移动，则策略可以指示不需要响应动作(例如，什么也不做)，并且对于其他状态，策略可以指示应当从向左转向10度、向右转向10度以及向前移动1米中随机选择响应动作。应当注意，出于解释的目的，这仅仅是自主辅助策略的一个简化示例，而并不旨在进行限制。

仍然参考图6，通过向车辆传输或以其他方式提供自主辅助响应策略以在610处进行后续实施来继续所示的辅助策略确定过程600。在一个或多个实施例中，远程服务器504通过网络508自动将自主辅助响应策略推送到自主车辆502。在其他实施例中，远程服务器504响应于在已经确定自主辅助响应策略之后接收到远程辅助请求而自动向单独的自主车辆502提供自主辅助响应策略。在这样的实施例中，可以丢弃远程辅助请求，或者可以推迟对远程辅助请求的进一步处理，直到确认自主辅助响应策略无法解决辅助事件为止。在又其他实施例中，远程服务器504响应于对自主辅助响应策略的请求而向自主车辆502提供自主辅助响应策略。

在替代实施例中，自主辅助响应策略可以在远程服务器504或其他远程计算装置506处实施，而不是在车辆502处实施。例如，响应于接收到辅助请求，远程服务器504可以将自主辅助响应策略应用于与辅助请求相关联的接收状态数据，以根据自主辅助响应策略确定用于修改车辆状态的动作并且响应于辅助请求而通过网络508将对应的命令或指令提供回到请求车辆502。在又其他实施例中，远程服务器504可以将自主辅助响应策略应用于所接收的辅助请求状态数据以确定动作并且将用于修改车辆状态的推荐动作的标记提供给远程计算装置506以在指示或命令车辆进行推荐动作之前供人类用户查看或确认。在这方面，人类用户可以修改或拒绝引发使用自主辅助响应策略确定的动作。在又其他实施例中，远程服务器504向各种远程计算装置506推送或提供自主辅助响应策略，该远程计算装置进而将自主辅助响应策略应用于所接收的辅助请求状态数据以确定在远程计算装置506处呈现的推荐动作以在远程计算装置506指示或命令车辆进行推荐动作之前供人类用户查看或确认。

应当注意，可以重复辅助策略确定过程600以在自主车辆系统的整个操作期间动态地更新自主辅助响应策略。例如，当人类用户修改或拒绝自主辅助响应策略推荐的动作时，可以利用所得到的辅助响应数据和配对辅助请求数据来动态地更新回报函数，由此自主辅助响应策略更好地反映人类用户对远程辅助请求作出响应的行为。

图7描绘了说明自辅助过程700的示例性实施例的流程图，该自辅助过程可以由自主车辆10、502执行以在正常自主车辆控制方案无法实现解决方案时自主地解决辅助事件或场景。该方法内的操作顺序不限于如图7中所描绘的顺序执行，而是可以根据需要并且根据本公开来以一个或多个不同顺序来执行。此外，在图7的背景中示出和描述的一个或多个任务可以从自辅助过程700的实际实施例中省略，同时仍然实现通常预期的整体功能。出于说明性目的，以下描述可以参考上文结合图1至5提到的元件。在这方面，虽然自辅助过程700的各部分可以由自主车辆控制系统的不同元件执行，但是出于解释的目的，本文可以主要在主要由自主车辆10、502的控制模块34、44执行或支持的自辅助过程700的背景下描述主题。

在示例性实施例中，自主车辆10、502响应于遇到正常自主车辆控制方案无法识别符合车道边界以及其他约束或限制的解决方案的事件或场景(例如，期望辅助场景)而引发或以其他方式执行自辅助过程700。自辅助过程700在702处获取自主辅助响应策略，在704获取当前车辆和环境状态数据，并且在706处将自主辅助响应策略应用于当前状态数据以确定用于修改或影响车辆状态的动作。在这方面，自主车辆10、502的控制模块34、44从车载感测元件28、40、402、404获取当前状态数据，然后利用由远程服务器504提供或从远程服务器获取的自主辅助响应策略来确定自主车辆10、502的控制模块34、44应当采取何种动作以如下方式修改车辆状态：当控制模块34、44无法实现用于基于当前状态数据自主操作车辆10、502的令人满意的解决方案时模仿人类远程辅助器的行为。

在708处，所示的自辅助过程700确定用于基于自主辅助响应策略修改车辆状态的建议动作是否令人满意或可接受(例如，健全性检查)，并且如果是，则自辅助过程700自主地操作车辆以执行建议动作并在710处自主地解决辅助事件。在这方面，控制模块34、44可以分析与推荐动作相关联的一个或多个度量以验证人类用户引发该动作的概率足够高，和/或控制模块34、44可以对推荐动作应用一个或多个逻辑规则以验证在没有人为监督的情况下可允许进行建议动作。当可接受将自主辅助响应策略应用于当前车辆状态数据而产生的建议动作时，控制模块34、44实施对应的致动器命令以实现用于修改车辆状态以自主地解决辅助事件的期望动作。在一个或多个实施例中，自辅助过程700重复直到辅助事件不再存在为止，即，控制模块34、44可以临时修改正常控制方案的约束或者以其他方式根据自主辅助响应策略操作车载致动器30、42直到确定正常控制方案能够解决用于自主操作满足车道边界和其他适用约束或限制的车辆的路径为止。

相反，当由于将自主辅助响应策略应用于当前车辆状态数据而产生的建议动作不可接受时，自辅助过程700在712处传输或以其他方式提供对远程辅助器的辅助请求。在这方面，当推荐动作似乎不太可能是人类用户选择的动作或者需要人为监督时，控制模块34、44产生或以其他方式向远程服务器504或其他远程计算装置506提供对人类用户进行解决的远程辅助请求，如上面在图5的背景中所描述的。在一些实施例中，辅助请求可以伴随有推荐动作的标记或来自控制模块34、44应用自主辅助响应策略的其他分析结果，该标记进而可以在远程计算装置506上呈现以供人类用户查看和/或接受。在714处，通过根据从远程辅助器接收到的辅助响应来操作车辆来进行自辅助过程700。在这方面，控制模块34、44临时修改正常控制方案的约束或者根据从远程计算装置506接收的命令或指令操作车载致动器30、42以与上文在图5的背景中描述的方式类似的方式来解决辅助事件。

凭借自主辅助响应策略，自主车辆可以自主且迅速地响应于在没有需人工干预或其他人为监督的情况下正常控制方案无法解决令人满意的解决方案的情况。因此，可以减少与利用自主车辆相关联的延迟和行驶时间，从而改进用户体验。另外，可以在车队中减少需要远程辅助的量或频率，这进而可以减少开销，同时还改进调度、时间可靠性、后勤等。

例如，自主车辆的控制模块可以从车辆上的一个或多个感测元件获取传感器数据，并且至少部分地基于传感器数据来识别辅助事件(例如，传感器异常、环境危害、机械损伤、不能解决满足与在给定当前传感器数据的情况下操作车辆相关联的一个或多个约束的车辆路径等)。控制模块可以利用自主辅助策略来至少部分地基于传感器数据来自动确定对辅助事件的响应并且自主地操作一个或多个车载致动器以根据自主辅助策略转变车辆状态，而不是依赖于远程辅助器和伴随的延迟和开销。因此，减轻辅助事件的自主操作可以模仿人类的远程辅助，而不需要任何人工干预、监督或相关延迟。

为了简明起见，本文可以不详细描述与信号处理、数据传输、信令、控制系统、远程控制、马尔可夫决策过程、逆向加强学习、机器学习以及该系统(和该系统的单独操作部件)的其他功能方面有关的常规技术。另外，本文所包括的各个图式中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应当注意的是，在本公开的实施例中可以存在许多替代或附加的功能关系或物理连接。

本公开的实施例在本文可以依据功能和/或逻辑块部件和各个处理步骤来描述。应当明白的是，这些块部件可以由被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实施。例如，本公开的实施例可以采用各种集成电路部件(例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其他控制装置的控制下执行多种功能)。另外，本领域技术人员将明白的是，本公开的实施例可以结合任何数量的系统来实践，并且本文所述的系统仅仅是本公开的示例性实施例。

虽然前述详细描述中已经提出了至少一个示例性实施例，但是应当明白的是，存在许多变化。还应当明白的是，示例性实施例仅仅是示例的并且不旨在以任何方式限制本公开的范围、适用性或配置。实情是，前文详细描述将给本领域技术人员提供用于实施示例性实施例或多个示例性实施例的便捷指引。应当理解的是，在不脱离所附权利要求书和其合法等同物的范围的情况下，可以对元件的功能和设置作出各种改变。