机器学习增强的车辆合流的制作方法

本公开涉及车辆导航，并且在更特定的示例中，涉及增强的车道合流。

背景技术：

合流到高速公路上是一项复杂的驾驶任务，并且通常需要入口匝道上的合流车辆和高速公路上的主线车辆之间的协作。调节合流车辆的合流行为使得这些合流车辆能够以最小的延迟安全地合流到高速公路上，而不中断或降低高速公路交通的流量是具有挑战性的。当今，一些现代系统依靠车辆移动监视来促进合流车辆的合流行为。然而，这些系统通常不能改善合流车辆的合流性能，同时也不能限制它们的合流行为对主线交通的流量性能的影响。另外，这些现有技术通常要求合流车辆和主线车辆能够与系统的控制通信并且符合系统的控制。因此，当在道路上行驶的一个或多个车辆没有被提供这些能力时，这些系统通常不可能运行。

技术实现要素：

本公开中描述的主题通过提供用于为合流车辆确定最佳合流动作以合流到主线交通中的新技术来克服现有解决方案的缺陷和限制。

根据本公开中描述的主题的一个创新方面，一种计算机实现的方法包括：接收描绘合流区域的第一图像集，该第一图像集包括与第一时间戳相关联的一个或多个第一图像；使用训练的第一机器学习逻辑，使用第一图像集确定描述第一时间戳处的合流区域的交通状况的第一状态；使用训练的第二机器学习逻辑，使用训练的后向时间距离从描述时间戳序列处的合流区域的交通状况的状态序列中确定与第一状态的第一时间戳之前的一个或多个第二时间戳相关联的一个或多个第二状态；使用训练的第三机器学习逻辑，使用第一状态、一个或多个第二状态以及一个或多个合流行为计算用于一个或多个合流行为的一个或多个影响度量；基于该一个或多个影响度量从一个或多个合流行为中选择第一合流行为；以及向合流车辆提供包括第一合流行为的合流指令，该合流指令指示合流车辆在合流区域中执行第一合流行为。

通常，本公开中描述的主题的另一创新方面可以体现在计算机实现的方法中，该计算机实现的方法包括：检索描述时间戳序列处的合流区域的交通状况的状态序列；确定状态序列中的第一状态指示第一合流车辆的合流行为，该第一状态与第一时间戳相关联；使用后向时间距离，从状态序列中确定与第一状态的第一时间戳之前的一个或多个第二时间戳相关联的一个或多个第二状态；从状态序列中确定与第一状态的第一时间戳之后的第三时间戳相关联的第三状态；接收使用合流行为的影响度量和合流行为的目标影响度量计算的反馈值，合流行为的影响度量基于第一状态、一个或多个第二状态和合流行为确定，合流行为的目标影响度量基于第三状态确定；以及基于反馈值调整后向时间距离。

通常，本公开中描述的主题的另一创新方面可以体现在系统中，该系统包括：一个或多个处理器；存储指令的一个或多个存储器，指令当由一个或多个处理器执行时，使得系统：接收描绘合流区域的第一图像集，该第一图像集包括与第一时间戳相关联的一个或多个第一图像；使用训练的第一机器学习逻辑，使用第一图像集确定描述第一时间戳处的合流区域的交通状况的第一状态；使用训练的第二机器学习逻辑，使用训练的后向时间距离从描述在时间戳序列处的合流区域的交通状况的状态序列中确定与第一状态的第一时间戳之前的一个或多个第二时间戳相关联的一个或多个第二状态；使用训练的第三机器学习逻辑，使用第一状态、一个或多个第二状态以及一个或多个合流行为计算用于一个或多个合流行为的一个或多个影响度量；基于该一个或多个影响度量从一个或多个合流行为中选择第一合流行为；以及，向合流车辆提供包括第一合流行为的合流指令，该合流指令指示合流车辆在合流区域中执行第一合流行为。

通常，本公开中描述的主题的另一创新方面可以体现在系统中，该系统包括：一个或多个处理器；存储指令的一个或多个存储器，指令当由一个或多个处理器执行时，使得系统：检索描述时间戳序列处的合流区域的交通状况的状态序列；确定状态序列中的第一状态指示第一合流车辆的合流行为，该第一状态与第一时间戳相关联；使用后向时间距离，从状态序列中确定与第一状态的第一时间戳之前的一个或多个第二时间戳相关联的一个或多个第二状态；从状态序列中确定与第一状态的第一时间戳之后的第三时间戳相关联的第三状态；接收使用合流行为的影响度量和合流行为的目标影响度量计算的反馈值，合流行为的影响度量基于第一状态、一个或多个第二状态和合流行为确定，合流行为的目标影响度量基于第三状态确定；以及基于反馈值调整后向时间距离。

这些实现和其他实现可以各自可选地包括以下特征中的一个或多个：一个或多个第二状态包括多个第二状态，以及从状态序列中确定一个或多个第二状态包括基于第一状态的第一时间戳和训练的后向时间距离确定过去时间范围，以及从状态序列中确定与过去时间范围内的多个第二时间戳相关联的多个第二状态；一个或多个合流行为包括至一个或多个目标合流速度的一个或多个速度调整、至一个或多个目标加速率的一个或多个加速度调整、以及对一个或多个目标转向角的一个或多个角度调整；使用合流车辆的控制单元处理包括第一合流行为的合流指令，并使用合流车辆的控制单元控制合流车辆以在合流区域中执行第一合流行为；合流区域包括入口匝道段、上游高速公路段和下游高速公路段，以及第一图像集包括从位于合流区域中的一个或多个路边单元、位于入口匝道段上的一个或多个合流车辆、位于上游高速公路段上的一个或多个上游主线车辆和位于下游高速公路段上的一个或多个下游主线车辆接收的与第一时间戳相关联的一个或多个第一图像；合流区域包括入口匝道段、上游高速公路段和下游高速公路段，以及使用训练的第一机器学习逻辑，使用与时间戳序列中的对应时间戳相关联的图像集确定与对应时间戳相关联的状态序列中的每个状态，以及图像集包括从位于合流区域中的一个或多个路边单元、位于入口匝道段上的一个或多个合流车辆、位于上游高速公路段上的一个或多个上游主线车辆和位于下游高速公路段上的一个或多个下游主线车辆接收的与对应时间戳相关联的一个或多个图像；状态序列中的每个状态和第一状态包括描述合流区域的一个或多个道路组成部分的道路数据、一个或多个合流车辆的第一车辆移动数据、一个或多个上游主线车辆的第二车辆移动数据和一个或多个下游主线车辆的第三车辆移动数据，以及入口匝道段的第一段交通数据、上游高速公路段的第二段交通数据和下游高速公路段的第三段交通数据；包括在一个或多个合流车辆、一个或多个上游主线车辆和一个或多个下游主线车辆中的每个车辆的车辆移动数据指定与车辆相关联的车辆位置、车辆速度以及加速度模式中的一个或多个，以及入口匝道段、上游高速公路段和下游高速公路段之中的每个道路段的段交通数据指定与道路段相关联的交通流量、车辆密度、平均车辆速度以及平均跟随距离中的一个或多个。

这些实现和其他实现可以各自可选地包括以下特征中的一个或多个：确定第三状态包括使用前向时间距离从状态序列中确定与第一状态的第一时间戳之后的第三时间戳相关联的第三状态，以及基于反馈值调整前向时间距离；使用前向时间距离确定第三状态包括：基于第一状态的第一时间戳和前向时间距离确定第三时间戳，并且从状态序列中确定与第三时间戳相关联的第三状态；使用机器学习逻辑基于第一状态、一个或多个第二状态以及合流行为确定合流行为的影响度量，并且基于包括在第三状态中的一个或多个交通状况方面确定合流行为的目标影响度量，在第三状态中的一个或多个交通状况方面包括一个或多个合流车辆的第一车辆移动数据和入口匝道段的第一段交通数据、一个或多个上游主线车辆的第二车辆移动数据和上游高速公路段的第二段交通数据、一个或多个下游主线车辆的第三车辆移动数据和下游高速公路段的第三段交通数据、以及第一合流车辆的合流时间量和合流点位置；基于包括在第三状态中的一个或多个交通状况方面以及指派给该一个或多个交通状况方面的一个或多个权重值确定合流行为的目标影响度量。

这些方面和其他方面中的一个或多个的其他实现包括对应的系统、装置和编码在非暂态计算机存储设备上的被配置为执行方法的动作的计算机程序。

在本公开中提出的用于为合流车辆确定最佳合流动作的新技术在许多方面是特别有利的。例如，这里描述的技术可以使用合流动作的影响度量来学习最佳合流动作。合流动作的影响度量可以指示合流动作对入口匝道上的合流车辆和高速公路上的主线车辆的影响。因此，本技术可以学习改善合流车辆的合流性能和主线交通的流量性能的最佳合流动作，从而优化交通网络的整体性能。作为另一示例，本技术仅需要合流区域的捕获图像作为输入。因此，即使参与交通的车辆包括非响应车辆，本技术也是有利地可应用的。此外，这里描述的技术将合流区域的过去交通状况和合流动作的未来影响结合到用于确定最佳合流动作的训练过程中。因此，可以综合确定最佳合流动作。

应当理解，前述优点是作为示例提供的，并且该技术可以具有许多其他优点和益处。

本公开通过示例的方式被示出，而不是在附图的图中通过限制的方式被示出，在附图中相似的附图标记用于指代相似的元件。

附图说明

图1是用于增强的车辆合流的示例性系统的框图。

图2是示例性合流应用的框图。

图3是合流应用的示例性训练阶段和示例性实现阶段的框图。

图4是用于训练合流应用的状态管理器的示例性方法的流程图。

图5示出了示例性状态序列。

图6是用于为合流车辆确定最佳合流动作的示例性方法的流程图。

图7是用于从合流区域的捕获图像中确定合流区域的状态的示例性方法的流程图。

图8示出了示例性合流区域。

具体实施方式

这里描述的技术可以确定用于自动、高效且安全地将车辆合流到主线交通中的最佳合流动作。如下面更详细描述的，该技术包括各种方面，诸如车辆合流方法、系统、计算设备、计算机程序产品和装置等。

可以训练示例性车辆合流系统以从捕获图像中确定描述各个时间戳处的合流区域的交通状况的多个状态，确定评估合流动作的影响所需的状态序列中的一个或多个状态，并且计算指示合流动作对合流车辆的合流性能和相关交通的影响的影响度量。因此，在实现阶段，训练的车辆合流系统可以计算用于各种合流动作的影响度量，并且从而确定合流车辆要执行的最佳合流动作。

图1是用于增强的车辆合流的示例性系统100的框图。如图所示，系统100包括经由网络105耦接以进行电子通信的服务器101、一个或多个车辆平台103a...103n、以及一个或多个路边单元107a...107n。在图1和其余图中，附图标记后面的字母，例如“103a”，表示对具有该特定附图标记的元件的引用。没有后续字母的文本中的附图标记，例如“103”，表示对带有该附图标记的元件的实例的一般引用。应当理解，图1中描绘的系统100是作为示例提供的，并且本公开预期的系统100和/或其他系统可以包括附加的和/或更少的组件，可以组合组件和/或将组件中的一个或多个划分为附加的组件等。例如，系统100可以包括任何数量的车辆平台103、路边单元107、网络105或服务器101。

网络105可以是传统类型、有线和/或无线的，并且可以具有许多不同的配置，包括星形配置、令牌环配置或其他配置。例如，网络105可以包括一个或多个局域网(lan)、广域网(wan)(例如，因特网)、个域网(pan)、公共网络、私有网络、虚拟网络、虚拟私有网络、对等网络、近场网络(例如，nfc等)、车辆网络和/或多个设备可以通过其通信的其他互连数据路径。

网络105还可以耦接到或包括电信网络的部分，用于以各种不同的通信协议发送数据。示例性协议包括但不限于传输控制协议/因特网协议(tcp/ip)、用户数据报协议(udp)、传输控制协议(tcp)、超文本传输协议(http)、安全超文本传输协议(https)、http上的动态自适应流(dash)、实时流协议(rtsp)、实时传输协议(rtp)和实时传输控制协议(rtcp)、因特网协议语音(voip)、文件传输协议(ftp)、websocket(ws)、无线接入协议(wap)、各种消息传递协议(sms、mms、xms、imap、smtp、pop、webdav等)或其他合适的协议。在一些实施例中，网络105是使用诸如dsrc(专用短程通信)之类的连接的无线网络、wave、802.11p、3g、4g、5g+网络、wifi^tm、卫星网络、车辆到车辆(v2v)网络、车辆到基础设施/基础设施到车辆(v2i/i2v)网络或任何其他无线网络。尽管图1示出了耦接到服务器101和(一个或多个)车辆平台103的网络105的单个框，但是应该理解，网络105实际上可以包括任何数量的网络的组合，如上所述。

服务器101包括硬件和/或虚拟服务器，其包括处理器、存储器和网络通信能力(例如，通信单元)。服务器101可以通信地耦接到网络105，如信号线145所反映的。在一些实施例中，服务器可以向系统100的其他实体(例如，(一个或多个)车辆平台103和/或(一个或多个)路边单元107)发送数据和从系统100的其他实体接收数据。如图所描绘的，服务器101可以包括合流应用120的实例120a，如本文其他地方进一步讨论的。

(一个或多个)路边单元107a...107n包括硬件和/或虚拟服务器，其包括处理器、存储器和网络通信能力(例如，通信单元)。(一个或多个)路边单元107可以通信地耦接到网络105，如信号线147a...147n所反映的。在一些实施例中，(一个或多个)路边单元107可以是安装在高位置和/或位于车辆汇集区域(诸如合流区域)中的各种道路段的路边的基础设施。合流区域可以包括与另一车道合并的车道、车辆右转或左转以与直通交通合流的交叉口、或者车辆合流到相同交通流中的任何其他汇集点。在一些实施例中，(一个或多个)路边单元107可包括被配置成捕获其传感器范围内的合流区域中的道路段的图像的一个或多个图像传感器(例如，监视相机)。在一些实施例中，路边单元107可以将描绘合流区域的道路段的捕获图像发送到系统100的其他实体，例如(一个或多个)车辆平台103和/或服务器101。

(一个或多个)车辆平台103包括具有(一个或多个)传感器113、(一个或多个)处理器115、(一个或多个)存储器117、(一个或多个)通信单元119、车辆数据存储库121和合流应用120的(一个或多个)计算设备152。(一个或多个)计算设备152的示例可以包括虚拟或物理计算机处理器、控制单元、微控制器等，其被耦接到(一个或多个)车辆平台103的其他组件，诸如一个或多个传感器113、一个或多个致动器、一个或多个操纵装置等。(一个或多个)车辆平台103可以经由信号线141耦接到网络105，并且可以向(一个或多个)其他车辆平台103、(一个或多个)路边单元107和/或(一个或多个)服务器101发送数据以及从(一个或多个)其他车辆平台103、(一个或多个)路边单元107和/或(一个或多个)服务器101接收数据。在一些实施例中，(一个或多个)车辆平台103能够从一个点运输到另一个点。(一个或多个)车辆平台103的非限制性示例包括车辆、汽车、公共汽车、船、飞机、仿生植入物、机器人或具有非暂态计算机电子器件(例如，处理器、存储器或非暂态计算机电子器件的任何组合)的任何其他平台。(一个或多个)车辆平台103在这里可被称为(一个或多个)车辆。

(一个或多个)处理器115可以通过执行各种输入/输出、逻辑、和/或数学运算来执行软件指令(例如，任务)。(一个或多个)处理器115可以具有各种计算架构来处理数据信号。(一个或多个)处理器115可以是物理的和/或虚拟的，并且可以包括单个核或多个处理单元和/或核。在车辆平台103的背景下，处理器可以是在车辆平台103(诸如汽车)中实现的电子控制单元(ecu)，尽管其他类型的平台也是可能的并且是预期的。ecu可以接收传感器数据并将传感器数据作为车辆操作数据存储在车辆数据存储库121中，以供合流应用120访问和/或检索。在一些实施方式中，(一个或多个)处理器115可以能够生成并向(一个或多个)输入/输出设备提供电子显示信号、支持图像显示、捕获并发送图像、执行包括各种类型的交通状况分析和机器学习实现等的复杂任务。在一些实现中，(一个或多个)处理器115可以经由总线154耦接到(一个或多个)存储器117以从其访问数据和指令并在其中存储数据。总线154可以将(一个或多个)处理器115耦接到(一个或多个)车辆平台103的其他组件，包括例如(一个或多个)传感器113、(一个或多个)存储器117、(一个或多个)通信单元119和/或车辆数据存储库121。

合流应用120包括可执行以便为合流车辆确定最佳合流动作的软件和/或硬件逻辑。如图1所示，服务器101和车辆平台103a...103n可以包括合流应用120的实例120a和120b...120n。在一些实施例中，每个实例120a和120b...120n可以包括图2中描绘的合流应用120的一个或多个组件，并且可以被配置为根据实例所驻留的位置全部地或部分地执行这里描述的功能。在一些实施例中，合流应用120可以使用可由一个或多个计算机设备的一个或多个处理器执行的软件、使用诸如但不限于现场可编程门阵列(fpga)、专用集成电路(asic)等的硬件和/或硬件和软件的组合等来实现。合流应用120可以接收和处理传感器数据和/或车辆数据，并且经由总线154与车辆平台103的其他元件(诸如存储器117、通信单元119、车辆数据存储库121以及各种致动器和/或操纵装置等)通信。例如，合流应用120可以将合流指令传送到车辆平台103的一个或多个转向致动器和一个或多个速度致动器以控制由车辆平台103执行的合流动作。下面至少参考图2-图8详细描述合流应用120。

(一个或多个)存储器117包括非暂态计算机可用(例如，可读、可写等)介质，其可以是能够包含、存储、传送、传播或传输用于由(一个或多个)处理器115处理或与(一个或多个)处理器115结合处理的指令、数据、计算机程序、软件、代码、例程等的任何有形非暂态装置或设备。例如，(一个或多个)存储器117可以存储合流应用120。在一些实现中，(一个或多个)存储器117可以包括易失性存储器和非易失性存储器中的一个或多个。例如，(一个或多个)存储器117可以包括但不限于动态随机存取存储器(dram)设备、静态随机存取存储器(sram)设备、分立存储器设备(例如，prom、fprom、rom)、硬盘驱动器、光盘驱动器(cd、dvd、blue-ray^tm等)中的一个或多个。应当理解，(一个或多个)存储器117可以是单个设备，或者可以包括多种类型的设备和配置。

通信单元119使用无线和/或有线连接向它(例如，经由网络105)通信地耦接到的其他计算设备发送数据并从其他计算设备接收数据。通信单元119可以包括用于发送和接收数据的一个或多个有线接口和/或无线收发器。通信单元119可以耦接到网络105并与系统100的其他实体(诸如(一个或多个)其他车辆平台103、(一个或多个)路边单元107和/或(一个或多个)服务器101等)通信。通信单元119可以使用标准通信方法(诸如上面讨论的那些)与其他计算节点交换数据。

(一个或多个)传感器113包括适用于(一个或多个)车辆平台103的任何类型的传感器。(一个或多个)传感器113可以被配置为收集适合于确定车辆平台103的特性和/或其内部和外部环境的任何类型的信号数据。(一个或多个)传感器113的非限制性示例包括各种光传感器(ccd、cmos、2d、3d、光检测和测距(lidar)、相机等)、音频传感器、运动检测传感器、气压计、高度计、热电偶、湿度传感器、红外(ir)传感器、雷达传感器、其他光电传感器、陀螺仪、加速度计、速度计、转向传感器、制动传感器、开关、车辆指示传感器、挡风玻璃刮水器传感器、地理位置传感器、方向传感器、无线收发器(例如，蜂窝、wifi^tm、近场等)、声纳传感器、超声传感器、触摸传感器、接近传感器、距离传感器等。在一些实施例中，一个或多个传感器113可包括在车辆平台103的前侧、后侧、右侧和/或左侧提供的面向外的传感器，以捕获车辆平台103周围的情景情境(situationalcontext)。

在一些实施例中，(一个或多个)传感器113可包括一个或多个图像传感器(例如，光传感器)，其被配置为记录包括视频图像和静止图像的图像，可以使用任何适用的帧速率记录视频流的帧，并且可以使用任何适用方法编码和/或处理捕获的视频和静止图像。在一些实施例中，(一个或多个)图像传感器113可以捕获其传感器范围内的周围环境的图像。例如，在车辆平台的背景下，图像传感器113可以捕获车辆平台103周围的环境，包括道路、路边结构、建筑物、静态道路物体(例如、车道、道路标记、交通标志、交通锥标、路障等)和/或动态道路物体(例如，周围的车辆平台103、道路工作人员、施工车辆等)等。在一些实施例中，图像传感器113可以安装在车辆顶部上和/或车辆平台103内，以在相对于车辆平台103的移动方向的任何方向(面向前、面向后、面向侧、面向上、面向下等)进行感测。在一些实施例中，图像传感器113可以是多向的(例如，lidar)。

车辆数据存储库121包括存储各种类型的数据的非暂态存储介质。例如，车辆数据存储库121可以存储使用总线(诸如控制器局域网(can)总线)在给定车辆平台103的不同组件之间传送的车辆数据。在一些实施例中，车辆数据可包括从耦接到车辆平台103的不同组件的用于监视这些组件的操作状态的多个传感器113收集的车辆操作数据(例如，变速(transmission)、速度、加速度、减速度、车轮速度(每分钟转数-rpm)、转向角、制动力等)。在一些实施例中，车辆数据可以包括指示车辆平台103的地理位置的移动方向、车辆地理定位(例如，gps(全球定位系统)坐标)等。在一些实施例中，车辆数据还可以包括由车辆平台103的一个或多个图像传感器113捕获的多个道路场景图像以及与这些图像相关联的图像数据。在一些实施例中，图像数据可包括图像的图像标识符(例如，图像id)、指示图像的数据大小的图像数据大小、指示捕获图像的日期和时间的图像时间戳等。

在一些实施例中，车辆数据存储库121可以为每个合流区域存储与时间戳序列相关联的状态序列。在一些实施例中，状态序列中的每个状态可以描述在时间戳序列中的对应时间戳处的合流区域的交通状况。在一些实施例中，合流区域可包括多个道路段(例如，入口匝道段、上游高速公路段、下游高速公路段等)。对于每个道路段，合流区域的状态可以包括描述该状态的对应时间戳处的特定道路段上的交通状况的段交通数据和车辆移动数据。车辆移动数据的非限制性示例可包括但不限于与位于道路段上的一个或多个车辆相关联的车辆位置、车辆速度、加速度模式等。段交通数据的非限制性示例可以包括但不限于与道路段相关联的交通流量、车辆密度、平均车辆速度、平均跟随距离等。在一些实施例中，该状态还可以包括描述合流区域的道路组成部分的道路数据。例如，道路数据可以包括与每个道路段相关联的车道数、车道状态(例如，封闭车道、开放车道等)、形状和长度、道路结构等。在一些实施例中，状态还可以包括与在状态的对应时间戳处完成合流执行以从入口匝道段合流到高速公路段的每个合流车辆相关联的合流时间量和合流点位置。在一些实施例中，状态还可以包括状态的对应时间戳、从其确定状态的一个或多个图像的图像id等。其他类型的状态数据也是可能的并且是预期的。

在一些实施例中，车辆数据存储库121可以存储合流应用120的学习/训练数据。在一些实施例中，合流应用120可以执行监督学习，在监督学习中训练数据包括分类的、标记的特征，尽管其他变型也是可能的并且是预期的。在一些实施例中，学习数据可包括后向传播的变量。许多其他变型也是可能的并且是预期的。

在一些实施例中，合流应用120的学习数据可以包括后向时间距离、前向时间距离、影响度量函数等。在一些实施例中，后向时间距离可以指定合流行为(例如，合流动作)之前的时间距离，在该时间距离内，合流区域的状态可能是评估合流行为的影响所必需的。前向时间距离可以指定合流行为之后的时间距离，在该时间距离内，合流区域的一个或多个状态可以反映合流行为的影响。在一些实施例中，影响度量函数可以指定特定时间戳处由合流车辆执行的合流行为、特定时间戳处合流区域的状态与合流行为的影响度量之间的关系。因此，可以使用影响度量函数来计算在给定特定时间戳处的合流区域的状态的情况下，在由合流车辆执行合流行为时合流行为的影响度量。在一些实施例中，合流行为的影响度量可以指示合流行为对合流区域中的道路段的交通状况以及合流车辆的合流执行的影响。其他类型的学习数据也是可能的并且是预期的。

在一些实施例中，车辆数据存储库121可以存储合流行为数据库，该合流行为数据库包括由合流车辆潜在地执行的多个合流动作。在本公开中，合流动作可以被称为合流行为。合流行为的非限制性示例可以包括但不限于至一个或多个目标合流速度的一个或多个速度调整(例如，将车辆速度调整至25m/s、将车辆速度调整至30m/s等)、至一个或多个目标加速率的一个或多个加速度调整(例如，将加速率调整至5m/s²、将加速率调整至10m/s²等)、至一个或多个目标转向角的一个或多个角度调整(例如，将转向角调整至20°、将转向角调整至35°等)等。其他类型的合流行为也是可能的并且是预期的。

在一些实施例中，车辆数据存储库121可以是用于存储数据并提供对数据的访问的数据存储系统(例如，标准数据或数据库管理系统)的部分。存储在车辆数据存储库121中的其他类型的数据也是可能的并且是预期的。

其他变化和/或组合也是可能的并且是预期的。应当理解，图1中示出的系统100代表示例性系统，并且各种不同的系统环境和配置是预期的并且在本公开的范围内。例如，各种动作和/或功能可以从服务器移动到客户端，反之亦然，数据可以整合到单个数据存储库中或者进一步被分段到附加数据存储库中，并且一些实现可以包括附加的或更少的计算设备、服务和/或网络并且可以实现客户端或服务器侧的各种功能。此外，系统的各种实体可以被集成到单个计算设备或系统中，或者被分成附加的计算设备或系统等。

图2是示例性合流应用120的框图。如图所示，合流应用120可以包括状态生成器202、状态管理器204和影响计算器206，但是应该理解合流应用120可以包括附加组件，诸如但不限于配置引擎、其他训练引擎、加密/解密引擎等，和/或这些各个组件可以被组合成单个引擎或被分成附加的引擎。

状态生成器202、状态管理器204和影响计算器206可以实现为软件、硬件或前述的组合。在一些实施例中，状态生成器202、状态管理器204和影响计算器206可以通过总线154和/或处理器115通信地耦接到彼此和/或计算设备152的其他组件。在一些实施例中，组件120、202、204和/或206中的一个或多个是可由处理器115执行以提供它们的功能的指令集。在进一步的实施例中，120、202、204和/或206中的一个或多个可存储在存储器117中，并且可由处理器115访问和执行以提供它们的功能。在任何前述实施例中，这些组件120、202、204和/或206可以适于与处理器115和计算设备152的其他组件协作和通信。下面至少参考图3-图8更详细地描述合流应用120及其组件202、204和206。

如本文其他地方所讨论的，合流应用120包括可执行以便为合流车辆确定最佳合流动作以从合流道路段合流到合流区域中的主线交通的逻辑。作为示例，图8中示出了一般合流区域800。如图所示，合流区域可包括多个道路段。具体地，合流区域800可包括高速公路段802和合流车辆可从其进入高速公路段802的入口匝道段804。在一些实施例中，高速公路段802可包括上游高速公路段806和下游高速公路段808，上游高速公路段806和下游高速公路段808的交通状况可能受到入口匝道段804上的合流车辆的合流行为的影响。在一些实施例中，上游高速公路段806可以在高速公路段802上的交通流的移动方向上定位在入口匝道段804的上游，而下游高速公路段808可以在这样的移动方向上对应于入口匝道段804的下游定位和/或定位在入口匝道段804的下游。如图所示，入口匝道段804、上游高速公路段806和下游高速公路段808可被提供有沿其道路定位并捕获对应交通的图像的多个路边单元107。

在一些实施例中，多个车辆平台103可以在特定时间戳处在合流区域的道路段上行驶。存在于特定时间戳处的合流区域中的车辆平台103可包括位于入口匝道段上的一个或多个合流车辆、位于上游高速公路段上的一个或多个上游主线车辆以及位于下游高速公路段上的一个或多个下游主线车辆。如图8所示，合流车辆可包括位于入口匝道段804上的车辆平台103a和103b，上游主线车辆可包括位于上游高速公路段806上的车辆平台103c和103d，并且下游主线车辆可包括位于下游高速公路段808上的车辆平台103e......103j。

在一些实施例中，合流应用120可以在它被实现为确定用于合流车辆的最佳合流动作之前经受训练过程。图3示出了合流应用120的示例性训练阶段和示例性实现阶段的框图300。如图所示，在训练阶段302中，状态生成器202可以学习从合流区域的捕获图像中确定合流区域的状态。在一些实施例中，合流区域的每个状态可以与对应的时间戳相关联，并且可以描述对应时间戳处的合流区域的交通状况。由于合流区域的图像可以被连续捕获并且被顺序提供给合流应用120，因此状态生成器202可以确定描述时间戳序列处的合流区域的交通状况的状态序列。

如图3所示，在训练阶段302中，状态管理器204可以学习从状态序列中确定与合流行为相关的一个或多个状态。具体地，状态管理器204可以学习确定状态序列中的评估合流行为的影响所需的一个或多个后向状态，以及状态序列中的反映合流行为的影响的一个或多个前向状态。在一些实施例中，状态管理器204可以学习用于确定后向状态的后向时间距离和用于确定前向状态的前向时间距离。如图3所示，同样在训练阶段302中，影响计算器206可以学习影响度量函数，该影响度量函数可用于计算在给定合流区域的状态的情况下在由合流车辆执行合流行为时合流行为的影响度量。在一些实施例中，影响计算器206可以根据合流行为的影响度量和合流行为的目标影响度量生成反馈值。反馈值可以用于由影响计算器206学习影响度量函数，并且可以用于由状态管理器204学习后向时间距离和前向时间距离以确定相关状态。

在一些实施例中，一旦完成训练过程，状态生成器202、状态管理器204和影响计算器206可以执行它们的对应功能以便为合流车辆确定最佳合流行为。具体地，在实现阶段304中，状态生成器202可以使用第一图像集确定第一时间戳处的合流区域的第一状态。状态管理器204可以例如，使用训练的后向时间距离，从合流区域的状态序列中确定评估第一时间戳处的合流行为的影响所需的一个或多个后向状态。影响计算器206可以使用训练的影响度量函数，基于第一状态、一个或多个后向状态以及对应的合流行为来计算用于各种合流行为的影响度量。然后，影响计算器206可以基于影响度量从各种合流行为中选择最佳合流行为。因此，可以在仅有的输入是第一图像集的情况下为合流车辆确定最佳合流行为，如图3所示。

下面至少参考图4-图7更详细地描述状态生成器202、状态管理器204和影响计算器206。

在一些实施例中，状态生成器202可以是机器学习逻辑，该机器学习逻辑被训练以从合流区域的捕获图像中确定描述合流区域的交通状况的一个或多个状态，如本文其他地方所讨论的。在一些实施例中，状态生成器202可以以卷积神经网络、支持向量机等的形式实现。用于实现具有各种类型的监督学习算法和/或无监督学习算法的机器学习逻辑的其他系统架构也是可能的并且是预期的。

以说明方式，图7是用于从合流区域的捕获图像中确定合流区域的状态的示例性方法700的流程图。在框702中，状态生成器202可以从位于合流区域的各个路段上的车辆平台103和路边单元107接收合流区域的捕获图像。在一些实施例中，位于合流区域中的车辆平台103的图像传感器113可在车辆平台103沿其道路段行驶时捕获合流区域的图像，并且位于合流区域中的路边单元107的图像传感器可以捕获其传感器范围内的合流区域的图像。在一些实施例中，可以以预定义的速率/间隔(例如，每1秒、每3秒等)捕获这些图像，并且可以根据它们的图像时间戳将这些图像顺序地发送到合流应用120。因此，状态生成器202可以从位于合流区域中的车辆平台103和路边单元107接收描绘顺序时间戳处的合流区域的各种道路段的捕获图像。如本文其他地方所讨论的，位于合流区域中的车辆平台103可包括位于入口匝道段上的一个或多个合流车辆、位于上游高速公路段上的一个或多个上游主线车辆以及位于下游高速公路段上的一个或多个下游主线车辆。

在框704中，状态生成器202可以生成一个或多个图像集，每个图像集可以与时间戳相关联。在一些实施例中，状态生成器202可以基于捕获图像的图像时间戳来聚合从路边单元107和车辆平台103接收的捕获图像，并且将每个图像集的时间戳确定为包括在该图像集中的捕获图像的图像时间戳。因此，状态生成器202可以生成与时间戳序列相关联的图像集序列，每个图像集可以包括在时间戳序列中的对应时间戳处捕获的一个或多个图像并且描绘对应时间戳处的合流区域的各种道路段上的交通状况。

在一些实施例中，对于与时间戳序列中的第一时间戳相关联的图像集序列中的任何第一图像集，状态生成器202可以使用第一图像集确定描述第一时间戳处的合流区域的交通状况的第一状态。具体地，状态生成器202可以分析第一图像集中的与第一时间戳相关联的捕获图像和/或其他图像集中的与其他时间戳相关联的捕获图像以确定各种交通状况方面，这些交通状况方面可以描述第一时间戳处的合流区域的各种道路段上的交通状况。

具体地，在框706中，状态生成器202可以确定描述合流区域的一个或多个道路组成部分的道路数据。在一些实施例中，合流区域的道路组成部分可包括入口匝道段、上游高速公路段和下游高速公路段。对于合流区域的每个道路段，道路数据可以包括与道路段相关联的车道的数量、每个车道的状态(例如，快速车道、开放车道、封闭车道等)、形状和长度、道路结构等。在一些实施例中，可以从第一图像集中的与第一时间戳相关联的捕获图像和其他图像集中的与其他时间戳相关联的捕获图像中随时间学习道路数据。作为示例，对于图8中描绘的合流区域800，状态生成器202可以学习到入口匝道段804具有段长度为400m的1个车道并且与高速公路段802形成35°的角度。状态生成器202还可以学习到高速公路段802包括具有上游高速公路段806和下游高速公路段808的3个开放车道，该上游高速公路段806和下游高速公路段808上的交通状况可能受到入口匝道段804上的合流车辆的合流行为的影响。在该示例中，状态生成器202可以学习到上游高速公路段806的段长度为750m并且下游高速公路段808的段长度为450m。

在框708中，状态生成器202可以确定位于入口匝道段上的一个或多个合流车辆的第一车辆移动数据、位于上游高速公路段上的一个或多个上游主线车辆的第二车辆移动数据以及位于下游高速公路段上的一个或多个下游主线车辆的第三车辆移动数据。在一些实施例中，包括在合流车辆、上游主线车辆和下游主线车辆中的每个车辆平台103的车辆移动数据可以描述车辆平台103的车辆移动并且可以指定与车辆平台103相关联的车辆位置、车辆速度和/或与加速度模式等。在一些实施例中，状态生成器202可以分析第一图像集中的与第一时间戳相关联的捕获图像和其他图像集中的与其他时间戳相关联的捕获图像，以确定第一时间戳处的每个车辆平台103的车辆移动数据。例如，为了确定第一时间戳处的车辆平台103的车辆位置(例如，地理坐标)，状态生成器202可以确定车辆平台103相对于具有预定地理坐标(例如，gps坐标)的参考点的相对位置。在一些实施例中，状态生成器202可以监测与多个时间戳相关联的多个捕获图像中的车辆平台103的车辆位置以确定第一时间戳处的车辆平台103的车辆速度(例如，27m/s)，速度变化率(例如，±2m/s)和加速度/减速度模式。

在框710中，状态生成器202可以确定第一时间戳处完成合流执行的一个或多个合流车辆的合流时间量和合流点位置。在一些实施例中，可以基于入口匝道段的道路数据(例如，形状和长度等)和位于入口匝道段上的车辆平台103的第一车辆移动数据(例如，车辆位置等)来确定这些车辆平台103的合流时间量和合流点位置。具体地，状态生成器202可以监测位于入口匝道段上的车辆平台103的车辆位置，以确定车辆平台103是否在第一时间戳处离开入口匝道段并进入高速公路段。如果车辆平台103在第一时间戳处进入高速公路段，则状态生成器202可以确定车辆平台103完成合流执行，并且将第一时间戳处的车辆平台103的车辆位置确定为合流点。在一些实施例中，状态生成器202可以将车辆平台103的合流时间量确定为车辆平台103停留在入口匝道段上以完成合流执行期间的时间量(例如，45s)。在一些实施例中，状态生成器202可以将车辆平台103的合流点位置确定为合流点相对于入口匝道段的位置(例如，300/400m)。

在框712中，状态生成器202可以确定入口匝道段的第一段交通数据、上游高速公路段的第二段交通数据和下游高速公路段的第三段交通数据。在一些实施例中，入口匝道段、上游高速公路段和下游高速公路段中的每个道路段的段交通数据可以描述道路段上的交通状况并且可以指定与道路段相关联的交通流量、车辆密度、平均车辆速度和/或平均跟随距离等。在一些实施例中，状态生成器202可以基于道路段的道路数据(例如，道路段的形状和长度等)和位于该道路段上的车辆平台103的车辆移动数据(例如，车辆平台103的车辆速度、车辆位置等)来确定第一时间戳处的每个道路段的段交通数据。在一些实施例中，状态生成器202可以随时间监测位于每个道路段上的多个车辆平台103的车辆位置和车辆速度，以确定第一时间戳处与道路段相关联的交通流量(例如，3辆车/s)、车辆密度(例如，2.1辆车/100m/车道)、平均车辆速度(例如，30m/s)和/或平均跟随距离(例如，45m)。

在框714中，状态生成器202可以基于道路数据、车辆移动数据和段交通数据生成合流区域的状态。具体地，为了生成描述第一时间戳处的合流区域的交通状况的第一状态，状态生成器202可以将第一时间戳和描述合流区域的各种道路段的道路数据聚合到第一状态。状态生成器202还可以将描述第一时间戳处的合流车辆、上游主线车辆和下游主线车辆的车辆移动的第一车辆移动数据、第二车辆移动数据和第三车辆移动数据聚合到第一状态。状态生成器202还可以将第一时间戳处完成合流执行的合流车辆的合流时间量和合流点位置聚合到第一状态。状态生成器202还可以将描述第一时间戳处的入口匝道段、上游高速公路段和下游高速公路段上的交通状况的第一段交通数据、第二段交通数据和第三段交通数据聚合到第一状态。因此，第一状态可以描述合流区域的每个道路段上的交通状况的各种方面，并且因此可以全面地描述第一时间戳处的合流区域的交通状况。在一些实施例中，可以以状态向量的形式生成第一状态，该状态向量具有指定上述交通状况方面的多个向量元素。在一些实施例中，状态生成器202可以将状态序列中与第一时间戳相关联的第一状态存储在车辆数据存储库121中。

在一些实施例中，状态管理器204可以管理包括在状态序列中的状态。在一些实施例中，状态管理器204可以是机器学习逻辑，该机器学习逻辑被训练以确定状态序列中的与合流车辆的合流行为相关的一个或多个后向状态和一个或多个前向状态，如本文其他地方所讨论的。在一些实施例中，状态管理器204可以以递归神经网络、长短期记忆(lstm)网络等的形式实现。用于实现具有各种类型的强化学习算法的机器学习逻辑的其他系统架构也是可能的并且是预期的。

以说明方式，图4是示例性方法400的流程图，该示例性方法400用于训练状态管理器204以确定状态序列中的评估合流行为的影响所需的一个或多个后向状态并确定状态序列中的反映合流行为的影响的一个或多个前向状态。在框402中，状态管理器204可以检索描述时间戳序列处的合流区域的交通状况的状态序列。在一些实施例中，状态管理器204可以从车辆数据存储库121中检索合流区域的状态序列。

作为示例，图5示出了描述图8中描绘的合流区域800的交通状况的状态序列500的一部分。如图所示，状态序列500可以包括与时间戳序列中的9个顺序时间戳t＝t1、t＝t2、t＝t3、t＝t4、t＝t5、t＝t6、t＝t7、t＝t8和t＝t9相关联的9个顺序状态552、554、556、558、560、562、564、566和568。在该示例中，假设时间戳序列中的2个顺序时间戳之间的时间间隔是1秒。如本文其他地方所述，与对应时间戳相关联的每个状态可以从与对应时间戳相关联的图像集确定，并且可以全面地描述对应时间戳处的合流区域的各种道路段上的交通状况。在该示例中，9个顺序状态552、554、556、558、560、562、564、566和568可以从9个对应的图像集502、504、506、508、510、512、514、516和518中确定，并且可以全面地描述9个对应的时间戳t＝t1、t＝t2、t＝t3、t＝t4、t＝t5、t＝t6、t＝t7、t＝t8和t＝t9处的合流区域800的入口匝道段804、上游高速公路段806和下游高速公路段808的交通状况。

在框404中，状态管理器204可以确定状态序列中的第一状态指示第一合流车辆的合流行为，状态序列中的第一状态可以与时间戳序列中的第一时间戳相关联。在一些实施例中，状态管理器204可以分析包括在多个状态中的合流车辆的第一车辆移动数据，并且确定状态序列中的第一状态指示第一合流车辆的合流行为。继续上述示例，状态管理器204可以确定对应于时间戳t＝t5＝14:00:05的状态560指示位于入口匝道段804上的车辆平台103a的合流行为。在该示例中，车辆平台103a可以在时间戳t＝t5处执行将其车辆速度调整至目标合流速度30m/s的合流行为。

在框406中，状态管理器204可以使用后向时间距离从状态序列中确定与第一状态的第一时间戳之前的一个或多个第二时间戳相关联的一个或多个第二状态。如本文其他地方所讨论的，后向时间距离可以指定合流行为之前的时间距离，在该时间距离内合流区域的状态可能是评估合流行为的影响所需的。在一些实施例中，状态管理器204可以从车辆数据存储库121中检索后向时间距离。在一些实施例中，状态管理器204可以基于第一状态的第一时间戳和后向时间距离来确定过去时间范围。具体地，状态管理器204可以确定过去时间范围的上限tpast_upper＝指示合流行为的第一状态的第一时间戳。状态管理器204可以确定过去时间范围的下限tpast_lower＝(第一状态的第一时间戳-后向时间距离)。在一些实施例中，状态管理器204可以从状态序列中确定与过去时间范围[tpast_lower、tpast_upper)内的一个或多个第二时间戳相关联的一个或多个第二状态。

继续上述示例，状态管理器204可以将过去时间范围的上限确定为指示车辆平台103a的合流行为(例如，将车辆速度调整至目标合流速度30m/s)的状态560的时间戳t＝t5。因此，状态管理器204可以确定过去时间范围的上限为tpast_upper＝t5＝14:00:05。在该示例中，假设从车辆数据存储库121中检索的后向时间距离的当前值是3s。因此，状态管理器204可以确定过去时间范围的下限tpast_lower＝(状态560的时间戳-后向时间距离)＝14:00:05-00:00:03＝14:00:02。然后，状态管理器204可以从状态序列500中确定与[14:00:02,14:00:05)的过去时间范围内的第二时间戳相关联的第二状态。在该示例中，第二状态可以包括与时间戳t＝t2＝14:00:02相关联的状态554、与时间戳t＝t3＝14:00:03相关联的状态556以及与时间戳t＝t4＝14:00:04相关联的状态558。因此，在该示例中，状态554、状态556和状态558是状态序列中的在状态560之前的合流区域的3个后向状态，该3个后向状态被确定为是评估在状态560中由车辆平台103a执行的合流行为的影响所必需的。

在框408中，状态管理器204可以使用前向时间距离从状态序列中确定与第一状态的第一时间戳之后的一个或多个第三时间戳相关联的一个或多个第三状态。如本文其他地方所讨论的，前向时间距离可以指定合流行为之后的时间距离，在该时间距离内合流区域的一个或多个状态可以反映合流行为的影响。在一些实施例中，状态管理器204可以从车辆数据存储库121中检索前向时间距离。在一些实施例中，状态管理器204可以基于第一状态的第一时间戳和前向时间距离来确定未来时间范围。具体地，状态管理器204可以确定未来时间范围的下限tfuture_lower＝指示合流行为的第一状态的第一时间戳。状态管理器204可以确定未来时间范围的上限tfuture_upper＝(第一状态的第一时间戳+前向时间距离)。在一些实施例中，状态管理器204可以将第三时间戳确定为tfuture_upper，并且从状态序列中确定与第三时间戳相关联的第三状态。在一些实施例中，状态管理器204可以从状态序列中确定与未来时间范围(tfuture_lower,tfuture_upper]内的一个或多个第三时间戳相关联的一个或多个第三状态。

继续上述示例，状态管理器204可以将未来时间范围的下限确定为指示车辆平台103a的合流行为的状态560的时间戳t＝t5。因此，状态管理器204可以确定未来时间范围的下限tfuture_lower＝t5＝14:00:05。在该示例中，假设从车辆数据存储库121中检索的前向时间距离的当前值是2s。因此，状态管理器204可以确定未来时间范围的上限tfuture_upper＝(状态560的时间戳+前向时间距离)＝14:00:05+00:00:02＝14:00:07。在一些实施例中，状态管理器204然后可以确定第三时间戳＝tfuture_upper＝14:00:07，并且从状态序列中确定与第三时间戳14:00:07相关联的第三状态(例如，状态564)。在这些实施例中，状态564是状态序列中状态560之后的合流区域的未来状态，该未来状态被确定为反映在状态560中由车辆平台103a执行的合流行为的影响。在其他实施例中，状态管理器204可以从状态序列500中确定与未来时间范围(14:00:05,14:00:07]内的第三时间戳相关联的第三状态。在该示例中，第三状态可以包括与时间戳t＝t6＝14:00:06相关联的状态562和与时间戳t＝t7＝14:00:07相关联的状态564。在这些实施例中，状态562和状态564是状态序列中在状态560之后的合流区域的2个未来状态，该2个未来状态被确定为反映在状态560中由车辆平台103a执行的合流行为的影响。

在一些实施例中，状态管理器204可以将第一状态、一个或多个第二状态以及一个或多个第三状态提供给影响计算器206。在一些实施例中，影响计算器206可以是机器学习逻辑，该机器学习逻辑被训练以确定用于合流行为的影响度量，该影响度量可以指示合流行为对合流区域的相关交通和合流车辆的合流执行的影响，如本文其他地方所讨论的。在一些实施例中，影响计算器206可以以q学习网络、深度q学习网络等形式实现。用于实现具有各种类型的强化学习算法的机器学习逻辑的其他系统架构也是可能的并且是预期的。

在一些实施例中，影响计算器206可以从状态管理器204接收第一状态、一个或多个第二状态和一个或多个第三状态作为输入。如上所述，第二状态可以是被确定为评估第一状态中指示的合流行为的影响所需的合流区域的后向状态，并且第三状态可以是被确定为反映第一状态中指示的合流行为的影响的合流区域的前向状态。在一些实施例中，如果向影响计算器206提供多个第三状态，则每个第三状态可以单独用于下面讨论的状态管理器204和影响计算器206的一个训练周期。在一些实施例中，影响计算器206可以从车辆数据存储库121中检索第一状态、一个或多个第二状态以及一个或多个第三状态。

在一些实施例中，影响计算器206可以基于第一状态、一个或多个第二状态以及在第一状态中指示的合流行为来确定在第一状态中指示的合流行为的影响度量。在一些实施例中，可以使用影响度量函数基于第一状态、一个或多个第二状态以及合流行为来计算合流行为的影响度量。如本文其他地方所讨论的，影响度量函数可以指定特定时间戳处由合流车辆执行的合流行为、特定时间戳处的合流区域的状态和合流行为的影响度量之间的关系。在一些实施例中，可以将特定时间戳之前的合流区域的后向状态结合到影响度量函数中以计算影响度量。在一些实施例中，影响度量函数可以包括要使用反馈值从训练过程中学习的一个或多个影响参数。

在一些实施例中，影响计算器206可以使用包括在一个或多个第三状态中的第三状态来确定用于第一状态中指示的合流行为的目标影响度量。在一些实施例中，影响计算器206可以分析第三状态以确定描述包括在第三状态中的合流区域的交通状况的一个或多个交通状况方面。然后，影响计算器206可以基于包括在第三状态中的交通状况方面来确定第一状态中指示的合流行为的目标影响度量。例如，在一些实施例中，影响计算器206可以将在第一状态中指示的合流行为的目标影响度量确定为与包括在第三状态中的下游高速公路段的交通流量成正比和/或与包括在第三状态中的上游高速公路段的车辆密度成反比。

继续上述示例，影响计算器206可以基于与时间戳t＝t7相关联的状态564中包括的交通状况方面为与时间戳t＝t5相关联的状态560中指示的车辆平台103a的合流行为(例如，将车辆速度调整至目标合流速度30m/s)确定目标影响度量。如本文其他地方所讨论的，状态564可以包括全面描述时间戳t＝t7处的合流区域的各种道路段上的交通状况的各种交通状况方面。在一些实施例中，这些交通状况方面可以包括合流车辆的第一车辆移动数据和入口匝道段804的第一段交通数据、上游主线车辆的第二车辆移动数据和上游高速公路段806的第二段交通数据、以及下游主线车辆的第三车辆移动数据和下游高速公路段808的第三段交通数据。在一些实施例中，如果车辆平台103a在时间戳t＝t7处完成其合流执行，则包括在状态564中的交通状况方面还可以包括车辆平台103a的合流时间量和合流点位置。在该示例中，影响计算器206可以将用于车辆平台103a的合流行为的目标影响度量计算为与入口匝道段804、上游高速公路段806以及下游高速公路段808的平均车辆速度和交通流量成正比。在该示例中，用于车辆平台103a的合流行为的目标影响度量还可以与车辆平台103a的合流时间量和合流车辆、上游主线车辆以及下游主线车辆的速度变化率成反比。

在一些实施例中，影响计算器206可以在确定用于合流行为的目标权重值时将不同的权重值指派给不同的交通状况方面。在以上示例中，可以为车辆平台103a的合流时间量指派比上游主线车辆的速度变化率更高的权重值，因为对于评估合流行为的影响而言，车辆平台103a的合流时间量比上游主线车辆的速度变化率更为重要。在一些实施例中，影响计算器206可以基于包括在第三状态中的交通状况方面和指派给交通状况方面的权重值来确定第一状态中指示的合流行为的目标影响度量。在一些实施例中，影响计算器206可以基于反馈值调整指派给交通状况方面的权重值。

在一些实施例中，影响计算器206可以使用第一状态中指示的合流行为的影响度量和目标影响度量来计算反馈值。如上所述，可以使用影响度量函数基于第一状态、一个或多个第二状态以及合流行为来确定合流行为的影响度量。可以基于包括在一个或多个第三状态中的第三状态来确定合流行为的目标影响度量。在一些实施例中，反馈值可以是合流行为的影响度量与合流行为的目标影响度量之间的平方误差。在一些实施例中，影响计算器206可以基于反馈值调整影响度量函数的影响参数。在一些实施例中，影响计算器206还可以基于反馈值调整指派给包括在状态中的交通状况方面的权重值。在一些实施例中，影响计算器206可以将具有调整的影响参数的调整的影响度量函数和/或与交通状况方面相关联的调整的权重值存储在车辆数据存储库121中。

在一些实施例中，影响计算器206可以将反馈值提供给状态管理器204。参考回图4，在框410中，状态管理器204可以从影响计算器206接收反馈值。如上所述，可以使用在第一状态中指示的合流行为的影响度量和目标影响度量来计算反馈值。在框412中，状态管理器204可以基于反馈值调整后向时间距离和/或前向时间距离。如本文其他地方所讨论的，后向时间距离可以指定第一状态中指示的合流行为之前的时间距离，在该时间距离内合流区域的第二状态可能是评估合流行为的影响所必需的。前向时间距离可以指定第一状态中指示的合流行为之后的时间距离，在该时间距离内合流区域的一个或多个第三状态可以反映合流行为的影响。在一些实施例中，状态管理器204可以将调整的后向时间距离和调整的前向时间距离存储在车辆数据存储库121中。

在一些实施例中，影响计算器206和/或状态管理器204可以确定他们的学习数据(例如，影响度量函数的影响参数、包括在状态中的交通状况方面的权重值、后向时间距离、前进时间距离等)是否被充分调整。在一些实施例中，影响计算器206可以确定反馈值是否满足预定义的反馈值阈值。在一些实施例中，影响计算器206可以确定反馈值是否在预定义数量的训练周期内保持不变。响应于确定反馈值满足预定义反馈值阈值和/或确定反馈值在预定义数量的训练周期内保持不变，影响计算器206可确定影响计算器206和状态管理器204的学习数据被充分调整。一旦充分调整了影响计算器206和状态管理器204的学习数据，影响计算器206就可以确定影响计算器206和状态管理器204的训练过程完成。现在可以将影响计算器206和状态管理器204的学习数据视为经训练的数据(例如，经训练的影响度量函数、经训练的交通状况方面的权重值、经训练的后向时间距离、经训练的前向时间距离等)，并且影响计算器206和状态管理器204准备好进入实现阶段。

图6是用于为合流车辆确定最佳合流行为的示例性方法600的流程图。在一些实施例中，方法600可以在实现阶段由合流应用120执行。在实现阶段，状态生成器202、状态管理器204和影响计算器206可以被完全地训练。在框602中，训练的状态生成器202可以接收描绘合流区域的第一图像集。例如，训练的状态生成器202可以接收描绘第一时间戳处的与合流车辆的车辆位置相关联的合流区域的第一图像集。第一图像集可以包括与第一时间戳相关联并且描绘第一时间戳处的合流区域的各种道路段上的交通状况的一个或多个第一图像。如本文其他地方所讨论的，可以从位于合流区域中的路边单元107、位于入口匝道段上的合流车辆、位于上游高速公路段上的上游主线车辆、以及位于下游高速公路段上的下游主线车辆接收一个或多个第一图像。

在框604中，训练的状态生成器202可以使用第一图像集确定与第一时间戳相关联的第一状态。第一状态可以包括描述第一时间戳处的合流区域的各种道路段上的交通状况的各种交通状况方面。在一些实施例中，包括在第一状态中的交通状况方面可以包括描述合流区域的道路段的道路段数据、合流车辆的第一车辆移动数据和入口匝道段的第一段交通数据、上游主线车辆的第二车辆移动数据和上游高速公路段的第二段交通数据、以及下游主线车辆的第三车辆移动数据和下游高速公路段的第三段交通数据。

在框606中，训练的状态管理器204可以使用训练的后向时间距离从描述时间戳序列处的合流区域的交通状况的状态序列中确定与第一状态的第一时间戳之前的一个或多个第二时间戳相关联的一个或多个第二状态。在一些实施例中，训练的状态管理器204可以从车辆数据存储库121中检索合流区域的状态序列。状态序列中的每个状态可以与时间戳序列中的对应时间戳相关联，并且可以由训练的状态生成器202使用与对应时间戳相关联的图像集来确定。与第一图像集类似，每个图像集可以包括与对应时间戳相关联的一个或多个图像，该一个或多个图像可以从位于合流区域中的路边单元107、位于入口匝道段上的合流车辆、位于上游高速公路段上的上游主线车辆、以及位于下游高速公路段上的下游主线车辆接收。

在一些实施例中，类似于与第一时间戳相关联的第一状态，状态序列中的每个状态可以包括描述对应时间戳处的合流区域的各种道路段上的交通状况的各种交通状况方面。包括在每个状态中的交通状况方面可以包括描述合流区域的道路段的道路段数据、合流车辆的第一车辆移动数据和入口匝道段的第一段交通数据、上游主线车辆的第二车辆移动数据和上游高速公路段的第二段交通数据、以及下游主线车辆的第三车辆移动数据和下游高速公路段的第三段交通数据。包括在每个状态中的交通状况方面可以附加地包括在对应时间戳处完成合流执行的合流车辆的合流时间量和合流点位置。

在一些实施例中，训练的状态管理器204可以基于第一状态的第一时间戳和训练的后向时间距离来确定过去时间范围。具体地，训练的状态管理器204可以确定过去时间范围的上限tpast_upper＝第一状态的第一时间戳，以及过去时间范围的下限tpast_lower＝(第一状态的第一时间戳-训练的后向时间距离)。然后，训练的状态管理器204可以从状态序列中确定与过去时间范围[tpast_lower,tpast_upper)内的一个或多个第二时间戳相关联的一个或多个第二状态。在一些实施例中，一个或多个第二状态可包括多个第二状态。因此，第二状态是状态序列中的在第一状态的第一时间戳之前的评估第一时间戳处由合流车辆执行的合流行为的影响所必需的合流区域的后向状态。

在框608中，训练的影响计算器206可以使用第一状态、一个或多个第二状态以及一个或多个合流行为来计算用于一个或多个合流行为的一个或多个影响度量。在一些实施例中，训练的影响计算器206可以从车辆数据存储库121中的合流行为数据库中检索一个或多个合流行为。对于合流行为数据库中的每个合流行为(例如，至各种目标合流速度的各种速度调整、至各种目标转向角的各种角度调整等)，训练的影响计算器206可以使用训练的影响度量函数基于第一状态、一个或多个第二状态和合流行为计算用于合流行为的影响度量。如本文其他地方所讨论的，合流行为的影响度量可以指示合流行为对合流区域的相关交通(例如，上游主线车辆的速度变化率、下游高速公路段的车辆密度等)以及合流车辆的合流执行(例如，合流车辆的合流时间量、合流车辆的合流点位置等)的影响。

在框610中，训练的影响计算器206可以基于一个或多个影响度量从一个或多个合流行为中选择第一合流行为。在一些实施例中，训练的影响计算器206可以选择具有最低影响度量的合流行为作为第一合流行为。在一些实施例中，训练的影响计算器206可以选择具有最高影响度量的合流行为作为第一合流行为。在一些实施例中，训练的影响计算器206可以确定具有满足预定义影响度量阈值的影响度量的合流行为的子集，并从合流行为的子集中随机选择第一合流行为。在一些实施例中，训练的影响计算器206可以基于影响度量为合流车辆选择多个第一合流行为。例如，训练的影响计算器206可以为合流车辆选择“将车辆速度调整至目标合流速度30m/s”(例如，67mph)的合流行为以及“将转向角度调整至目标转向角度35°”的合流行为以作为第一合流行为。在一些实施例中，在给定第一时间戳处的合流区域的第一状态的情况下，(一个或多个)第一合流行为可以被确定为将由合流车辆执行以在第一时间戳处合流到高速公路段中的(一个或多个)最佳合流行为。

在框610中，合流应用120可以向合流车辆提供包括(一个或多个)第一合流行为的合流指令，合流指令可以指示合流车辆在合流区域中执行(一个或多个)第一合流行为。在一些实施例中，合流应用120可以经由合流车辆的一个或多个输出设备生成并向驾驶员显示包括(一个或多个)第一合流行为的合流引导消息。例如，合流应用120可以在合流车辆的触摸屏上显示表示合流车辆相对于入口匝道段的车辆位置的动态图形地图和合流引导消息(例如，“将车辆速度调整至67mph并将转向角度调整至35°”)。在另一示例中，可以以语音指令的形式提供合流引导消息以便由驾驶员遵循并相应地执行合流。

在一些实施例中，合流应用120可以将包括(一个或多个)第一合流行为的合流指令传送到合流车辆的控制单元(例如，ecu)。在一些实施例中，合流车辆的控制单元可以处理合流应用120的合流指令并控制合流车辆以在合流区域中执行合流行为。例如，控制单元可以致动合流车辆的速度致动器和转向致动器，以根据合流指令自动将合流车辆的车辆速度调整至67mph，并将合流车辆的转向角度调整至35°。因此，合流车辆可以自动执行在给定第一时间戳处的合流区域的第一状态的情况下被确定为最佳合流行为的第一合流行为，从而在没有人为干预的情况下自动地从入口匝道段合流到高速公路段。

在以上描述中，出于解释的目的，阐述了许多具体细节以便提供对本公开的透彻理解。然而，应该理解，可以在没有这些具体细节的情况下实践本文描述的技术。此外，各种系统、设备和结构以框图形式示出，以避免模糊描述。例如，各种实现被描述为具有特定的硬件、软件和用户界面。然而，本公开适用于可以接收数据和命令的任何类型的计算设备，以及提供服务的任何外围设备。

在一些实例中，本文可以从对计算机存储器内的数据位的操作的算法和符号表示方面呈现各种实施方式。并且这里的算法通常被认为是导致期望结果的自相容操作集。操作是需要物理操纵物理量的操作。通常，尽管不是必须的，这些量采用能够被存储、传输、组合、比较和以其他方式操纵的电信号或磁信号的形式。主要出于通用的原因，已经证明有时将这些信号称为比特、值、元素、符号、字符、项、数字等是方便的。

然而，应该记住，所有这些和类似术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便标签。除非如从以下讨论中明显看出地那样另有明确说明，否则应理解，在整个本公开中，利用包括“处理”、“计算(computing)”、“演算(calculating)”、“确定”、“显示”等的术语的讨论指的是计算机系统或类似电子计算设备的行为和处理，该计算机系统或类似电子计算设备操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将该数据转换成类似地表示为计算机系统存储器或寄存器或其他这种信息存储、传输或显示设备内的物理量的其他数据。

本文描述的各种实施例可以涉及用于执行本文的操作的装置。该装置可以为所需目的而专门构造，或者它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中，计算机可读存储介质包括但不限于任何类型的盘，包括各自耦接到计算机系统总线的软盘、光盘、cdrom和磁盘、只读存储器(rom)、随机存取存储器(ram)、eprom、eeprom、磁卡或光卡、包括具有非易失性存储器的usb密钥的闪存或适用于存储电子指令的任何类型的介质。

本文描述的技术可以采用完全硬件实现、完全软件实现或包含硬件和软件元件的实现的形式。例如，该技术可以用软件实现，该软件包括但不限于固件、驻留软件、微代码等。此外，该技术可以采用可从计算机可用或计算机可读介质访问的计算机程序产品的形式，该计算机可用或计算机可读介质提供用于由计算机或任何指令执行系统使用或与计算机或任何指令执行系统结合使用的程序代码。为了描述的目的，计算机可用或计算机可读介质可以是任何非暂态存储装置，其可以包含、存储、传送、传播或传输程序以用于指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用。

适用于存储和/或执行程序代码的数据处理系统可包括通过系统总线直接或间接耦接到存储器元件的至少一个处理器。存储器元件可以包括在程序代码的实际执行期间使用的本地存储器、大容量存储装置和提供至少一些程序代码的临时存储以便减少在执行期间必须从大容量存储装置检索代码的次数的高速缓冲存储器。输入/输出或i/o设备(包括但不限于键盘、显示器、指示设备等)可以直接或通过中间i/o控制器耦接到系统。

网络适配器还可以耦接到系统，以使数据处理系统能够通过中间私有和/或公共网络耦接到其他数据处理系统、存储设备、远程打印机等。无线(例如，wi-fi^tm)收发器、以太网适配器和调制解调器仅是网络适配器的一些示例。私有和公共网络可以具有任何数量的配置和/或拓扑。可以使用包括例如各种因特网层、传输层或应用层协议的各种不同的通信协议经由网络在这些设备之间发送数据。例如，可以使用传输控制协议/因特网协议(tcp/ip)、用户数据报协议(udp)、传输控制协议(tcp)、超文本传输协议(http)、安全超文本传输协议(https)、http上的动态自适应流(dash)、实时流协议(rtsp)、实时传输协议(rtp)和实时传输控制协议(rtcp)、因特网协议语音(voip)、文件传输协议(ftp)、websocket(ws)、无线接入协议(wap)、各种消息传递协议(sms、mms、xms、imap、smtp、pop、webdav等)或其他已知协议经由网络发送数据。

最后，本文提出的结构、算法和/或接口并不固有地与任何特定计算机或其他装置相关。根据本文的教导，各种通用系统可以与程序一起使用，或者可以证明构造更专用的装置以执行所需的方法块是方便的。从上面的描述中可以看出用于各种这些系统的所需的结构。另外，没有参考任何特定编程语言描述说明书。应当理解，可以使用各种编程语言来实现如本文所述的说明书的教导。

已经出于说明和描述的目的提出了前面的描述。它并非旨在穷举或将说明书限制于所公开的确切形式。鉴于上述教导，许多修改和变化都是可能的。旨在本公开的范围不受该详细描述的限制，而是受本申请的权利要求的限制。如熟悉本领域的技术人员将理解的，在不脱离本发明的精神或基本特征的情况下，说明书可以以其他具体形式实施。同样，模块、例程、特征、属性、方法和其他方面的特定命名和划分不是强制性的或重要的，并且实现说明书或其特征的机制可以具有不同的名称、划分和/或格式。

此外，本公开的模块、例程、特征、属性、方法和其他方面可以实现为软件、硬件、固件或前述的任何组合。此外，无论何处将说明书的组件(其示例是模块)实现为软件，该组件都可以作为独立程序、作为更大程序的部分、作为多个单独的程序、作为静态或动态链接的库、作为内核可加载模块、作为设备驱动程序、和/或以现在或将来已知的每种和任何其他方式实现。另外，本公开绝不限于以任何具体的编程语言或任何具体的操作系统或环境的实现。