用于航拍视频交通分析的系统和方法与流程

相关申请的交叉引用

该专利文件要求2017年10月5日提交的美国专利申请第15/725,747号的优先权和权益，该申请通过引用的方式全部并入本文。

在该专利文件中公开的技术和实施方式大体上涉及用于人类驾驶员建模、轨迹生成和运动计划、车辆控制系统、自主驾驶系统以及自主驾驶模拟系统的工具(例如系统、装置、方法、计算机程序产品等)。

背景技术：

自主车辆导航是一种用于感测车辆的位置和移动并且基于该感测来自主地控制车辆朝着目的地进行导航的技术。自主车辆导航可以在人员、货物和服务的运输中具有重要的应用。

技术实现要素：

本文公开了一种用于航拍视频交通分析的系统和方法。航拍视频交通分析包括以下任务：从飞行器(例如uav)所捕获到的航拍视频中提取交通信息(包括地面车辆的形状、行驶方向和轨迹)，飞行器以期望的地理位置和高度被定位在路面正上方。航拍视频是一种用于采集交通信息的廉价的方式。如本文公开的航拍视频交通分析可以提供对在现实世界交通环境和状况中的人类驾驶行为的重要见解。这些人类驾驶行为见解可以用于训练人类驾驶行为模型，该模型可以与用于配置自主驾驶控制系统的模拟环境一起使用。在本文所公开的各个示例实施例中，提出了解决方案，用于通过将经典的深度计算机视觉方法与专门定制的深度学习模型相结合，来完成航拍视频交通分析。本文所公开的示例实施例在大多数状况下都可以实现像素级准确度。示例实施例还解决了由在典型的交通环境中的车辆的多样性所引起的另一具有挑战性的问题。本文所公开的示例实施例可以识别所有类型的车辆，从如同摩托车的小型车辆到如同运输拖车的大型车辆。所公开的示例实施例对车辆的大小不敏感，这使得各个实施例适合于所有类型的车辆。

本专利文件尤其提供了一种用于航拍视频交通分析的系统和方法，该系统和方法可以例如用于人类驾驶员建模、轨迹生成和运动计划、车辆控制系统、自主驾驶系统以及自主驾驶模拟系统。在所公开的技术的实施方式中，一种系统包括：无人驾驶飞行器(uav)，配备有相机，以升高的位置被部署在被监测的位置处，uav被配置为使用uav相机来在预定时间段内捕获被监测的位置的视频图像序列；数据处理器；以及图像处理模块，可由数据处理器执行。图像处理模块被配置为：从uav接收捕获到的视频图像序列；通过去除不必要的图像来对视频图像序列进行剪辑；通过选择参考图像并且针对参考图像调整其他图像来使视频图像序列稳定；提取视频图像序列中的背景图像以进行车辆分割；执行车辆分割以逐个像素地标识视频图像序列中的车辆；确定每个所标识的车辆的质心、行驶方向和矩形形状；执行车辆追踪以在视频图像序列的多个图像帧中检测相同的所标识的车辆；并且产生视频图像序列的输出和可视化，包括背景图像和每个所标识的车辆的图像的组合。

在所公开的技术的另一实施方式中，一种方法包括：从无人驾驶飞行器(uav)接收捕获到的视频图像序列；通过去除不必要的图像来对视频图像序列进行剪辑；通过选择参考图像并且针对参考图像调整其他图像来使视频图像序列稳定；提取视频图像序列中的背景图像以进行车辆分割；执行车辆分割以逐个像素地标识视频图像序列中的车辆；确定每个所标识的车辆的质心、行驶方向和矩形形状；执行车辆追踪以在视频图像序列的多个图像帧中检测相同的所标识的车辆；以及产生视频图像序列的输出和可视化，包括背景图像和每个所标识的车辆的图像的组合。

在所公开的技术的再一实施方式中，一种系统包括：无人驾驶飞行器(uav)，配备有相机，以升高的位置被部署在被监测的位置处，uav被配置为使用uav相机来在预定时间段内捕获被监测的位置的视频图像序列；背景提取电路，被通信地耦合至uav以接收被监测的位置的视频图像序列以提取被监测的位置的背景图像；车辆分割电路，被耦合至背景提取电路以接收被监测的位置的背景图像，车辆分割电路被通信地耦合至uav以接收被监测的位置的视频图像序列以对每个视频帧进行分割并且将每个视频帧与被监测的位置的背景图像级联以产生级联图像数据；以及车辆追踪电路，被耦合至车辆分割电路以接收级联图像数据以在视频图像序列的多个图像帧中检测相同的所标识的车辆。

附图说明

在附图的图表中，通过示例的方式而不是通过限制的方式来对各个实施例进行图示，其中：

图1a是图示了用于使用无人驾驶飞行器(uav)的交通数据采集的系统和方法的示例实施例的操作流程图，并且图1b图示了基于所公开的技术的实施例的图像处理器的示例组件；

图2至图5图示了一种示例场景，其中uav配置有相机，并且以升高的位置被定位在要监测的特定位置处，以记录在uav的视场内的位置处的交通活动的视频；图6是图示了用于训练示例实施例中的车辆分割模块的系统和方法的示例实施例的操作流程图；

图7图示了示例实施例的人类驾驶员模型系统的组件；

图8是图示了用于使用uav的交通数据采集的系统和方法的示例实施例的过程流程图；以及

图9以计算机系统的示例形式示出了机器的图示，在该计算机系统内，一组指令在被执行时可以使机器执行本文所讨论的方法的任何一种或者多种方法。

具体实施方式

在下面的描述中，为了进行解释，阐述了许多具体细节以提供对各个实施例的透彻理解。然而，对于本领域的普通技术人员而言，将显而易见的是：可以在没有这些具体细节的情况下实践各个实施例。

有时可以使用模拟的人类驾驶员环境来配置自主车辆的控制系统。模拟的人类驾驶员环境尝试对在各种驾驶环境中人类驾驶员的典型驾驶行为进行建模。然而，基于从自主车辆或者相关探测车辆上的传感器和相机收集到的信息，可以构建模拟的人类驾驶员环境。由于该信息(包括来自车辆相机的图像)会受图像遮挡和不可靠的图像重建准确度的影响，因此，模拟的人类驾驶员环境的实用性和有效性被降级。此外，由于车辆本身和高架物体(诸如树木、建筑物、建筑设备等)所投射的阴影，图像遮挡问题更加复杂。由于车辆类型和颜色的多样性，很难实施阴影检测或者去除。由于被收集用于配置模拟的人类驾驶员环境的图像数据存在这些问题，因此，基于降级的模拟人类驾驶员环境的自主驾驶汽车的控制系统的有效性会受到损害。

本文档提供了可以由各个实施例用于解决上述问题以及其他问题的技术。

图1a是图示了用于使用无人驾驶飞行器(uav)的交通数据采集的系统和方法的示例实施例的操作流程图，并且图1b图示了基于所公开的技术的实施例的图像处理器的示例组件。图2至图5图示了在图1a中示出的操作的示例场景，其中uav配置有相机，并且以升高的位置被定位在要监测的特定位置处，以记录在uav的视场内的位置处的交通活动的视频。

现在参照图1a，使用uav来进行航拍视频交通分析的过程包括：飞行器110的剪辑和稳定化；背景提取115；地面车辆分割120；质心、行驶方向和形状推断处理125；地面车辆追踪130；以及输出和可视化135。在所公开技术的示例实施方式中，在飞行器110的剪辑和稳定化的步骤中产生视频图像数据的每个帧111，在背景提取115的步骤中产生背景图像116，在质心、行驶方向和形状推断处理125的步骤中产生所标识车辆图像126，并且在地面车辆追踪130的步骤中产生组合图像131。

参照图1b，基于所公开的技术的实施例实施的系统包括无人飞行器(uav)202、背景提取电路181、车辆分割电路183和车辆追踪电路185。uav202配备有相机，以升高的位置被部署在被监测的位置处，并且uav202被配置为使用uav相机来在预定时间段内捕获被监测的位置的视频图像序列。背景提取电路181被通信地耦合至uav202，以接收被监测的位置的视频图像序列，以提取被监测的位置的背景图像。车辆分割电路183被耦合至背景提取电路以接收被监测的位置的背景图像。车辆分割电路183还被通信地耦合至uav202，以接收被监测的位置的视频图像序列，以对每个视频帧进行分割，并且将每个视频帧与被监测的位置的背景图像级联，以产生级联图像数据。车辆追踪电路185被耦合至车辆分割电路，以接收级联图像数据，以在视频图像序列的多个图像帧中检测相同的所标识的车辆。

在所公开的技术的示例实施方式中，示例实施例中用于航拍视频交通分析的系统和过程开始于采集由uav202所获得的航拍视频图像数据，该uav在要监测的特定位置(例如高速公路)正上方飞行。现在参照图2，示例场景示出了由uav202利用相机捕获到的视频图像数据的捕获图像204，该uav202以升高的位置被定位在要监测的特定位置，以记录在uav的视场内的位置处的交通活动的视频图像数据。示例实施例的系统和方法提供了使用现代的uav的交通数据采集，考虑到uav，这些现代的uav创建鸟瞰图(俯瞰图)，并且提供与交通活动相关的准确数据。现代的uav202能够以升高的位置悬停或者在空中移动，以具有高度的稳定性来采集与位置相关的数据，而不管可能不适合于进行数据采集的天气状况。利用在uav202上配置的高清并且稳定的相机，可以采集具有空前的高质量的数据。采集到的数据真实地反映了真实的与被监测的位置相关的现实世界交通信息。此外，uav的存在不会干扰uav正在观察的交通活动，这与当前在实践中的任何数据采集方法相反。进一步地，使用uav202的数据采集消除了由在相机的视场中的障碍物引起的遮挡问题。没有遮挡对于在采集了数据之后执行的有效和高保真图像数据处理而言很重要。最后，普通廉价的消费者uav202足以实现大多数图像数据收集任务。

仍然参照图2，uav202可以从被监测的位置204采集无障碍物视频图像数据。因此，采集到的视频图像数据可以包括道路231、交通流、车辆232或视场中的其他物体在预定时间段内的图像。因此，可以记录车辆232和物体在捕获到的图像204中的位置处的活动和行为，并且随后对该活动和行为进行分析和处理，从而将该活动和行为包括到人类驾驶员模型中。由uav202捕获到的视频(包括捕获到的图像204)没有障碍物，并且因此，提供了捕获到的图像204中的被监测的位置的始终清晰的鸟瞰图，该鸟瞰图为人类驾驶员模型提供更准确的并且更有用的数据。uav202的升高的位置实现更好的视频捕获，这引起更好的建模和模拟。此外，当与相机被安装在探测车辆上或者被安装在固定的陆基位置处的传统系统比较时，可以在低费用并且不干扰环境的情况下使用uav。

仍然参照图1a和图2，当记录视频图像数据时，uav202应该理想地保持静止，但是可容许小量的漂移。然而，示例实施例提供了用于对错误的图像数据进行校正的剪辑和稳定化操作(在图1a中示出的操作框110)。对视频图像数据执行剪辑和稳定化操作，以完全去除在视场中的任何漂移。进行剪辑去除了视频图像数据中uav202不规则地进行移动的任何部分。稳定化使所有视频帧的背景表面与所选择的参考帧的背景表面对准。在特定实施例中，可以使用harris角点检测器来在参考帧上选择关键点。harris角点检测是一种众所周知的过程，它在计算机视觉系统内使用，以提取某些种类的特征并且推断图像的内容。接下来，示例实施例可以应用金字塔形lucas-kanade稀疏光流过程以找到与每个视频帧中的点对应的关键点。在计算机视觉中，lucas-kanade方法是由bruced.lucas和takeokanade开发的一种用于光流估计的、广泛使用的差分法。通过组合来自若干附近的像素的信息，lucas-kanade方法通常可以解决光流方程的固有歧义。此外，示例实施例可以使用随机抽样一致(ransac)方法来对体现每个视频帧与参考帧的对准的透视变换矩阵进行求解。ransac是一种迭代方法，用于当使离群值符合不影响估计中的各个值时，从包括离群值的一组观察数据估计数学模型的参数。因此，示例实施例可以使所有视频帧的背景表面与所选择的参考帧的背景表面对准。使用透视变换矩阵来执行每个帧的稳定化。如果矩阵指示uav运动大于所需运动，则可以去除视频图像数据的片段。去除不合适的视频片段被称为剪辑。

现在参照图1b和图3，在将视频图像数据发送至车辆分割模块183之前，可以对视频图像数据执行背景提取，以生成没有任何移动车辆的真实背景图像205(在图1a中示出的操作框115)。在示例实施例中，背景提取可以基于如同ransac的过程，其中对于在视场中的每个像素，从随着时间从视频采样到的帧的类集推断主色值。该过程趋向于从背景图像205中滤出移动的物体(例如车辆232)；因为在整个帧类集中，移动的物体的像素不是静态的。实际上，该背景提取过程很好地起作用，从而生成与如在图3的示例中示出的真实图像几乎无区别的背景图像(例如背景图像205)。

现在参照图1b和图4，在如上面描述的那样从每个视频图像中提取背景之后，示例实施例可以对每个视频帧进行分割，以标识在视频图像帧中捕获到的移动物体的位置和形状。示例实施例中的过程的该部分被表示为地面车辆分割(在图1a中示出的操作框120)。车辆分割模块183可以用于该过程。示例实施例的车辆分割模块可以采用两个输入：1)视频图像数据111中的每个帧，以及2)按照上面描述的方式提取的对应背景图像116。对于视频图像数据中的每个帧，可以将视频图像帧与对应的背景图像级联。可以通过车辆分割模块183的神经网络来处理级联图像数据。在一个示例实施例中，u-net架构可以被用于神经网络处理。u-net是一种用于快速地并且精确地对图像进行分割的卷积网络架构。神经网络可以输出在视场中的每个像素的二进制分类，该二进制分类表示像素是否是车辆的一部分。下面详细说明了对该神经网络的训练。在视场中的每个像素的二进制分类的类集可以被用于生成车辆分割掩码，该车辆分割掩码定义在视场内的视频图像帧中标识的每个车辆物体的位置和大体或者粗略形状。

仍然参照图4，在如上面描述的那样生成车辆分割掩码之后，示例实施例可以使用车辆分割掩码，来推断由神经网络标识的每个车辆的质心、行驶方向和矩形形状(例如在图1a中示出的操作框125)。在图4的示例中示出了该数据的视觉表示206。该视觉表示206可以包括上面讨论的所标识的车辆图像126。当与一般的车辆掩码相比较时，该表示通常是更好的并且更有用的表示，因为当从上向下看时，在由uav捕获到的图像中标识的大多数车辆都是矩形。

作为用于确定每个所标识的车辆233的质心、行驶方向和矩形形状的过程的一部分，示例实施例首先去除由车辆分割模块183产生的分割结果中的噪声点。然后，可以使用与每个车辆对应的其余连接的像素组件来表示在图像数据中标识的车辆的形状。可以将与车辆对应的连接组件的质心用作车辆的质心。可以通过对与车辆的连接组件对应的中心协方差矩阵的特征向量进行求解，来确定车辆的行驶方向。因此，示例实施例可以生成方向，沿着该方向，作为分布的形状的变化被最大化。该方向与关联于形状分布的车辆的行驶方向对应。通过采用沿着行驶方向的方向以及垂直于行驶方向的方向而投影的形状的百分位，来推断车辆的矩形。按照这种方式，可以提取在每个视频帧中的每个车辆的几何信息。同样，可以如上面描述的那样确定每个所标识的车辆的质心、行驶方向和矩形形状。

一旦如上面描述的那样提取了在每个视频帧中的每个车辆的几何信息，就可以执行随着时间通过图像帧的类集的车辆追踪(在图1a中示出的操作框130)。车辆追踪模块185可以用于该过程。示例实施例中的车辆追踪模块185可以应用于将在多个图像帧中的相同的车辆检测关联。在示例实施例中，可以使用追踪方法，在该追踪方法中，可以将在单个图像帧中的每次车辆检测与在前一图像帧或者后一图像帧中的至多一次车辆检测相关联。如果与车辆检测对应的图像数据在两个连续的图像帧中重叠，则车辆追踪模块185可以在多个图像帧中推断相同的车辆检测。按照这种方式，车辆追踪模块185可以通过多个图像帧来追随相同的车辆，并且确定车辆的速度。可以生成与每个车辆的速度对应的可见的速度向量，并且将其添加到视频图像数据。在示例实施例中，只要车辆分割是准确的，即使对于像摩托车一样的小型车辆，车辆追踪模块185也很好地起作用。在另一实施例中，可以利用唯一的标识符来对在输入的图像数据中标识的车辆的每个实例(例如在图7中示出的功能块210)进行标记，以区分不同的车辆并且使得能够利用相同的标识符来在不同的图像帧中追踪相同的车辆。若需要，可以使用该标记过程来促进对于跨多个图像帧的多个车辆的标识和追踪。

现在参照图5，在已经如上面描述的那样确定或者生成每个所标识的车辆的质心、行驶方向、矩形形状、追踪数据和速度向量之后，可以如示出的那样，生成对所标识车辆的车辆数据的输出和可视化表示207(在图1a中示出的操作框135)。该视觉表示207可以包括上面讨论的组合图像131。若需要，输出和可视化表示207可以包括背景图像205和每个所标识的车辆234的图像的组合以及视觉边界框235和速度向量。如下面更详细地描述的，与输出和可视化表示207对应的数据可以由人类驾驶员模型系统(例如在图7中示出的系统201)使用，以建立模型，用于表示在由uav成像的环境中的典型驾驶行为。

对示例实施例中的车辆分割模块的训练

图6是图示了用于训练示例实施例中的车辆分割模块183的系统和方法的示例实施例的操作流程图；在本文描述的示例实施例中，航拍视频分析和处理流水线中唯一需要进行训练的模块是车辆分割模块183。可以在如下面结合图6详细地描述的离线训练过程中执行对车辆分割模块183的训练。

在示例实施例中的离线训练过程中，为了训练将车辆物体与背景图像分离的车辆分割模块183的神经网络，离线训练过程包括：采集并且标记训练图像数据集。在示例实施例中，uav配置有相机并且以升高的位置被定位在要监测的特定位置处，以记录在uav的视场内的位置处的交通活动的视频。参照图6，示例实施例中的用于训练车辆分割模块183的方法开始于采集由在要监测的特定位置(例如高速公路)正上方飞行的uav202获得的航拍视频图像数据。由uav202采集到的数据真实地反映了真实的与被监测的位置相关的现实世界交通信息。uav202可以从被监测的位置204采集无障碍物视频图像数据。因此，采集到的视频图像数据可以包括道路、交通流和车辆或在视场中的其他物体在预定时间段内的图像。因此，可以记录车辆和物体在位置204处的活动和行为，并且随后将该活动和行为用于训练车辆分割模块183以准确地识别图像数据中的车辆物体。

仍然参照图6，当记录视频图像数据时，uav202应该理想地保持静止，但是可容许小量的漂移。然而，示例实施例提供了用于对错误的图像数据进行校正的离线剪辑和稳定化操作610。对视频图像数据执行离线剪辑和稳定化操作610，以去除在视场中的任何漂移。进行剪辑去除了视频图像数据中uav202不规则地进行移动的任何部分。稳定化使所有视频帧的背景表面对准所选择的参考帧的背景表面。如上所述，对于特定实施例，可以使用harris角点检测器来在参考帧上选择关键点。示例实施例可应用金字塔形lucas-kanade稀疏光流过程，以找到与每个视频帧中的点对应的关键点。此外，示例实施例可以使用随机抽样一致(ransac)方法，来对体现每个视频帧与参考帧的对准的透视变换矩阵进行求解。因此，示例实施例可以使所有视频帧的背景表面与所选择的参考帧的背景表面对准。使用透视变换矩阵来执行每个帧的稳定化。如果矩阵指示uav运动大于所需运动，则可以去除视频图像数据的片段。去除不合适的视频片段被称为剪辑。

仍然参照图6，可以对视频图像数据执行离线背景提取操作615，以生成没有任何移动车辆的真实图像。在如上面描述的示例实施例中，背景提取可以基于如同ransac的过程，其中对于在视场中的每个像素，从随着时间从视频采样到的帧的类集推断主色值。

仍然参照图6，在如上面描述的操作615中从每个视频图像提取了背景之后，示例实施例可以将生成的数据存储在数据存储设备中所保留的分割训练数据集630中，并且将其用于训练车辆分割模块183的神经网络。此外，可以在操作620中随机地对经过剪辑和稳定化的航拍视频图像数据的帧进行采样，并且将其传递到手动图像标记过程625。该手动图像标记过程625可以包括：将采样到的图像帧呈现给人类标记员或者离线自动化过程以对采样到的图像帧进行手动分割标记。在手动分割标记过程中，人类标记员可以绘制帧中的所有车辆的形状。手动图像标记过程625的目的是提供地面真实数据集，可以利用该地面真实数据集来训练车辆分割模块183。可以将由手动图像标记过程625生成的手动分割标记数据存储在被保留在数据存储设备中的分割训练数据集630中。在完成背景提取过程615和手动图像标记过程625时，采集采样到的图像帧、其对应的背景图像帧和分割标记作为分割训练数据集630并且进行保留用于神经网络训练。在示例实施例中，车辆分割模块183的神经网络可以是通用的神经网络架构，诸如上面描述的u-net架构。可以将视频图像帧、对应的背景图像帧和手动分割标记用作来自分割训练数据集630的输入来训练车辆分割模块183的神经网络。通过使用标准的神经网络训练程序，可以使用分割训练数据集630来配置车辆分割模块183中的参数，以使车辆分割模块183准确地标识在由uav202提供的一个或者多个视频图像帧中的车辆物体。因此，可以训练车辆分割模块183，以输出准确的车辆分割标记并且用作有效的车辆分割模型640，这对支持本文所描述的航拍视频交通分析系统非常有用。

如上所述，示例实施例中的系统可以提供航拍视频交通分析。示例实施例可以包括对应的方法，该方法可以被配置为：

1.接收图像序列(例如视频)；

2.通过去除不必要的图像来对图像序列进行剪辑(例如去除在uav起飞、降落或者仅捕获目标位置的一部分时所捕获到的图像)；

3.通过选择参考图像并且针对参考图像调整/校准其他图像来使图像序列稳定；

4.提取图像序列中的背景图像以进行车辆分割，逐个像素地提取没有车辆的背景图像；

5.执行物体/车辆分割，以逐个像素地标识图像序列中的物体/车辆；

6.确定每个所标识的车辆的质心、行驶方向和矩形形状；

7.执行车辆追踪，以在视频图像序列的多个图像帧中检测相同的所标识的车辆；并且

8.产生图像序列的输出和可视化(若需要)，包括背景图像和每个所标识的车辆的图像的组合以及视觉边界框和速度向量。

现在参照图7，可以在用于自主车辆的人类驾驶员模型系统201的语境中使用本文公开的示例实施例。在一个示例实施例中，人类驾驶员模型系统201可以从被定位在被监测的特定道路(例如被监测的位置)上方的uav来接收高清图像数据和其他传感器数据(例如交通或者车辆图像数据210)。由uav采集到的图像数据真实地反映了真实的与被监测的位置相关的现实世界交通信息。通过使用众所周知的uav的标准能力，可以无线地(或者以其他方式)将交通或者车辆图像数据210传递给标准计算系统的数据处理器171，可以在该标准计算系统上执行人类驾驶员模型模块175和/或图像处理模块173。备选地，可以将交通或者车辆图像数据210存储在uav上的存储器设备中，并且随后将其传递给数据处理器171。下面更详细地描述了由示例实施例中的人类驾驶员模型模块175执行的处理。由部署的uav提供的交通或者车辆图像数据210可以由图像处理模块173接收并且进行处理，该交通或者车辆图像数据210也可以由数据处理器171执行。如上所述，图像处理模块173可以执行：剪辑；稳定化；背景提取；物体/车辆分割；车辆质心、行驶方向和形状推断处理；车辆追踪；输出和可视化生成以及用于在接收到的图像中隔离车辆或者物体存在和活动的其他图像处理功能。人类驾驶员模型模块175可以使用与这些现实世界车辆或者物体相关的信息来在人类驾驶员模型中创建车辆或者物体的对应模拟。保留在车辆分割中的参数值和存储在存储器172中的人类驾驶员模型参数数据集174可以用于配置人类驾驶员模型模块175的操作。如上面更详细的描述的，uav的升高的位置在被监测的位置上方，并且uav上的稳定的高清相机提供了非常有价值的和有用的图像和数据馈源，以供人类驾驶员模型模块175使用。作为由人类驾驶员模型系统201执行的处理的结果，可以产生与预测的或者模拟的驾驶员行为220对应的数据，并且将其提供给用户或者其他系统组件。具体地，可以将预测的或者模拟的驾驶员行为数据220提供给用于创建虚拟世界的系统组件，在该虚拟世界中，可以训练并且改进用于自主车辆的控制系统。虚拟世界被配置为(尽可能)与由人类驾驶员操作车辆的现实世界相同。换句话说，模拟的驾驶员行为数据间接地对配置用于自主车辆的控制系统有用。对于本领域的普通技术人员而言将清楚的是：也可以在各种其他应用和系统中实施、配置、处理和使用本文所描述的并且要求保护的人类驾驶员模型系统201和交通或者车辆图像数据210。

可以使用基本的人类驾驶员模型来利用模拟场景中的模拟驾驶员而对自主车辆的行为进行模拟或者预测。基本的人类驾驶员模型表示被配置为(尽可能)与由人类驾驶员操作车辆的现实世界相同的虚拟世界。该虚拟世界可以用于训练和改进用于自主车辆的控制系统。因此，模拟可以间接地对配置自主车辆中的控制系统有用。这种人类驾驶员模型可以是参数化模型，可以使用现实世界输入或者随机变量来配置这些参数化模型。在一个示例中，基本的人类驾驶员模型可以对典型的和非典型的驾驶员行为进行模拟，诸如转向或者行驶方向控制、速度或者油门控制以及停止或者制动控制。在一个示例中，例如，基本的人类驾驶员模型可以使用感官运动来传输延迟、动态能力和优选驾驶行为。在一些实施方式中，人类驾驶员模型可以包括对刺激与模拟驾驶员的控制响应之间的传输时间延迟进行建模。在一些实施方式中，该延迟可以表示驾驶员感觉到刺激，对刺激进行处理，确定最佳校正动作并且做出反应所需的时间。人类驾驶员模型还可以包括速度控制模型，该速度控制模型具有绝对最大车辆速度(例如车辆的最大速度、超过的话会使驾驶员不舒服的速度等)和转弯距离程度的度量，用以基于转弯半径来降低速度。在该示例中，该速度控制模型可以对驾驶员减速转弯的趋势进行复制。在该示例中，一旦转弯半径在该场景中下降到低于转弯阈值，就可以与转弯的紧密度成比例地降低速度。

在各个示例实施例中，人类驾驶员模型可以被配置为不止对典型的驾驶行为进行模拟。为了对尽可能与现实世界相同的环境进行模拟，人类驾驶员模型需要有关典型的驾驶行为的数据，这些数据代表普通人，但是同样需要非典型的驾驶行为。换句话说，实际上，大多数人类驾驶员都以愉悦和谦逊的方式驾驶车辆，而其他驾驶员剧烈地和不耐烦地进行驾驶。等效地，各个示例实施例中的模拟系统包括与虚拟世界中的不礼貌的和不耐烦的驾驶员的驾驶行为相关的数据。总之，人类驾驶员模型可以配置有表示驾驶行为的数据，这些数据尽可能地多样。

在一些实施方式中，可以将人类可以响应刺激的方式的动力学包括在人类驾驶员模型中，例如，该动力学可以包括驾驶员进行制动和加速的剧烈程度的度量。在一些实施方式中，可以将驾驶剧烈的驾驶员建模为应用非常高的控制输入以实现期望的车速的驾驶员，而保守的驾驶员可以使用更多的渐进控制输入。在一些实施方式中，可以使用参数化的值来对这一点进行建模，其中将输入控制到期望值。在一些实施方式中，通过调整参数化的值，可以增加或者减少模拟的驾驶员的剧烈程度。

现在参照图8，流程图图示了用于航拍视频交通分析的系统和方法1000的示例实施例。该示例实施例可以被配置为：从无人驾驶飞行器(uav)接收捕获到的视频图像序列(处理框1010)；通过去除不必要的图像，来对视频图像序列进行剪辑(处理框1020)；通过选择参考图像并且针对参考图像调整其他图像，来使视频图像序列稳定(处理框1030)；提取视频图像序列中的背景图像，以进行车辆分割(处理框1040)；执行车辆分割，以逐个像素地标识视频图像序列中的车辆(处理框1050)；确定每个所标识的车辆的质心、行驶方向和矩形形状(处理框1060)；执行车辆追踪，以在视频图像序列的多个图像帧中检测相同的所标识的车辆(处理框1070)；并且产生视频图像序列的输出和可视化，包括背景图像和每个所标识的车辆的图像的组合(处理框1080)。

图9以计算系统700的示例形式示出了机器的图示，在该计算系统700内，一组指令在被执行时和/或处理逻辑在被激活时，可以使机器执行本文所描述的和/或要求保护的方法中的任何一种或者多种方法。在备选实施例中，该机器操作为独立设备，或者可以被连接(例如联网)到其他机器。在联网部署中，该机器可以在服务器-客户端网络环境中作为服务器或者客户端机器操作，或者在对等(或者分布式)网络环境中操作为对等机。该机器可以是个人计算机(pc)、膝上型计算机、平板计算系统、个人数字助理(pda)、蜂窝电话、智能电话、网络应用、机顶盒(stb)、网络路由器、交换机或者桥接器或者能够执行一组指令(顺序的或者乱序的)或者激活处理逻辑的任何机器，该一组指令或者处理逻辑指定由待由该机器采取的动作。进一步地，虽然只图示了单个机器，但是术语“机器”也可以被理解为包括单独地或者联合地执行一组(或者多组)指令或者处理逻辑的机器的任何类集，该一组(或者多组)指令或者处理逻辑用于执行本文所描述的和/或要求保护的方法中的任何一种或者多种方法。

示例计算系统700可以包括数据处理器702(例如片上系统(soc)、通用处理核心、图形核心以及可选地，其他处理逻辑)和存储器704，该数据处理器702和存储器704可以经由总线或者其他数据传递系统706来彼此通信。移动计算系统700和/或移动通信系统700还可以包括各种输入/输出(i/o)设备和/或接口710，诸如触摸屏显示器、音频插孔、语音接口以及可选地，网络接口712。在示例实施例中，网络接口712可以包括一个或者多个无线电收发器，该一个或者多个无线电收发器被配置用于与任何一种或者多种标准的无线和/或蜂窝协议或者接入技术(例如用于蜂窝系统、全球移动通信系统(gsm)、通用分组无线业务(gprs)、增强型数据gsm环境(edge)、宽带码分多址(wcdma)、lte、cdma2000、wlan、无线路由器(wr)网格等的第二代(2g)、2.5代、第三代(3g)、第四代(4g)和后代无线接入)的兼容性。网络接口712还可以配置用于与各种其他有线和/或无线通信协议一起使用，包括tcp/ip、udp、sip、sms、rtp、wap、cdma、tdma、umts、uwb、wifi、wimax、bluetooth^tm、ieee802.11x等。本质上，网络接口712可以实际上包括或者支持任何有线和/或无线通信和数据处理机制，通过该机制，信息/数据可以经由网络714在计算系统700与另一计算或者通信系统之间传送。

存储器704可以表示机器可读介质，该机器可读介质上存储有体现本文所描述和/或要求保护的方法或者功能中的任何一个或者多个的一组或者多组指令、软件、固件或者其他处理逻辑(例如逻辑708)。在移动计算和/或通信系统700执行逻辑708或者其一部分期间，逻辑708或者其一部分还可以完全或者至少部分地驻留在处理器702内。同样，存储器704和处理器702还可以构成机器可读介质。逻辑708或者其一部分还可以被配置为在硬件中部分地实施其至少一部分的处理逻辑或者逻辑。还可以经由网络接口712来在网络714上传输或者接收逻辑708或者其一部分。虽然示例实施例中的机器可读介质可以是单种介质，但是术语“机器可读介质”应该被理解为包括存储一组或者多组指令的单种非暂时性介质或者多种非暂时性介质(例如集中式或者分布式数据库和/或相关联的高速缓冲存储器和计算系统)。术语“机器可读介质”还可以被理解为包括任何非暂时性介质，这些任何非暂时性介质能够存储、编码或者携带用于由机器执行并且使机器执行各个实施例中的任何一种或者多种方法的一组指令，或者能够存储、编码或者携带由这样一组指令利用或者与这样一组指令相关联的数据结构。术语“机器可读介质”可以相应地被理解为包括但不限于：固态存储器、光学介质和磁介质。

提供本公开的摘要以使读者快速地确定本技术公开的性质。提交摘要时，要理解：摘要将不被用于解释或者限制权利要求书的范围或者含义。另外，在前面的具体实施方式中，可以了解到：为了使本公开简单化，在单个实施例中将各种特征分组在一起。公开中的该方法不应该被解释为反映了以下意图：所要求保护的实施例需要比在每项权利要求中明确叙述的特征更多的特征。相反，如随附权利要求书反映的，发明主题在于少于单个所公开的实施例的所有特征。因此，随附权利要求书以此方式并入具体实施方式，其中每项权利要求独立地作为单独的实施例。