用于预测动态对象行为的方法和系统与流程

本发明的示例涉及用于生成动态对象行为预测的方法和系统，包括用于在自动驾驶车辆的感测环境中生成动态对象行为预测的方法和系统。

背景技术：

1、基于机器学习的行为预测单元用于许多实用系统，如自动驾驶系统或车辆高级驾驶员辅助系统。对于自动驾驶系统或高级驾驶员辅助系统来说，重要的是能够在感测环境(即，由车辆的传感器感测的车辆周围的环境)中生成动态对象将如何行为(例如，行人在穿过街道时将如何移动)的准确预测，以便可以规划车辆的期望路径(例如，避免撞到穿过街道的行人)，或者可以向车辆的驾驶员提供反馈。对动态对象在感测环境中的行为生成有用且准确的预测的一个因素是能够对感测环境中的动态对象之间的交互进行编码，以便定义动态对象的行为如何相互影响。由于问题具有复杂时空性质，对感测环境中的动态对象之间的交互进行编码，具体是对感测环境中的动态对象之间的交互进行编码可能是具有挑战性的。

2、许多现有的交互建模方法通常对感测环境中单个动态对象与其它对象(在某些上下文中也称为代理)之间的交互进行编码。对感测环境中的相应单个动态对象与其它动态对象之间的交互进行编码，并训练基于机器学习的预测单元的模型，以使用表示相应单个动态对象与其它动态对象之间交互的编码数据生成对相应单个动态对象将如何行为的准确预测，在一些上下文中可能是有效的。但是，这种方法通常不能扩展到更大或更复杂的环境，在这些环境中，存在大量动态对象或动态对象的数量高度可变(例如，在繁忙的十字路口中)。用于根据感测环境中的单个动态对象与其它动态对象之间的交互生成单个动态对象将如何行为的准确预测的许多现有模型需要估计与单个动态对象交互的其它对象(包括动态对象和静态对象)的数量，这并不总是能够实现。另一种现有的交互建模方法是使用嵌入形式来创建环境中的单个动态对象与其它动态对象交互的固定大小表示，以便由机器学习的模型进行处理。但是，这种对动态对象之间的交互进行建模的方法必然会丢失一些关于动态对象之间的交互的信息。随着彼此交互的动态对象数量的增加，嵌入可能会导致信息丢失过多，达到令人无法接受的程度。

3、因此，提供一种基于机器学习的技术，用于对动态对象之间的交互进行编码，并用于生成动态对象在感测环境中将如何行为的准确预测，这种技术是有用的。

技术实现思路

1、在各种示例中，本发明描述了用于将感测环境(即，由车辆的各种传感器感测的车辆周围的环境)中不同类别的动态对象与静态对象之间的交互编码为感测环境中交互的单个统一表示的方法和系统。单个统一表示被提供作为行为预测器的输入，以生成一个或多个感兴趣动态对象的未来行为的预测(即，目标动态对象在感测环境中将如何行为)。在感测环境中目标动态的预测未来行为可以进一步作为输入提供给车辆的自动驾驶系统(autonomous driving system，ads)或高级辅助驾驶系统(advanced-assistive drivingsystem，adas)的运动规划器，以进行考虑到目标动态对象在感测环境中的预测行为的运动规划。

2、在本文描述的示例中，基于一些共享特征(例如对象类)，将感测环境的动态对象和静态对象分组为不同的对象类别，并且对不同类别的动态对象与静态对象之间的交互进行编码。在感测环境中，这种不同类别的动态对象与静态对象之间的交互的编码被称为分类编码。与针对感测环境中动态对象之间的交互的传统建模相比，本发明的分类编码方法较不复杂，计算效率更高，该传统建模需要复杂模型来对感测环境中的可变数量的单个动态对象进行编码。对象类别可以是预定义的，并且可以根据所需的应用由任何合适的特征定义(例如，类别可以由不同的对象类别定义，其中，感兴趣的类取决于感兴趣的环境)。

3、由于类别和类别数量是预定义的，因此可以固定编码动态和静态对象类别之间的交互所需的计算时间和内存资源。本发明的示例可以是可扩展的，以能够在大型或复杂环境中预测目标动态对象(例如行人或其它车辆)的行为，而所需的计算时间或内存资源的增加很少或不增加。

4、本发明的示例可用于各种应用，包括自动驾驶、无人机驾驶、异常检测、辅助机器人或智能交通管理等。

5、在一些示例性方面中，本发明描述了一种用于预测车辆的环境中感兴趣动态对象的行为的方法。所述方法包括：接收多个时间序列特征数据，每个时间序列特征数据表示所述环境中的多个对象在多个时间步长上的相应特征，所述多个对象包括感兴趣动态对象。所述方法还包括：将每个时间序列特征数据分类为多个定义的对象类别中的一个，以获得每个定义的对象类别的分类数据集，每个分类数据集包括一个或多个时间序列特征数据，所述一个或多个时间序列特征数据表示属于相应定义的对象类别的一个或多个对象；将每个分类数据集编码为相应的分类表示，每个分类表示表示在所述相应定义的对象类别中的特征的时间变化。所述方法还包括：将所述分类表示组合成单个共享表示，生成分类交互表示，其中，所述分类交互表示是每个定义的对象类别中的时间变化对所述共享表示的最终时间步长的影响的加权表示；基于所述分类交互表示、表示所述多个对象的动态性的数据和表示所述车辆的状态的数据，生成表示所述感兴趣动态对象的预测未来行为的预测数据。

6、在上述任一示例中，组合分类表示可以包括根据时间步长级联所述分类表示，以生成所述单个共享表示。

7、在上述任一示例中，对每个分类数据集进行编码可以包括：对于属于给定对象类别的给定分类数据集，将所述一个或多个时间序列特征数据提供给经过训练的神经网络，以生成时间序列特征向量作为所述给定对象类别的分类表示。

8、在上述任一示例中，所述经过训练的神经网络可以是递归神经网络、卷积神经网络或组合的递归和卷积神经网络。

9、在上述任一示例中，至少一个定义的对象类别可以特定于感兴趣动态对象。

10、在上述任一示例中，所述方法可以包括：接收传感器生成的时间序列传感器数据；将所述时间序列传感器数据预处理为一个时间序列特征数据，所述一个时间序列特征数据包括在接收到的多个时间序列特征数据中。

11、在上述任一示例中，所述车辆是自动驾驶车辆，并且所述方法可以包括：将表示所述感兴趣动态对象的所述预测未来行为的所述预测数据提供给所述自动驾驶车辆的运动规划子系统，以生成所述自动驾驶车辆的规划路径。

12、在一些示例性方面中，本发明描述了一种用于预测车辆的环境中感兴趣对象的动态对象的行为的计算系统。所述计算系统包括：处理器系统，用于执行指令以使所述计算系统的对象行为预测子系统进行以下操作：接收多个时间序列特征数据，每个时间序列特征数据表示所述环境中的多个对象在多个时间步长上的相应特征，所述多个对象包括感兴趣动态对象；将每个时间序列特征数据分类为多个定义的对象类别中的一个，以获得每个定义的对象类别的分类数据集，每个分类数据集包括一个或多个时间序列特征数据，所述一个或多个时间序列特征数据表示属于相应定义的对象类别的一个或多个对象；将每个分类数据集编码为相应的分类表示，每个分类表示表示在所述相应定义的对象类别中的特征的时间变化；将所述分类表示组合成单个共享表示；基于所述单个共享表示生成分类交互表示，所述分类交互表示是加权表示，表示每个定义的对象类别中的时间变化对所述单个共享表示的最终时间步长的影响；基于所述分类交互表示、表示所述多个对象的动态性的数据和表示所述车辆的状态的数据生成预测数据，所述预测数据表示所述感兴趣动态对象的预测未来行为。

13、在一些示例中，所述处理系统可以用于执行指令以执行上述任何方法。

14、在一些示例性方面中，本发明描述了一种计算机可读介质，所述计算机可读介质包括计算机可执行指令，以实现对象行为预测子系统，预测车辆的感测环境中感兴趣动态对象的行为。所述指令当由计算系统的处理系统执行时使所述计算系统进行以下操作：接收多个时间序列特征数据，每个时间序列特征数据表示所述环境中的多个对象在多个时间步长上的相应特征，所述多个对象包括感兴趣动态对象；将每个时间序列特征数据分类为多个定义的对象类别中的一个，以获得每个定义的对象类别的分类数据集，每个分类数据集包括一个或多个时间序列特征数据，所述一个或多个时间序列特征数据表示属于相应定义的对象类别的一个或多个对象；将每个分类数据集编码为相应的分类表示，每个分类表示表示在所述相应定义的对象类别中的特征的时间变化；将所述分类表示组合成单个共享表示；基于所述单个共享表示生成分类交互表示，所述分类交互表示是加权表示，表示每个定义的对象类别中的时间变化对所述单个共享表示的最终时间步长的影响；基于所述分类交互表示、表示所述多个对象的动态性的数据和表示所述车辆的状态的数据生成预测数据，所述预测数据表示所述感兴趣动态对象的预测未来行为。

15、在一些示例中，所述指令可以使所述计算系统执行上述任何方法。