训练方法、装置、服务器、存储介质和计算机程序产品与流程

本公开实施例涉及自动驾驶，特别是涉及一种训练方法、装置、服务器、存储介质和计算机程序产品。

背景技术：

1、端到端自动驾驶是一种基于人工智能和机器学习技术的自动驾驶技术，在端到端自动驾驶中，车辆通过各种传感器获取周围环境的信息，然后将这些信息输入端到端自动驾驶模型中进行分析，该端到端自动驾驶模型利用深度学习和机器学习算法来感知和理解环境，并自动规划车辆的行驶路径和执行行驶动作。

2、传统技术中，对端到端自动驾驶模型的训练需要大量3d（3dimensions）标注数据，且对3d标注需求的精度也较高，这极大增加了训练成本，因此，传统技术存在训练成本高的问题。

技术实现思路

1、本公开实施例提供一种训练方法、装置、服务器、存储介质和计算机程序产品，可以用于降低训练成本。

2、第一方面，本公开实施例提供一种训练方法，所述方法包括：获取训练图像集，训练图像集包括多个二维训练图像，其中，各二维训练图像为多视角图像；对各二维训练图像进行对象识别处理，以得到带有标注的多个候选标注训练图像，将各候选标注训练图像映射至目标三维坐标系，以得到带有标注的多个三维标注训练图像；对各二维训练图像进行特征提取，以得到多个二维训练特征，并将各二维训练特征映射至目标三维坐标系，以得到多个三维训练特征；以三维标注训练图像作为训练伪标签，利用三维训练特征对初始第一深度学习模型进行监督训练，以得到第一深度学习模型。

3、在其中一个实施例中，对各二维训练图像进行对象识别处理，以得到带有标注的多个候选标注训练图像，包括：对于各二维训练图像，将二维训练图像输入至对象识别模型中，以得到对象识别模型输出的带有识别框的中间候选标注训练图像，识别框内包含识别到的对象；对各中间候选标注训练图像进行二值化处理，得到多个候选标注训练图像。

4、在其中一个实施例中，将各候选标注训练图像映射至目标三维坐标系，以得到带有标注的多个三维标注训练图像，包括：将各候选标注训练图像映射至目标三维坐标系，得到多个中间三维标注训练图像；按照视场角度对各中间三维标注训练图像进行分块，将分块后的各中间三维标注训练图像作为多个三维标注训练图像；对应的，将各二维训练特征映射至目标三维坐标系，以得到多个三维训练特征，包括：将各二维训练特征映射至目标三维坐标系，得到多个中间三维训练特征；按照视场角度对各中间三维训练特征进行分块，将分块后的各中间三维训练特征作为多个三维训练特征。

5、在其中一个实施例中，以三维标注训练图像作为训练伪标签，利用三维训练特征对初始第一深度学习模型进行监督训练，包括：将三维训练特征和初始角度块嵌入向量输入至初始第一深度学习模型，得到初始第一深度学习模型输出的图像识别结果以及角度块嵌入向量，其中，角度块嵌入向量是初始第一深度学习模型根据三维训练特征的各个分块的特征以及初始角度块嵌入向量得到的；获取图像识别结果和三维标注训练图像的第一差异信息，并获取角度块嵌入向量和初始角度块嵌入向量的第二差异信息；根据第一差异信息和第二差异信息，对初始第一深度学习模型进行优化。

6、在其中一个实施例中，多个二维训练图像为车辆行驶过程中在不同时刻采集到的多视角图像，方法还包括：获取初始第一深度学习模型在训练过程中输出的角度块嵌入向量；将目标时段内采集的多个二维训练图像对应的角度块嵌入向量按照时间顺序依次输入至初始第二深度学习模型中，并将初始自车规划嵌入向量输入至初始第二深度学习模型中，得到初始第二深度学习模型输出的车辆轨迹预测信息；根据初始第二深度学习模型输出的车辆轨迹预测信息和真实驾驶轨迹信息，对初始第二深度学习模型进行优化，得到第二深度学习模型。

7、在其中一个实施例中，获取训练图像集，包括：获取预设时段内按照时间顺序排列的第一训练图像集；对第一训练图像集进行时间逆序排列，得到第二训练图像集；根据第一训练图像集和第二训练图像集得到训练图像集。

8、第二方面，本公开实施例提供一种训练装置，所述装置包括：获取模块，用于获取训练图像集，训练图像集包括多个二维训练图像，其中，各二维训练图像为多视角图像；第一处理模块，用于对各二维训练图像进行对象识别处理，以得到带有标注的多个候选标注训练图像，将各候选标注训练图像映射至目标三维坐标系，以得到带有标注的多个三维标注训练图像；第二处理模块，用于对各二维训练图像进行特征提取，以得到多个二维训练特征，并将各二维训练特征映射至目标三维坐标系，以得到多个三维训练特征；训练模块，用于以三维标注训练图像作为训练伪标签，利用三维训练特征对初始第一深度学习模型进行监督训练，以得到第一深度学习模型。

9、第三方面，本公开实施例提供一种服务器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

10、第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

11、第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的方法。

12、本公开实施例提供的训练方法、装置、服务器、存储介质和计算机程序产品，通过获取训练图像集，训练图像集包括多个二维训练图像，其中，各二维训练图像为多视角图像，然后对各二维训练图像进行对象识别处理，以得到带有标注的多个候选标注训练图像，将各候选标注训练图像映射至目标三维坐标系，以得到带有标注的多个三维标注训练图像，再对各二维训练图像进行特征提取，以得到多个二维训练特征，并将各二维训练特征映射至目标三维坐标系，以得到多个三维训练特征，而后，以三维标注训练图像作为训练伪标签，利用三维训练特征对初始第一深度学习模型进行监督训练，以得到第一深度学习模型，这样，通过对二维训练图像进行对象识别得到带有标注的多个候选标注训练图像，再将各候选标注训练图像映射至目标三维坐标系，得到带有带有标注的三维标注训练图像，然后以三维标注训练图像作为训练伪标签对模型进行训练的方式，实现了弱监督训练，可以达到降低训练成本的目的。

技术特征：

1.一种训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对各所述二维训练图像进行对象识别处理，以得到带有标注的多个候选标注训练图像，包括：

3.根据权利要求1所述的方法，其特征在于，所述将各所述候选标注训练图像映射至目标三维坐标系，以得到带有标注的多个三维标注训练图像，包括：

4.根据权利要求3所述的方法，其特征在于，所述以所述三维标注训练图像作为训练伪标签，利用所述三维训练特征对初始第一深度学习模型进行监督训练，包括：

5.根据权利要求4所述的方法，其特征在于，所述多个二维训练图像为车辆行驶过程中在不同时刻采集到的多视角图像，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述获取训练图像集，包括：

7.一种训练装置，其特征在于，所述装置包括：

8.一种服务器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本公开实施例涉及一种训练方法、装置、服务器、存储介质和计算机程序产品。所述方法包括：获取训练图像集，训练图像集包括多个二维训练图像，其中，各二维训练图像为多视角图像；对各二维训练图像进行对象识别处理，以得到带有标注的多个候选标注训练图像，将各候选标注训练图像映射至目标三维坐标系，以得到带有标注的多个三维标注训练图像；对各二维训练图像进行特征提取，以得到多个二维训练特征，并将各二维训练特征映射至目标三维坐标系，以得到多个三维训练特征；以三维标注训练图像作为训练伪标签，利用三维训练特征对初始第一深度学习模型进行监督训练，以得到第一深度学习模型。采用本方法能够降低训练成本。

技术研发人员：张志鹏,郭明哲,何园,王珂,许闻达
受保护的技术使用者：广州卡尔动力科技有限公司
技术研发日：
技术公布日：2024/3/24