目标跟随模型的训练方法、装置、设备及存储介质与流程

本申请实施例涉及人工智能，特别涉及一种目标跟随模型的训练方法、装置、设备及存储介质。

背景技术：

1、随着人工智能技术的发展，其在vot(video object tracking，视频目标跟随)领域的研究和应用也越来越多。

2、在相关技术中，通过带有目标的整体的标注信息的视频帧序列，训练得到可用于对视频中的目标进行跟随的目标跟随模型。然而，在实际应用场景中，目标或背景都可能处于运动状态，目标会存在残影、拖尾、模糊、阴影、背景干扰、遮挡等问题，目标影像往往不具有清晰、明确的目标边缘，从而导致相关技术得到的目标跟随模型的跟随准确性不高。

技术实现思路

1、本申请实施例提供了一种目标跟随模型的训练方法、装置、设备及存储介质，能够提高目标跟随模型的跟随准确性，所述技术方案可以包括如下内容。

2、根据本申请实施例的一个方面，提供了一种目标跟随模型的训练方法，所述目标跟随模型包括热力图生成网络和框生成网络，所述方法包括：

3、获取第一图像样本序列和第二图像样本序列；其中，所述第一图像样本序列包括按照时间排序的带有目标对应的第一标注结果的多个第一图像样本，所述第二图像样本序列包括按照时间排序的带有所述目标的主体对应的第二标注结果的多个第二图像样本；

4、基于所述第一图像样本序列中的目标第一图像样本和剩余第一图像样本，获取所述热力图生成网络对应的第一训练损失；其中，所述第一训练损失用于表征所述热力图生成网络对应的第一输出结果和所述第一标注结果之间的差异，所述目标第一图像样本用于指示所述目标跟随模型的跟随目标，所述第一输出结果用于表征所述目标的预测分布；

5、基于所述第二图像样本序列中的目标第二图像样本和剩余第二图像样本，获取所述框生成网络对应的第二训练损失；其中，所述第二训练损失用于表征所述框生成网络对应的第二输出结果和所述第二标注结果之间的差异，所述目标第二图像样本用于指示所述目标跟随模型的跟随目标的主体，所述第二输出结果用于表征所述目标的主体的预测分布；

6、基于所述第一训练损失和所述第二训练损失，对所述目标跟随模型进行训练，得到训练完成的目标跟随模型；其中，所述训练完成的目标跟随模型用于对所述目标的主体进行跟随。

7、根据本申请实施例的一个方面，提供了一种目标跟随模型的训练装置，所述目标跟随模型包括热力图生成网络和框生成网络，所述装置包括：

8、样本序列获取模块，用于获取第一图像样本序列和第二图像样本序列；其中，所述第一图像样本序列包括按照时间排序的带有目标对应的第一标注结果的多个第一图像样本，所述第二图像样本序列包括按照时间排序的带有所述目标的主体对应的第二标注结果的多个第二图像样本；

9、第一损失获取模块，用于基于所述第一图像样本序列中的目标第一图像样本和剩余第一图像样本，获取所述热力图生成网络对应的第一训练损失；其中，所述第一训练损失用于表征所述热力图生成网络对应的第一输出结果和所述第一标注结果之间的差异，所述目标第一图像样本用于指示所述目标跟随模型的跟随目标，所述第一输出结果用于表征所述目标的预测分布；

10、第二损失获取模块，用于基于所述第二图像样本序列中的目标第二图像样本和剩余第二图像样本，获取所述框生成网络对应的第二训练损失；其中，所述第二训练损失用于表征所述框生成网络对应的第二输出结果和所述第二标注结果之间的差异，所述目标第二图像样本用于指示所述目标跟随模型的跟随目标的主体，所述第二输出结果用于表征所述目标的主体的预测分布；

11、跟随模型训练模块，用于基于所述第一训练损失和所述第二训练损失，对所述目标跟随模型进行训练，得到训练完成的目标跟随模型；其中，所述训练完成的目标跟随模型用于对所述目标的主体进行跟随。

12、根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述目标跟随模型的训练方法。

13、根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述目标跟随模型的训练方法。

14、根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述目标跟随模型的训练方法。

15、本申请实施例提供的技术方案至少包括如下有益效果。

16、通过按照时间排序的带有目标的主体对应的第二标注结果的多个第二图像样本，获取框生成网络对应的第二训练损失，并通过第二训练损失对目标跟随模型进行训练，实现了基于清晰、明确的目标的主体对目标跟随模型进行训练，降低了目标对应的边缘部分、背景等模糊信息(如残影、拖尾、模糊、遮挡等)对目标跟随模型的干扰，使得目标跟随模型能够明确地对目标的主体进行准确地感知和跟随，从而提高了目标的跟随准确性和跟随明确性。

技术特征：

1.一种目标跟随模型的训练方法，其特征在于，所述目标跟随模型包括热力图生成网络和框生成网络，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述第二图像样本序列中的目标第二图像样本和剩余第二图像样本，获取所述框生成网络对应的第二训练损失，包括：

3.根据权利要求2所述的方法，其特征在于，所述框生成网络对应的第二输出结果为包围所述目标的主体的预测边界框，所述预测边界框对应有预测水平位置、预测垂直位置、预测宽、预测高和预测角度，所述预测边界框对应的预测角度为所述预测边界框与水平坐标轴之间的预测夹角；

4.根据权利要求1所述的方法，其特征在于，所述热力图生成网络对应的第一输出结果为所述目标对应的热力图，所述热力图中的每个值用于表征对应像素属于所述目标的可能性；

5.根据权利要求1所述的方法，其特征在于，所述基于所述第一训练损失和所述第二训练损失，对所述目标跟随模型进行训练，得到训练完成的目标跟随模型，包括：

6.根据权利要求1所述的方法，其特征在于，所述第二图像样本的获取过程如下：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种目标跟随模型的训练装置，其特征在于，所述目标跟随模型包括热力图生成网络和框生成网络，所述装置包括：

9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的目标跟随模型的训练方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至7任一项所述的目标跟随模型的训练方法。

技术总结
本申请公开了一种目标跟随模型的训练方法、装置、设备及存储介质，涉及人工智能技术领域。所述方法包括：获取按照时间排序的带有目标对应的第一标注结果的多个第一图像样本和带有目标的主体对应的第二标注结果的多个第二图像样本；基于目标第一图像样本和剩余第一图像样本，获取热力图生成网络对应的第一训练损失；基于目标第二图像样本和剩余第二图像样本，获取框生成网络对应的第二训练损失；基于第一训练损失和第二训练损失，训练得到用于对目标的主体进行跟随的目标跟随模型。本申请实施例可应用于人工智能、智慧交通、辅助驾驶等场景，本申请能够降低目标对应的边缘部分、背景等模糊信息的干扰，从而提高目标的跟随准确性和跟随明确性。

技术研发人员：刘苏航
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15