一种运动感知模型的训练方法、装置、电子设备及存储介质

本发明涉及深度学习领域，尤其涉及一种运动感知模型的训练方法、装置、电子设备及设存储介质。

背景技术：

随着深度学习技术的不断发展，人们使用神经网络对运动物体进行分割，现有基于神经网络对运动物体进行感知的方法，主要是基于tokmakov提出的一种运动显著性估计的网络结构，该网络是一种端到端的网络结构，即在网络的一端输入光流场，在另一端解码输出运动显著性的地图。由于该网络是通过大感受野感知场景的整体运动状态，因此，在网络设计过程中，会对中间的特征层进行采样，但是在该网络只监督最后一层的输出，因此很难保证对中间的特征层的采样所得到感知信息是想要的信息。如此，将使得网络输出的运动状态的精确性不高，且可能会输出冗余信息，造成计算机资源的浪费。

技术实现要素：

本发明实施例提供一种运动感知模型的训练方法、装置、电子设备及存储介质，可以监督中间的特征层的采样所得到感知信息，可以提高模型输出的运动状态的精确性。

本发明实施例提供了一种运动感知模型的训练方法，该方法包括获取训练图像组集合和每一训练图像组对应的标签光流信息；

构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型；

基于当前机器学习模型，对每一训练图像组进行特征提取处理，确定多个目标特征图集；

从每一目标特征图集中，确定每一训练图像组对应的预测光流信息；

根据标签光流信息和预测光流信息，确定每一目标特征图集对应的损失信息；

基于每一目标特征图集对应的损失信息对当前机器学习模型的参数进行调整，得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：对每一训练图像组进行特征提取处理，多个目标特征图集；

当对当前机器学习模型的参数进行调整的次数大于预设阈值时，将当前机器学习模型确定为运动感知模型，将损失信息对应的模型参数确定为运动感知模型的参数。

进一步地，对每一训练图像组进行特征提取处理，确定多个目标特征图集，包括：

基于当前机器学习模型，对每一训练图像组进行特征提取处理，得到待处理特征图集；

对待处理特征图集进行特征提取处理，得到第一特征图集；

根据待处理特征图集和第一特征图集，确定第二特征图集；

基于第二特征图集，确定多个目标特征图集。

进一步地，对待处理特征图集进行特征提取处理，得到第一特征图集之前，还包括：

对相机参数信息进行全连接处理，得到相机参数信息对应的权重信息集合和偏置信息集合；

根据权重信息集合和偏置信息集合，确定卷积信息集合；卷积信息集合包括第一卷积信息和第二卷积信息中的至少一个。

进一步地，基于第二特征图集，确定多个目标特征图集，包括：

对第二特征图集进行特征提取处理，得到第三特征图集；

将第二特征图集和第三特征图集进行堆叠处理，得到第一候选特征图集；

对第一候选特征图集进行特征提取处理，得到多个目标特征图集。

进一步地，对候选特征图集进行特征提取处理，得到多个目标特征图集，包括：

基于第一预设卷积信息，对第一候选特征图集进行特征提取处理，得到第二候选特征图集，

基于第二预设卷积信息，对第二候选特征图集进行特征提取处理，得到第一目标特征图子集；

基于第三预设卷积信息，对第一候选特征图集进行特征提取处理，得到第二目标特征图子集；

对第一目标特征图子集和第二目标特征图子集进行采样处理，得到多个目标特征图集。

进一步地，若卷积信息集合包括第一卷积信息和第二卷积信息，

对待处理特征图集进行特征提取处理，得到第一特征图集，包括：

基于第一卷积信息，对待处理特征图集进行特征提取处理，得到第一特征图集；

对第二特征图集进行特征提取处理，得到第三特征图集，包括：

基于第二卷积信息，对第二特征图集进行特征提取处理，得到第三特征图集。

本申请实施例还提供了一种运动感知模型的训练装置，该装置包括：

获取模块，用于获取训练图像组集合和每一训练图像组对应的标签光流信息；

构建模块，用于构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型；

目标特征图集确定模块，用于基于当前机器学习模型，对每一训练图像组进行特征提取处理，确定多个目标特征图集；

预测光流信息确定模块，用于从每一目标特征图集中，确定每一训练图像组对应的预测光流信息；

损失信息确定模块，用于根据标签光流信息和预测光流信息，确定每一目标特征图集对应的损失信息；

调整模块，用于基于每一目标特征图集对应的损失信息对当前机器学习模型的参数进行调整，得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：对每一训练图像组进行特征提取处理，多个目标特征图集；

模型确定模块，用于当对当前机器学习模型的参数进行调整的次数大于预设阈值时，将当前机器学习模型确定为运动感知模型，将损失信息对应的模型参数确定为运动感知模型的参数。

进一步地，该装置还包括：

全连接处理模块，用于对相机参数信息进行全连接处理，得到相机参数信息对应的权重信息集合和偏置信息集合；

卷积信息确定模块，用于根据权重信息集合和偏置信息集合，确定卷积信息集合；卷积信息集合包括第一卷积信息和第二卷积信息中的至少一个。

相应地，本发明实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述运动感知模型的训练方法。

相应地，本发明实施例还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述运动感知模型的训练方法。

本发明实施例具有如下有益效果：

本发明实施例提供了一种运动感知模型的确定方法、装置、电子设备及存储介质，包括获取训练图像组集合和每一训练图像组对应的标签光流信息，构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型，基于当前机器学习模型，对每一训练图像组进行特征提取处理，确定多个目标特征图集，从每一目标特征图集中，确定每一训练图像组对应的预测光流信息，根据标签光流信息和预测光流信息，确定每一目标特征图集对应的损失信息，基于每一目标特征图集对应的损失信息对当前机器学习模型的参数进行调整，得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型，重复步骤：对每一训练图像组进行特征提取处理，多个目标特征图集，当对当前机器学习模型的参数进行调整的次数大于预设阈值时，将当前机器学习模型确定为运动感知模型，将损失信息对应的模型参数确定为运动感知模型的参数。基于本申请实施例，可以监督中间的特征层的采样所得到感知信息，可以提高模型输出的运动状态的精确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例所提供的一种应用环境的示意图；

图2是本发明实施例提供的一种运动感知模型的训练方法的流程示意图；

图3是本申请实施例提供的一种运动感知模型的训练方法的示意图；

图4是本发明实施例提供的一种运动感知模型的训练装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例作进一步地详细描述。显然，所描述的实施例仅仅是本发明一个实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

此处所称的“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本发明实施例的描述中，需要理解的是术语“第一”、“第二”和“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”和“第三”的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”和“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明实施例能够以除了在这里图示或描述以外的顺序实施。此外，术语“包括”和“为”以及他们的任何变形，意图在于覆盖不排他的包含。

请参阅图1，其所示为本发明实施例所提供的一种应用环境的示意图，包括服务器101，该服务器101装载有运动感知模型的训练装置1011，该服务器101可以获取训练图像组集合和每一训练图像组对应的标签光流信息，构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型，基于当前机器学习模型，对每一训练图像组进行特征提取处理，确定多个目标特征图集，从每一目标特征图集中，确定每一训练图像组对应的预测光流信息，根据标签光流信息和预测光流信息，确定每一目标特征图集对应的损失信息，基于每一目标特征图集对应的损失信息对当前机器学习模型的参数进行调整，得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：对每一训练图像组进行特征提取处理，多个目标特征图集，当对当前机器学习模型的参数进行调整的次数大于预设阈值时，将当前机器学习模型确定为运动感知模型，将损失信息对应的模型参数确定为运动感知模型的参数。

下面介绍本发明一种运动感知模型的训练方法的具体实施例，图2是本发明实施例提供的一种运动感知模型的训练方法的流程示意图，图3是本申请实施例提供的一种运动感知模型的训练方法的示意图，本说明书提供了如实施例或流程图所示的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多执行顺序中的一种方式，不代表唯一的执行顺序，在实际执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2和3所示，该方法包括：

s201：获取训练图像组集合和每一训练图像组对应的标签光流信息。

本申请实施例中，服务器可以获取训练图像组集合和每一训练图像组对应的标签光流信息，其中，每一训练图像组可以包括第一图像、第二图像和第三图像，第一图像、第二图像和第三图像均包括对象，对象在第一图像中具有第一像素信息，对象在第二图像中具有第二像素信息，对象在第三图像中具有第三像素信息，标签光流信息可以包括第一像素信息和第二像素信息对应的第一标签光流信息，第二像素信息和第三像素信息对应的第二标签光流信息。

s202：构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型。

s203：基于当前机器学习模型，对每一训练图像组进行特征提取处理，确定多个目标特征图集。

本申请实施例中，服务器可以基于当前机器学习模型，对每一训练图像组进行特征提取处理，得到待处理特征图集，并对待处理特征图集进行特征提取处理，得到第一特征图集，以及根据待处理特征图集和第一特征图集，确定第二特征图集，进而基于第二特征图集，确定多个目标特征图集。

本申请实施例中，在服务器对待处理特征图集进行特征提取处理之前，还可以对相机参数信息进行全连接处理，得到相机参数信息对应的权重信息集合和偏置信息集合，并根据权重信息集合和偏置信息集合，确定卷积信息集合。其中，卷积信息集合包括第一卷积信息和第二卷积信息中的至少一个。也即是，服务器可以增设一个参数感知模块，该参数感知模块由两个菱形网络组成，将相机参数输入其中的一个菱形网络，该菱形网络由一系列全连接组成，在将相机参数输入一层全连接层之后，可以获得基础嵌入特征，即图3中的fc1，进而将该基础嵌入特征分别输入两组全连接层，分别估计卷积的权重参数和偏置参数，该权重参数和偏置参数可以组成卷积信息集合，如图3中的第一卷积信息tc1和第二卷积信息tc2。

在一种可选的实施方式中，若卷积信息集合包括第一卷积信息和第二卷积信息，可以基于第一卷积信息，对待处理特征图集进行特征提取处理，得到第一特征图集，也可以基于第二卷积信息，对待处理特征图集进行特征提取处理，得到第一特征图集。

本申请实施例中，服务器可以将待处理特征图集和第一特征图集进行堆叠处理，得到堆叠特征图集，并对堆叠特征图集进行特征提取处理，得到第二特征图集。

在一种可选的实施方式中，若卷积信息集合包括第一卷积信息和第二卷积信息，可以基于第一卷积信息，对堆叠特征图集进行特征提取处理，得到第二特征图集，也可以基于第二卷积信息，对堆叠特征图集进行特征提取处理，得到第二特征图集。

本申请实施例中，服务器可以对第二特征图集进行特征提取处理，得到第三特征图集，并将第二特征图集和第三特征图集进行堆叠处理，得到第一候选特征图集，进而对第一候选特征图集进行特征提取处理，得到多个目标特征图集。

在一种可选的实施方式中，若卷积信息集合包括第一卷积信息，可以基于第一卷积信息，对第二特征图集进行特征提取处理，得到第三特征图集。即基于同一卷积信息，对待处理特征图集进行特征提取处理，得到第一特征图集，并基于该卷积信息对待处理特征图集和第一特征图集进行特征提取处理，得到第二特征图集，该基于该卷积信息对第二特征图集进行特征提取处理，得到第三特征图集，再基于第一卷积信息，对第二特征图集和第三特征图集进行特征提取处理，得到第一候选特征图集。

在另一种的可选的实施方式中，若卷积信息集合包括第一卷积信息和第二卷积信息，可以基于第二卷积信息，对第二特征图集进行特征提取处理，得到第三特征图集。即基于第一卷积信息，对待处理特征图集进行特征提取处理，得到第一特征图集，并基于第一卷积信息，对待处理特征图集和第一特征图集进行特征提取处理，得到第二特征图集，进而基于第二卷积信息对第二特征图集进行卷积处理，得到第三特征图集，再基于第二卷积信息，对第二特征图集和第三特征图集进行特征提取处理，得到第一候选特征图集。

本申请实施例中，可以基于第一预设卷积信息，对第一候选特征图集进行特征提取处理，得到第二候选特征图集，并基于第二预设卷积信息，对第二候选特征图集进行卷积处理，得到第一目标特征图子集，以及基于第三预设卷积信息，对第一候选特征图集进行特征提取处理，得到第二目标特征图子集，进而对第一目标特征图子集和第二目标特征图子集进行采样处理，得到多个目标特征图集。

s204：从每一目标特征图集中，确定每一训练图像组对应的预测光流信息。

本申请实施例中，服务器可以从每一特征图集中，确定每一训练图像组对应的预测光流信息，即可以从每一目标特征图集中确定对象的对应的像素信息，进而确定每一训练图像的第一图像中对象的第一预测像素信息，第二图像中对象的第二预测像素信息以及第三图像中对象的第三预测像素信息，并确定第一预测像素信息和第二预测像素信息对应的第一预测光流信息以及第二预测光流信息。

s205：根据标签光流信息和预测光流信息，确定每一目标特征图集对应的损失信息。

本申请实施例中，服务器可以根据第一标签光流信息和第一预测光流信息，确定第一损失信息，以及根据第二标签光流信息和第二预测光流信息，确定第二损失信息，进而根据第一损失信息和第二损失信息，确定损失信息。

在一种可选的实施方式中，可以确定第一损失信息和第二损失信息的和值为损失信息，也可以确定第一损失信息和第二损失信息的均值为损失信息，还可以确定第一损失信息和第二损失信息中的最大值为损失信息，还可以确定第一损失信息和第二损失信息中的最小值为损失信息。

s206：基于每一目标特征图集对应的损失信息对当前机器学习模型的参数进行调整，得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：对每一训练图像组进行特征提取处理，多个目标特征图集。

s207：当对当前机器学习模型的参数进行调整的次数大于预设阈值时，将当前机器学习模型确定为运动感知模型，将损失信息对应的模型参数确定为运动感知模型的参数。

采用本申请实施例提供的运动感知模型的训练方法，可以监督中间的特征层的采样所得到感知信息，可以提高模型输出的运动状态的精确性。

本发明实施例还提供的一种运动感知模型的训练装置，图4是本发明实施例提供的一种运动感知模型的训练装置的结构示意图，如图4所示，该装置可以包括：

获取模块401用于获取训练图像组集合和每一训练图像组对应的标签光流信息；

构建模块402用于构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型；

目标特征图集确定模块403用于基于当前机器学习模型，对每一训练图像组进行特征提取处理，确定多个目标特征图集；

预测光流信息确定模块404用于从每一目标特征图集中，确定每一训练图像组对应的预测光流信息；

损失信息确定模块405用于根据标签光流信息和预测光流信息，确定每一目标特征图集对应的损失信息；

调整模块406用于基于每一目标特征图集对应的损失信息对当前机器学习模型的参数进行调整，得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：对每一训练图像组进行特征提取处理，多个目标特征图集；

模型确定模块407用于当对当前机器学习模型的参数进行调整的次数大于预设阈值时，将当前机器学习模型确定为运动感知模型，将损失信息对应的模型参数确定为运动感知模型的参数。

本申请实施例中，该装置还可以包括：

全连接处理模块，用于对相机参数信息进行全连接处理，得到相机参数信息对应的权重信息集合和偏置信息集合；

卷积信息确定模块，用于根据权重信息集合和偏置信息集合，确定卷积信息集合；卷积信息集合包括第一卷积信息和第二卷积信息中的至少一个。

本发明实施例中的装置与方法实施例基于同样的发明构思。

本发明实施例还提供的一种电子设备，电子设备可设置于服务器之中以保存用于实现方法实施例中的一种运动感知模型的训练方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该存储器加载并执行以实现上述的运动感知模型的训练方法。

本发明实施例还提供的一种存储介质，存储介质可设置于服务器之中以保存用于实现方法实施例中一种运动感知模型的训练方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述运动感知模型的训练方法。

可选的，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于包括：u盘、只读存储器(rom，read-onlymemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本发明实施例提供的运动感知模型的训练方法、装置、电子设备或存储介质的实施例可见，包括获取训练图像组集合和每一训练图像组对应的标签光流信息，构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型，基于当前机器学习模型，对每一训练图像组进行特征提取处理，确定多个目标特征图集，从每一目标特征图集中，确定每一训练图像组对应的预测光流信息，根据标签光流信息和预测光流信息，确定每一目标特征图集对应的损失信息，基于每一目标特征图集对应的损失信息对当前机器学习模型的参数进行调整，得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型，重复步骤：对每一训练图像组进行特征提取处理，多个目标特征图集，当对当前机器学习模型的参数进行调整的次数大于预设阈值时，将当前机器学习模型确定为运动感知模型，将损失信息对应的模型参数确定为运动感知模型的参数。基于本申请实施例，可以监督中间的特征层的采样所得到感知信息，可以提高模型输出的运动状态的精确性。

在本发明中，除非另有明确的规定和限定，术语“相连”、“连接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的相连或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是：上述本发明实施例的先后顺序仅仅为了描述，不代表实施例的优劣，且上述本说明书对特定的实施例进行了描述，其他实施例也在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或者步骤可以按照不同的实施例中的顺序来执行并且能够实现预期的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者而连接顺序才能够实现期望的结果，在某些实施方式中，多任务并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的均为与其他实施例的不同之处。尤其，对于装置的实施例而言，由于其基于相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。