基于动作识别和序列推理的动作预测方法

文档序号:37039333发布日期:2024-02-20 20:33阅读:来源:国知局

技术特征:

1.基于动作识别和序列推理的动作预测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于动作识别和序列推理的动作预测方法,其特征在于,步骤s1中,所述对原始长视频数据进行预处理,得到动作标签序列,包括以下步骤:

3.根据权利要求2所述的基于动作识别和序列推理的动作预测方法,其特征在于,步骤s13中,所述根据原始视频标注得到与视频片段序列中每个视频片段对应的动作标签,具体步骤包括:根据原始视频中存在的动作标签对得到的视频片段序列进行标注,如果所述视频片段位于已知的时间区间里,则采用原有的动作标签进行标注,如果所述视频片段所在的时间区间没有动作标签,则将其标注为未知动作,进而得到与视频片段序列中每个视频片段一一对应的动作标签序列。

4.根据权利要求1所述的基于动作识别和序列推理的动作预测方法,其特征在于,步骤s2中,所述将视频片段序列中的每个视频片段分别送入动作识别网络,提取代表各个视频片段的动作特征,具体步骤包括:将每个视频帧划分为不重叠的补丁,再将所得补丁映射为一维向量序列,再加入代表整个视频片段信息的类别token送入动作识别网络,经由动作识别网络输出提取代表各个视频片段的动作特征,进而得到动作特征序列。

5.根据权利要求4所述的基于动作识别和序列推理的动作预测方法,其特征在于,步骤s3中,所述将动作特征序列送入线性分类网络,得到每个视频片段的动作分类结果,使用交叉熵损失函数来进行监督动作识别任务,使用动作标签序列进行监督,包括:将动作特征序列送入线性分类网络,得到每个视频片段的动作分类结果,将动作特征用于分类,使用动作标签序列进行监督动作识别任务,使用交叉熵损失函数计算动作识别损失函数lrec,具体表示如下:

6.根据权利要求5所述的基于动作识别和序列推理的动作预测方法,其特征在于,所述将动作特征序列送入因果网络,根据动作特征序列预测下一个动作,得到预测的下一个动作特征序列;将下一个动作特征序列送入线性分类网络,使用交叉熵损失函数来进行监督动作预测任务,将下一个动作特征用于分类,使用下一个动作标签序列进行监督,得到动作预测损失函数,具体包括以下步骤:

7.根据权利要求6所述的基于动作识别和序列推理的动作预测方法,其特征在于,所述将得到的动作识别损失和动作预测损失相加,得到网络总损失函数,使用所得总损失函数来计算梯度,优化网络参数,具体包括步骤:将得到的动作识别损失函数lrec和动作预测损失函数lpre相加,得到总损失函数ltotal,具体表示如下:


技术总结
本发明公开了基于动作识别和序列推理的动作预测方法,步骤:对原始长视频数据预处理,得动作标签序列;将视频片段序列中的视频片段分别送入动作识别网络,提取代表视频片段的动作特征,得动作特征序列;将动作特征序列送入线性分类网络,得动作识别损失函数;将动作特征序列送入因果网络,得预测的下一个动作特征序列,再将下一个动作特征序列送入线性分类网络,得动作预测损失函数;将动作识别损失函数和动作预测损失函数相加,得网络总损失函数,优化网络参数。本发明使用动作识别损失和预测损失联合训练网络,降低了训练难度;用AIM模型和GPT2模型组成ARR主干网络,通过训练模型解决了网络性能较差和泛化性不足的问题。

技术研发人员:刘鑫,郝超,岳焕景,杨敬钰
受保护的技术使用者:天津大学
技术研发日:
技术公布日:2024/2/19
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1