基于注意力回归的视频时序句子定位方法及装置与流程

文档序号:15636936发布日期:2018-10-12 21:35阅读:来源:国知局

技术特征:

技术总结
本发明公开了一种基于注意力回归的视频时序句子定位方法及装置,其中,方法包括以下步骤:根据三维卷积神经网络和Glove词向量机制,并在此基础上利用双向长短时记忆网络对视频片段和句子进行编码,以表征视频片段内容和句子内容;根据视频片段内容和句子内容通过多模态注意力机制建立视频与句子之间的对称关联,以获取视频和句子的注意力权值向量与注意力加权特征;根据视频和句子的注意力权值向量或注意力加权特征,通过基于注意力权重的回归机制或基于注意力加权特征的回归机制输出得到视频时序句子的定位结果。该方法能够保持视频和句子中的上下文信息,提升了句子定位过程的效率,以达到提升句子定位速度、定位准确性和定位鲁棒性的目的。

技术研发人员:朱文武;袁艺天
受保护的技术使用者:清华大学
技术研发日:2018.04.23
技术公布日:2018.10.12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1