视频表征方法及装置与流程

文档序号:31051574发布日期:2022-08-06 07:33阅读:来源:国知局

技术特征:
1.一种视频表征方法,其特征在于,所述方法包括:获取待处理视频片段;将所述待处理视频片段输入目标视频表征模型,得到所述待处理视频片段对应的第一视频表征数据;其中,所述目标视频表征模型是基于训练样本以及距离衰减损失信息进行训练得到的机器学习模型,所述距离衰减损失信息基于所述训练样本中的视频片段之间对应的时序距离信息和相似度信息确定,所述相似度信息基于所述视频片段对应的视频表征数据确定,所述距离衰减损失信息用于调整所述时序距离信息与所述相似度信息之间的负相关程度。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取至少两个视频片段;将所述至少两个视频片段输入所述目标视频表征模型,得到所述至少两个视频片段对应的第二视频表征数据;基于所述第一视频表征数据与所述第二视频表征数据,确定所述待处理视频片段与所述至少两个视频片段之间的视频相似度;将所述视频相似度大于或等于相似度阈值的视频片段确定为所述待处理视频片段对应的相似视频片段。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:基于所述相似视频片段,确定所述待处理视频片段对应的片段定位信息。4.根据权利要求1至3任一项所述的方法,其特征在于,所述训练样本包括目标视频片段以及所述目标视频片段关联的样本视频片段,所述目标视频表征模型的训练过程包括:基于所述目标视频片段与所述样本视频片段,确定所述时序距离信息;将所述目标视频片段与所述样本视频片段输入待训练的视频表征模型,得到所述目标视频片段对应的第三视频表征数据,以及所述样本视频片段对应的第四视频表征数据;基于所述第三视频表征数据与所述第四视频表征数据,确定所述相似度信息;基于所述时序距离信息与所述相似度信息,确定所述距离衰减损失信息;根据所述模型损失信息对所述待训练的视频表征模型进行模型训练,得到所述目标视频表征模型。5.根据权利要求4所述的方法,其特征在于,所述样本视频片段包括所述目标视频片段对应的正样本,所述基于所述目标视频片段与所述样本视频片段,确定所述时序距离信息,包括:确定所述目标视频片段与所述正样本之间的片段距离;确定所述目标视频片段对应的整体视频长度;基于所述片段距离与所述整体视频长度,确定温度指标数据,所述时序距离信息包括所述温度指标数据,所述温度指标数据与所述片段距离呈负相关。6.根据权利要求5所述的方法,其特征在于,所述正样本包括第一正样本,所述第一正样本包括目标视频中与所述目标视频片段不同的第一视频片段,所述片段距离包括所述目标视频片段与所述第一视频片段之间的第一片段距离;所述基于所述片段距离与所述整体视频长度,确定温度指标数据,包括:基于所述第一片段距离与所述整体视频长度,确定第一温度指标数据;
其中,所述温度指标数据包括所述第一温度指标数据,所述第一温度指标数据用于调整所述目标视频片段与所述第一视频片段之间的相似程度。7.根据权利要求6所述的方法,其特征在于,所述样本视频片段还包括所述第一正样本对应的第一负样本,所述第一负样本包括与所述目标视频不同的第一样本视频中的第二视频片段,所述相似度信息包括所述目标视频片段与所述第一视频片段之间的第一相似度,以及所述目标视频片段与所述第二视频片段之间的第二相似度;所述基于所述时序距离信息与所述相似度信息,确定所述距离衰减损失信息,包括:基于所述第一温度指标数据、所述第一相似度以及所述第二相似度,确定外部衰减对比损失数据;其中,所述距离衰减损失信息包括所述外部衰减对比损失数据,所述外部衰减对比损失数据用于调整所述第一片段距离与所述第一相似度之间的负相关程度。8.根据权利要求7所述的方法,其特征在于,所述正样本还包括第二正样本,所述第二正样本包括与所述目标视频采用不同增强方式的第二样本视频中的第三视频片段,所述片段距离包括所述目标视频片段与所述第三视频片段之间的第二片段距离;所述基于所述片段距离与所述整体视频长度,确定温度指标数据,还包括:获取约束指标数据;基于所述约束指标数据、所述第二片段距离与所述整体视频长度,确定第二温度指标数据;其中,所述温度指标数据包括所述第二温度指标数据,所述第二温度指标数据用于约束所述目标视频片段与所述第一视频片段之间的相似程度。9.根据权利要求8所述的方法,其特征在于,所述样本视频片段还包括所述第二正样本对应的第二负样本,所述第二负样本包括所述第一视频片段,所述相似度信息还包括所述目标视频片段与所述第三视频片段之间的第三相似度;所述基于所述时序距离信息与所述相似度信息,确定所述距离衰减损失信息,还包括:基于所述第二温度指标数据、所述第一相似度以及所述第三相似度,确定内部衰减对比损失数据,所述内部衰减对比损失数据用于正则化所述外部衰减对比损失数据;对所述外部衰减对比损失数据和所述内部衰减对比损失数据进行融合处理,得到距离衰减对比损失数据,所述距离衰减对比损失数据用于表征所述距离衰减损失信息。10.根据权利要求4所述的方法,其特征在于,所述方法还包括:获取至少两个样本视频;确定随机采样间隔;根据所述随机采样间隔对所述至少两个样本视频进行视频片段采样处理,得到所述训练样本。11.一种视频表征装置,其特征在于,所述装置包括:视频获取模块,用于获取待处理视频片段;视频表征模块,用于将所述待处理视频片段输入目标视频表征模型,得到所述待处理视频片段对应的第一视频表征数据;其中,所述目标视频表征模型是基于训练样本以及距离衰减损失信息进行训练得到的机器学习模型,所述距离衰减损失信息基于所述训练样本中的视频片段之间对应的时序距
离信息和相似度信息确定,所述相似度信息基于所述视频片段对应的视频表征数据确定,所述距离衰减损失信息用于调整所述时序距离信息与所述相似度信息之间的负相关程度。

技术总结
本申请公开了一种视频表征方法及装置,属于计算机技术领域。所述方法包括:获取待处理视频片段;将待处理视频片段输入目标视频表征模型,得到待处理视频片段对应的第一视频表征数据。本申请实施例提供的技术方案中,通过训练样本中的视频片段对应的视频表征数据,可以确定视频片段之间的相似度信息,并在相似度信息的基础上引入视频片段之间的时序距离信息来确定距离衰减损失信息,以此在模型训练过程中调整时序距离信息与相似度信息之间的负相关程度,使得视频表征模型学习到不同视频片段在时间维度上的距离与其相似度之间的相关性,输出更加准确的视频表征数据对待处理视频进行特征表示,有效提升视频表征的准确性。有效提升视频表征的准确性。有效提升视频表征的准确性。


技术研发人员:苏冰 张恒 李昱 祁仲昂 单瀛
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2022.03.23
技术公布日:2022/8/5
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1