视频匹配方法、装置、计算机设备和存储介质与流程

文档序号:22244815发布日期:2020-09-15 20:01阅读:来源:国知局

技术特征:

1.一种视频匹配方法,其特征在于,所述方法包括:

将获取的视频源输入至特征提取网络中进行特征提取,得到所述视频源中各个视频帧对应的特征图和特征向量;所述视频源包括至少一个视频帧,每个所述视频帧中均包括待检测对象;

将各所述视频帧对应的特征图输入至相似度提取网络中进行相似度计算,得到所述视频源中各相邻两个视频帧之间的相似度;

基于各所述相邻两个视频帧之间的相似度,对所述各个视频帧对应的特征向量进行融合处理,得到所述视频源对应的融合特征;

根据所述视频源对应的融合特征和预设的视频库,在所述视频库中确定与所述视频源匹配的目标视频序列;所述目标视频序列包括至少两个目标视频源。

2.根据权利要求1所述的方法,其特征在于,所述相似度提取网络包括差分子网络和相似度计算子网络,所述将各所述视频帧对应的特征图输入至相似度提取网络中进行相似度计算,得到所述视频源中各相邻两个视频帧之间的相似度,包括:

将各所述视频帧对应的特征图输入至所述差分子网络中,对其中的各相邻两个视频帧对应的特征图进行差分处理,得到各相邻两个视频帧各自对应的差分特征图;

将所述各相邻两个视频帧各自对应的差分特征图输入至所述相似度计算子网络中进行相似度计算,得到各所述相邻两个视频帧之间的相似度。

3.根据权利要求2所述的方法,其特征在于,所述对其中的各相邻两个视频帧对应的特征图进行差分处理,得到各相邻两个视频帧各自对应的差分特征图,包括:

获取第一视频帧对应的特征图上各个网格的第一特征值以及第二视频帧对应的特征图上各个网格的第二特征值;所述第一视频帧和所述第二视频帧为相邻的两个视频帧;

基于各所述第一特征值和各所述第二特征值以及预设的差分方式,得到所述第一视频帧的差分特征图和所述第二视频帧的差分特征图。

4.根据权利要求3所述的方法,其特征在于,所述基于各所述第一特征值和各所述第二特征值以及预设的差分方式,得到所述第一视频帧的差分特征图和所述第二视频帧的差分特征图,包括:

获取各所述第一特征值中的第一目标特征值,以及获取各所述第二特征值中的第二目标特征值;

将各所述第一特征值均替换为所述第一目标特征值,并将替换后的各新的第一特征值和各所述第二特征值进行差分处理,得到所述第一视频帧对应的差分特征图;

将各所述第二特征值均替换为所述第二目标值,并将替换后的各新的第二特征值和各所述第一特征值进行差分处理,得到所述第二视频帧对应的差分特征图。

5.根据权利要求1-4任意一项所述的方法,其特征在于,所述基于各所述相邻两个视频帧之间的相似度,对所述各个视频帧对应的特征向量进行融合处理,得到所述视频源对应的融合特征,包括:

对所述视频源中各相邻两个视频帧对应的特征向量进行取均值处理,得到各所述相邻两个视频帧对应的平均特征向量;

基于各所述相邻两个视频帧之间的相似度,对各所述相邻两个视频帧对应的平均特征向量进行加权融合处理,得到所述视频源对应的融合特征。

6.根据权利要求1-4任意一项所述的方法,其特征在于,所述特征提取网络的训练过程包括:

获取至少一个样本视频源;所述样本视频源包括至少一个样本视频帧,每个所述样本视频帧均已标注类别概率分布;

将各个样本视频帧输入至初始特征提取网络中进行特征提取,得到每个样本视频帧对应的特征向量;

将所述每个样本视频帧对应的特征向量输入至分类器中,得到每个样本视频帧对应的预测类别概率分布;

基于每个所述样本视频帧对应的预测类别概率分布和每个所述样本视频帧的已标注类别概率分布,对所述初始特征提取网络进行训练,得到所述特征提取网络。

7.根据权利要求6所述的方法,其特征在于,所述相似度提取网络的训练过程包括:

将各个样本视频帧输入至所述特征提取网络或所述初始特征提取网络中进行特征提取,得到每个样本视频帧对应的特征图;

将每个样本视频帧对应的特征图输入至初始相似度提取网络中进行相似度计算,得到各相邻两个样本视频帧之间的预测相似度;

计算各相邻两个样本视频帧的预测类别概率分布之间的散度,并将得到的各相邻两个样本视频帧之间的散度确定为各相邻两个样本视频帧之间的标准相似度;

基于各所述相邻两个样本视频帧之间的预测相似度和各所述相邻两个视频帧之间的标准相似度,对所述初始相似度提取网络进行训练,得到所述相似度提取网络。

8.一种视频匹配装置,其特征在于,所述装置包括:

特征提取模块,用于将获取的视频源输入至特征提取网络中进行特征提取,得到所述视频源中各个视频帧对应的特征图和特征向量;所述视频源包括至少一个视频帧,每个所述视频帧中均包括待检测对象;

计算模块,用于将各所述视频帧对应的特征图输入至相似度提取网络中进行相似度计算,得到所述视频源中各相邻两个视频帧之间的相似度;

融合模块,用于基于各所述相邻两个视频帧之间的相似度,对所述各个视频帧对应的特征向量进行融合处理,得到所述视频源对应的融合特征;

匹配模块,用于根据所述视频源对应的融合特征和预设的视频库,在所述视频库中确定与所述视频源匹配的目标视频序列;所述目标视频序列包括至少两个目标视频源。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。


技术总结
本申请涉及一种视频匹配方法、装置、计算机设备和存储介质。包括:将获取的视频源输入至特征提取网络中进行特征提取,得到视频源中各个视频帧对应的特征图和特征向量;视频源包括至少一个视频帧,每个视频帧中均包括待检测对象;将各视频帧对应的特征图输入至相似度提取网络中进行相似度计算,得到视频源中各相邻两个视频帧之间的相似度;基于各相邻两个视频帧之间的相似度,对各个视频帧对应的特征向量进行融合处理,得到视频源对应的融合特征;根据视频源对应的融合特征和预设的视频库,在视频库中确定与视频源匹配的目标视频序列;目标视频序列包括至少两个目标视频源。采用本方法能够提高视频匹配结果的准确性。

技术研发人员:周康明;戚风亮
受保护的技术使用者:上海眼控科技股份有限公司
技术研发日:2020.07.02
技术公布日:2020.09.15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1