一种基于弹幕的视频高光片段识别方法、终端及存储介质与流程

文档序号:22506574发布日期:2020-10-13 09:44阅读:来源:国知局

技术特征:

1.一种基于弹幕的视频高光片段识别方法,其特征在于,所述方法包括:

获取目标视频,对所述目标视频进行分割,得到至少一个视频片段;

对于所述至少一个视频片段中的目标片段中的每个弹幕,将弹幕文本输入至预先训练完成的第一神经网络,获取所述第一神经网络输出的所述弹幕对应的第一语义向量;

根据所述弹幕的第一语义向量获取所述弹幕对应的目标语义向量;

根据所述目标片段中的各个弹幕分别对应的目标语义向量确定所述目标片段是否为高光片段。

2.根据权利要求1所述的基于弹幕的视频高光片段识别方法,其特征在于,所述第一神经网络的参数是根据多组训练数据完成的,每组训练数据中包括样本视频片段以及样本视频片段中的各个弹幕,所述第一神经网络的训练目标函数为:

其中,bsi为训练数据中样本视频片段中的第i个弹幕,xi为所述第i个弹幕对应的第一语义向量,bsi+j为bsi的上下文弹幕,2*m为弹幕的上下文弹幕的数量,uo为bsi的上下文弹幕的第一语义向量,ubs为样本视频片段中第bs个弹幕的第一语义向量,n为样本视频片段中弹幕的数量,vj为目标片段,v为目标视频,θ为所述第一神经网络的参数,p(bsi+j|bsi;θ)为所述第一神经网络的参数取θ时对应的p(bsi+j|bsi)。

3.根据权利要求1所述的基于弹幕的视频高光片段识别方法,其特征在于,所述根据所述弹幕的第一语义向量获取所述弹幕对应的目标语义向量包括:

对所述弹幕进行分词,将所述弹幕中的各个单词输入至预先训练完成的第二神经网络,获取所述第二神经网络输出的所述各个单词分别对应的词向量,根据所述各个词向量获取所述弹幕对应的第二语义向量;

根据所述第一语义向量和所述第二语义向量获取所述弹幕对应的目标语义向量。

4.根据权利要求3所述的基于弹幕的视频高光片段识别方法,其特征在于,所述根据所述第一语义向量和所述第二语义向量获取所述弹幕对应的目标语义向量包括:

将所述第一语义向量和所述第二语义向量连接后输入至预先训练的第三神经网络,获取所述第三神经网络输出的所述目标语义向量;

其中,在所述第三神经网络中,对所述第一语义向量和所述第二语义向量进行处理的公式为:

z=t⊙g(wh[ew;ebs]+bh)+(1-t)⊙[ew;ebs]

t=σ(wt[ew;ebs]+bt)

其中,z为所述目标语义向量,ew为所述第一语义向量,ebs为所述第二语义向量,[ew;ebs]为所述第一语义向量和所述第二语义向量连接后的向量联合表示,wt为门机制矩阵,wh为变换权重矩阵,bh、bt分别为所述第三神经网络中的常数偏置项,g为非线性激活函数,σ为sigmoid激活函数。

5.根据权利要求1所述的基于弹幕的视频高光片段识别方法,其特征在于,所述根据所述目标片段中的各个弹幕分别对应的目标语义向量确定所述目标片段是否为高光片段包括:

对所述目标片段中的各个弹幕分别对应的目标语义向量进行特征提取,获取所述目标片段中的各个弹幕分别对应的特征向量;

根据所述目标片段中的各个弹幕分别对应的特征向量获取所述目标片段对应的目标语义表示;

根据所述目标语义表示确定所述目标片段是否为高光片段。

6.根据权利要求5所述的基于弹幕的视频高光片段识别方法,其特征在于,所述对所述目标片段中的各个弹幕分别对应的目标语义向量进行特征提取包括:

将所述目标片段中的各个弹幕分别对应的目标语义向量输入至预先训练完成的第四神经网络,获取所述第四神经网络输出的所述目标片段中的各个弹幕分别对应的特征向量;

其中,所述第四神经网络为双向长短期记忆网络。

7.根据权利要求5所述的基于弹幕的视频高光片段识别方法,其特征在于,所述根据所述目标片段中的各个弹幕分别对应的特征向量获取所述目标片段对应的目标语义表示包括:

获取所述目标片段中的各个弹幕的特征向量分别对应的注意力比值;

根据所述目标片段中的各个弹幕的特征向量分别对应的注意力比值对所述各个弹幕的特征向量进行加权求和,获取所述目标片段对应的目标语义表示。

8.根据权利要求5所述的基于弹幕的视频高光片段识别方法,其特征在于,所述根据所述目标语义表示确定所述目标片段是否为高光片段包括:

将所述目标语义表示转化为数值;

当所述数值大于预设阈值时,确定所述目标片段为高光片段。

9.一种终端,其特征在于,所述终端包括:处理器、与处理器通信连接的存储介质,所述存储介质适于存储多条指令,所述处理器适于调用所述存储介质中的指令,以执行实现上述权利要求1-8任一项所述的基于弹幕的视频高光片段识别方法的步骤。

10.一种存储介质,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-8任一项所述的基于弹幕的视频高光片段识别方法的步骤。


技术总结
本发明公开了一种基于弹幕的视频高光片段识别方法、终端及存储介质,本发明通过获取视频片段中的弹幕对应的语义向量,并根据弹幕的语义向量获取视频片段的语义向量,根据视频片段的语义向量确定该视频片段是否为高光片段,实现了对视频中的高光片段的自动识别,不需要进行人工识别,提升了高光片段的识别效率。

技术研发人员:卢亚辉;林浩星;王辉
受保护的技术使用者:深圳大学
技术研发日:2020.07.27
技术公布日:2020.10.13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1