本发明涉及在线视频播放相关技术领域,尤其是指一种基于弹幕信息的在线视频精彩片段分析方法。
背景技术:
收看在线视频已经成为一种很普遍的休闲方式,现在主流的在线视频站点都支持弹幕,即用户在观看视频的时候根据视频情节发表自己的看法,弹幕信息滚动的显示在视频上,所有看相同视频的用户可以看到弹幕信息,在看视频的时候相互表达自己的观点。弹幕的文字信息通常和正在播放的视频情节有关。
通常情况下,用户观看一个视频都是从头看到尾,但是也有因为时间因素或者个人爱好喜欢跳着看视频,只希望看一个视频最精彩的几个片段。但是,如果盲目的快进会错过很多精彩剧情,既能节约时间又不错过重要的精彩视频片段,成为一种新的需求。
现有的技术中还没有通过弹幕信息分析视频精彩片段的方案。
技术实现要素:
本发明是为了克服现有技术中存在上述的不足,提供了一种既能节约时间又不错过重要精彩视频片段的基于弹幕信息的在线视频精彩片段分析方法。
为了实现上述目的,本发明采用以下技术方案:
一种基于弹幕信息的在线视频精彩片段分析方法,通过分析已有的弹幕信息和同时间下的视频数据,在整个视频中标识出视频的精彩片段,其过程包括两个部分,一是通过现有的视频和弹幕信息训练一个视频精彩片段的预测模型,二是通过训练得到的预测模型分析新视频的精彩片段。
本发明从收集到的视频和弹幕数据中提取有效的特征,利用深度学习训练得到预测模型;对于新视频以同样的方式提取视频和弹幕数据的特征,并根据得到的特征利用预测模型预测视频的精彩片段。该方法最终可以给在线视频进行精彩片段的标记,以供用户选择,使用户在观看视频的时候,可以有仅观看视频精彩部分的选择,节约观看视频的时间又可以不错过整个视频的精彩部分,提高用户观看视频的体验。
作为优选,训练一个视频精彩片段的预测模型步骤如下:
(11)加载已有的视频库并提取视频特征;
(12)加载与视频对应的弹幕数据并提取弹幕特征;
(13)加载用户对视频精彩片段的标注信息,来判断该视频片段是否属于精彩片段;
(14)根据步骤(11)、步骤(12)和步骤(13)中的所有特征,利用深度学习建立并训练预测模型。
作为优选,在步骤(11)中,具体操作如下:加载从视频库中收集到的所有视频信息,根据时间按每十秒进行视频切割,把视频切割成视频片段,并按时间每一秒一张截图做为关键帧,获取十个关键帧图片信息。
作为优选,在步骤(12)中,主要处理弹幕数据的文本特征,对弹幕文本进行分词,并加载情感词典、停用词词典、弹幕常用词词典,对所有弹幕数据中的文本统计得到词库,并按时间信息对应到之前视频特征提取中得到的每个视频片段上。
作为优选,在步骤(13)中,具体操作如下:获取对已有视频中是否为精彩片段标注信息,即精彩片段时间的起始点;跟步骤(11)中的方式一样做视频切割和关键帧的图片提取,把标注信息同步到每个视频片段上;如果切割后的整个视频片段起始位置都落在标注成精彩片段的时间内,则标记该视频片段为精彩片段。
作为优选,根据训练得到的预测模型分析新视频的精彩片段步骤如下:
(21)加载需要预测的视频和相对应的弹幕数据;
(22)判断视频中是否已经有视频精彩片段的缓存数据,如果没有缓存数据则直接进入到步骤(24)中,如果有缓存数据则进入到步骤(23)中;
(23)判断是否需要重新进行视频精彩片段预测,如果需要重新预测视频精彩片段则进入到步骤(24)中,如果不需要重新预测视频精彩片段,则加载已缓存的视频精彩片段信息,则进入到步骤(29)中;
(24)对新视频进行视频特征提取,加载从新视频中收集到的所有视频信息,根据时间按每十秒进行视频切割,把视频切割成视频片段,并按时间提取每个视频片段中的十张截图做为关键帧,获取十个关键帧信息;
(25)对新视频进行弹幕数据特征提取,主要处理弹幕数据的文本特征,对弹幕文本进行分词,并加载情感词典、停用词词典、弹幕常用词词典,对所有弹幕数据中的文本统计得到词库,并按时间信息对应到之前视频特征提取中得到的每个视频片段上;
(26)新视频的精彩片段预测,根据步骤(24)得到的视频特征和步骤(25)得到的弹幕数据特征,利用步骤(14)训练得到的预测模型对每个视频片段进行是否为视频精彩片段的预测;
(27)预测结果合并,对步骤(26)得到的每个视频片段和对应的预测结果进行合并;
(28)预测结果的保存,保存合并过的视频精彩片段信息,并保存当前时刻所有的弹幕数据方便以后对比是否需要重新启用预测;
(29)视频精彩片段的显示,根据预测的视频精彩片段结果,在视频播放页的时间轴上以不同颜色显示出视频的各个精彩片段,用户点击精彩片段则从该视频片段的起点开始播放。
该方法含有缓存机制,即新增的弹幕数据达到一定程度后才重新预测视频的精彩片段,否则可以直接加载已有的精彩片段信息,这样,在保证结果及时更新的情况下提高整个分析过程的时间。
作为优选,在步骤(23)中,对当前时间点上的所有弹幕数据跟缓存中的弹幕数据进行对比,判断是否有必要重新进行视频精彩片段的预测,而判断的依据是:跟原有缓存中的弹幕数据对比,新增的弹幕数据多于原有弹幕数据的10%。
作为优选,在步骤(27)中,预测结果的合并即把预测结果按时间合并成最大长度的视频片段,时间起始相接的两个精彩片段合并到一起;如果前后都是视频精彩片段,而中间有一到两个视频片段不是精彩片段,也把中间这一到两个视频片段合并到视频精彩片段的集合中,最终得到合并过后的精彩片段的时间起始信息。
本发明的有益效果是:在保证结果及时更新的情况下提高整个分析过程的时间;用户在观看视频的时候,可以有仅观看视频精彩部分的选择,节约观看视频的时间又可以不错过整个视频的精彩部分,提高用户观看视频的体验。
附图说明
图1是本发明中训练一个视频精彩片段预测模型的流程图;
图2是本发明中根据训练得到预测模型分析新视频精彩片段的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
一种基于弹幕信息的在线视频精彩片段分析方法,通过分析已有的弹幕信息和同时间下的视频数据,在整个视频中标识出视频的精彩片段,其过程包括两个部分,一是通过现有的视频和弹幕信息训练一个视频精彩片段的预测模型,二是通过训练得到的预测模型分析新视频的精彩片段。
其中:如图1所示,训练一个视频精彩片段的预测模型步骤如下:
(11)加载已有的视频库并提取视频特征;具体操作如下:加载从视频库中收集到的所有视频信息,根据时间按每十秒进行视频切割,把视频切割成视频片段,并按时间每一秒一张截图做为关键帧,获取十个关键帧图片信息;
(12)加载与视频对应的弹幕数据并提取弹幕特征;主要处理弹幕数据的文本特征,对弹幕文本进行分词,并加载情感词典、停用词词典、弹幕常用词词典,对所有弹幕数据中的文本统计得到词库,并按时间信息对应到之前视频特征提取中得到的每个视频片段上;
(13)加载用户对视频精彩片段的标注信息,来判断该视频片段是否属于精彩片段;具体操作如下:获取对已有视频中是否为精彩片段标注信息,即精彩片段时间的起始点;跟步骤(11)中的方式一样做视频切割和关键帧的图片提取,把标注信息同步到每个视频片段上;如果切割后的整个视频片段起始位置都落在标注成精彩片段的时间内,则标记该视频片段为精彩片段;
(14)根据步骤(11)、步骤(12)和步骤(13)中的所有特征,利用深度学习建立并训练预测模型。
如图2所示,根据训练得到的预测模型分析新视频的精彩片段步骤如下:
(21)加载需要预测的视频和相对应的弹幕数据;
(22)判断视频中是否已经有视频精彩片段的缓存数据,如果没有缓存数据则直接进入到步骤(24)中,如果有缓存数据则进入到步骤(23)中;
(23)判断是否需要重新进行视频精彩片段预测,对当前时间点上的所有弹幕数据跟缓存中的弹幕数据进行对比,判断是否有必要重新进行视频精彩片段的预测,而判断的依据是:跟原有缓存中的弹幕数据对比,新增的弹幕数据多于原有弹幕数据的10%;如果需要重新预测视频精彩片段则进入到步骤(24)中,如果不需要重新预测视频精彩片段,则加载已缓存的视频精彩片段信息,则进入到步骤(29)中;
(24)对新视频进行视频特征提取,加载从新视频中收集到的所有视频信息,根据时间按每十秒进行视频切割,把视频切割成视频片段,并按时间提取每个视频片段中的十张截图做为关键帧,获取十个关键帧信息;
(25)对新视频进行弹幕数据特征提取,主要处理弹幕数据的文本特征,对弹幕文本进行分词,并加载情感词典、停用词词典、弹幕常用词词典,对所有弹幕数据中的文本统计得到词库,并按时间信息对应到之前视频特征提取中得到的每个视频片段上;
(26)新视频的精彩片段预测,根据步骤(24)得到的视频特征和步骤(25)得到的弹幕数据特征,利用步骤(14)训练得到的预测模型对每个视频片段进行是否为视频精彩片段的预测;
(27)预测结果合并,对步骤(26)得到的每个视频片段和对应的预测结果进行合并;预测结果的合并即把预测结果按时间合并成最大长度的视频片段,时间起始相接的两个精彩片段合并到一起;如果前后都是视频精彩片段,而中间有一到两个视频片段不是精彩片段,也把中间这一到两个视频片段合并到视频精彩片段的集合中,最终得到合并过后的精彩片段的时间起始信息;
(28)预测结果的保存,保存合并过的视频精彩片段信息,并保存当前时刻所有的弹幕数据方便以后对比是否需要重新启用预测;
(29)视频精彩片段的显示,根据预测的视频精彩片段结果,在视频播放页的时间轴上以不同颜色显示出视频的各个精彩片段,用户点击精彩片段则从该视频片段的起点开始播放。
本发明从收集到的视频和弹幕数据中提取有效的特征,利用深度学习训练得到预测模型;对于新视频以同样的方式提取视频和弹幕数据的特征,并根据得到的特征利用预测模型预测视频的精彩片段。该方法含有缓存机制,即新增的弹幕数据达到一定程度后才重新预测视频的精彩片段,否则可以直接加载已有的精彩片段信息,这样,在保证结果及时更新的情况下提高整个分析过程的时间。该方法最终可以给在线视频进行精彩片段的标记,以供用户选择,使用户在观看视频的时候,可以有仅观看视频精彩部分的选择,节约观看视频的时间又可以不错过整个视频的精彩部分,提高用户观看视频的体验。