一种基于九宫格的视频缩略图自动生成方法与流程

本发明涉及大数据分析技术领域，尤其涉及一种基于九宫格的视频缩略图自动生成方法。

背景技术：

随着计算机技术的蓬勃发展，视频成为当前传播信息的主要形式，而视频本身具备丰富的音视图文信息，使其更直观的让人们所理解与接受，但是也因其具备丰富的音视图文信息，其本身也不可避免地带有冗余信息。

在当今快节奏的生活中，观看一部完整的视频成为了一种奢望，因此，现有技术中通常采用视频缩略图的方式实现关键信息的呈现，具体地：

1、中国专利(申请号：200710102089.2)公开了一种视频缩略图生成方法和视频缩略图生成装置，从视频文件中采集多帧数据，得到对应的多张静态图片；将所述多张静态图片制成动画文件，作为所述视频的视频缩略图。但是，该方法仅仅是采用多帧图像数据，虽然是制作成为动画，但是表达的视频信息依然不够直观，而且由于其仅仅是从图像数据入手，缺少了视频的语音信息，而且由于多张关键帧组成的动画，缺失了视频最关键的逻辑性与关联性。

2、基于web的视频缩略图动态生成技术研究，该研究采用第三方开源免费组件来解决web环境下视频缩略图动态生成的技术问题，系统技术架构主要采用微软asp.net框架开发。但是，即使采用第三方开源组件来生成，该生成的方案是随机选取质量高的图片，也仅仅只是从视觉信息入手，缺失了语音信息，而且该方法仅仅选取一张图片作为缩略图，内容单一，表达不充分。

3、一种有效的网络视频内容缩略图推荐方法，在图像显著性分析的基础上提出一种新的图像内容易获取性特征，并利用支持向量回归的方法训练出一个图像内容易获取性评价模型，最后为了保证所推荐视频缩略图的内容具有代表性，采用一种基于互相增强的代表性排序方法，最后通过线性加权将视频关键帧的易获取性得分和代表性得分融合来获取最终的视频内容缩略图。但是，该方法虽然通过多种方法融合生成最具有代表性的缩略图，但是依然缺少语音信息，视频具有强相关性与多通道的特性，如果仅仅从单一的角度获取缩略图，势必会影响视频内容的主题思想，因此生成的缩略图不能够精确的表达视频的内容以及相关性。

由上可知，视频缩略图的生成形式单一，不足以表达视频内容信息，使得人们查看缩略图依然不能够理解视频主要信息；同时，视频缩略图仅仅从视觉信息方面获取信息，缺失了视频相关性信息，使得生成的缩略图关联性低，缺少逻辑。因此，如何从视频中快速的获取人们想要的知识以及如何快速的检索到想要的视频，是目前视频处理技术中亟待解决的关键问题。

技术实现要素：

本发明所要解决的技术问题在于，提供一种基于九宫格的视频缩略图自动生成方法，可通过大数据分析技术实现视觉通道信息与语音通道信息的相关性融合，从而提高了视频缩略图的相关性与表达视频内容的精确性。

为了解决上述技术问题，本发明提供了一种基于九宫格的视频缩略图自动生成方法，包括：从视频数据中提取出关键词及关键帧；从所述关键词中提取目标关键词以构建待查词库；从所述关键帧中提取目标关键帧以构建待查图库；根据所述待查词库与待查图库的关联关系构建外键索引库；根据所述待查词库、外键索引库及待查图库，并采用九宫格布局方式自动生成视频缩略图。

作为上述方案的改进，所述从视频数据中提取出关键词及关键帧的步骤包括：从视频数据中提取出音频数据，并将所述音频数据转换为音频文本数据；从视频数据中提取出关键帧，并从所述关键帧中提取出图像文本数据；将所述音频文本数据及图像文本数据整合为文本数据；对所述文本数据进行分词处理，以划分出多个词组；从所述词组中提取关键词。

作为上述方案的改进，所述从视频数据中提取出关键帧的步骤包括：读取视频数据；计算所述视频数据中每帧图像之间的帧间差分量；对所述帧间差分量进行滤波处理；根据滤波后的帧间差分量提取关键帧。

作为上述方案的改进，所述从视频数据中提取出关键帧的步骤包括：采用直方图差异法从视频数据中提取出关键帧。

作为上述方案的改进，所述从关键词中提取目标关键词以构建待查词库的步骤包括：对所述关键词进行融合处理及去重处理，以提取出目标关键词；计算所述目标关键词出现的频数信息；根据所述频数信息计算目标关键词与视频主题的相关度以进行目标关键词的关联；将所述目标关键词及所述目标关键词对应的权重信息存入数据库中以构成待查词库。

作为上述方案的改进，所述从关键帧中提取目标关键帧以构建待查图库的步骤包括：采用语义相关性帧间差分法从所有的关键中提取九个目标关键帧，并将所述目标关键帧及所述目标关键帧对应的权重信息存入数据库中以构成待查图库。

作为上述方案的改进，所述根据待查词库与待查图库的关联关系构建外键索引库的步骤包括：采用图像显著性检测算法对所述目标关键帧进行排序；根据目标关键词的权重信息及目标关键帧的权重信息，按顺序将目标关键词与目标关键帧进行对应，并建立外键索引库以记录待查词库与待查图库的关联关系。

作为上述方案的改进，所述根据待查词库、外键索引库及待查图库并采用九宫格布局方式自动生成视频缩略图的步骤包括：提取所述待查词库中的目标关键词及所述目标关键词对应的权重信息，并通过所述外键索引库提取所述待查图库中与所述目标关键词对应的目标关键帧；根据所述目标关键词的权重信息对所述目标关键词进行排序；根据所述目标关键词的排序顺序将目标关键帧进行对应位置的输出，以生成九宫格布局方式的视频缩略图。

本发明从视频数据三大特点(多通道、相关性强、高数据量)入手，采用基于九宫格的视频缩略图自动生成方法来对视频数据进行处理。首先对视频数据的语音通道进行文本化处理，然后对视频数据进行关键帧的提取并对关键帧进行文本化处理，之后将关键帧与语音通道获取的文本进行关键词关联性分析并形成待查词库，将关键帧形成九张待查图库，最后将待查词库与待查图库进行相关性关联，并利用九宫格布局按照相关性权重从左至右以及从上至下的方式进行排列组合形成最终的缩略图。因此，实施本发明的有益效果在于：

本发明通过结合大数据分析技术从视频数据中挖掘出关键词及关键帧，大大地提高了关键数据的全面性及准确性。

本发明从视频数据中提取出音频数据及关键帧图像，实现了视觉通道信息与语音通道信息的相关性融合，从而提高了视频缩略图的相关性与表达视频内容的精确性。

本发明采用由九张目标关键帧组成的待查图库与待查词库进行相关性关联，使得用户在以文本信息或者图片信息进行视频检索时，都可以方便地进行视频的检索，提高了视频检索的效率与准确率。

本发明以相关性权重按照从左至右，从上至下的逻辑进行布局设计，使得视频缩略图的相关性得到显著增强，从而提高了用户对视频的理解效率。

附图说明

图1是本发明基于九宫格的视频缩略图自动生成方法的实施例流程图；

图2是本发明中建立外键索引库实施例流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。仅此声明，本发明在文中出现或即将出现的上、下、左、右、前、后、内、外等方位用词，仅以本发明的附图为基准，其并不是对本发明的具体限定。

参见图1，图1显示了本发明基于九宫格的视频缩略图自动生成方法的实施例流程图，其包括：

s101，从视频数据中提取出关键词及关键帧。

具体地，所述从视频数据中提取出关键词及关键帧的步骤包括：

(1)从视频数据中提取出音频数据，并将所述音频数据转换为音频文本数据。优选地，可使用ffmpeg软件从视频数据中提取出音频数据，还可使用科大讯飞的音频转文本软件从音频数据中提取出音频文本数据，但不以此为限制。

(2)从视频数据中提取出关键帧，并从所述关键帧中提取出图像文本数据。其中，所述从视频数据中提取出关键帧的步骤包括：读取视频数据；计算所述视频数据中每帧图像之间的帧间差分量；对所述帧间差分量进行滤波处理；根据滤波后的帧间差分量提取关键帧；同时，可采用ocr文字识别技术对关键帧进行图像文本数据的提取。也就是说，工作时，以1fps读取视频数据，并计算每帧图像之间的帧间差分量，并进行保存，然后对保存的帧间差分量进行滤波处理，在获取局部最优的帧间差分量进行删选，以此实现关键帧的提取，之后采用ocr文字识别技术对关键帧进行图像文本数据的提取。另外，本发明还可采用直方图差异法从视频数据中提取出关键帧。

(3)将所述音频文本数据及图像文本数据整合为文本数据。

(4)对所述文本数据进行分词处理，以划分出多个词组。优选地，可采用jieba(结巴)分词工具对文本数据进行分词处理，但不以此为限制。

(5)从所述词组中提取关键词。优选地，可采用textrank关键词提取算法从词组中提取出关键词，并计算关键词的权重信息及频数信息。

需要说明的是，本发明通过结合大数据分析技术从视频数据中挖掘出关键词及关键帧，大大地提高了关键数据的全面性及准确性。

另外，现有技术中，视频缩略图仅仅从视觉信息方面获取信息，缺失了视频相关性信息，使得生成的缩略图关联性低，缺少逻辑的问题。与现有技术不同的是，本发明从视频数据中提取出音频数据及关键帧图像，实现了视觉通道信息与语音通道信息的相关性融合，从而提高了视频缩略图的相关性与表达视频内容的精确性。

s102，从所述关键词中提取目标关键词以构建待查词库。

具体地，所述从关键词中提取目标关键词以构建待查词库的步骤包括：

(1)对所述关键词进行融合处理及去重处理，以提取出目标关键词。

(2)计算所述目标关键词出现的频数信息。

(3)根据所述频数信息计算目标关键词与视频主题的相关度以进行目标关键词的关联。需要说明的是，一部视频中可存在不同的视频主题，本发明通过计算目标关键词出现的频数信息并采用texttiling中文文本分割技术可计算其与视频主题的相关性进行目标关键词关联。

(4)将所述目标关键词及所述目标关键词对应的权重信息存入数据库中以构成待查词库。

s103，从所述关键帧中提取目标关键帧以构建待查图库。

具体地，所述从关键帧中提取目标关键帧以构建待查图库的步骤包括：采用语义相关性帧间差分法从所有的关键中提取九个目标关键帧，并将所述目标关键帧及所述目标关键帧对应的权重信息存入数据库中以构成待查图库。

s104，根据所述待查词库与待查图库的关联关系构建外键索引库。

需要说明的是，通过目标关键词的权重信息及图像显著性检测算法，可对步骤s102构建的待查词库及步骤s103构建的待查图库进行关联，以形成外键索引库。具体地，所述根据待查词库与待查图库的关联关系构建外键索引库的步骤包括：

(1)采用图像显著性检测算法对所述目标关键帧进行排序，并保存处理之后的目标关键帧顺序。

(2)根据目标关键词的权重信息及目标关键帧的权重信息，按顺序将目标关键词与目标关键帧进行对应，并建立外键索引库以记录待查词库与待查图库的关联关系。

如图2所示，先从待查词库中获取目标关键词及权重信息，然后获取待查图库中的目标关键帧与权重信息，并采用图像显著性检测针对目标关键帧进行排序，保存其处理之后的目标关键帧顺序；再设计权重阈值为5，将待查词库中权重高于5的目标关键词与待查图库中的权重高于5且显著性高的目标关键帧进行对应；然后设计重阈值为3，将待查词库中权重不高于5且高于3的目标关键词与待查图库中权重不高于5且高于3且显著性高的目标关键帧进行对应；最后设计权重阈值为0，将待查词库中权重不高于3且高于0的目标关键词与图库中权重不高于3且高于0且显著性高的目标关键帧进行对应；以此递推，最后建立待查词库与待查图库的关联关系。

因此，本发明采用由九张目标关键帧组成的待查图库与待查词库进行相关性关联，使得用户在以文本信息或者图片信息进行视频检索时，都可以方便地进行视频的检索，提高了视频检索的效率与准确率。

s105，根据所述待查词库、外键索引库及待查图库，并采用九宫格布局方式自动生成视频缩略图。

具体地，所述根据待查词库、外键索引库及待查图库并采用九宫格布局方式自动生成视频缩略图的步骤包括：

(1)提取所述待查词库中的目标关键词及所述目标关键词对应的权重信息，并通过所述外键索引库提取所述待查图库中与所述目标关键词对应的目标关键帧。

(2)根据所述目标关键词的权重信息对所述目标关键词进行排序。

(3)根据所述目标关键词的排序顺序将目标关键帧进行对应位置的输出，以生成九宫格布局方式的视频缩略图。

需要说明的是，本发明中的九宫格以权重最高的目标关键词进行迭代排列，形成权重信息从左至右以及从上至下依次降低的九宫格视频缩略图，从而使视频内容展示更加充分，使用户查找相关视频更加直观与快捷。具体的九宫格布局算法为：首先提取出外键索引库中的目标关键词及对应的权重信息，并获取其对应的目标关键帧，然后以权重最高的目标关键词进行迭代排列，随后将目标关键帧进行对应位置的输出，首先设计列的三次外循环，然后再针对其中的每一行进行三次循环，至循环结束，最后针对外键索引库进行视频缩略图自动生成。

因此，本发明以相关性权重按照从左至右，从上至下的逻辑进行布局设计，使得视频缩略图的相关性得到显著增强，从而提高了用户对视频的理解效率。

由上可知，本发明从视频数据三大特点(多通道、相关性强、高数据量)入手，采用基于九宫格的视频缩略图自动生成方法来对视频数据进行处理。首先对视频数据的语音通道进行文本化处理，然后对视频数据进行关键帧的提取并对关键帧进行文本化处理，之后将关键帧与语音通道获取的文本进行关键词关联性分析并形成待查词库，将关键帧形成九张待查图库，最后将待查词库与待查图库进行相关性关联，并利用九宫格布局按照相关性权重从左至右以及从上至下的方式进行排列组合形成最终的缩略图。当需要进行检索时，用户可输入文本信息或者图片信息，本发明可根据文本信息检索待查词库并根据外键索引库提取待查图库中的关键帧，或者根据图片信息检索待查图库以提取关键帧，从而方便地进行视频的检索，提高了视频检索的效率与准确率。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。