专利名称：一种基于色彩量化和聚类的视频关键帧提取方法
技术领域：
本发明涉及一种视频关键帧提取方法，尤其涉及一种能够从不同类型不同分辨率的视频中提取出关键帧序列的基于色彩量化和聚类的视频关键帧提取方法。属于视频关键帧提取领域。
背景技术：
随着多媒体信息在娱乐、商业、生产、医学、安全、国防、军事等领域的大量应用，传统的基于关键词描述的视频检索方案因其手工添加注释工作量大、人工文字标签描述主观性强、效率低下等诸多缺陷，已经不能适应海量视频检索的需求了，如何有效得存储、组织、管理、浏览和检索视频信息成为一个关键问题。基于内容的视频检索为解决这个难题提供了一条可行途径，视频检索和摘要技术是近年来的两大热点，而视频关键帧的提取技术在视频检索研究中占据着核心地位。视频关键帧是一段视频中包含重要视频内容的一组离散的帧序列，视频关键帧提取就是依据镜头内容的复杂程度，从镜头中提取一个或多个关键帧，从而用少量的帧来代替镜头的内容，它是视频检索和摘要的基本步骤。目前常用的视频关键帧提取方法归纳起来主要有以下四类基于镜头边界法、基于运动分析法、基于视觉内容法、基于聚类分析法。镜头边界法是最直接最简单的关键帧提取方法，一段视频流被分割成若干镜头后，选取每个镜头的首帧、中间帧或者尾帧作为镜头的关键帧。这种方法设计简单，运算量小，适合内容简单或固定场景的镜头。但对于较为复杂的场景，这样提取的镜头代表帧往往并非真正的关键帧，不能精确得代表镜头的信息。同时该方法受前期镜头分割工作的影响很大，分割效果不好，此方法选择的关键帧更加杂乱。运动分析法可以根据镜头的结构选择相应数目的关键帧，一般都是基于光流运算的，通过光流分析来计算镜头中的运动量，在运动量取局部最小值处选取关键帧。但这种方法计算量较大，实时性较差，而且基于光流算法的局部最小值也不一定准确。视觉内容法基于每一帧的颜色、纹理等视觉信息的改变来提取关键帧，当这些信息有显著变化时，当前帧即可作为关键帧。此方法可以根据镜头内容的变化程度选择相应数目的关键帧，但选取的帧不一定能放映镜头的内容，而且容易获取过多的关键帧。聚类分析法综合考虑镜头内和镜头间的相关性，通过聚类那些在时间、内容上相关度很高的帧图像，将视频序列划分为不同的聚类，然后选取其中最不相关的离散帧作为镜头关键帧。聚类方法计算效率高，能有效获取视频镜头变化显著的视觉内容，但不能有效地保存原镜头内图像帧的图像顺序和动态信息。
发明内容
本发明的目的就在于为了解决上述问题而提供的一种基于色彩量化和聚类的视频关键帧提取方法，这种视频关键帧提取方法能够从大量的、不同类型的、不同分辨率的视频内容中快速、准确的提取出关键帧序列，同时有效避免冗余并可以控制关键帧的数量。为了达到上述目的，本发明采用了以下技术方案本发明所述一种基于色彩量化和聚类的视频关键帧提取方法包括以下流程加载视频数据流一对视频流进行单帧扫描一对得到的帧图像进行色彩量化，提取量化后的帧图像的主色彩特征一计算相邻帧间相似度，得到相邻帧差一根据相邻帧差进行镜头边界检测—对分割的镜头进行镜头分类，提取每个镜头的代表帧一对代表帧序列进行压缩聚类，得到关键巾贞序列。所述流程中，对帧图像进行色彩量化，提取帧图像主色彩特征的方法为设Ci是颜色空间中的一个三维向量，可以是RGB、HSV等颜色空间)，Cinput = {Ci，i = 1,2,... ,N}表示单帧扫描后得到的帧图像颜色的集合，其中N表示颜色的数目，Cratput = lc' j, j = 1，2，. . .，K} (K << N)表示色彩量化后得到的索引图像的颜色集合，即为单帧图像的主色彩特征。色彩量化是一个映射过程q Cinput — Coutput(式 I)本发明中采用基于八叉树结构的色彩量化算法，遵循距离最近准则单帧扫描后得到的帧图像中的任一颜色c将被映射到索引图像颜色集合Cwtput中距离最近的颜色c'，即c' =q(c):||c-c' | = minj = l,2,k| |c-c' J|| (式 II)同时，在颜色集合Cinput中得到K个聚类Sk，k = 1,2, ... ,KSk = {c ∈ Cinput | q (c) = C' k}(式 III)式III中，c',为K个聚类的聚类中心，它们组成索引图像的颜色集合，即提取出的主色彩特征。本发明中对单帧图像的色彩量化，提取主色彩特征主要分为以下3个步骤1)色彩八叉树的建立。从根结点开始，取R、G、B分量二进制值的第7位，组合在一起形成一个3位的索引值，索引值范围为0-7，分别对应于8个子结点；寻找到下一层结点后，取下R、G、B值的下一位进行组合，得到索引值；以此类推，就可查找到每种颜色对应的叶子结点，从而建立八叉树，在每个结点上记录所有经过的结点的RGB值的总和以及RGB颜色个数。2)八叉树的归并。插入的过程中，如果叶子结点数超过了总颜色数(本发明中叶子结点总数设为K)，就需要归并一些叶子结点。本发明中从最底层叶结点开始合并，按结点计数值小的优先合并策略，将其子结点的所有RGB分量以及结点计数全部记录到该结点中，并删除其所有子结点，依此进行，直到合并后的叶子数符合要求为止。此时，取出叶子结点中的RGB分量的平均值(分量总和、结点个数)，得到的调色板颜色值。3)图像色彩量化。重新扫描单帧图像，由每个像素的颜色值查找到色彩八叉树中的对应的叶子结点，用叶子结点中记录的调色板索引值表示该像素，从而提取出该单帧图像的主色彩特征，并用主色彩特征重新表示图像，得到色彩量化后的新图像。所述流程中，计算相邻帧间相似度，得到相邻帧差的方法为采用基于聚类颜色特征的相似度计算方法，具体步骤为(1)对任意两帧图像Ia和Ib通过基于八叉树的颜色量化算法分别将图像所有颜色相似的象素归为一类，假设图像、和Ib分别得到ωΑ和ωΒ(ωΑ=ΝΑ，ωΒ=ΝΒ)种不同颜色的归类。(2)在RGB颜色空间中计算两个象素Pi和Pj的颜色欧式距离(Iij为
权利要求
1.一种基于色彩量化和聚类的视频关键帧提取方法，其特征在于包括以下流程力口载视频数据流一对视频流进行单帧扫描一对得到的帧图像进行色彩量化，提取量化后的帧图像的主色彩特征一计算相邻帧间相似度，得到相邻帧差一根据相邻帧差进行镜头边界检测一对分割的镜头进行镜头分类，提取每个镜头的代表帧一对代表帧序列进行压缩聚类，得到关键巾贞序列。
2.根据权利要求1所述的所述的一种基于色彩量化和聚类的视频关键帧提取方法，其特征在于所述流程——对得到的帧图像进行色彩量化，提取量化后的帧图像的主色彩特征的方法为 设Ci是颜色空间中的一个三维向量，可以是RGB、HSV等颜色空间)，Cinput = {Ci，i =1,2, ...,N}表示单帧扫描后得到的帧图像颜色的集合，其中N表示颜色的数目，Cratput =lc' j, j = 1，2，...，K}(K<<N)表示色彩量化后得到的索引图像的颜色集合，即为单帧图像的主色彩特征。色彩量化是一个映射过程 Q : Cinput C0Utput 本发明中采用基于八叉树结构的色彩量化算法，遵循距离最近准则单帧扫描后得到的帧图像中的任一颜色c将被映射到索引图像颜色集合Cwtput中距离最近的颜色c'，即 C1 = q(c) I \c-c' I I = minJ = 1,2,...,k| |c-c' J 同时，在颜色集合Cinput中得到K个聚类Sk, k= 1,2,... ,K Sk = {c e Cinput I q (c) = c' J c',为K个聚类的聚类中心，它们组成索引图像的颜色集合，即提取出的主色彩特征。
3.根据权利要求1所述的所述的一种基于色彩量化和聚类的视频关键帧提取方法，其特征在于所述流程——对得到的帧图像进行色彩量化，提取量化后的帧图像的主色彩特征主要采用基于八叉树结构的色彩量化算法，分为以下3个步骤 (1)色彩八叉树的建立。从根结点开始，取R、G、B分量二进制值的第7位，组合在一起形成一个3位的索引值，索引值范围为0-7，分别对应于8个子结点；寻找到下一层结点后，取下R、G、B值的下一位进行组合，得到索引值；以此类推，就可查找到每种颜色对应的叶子结点，从而建立八叉树，在每个结点上记录所有经过的结点的RGB值的总和以及RGB颜色个数。
(2)八叉树的归并。插入的过程中，如果叶子结点数超过了总颜色数(本发明中叶子结点总数设为K)，就需要归并一些叶子结点。本发明中从最底层叶结点开始合并，按结点计数值小的优先合并策略，将其子结点的所有RGB分量以及结点计数全部记录到该结点中，并删除其所有子结点，依此进行，直到合并后的叶子数符合要求为止。此时，取出叶子结点中的RGB分量的平均值(分量总和、结点个数)，得到的调色板颜色值。
(3)图像色彩量化。重新扫描单帧图像，由每个像素的颜色值查找到色彩八叉树中的对应的叶子结点，用叶子结点中记录的调色板索引值表示该像素，从而提取出该单帧图像的主色彩特征，并用主色彩特征重新表示图像，得到色彩量化后的新图像。
4.根据权利要求1所述的所述的一种基于色彩量化和聚类的视频关键帧提取方法，其特征在于所述流程——计算相邻帧间相似度，得到相邻帧差的方法为采用基于聚类颜色特征的相似度计算方法，具体步骤如下 (I)对任意两帧图像Ia和Ib通过基于八叉树的颜色量化算法分别将图像所有颜色相似的象素归为一类，假设图像、和Ib分别得到ωΑ和ωΒ(ωΑ = ΝΑ，ωΒ = Nb)种不同颜色的归类。
(2)在RGB颜色空间中计算两个象素Pi和P」的颜色欧式距离du为
5.根据权利要求1所述的所述的一种基于色彩量化和聚类的视频关键帧提取方法，其特征在于所述流程一根据相邻帧差进行镜头边界检测的方法为 在本发明中先通过镜头边界系数Csb初步确定镜头的边界，再根据相邻帧差diff对初步定位的镜头进一步扫描，精确定位镜头的边界，从而提高镜头边界检测的查全率和查准率。
定义第i帧的镜头边界相似系数(Csbs)为
6.根据权利要求1所述的所述的一种基于色彩量化和聚类的视频关键帧提取方法，其特征在于所述流程——对分割的镜头进行镜头分类，提取每个镜头的代表帧的方法为当相邻帧差diff发生突变时，默认分割的镜头为普通镜头，提取该镜头最中间的一帧作为镜头的代表帧，只提取与该镜头起始帧距离最大即图像内容变化程度最高的帧作为该镜头的代表帧。
7.根据权利要求1所述的所述的一种基于色彩量化和聚类的视频关键帧提取方法，其特征在于所述流程一对代表帧序列进行压缩聚类，得到关键帧序列的方法为 通过K-均值聚类法将代表帧序列压缩至要求的数量以达到一定的压缩比，同时消除冗余选取现象。设要提取关键帧的镜头的代表帧集合为F = {f1；fn}，根据基于聚类颜色特征的相似度计算方法定义代表帧集合F中代表帧和&间的距离(Kfi, fj)=diff (fi； fj),设簇类中心为 M 个p1; p2, , ρΜ。
目标函数定义为
8.根据权利要求4所述在计算相邻帧间相似度，得到相邻帧差的步骤(3)中，其特征在于RGB颜色空间中两个象素Pi和P」的颜色相似度与其颜色欧式距离之间关系采用高斯函数进行拟合 高斯函数拟合象素点颜色相似度函数曲线全文摘要
本发明公开了一种基于色彩量化和聚类的视频关键帧提取方法，包括以下流程加载视频数据流→对视频流进行单帧扫描→对得到的帧图像进行色彩量化，提取量化后的帧图像的主色彩特征→计算相邻帧间相似度，得到相邻帧差→根据相邻帧差进行镜头边界检测→对分割的镜头进行镜头分类，提取每个镜头的代表帧→对代表帧序列进行压缩聚类，得到关键帧序列。本发明先对单帧图像进行色彩量化提取图像主色彩，采用基于聚类颜色特征的相似度计算方法进行帧差计算，从而实现镜头边界检测，最后对提取出的代表性帧序列按压缩比进行聚类，整个过程对视频格式、类型依赖性低，具有良好的通用性和适应性，计算简单、空间耗费低，同时能有效避免关键帧选取冗余的现象并可以控制关键帧的数量、质量，并实现对视频压缩比的控制。
文档编号G06K9/62GK103065153SQ20121054458
公开日2013年4月24日 申请日期2012年12月17日 优先权日2012年12月17日
发明者吴亚东, 王松, 韩永国, 陈永辉 申请人:西南科技大学