专利名称：视频场景关联值的获取方法及应用该方法的视频快速浏览和检索方法
技术领域：
本发明涉及视频场景之间的关联值的获取方法及应用该方法实现视频快 速浏览和检索方法，属于视频分析与理解领域。
背景技术：
由于现代人生活节奏较快，不少用户希望能够快速浏览视频中感兴趣的 内容。目前用于视频浏览技术的检索项目有人物、地点、事件、物品、关键 帧等，场景是视频的重要组成元素，也可以作为用户浏览和搜索视频的依据。 但是现有的技术仅仅专注于采用何种方式(特征)对场景进行底层表达，有 一定的局限性，检索结果准确率和查全率不高。现有技术忽视了场景在视频 镜头内部的关联关系，由于镜头移动、縮放等操作，同一视频镜头内部会出 现不同的场景，这些场景虽然在底层表达上没有什么相似之处，但从物理关 联性上来讲，它们却是紧密联系的。
发明内容
本发明的目的是解决目前利用场景作为检索项目对视频迸行浏览或检索
时准确率和査全率不高，忽视场景内部的关联关系的问题，提供一种基于视
频场景关联关系的视频快速浏览和检索方法。
本发明视频场景关联值的获取方法实现的步骤包括
步骤a:对欲浏览的视频进行预处理，提取出多个关键帧；
步骤b:对所述多个关键帧利用K均值聚类算法进行聚类，初始化各视
频场景之间的关联图G<V,L>，
其中，〈V〉表示视频场景类别的集合，<1>表示每两个视频场景之间的关
联值的集合，初始为空；
步骤c:令m表示视频场景的变量，初始化该视频场景的变量m二l; 步骤d:判断m是否满足m《N， N表示视频场景的数量； 判断结果为是，执行下一步，判断结果为否，执行步骤/， 步骤e:初始化n4， n表示每个视频场景包括的关键帧的变量；步骤f:判断n是否满足n《Km， Km表示每个视频场景包括的关键帧数
量；
判断结果为是，执行下一步，判断结果为否，执行步骤k， 步骤g:将n赋予p， p=n， p表示两个视频场景之间的关联值； 步骤h:判断p是否满足p《Km;
判断结果为是，执行下一步，判断结果为否，执行步骤j， 步骤i:将集合《〉中〈Vn,Vp〉对应的关联值p自增1， p=p+l， Vn表示第n个关键帧所属的视频场景的类别，Vp表示第p个关键帧所 属的视频场景的类别； 然后执行步骤h， 步骤j: n=n+l; 然后执行步骤f， 步骤k: m=m+l; 然后执行步骤d，
步骤/:保存计算后的N个视频场景之间的新关联图G' <V，L' >，获得 了每两个视频场景之间的关联值的集合<1/ >， N、 Km均为自然数。
应用上述视频场景关联值的获取方法的视频快速浏览方法实现步骤包 括将所述N个视频场景按与目标场景之间的关联值从小到大排序，即N个 视频场景按与目标视频场景之间相似度从小到大排序，进而完成视频场景的 快速浏览。
应用上述视频场景关联值的获取方法的视频检索方法实现步骤包括选
取阈值T，保留所述N个视频场景中所有与目标视频场景之间的关联值大于T 的视频场景，即获得与目标视频场景的相似度大于阈值T的视频场景，检索 完成。
本发明的优点是由于镜头移动、縮放等操作，同一视频镜头内部会出 现不同的场景，这些场景虽然在底层表达上没有什么相似之处，但从物理关 联性上来讲，它们却是紧密联系的。基于上述特性，本发明充分利用了视频 镜头内部的物理关联信息，计算视频场景之间的关联值，实现视频场景的快速浏览和检索。
图l是实施方式一的流程图。
具体实施例方式
具体实施方式
一下面结合图1说明本实施方式，本实施方式所述的视
频场景关联值的获取方法，实现该方法的步骤包括
步骤a:对欲浏览的视频进行预处理，提取出多个关键帧；
步骤b:对所述多个关键帧利用K均值聚类算法进行聚类，初始化各视
频场景之间的关联图G<V，L>，
其中，〈V〉表示视频场景类别的集合，<1>表示每两个视频场景之间的关
联值的集合，初始为空；
步骤c:令m表示视频场景的变量，初始化该视频场景的变量m-l; 步骤d:判断m是否满足m《N， N表示视频场景的数量； 判断结果为是，执行下一步，判断结果为否，执行步骤/， 步骤e:初始化11=1， n表示每个视频场景包括的关键帧的变量； 步骤f:判断n是否满足n《Km， Km表示每个视频场景包括的关键帧数
判断结果为是，执行下一步，判断结果为否，执行步骤k， 步骤g:将n赋予p， p=n， p表示两个视频场景之间的关联值；
步骤h:判断p是否满足p《Km;
判断结果为是，执行下一步，判断结果为否，执行步骤j，
步骤i:将集合〈L〉中〈Vn,Vp〉对应的关联值p自增1， p=p+l， Vn表示第n个关键帧所属的视频场景的类别，Vp表示第p个关键帧所 属的视频场景的类别； 然后执行步骤h， 步骤j: n=n+l;
然后执行步骤f，
步骤k: m=m+l;
然后执行步骤d，步骤/:保存计算后的N个视频场景之间的新关联图G' <V,L' >，获得 了每两个视频场景之间的关联值的集合〈L' >， N、 Km均为自然数。
步骤a中所述的对欲浏览的视频进行预处理的方法为
采用视频切分工具将欲浏览的视频分割成多个视频镜头，所述视频的分 割准确率大于90%;抽取视频镜头的关键帧；利用高斯混合模型分离关键帧 中的前景和背景；滤除背景比例在0.5以下的视频场景；提取关键帧背景的视 觉底层特征，并定义相似度度量准则。以上对视频进行的预处理，利用现有 技术，具体采用何种方法不限。
所述视觉底层特征可以采用颜色直方图、颜色相关图，纹理直方图，纹 理共生矩阵等。
步骤b中所述的K均值聚类算法为
K均值聚类算法接受输入量K;然后将n个数据对象划分为K个聚类以 便使得所获得的聚类满足同一聚类中的对象相似度较高；而不同聚类中的 对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个"中心 对象"(引力中心)来进行计算的。
K均值聚类算法的工作过程说明如下首先从步骤a提取的多个关键帧
对象中任意选择S个对象作为初始聚类中心；而对于所剩下其它对象，则根据 它们与所述s个初始聚类中心的相似度，分别将它们分配给与其最相似的聚 类；然后重新计算每个聚类的聚类中心，即该聚类中所有对象的均值；不断
重复上述过程，直到标准测度函数开始收敛为止，形成集合〈v、集合〈v〉
中的每一个聚类代表一个视频场景类别，所述s为自然数。
一般都采用均方差作为标准测度函数，K个聚类具有以下特点各聚类
本身尽可能的紧凑，而各聚类之间尽可能的分开。
本步骤中集合〈V〉中存放的就是各聚类的集合，每个聚类作为一个场景类
别，<1>表示每两个场景之间的关联值的集合，初始为空，在后续的步骤中会
计算出每两个聚类(即每两个场景)之间的关联值。
步骤d中说明设定视频场景的数量为N，我们要计算N个视频场景中所有的每两个场景之间的关联值，所以设计此循环步骤。
步骤/计算得到的N个视频场景的新关联图G' <V,L' >就是我们想要的 信息，根据这个新关联图，能够实现快速浏览和检索的功能。
具体实施方式
二本实施方式所述的应用实施方式一所述的视频场景关 联值的获取方法的视频快速浏览方法，实现该方法的步骤包括选定目标视 频场景，将所述N个视频场景按与目标场景之间的关联值从小到大排序，即
N个视频场景按与目标视频场景之间相似度从小到大排序，进而完成视频场
景的快速浏览。
本实施方式中所述的目标视频场景是用户希望能够快速浏览视频中感兴 趣的内容之一。场景是视频的重要组成元素，可以作为用户浏览和搜索视频 的依据，我们首先选取一个感兴趣的一个场景，设定它为目标视频场景，然 后，按照各视频场景与目标视频场景的关联程度的大小，将各个场景快速的 排序，这样，就可以轻松的转到与选中场景相似度近的相关场景去观看感兴 趣的视频，达到快速浏览的目的，而不用花费太多的时间去找相关的感兴趣 的视频。
具体实施方式
三本实施方式所述的应用实施方式一所述的视频场景关 联值的获取方法的视频检索方法，实现该方法的步骤包括选定目标视频场 景，选取阈值T，保留所述N个视频场景中所有与目标视频场景之间的关联
值大于T的视频场景，即获得与目标视频场景的相似度大于阈值T的视频场 景，检索完成；
完成检索功能后，为了让用户方便浏览，还可以包括将检索获得的视
频场景按关联值从小到大排序，即按照与目标视频场景的相似度进行排序。
在实际应用过程中，除了依据关联值排序之外，我们还可以同时选择利 用视觉底层特征对视频场景进行排序，来实现更优化的快速浏览和检索功能， 所述视觉底层特征有很多种，全局的有颜色直方图，颜色相关图，纹理直方
图，纹理共生矩阵等等，局部的有SIFT、 LBP等等，每个关键帧可以提取这 些视觉特征，得到一定长度的特征向量。这些特征向量可以代表图像参与相 似性的计算。提取特征之后，得到的是关键帧的特征向量，此时需要定义相 似度量准则，即利用特征向量计算两个关键帧相似度的具体算法。可以采用最简单的欧式距离，当然采用募他的度量准则也可以(这主要还取决于对特 征的选择)。下面针对欧式距离计算两个关键帧的相似度做一简单介绍 W维向量的欧式距离
其中二；为归一化后的特征向量。(归一化向量的所有维度值之和为1) 两幅图像越相似，服(;J)就越小。可以以此定义一个相似度量函数。 ,__、 Zfc(x，y)
两幅图像越相似，s^p，P)就越大。最大值为i，最小值o。
权利要求
1、视频场景关联值的获取方法，其特征在于实现该方法的步骤包括步骤a对欲浏览的视频进行预处理，提取出多个关键帧；步骤b对所述多个关键帧利用K均值聚类算法进行聚类，初始化各视频场景之间的关联图G<V，L>，其中，<V>表示视频场景类别的集合，<L>表示每两个视频场景之间的关联值的集合，初始为空；步骤c令m表示视频场景的变量，初始化该视频场景的变量m＝1；步骤d判断m是否满足m≤N，N表示视频场景的数量；判断结果为是，执行下一步，判断结果为否，执行步骤l，步骤e初始化n＝1，n表示每个视频场景包括的关键帧的变量；步骤f判断n是否满足n≤Km，Km表示每个视频场景包括的关键帧数量；判断结果为是，执行下一步，判断结果为否，执行步骤k，步骤g将n赋予p，p＝n，p表示两个视频场景之间的关联值；步骤h判断p是否满足p≤Km；判断结果为是，执行下一步，判断结果为否，执行步骤j，步骤i将集合<L>中<Vn，Vp>对应的关联值p自增1，p＝p+1，Vn表示第n个关键帧所属的视频场景的类别，Vp表示第p个关键帧所属的视频场景的类别；然后执行步骤h，步骤jn＝n+1；然后执行步骤f，步骤km＝m+1；然后执行步骤d，步骤l保存计算后的N个视频场景之间的新关联图G′<V，L′>，获得了每两个视频场景之间的关联值的集合<L′>，N、Km均为自然数。
2、 根据权利要求1所述的视频场景关联值的获取方法，其特征在于步骤a中所述的对欲浏览的视频进行预处理的方法为采用视频切分工具将欲浏览的视频分割成多个视频镜头，所述视频的分割准确率大于90%;抽取视频镜头的关键帧；利用高斯混合模型分离关键帧 中的前景和背景；滤除背景比例在0.5以下的视频场景；提取关键帧背景的视 觉底层特征，并定义相似度度量准则。
3、 根据权利要求1所述的视频场景关联值的获取方法，其特征在于步骤 b所述的K均值聚类算法为首先从步骤a提取的多个关键帧对象中任意选择s个对象作为初始聚类中 心；而对于所剩下其它对象，则根据它们与所述s个初始聚类中心的相似度， 分别将它们分配给与其最相似的聚类;然后重新计算每个聚类的聚类中心， 即该聚类中所有对象的均值；不断重复上述过程，直到标准测度函数开始收 敛为止，形成集合〈V〉，集合〈V〉中的每一个聚类代表一个视频场景类别，所 述s为自然数。
4、 应用权利要求1所述的视频场景关联值的获取方法的视频快速浏览方 法，其特征在于它包括选定目标视频场景，将所述N个视频场景按与目标 场景之间的关联值从小到大排序，即N个视频场景按与目标视频场景之间相 似度从小到大排序，进而完成视频场景的快速浏览。
5、 应用权利要求1所述的视频场景关联值的获取方法的视频检索方法， 其特征在于它包括选定目标视频场景，选取阈值T，保留所述N个视频场 景中所有与目标视频场景之间的关联值大于T的视频场景，即获得与目标视 频场景的相似度大于阈值T的视频场景，检索完成。
6、 根据权利要求5所述的应用视频场景关联值的获取方法的视频检索方 法，其特征在于它还包括将检索获得的视频场景按关联值从小到大排序， 即按照与目标视频场景的相似度进行排序。
全文摘要
视频场景关联值的获取方法及应用该方法的视频快速浏览和检索方法，属于视频分析与理解领域。目的是解决视频浏览检索准确率和查全率不高的问题。本发明主要创新点在于利用了视频镜头内部各个场景之间的物理关联线索，即不同表观的场景在同一视频镜头内共同出现的频度，来计算视频场景的关联关系G<V，L>，并利用视频场景之间的关联关系进行视频快速浏览与检索。本发明不受场景表观上的影响，能够准确的表达两个视频场景之间的物理关联关系，从而解决了传统方法准确率和查全率不高的问题。
文档编号G06F17/30GK101425069SQ200810137510
公开日2009年5月6日 申请日期2008年11月12日 优先权日2008年11月12日
发明者刘先明, 刘天强, 姚鸿勋, 孙晓帅, 纪荣嵘, 许鹏飞 申请人:哈尔滨工业大学