改进的视频镜头检测方法
【专利摘要】本发明公开了一种视频镜头检测方法，包括：直方图法处理过程，所述直方图法处理过程包括步骤：从视频中提取相邻两帧；在HSV空间中，根据三颜色分量的加权比例来计算直方图交集；以及判断是否发生镜头变化；帧差法处理过程，如果判断发生镜头变化，则该处理进入所述帧差法处理过程，所述帧差法处理过程进一步包括步骤：从所述镜头中提取相邻两帧，并进行非均匀分块；计算所述分块中的每一个分块的像素差值；将所述像素差值与预设的分块帧差阈值进行比较，以进行标记；对所述分块中的标记变量进行加权求和；将所述和与设定的分块加权阈值进行比较；以及如果所述和大于所述分块加权阈值，则发生镜头变化。
【专利说明】改进的视频镜头检测方法
【技术领域】
[0001]本发明涉及视频镜头分割技术，更具体地，本发明涉及一种改进的视频镜头检测方法。
【背景技术】
[0002]随着现阶段视频数据的日益丰富，如何对网络上存在的海量视频信息进行有效的组织、管理、查询和检索，并查找到用户感兴趣的视频片段，这一需求已变得愈加迫切。视频镜头分割技术是基于内容的视频检索的核心问题之一，可有效地用于对互联网上海量无序的视频数据进行管理。通过该项技术和关键帧提取技术对视频进行结构化并为视频建立索引和摘要，在形成关于视频内容的线性结构的情况下，才能有效实现视频数据的快速浏览和检索。
[0003]现阶段视频镜头检测分割的常用方法是，计算视频中连续帧之间低层视觉特征或运动特征的帧间差异值，并将其与预设或自适应的阈值进行比较，若差异值大于阈值，则该处为镜头边界，反之，则认为这组连续帧属于同一镜头。由常用方法可知，帧间差异值的度量方式、阈值的设定，以及两者的最优组合将成为视频镜头检测分割的关键所在。而在同一镜头之内，视频特征发生变化主要有以下两个原因:对象/摄像机的运动和光线的变化。对象/摄像机的运动导致镜头内不断出现新对象，同时旧对象也在不断消失，若处理不当，则很容易和镜头渐变混淆，导致镜头误检。镜头内也经常出现光线变化，若镜头内某帧突然变亮，则基于亮度特征度量的帧差值就会发生跳变，若处理不当，就会将其检测为镜头切变，也会导致镜头误检。
[0004]根据镜头转换处的特点，基于不同的图像帧视觉特征和镜头运动特征，镜头分割现有的技术方案主要采用以下几类方法:基于像素的算法、基于直方图的算法等。
[0005](I)基于像素的算法
[0006]基于像素的算法对相邻两帧相应像素的灰度或亮度差值的绝对值进行求和，得到总帧差，并与预设阈值进行比较以衡量帧间差异度。它是计算帧间差异值的最简单和基本的算法，
[0007](2)基于直方图的算法
[0008]直方图直观地反映了一幅图像灰度(灰度直方图)或颜色(颜色直方图)的总体分布，由于其出色的全局特性，广泛应用于图像处理中，并有多种度量方式:基本方法是计算相邻视频帧间的直方图差异值，但是直方图帧差值的结果因采用的直方图种类而异。还可通过引入加权系数计算两幅图像之间的直方图加权距离来对基本方法进行扩展，此外还有计算两幅图像之间的直方图交集或采用其他距离度量方法。
[0009]基于直方图的算法是应用最为广泛的视频镜头检测分割方法，处理简单方便，计算复杂度较低，对于大多数视频来说，只要阈值设置得当，一般均能达到比较好的效果。
[0010]现有的镜头分割算法分别运用了视频不同的低层特征(如颜色、边缘、纹理等视觉特征及运动特征)，虽然都取得了一定的效果，但由于算法本身所限，或多或少都存在一些问题。单独应用某种方法或视频的某种低层视觉特征对视频镜头进行检测，难以获得较好的效果。
[0011]对于基于像素的方法，虽然算法简单明了且容易实现，但对于镜头内对象/摄像机的运动十分敏感，镜头内对象/摄影机的运动将会导致图像帧中多数像素的灰度或亮度发生变化，从而导致镜头边界的误检测；对于基于直方图的方法，由于直方图无法体现图像的位置信息和视觉内容，内容毫无关联的两幅图像也可能拥有同样的灰度/颜色总体分布，具有相同颜色总体分布的两幅图像也可能拥有相同的对象和背景，但是对象的位置不同，这些都可能导致镜头边界的误检测；此外，剧烈光照变化的情况(如闪光等)，也会很大程度上干扰以上两种方法的镜头检测效果。
[0012]基于现有技术存在的缺点，我们在现有镜头检测算法的基础上，对已有算法进行改进，并对理论上具有互补特性的方法进行结合，提出了一种改进的视频镜头检测方法。本发明在镜头检出度和准确度有显著改善的基础上，未显著增加时间和计算复杂度，达到了实际应用中实时性的相应要求。
【发明内容】
[0013]为了克服现有技术中的问题，本发明的技术方案基于内容的视频检索可对用户输入的图像或视频信息有效地分析提取特征，以进行匹配检索，从而提高镜头分割检测的检出度和准确度，给使用者带来便利。
[0014]根据本发明的一个实施例，提供了一种视频镜头检测方法，包括:直方图法处理过程，所述直方图法处理过程包括步骤:从视频中提取相邻两帧；在HSV空间中，根据三颜色分量的加权比例来计算直方图交集；以及判断是否发生镜头变化；帧差法处理过程，如果判断发生镜头变化，则该处理进入所述帧差法处理过程，所述帧差法处理过程进一步包括步骤:从所述镜头中提取相邻两帧，并进行非均匀分块；计算所述分块中的每一个分块的像素差值；将所述像素差值与预设的分块帧差阈值进行比较，以进行标记；对所述分块中的标记变量进行加权求和；将所述和与设定的分块加权阈值进行比较；以及如果所述和大于所述分块加权阈值，则发生镜头变化。
[0015]优选地，所述判断是否发生镜头变化进一步包括:将所述直方图交集与设定的镜头相似度阈值进行比较；以及如果所述直方图交集大于所述镜头相似度阈值，则发生镜头变化。
[0016]优选地，在所述直方图法处理过程中，如果未达到视频末帧，则对下一帧重复进行所述直方图法处理过程。
[0017]优选地，所述进行标记进一步包括:将所述像素差值大于所述分块帧差阈值的分块标记为1，并且将所述像素差值不大于所述分块帧差阈值的分块标记为O。
[0018]优选地，在所述帧差法处理过程中，如果未达到镜头末帧，则对下一帧重复进行所述帧差法处理过程。
[0019]优选地，帧数小于20的镜头被划归到上一个镜头中。
[0020]根据本公开和附图的下面的详细描述，对本领域的普通技术人员来说其它的目的、特征、以及优点将是显而易见的。
【专利附图】
【附图说明】
[0021]附图图示了本发明的实施例，并与说明书一起用于解释本发明的原理。在附图中:
[0022]图1示出了根据本发明的实施例的改进直方图法处理流程图。
[0023]图2示出了根据本发明的实施例的改进的帧差法处理流程图。
【具体实施方式】
[0024]根据本发明的实施例公开了一种改进的视频镜头检测方法。在以下描述中，为了说明的目的，阐述了多个具体细节以提供对本发明的实施例的全面理解。然而，对于本领域人员显而易见的是，本发明的实施例可以在没有这些具体细节的情况下实现。
[0025]视频的结构一般可以分为四个层次:视频序列、场景、镜头和帧。具体地，一个视频序列指的是单独的一格视频文件，或一格视频片段。视频序列由若干个场景组成。每个场景包含一个或多个镜头，这些镜头可以是连续的或者有间隔的。每个镜头包含有若干连续的图像帧。场景是由若干个在语义上相关的镜头共同组成的能够表达一定语义内容的视频片段，这些语音相关的镜头可以是连续的，也可以是间隔的。
[0026]如在此所使用的，术语“视频镜头”指的是由同一摄像机连续摄取的一系列相互关联的帧，代表了一个连续的动作，也被视为视频检索的基本单元，通常具有背景不变或缓变的特点。只有将视频序列分解为镜头，才能有效的进行关键帧提取、视频缩略、视频序列辨识等工作。如在此所使用的，术语“关键帧”是用来描述一个镜头内部主要内容的某个帧或某几帧图像。视频镜头检测和关键帧提取作为视频结构化的重要组成部分，是基于内容的视频检索的关键技术。
[0027]帧是视频的最小单位，是一副静态的图像。播放视频文件时，定格在任意时刻的画面，即为一帧图像。在镜头内容的图像变化，其原因一般是摄像头的运动和对象的运动以及光源的亮度变化等。
[0028]镜头分割又称镜头变换检测，是视频结构层次化的基础，要求避免外界因素对于镜头检测分割的影响，将视频序列分割为多个由拥有相同内容的一组不间断帧组成的镜头。对于基于内容的视频检索，“基于内容”表示该方法分析的是视频数据的实际内容，如颜色、边缘、纹理或其他可从视频本身获取得到的信息，而不是类似于关键字、标签或视频描述等元数据。
[0029]镜头之间的变换包括两种:切变和渐变。切变是指一个镜头不采用任何编辑效果直接变换到另一个镜头；渐变是指一个镜头通过某种编辑手段，诸如淡出、淡入、叠化等，缓慢地变换到另一个镜头中。
[0030]镜头分割是视频结构层次化的基础，作为分析视频序列以及对大规模视频数据库进行有效检索和浏览的基础步骤，能否尽量避免外界因素对于镜头检测分割的影响，将视频准确分割为镜头集合将直接影响到关键帧提取以及后续处理的效果。
[0031]根据本发明的技术方案，采用改进的直方图处理方法对视频数据进行初步处理，然后基于该处理结果利用改进的帧差法进行再次处理，从而有效提高了视频镜头的检出度和准确度。该方法的具体实现步骤如下:
[0032]a.在HSV颜色空间下，分别对H、S、V颜色分量进行非均匀量化，并为各颜色分量赋以不同的权值，计算出相邻两帧直方图的交集，并与设定阈值进行比较以判断是否发生镜头变化。
[0033]b.对于(a)中所得结果，利用帧间灰度/颜色差值进行镜头边界的二次检测，结合非均匀分块加权的方法，分别对每块计算像素差值并与预设的分块帧差阈值进行比较以进行标记，而后对每块的标记变量加权求和，并与设定的分块加权阈值进行比较以判断是否发生镜头变化。
[0034]c.考虑到强烈光照变化的情况，尤其是闪光，本文将帧数小于20的镜头重新划归到上一个镜头中。
[0035]图1示出了根据本发明的实施例的改进直方图法处理流程图。如图1所示，在步骤11中，从视频中提取相邻两帧。然后，在步骤12中，在HSV空间中，根据三颜色分量的加权比例来计算直方图交集，以便判断是否发生镜头变化。所述三颜色分量的加权比例例如来自于本领域常用的非均匀量化HSV空间的方式，并且可以例如采用9:3:1。具体地，在步骤13中，判断直方图交集是否大于镜头相似度阈值。如果是，则在步骤16中，判定无镜头变化。如果不是，则在步骤14中，判定发生镜头变化。重复该处理，直到到达视频末帧。
[0036]这样，在图1的处理完毕后，形成初步的镜头序列。然后，根据本发明的技术方案的视频镜头检测方法进入如图2所示的改进帧差法处理流程。图2中的处理步骤是针对该镜头序列中每个镜头的内部帧进行再处理。
[0037]图2示出了根据本发明的实施例的改进的帧差法处理流程图。如图2所示，在步骤21中，从镜头中提取相邻两帧，并进行非均匀分块。然后，在步骤22中，计算对应块的像素差值。在步骤23中，判断是否大于分块帧差阈值。如果是，则在步骤24中，将该块标记为I。如果不是，则在步骤25中，将该块标记为O。如本领域技术人员理解的，该标记仅用于区分目的，也可以采用其他方式。在步骤26中，判断是否是镜头帧末块。如果不是，则该处理进入下一块并返回步骤22。如果判断是镜头帧末块，则在步骤28中，对标记变量进行加权求和。然后，在步骤29中，判断是否大于分块加权阈值。如果是，则在步骤30中判断发生镜头变化。如果在步骤29中判断不是大于分块加权阈值，则在步骤33中，判断无镜头变化。进一步地，在步骤31中，判断是否镜头末帧。如果不是，则该处理进入下一帧并返回步骤21。如果是，则该处理结束。
[0038]而且，对于镜头内出现闪光(强烈光照变化)的情况，将帧数小于20的镜头重新划归到上一个镜头中，这样更适合于人类视觉特性。
[0039]对视频进行初步处理的直方图法，在HSV颜色空间下，分别对H、S、V颜色分量进行非均匀量化，并为各颜色分量赋以不同的权值，计算出两帧间的直方图差异度，这样可更好地反映出人类视觉感知的差异程度，并具有一定的感知均匀性。
[0040]对视频进行二次处理的像素帧差法，通过非均匀分块匹配并进行加权，这样可有效地抑制视频顶部或底部的广告或字幕对于镜头检测的干扰，并充分考虑到了图像帧各像素的位置信息，对于改进的直方图方法起到了很好的补充作用。
[0041]本发明有效提高了视频镜头的检出度和准确度，可有效用于基于内容的视频检索，并提供给使用者根据检出镜头快速浏览视频的便利功能。
[0042]上述实施例仅是本发明的优选实施例，并不用于限制本发明。对本领域技术人员显而易见的是，在不脱离本发明精神和范围的情况下，可以对本发明的实施例进行各种修改和改变。因此，本发明意在涵盖落入如权利要求所限定的本发明的范围之内的所有的修改或变型。
【权利要求】
1.一种视频镜头检测方法，包括: 直方图法处理过程，所述直方图法处理过程包括步骤: 从视频中提取相邻两巾贞; 在HSV空间中，根据三颜色分量的加权比例来计算直方图交集；以及 判断是否发生镜头变化； 帧差法处理过程，如果判断发生镜头变化，则该处理进入所述帧差法处理过程，所述帧差法处理过程进一步包括步骤: 从镜头中提取相邻两帧，并进行非均匀分块； 计算所述分块中的每一个分块的像素差值； 将所述像素差值与预设的分块帧差阈值进行比较，以进行标记； 对所述分块中的标记变量进行加权求和； 将所述和与设定的分块加权阈值进行比较；以及 如果所述和大于所述分块加权阈值，则发生镜头变化。
2.根据权利要求1所述的方法，其中，所述判断是否发生镜头变化进一步包括: 将所述直方图交集与设定的镜头相似度阈值进行比较；以及 如果所述直方图交集大于所述镜头相似度阈值，则发生镜头变化。
3.根据权利要求1所述的方法，进一步包括: 在所述直方图法处理过程中，如果未达到视频末帧，则对下一帧重复进行所述直方图法处理过程。
4.根据权利要求1或2所述的方法，其中，所述进行标记进一步包括: 将所述像素差值大于所述分块帧差阈值的分块标记为1，并且将所述像素差值不大于所述分块巾贞差阈值的分块标记为0。
5.根据权利要求1所述的方法，进一步包括: 在所述帧差法处理过程中，如果未达到镜头末帧，则对下一帧重复进行所述帧差法处理过程。
6.根据权利要求1所述的方法，其中，帧数小于20的镜头被划归到上一个镜头中。
【文档编号】G06F17/30GK104410867SQ201410652175
【公开日】2015年3月11日 申请日期:2014年11月17日 优先权日:2014年11月17日
【发明者】高腾飞 申请人:北京京东尚科信息技术有限公司, 北京京东世纪贸易有限公司