专利名称：一种快速的镜头边界检测方法
技术领域：
本发明属于视频内容分析领域，具体涉及一种对镜头边界进行快速检测的方法。
技术背景镜头边界检测是视频内容分析与检索的首要步骤。镜头边界检测过程可以抽象为三个 基本步骤，分别为视频特征提取，特征连续性检测和连续性检测结果分类。其中，视频特 征提取是从视频中提取特征向量以代表视频内容；特征连续性检测是对视频特征进行比较， 以确定相邻视频的特征是否连续；连续性检测结果分类是负责对连续性检测结果进行判定 以最终确定镜头边界的存在及其类型。目前为止，关于镜头边界检测的研究已经有很多，研究学者也提出了适用于不同镜头 边界类型(切变和渐变)的检测算法。在实际的镜头检测应用中，需要将上述检测算法统 一在一个框架下，以便于检出不同类型的镜头边界。由于切变检测相对容易，通常的思路 是将先检测切变，再检测渐变。在渐变检测的过程中，也常先检测某些类型的渐变，再检 测其它类型的渐变。然而，采用此种镜头边界检测次序意味着同一视频帧在镜头边界检测 过程中，需要重复地与周围视频帧进行比较，以便确定该视频帧的类型，分别为镜头内部 帧、镜头渐变帧或者镜头切变帧。然而，大多数进行比较的视频帧为镜头内部视频帧，重 复地计算与比较没有必要，而且使得镜头边界检测的处理速度大大降低。 发明内容本发明要解决的技术问题是克服现有技术的不足，提供一种快速的镜头边界检测方法。本发明的目的是这样实现的 一种快速的镜头边界检测方法，包括以下步骤-(1) 首先根据视频帧的亮度方差特征变化，将镜头内部的视频帧从原始视频序列0FS (Original Frame Sequence)中排除出去，得到精简视频序列RFS (Reordered FrameSequence);与此同时，确定视频中存在的部分镜头渐变；(2) 然后，从RFS中提取象素对差、颜色直方图差特征和边缘直方图差特征作为视频 连续性检测的依据，采用支持向量机进行镜头切变检测；(3) 最后，针对余下的视频序列采用时间轴多分辨率的方法进行镜头渐变的检测。 本发明与现有技术相比的有益效果在于-现有的镜头边界检测算法先检测切变，再检测渐变，检测渐变的过程也是按不同类型分别检测，导致同一视频帧在检测过程中需要重复地与周围视频帧进行比较，以确定该视 频帧的类型。然而，大多数进行比较的视频帧为镜头内部视频帧，重复地计算与比较没有 必要，而且使边界检测的处理速度降低。为了提高镜头边界检测的处理速度，本发明采用 排除法的思想，首先根据视频帧的亮度方差特征变化，将镜头内部的视频帧从原始视频序 列(Original Frame Sequence)中排除出去，得到一个精简视频序列RFS (Reordered Frame Sequence);同时，根据亮度方差特征的下凹型抛物线，确定视频中存在的部分镜头渐变； 然后，从RFS中提取象素对差、颜色直方图差特征和边缘直方图差特征等作为视频连续性 检测的依据；然后采用支持向量机进行镜头切变检测；最后，针对余下的视频序列采用降 低时间分辨率的方法进行镜头渐变的检测，从而具有快速的检测优点。本发明通过首先将镜头内部的视频帧从原始视频序列中排除出去，近^了重复计算镜 头内部视频帧与周围视频帧的比较，从而提高了算法的执行效率。但是;:;:RFS提取过程中 在将视频特征变化小于一定阈值的视频帧首先从OFS中分离出去的同时，: 易将视频帧序 列的视频特征不存在明显变化的渐变视频帧也分离出去，从而导致算法杏全率的降低。为 了避免上述情况的发生，根据理想情况下亮度方差在镜头内部基本恒定，I::i在镜头渐变部 分将呈现下凹抛物线，本发明通过检测亮度方差的变化趋势，将镜头内。视频帧分离出去 的同时保留渐变视频帧。从而本发明在提高算法执行效率的同时，保证了f :法的查全率和 准确率。
图1为本发明方法处理流程示意图； 图2为本发明中的灰度方差差值序列D(O变化示意图； 图3为本发明中的方差序列c^(0变化示意图。
具体实施方式
如图1所示，本发明快速的镜头边界检测方法，包括以下步骤 1.精简视频序列。(1) 首先按照下述公式将OSF转化为灰度序列。<formula>formula see original document page 7</formula> (1)其中，/(x,;;力代表视频序列的灰度图像，r(;c,:M)、 g(;c,乂0与6(AW)分别代表原始 视频帧的R、 G、 B分量。从灰度序列中提取灰度方差，得到方差序列a2(/)。(2) 根据下述公式计算一(0中相邻灰度方差的差值，得到灰度方差差值序列DW。<formula>formula see original document page 8</formula> (2) 分析灰度方差差值序列D(f)可知，在镜头切变处，Z)(O会出现单峰值；而在镜头渐变处，D(O会出现连续峰值，如图2所示。(3)采用下述公式产生一个新的序列p(t)。<formula>formula see original document page 8</formula>由于Td只是用于对镜头内部视频帧进行初选的阈值，不直接决定镜头边界。因此，Td的 选择只需尽量地考虑镜头边界的査全率而非准确率。故可以选择一个相对较小的阈值Td;。 分析P(t)序列可知，P(t)为0对应的视频序列，其灰度方差变化较小，对应着镜头内部视 频帧或者镜头渐变帧。而P(t)为σ2(t)的视频序列，其灰度方差变化较为明显，对应着镜头边界或镜头(物体)的运动。因此，若p(t)为σ2(t)，则将t与t-i帧视频归入RFS;若P(t)为0，则需进一步分类。若判定为镜头内部帧，则将其对应的视频序列从OFS中分离出去；若判定为镜头渐变视频帧，则将其对应的视频序列归入渐变检测结果中。2. 同时确定视频序列中部分镜头渐变，如图3所示。(1) 初始化t=1，扫描P(t),直至P(t)末尾。若PW=0，记录此时位置为Gbl (如图 13所示)，转入步骤2，否则，置t=t+1，重复步骤l。(2) 从Gbl开始往后扫描，直至P(t)不为0为止，记录此时位置为Gbr。计算Gbr与Gbl的差值，若超过了阈值Tw;，则认为是镜头内部帧，置t=t+1，转入步骤1:否则，转入 步骤3。(3) 从Gbl开始向前扫描，至P(t)为0为止，记录此时位置为Gtl。从Gbr开始向后 扫描，到P(t)为0为止，记录此时位置为Gtr。从σ2(t)序列中取出对应位置的灰度方差。 若σ2(Gtl)>max(σ2(j))且σ2(Gtr)>max(σ2(j))成立(其中，j=Gbl, Gbl+1 ,…，Gbr)，则将 从Gbl至Gbr的视频序列归入镜头渐变中。根据淡入、淡出序列中间存在单色帧(monochrom), 而单色帧的灰度方差为0，因此，若σ2(t)=0，GW臼2G&，则将对应的渐变序列为淡入、淡出序列，否则，对应的渐变序列为溶解序列。3. 视频综合特征提取从RFS中提取视频综合特征作为视频连续性检测的依据中视频综合特征包括以下三种 特征(1) 象素对差值设/(x,W)代表视频帧的灰度图像，则连续两帧对应位置的象素灰度差如下。<formula>formula see original document page 9</formula> (4)其中，H与W分别代表视频帧的高与宽。(2) HSV空间颜色直方图颜色直方图代表了图像像素总体的颜色分布，它对较小的运动和噪声不太敏感。设 A(x,y力、s(Jc,y,/)分别代表视频帧的H、 S分量。比较前后帧直方图的对应统计，得到H、 S分量差值z)]^)、 W(O如下。<formula>formula see original document page 9</formula>其中，//[A(;c,:M),刀与H[^，;^),y]分别代表H、 S分量颜色直方图在第i、 j维上的值。本算法中，I、 J值都为180。 (3)边缘直方图边缘直方图代表的是图像边缘的分布信息。本发明首先对视频帧进行高斯滤波，然后 采用Canny算子进行边缘象素提取，最后分别统计X与Y方向上边缘像素的个数，获得X 与Y方向的边缘直方图。比较前后两帧的边缘直方图，得到X与Y方向的边缘直方图差值 如下。<formula>formula see original document page 9</formula>其中，H与W分别代表视频帧的高与宽，而A[/(;c，;;W]与A[/(x,:M),/l分别代表X与Y方向上的边缘直方图在第i、 j维上的值。考虑到物体运动的影响，提取边缘直方图特 征时，采用块比较的思想，分别计算视频帧X与Y方向上宽度为m和n的宏块内象素灰度 差的统计值。此处m和n都取值为8。4. 镜头切变检测(1) 选取RFS中提取的D;(r)， ￡>^(/)， Z^0)， A(0与"(,)五个特征值作为支持向量机的输入层，为了提高识别率，在训练与识别之前，算法首先对特征向量进行归一化。(2) 利用SVM对镜头边界进行训练和识别。本发明中SVM的核函数选取RBF (radial basis function)，《(X, Xj.) = exp(-+i - x」| ), y > 0 (7)其中，；c,与 .都是待训练的特征向量，y为核函数参数。采用RBF核函数进行分类，有两个参数需要确定，分别为RBF核函数参数7与惩罚参数C。本算法采用步进搜索的方法 (grid-search)确定SVM的参数，并以交叉检验率的高低作为参数选择的标准。 (3)本发明选用RFS中灰度方差大于7;(7^=2)的视频序列作为训练样本俱。如果SVM判定第t帧为特征序列且在RFS中，没有与t帧帧号连续的视频序列(说明出现局部极值)，则判定第t帧为镜头切变。5. 镜头渐变检测对余下的视频序列采用时间轴多分辨率的方法进行镜头渐变的检测包括以下f骤(l)将镜头切变检测中检测出切变视频从i (O分离出去。然后按照公式2.i:()计算3 帧之内的视频特征差值,包括像素对差"〗(o ，颜色直方图差Z)(/)和以及边缘直方图 差"0)与。重复上述步骤，将上述过程中产生的特征向量与切变检测中的':t征向量 组合起来形成一组特征向量("]^)' "h(,)，化W，")(,)， " ，Z)》( )， "y2(0)。将其作为SVM的输入进行镜头渐变检测。镜头渐变检测的SVM核函数仍然 选用RBF。训练集选择去除了切变的RFS视频序列。<formula>formula see original document page 11</formula>(2)对支持向量机的镜头渐变检测结果进行处理。由于及(/)序列中包含的是从原始视 频序列中提取的镜头切变、镜头渐变等视频帧，它的帧号并不连续。而镜头渐变一般都发生在连续的视频帧，据此可以对渐变视频帧的分类结果进行处理。步骤如下扫描及(O， 从第一个被判断为镜头渐变的视频帧开始计数，直至及(f)的分类结果不为镜头渐变为止。继续扫描及(O，同时启动非渐变帧计数器，对非渐变帧进行计数，直至帧号不再连续或及W为镜头渐变帧为止。若帧号不再连续，则将扫描的非渐变帧去除并判断发生了一个渐变， 渐变的开始帧为第一个被判断为镜头渐变的视频帧，结束帧为渐变帧计数器结束计数时的视频帧。若及(r)为镜头渐变帧，贝,断已扫描的渐变帧序列是否占已扫描序列的50%以上。若是，则将己经扫描的序列都看作渐变序列，继续扫描；否则，将扫描非渐变帧序列去除 并判断发生了镜头渐变，渐变的开始帧为第一个被判断为镜头渐变的视频帧，结束帧为渐变帧计数器结束计数时的视频帧。重复上述步骤，直至及(o序列的尾部。
权利要求
1、一种快速的镜头边界检测方法，其特征在于包括以下步骤(1)首先根据视频帧的亮度方差特征变化，将镜头内部的视频帧从原始视频序列OFS中排除出去，得到精简视频序列RFS；与此同时，确定视频中存在的部分镜头渐变；(2)然后，从RFS中提取象素对差、颜色直方图差特征和边缘直方图差特征作为视频连续性检测的依据，采用支持向量机进行镜头切变检测；(3)最后，针对余下的视频序列采用时间轴多分辨率的方法进行镜头渐变的检测。
2、 根据权利要求1所述的快速的镜头边界检测方法，其特征在于所述步骤(1)中 的方法如下(1) 首先按照下述公式将OFS转化为灰度序列<formula>formula see original document page 2</formula>其中，/(x,乂/)代表视频序列的灰度图像，<formula>formula see original document page 2</formula>分别代表原始 视频帧的R、 G、 B分量，从灰度序列中提取灰度方差，得到方差序列一(/);(2) 根据下述公式计算^(/)中相邻灰度方差的差值，得到灰度方差差值序列Z)W:分析灰度方差差值序列Z (O可知，在镜头切变处，Z)(O会出现单峰值；而在镜头渐变处，D(O会出现连续峰值；(3) 采用下述公式产生一个新的序列尸(f)-<formula>formula see original document page 2</formula>r,为选定阈值，t视频帧，为若户W为o"2(,)，则将t与t+l视频帧归入RFS;若户(r)为0，则需进一步判定若判定为镜头内部帧，则将其对应的视频序列从OFS中分离出去；若 判定为镜头渐变视频帧，则将其对应的视频序列归入渐变检测结果中。
3、 根据权利要求1所述的镜头边界检测方法，其特征在于所述步骤(2)中的象素 对差值提取如下设/"，乂0代表视频帧的灰度图像，则连续两帧对应位置的象素灰度差如下<formula>formula see original document page 3</formula>其中，H与W分别代表视频帧的高与宽。
4、 根据权利要求1所述的镜头边界检测方法，其特征在于所述步骤(2)中的HSV空间颜色直方图提取如下设/Kx，y力、sOc，y力分别代表视频帧的H、 S分量。比较前后帧直方图的对应统计，得 到H、 S分量差值D"O、 "(O如下<formula>formula see original document page 3</formula>其中，/f[/iOc,W),刀与可s(x,:M),/l分别代表H、 s分量颜色直方图在第i、 j维上的值。
5、 根据权利要求1所述的快速的镜头边界检测方法，其特征在于所述步骤(2)中 的边缘直方图提取如下首先对视频帧进行高斯滤波，然后采用Carmy算子进行边缘象素提取，最后分别统计X 与Y方向上边缘像素的个数，获得X与Y方向的边缘直方图，比较前后两帧的边缘直方图， 得到X与Y方向的边缘直方图差值如下其中，H与w分别代表视频帧的高与宽，A[/(x，;M)，z']与^[/(x，;a),刀分别代表x与 Y方向上的边缘直方图在第i、 j维上的值。
6、 根据权利要求1所述的快速的镜头边界检测方法，其特征在于所述步骤(2)中采用支持向量机进行镜头切变检测的方法步骤如下(1) 选取RFS中提取的i<formula>formula see original document page 3</formula>与")")五个特征值作为支持向量机的输入层；(2) 利用支持向量机SVM对镜头边界进行训练和识别；(3) 选用RFS中灰度方差大于选定阈值L的视频序列作为训练样本集，如果SVM判定视频序列中的第t帧为特征序列且在RFS中，没有与t帧帧号连续的视频序列，说明出现 局部极值，则判定第t帧为镜头切变。
7、根据权利要求1所述的镜头边界检测方法，其特征在于所述步骤(3)中采用时 间轴多分辨率的方法进行镜头渐变检测的方法步骤如下(1) 将镜头切变检测中检测出切变视频从视频序列i (o分离出去，然后按照下述公式计算3帧之内的视频特征差值，包括像素对差Z^(/)，颜色直方图差D"f)、 Dj(0及边缘直 方图差W(/)与WW，将上述过程中产生的特征向量与切变检测中的特征向量组合起来形 成一组特征向量Z)]^)， "W)， "1(0, g(,)，"备(O， "s2(0，Z)y2(f)，作为支持向量机的输入<formula>formula see original document page 4</formula>(2) 利用支持向量机SVM进行镜头渐变检测，选择去除了镜头切变的RFS视频序列作 为训练样本集；(3) 对支持向量机的镜头渐变检测结果进行处理a. 扫描及(f)，从第一个被判断为镜头渐变的视频帧开始计数，直至i W的分类结果不 为镜头渐变为止；b. 继续扫描i (r)，同时启动非渐变帧计数器，对非渐变帧进行计数，直至帧号不再连续或及(/)为镜头渐变帧为止；c. 若帧号不再连续，则将扫描的非渐变帧去除并判断发生了一个渐变，渐变的开始帧 为第一个被判断为镜头渐变的视频帧，结束帧为渐变帧计数器结束计数时的视频帧；d. 若及(f)为镜头渐变帧，则判断已扫描的渐变帧序列是否占已扫描序列的50%以上，若是，则将已经扫描的序列都看作渐变序列，继续扫描，否则，将扫描非渐变帧序列去除 并判断发生了镜头渐变，渐变的开始帧为第一个被判断为镜头渐变的视频帧，结束帧为渐 变帧计数器结束计数时的视频帧；e.重复上述步骤，直至及(r)序列的尾部。
全文摘要
一种快速的镜头边界检测方法，首先根据视频帧的亮度方差特征变化，将镜头内部的视频帧从原始视频序列OFS中排除出去，得到一个精简视频序列RFS；同时，根据亮度方差特征的下凹型抛物线，确定视频中存在的部分镜头渐变；然后，从RFS中提取象素对差、颜色直方图差特征和边缘直方图差特征等作为视频连续性检测的依据；然后采用支持向量机进行镜头切变检测；最后，针对余下的视频序列采用降低时间分辨率的方法进行镜头渐变的检测。本发明提高了镜头边界检测的处理速度，同时还保证了算法的查全率和准确率。
文档编号G06K9/62GK101236604SQ20081005609
公开日2008年8月6日 申请日期2008年1月11日 优先权日2008年1月11日
发明者欢 李, 超 李, 璋 熊, 玲 薛, 林 钟 申请人:北京航空航天大学