一种联合字幕和视频图像信息进行场景分割和索引的方法

专利名称：一种联合字幕和视频图像信息进行场景分割和索引的方法
技术领域：
本发明涉及视频索引与搜索技术领域，具体地说，本发明涉及一种联合字幕和视
频图像信息进行场景分割与索引的方法。
背景技术：
大容量存储设备制造技术的进步，网络数据传输速率的提高，以及持续改进的高效视频压縮技术使数字视频得以广泛传播和使用，改善了人们的娱乐文化生活。在海量视频库中寻找感兴趣的视频片段成为一个新的问题。视频可被组织为包含场景、镜头和帧的树型层次结构。帧即图像，是视频中最基本的物理单元，镜头是由同一个摄像机连续捕获的帧序列，它是视频图像序列的物理边界。场景则由一个或多个连续镜头组成，这些镜头拥有类似的背景或对象，并且在语义上相关、时间上相近，它表达的是具有完整语义的故事单元，是视频图像序列的语义边界。目前，电影视频内容的浏览和检索基本上是基于镜头进行的，但作为电影最小拍摄单元，镜头数量众多而且没有完整的语义信息。对于一部电影，人们通常关注的是一些特定的场景(如人物对话或打斗的场景)，检索时也一般根据特定场景进行，而不仅仅针对某个镜头。因此，有效地将视频划分为多个场景片段并为这些片段生成高层语义信息有利于提高视频检索质量。 本发明主要讨论电影类视频进行场景抽取和索引的方法。该类视频进行场景抽取的过程一般可以分为两个步骤首先是根据视频图像的颜色、纹理等特征进行镜头边缘检测，并抽取镜头内的若干个帧作为镜头的关键帧来代表镜头内容；然后将视觉内容近似且连续的多个镜头划分为一个组并作为一个场景。这种方法的缺陷首先在于镜头检测容易受到干扰，例如对于渐变镜头有较高的误判率，其次镜头视觉内容的表示和镜头之间相似性的衡量方法目前也不够成熟。这些原因导致场景抽取的查全率和查准率都不是太理想，目前所报道的查全率和查准率的最好结果均在70%左右。另一方面，采用上述方法抽取场景后，为支持高效的检索，还必须为分割出来的视频场景片段作标注，例如说明场景发生的地点、主要人物和发生的事件等。这些工作耗时费力，而且由于个人主观性的影响，会导致标注结果的不客观。

发明内容
本发明的目的在于，克服现有技术中视频场景抽取的查全率和查准率都不是太理想，以及针对视频场景搜索需人工为抽取出来的视频场景片段作标注，导致标注结果的不客观且工作耗时费力，从而提供一种联合字幕和视频图像信息进行场景分割与索引的方法。 为实现上述发明目的，本发明给出了一种联合字幕和视频图像信息进行场景分割与索引的方法，其特征在于，每条字幕持续时间段内视频帧集合作为进行场景聚簇的最小单元，该方法包括如下步骤 11)获得进行场景聚簇的最小单元后，抽取至少3个或以上不连续的视频帧作为该条字幕的视频关键帧集合； 12)通过比较若干个相邻最小单元关键帧的相似性，再结合字幕关联转移图进行连续字幕与视频场景之间的归属关系划分； 所述的字幕关联转移图即对于字幕Di和Dj (i < j)，如果有Di和Dj所对应的视频关键帧集合中存在相似的关键帧，则称字幕Di可转移到字幕Dj，此时创建一条从Di指向Dj的弧线，该弧线覆盖的所有字幕都认为属于同一场景，如果不同弧线之间存在交叉，则要进行弧线的合并操作。 所述的电影场景抽取方法，其特征在于，所述的字幕持续时间段内视频关键帧集合包括起始帧、结束帧和中点位置的帧。 所述的电影场景抽取方法，其特征在于，还包括步骤13)，如果两个相邻字幕的视
频关键帧有两个或以上相似的，则判断两个相邻字幕对应的视频帧属于一个场景。
所述的电影场景抽取方法，其特征在于，进一步包括针对相邻字幕关键帧图像不
相似的，再进一步利用相邻字幕在语义、词形或时间方面的相关性进一步确定字幕和场景
的归属关系，步骤包括 a)语义相关性判断的步骤对于相邻字幕Di和Di+1如果Di的文本中包含疑问词或者Di+1的文本以连词作为起始字符，则字幕Di和Di+1在语义上属于同一场景；
b)词形相关性判断的步骤对字幕Di和Di+1所包含文本分别进行分词并抽取其中的实词作为关键词，如果Di和Di+1含有相同的关键词，则字幕Di和Di+1在所涉及的主题上相近它们属于同一场景； c)时间相关性判断的步骤取字幕Di为中心的长度为L的窗口内相邻字幕平均出现时间间隔，如果字幕Di和Di+1的出现时间间隔与窗口 L内字幕平均出现时间之比小于预定义的阈值则字幕Di和Di+1在出现时间上较为接近属于同一场景。 所述的电影场景抽取方法，其特征在于，针对已经基于连续字幕分离出的时间不连续的两个相邻场景，再利用基于字幕提供的时间信息结合关键帧相似性方法判断这段不连续时间段内的视频关键帧图像的相似性，根据两个时间相邻的不相似帧之间存在切换点，依次找到这段不连续时间段内所有切换点，并找到切换点对应的时刻(DB1+1+(i_l)/R)，则可以获得视频所包含场景片段的精确分割时间。 所述的电影场景抽取方法，其特征在于，所述的关键帧的相似性利用图像的SIFT特征进行判断，具体步骤包括 首先，要对视频关键帧进行提升小波变换抽取子带，再对抽取的子带图像的三个颜色分量进行归一化处理，获得进行SIFT特征提取的目标矩阵；
然后，基于该目标矩阵进行子带图像SIFT特征提取； 最后，利用双向SIFT关键点匹配方法判定关键帧图像的相似性，所述的双向SIFT关键点匹配方法指如果子带图像A中的关键点x可匹配子带图像B中的关键点y并且y可匹配到x ;当且仅当从不同关键帧中选取的低频和高频子带图像都相似两个关键帧才相似，子带图像相似的条件是能够双向匹配的SIFT关键点数量达到所设置的阈值。
所述的电影场景抽取方法，其特征在于，所述的SIFT特征提取的步骤包括
1)根据图像频域增强理论和DoG滤波算子，得到高斯图像并构建目标矩阵的DoG尺度空间；
2)得到所有的高斯图像后，通过在同一阶尺度空间中比较图像每个像素点与它临近26个像素点的值确定该像素是否为局部极值点，局部极值点构成了 SIFT候选关键点集合. 3)对于上一步骤选出的局部极值点，如果该极值点不是低对比度的点，其次它不是边缘点，则将该极值点选取为SIFT关键点； 4)采用梯度直方图统计方法确定梯度的大小和方向，生成关键点的SIFT特征向 本发明还给出了一种联合字幕和视频图像信息进行场景索引的方法，具体步骤包括 21)获得进行场景聚簇的最小单元后，抽取每条字幕持续时间段内的视频关键帧集合，所述的视频关键帧集合包含字幕持续时间段内的起始帧，结束帧及中点位置的帧；
22)通过比较若干个相邻最小单元关键帧的相似性，再结合字幕关联转移图进行连续字幕的场景视频分割； 23)针对相邻字幕关键帧图像不相似的，利用相邻字幕在语义、词形和时间方面的相关性进一步确定字幕和场景的归属关系分割场景；
24)为分割的每个场景建立前向索引表； 25)对所有文本进行分词后，为每个词建立其到关键词表的倒排索引； 26)进行视频片段检索时，首先对查询字符串进行分词，提取其中的关键词； 27)根据其编号在倒排索引表中查找包含它的前向索引表，如果多个前向索引表
中包含所有的关键词，则此时将这些前向索引表中每个关键词的词频相加作为衡量查询串
与场景视频片段相关度的标准，该值越高相关性越高；如果前向索引包含的关键词数量不
等，则包含的关键词越多的其与查询串的相关度越高，取相关度最高的视频片段作为查询结果。 所述的联合字幕和视频图像信息进行场景索引的方法，针对不包含字母的场景进行必要的人工标注或添加说明。 本发明所采用方法基于以下观察结果某条字幕呈现时间段内的视频帧一般不出现场景切换点，这一现象的依据是场景作为一个完整的语义单元它所包含的对白具有完整性。基于这一假设，可以天然地切分出每条字幕持续时间段内视频帧作为进行场景聚簇的最小单元。获得进行场景聚簇的最小单元后，抽取某些特殊的帧作为该视频单元集合的关键帧，通过比较若干个相邻最小单元关键帧的相似性可判定这些最小单元是否属于同一场景。关键帧的相似性利用图像的SIFT特征进行判断。SIFT (Scale Invariant FeatureTransform,尺度不变特征变换)算子所获得的图像SIFT特征向量对于图像的尺度縮放、旋转、平移以及一定程度的仿射和光照变化具有良好的不变性，同时由于包含了丰富的图像内容信息SIFT特征具有很强的特殊性，对图像差异敏感区分能力强。由于与其他图像特征算子相比优势明显，虽然SIFT算子提出时间不长，但已在图像检索、计算机视觉等领域产生了广泛影响。如果相邻字幕属于同一场景，则由于属于同一场景的视频图像之间可能具有相似性如存在同样的对象或背景等，通过提取相邻字幕所对应最小单元所包含关键帧图像的SIFT特征，利用SIFT特征强劲的特征点匹配能力即可判定其相似性。通过上述方式可对字幕所属的场景进行基本的划分，但是由于电影视频摄制方法的多样性，仅通过视频图像本身的相似性进行场景分割是不够的，例如同一场景中的远景和近景图像可能并没有 相似性，因此，本发明在上述基本划分的基础上通过分析相邻字幕文本之间的相关性对基 本划分作进一步精化。将字幕划分到不同的场景后，根据场景所包含字幕的时间特征即可 抽取出视频场景片段，但是这种抽取方式不是无缝的——不同场景之间的视频帧可能被遗 漏(因为不同字幕在时间上有一定的呈现间隔)，为达到无缝的场景片段抽取还必须确定 相邻场景之间的切换点。 由于SIFT特征具有多量性特点，例如对于随机选取的一副640X272像素的视频 图像可产生上万个关键点百万个特征值，为避免"维数灾难"，需要使用诸如主成分分析、非 负矩阵分解或小波变换等方法对特征向量进行降维。在特征矩阵规模很大时，降维运算也 需要消耗大量的时间，为了加快处理速度特征矩阵规模不应太大。为此，本发明不直接对视 频关键帧图像计算SIFT特征，而是首先对图像进行提升小波变换，之后只对若干子带图像 计算其SIFT特征并作为原始关键帧图像的SIFT特征。这样得到的特征矩阵规模较小(可 通过控制计算SIFT特征的子带数控制特征矩阵规模)，无须进行降维，从这一点上看，本发 明方法实际上是前置了降维操作。提升小波变换方法是小波变换的高效实现方法，它极大 地降低了小波变换的计算复杂性和存储器容量需求，具有快速、可进行同址运算以及不需 要进行傅立叶变换等优点，由于其对传统小波变换的巨大创新，被称为第二代小波变换，这 也是本发明选择其进行降维操作的原因。 本发明的优点在于，本发明给出了一种全新的联合字幕和视频图像信息进行场景 分割与索引的方法，该方法摒弃了耗时且不够准确的镜头分割过程，融合视频图像的相似 性与字幕文本的相关性对电影视频进行场景片段分割，不仅获得了较高的准确率，而且直 接使用字幕文本所包含的关键字对视频片段进行标注避免了烦琐的人工标注。



的 图1为联合字幕和视频图像信息进行场景分割与索引方法的流程示意图； 图2为关键帧图像子带选取示意图； 图3为子带图像SIFT特征抽取流程图； 图4为高斯差分(DoG)尺度空间示意图； 图5为基于字幕关联转移图的场景检测方法示意图； 图6为基于字幕的视频场景片段前向索引表； 图7为基于字幕的关键词倒排索引。
具体实施例方式
本发明在对电影类视频进行场景片段抽取和索引时，使用了电影视频图像和字幕 这两方面信息，达到较高精度的视频场景片段抽取效果，并且可以为所抽取的场景视频片 段自动匹配对应字幕中所包含的关键字作为其索引，从而避免手工标注。字幕一般是电影 中的人物对白，它具有三方面的属性即其在电影中的出现时刻、消失时刻和字幕文本。目前 对于高清DVD电影，其字幕一般以外挂文件的形式随视频文件一起发布，易于获得；对于内 嵌型字幕(字幕文本叠加在视频图像上)则可通过视频OCR技术提取字幕。每条字幕均包 含该字幕在视频中的出现和消失时间，本发明正是通过利用这些时间信息结合视频图像特 征以及字幕文本的相关性对视频场景片段进行抽取。
下面，结合附图和具体实施例对本发明作进一步地描述。
1总体流程 附图1是本发明提出的基于字幕相关性和视频图像SIFT特征的电影场景片段抽 取与索引方法的总体流程框图。所包含的主要处理步骤如下1)抽取每条字幕持续时间段 内的视频关键帧集合；2)对所抽取的关键帧图像进行提升小波变换，获得子带图像；3)根 据一定规则选取若干子带图像进行SIFT特征提取，作为关键帧图像的特征向量；4)采用双 向SIFT关键点匹配方法判定关键帧图像的相似性；5)根据电影拍摄制作规则利用关键帧 之间的相似性判定若干相邻字幕的场景归属关系；6)利用相邻字幕在语义、词形和时间等 方面的相关性对进一步确定字幕和场景的归属关系；7)基于字幕提供的时间信息结合图 像SIFT特征对视频进行无缝的场景片段分割；8)提取场景片段所对应字幕文本的关键词 作为其索引。下文对上述过程进行具体描述。
2抽取字幕对应的关键帧 称一部电影视频文件为V，假设V所包含的所有字幕为集合{Dn D2， ... ， Di，...，
Dj，集合中的元素Di(l《i《m)表示按顺序出现的第i个字幕为一个四元组{DIi， DBi， DEi，DCj，DIi为字幕的编号(按其在视频中的出现顺序)，DBi为字幕在视频中出现的时间， DEi为字幕在视频中的结束时间，是字幕所包含的文本；V所包含的视频帧序列为集合 (Fp&， ，Fi， . ，FJ ，集合中的元素FJ1《i《n)为按顺序出现的第i个视频图像，视 频的帧率假设为R帧/秒，则T秒时刻对应的视频帧编号N可用下式计算iV = |7X及」+ 1 ， 由此可得字幕Di所对应的视频帧序列集合为FDi = {Fp， Fp+1，…，Fp+k， . . . ， Fq—p fq}，其中
起始帧编号/ = L"Ax及」"，结束帧编号f L必'^」"。由于视频中的对象在字幕Di的 持续时段内可能会有运动，这种运动可能导致FDi中视频图像的某些区域在某时刻被遮挡， 这些被遮挡的区域有可能存在SIFT关键点，因此不能仅在FDi选择某一帧作为FDi的关键 帧。本发明选择FDi中具有较长时间距离(这样有利于暴露更多的SIFT关键点)的起始 帧、结束帧以及中点位置的帧作为字幕Di的对应的关键帧集合记为KDi = {Fp，Fp+(q—p)/2，Fq}。 为便于叙述下文记字幕Di的三个关键帧为BDi， MDi和ED" KDi = {BD^ MD" EDj ，所有字幕 对应的关键帧集合为(叫，KD^... ，KDi，... ，KD丄如果关键帧集合KDi和KDw中的某两个 关键帧匹配则认为KDi和KDi+1匹配，此时认为字幕Di和Di+1是属于同一场景中的字幕，判 定关键帧是否匹配的方法将在后文给出。
3关键帧图像SIFT特征提取 为判定不同关键帧集合中某两个关键帧之间的匹配关系，首先要抽取关键帧的 SIFT特征。本节给出进行特征抽取的详细过程。
3. 1基于提升小波变换的图像子带抽取 由于直接对关键帧图像进行SIFT特征提取，会导致特征维数太高，导致不必要的 计算资源浪费，因此使用提升小波变换提前对原始图像进行"降维"操作，并根据一定规则 选取适当数量的子带图像计算其SIFT特征。提升小波变换过程可分为三步分裂、预测和 更新。我们以x[m，n]表示一个二维离散图像信号。为了实现对该二维信号的小波分解，不 失一般性，我们假定先在水平方向对该信号进行一维小波分解，然后在垂直方向再进行一 次一维小波分解。如上所述采用提升方案后，每个一维小波变换过程可以被分解为分裂、 预测和更新这三个步骤。下面我们给出这几个变换步骤的详细说明
1)分裂将集合x[m，n]中元素进行奇偶分组，得到奇数集x。[m，n]和偶数集Xe[m，
n]，其中x。[m， n] = x[2m+l， n]，而xe[m， n] = x[2m， n]。 2)预测利用xe [m， n]预测x。 [m， n]，预测过程可用下式表示: 尸00[附,"]=2^,^[附,"+ 。 (1) 其中P是预测算子，定义了由预测点周围的若干偶数点通过组合获得预测值的算 法，一般情况下P是一个高通滤波器，Pi为滤波器系数值；利用预测值可将x。[m， n]用预测 残差表示，预测残差计算方法如下[w,w] = ;c。|>z,"] —P(X)[m，"] (2) 如果信号之间的相关性足够强，所设计的预测算子合理，可以预期x。d[m， n]的能 量分布比x。[m， n]低很多；显然此时集合x[m， n]可由xe[m， n]与x。d[m， n]重构。
3)更新利用x。d[m，n]来更新xjm， n]，可用公式表示如下
jce"|>j，"〗=;ce[w,"〗+ f/(xf )[w，ra] (3)
其中U是更新算子，可定义如下"<Xd)[w,"] = g^x。rf[m，" + /| (4) 由于更新的目的是为了保证xjm，n]与x[m，n]具有相近的均值，因此更新算子U 是一个低通滤波器，&是滤波器的系数值。Pi和Uj的值在本实例中采用JPEG2000定义的 5/3小波的系数值，但是显然采用其它系数值也在本专利保护范围内。对图像矩阵x[m， n] 进行一次小波变化并解交织后得到四个图像子带LL1、 HL1、 LH1和HH1，如附图2所示，对LL1 子带可再进行新一轮的小波变换得到LL2、 HL2、 LH2和HH2，该过程可重复进行直至达到指定 的分辨率等级。图像子带中，LL子带在水平和垂直方向都平滑逼近原图像，HH子带在水平 和垂直方向细节逼近原图像。子带图像的选取方法如下l)随机选取某个关键帧图像，对 该图像进行提升小波变换；2)取变换后LLK(R为变换次数)子带，采用3. 2给出的方法计算 该子带的SIFT特征，如果产生的特征点数量大于阈值H，则对LLK的子带图像继续进行提升 小波变换并转步骤2，否则结束并选取LLK和HH1子带作为该部电影视频进行SIFT特征抽 取的图像区域。上述子带图像选取方法保证了后续步骤中所获得SIFT特征点数量维持在 一定规模。 3. 2子带图像SIFT特征生成 SIFT特征的实质是图像中SIFT关键点的特征向量，首先要确定子带图像中关键 点位置，然后利用关键点邻域内像素的梯度分布特征生成关键点的特征向量。子带图像 SIFT特征抽取流程框图如附图3所示，下面对每个步骤进行具体介绍。
A.子带图像像素矩阵归一化 对图像进行提升小波变换后，图像颜色分量值的动态范围有所增大，另一方面三 个颜色分量之间存在较强的相关性没有必要对每个颜色分量都进行SIFT特征提取，因此 必须对子带图像三个颜色分量矩阵进行归一化处理，以便于后继处理。设子带图像块为I， I.R、 I.G和I.B分别表示子带图像块的RGB颜色分量矩阵，则可由下述公式获得进行子带 图像块SIFT特征提取的目标矩阵I. T :
/J = !_(/ / + 255)/2」
/<formula>formula see original document page 10</formula>
I. T = [I. R+I. G+I. B] / (255 X 3) 后继步骤基于目标矩阵I.T进行，从该矩阵提取的特征向量作为I的特征向量。
B.建立尺度空间 根据图像频域增强理论，设定义如公式6所示的二维高斯滤波函数(其中o表示 高斯函数的方差)， <formula>formula see original document page 10</formula>(6) 则子带图像目标矩阵I. T(x， y)在不同尺度空间下的高斯图像可以通过图像与二 维高斯函数进行巻积获得，计算公式如下<formula>formula see original document page 10</formula> (7) 称o为尺度空间因子，给定一个o就决定了一个高斯滤波器，用该滤波器对图像 进行滤波得到的尺度为Q的尺度空间图像。DoG(Difference of Gaussians)滤波算子经 常被用于图像边缘检测，其定义如下 D(x， y， o ) = (G(x， y， ko )-G(x， y， o ))承I(x， y) = "x， y， ko )-"x， y， o ) (8) 为有效检测出子带图像中的关键点，需要首先检测DoG尺度空间中的局部极值 点，因此必须建立DoG尺度空间。根据公式8，相邻尺度空间中的高斯图像相减即可得到DoG 尺度空间图像。公式8中k表示相邻的两副图像之间的尺度比例，如果当前的高斯图像的 尺度为o ，则下一层高斯图像的尺度参数为k。。假设尺度空间为n阶，每一阶有s层，为了 能够在每一阶的s层图像中检测极值点，需要产生s+2幅高斯差分图像，因此共需产生s+3 副高斯图像，这些图像的尺度参数以k递增，一般取s为3。当同一阶的高斯图像全部产生 时，就跳到下一阶的尺度空间中，下一阶高斯尺度空间的第一幅图像是当前阶尺度参数为 2o的高斯图像通过l : 2亚采样生成的，当前阶图像的长度或宽度某一值时停止创建下一 阶尺度空间。附图4是DoG尺度空间的一个示意图。
C. DoG尺度空间极值检测 得到所有的高斯差分图像后，通过在同一阶尺度空间中比较图像(第2至s+1层 图像)每个像素点与它临近26个像素点的值确定该像素是否为局部极值点，局部极值点构 成了 SIFT候选关键点集合。假设某一阶尺度空间尺度为o图像像素点P的坐标为(x，y， o)，如果P的值P(x，y， o)大于其8-邻域像素点的值且满足公式9，则P为极值点。附图 4中椭圆所在像素点即为P点所要比较的像素点。
P(x， y， o ) > P(x+i， y+i， k—1 o ) ， i = _1，0， 1
(9)
P(x， y， o ) > P(x+i， y+i ， k o ) ， i G _1 ， 0， 1
D.关键点的精确定位 对于上一步骤选出的极值点P(x， y， o )如果能够通过以下两步检测首先该极值 点不是低对比度的点(关键点与周围的点有必须显著性差异)，其次它不是边缘点，则将该 极值点选取为SIFT关键点。
为找到低对比度的极值点，首先将公式8定义的DoG尺度空间函数D(x， y，。)使 用二次泰勒级数展开为 <formula>formula see original document page 11</formula> 其中D是极值点处的值，D的导数使用极值点处邻域像素差分代替。X= (x，y， o) t是该极值点坐标与所对应的关键点之间的坐标偏移量。对公式10求一阶导数，并令其等 于零，即可得函数D(X)的极值点X:
<formula>formula see original document page 11</formula> 将公式1—代回公式10可得<formula>formula see original document page 11</formula>
如果公式12求得的X的某一维的值超过0. 5，意味着极值点更接近于另一个像 素点，此时将极值点变更到该像素点，并重新计算公式11。求得后X，代入公式12后，计算 |D(X) 1，如果该值小于0.03则认为P是低对比度的点，不选为关键点。将偏移X加到极值 点P的坐标中作为关键点的精确位置坐标。 DoG算子具有较强的边缘响应，因此沿着边缘的像素点即便对比度不高也很容易 被错判为极值点，如果将这种极值点选为关键点则关键点对噪声非常敏感。为了获得稳健 的关键点，还必须去除位于图像边缘的极值点。 一个DoG图像中不稳定的极值点在跨越边 缘处有较大的曲率但在垂直边缘方向则曲率较小。极值点P的这两个曲率可以通过计算一 个2 X 2的Hessian矩阵H获得 》 尸<formula>formula see original document page 11</formula> H中的二阶偏导数通过对P点邻域像素做二阶差分获得。H是一个实对称二维矩 阵，因此具有两个实特征值，其中幅值大的特征值所对应的特征向量代表着P点曲率较大 的方向，幅值小者代表P点曲率较小的方向，通过求H这两个特征值之间的大小对比关系即 可确定这两个曲率的对比关系。用a表示H较大的特征值，13表示H较小的特征值，则根 据实对称矩阵的迹为特征值之和以及矩阵行列式性质有下列关系成立
Tr(H) = Pxx+Pyy = a+p (14)
Det(H) = PxxPyy_(Pxy)2 = a 13 令r表示大特征值与小特征值之间的比值，则有a = r|3 ，此时等式15的值仅依 赖于特征值之间的比值， <formula>formula see original document page 11</formula> 当r = 1时等式取得最小值，r值增大等式的值也随之增大。为检查极值点P两
个曲率之间的比值是否小于某一门限值r，此时只要检测H是否满足下列公式即可。 <formula>formula see original document page 11</formula>
通过这种方法不超过20次的浮点运算即可判定极值点是否为边缘点，取r为10， 即将大小曲率之比超过10的极值点过滤掉。
E.生成关键点特征向量 本步骤生成关键点P(x，y， o)的特征向量。为生成特征向量，首先在找到最接近 尺度o的同一阶高斯平滑图像(不是DoG图像)，假设该图像为L(x，y)。对L(x，y)中的 每个像素点采用下列公式计算其梯度大小及方向 w(x, = V(丄O， y+1)—丄O, _y—i)2 + (丄O+1， ；0—丄O _ 1, >02 (17) 9 (x， y) = tan—1 ((L (x， y+1) _L (x， y_l)) / (L (x+1 ， y) _L (x_l ， y))) 然后对于每一个关键点，采用梯度直方图统计法确定其梯度的大小和方向。统计
关键点临近一个窗口内取所有邻域像素的梯度方向梯度直方图的范围为0至360度，其中
每10度作为一个方向，总共36个方向。将统计得到的直方图峰值所在的方向作为为关键点
的方向。关键点的方向确定后，为了确保旋转不变性，首先将坐标轴旋转为关键点的方向，
以关键点为中心，取16X16的窗口，并将这个窗口切分为16个4X4的子窗口，在每个子窗
口中计算8个方向的梯度方向直方图，统计每个方向的累加值，由此形成一个包含各个8个
方向向量的种子点。使用16X16的窗口内的16个4X4的子块的种子点所包含的向量作
为关键点的特征向量，每个关键点有16X8 = 128维的特征向量。 4关键帧相似性衡量 假设存在两个关键帧图像Bi和Bj， Bi和Bj被选取用于计算SIFT特征的图像子 带分别为{LLA ffi0和{LL/， HH/}，各子带对应的SIFT关键点集合L1^(K) 、 HH^K)、 LL/(K)和HH/(K)。假设对于关键点集合X和Y，定义Xi G X禾P y」G Y的欧氏距离
《=Vn-&「，假设&在集合y中找到的距离最近的关键点为yP距离为dip，次近点
为y,距离为di,，如果存在(dip/diq) > 、，则称A中关键点Xi与B中关键点yp匹配记为 Xi —yp， ^为小于1的常数。为了增强关键点匹配的鲁棒性，减少错误匹配，本发明采用了 双向关键点匹配方法，称关键点Xi G X和yj G Y相似，当且仅当Xi — yj同时yj — Xi。如 果关键帧图像低频子带关键点集合LLiE(K)中有A个元素在集合LL/(K)找到相似的关键 点，且存在下列关系;i/Min{LLT(K),l4(K)} > s2 ，则称图像子带LLj与图像子带LL/相似， e 2为小于1的常数。使用类似方法判断HH 是否与HH/相似，如果两个图像子带都相似， 则关键帧图像Bi和Bj相似，用A s A表示这种关系。
5基于关键帧相似性进行字幕场景归属关系分析 本部分给出判定若干相邻字幕是否属于同一场景的方法。假设字幕Di和Dj(i〈j) 根据第2部分介绍的方法分别得到关键帧集合KDi = {KFn，KFi2，KFi3}和KD」={KF^KF^, KFj3}， 三《巧,)，其中l《k《3，1《1《3 (18) 如果公式18成立则字幕Di和Dj属于同一场景，此时称Di可关联到Dj用Di □ Dj 表示，反之用Di口 lDj表示。为加快运算过程，本发明给出了一种不需要计算所有关键帧 SIFT特征的判断方法，具体步骤如下 步骤l :使用第3部分介绍的方法，计算KFik(k的初始值为1)的SIFT特征，设置1 = l，转下一步骤； 步骤2 :使用第3部分介绍的方法，计算KFjj的SIFT特征，使用第4部分介绍的方 法判断是是否有《巧4 =《巧,成立，如果成立则记录Di □ Dj，结束程序，否则转下一步骤；
步骤3:设置1 = l+l，如果l不大于3转步骤2，否则设置k二k+l，如果k的值不 大于3转步骤l，否则设置Di口 lDj，结束程序。 电影视频中同一场景中的镜头具有一下几种组合关系1)连续性镜头，例如运动 物体在场景中不同位置的镜头；2)镜头和反转镜头，例如多个人物之间对话时镜头可以在 不同的说话人之间切换；3)内嵌(插入)镜头，这种情况是指一个镜头在没结束前插入另 一个镜头，在插入镜头结束后又回到原来的镜头，例如回忆或联想镜头的插入就属于这种 情况。受电影视频这种拍摄制作规则影响，对于在连续性镜头中的相邻字幕，通过比较其关 键帧之间的相似性即可判定其是否属于同一场景。对于后两种情况，相似性镜头是交错分 布的，相邻字幕的关键帧不一定相似，但具有一定间隔的不同字幕之间的关键帧可能相似， 例如镜头在不同对话人之间周期性切换时就是如此，因此要对多条相邻字幕进行相似性分 析。基于以上分析，本发明提出了一种基于字幕关联转移图的视频场景分割方法。对于字 幕Di和Dj (i < j)，如果有Di □ Dj，则称字幕Di可转移到字幕Dj，此时创建一条从Di指向 Dj的弧线Di,j，该弧线覆盖的所有字幕都认为属于同一场景，如附图5中由于存在弧线Di,j， 因此字幕Di Di+1 Di+2 Dj被判定为属于同一场景。如果不同弧线之间存在交叉，则要进行弧 线的合并，即进行同一场景字幕的合并。例如在附图5中弧线和Di+2,j+2交叉，进行合并 后得到新的弧Di,w，Di,w所覆盖的字幕都属于同一场景。下面给出本发明场景分割的具体 步骤 步骤1 :在视频中才抽取字幕关键帧集合{KDp KD2，...，叫，...，KDm}，设i = 1， 窗口 F的开始位置p = i+l，转下一步骤； 步骤2 :对字幕Di使用KDi中的关键帧考察与从p开始后继一个窗口 F内所有字 幕的关联性，如果窗口 F内有多个字幕与Di相似，取F内编号最大字幕设为Dj作为Di的最 终匹配字幕，分别标记Di和Dj为弧线Di,j的起点和终点，设置i = i+l，p = j+1 ;如果Di在 窗口 F内没有找到可关联的字幕，设置i = i+1 ， p = max {i+1 ， p};如果p《n转步骤2，否 则转步骤3 ; 步骤3:弧线合并
—、设置k二l，转二； 二、检查字幕Dk是否是某条弧线的起点，如果是转三，否则令k = k+l，转二 ；
三、获取与Dk对应的弧线终点字幕设为Sy令K二k，L二 1，h二K+l转四；
四、如果h > L转五，否则检查字幕Dh是否是另一弧线的起点，如果是设该弧线的 终点设为Dj设置L = j+l， h = h+l转四，否则设置h = h+l转四； 五、设置K和L之间的字幕属于同一场景，令k = L+l，如果k《n转二，否则结束。
6基于字幕相关性进一步确定字幕场景归属关系 电影一般实景拍摄，由于自然世界的复杂性和多样性，仅依靠视频图像的相似性 对字幕的关联关系进行分析是不够的，某些同一场景中的字幕其对应的视频帧可能完全不 同，因此还必须结合更高层次的电影语义信息以获得更为精确的场景分割效果。字幕文本 作为电影高层语义信息的重要组成部分，蕴涵了很多进行字幕关联分析的线索。假设字幕Di和Dw被第五部分介绍的方法判定为Di □ lDw，本部分对存在这种关系的相邻字幕从字
幕相关性的角度进一步对其是否关联进行判断。本发明将相邻字幕的相关性定义为一个三
元函数F(a， e， Y)，其中a代表相邻字幕的主题相关性，相邻字幕文本所涉及的主题一
致性越高则字幕的相关性越高，显然谈论同一主题的相邻字幕一般是属于同一场景的；P
代表相邻字幕文本的词形相似性，字幕文本是电影中人物的说话内容，作为口语上下句之
间经常会有字词重复，因此相邻字幕之间字词重合度越高，其相关性也越大；Y代表相邻
字幕的时间接近性，一般而言，相邻字幕出现的间隔时间越短，其相关性越强。定义F(a ，
P ， Y)的值为0或l，如果为1则表示相邻字幕关联，其取值规则如下F中的三个自变量
任意一个为1则F的值为l，否则F的值为0。 F中三个自变量的取值范围也为0或l，其取
值方法介绍如下。
自变量a取值方法 假设字幕Di和Di+1对应的字幕文本为和DCi+1，当下列条件之一成立时a取值 为1否则为0。条件l:DCi包含疑问词集合T中的任一元素，集合T二 H十么，怎么，怎样， 谁，啥，咋，明〖，多少，何如，如何，为何，何不，呢，吗};条件2 :DCi+1以连词集合Q中的任一元 素作为起始字符，集合9= {还，抑或，而，但，才，又，于是，然后，接着，也，另，何况，况且，就 是，只，却，所以，因而，便，或者，要么，一方面，或许，也许，可能K
自变量|3取值方法 对DCi进行分词，抽取其中的实词即名词，动词，形容词，副词，代词，数词按从左 到右排列得实词集合X二 {Xl， x2， ...， xJ，用同样的方法获得DCw的实词集合Y二 {yi， y2， ... ， yn}。统计X和Y相同关键词的数量，如果数量超过不为0则P取值为1否则为0
自变量y取值方法 假设字幕Di在视频中的消失时刻为DEi，字幕D^在视频中出现时刻为DBw，则这 两个相邻字幕的出现间隔为Pi,i+1 = DBi+1-DEi，取以Di为中心的长度为L的窗口内相邻字幕 平均出现时间间隔= — D￡,+A》/(丄+1) ( 19 ) 如果有Pi,w〉 e3*E(Pi,i+1)则取Y值为0否则为1， h为常数，根据统计取其 值为10。 7视频无缝场景片段分割 对字幕进行关联分析后，字幕被分割为多个关联字幕集合(集合里的字幕属于同 一场景)，假设第i个关联字幕集合为{Dk， Dk+1， . . . ， Dpn 属于场景Sp，以[DBk， DEj表 示该字幕集合对应的视频片段(DBk为视频段的开始时刻，DEu为视频段的结束时刻)；第 i+1个关联字幕集合为{D1+1， D1+1， . . . ， Dp—p Dp} 属于场景Sq，以[DB1+1， DEP]表示该字幕 集合对应的视频片段，由于DEi与DB1+1存在时间间隔，本专利称[DEy DE1+1]视频段为场景 切换过渡区域，本部分将给出在该过渡区域中寻找场景切换点的方法。由于，电影中的某些 场景可能不包含对白即没有字幕，这些场景对应视频片段显然位于场景切换过渡区域中， 此时还必须分割出该种类型场景片段。抽取过渡区域[DB1+1，DEP]中的视频帧序列设为{巳， F2， . . . ， Fn—p Fn}，使用第4部分介绍的方法判定& (1《i < n)和Fi+1的相似性，如果判定 为不相似，那么认为&和Fi+1之间存在一个场景切换点b， b所对应的时刻为DB1+1+(i-l)/ R，假设最终得到的切换点序列为bp b2， . . . ， bN+1(N > 0)，则场景Sp的结束时刻为lv场景Sq的开始时刻为bN+1，当N > 0时Sp与Sq之间所包含的每个无对白场景对应的视频片段为[bi， bi+1] (1《i《N)。对所有场景切换过渡区域进行分析后，即获得视频所包含场景片段的精确分割时间。 8生成场景视频片段索引 设对视频进行无缝分割后得到场景视频片段集合{S15 S2， . . . ， Sn—p Sn}，其中包含字幕的场景可直接使用字幕中的文本作为高层语义信息，对其中不包含字幕的场景进行必要的人工标注或添加说明(如有必要也可对包含字幕的视频片段添加必要说明)，如此每个场景视频片段Si都有相应的高层语义文本，将这些文本作为检索相应视频片段的索引信息。假设Si所对应的高层语义文本为Ti，对文本Ti进行分词处理，并计算每个词在Ti的词频，为每个场景Si建立如附图6所示的前向索引表，其中TableID为表的编号，WordID是词的编号，Frequency是词频。对所有文本进行分词后，为加快检索速度为每个词建立其到关键词表的倒排索引，如附图7所示，每个关键词可能在多个关键词表中出现。进行视频片段检索时，首先对查询字符串进行分词，提取其中的关键词，假设所获得的关键词集合为{、，k2，. . . ，kn—，对每个关键词ki根据其编号在倒排索引表中查找包含它的前向索引表，如果多个前向索引表中包含所有的关键词ki，则此时将这些前向索引表中每个ki的词频相加作为衡量查询串与场景视频片段相关度的标准，该值越高相关性越高，如果前向索引包含的关键词数量不等，则包含的关键词越多的其与查询串的相关度越高，取相关度最高的视频片段作为查询结果。 最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
权利要求
一种联合字幕和视频图像信息进行场景分割的方法，其特征在于，该方法将每条字幕持续时间段内视频帧集合作为进行场景聚簇的最小单元，包括如下步骤11)获得进行场景聚簇的最小单元后，抽取至少3个或以上不连续的视频帧作为该条字幕的视频关键帧集合；12)通过比较若干个相邻最小单元关键帧的相似性，再结合字幕关联转移图进行连续字幕与视频场景之间的归属关系划分；所述的字幕关联转移图即对于字幕Di和Dj(i＜j)，如果有Di和Dj所对应的视频关键帧集合中存在相似的关键帧，则称字幕Di可转移到字幕Dj，此时创建一条从Di指向Dj的弧线，该弧线覆盖的所有字幕都认为属于同一场景，如果不同弧线之间存在交叉，则要进行弧线的合并操作。
2. 根据权利要求1所述的联合字幕和视频图像信息进行场景分割的方法，其特征在 于，所述的字幕持续时间段内视频关键帧集合包括起始帧、结束帧和中点位置的帧。
3. 根据权利要求1所述的联合字幕和视频图像信息进行场景分割的方法，其特征在 于，还包括步骤13)，如果两个相邻字幕的视频关键帧有两个或以上相似的，则判断两个相 邻字幕对应的视频帧属于一个场景。
4. 根据权利要求1所述的联合字幕和视频图像信息进行场景分割的方法，其特征在 于，进一步包括针对相邻字幕关键帧图像不相似的，再进一步利用相邻字幕在语义、词形或时间方面的相关性进一步确定字幕和场景的归属关系，步骤包括a) 语义相关性判断的步骤对于相邻字幕Di和Di+1如果Di的文本中包含疑问词或者 Di+1的文本以连词作为起始字符，则字幕Di和Di+1在语义上属于同一场景；b) 词形相关性判断的步骤对字幕Di和D^所包含文本分别进行分词并抽取其中的实词作为关键词，如果Di和Di+1含有相同的关键词，则字幕Di和Di+1在所涉及的主题上相近 它们属于同一场景；c) 时间相关性判断的步骤取字幕Di为中心的长度为L的窗口内相邻字幕平均出现时 间间隔，如果字幕Di和Di+1的出现时间间隔与窗口 L内字幕平均出现时间之比小于预定义 的阈值则字幕Di和Di+1在出现时间上较为接近属于同一场景。
5 根据权利要求1所述的联合字幕和视频图像信息进行场景分割的方法，其特征在 于，针对已经基于连续字幕分离出的时间不连续的两个相邻场景，再利用基于字幕提供的 时间信息结合关键帧相似性方法判断这段不连续时间段内的视频关键帧图像的相似性，根 据两个时间相邻的不相似帧之间存在切换点，依次找到这段不连续时间段内所有切换点， 并找到切换点对应的时刻(DBw+(i-l)/R)，则可以获得视频所包含场景片段的精确分割 时间。
6. 根据权利要求1、4或5任一项所述的联合字幕和视频图像信息进行场景分割的方 法，其特征在于，所述的关键帧的相似性利用图像的SIFT特征进行判断，具体步骤包括首先，要对视频关键帧进行提升小波变换抽取子带，再对抽取的子带图像的三个颜色 分量进行归一化处理，获得进行SIFT特征提取的目标矩阵； 然后，基于该目标矩阵进行子带图像SIFT特征提取；最后，利用双向SIFT关键点匹配方法判定关键帧图像的相似性，所述的双向SIFT关键 点匹配方法指如果子带图像A中的关键点x可匹配子带图像B中的关键点y并且y可匹配到x ;当且仅当从不同关键帧中选取的低频和高频子带图像都相似两个关键帧才相似，子 带图像相似的条件是能够双向匹配的SIFT关键点数量达到所设置的阈值。
7. 根据权利要求6所述的联合字幕和视频图像信息进行场景分割的方法，其特征在 于，所述的SIFT特征提取的步骤包括1) 根据图像频域增强理论和DoG滤波算子，得到高斯图像并构建目标矩阵的DoG尺度 空间；2) 得到所有的高斯图像后，通过在同一阶尺度空间中比较图像每个像素点与它临近 26个像素点的值确定该像素是否为局部极值点，局部极值点构成了 SIFT候选关键点集合；3) 对于上一步骤选出的局部极值点，如果该极值点不是低对比度的点，其次它不是边 缘点，则将该极值点选取为SIFT关键点；4) 采用梯度直方图统计方法确定梯度的大小和方向，生成关键点的SIFT特征向量。
8. —种联合字幕和视频图像信息进行场景索引的方法，具体步骤包括21) 获得进行场景聚簇的最小单元后，抽取每条字幕持续时间段内的视频关键帧集合， 所述的视频关键帧集合包含字幕持续时间段内的起始帧，结束帧及中点位置的帧；22) 通过比较若干个相邻最小单元关键帧的相似性，再结合字幕关联转移图进行连续 字幕的场景视频分割；23) 针对相邻字幕关键帧图像不相似的，利用相邻字幕在语义、词形和时间方面的相关 性进一步确定字幕和场景的归属关系分割场景；24) 为分割的每个场景建立前向索引表；25) 对所有文本进行分词后，为每个词建立其到关键词表的倒排索引；26) 进行视频片段检索时，首先对查询字符串进行分词，提取其中的关键词；27) 根据其编号在倒排索引表中查找包含它的前向索引表，如果多个前向索引表中包 含所有的关键词，则此时将这些前向索引表中每个关键词的词频相加作为衡量查询串与场 景视频片段相关度的标准，该值越高相关性越高；如果前向索引包含的关键词数量不等，则 包含的关键词越多的其与查询串的相关度越高，取相关度最高的视频片段作为查询结果。
9. 根据权利要求8所述的联合字幕和视频图像信息进行索引的方法，其特征在于，还 包括步骤针对不包含字母的场景进行必要的人工标注或添加说明。
全文摘要
本发明涉及一种联合字幕和视频图像信息进行场景分割与索引的方法，其特征在于，每条字幕持续时间段内视频帧集合作为场景聚簇的最小单元，包括步骤获得场景聚簇的最小单元后，抽取至少3个或以上不连续的视频帧作为该条字幕的视频关键帧集合；使用双向SIFT关键点匹配方法比较若干个相邻最小单元关键帧的相似性，再结合字幕关联转移图建立字幕与场景的初始归属关系；对于被判定为不相似的连续最小聚簇单元利用其对应字幕的相关性进一步判断其是否可以进行合并；根据所确定的字幕场景归属关系进行视频场景抽取。对所抽取的视频场景片段，使用该片段所包含的字幕文本所生成的前向和倒排索引作为检索该视频片段的依据。
文档编号G06F17/30GK101719144SQ20091023688
公开日2010年6月2日 申请日期2009年11月4日 优先权日2009年11月4日
发明者李松斌, 王劲林, 王玲芳 申请人:中国科学院声学研究所