专利名称：基于层次化结构的视频素材库管理方法
技术领域：
本发明涉及一种基于层次化结构的视频素材库管理方法，这种方法可以层次化的 管理视频素材，支持视频的层次化结构索引以及注释索引。在视频素材数量大，来源丰富的 情况下，能够有效的支持视频素材检索，支持视频素材的高效查询、编辑、标注等功能。
背景技术：
随着数字视频数据量的海量增长，视频素材在越来越多的应用中发挥作用。视频 素材具有真实感强，素材来源丰富的特点，已经成为虚拟场景构建的重要资源。视频素材的 数量不断增长，增加了我们从中找到真正需要的素材的难度。与文字内容相比，视频数据具 有非结构化、海量以及蕴涵语义丰富等特点，如何高效地对它们进行组织、表达、存储、管理 和检索，是对传统信息检索和数据库技术提出的挑战。为了有效的管理视频素材资源，比如 视频中提取的相关场景以及对象，我们需要一个有效的视频素材管理方法。基于层次化结 构的视频素材库管理方法主要从层次化数据模型、视频结构化索引这两个方面进行分析。数据模型是数据库系统的核心及基础，数据库系统的性能与数据模型直接相关。 数据库模型的不断发展及完善的过程，也就是数据库系统发展的历史。传统的文本数据库 系统，由于其数据类型及关系比较简单，所以其数据模型也较为简单。在视频数据库领域， 目前还没有完善的可普遍使用的数据模型。在建立视频模型时，虽然可能借助其他方面的 研究成果，但是表示视频数据的统一理论以及方法都还没有形成。目前研究者各自从不同 的方向对视频数据模型进行探讨，所建立的视频数据模型一般也只能反映或者强调视频数 据的某一类特性，其应用也侧重于某一领域。因为受目前图像理解、计算机视觉、人工智能 等学科发展水平的限制，视频数据自动地分段以及抽取视频的高级语义特征还存在不少困 难，因此目前应以建立有限自动化并且应用于某些特定领域的模型为目标。作为最普遍且最有效的一种交流媒介，视频中包含了其它类型媒体，内容丰富，因 而在如何有效使用和管理上也最有挑战性。视频数据本身并不支持用户交互，很大程度上 视频使用是一个单向体验过程，浏览者只是一个被动角色。虽然视频内部存在丰富的未开 发内容和知识，这种未结构化的数据已经证明很难系统管理。有效的视频管理需要像图书 馆系统那样以某种自动方式提取视频中蕴涵的那些未开发的内容和知识，提供一个类似卡 片索引目录的工具来完成视频归档并借此寻找所需内容。即视频必须伴随一个结构化内容 索引，通过创建视频内容的丰富索引，释放视频库中丰富的知识资源，把视频转换成基于索 引对内容进行精细颗粒度存取和控制的容易管理的有用信息。
发明内容
本发明涉及一种基于层次化结构的视频素材库管理方法，这种方法通过定义场景 实体、情节实体、特别是对象实体，有效的表示结构化后的视频的层次结构。层次化数据模 型为高效的视频数据库的索引以及检索提供了一个基础，使得用户可以快速地定位视频对 象素材，用以进行视频融合，虚拟场景构建等工作。此外，数据模型也支持视频的层次化语义注释，以便用户在不同的视频结构层进行语义的浏览或者搜索。基于层次化结构的视频素材库管理方法，包括如下具体步骤1)建立层次化数据模型；层次化数据模型能够反映视频数据的层次化结构，而且 反映视频数据结构之间联系以及主要特征，是支持视频素材结构化以及高效的视频索引及 检索的基础；2)视频结构化；视频结构化就是对视频流中的连续帧序列进行切分，按其内容展 开的不同，把一个连续视频流分成若干语义段落单元，主要包括下面三个步骤；2. 1)视频 结构化首先要通过基于镜头边缘检测的方法，视频数据流被切分成很多个情节；2. 2)视频 结构化其次要提取情节的特征，代表帧以及对象；2. 3)视频结构化最后要根据情节语义的 不同，聚类成不同场景；3)视频索引和检索，包括基于视频结构的结构索引以及注释索引；其中，视频结 构的结构索引指对于已经结构化的视频，我们可以建立一个索引结构，来有效的组织和管 理视频资源，方便用户的检索和访问；注释索引指基于一个视频序列至少可以从三个方面 进行注释视频拍摄地点、视频中发生的事件、以及视频中的对象，我们分别对这三个实体 进行视频注释索引；4)基于层次化数据模型、视频结构化以及视频的索引和检索，设计视频数据库中 的各种表，实现索引的建立。和传统的视频素材管理方法相比，基于层次化结构的视频素材库管理方法有如下 特点1.方法基于层次化的视频数据关系模型。该模型有效的表示了结构化的视频素材 以及一个与层次化的视频结构相对应的注释结构。2.在层次化视频数据模型的基础上，建立了树状索引结构，该结构索引支持自顶 向下访问、自底向上访问以及同一层次的对象间相互访问。此外，建立了注释索引，能够在 不同的层次上加强语义解释的快速访问。3.在我们的层次化视频素材管理方法中，视频对象作为重要的一层进行管理。有 效支持视频对象的插入及编辑。
下面结合附图和实例对本发明作进一步说明。图1是本发明所使用方法中的数据模型。图2是本方法中视频结构化的流程图。图3是基于视频结构化的视频索引与检索的结构4是基于结构索引树的示例图。图5是基于层次化视频素材库管理方法的数据库设计图。
具体实施例方式
参照附图，本发明的基于层次化结构的视频素材库管理方法，按以下步骤进行
1.建立图1所示的层次化视频数据关系模型。本模型中引入了三大基本视频 数据对象视频文档(Video Document)，对应着服务器上的视频数据；帧序列(Frame
5Sequence)，是视频流中由一系列帧构成的区间，帧序列的大小可以从一个独立帧到全部视 频文档；注释(Annotation)，可为每一帧序列分配有关内容的文字描述，以支持基于内容 的检索。帧序列可以细化为场景(Scene)，情节(Story)以及素材对象(Object)这三类， 且子类之间呈现层次关系。视频文档从视频素材中抽取某些描述其内容的注释，注释可划 分为三类有关对象的注释，有关事件的注释以及有关地点的注释。此外，注释可以细分 为由描述这些语义内容的词汇组成，分别为对象相关词汇(Object-Term)，事件相关词汇 (Event-Term)以及地点相关词汇(Location-Term)。2.如图2流程图所示，对视频进行结构化。视频结构化就是对视频流中的连续帧 序列进行切分，按其内容展开的不同，把一个连续视频流分成若干语义段落单元。在流程图 中可以看到，帧序列细分为三种实体场景、情节、以及对象。3.视频结构化首先要进行镜头边缘检测。镜头之间有多种类型的过渡方式，最常 见的是“突变”，表现为相邻两帧间发生的突变性的镜头转换。此外，还存在一些较复杂的过 渡方式，如淡入、淡出等。视频切分的技术有很多种，我们利用相邻镜头间的一组帧之间的 差异性，采用固定帧数的窗口在连续的视频上“滑动”，从而判别镜头的分割点。我们采用加 以改进的可以判别渐变的镜头变换的切分方法。通过镜头切分后的视频就形成了情节。4.对象采用Video SnapCut算法，采用多核加速以及Cuda加速进行对象快速提 取。采用情节的第一帧作为情节的关键帧。5.视频结构分析的过程，就是将语义相关的情节组合、聚类的过程。这里，我们将 具有相同语义的情节进行聚类成同一种类别的场景的过程定义为“场景分类”。6.视频的索引和检索主要有五种方法包括基于元数据的方法、基于文本的方 法、基于音频的方法、基于内容的方法以及综合的方法。本方法主要综合基于元数据的方 法、基于文本的方法和基于内容的方法三者的综合，也就是属于综合的方法。我们的综合 索引和检索方法是基于视频结构化的，我们主要研究基于视频结构的结构索引以及注释索 引，如图3所示。7.结构索引常表示为树结构，索引树中的中间节点是它们子节点的抽象。一个索 引树既可以自底向上通过抽象来构造，也可以自顶向下通过分类来构造。系统中，我们采用 的索引结构结合了自顶向下访问、自底向上访问以及同层之间访问这三种方法，如图4所 示。索引树中有三种类型的指针第N层指向第N-1层的指针、第N层指向从第0层到第 N-1层的指针、第三层的节点指向其兄弟节点之间指针。8.注释一个视频序列至少可以从三个方面进行视频拍摄地点、视频中发生的事 件、以及视频中的对象。这三个方面正好可以与我们的数据模型对应起来，即数据模型中的 场景、情节以及对象。因此，视频注释可以分别对应着这三个实体，并且这三种层次上的注 释是相关的，是有语义联系的，可以最终组合成视频的注释，比较完整地描述视频。9.基于本章提出的层次化视频数据关系模型以及视频的索引、检索以及结构化 技术，我们的数据库设计如图5所示。图中，表VIDE0(视频表)、表SCENE(场景表)、表 STORY(情节表)以及表OBJECT(对象表)是数据模型中的帧序列对象。为了避免过强的 耦合性，我们分别用四张表对这些对象进行存储。类似的，表L0CATI0NTERMS (地点注释词 汇)、表EVENTTERMS(事件注释词汇)以及表0BJECTTERMS (对象注释词汇)对应着数据 模型中的注释词汇，分别用三张表进行存储。同样场景类型也有一个表(SCENEGENRE表)单独存储，目的是当场景类型更新时，不用对SCENE表中的每一列进行更新。其中，可以看 到场景的表中有一个表项项GID，作为表示场景类型的外键对应着场景类型表SCENEGENRE 的主键GID。此外，通过表与表之间的连线可以看出各个表之间的索引关系，满足我们前 面提出的树的结构。例如，在STORY表通过OBJECTINCLUDED与所有包含在此情节中的对 象联系，表示了从上往下的索引结构；在OBJECT表通过VIDEOREFID，ST0RYREFID,以及 SCENEREFID分别与表VIDEO，STORY,以及SCENE表关联，表示了一种从下往上的索引结构； 通过OBJECTRELATEDID与同一场景中的对象进行关联，表示了同层之间的索引结构。
应该理解到的是上述实施例只是对本发明的说明，而不是对本发明的限制，任何 不超出本发明实质精神范围内的发明创造，均落入本发明的保护范围之内。
权利要求
基于层次化结构的视频素材库管理方法，其特征在于包括如下具体步骤1)建立层次化数据模型；2)视频结构化对视频流中的连续帧序列进行切分，按其内容展开的不同，把一个连续视频流分成若干语义段落单元，主要包括下面三个步骤2.1)通过基于镜头边缘检测的方法，视频数据流被切分成很多个情节；2.2)提取情节的特征，代表帧以及对象；2.3)根据情节语义的不同，聚类成不同场景；3)视频索引和检索，包括基于视频结构的结构索引以及注释索引；其中，视频结构的结构索引指对于已经结构化的视频，建立一个索引结构，来有效的组织和管理视频资源，方便用户的检索和访问；注释索引指基于一个视频序列至少可以从三个方面进行注释视频拍摄地点、视频中发生的事件、以及视频中的对象，分别对这三个实体进行视频注释索引。4)基于层次化数据模型、视频结构化以及视频的索引和检索，设计视频数据库中的各种表，实现索引的建立。
2.如权利要求1所述的基于层次化结构的视频素材库管理方法，其特征在于在步骤1) 中，基本视频数据对象包括1.1)视频文档(Video Document)，对应着服务器上的视频数 据；1.2)帧序列(Frame Sequence)，是视频流中由一系列帧构成的区间，帧序列的大小从 一个独立帧到全部视频文档；1.3)注释(Annotation)，为每一帧序列分配有关内容的文字 描述，以支持基于内容的检索。
3.如权利要求1所述的基于层次化结构的视频素材库管理方法，其特征在于在步骤 2. 1)中，利用相邻镜头间的一组帧之间的差异性，采用固定帧数的窗口在连续的视频上滑 动，从而判别镜头的分割点。
4.如权利要求1所述的基于层次化结构的视频素材库管理方法，其特征在于在步骤 2.2)中，对象采用Video SnapCut算法，采用多核加速以及Cuda加速进行对象快速提取，并 采用情节的第一帧作为情节的关键帧。
5.如权利要求1所述的基于层次化结构的视频素材库管理方法，其特征在于在步骤 2. 3)中，将具有相同语义的情节进行聚类成同一种类别，将语义相关的情节组合、聚类成不 同的场景。
6.如权利要求1所述的基于层次化结构的视频素材库管理方法，其特征在于在步骤3) 中，视频索引和检索的方法包括基于元数据的方法、基于文本的方法、基于音频的方法、基 于内容的方法以及综合的方法。
7.如权利要求1所述的基于层次化结构的视频素材库管理方法，其特征在于在步骤3) 中，结构索引表示为树结构，索引树中的中间节点是它们子节点的抽象；一个索引树自底向 上通过抽象来构造，或者自顶向下通过分类来构造；索引树中有三种类型的指针第N层指 向第N-1层的指针、第N层指向从第0层到第N-1层的指针、第三层的节点指向其兄弟节点 之间指针。
8.如权利要求1所述的基于层次化结构的视频素材库管理方法，其特征在于在步骤3) 中，注释一个视频序列至少从三个方面进行视频拍摄地点、视频中发生的事件、以及视频 中的对象，这三个方面与数据模型中的场景、情节以及对象分别对应。
9.如权利要求1所述的基于层次化结构的视频素材库管理方法，其特征在于在步骤4)中，采用表VIDEO、表SCENE、表STORY以及表OBJECT对数据模型中的帧序列对象进行存储， 采用表L0CATI0NTERMS、表EVENTTERMS以及表0BJECTTERMS对数据模型中的注释词汇进行 存储，采用一个表SCENEGENRE对场景类型进行单独存储，其中，表SCENEGENRE中有一个表 项项GID，作为表示场景类型的外键对应着场景类型表SCENEGENRE的主键GID ；通过表与表 之间的连线表示各个表之间的索引关系。
全文摘要
本发明公开了一种基于层次化结构的视频素材库管理方法，包括如下具体步骤1)建立层次化数据模型；2)频结构化；3)视频索引和检索；4)基于层次化数据模型、视频结构化以及视频的索引和检索，设计视频数据库中的各种表，实现索引的建立。这种方法可以层次化的管理视频素材，支持视频的层次化结构索引以及注释索引。在视频素材数量大，来源丰富的情况下，能够有效的支持视频素材检索，支持视频素材的高效查询、编辑、标注等功能。
文档编号G06F17/30GK101799827SQ20101012208
公开日2010年8月11日 申请日期2010年3月11日 优先权日2010年3月11日
发明者王慧昱, 童若峰 申请人:浙江大学