专利名称：一种全自动视频编目系统的构建方法
技术领域：
本发明涉及多媒体技木，尤其涉及海量媒体素材的元数据建立及有效管理。
背景技术：
当今社会是信息高速发展的社会，每天产生大量各种各样类型的信息。特别是在影视行业，大量多媒体素材产生并积累下来。然而，多媒体数据本身是ー种非结构化的数据，如何有效地管理这些媒体数据，是媒体行业面对的一个迫切需要解决的难题。媒体资产管理(Median Asset Management,MAM)是一个端到端的对各种类型媒体及内容(如视/音频资料、文本文件、图表等)进行其寿命期内全面管理的总体解决方案， 包括数字媒体的采集、编目、管理、传输和编码转换等全部过程。它完全满足媒体资产拥有者收集、保存、查找、编辑、发布各种信息的功能要求，为媒体资产的使用者提供了在线内容和简便的访问方法，实现了安全、完整地保存媒体资产和高效、低成本地利用媒体资产。多媒体数据(Multimedia Data)媒体资产管理的对象，主要是指各种式样信息的载体，例如文本、图形、图像、声音等数据.其突出的特点是(I)多媒体数据种类繁多(大多是非结构化数据)，来源于不同的媒体，具有完全不同的形式和格式；(2)多媒体数据量庞大；(3)多媒体数据具有时间特性和版本概念，与传统的数值和字符不同，属于非结构性信息媒体资产元数据(Matedata)就是描述媒体资产的信息。元数据的质量、数量、单一性、描述内容、可检索性和可获知性都是决定ー个媒体资产管理系统成功与否的关键。因此ー个完善的元数据收集和制作系统是非常关键的。全自动媒体素材编目系统的主要功能就是收集和制作多媒体元数据，从而对媒体资产管理系统提供有效的信息支持。传统的媒体资产元数据的产生是依靠手工的方法，利用操作人员观看视频内容，并在此基础上手工添加标注，进而生成元数据。这种传统的方法耗时耗力，效率低下。因此行业亟需ー种自动元数据产生的方法，来代替人工的方法，提高效率。同时，由于媒体资产内容的复杂性，及ー些特性内容的增加(例如淡入淡出、划变等特效，视频内容中照相机闪光灯的影响等)，对于视频分割的自动化方法，带来了很大的难度。如何高效、准确地进行视频关键帧或镜头分割帧的抽取，是目前仍待解决的ー个技术难题。镜头自动分割镜头对应摄像机的一次记录起停操作，代表一个场景中在时间上和空间上连续的动作。镜头之间可存在多种类型的过渡方式，最常见的是切变，此外还存在一些较复杂的过渡方式，如淡入淡出、叠化、划变等。镜头是进行素材编辑的ー个基本単位，通过对镜头建立索引将对于信息的查找带来方便。关键帧自动抽取在实际中发现，一次镜头的起停时间有时相隔较长，内部的内容和景象可能已经发生了非常大的变化。因此，仅仅靠镜头分割不足以充分地抽象出媒体素材的所有重要信息。为弥补镜头片段这种先天不足，定义了关键帧片段的概念。关键帧片段分析是基于对视频内容的关联性分析(而不是摄像机起停的物理动作)，井根据视频内容复杂度提取有代表性的关键帧，有效起到视频摘要的作用。关键帧片段是可以看成是视频片段中有意义的最小単位，关键帧片段内部帧有着极为相近的内容，因而有着非常大的信息冗余。关键帧可以代表段内所有帧的信息。
发明内容
本发明目的是，针对海量媒体素材人工编目方法耗时耗力的问题，利用先进的计算机视频分析技术，提出一种全自动视频编目系统的构建方法。该系统可以大量节约人力，提闻视频编目的质量和效率。本发明公开了ー套灵活、高效的全自动视频编目系 统及相关智能算法。该系统支持全自动地对视频内容进行智能分析，提取出基于摄像机起停的物理变化而形成的镜头分割中贞和基于视频内容变化且最能代表视频片段内容的关键巾贞，并在提取出的关键巾贞和镜头分割帧的基础上生成媒体素材的元数据库。本发明提出的视频关键帧及镜头分割帧健壮性抽取算法对于视频中经常出现的划变、淡入淡出、溶解等特效及照相机闪光灯影响等有很好的抗干扰作用，不会因此而出现过多的漏检或误检。第一，本发明提供了ー个建立视频编目系统的功能框架，定义了各子系统的功能模块。第二，本发明提供了ー套全自动视频关键帧抽取算法，该算法对于划变、淡入淡出、溶解等特效及照相机闪光灯影响等有很好的抑制作用。第三，本发明提供了ー套全自动视频镜头分割帧抽取算法，该算法对于划变、淡入淡出、溶解等特效及照相机闪光灯影响等有很好的抑制作用。为此，本发明提供的全自动视频编目系统的构建方法包括第I、全自动视频编目系统的构建；所述的全自动视频编目系统包括第I. I、媒体采集模块，通过视频采集板卡，采集视频流数据；第I. 2、媒体分析模块，针对第I. I步媒体采集模块采集到的视频流数据，利用先进的计算机视觉处理技术进行智能分析，抽取关键帧或镜头分割帧，并将抽取出来的关键帧或镜头分割帧显示到故事板上，供用户进ー步编辑、处理；第I. 3、元数据建立、编辑与管理模块，以第I. 2步媒体分析模块抽取出的关键帧和镜头分割帧为基础，形成以视频片段为単位，并辅以描述信息的媒体素材元数据；所述的元数据是编目系统输出的最終結果，是对非结构化媒体资产进行有效管理的主要依据；元数据编辑与管理包括元数据模式文件建立与修改、元数据显示、元数据编辑、元数据缓存管理和元数据保存；第I. 3. I、元数据模式文件，该文件里定义了编目系统对媒体素材进行结构化分析后得出的元数据信息的内容及组织方式，包括片段描述、内容分类、视频作者和编目者，元数据模式文件以XML文件表示，系统提供缺省文件，用户根据需要可以通过手工方式修改元数据模式文件；第I. 3. 2、元数据编辑，包括 关键帧和镜头分割帧编辑用户根据需要和具体情况增加或删除显示在故事板上的关键帧或镜头分割帧； 视频片段编辑用户根据系统抽取出来的关键帧或镜头分割帧，通过手工编辑，将两个或两个以上关键帧或镜头分割帧的内容合并，组成内容独立且有意义的视频片段，并根据元数据模式文件定义的格式内容，添加相应信息；第I. 3. 3、元数据显示，包括 关键帧或镜头分割帧显示即系统将自动分析抽取出来的关键帧或镜头分割帧显不在故事板上； 片段内容显示即系统将编辑后的片段信息内 容显示在用户界面上；第I. 3. 4、元数据缓存管理，包括在自动进行视频、音频分析期间，为防止频繁读写硬盘，而只在分析完成时将分析结果写入硬盘； 使用系统RAM作缓存，要求内存大小能够支持连续几个小时的元数据分析； 当连续分析时间过长而导致内存不够用时，采用系统分页文件作为共享映射文件；第I. 3. 5、元数据保存，包括 自动分析或修改的元数据以XML文件形式保存到存储介质； 关键帧或镜头分割帧保存到指定的文件夹中；第I. 4、配置管理模块，系统将配置信息存储在配置文件中，以XML文件表示，用户可以手工或通过用户界面进行修改编辑；系统初始化时读取该配置文件，进行软件模块配置；配置信息包括 输入设备配置视频采集板卡或磁盘上媒体文件； 算法功能选择关键帧或镜头分割帧抽取； 关键帧抽取算法參数设定，包括■关键帧抽取敏感度设定；■最大或最小帧间隔设定即限定相邻关键帧时间间隔不少于或多于特定时间间隔。第2、媒体素材视频关键帧健壮性自动化抽取；包括第2. I、预处理，该步包含两部分内容针对输入视频信号，首先通过帧内像素下取样来降低算法复杂度；另外利用帧间相关性获取ニ值化帧间差值图像，并利用这个差值图像过滤出侯选关键帧集合；第2. 2、信息提取，对第2. I步得到的侯选关键帧集合进行进一步处理，提取直方图特征信息，并利用直方图傅立叶变换后的相邻帧间以及待测帧与上ー关键帧之间差异测度来进行关键帧判定与抽取；在处理过程中，该步提供単独的淡入淡出、划变特效和闪光灯影响的检测与抑制；第2. 2. I、对淡入淡出片段，根据片段内帧间亮度信号符合线性变化的特点，通过估计该变化率的方法来进行检测；第2. 2. 2、对划变特效片段，根据帧间划变区域具有空间规律性特点，通过检测帧间划变区域以及整个划变片段内部帧间划变区域的空间变化来进行检测；第2. 2. 3、对闪光灯片段，检测时根据闪光灯时间短的特点，利用帧间亮度差异大和隔帧间亮度差异小的特性，来进行判断和检测；第2. 3、信息分析，根据第2. 2步信息提取得到的特征信息和特殊景象检测結果，进行最后的综合分析，并选取出最能够代表片段内容的关键帧；第2. 3. I、对于淡入淡出帧序列，选择淡入淡出特效完成的最后ー帧作为关键帧输出；第2. 3. 2、对于划变片段序列，选择划变特效完成的最后ー帧作为关键帧输出；第2. 3. 3、对于检测出的闪光灯影响的帧，直接从候选帧序列中将其滤除；第2. 3. 4、对于剩余的普通候选关键帧序列，在其由每个连续帧序列组成的片段中，选择与前一关键帧直方图傅里叶变换差异度最大的帧作为关键帧输出。第3、媒体素材镜头分割帧健壮性自动化抽取，包括
第3. I、预处理，包含两部分内容针对输入视频信号，首先通过帧内像素下取样来降低算法复杂度；另外利用帧间相关性获取ニ值化帧间差值图像，并利用这个差值图像过滤出侯选镜头分割帧集合；第3. 2、信息提取，对第3. I步得到的侯选镜头分割帧集合进行进一步处理提取直方图特征信息，并采用直方图衰减均值运算的方法计算同一镜头内从起始帧到当前帧的衰减直方图均值及统计方差；然后计算当前帧与衰减直方图均值之间的帧间直方图X2统计差分，并更新统计方差；以动态更新的统计方差，计算动态判决门限，利用这个门限值来进行镜头分割帧的判定；在处理过程中，该步提供単独的淡入淡出、划变特效和闪光灯影响的检测与抑制功能；对于淡入淡出片段，根据该类片段内帧间亮度信号符合线性变化的特点，通过估计该变化率的方法来进行检测；对于划变片段，根据帧间划变区域具有空间规律性特点，通过检测帧间划变区域以及整个片段内部帧间划变区域的空间变化来进行检测；对于闪光灯片段，检测时根据闪光灯时间短的特点，利用帧间亮度差异大和隔帧间亮度差异小的特性，来进行判断和检测；第3. 3、信息分析，根据从第3. 2步信息提取中得到的特征信息和特殊景象检测结果，进行最后的综合分析，并判断出镜头分割帧，其中包括淡入淡出、划变特效和闪光灯的特殊情况的检测；对于检测出的淡入淡出帧序列，输出最后一帧作为关键帧；对于检测出的划变片段序列，输出最后ー巾贞作为关键巾贞；对于检测出的闪光灯影响的巾贞，直接从候选中贞序列中将其滤除；对于剩余的普通候选帧，镜头分割帧的判定要求满足以下两个条件 突变条件当前帧与衰减直方图均值X2统计差分大于由统计方差确定的突变门限值； 平稳条件当前帧与衰减直方图均值X2统计差分大于由当前帧与后一帧之间的帧间X2统计差分确定的平稳门限值。本发明的优点和积极效果本发明采用先进的计算机视频分析技木，实时、全自动地分析视频内容，并根据用户需求，提取关键帧和镜头分割帧。同时支持在关键帧或镜头分割帧基础上，通过人工编辑、完善，建立起基于视频内容的媒体素材元数据库。为后端媒体资产管理系统提供充分的元数据信息。本发明公开的健壮性视频关键帧及镜头分割帧抽取算法，对于淡入淡出、溶解、划变等视频特性以及闪光灯等特殊景象的干扰有很好的抑制能力。由于原始视频内容的非结构化特性，传统的人工方式进行视频片段分割及编目的方法，费时费力，采用本发明解决方案，可以节约大量成本及社会资源。
图I是本发明的系统架构功能框图。图2是本发明的ー个具体实施例功能框图。图3是本发明关于淡入淡出特效例子。图4是本发明关于划变的例子。图5是本发明关于闪光灯影响的例子。图6是本发明关于元数据模式文件例子。图7是本发明关于元数据配置文件例子。 图8是本发明关于关键帧健壮性抽取算法系统流程(方法)。图9是本发明关于关键帧或镜头分割帧抽取预处理子模块流程(方法)。图10是本发明关于淡入淡出检测子模块流程(方法)。图11是本发明关于划变检测子模块流程(方法)。图12是本发明关于闪光灯检测子模块流程(方法)。图13是本发明关于镜头分割帧健壮性抽取算法系统流程(方法)。
具体实施例方式—、全自动视频编目系统架构,如图I所示,包括I、媒体采集模块该子系统通过视频采集板卡及板卡相应驱动程序，采集视频流数据到计算机内存，并传送到媒体分析模块。2、媒体分析模块该模块针对采集到的视频流数据，根据设定的配置选项，选用相应的处理算法及其控制參数，进行智能分析及关键帧或镜头分割帧抽取，并将抽取出来的关键帧或镜头分割帧及相应的时间码信息显示到用户界面上故事板区域上，供用户进ー步编辑、处理。3、媒体元数据建立、编辑与管理模块媒体元数据管理包括元数据模式文件建立与修改,元数据显示,元数据编辑,元数据缓存管理，元数据保存。元数据模式文件定义，该文件里定义了编目系统对媒体素材进行结构化分析后得出的元数据信息的内容及组织方式(如片段描述、内容分类、视频作者、编目者等)，以XML文件表示，系统提供缺省文件，用户可以根据特定需要，通过手工的方式进行修改。图6示出元数据模式文件的ー个例子。元数据编辑,包括 关键帧和镜头分割帧编辑系统将关键帧或镜头分割帧显示在对话框控件上，并通过増加该对话框控件的操作，实现修改或删除关键帧或镜头分割帧的功能 视频片段编辑系统通过显示关键帧或镜头分割帧的对话框控件，提供由关键帧或镜头分割帧组成视频片段，并为该视频片段提供元数据编辑功能。并将元数据显示在元数据列表控件中。元数据显示,包括 关键帧或镜头分割帧显示系统将关键帧或镜头分割帧显示在对话框控件上，每ー个关键帧或镜头分割帧对应ー个对话框控件，所有对话框控件都依附于ー个故事板的视图中 片段内容显示即系统将编辑后的片段信息(如片段描述、内容分类、视频作者、编目者等)内容显示在元数据列表控件中，列表控件的内容为以XML格式存储在存储介质的元数据文件。元数据缓存管理，包括在自动进行视音频分析期间，为防止频繁读写硬盘，而只在分析完成时将分析结果写入硬盘。 使用系统RAM作缓存，要求内存大小能够支持连续几个小时的元数据分析 当连续分析时间过长而导致内存不够用时，采用系统分页文件作为共享映射文 件元数据保存，包括 自动分析或修改的元数据以XML文件形式保存到存储介质 关键帧或镜头分割帧保存到特定的文件夹中4、配置管理模块全自动视频编目系统将配置信息存储在系统配置文件中，以XML文件方式存储。系统提供用户界面，以对话框的方式显示和编辑系统配置文件，用户可以手工方式直接修改系统配置文件。系统初始化时读取该系统配置文件，进行软件模块配置。图7示出系统配置管理文件的ー个例子。配置信息包括 输入设备配置视频采集板卡或磁盘上媒体文件 算法功能选择关键帧或镜头分割帧抽取 关键帧抽取算法參数设定，包括■关键帧抽取敏感度设定■最大或最小帧间隔设定即限定相邻关键帧时间间隔不少于或多于特定时间间隔ニ、本发明提供的健壮性视频关键帧抽取方法包括I、处理流程设计关键帧抽取方法由图8示出。整个处理方法可分为三个部分预处理子模块、信息提取子模块、信息分析子模块。 预处理子模块首先对输入的每ー帧视频数据进行简单、快速的预处理，包括空域下取样和时域预分析，并从中粗略地过滤出侯选关键帧集合。 信息提取，含以下两部分功能 第一部分是针对上一步过滤出来的侯选关键帧集合进行进一步处理，提取特征信息，并根据每ー帧的帧内及帧间特征信息，进ー步过滤出候选帧序列，并将连续的候选帧序列及其特征信息作为ー个整体的候选片段记录下来，供进ー步分析和关键帧提取所用。 第二部分是针对特殊场景进行特殊的处理和检测，包括■闪光灯效果检测■淡入淡出及溶解特效检测■帧间划变特效检测 信息分析子模块是在上一步检测及处理的基础上，针对不同的情况，采用不同的处理策略，最終分析提取视频关键帧I. I、预处理子模块——候选片段起始帧获得预处理子系统由图9示出，包含以下两个步骤I)进行空域的抽样来提高处理效率；为提高处理效率，在保证不影响分析效果的情况下，首先对输入视频流进行下取样。在具体实施过程中，针对输入分辨率为720X576的视频流进行8*8下抽样，得到分辨率为90 X 72视频流数据。2)预分析。关键帧目的是用来标识、描述视频中新场景或新内容的出现，因此在处理过程中需要过滤掉那些大量的、与前一关键帧所描述片段内容高度相似的帧。为此， 首先定义ニ值模板M(i，j)，其大小为下取样后视频帧大小，即96X72。初始化
姆一点值为O。 针对每ー帧，考虑其亮度信号It，计算以下两个ニ值化帧间差值图像，并利用形态学开-闭算子进行降噪和去除细节。这里，取阈值T= 10。■相邻帧ニ值化帧间差值图像
io \IMJ)-It AiJi < T= I“，パ(Γ t,H (i, j) = OCWt.H (i, j)) 当前帧It与上一关键帧Ik之间ニ值化帧间差值图像。如果尚未检测出关键帧，则使用全黑帧代替上ー关键帧。dtk(r,j) = \° U^)-h(U)\<T or |/t, (,,7) -/, (^)| < Γ
[l else(Γ t,k(i, j) = OC(dt,k(i, j)) 更新模板 M(i，j):Mnew(i, j) = Mold(i, j) U d' tjk(i, j) 计算模板M、dtm dt,k中I的个数N(M) = ^M(i, j)
UjN(dt,t—') = dt t_x (/, j)
UiN(dt,k ) = dtk (/, ノ)
Uj当满足下列条件之一就可以认为新的内容片段开始了，即标记从当前帧开始所有视频帧为侯选帧，直至新的关键帧选出I) N(M) > size/5 and N(dtj ^1) -N (dtjk) > size/102) N(dtj ^1) > size/20 and N(Cltjt^)-N(Cltjk) > size/10这里，size是视频帧内像素的个数I. 2、信息提取子模块信息提取子系统在已过滤出的侯选视频片段基础上，进ー步提取特征信息；同时对于ー些对关键帧抽取有影响的特殊的场景和特效进行检测与抑制，其中包括闪光灯影响、淡入淡出和溶解特效、划变特效。
I)基本信息提取及候选关键帧序列记录 基本信息提取原始的基本信息基于输入YUV视频信号。首先对每帧视频数据Y、U、V分量进行直方图统计分析，得到256个分量值的彩色直方图hy、hu、hv扩展到对于帧序列，得到直方图集t为帧序号，i为亮度、色度分量值，i e
，由此，有以下定义■对于序列长度为N的帧序列，定义直方图均值为
权利要求
1.一种全自动视频编目系统的构建方法，其特征在于该方法包括 第I、全自动视频编目系统的构建； 第2、媒体素材视频关键帧健壮性自动化抽取； 第3、媒体素材镜头分割帧健壮性自动化抽取。
2.根据权利要求I所述的方法，其特征在于第I步所述的全自动视频编目系统包括 第I. I、媒体采集模块，通过视频采集板卡，采集视频流数据； 第I. 2、媒体分析模块，针对第I. I步媒体采集模块采集到的视频流数据，利用先进的计算机视觉处理技术进行智能分析，抽取关键帧或镜头分割帧，并将抽取出来的关键帧或镜头分割帧显示到故事板上，供用户进ー步编辑、处理； 第I. 3、元数据建立、编辑与管理模块，以第I. 2步媒体分析模块抽取出的关键帧和镜头分割帧为基础，形成以视频片段为単位，并辅以描述信息的媒体素材元数据；所述的元数据是编目系统输出的最終結果，是对非结构化媒体资产进行有效管理的主要依据；元数据编辑与管理包括元数据模式文件建立与修改、元数据显示、元数据编辑、元数据缓存管理和元数据保存； 第I. 3. I、元数据模式文件，该文件里定义了编目系统对媒体素材进行结构化分析后得出的元数据信息的内容及组织方式，包括片段描述、内容分类、视频作者和编目者，元数据模式文件以XML文件表示，系统提供缺省文件，用户根据需要可以通过手工方式修改元数据模式文件； 第I. 3. 2、元数据编辑，包括 关键帧和镜头分割帧编辑用户根据需要和具体情况增加或删除显示在故事板上的关键帧或镜头分割帧； 视频片段编辑用户根据系统抽取出来的关键帧或镜头分割帧，通过手工编辑，将两个或两个以上关键帧或镜头分割帧的内容合并，组成内容独立且有意义的视频片段，井根据元数据模式文件定义的格式内容，添加相应信息； 第I. 3. 3、元数据显示,包括 关键帧或镜头分割帧显示即系统将自动分析抽取出来的关键帧或镜头分割帧显示在故事板上； 片段内容显示即系统将编辑后的片段信息内容显示在用户界面上； 第I. 3. 4、元数据缓存管理，包括 在自动进行视频、音频分析期间，为防止频繁读写硬盘，而只在分析完成时将分析结果写入硬盘； 使用系统RAM作缓存，要求内存大小能够支持连续几个小时的元数据分析； 当连续分析时间过长而导致内存不够用时，采用系统分页文件作为共享映射文件； 第I. 3. 5、元数据保存，包括 自动分析或修改的元数据以XML文件形式保存到存储介质； 关键帧或镜头分割帧保存到指定的文件夹中； 第I. 4、配置管理模块，系统将配置信息存储在配置文件中，以XML文件表示，用户可以手工或通过用户界面进行修改编辑；系统初始化时读取该配置文件，进行软件模块配置；配置信息包括 输入设备配置视频采集板卡或磁盘上媒体文件； 算法功能选择关键帧或镜头分割帧抽取； 关键帧抽取算法參数设定，包括 ■关键帧抽取敏感度设定； ■最大或最小帧间隔设定即限定相邻关键帧时间间隔不少于或多于特定时间间隔。
3.根据权利要求I所述的方法，其特征在于第2步所述的媒体素材视频关键帧健壮性自动化抽取包括 第2. I、视频低层预处理，该步包含两部分内容首先通过帧内像素下取样来降低算法复杂度；另外利用帧间相关性获取ニ值化帧间差值图像，并利用这个差值图像过滤出侯选关键帧集合； 第2. 2、信息提取，对第2. I步得到的侯选关键帧集合进行进一步处理，提取直方图特征信息，并利用直方图傅立叶变换后的相邻帧间以及待测帧与上一关键帧之间差异測度来进行关键帧判定与抽取；在处理过程中，该步提供単独的淡入淡出、划变特效和闪光灯影响的检测与抑制； 第2. 2. I、对淡入淡出片段，根据片段内帧间亮度信号符合线性变化的特点，通过估计该变化率的方法来进行检测； 第2. 2. 2、对划变特效片段，根据帧间划变区域具有空间规律性特点，通过检测帧间划变区域以及整个划变片段内部帧间划变区域的空间变化来进行检测； 第2. 2. 3、对闪光灯片段，检测时根据闪光灯时间短的特点，利用帧间亮度差异大和隔帧间亮度差异小的特性，来进行判断和检测； 第2. 3、信息分析，根据第2. 2步信息提取得到的特征信息和特殊景象检测结果，进行最后的综合分析，并选取出最能够代表片段内容的关键帧； 第2. 3. I、对于淡入淡出帧序列，选择淡入淡出特效完成的最后ー帧作为关键帧输出； 第2. 3. 2、对于划变片段序列，选择划变特效完成的最后ー帧作为关键帧输出； 第2. 3. 3、对于检测出的闪光灯影响的帧，直接从候选帧序列中将其滤除； 第2. 3. 4、对于剩余的普通候选关键帧序列，在其由每个连续帧序列组成的片段中，选择与前一关键帧直方图傅里叶变换差异度最大的帧作为关键帧输出。
4.根据权利要求I所述的方法，其特征在于第3步所述的媒体素材镜头分割帧健壮性自动化抽取包括 第3. I、预处理，包含两部分内容首先通过帧内像素下取样来降低算法复杂度；另外利用帧间相关性获取ニ值化帧间差值图像，并利用这个差值图像过滤出侯选镜头分割帧集合； 第3. 2、信息提取，对第3. I步得到的侯选镜头分割帧集合进行进一步处理提取直方图特征信息，并采用直方图衰减均值运算的方法计算同一镜头内从起始帧到当前帧的衰减直方图均值及统计方差；然后计算当前帧与衰减直方图均值之间的帧间直方图X 2统计差分，并更新统计方差；以动态更新的统计方差，计算动态判决门限，利用这个门限值来进行镜头分割帧的判定；在处理过程中，该步提供単独的淡入淡出、划变特效和闪光灯影响的检测与抑制功能；对于淡入淡出片段，根据该类片段内帧间亮度信号符合线性变化的特点，通过估计该变化率的方法来进行检测；对于划变片段，根据帧间划变区域具有空间规律性特点，通过检测帧间划变区域以及整个片段内部帧间划变区域的空间变化来进行检测；对于闪光灯片段，检测时根据闪光灯时间短的特点，利用帧间亮度差异大和隔帧间亮度差异小的特性，来进行判断和检测； 第3. 3、信息分析，根据从第3. 2步信息提取中得到的特征信息和特殊景象检测結果，进行最后的综合分析，并判断出镜头分割帧，其中包括淡入淡出、划变特效和闪光灯的特殊情况的检测；对于检测出的淡入淡出帧序列，输出最后一帧作为关键帧；对于检测出的划变片段序列，输出最后ー帧作为关键帧；对于检测出的闪光灯影响的帧，直接从候选帧序列中将其滤除；对于剩余的普通候选帧，镜头分割帧的判定要求满足以下两个条件 突变条件当前帧与衰减直方图均值X2统计差分大于由统计方差确定的突变门限 值； 平稳条件当前帧与衰减直方图均值X2统计差分大于由当前帧与后ー帧之间的帧间X2统计差分确定的平稳门限值。
全文摘要
全自动视频编目系统及方法。本系统主要用于海量非结构化媒体素材元数据库的自动化建立，同时支持在此基础上元数据的的手工修改、添加及完善。最终实现利用完善的媒体元数据库进行海量媒体资产有效管理的目的。本发明内容包括全自动视频编目系统功能与系统架构；媒体素材视频关键帧健壮性自动化抽取算法；媒体素材镜头分割帧健壮性自动化抽取算法。在本发明方法基础上实现的软件可在现有主流计算机上达到实时处理的效果。本发明提出的视频关键帧及镜头分割帧健壮性抽取算法对于视频中经常出现的划变、淡入淡出、溶解等特效及照相机闪光灯影响等有很好的抗干扰作用，不会因此而出现过多的漏检或误检。
文档编号H04N5/262GK102694966SQ20121005481
公开日2012年9月26日 申请日期2012年3月5日 优先权日2012年3月5日
发明者蔡靖 申请人:天津理工大学