专利名称：使用分级图像块的对称信息的视频识别系统和方法
技术领域：
以下公开涉及一种视频识别系统和方法，并特别涉及一种使用分级图像块的对称 信息的视频识别系统和方法。
背景技术：
终端的多样化、大容量存储介质的实现以及高速通信环境使得数字化内容易于被 播放，且被快速传输和共享。此外，由于数字化的特点，已很容易传输和共享具有与原始内 容相同品质的违法内容，因此版权的侵犯已经增长。因此，进行版权保护以防止大容量和高品质视频内容的非法共享的需要正在增 加。对于版权保护，对视频监控和过滤系统的需求已经增加。这种视频监控和过滤系统从 需要版权保护的原始视频中提取独特的视频特征信息(也称作“内容DNA”)，将该特征信息 存储在数据库(DB)中，当传输或共享视频内容时从视频内容中提取视频特征信息，将所提 取的信息与存储于DB中的信息进行比较，并基于比较结果执行监控和过滤。对于这种视频监控和过滤系统，重要的是提取对在传输或共享视频时可能发生的 压缩、大小转换、帧速率转换等操作鲁棒(robust)的视频特征。特别地，近来存在处理如下 内容的需要，即由于作为视频播放器的选项而支持以90°旋转或反向的方式进行转换的内 容。在这种背景下，已进行了许多对视频识别的研究，并已经提出了如下的现有技术。题目为“运动图像搜索系统和方法”(“moving image search system and method")的韩国专利No. 10-0644016提出了一种使用其中在运动图像中发生场景(或镜 头(shot))改变的图像部分、以及图像的注释、颜色、形状和纹理信息来搜索视频的系统。 但是，为了将该系统应用到过滤中，需要进行分析和注解视频的操作，并因此对于大容量视 频而言要花费很长时间来配置DB。此外，很难保证注释的客观性。另外，由于场景改变部分 的图像可能由于帧速率转换等因素而易于发生变化，所以搜索的可靠性可能恶化。题目为“使用场景改变长度的数字视频识别系统和方法”(“digital video identification system and method using scene change length，，)的韩国专利 No. 10-0729660提出了一种用于检测视频信号的场景改变以及利用场景改变间的长度来识 别视频的方案。当基于场景改变来识别视频时，场景改变数量根据待搜索视频为非常大或 非常小，并因而当配置或搜索DB时可能出现问题。Job Oosteven、Ton Kalker和Japp Haitsma的题目为“用于视频指纹识别的 特征提取禾口数据库策略(Feature Extraction and a Database Strategy for VideoFingerprinting)(Proceeding of International Conference on Recent Advances in Visual Information Systems, 2002)，，的论文提出了一种基于图像块的亮度值的视频识别 方法。在这篇论文中，获得图像块的平均亮度值，使用亮度值之间的时间和空间差异来提取 特征。在这种情况下，因为特征被二进制化，所以可提高搜索效率。但是，因为使用了具有 统一尺寸的连续块的差异，所以不可能识别旋转的、反转的以及失真的图像，在涉及大容量 DB应用、搜索时间等的效率上出现问题。在需要低运算负荷的同时，用于监控和过滤系统的视频识别技术对于当传输或共 享视频时发生的大小转换、压缩、帧速率变化、旋转、反转等操作必须是鲁棒的。此外，特征 不能依赖于视频的基于风格的特点(genre-based characteristics)。例如，在动作片和剧 情片间不能存在识别率上的差异，其中动作片中有大量的运动和场景改变发生，而剧情片 中只有相对少量的场景改变或运动发生。
发明内容
相应地，考虑到现有技术中出现的上述问题而做出本发明，且本发明目的是提供 一种视频识别系统和方法，该系统和方法在以低运算负荷来提取视频特征的同时，对于在 传输或共享视频时可能出现的各种失真是鲁棒的，即对于归因于大小转换、压缩、帧速率转 换、旋转和反转的失真是鲁棒的。为了实现上述目的，本发明提供一种视频识别系统，包括特征和元信息数据库 (DB)单元，用于存储从多个视频剪辑和多条视频信息中提取的、并且是视频识别所需要的 特征和视频元信息；特征提取单元，用于从输入视频剪辑中提取特征；数据库搜索单元，用 于使用所提取特征来搜索特征和元信息数据库；以及特征匹配单元，用于将所提取特征与 所述特征和元信息数据库的搜索结果相匹配；其中特征提取单元包括帧速率转换单元， 用于将输入视频剪辑的视频信号的帧速率转换成一预设值；灰度级转换单元，用于对帧速 率已被转换的视频信号执行灰度级转换；帧大小规格化单元，用于将已执行灰度级转换的 视频信号的帧大小规格化为预设大小；以及分块特征提取单元，用于将视频分割为分级块， 从各个块提取对称信息，并然后生成特征矢量。优选地，分块特征提取单元可基于具有时间或空间对称结构的块图案来将视频分 割成分级块。更具体地，分块特征提取单元基于被定义为具有空间对称结构、同时在连续帧 中具有时间分级结构、同时在时间上不同的帧中具有时间分级结构的时间-空间分级块图 案，来将视频分割为分级块。分块特征提取单元可基于块图案来生成包括N维对称信息特 征值的特征矢量。优选地，数据库搜索单元可通过改变N维对称信息特征值的位置值、或者通过反 转特征值来搜索特征和元信息数据库，以确定因正交旋转或水平/垂直反转引起的失真 视频，并且可以仅使用N维对称信息特征值的较上层比特来初步地搜索特征和元信息数据 库，并其次使用N维对称信息特征值的剩余比特来仅搜索初步搜索结果。为了实现上述目的，本发明提供一种从视频中提取特征的方法，包括通过将输入 视频信号的帧速率转换为预设值来执行帧速率转换；对帧速率已被转换的视频信号执行灰 度级转换；通过将已执行灰度级转换的视频信号的帧大小规格化为指定大小来执行帧大小 规格化；以及通过将视频分割为分级块、通过从各个块中提取对称信息、以及通过生成特征矢量来执行分块特征提取。此外，本发明提供一种视频识别方法，包括通过将输入视频信号的帧速率转换为 预设值来执行帧速率转换；对帧速率已被转换的视频信号执行灰度级转换；通过将已执行 灰度级转换的视频信号的帧大小规格化为指定大小来执行帧大小规格化；通过将视频分割 为分级块、从各个块中提取对称信息、以及生成特征矢量来执行分块特征提取；以及通过搜 索已预先使用特征矢量配置的特征数据库(DB)、并且将特征矢量和特征数据库的搜索结果 进行匹配，来执行特征匹配。根据下面的详细说明书、附图、权利要求书，其他特征和方面将变明显。
图1是示出了根据本发明实施例的使用分级图像块的对称信息的视频识别系统 的构造的框图。图2是示出了根据本发明实施例的视频识别系统的特征提取单元的构造的框图。图3是示出了由图2的特征提取单元执行的特征提取过程的示例的图。图4a和图4b是分别示出了具有时间_空间分级结构的图像块的示例的图。图5是示出了基于图4a和图4b中的块图案而提取的N维特征值的示例的图。图6是示出了用于计算相似度的比特操作的示例的图。
具体实施例方式在下文中，将参照附图详细描述示例性实施例。贯穿附图和详细描述，除非另外描 述，相同的附图标记将被理解为指代相同的元件、特征和结构。为清楚、说明和方便起见，这 些元件的相对尺寸和叙述可能被夸大。下述详细描述用来帮助读者获得对此处描述的方 法、设备和/或系统的全面理解。因而，此处描述的方法、设备和/或系统的各种变化、修改 和等效物将是本领域普通技术人员所能想到的。而且，为了进一步的清楚和简要，公知的功 能和结构的描述可能被省略。“包括(include) ”、“包含(comprise) ”、“包括(including) ”、 或“包含(comprising) ”的含义指定性质、区域、固定编号、步骤、工艺、元件和/或成分，但 并不排除其他性质、区域、固定编号、步骤、工艺、元件和/或成分。在下文中，将参照附图详细描述示例性实施例。根据本发明，通过使用分级图像块的对称信息从视频信号中提取内容的识别信息 (即，内容的特征)，来识别内容。对于此操作，从视频信号的任意分级块中获取对称信息， 任意分级块被细分为值，这些值被配置成矩阵的形式，并且矩阵的元素被用作特征值，从而 视频被识别。图1是示出了根据本发明实施例的使用分级图像块的对称信息的视频识别系统 的构造的框图。如图1所示，根据本发明实施例的使用分级图像块的对称信息的视频识别系统 100包括特征和元信息数据库(DB) 110、特征提取单元120、DB搜索单元130、以及特征匹配 单元140。通过使用多个视频剪辑和多片视频信息来提取用于视频识别的特征(内容DNA) 和视频元信息，来预先配置特征和元信息DB 110。
特征提取单元120是用于提取期望被识别的视频剪辑的特征的组件，并且之后将 会描述其详细构造和功能。DB搜索单元130使用所提取特征来搜索特征和元信息DB 110， 而特征匹配单元140将所提取特征和DB的搜索结果相匹配。通过此方式，可获得关于输入 视频剪辑的信息。在根据本发明实施例的使用分级图像块的对称信息的视频识别系统中，使用基于 分级图像块的对称信息的特征作为视频的特征值。用于提取这些特征的特征提取单元的构 造示出在图2中。图3图示了由特征提取单元执行的特征提取过程的示例。如图2所示，根据本发明的视频识别系统100中的特征提取单元120包括帧速率 转换单元121、灰度级转换单元123、帧大小规格化单元125、以及分块(block-wise)特征提 取单元127。如图3所示，当输入包含多帧的视频剪辑320时，帧速率转换单元121将输入视频 剪辑的视频信号帧速率转换成一预设值，并从而使视频信号对于可能发生在时间轴上的转 换是鲁棒的。例如，不管输入视频信号的帧速率如何，帧速率转换单元121都执行将输入视 频信号的帧速率转换为预设的同一帧速率的转换操作。作为转换的结果，生成了具有预设 的同一帧速率的视频信号321。由灰度级转换单元123对视频信号执行灰度级转换。灰度级转换单元123执行用 于将视频信号转换为灰度级图像的过程，从而只有视频信号的亮度信息可被使用，而视频 信号的颜色信息可被忽略。作为转换的结果，生成了灰度级视频信号323。接下来，帧大小规格化单元125将视频信号的帧大小规格化为预设大小，以使得 该视频对于大小转换是鲁棒的。因此，生成了其帧大小已被规格化为预设大小的视频信号 324。最后，分块特征提取单元127分割帧以使得视频被划分为分级块325，从各个块中 提取对称信息，并之后生成特征矢量。每个视频的图像块可由沿时间轴或沿空间任意位置的对称结构所定义。具有这种 对称结构的图像块的示例被示出在图4a和图4b中。图4a图示了时间分级结构，而图4b 图示了空间分级结构。后面将描述这些块的结构。从如图所示构造的四个块中获得对称信息。在这个情况中，如图4b所示，可以选 择具有对称结构的四个块以得到空间分级结构，或者通过将图4a中的时间分级结构应用 到空间分级结构上而得到时间_空间(temporal-spatial)分级结构。当具有时间_空间 分级结构的块被选择时，图4a中的一个或多个时间分级结构可被应用到空间分级结构中。下面描述用于提取四个块的对称信息的过程。首先，当存在如等式(1)所示的 2X2矩阵A时，可通过如下等式⑵来获得矩阵A的对称信息。
权利要求
1.一种视频识别系统，包括特征和元信息数据库(DB)单元，用于存储从多个视频剪辑和多条视频信息中提取的、 并且是视频识别所需要的特征和视频元信息两者； 特征提取单元，用于从输入视频剪辑中提取特征； 数据库搜索单元，用于使用所提取特征来搜索特征和元信息数据库以及 特征匹配单元，用于将所提取特征与所述特征和元信息数据库的搜索结果相匹配； 其中特征提取单元包括帧速率转换单元，用于将输入视频剪辑的视频信号的帧速率转换成一预设值； 灰度级转换单元，用于对帧速率已被转换的视频信号执行灰度级转换； 帧大小规格化单元，用于将已执行灰度级转换的视频信号的帧大小规格化为预设大 小；以及分块特征提取单元，用于将视频分割为分级块，从各个块提取对称信息，并然后生成特征矢量。
2.根据权利要求1所述的视频识别系统，其中所述分块特征提取单元基于具有空间对 称结构的块图案来将视频分割成分级块。
3.根据权利要求2所述的视频识别系统，其中所述分块特征提取单元基于块图案来生 成包括N维对称信息特征值的特征矢量。
4.根据权利要求3所述的视频识别系统，其中所述数据库搜索单元通过改变N维对称 信息特征值的位置值、或者通过反转特征值来搜索特征和元信息数据库，以确定因正交旋 转或水平/垂直反转引起的失真视频。
5.根据权利要求3所述的视频识别系统，其中所述数据库搜索单元仅使用N维对称信 息特征值的较上层比特来初步地搜索特征和元信息数据库，并其次使用N维对称信息特征 值的剩余比特来仅搜索初步搜索结果。
6.根据权利要求1所述的视频识别系统，其中所述分块特征提取单元基于具有空间对 称结构同时在时间上不同的帧中具有时间分级结构的块图案，来将视频分割为分级块。
7.根据权利要求6所述的视频识别系统，其中所述分块特征提取单元基于块图案来生 成包括N维对称信息特征值的特征矢量。
8.根据权利要求7所述的视频识别系统，其中所述数据库搜索单元通过改变N维对称 信息特征值的位置值或者通过反转特征值来搜索特征和元信息数据库，用以确定因正交旋 转或水平/垂直反转引起的失真视频。
9.根据权利要求7所述的视频识别系统，其中所述数据库搜索单元仅使用N维对称信 息特征值的较上层比特来初步地搜索特征和元信息数据库，并其次使用N维对称信息特征 值的剩余比特而仅搜索初步搜索结果。
10.一种从视频中提取特征的方法，包括通过将输入视频信号的帧速率转换为预设值来执行帧速率转换； 对帧速率已被转换的视频信号执行灰度级转换；通过将已执行灰度级转换的视频信号的帧大小规格化为指定大小来执行帧大小规格 化；以及通过将视频分割为分级块、通过从各个块中提取对称信息、以及通过生成特征矢量来执行分块特征提取。
11.根据权利要求10所述的方法，其中所述执行分块特征提取的步骤被配置为基于具 有空间对称结构的块图案来将视频分割成分级块。
12.根据权利要求11所述的方法，其中所述执行分块特征提取的步骤被配置为基于所 述块图案生成包括N维对称信息特征值的特征矢量。
13.根据权利要求10所述的方法，其中所述执行分块特征提取的步骤被配置为基于具 有空间对称结构同时在时间上不同的帧中具有时间分级结构的块图案来将视频分割成分 级块。
14.根据权利要求13所述的方法，其中所述执行分块特征提取的步骤被配置为基于所 述块图案生成包括N维对称信息特征值的特征矢量。
15.一种视频识别方法，包括通过将输入视频信号的帧速率转换为预设值来执行帧速率转换；对帧速率已被转换的视频信号执行灰度级转换；通过将已执行灰度级转换的视频信号的帧大小规格化为指定大小来执行帧大小规格化；通过将视频分割为分级块、从各个块中提取对称信息、以及生成特征矢量来执行分块 特征提取；以及通过搜索已预先使用特征矢量配置的特征数据库(DB)、并且将特征矢量和特征数据库 的搜索结果进行匹配，来执行特征匹配。
16.根据权利要求15所述的视频识别方法，其中所述执行分块特征提取的步骤被配置 为基于具有空间对称结构的块图案将视频分割为分级块。
17.根据权利要求15所述的视频识别方法，其中所述执行分块特征提取的步骤被配置 为基于具有空间对称结构同时在时间上不同的帧中具有时间分级结构的块图案来将视频 分割成分级块。
18.根据权利要求17所述的视频识别方法，其中所述执行分块特征提取的步骤被配置 为基于所述块图案生成包括N维对称信息特征值的特征矢量。
19.根据权利要求18所述的视频识别方法，其中所述执行特征匹配的步骤被配置为 通过改变N维对称信息特征值的位置值或者通过反转特征值来搜索特征数据库，以确定由 正交旋转或水平/垂直反转引起的失真视频。
20.根据权利要求18所述的视频识别方法，其中所述执行特征匹配的步骤被配置为 仅使用N维对称信息特征值的较上层比特初步地搜索特征数据库，并其次使用N维对称信 息特征值的剩余比特而仅搜索初步搜索结果。
全文摘要
这里公开了一种使用分级图像块的对称信息的视频识别系统和方法。当输入视频剪辑时，视频信号的帧速率被转换为预设值，以使得视频信号对于在时间轴上的转换是鲁棒的。此后，执行灰度级转换，以便仅使用视频信号的亮度信息。随后，视频信号的帧大小被规格化为一指定大小，以使得视频对于大小转换也是鲁棒的。帧大小已被规格化的视频被分割为分级块，并且从各个块中提取对称信息，从而生成特征矢量。分级块可由沿时间轴或沿空间任意位置的对称结构来定义，以具有时间上或时间-空间上的分级结构。
文档编号G06K9/00GK102103686SQ201010246670
公开日2011年6月22日 申请日期2010年6月30日 优先权日2009年12月21日
发明者俞元英 申请人:韩国电子通信研究院