专利名称：视频指纹特征提取方法
技术领域：
本发明涉及一种视频指纹特征提取方法，它是一种特征挑选的视频指纹提取方法。
背景技术：
随着视频网络的发展，视频节目呈海量增长之势，如何高效且有效地检索或监管视频内容成为一个重要的问题。视频指纹技术的出现为视频内容的监管和检索提供了一种 高效且有效的方法。视频指纹技术中的关键技术之一是如何进行视频指纹的提取。视频指 纹的提取方法是否有效，直接决定了视频指纹检索的效率和精度。在2002年的视觉信息最新进展国际会议上(Proceedings of Recent Advances in Visual Information Systems 2002)，Oostveen 和 Kalker 等人在《视频指纹的特征 提取方法禾口数据库策略〉〉(Feature Extraction and a Database Strategy for Video Fingerprinting)这篇文章中，提出了一种视频指纹特征提取方法，但是这种特征提取方法 在实际使用中精度不高。在2001，Viola和Jones在计算机视觉和模式识别会议(Proceedings of Computer Vision and Pattern Recognition，2001)上，提出著名的《用增强的层叠式简 单特征进行快速物体识别》(” Rapid Object Detection Using a Boosted Cascade of Simple”)，他们采用增强(Boosting)方法在大量的人脸图像中挑选出很小部分的哈尔小 波特征(Harr-like features)，用这些少量的哈尔小波特征可以进行快速的人脸定位。受以上思想的启发，本发明提出一种全新的视频指纹特征提取方法。
发明内容
本发明提供一种全新的基于特征挑选的视频指纹提取方法，该方法首先对视频文 件进行预处理；然后通过大量的训练样本集合，并采用增强(Boosting)方法对哈尔小波特 征(Harr-like features)集合进行挑选；最后将挑选出训练误差最小的M个哈尔小波特征 作为滤波器；这些滤波器被为视频文件的指纹提取器，对视频文件进行视频指纹提取。本发 明具体是通过以下技术方案实现的—种视频指纹特征提取方法，包括以下步骤1)挑选M个哈尔小波特征构成M个滤波器；2)根据所述M个滤波器对视频文件的每一帧在相同位置上做哈尔小波特征值的 计算；3)根据计算的结果生成该视频文件的指纹文件。进一步地，在所述步骤1)与所述2)之间，还包括预处理步骤，用于对所述视频文 件进行预处理。进一步地，所述预处理步骤包括以下处理中的多个或全部缩放到统一视频尺寸；
帧率统一到同一个数值；码率统一到同一个数值。进一步地，在所述步骤2)中，所述哈尔小波特征值的计算方法为，根据需要设定 计算出的哈尔小波特征值在所述指纹文件中对应的比特值。进一步地，根据M个滤波器分别对应的哈尔小波特征的位置和类型，在视频每一 帧的相同位置上做哈尔小波特征值的计算，当计算的值大于0时，所述指纹文件中对应的 比特值为1 ；当计算的值小于或等于O时，所述指纹文件中对应的比特值为0，所述步骤3) 中根据该M个滤波器计算得到的M个比特，该M个比特即为该帧的指纹，所有帧的指纹为该 视频文件的指纹。进一步地，所述M的取值为32或者64，本发明不局限于这两个整数。进一步地，所述步骤1)包括11)输入η个样本视频对，包含匹配的视频对和不匹配的视频对；其中，匹配的视 频对指的是两个视频片段的视频内容相同，但两个视频片段之间包含以下噪声或者变形 中的一种或多种色度、光强、带文字、带标记、上下被裁剪、左右裁剪、不同码率、不同帧率 等视频剪切或者视频编码；不匹配的视频对指的是两个视频片段的视频内容不相同；12)用增强方法，根据误差最小的挑选准则，挑选出M个对应的哈尔小波特征。进一步地，所述步骤12)具体包括121)对输入的 η 个视频样本对 << (χη, χ12) >，< (χ21, χ22) >，···，< (χη1, χη2) ,每个 输入视频样本对带一个类别标号Ii e {-1，1}，初始化权值巧=^ i = l,...,η；122)对于 m = 1，. . .，Μ，找出假设函数 hm(Xl，x2)，使得在权值 w = (W1, ... , wnl) 上的加权误差最小，其中过滤器函数为&和阈值为tm的假设函数定义为hm (X1，x2) = sgn ([ (fm (X1) _tm) · (fm (x2) _tm)])124)计算加权误差
η
ν "terr n =5CfeM尹 Jd
i-±124)赋予置信值(^给！^:
11— errmCm = - · log {-■)
2err;n125)对于匹配对，按如下方法更新权值
(^m 如呆‘fei, 〕珐巧 Wj = w； X I
k y~Cm 如果釭m (hi而)=巧126)按如下归一化权值
aa
V1 V 1
Z % = Z w^i
吵 二 ι127)最后的假设为<formula>formula see original document page 6</formula>128)记录该M个哈尔小波特征的位置、类型，作为M个滤波器。本发明提供的视频指纹特征提取方法，由于采用哈尔小波特征构成滤波器进行视 频指纹特征提取，降低了视频指纹特征提取的复杂度，具有提取速度快，且提取出的视频指 纹特征构成的指纹文件存储空间小，方便了指纹文件 的索引和检索。
图1为本发明视频指纹特征提取方法实施例流程图；图2为本发明中挑选M个哈尔小波特征构成M个滤波器的流程图。图3为本发明实施例中用到的哈尔小波特征实施图。
具体实施例方式如图1所示，一种视频指纹特征提取方法，包括以下步骤1)挑选M个哈尔小波特征(Harr-like features)构成M个滤波器；2)根据所述M个滤波器对视频文件的每一帧在相同位置上做哈尔小波特征值的 计算；3)根据计算的结果生成该视频文件的指纹文件。其中，在所述步骤1)与所述2)之间，还包括预处理步骤，用于对所述视频文件进 行预处理。所述预处理包括缩放到统一视频尺寸(例如160x120)，帧率统一到同一个数 值(例如6帧/秒)，码率统一到同一个数值等。进一步地，在所述步骤2)中，所述哈尔小波特征值的计算方法可以根据需要设定 计算出的哈尔小波特征值在所述指纹文件中对应的比特值。本实施例中，即根据M个滤波 器分别对应的哈尔小波特征的位置和类型，在视频每一帧的相同位置上做哈尔小波特征值 的计算，当计算的值大于0时，所述指纹文件中对应的比特值为1 ；当计算的值小于或等于0 时，所述指纹文件中对应的比特值为0。其中，M的取值通常是32或者64，本发明不局限于 这两个整数。所述步骤3)中根据该M个滤波器计算得到的M个比特，该M个比特即为该帧 的指纹，而所有帧的指纹即为该视频文件的指纹。其中，所述步骤1)如图2所示，具体包括步骤11)输入多个视频对(video pairs)，包含匹配的视频对和不匹配的视频对；12)用增强(Boosting)方法，根据误差最小的挑选准则(由于涉及匹配和不匹配 的两种视频，请具体说明该挑选准则，谢谢)，挑选出M个对应的哈尔小波特征(Harr-like features)；记录该M个哈尔小波特征(Harr-like features)的位置、类型，作为M个滤波 器。图3为本实施例中用到的哈尔小波特征实施图。其中，匹配的视频对指的是两个视频片段的视频内容相同，但两个视频片段之间 包含例如色度、光强、带文字、带标记(logo)、上下被裁剪、左右裁剪等视频剪切或者视频 编码等动作带来的噪声或者变形。不匹配的视频对指的是两个视频片段的视频内容不相 同。
其中，所述步骤12)具体包括以下步骤121)对输入的 η 个视频样本对 << (χη, χ12) >，< (χ21, χ22) >，···，< (χη1, χη2) ,每个 输入视频样本对带一个类别标号Yi e {-1，1}(其中，yi = -ι表示不匹配的视频对；yi = 1表示匹配的视频对)，初 始化权值》'i i = l，...，n;122)对于 m = 1，. . .，M，找出假设函数 hm(Xl，x2)，使得在权值 w = (W1, ... , wnl) 上的加权误差最小，其中过滤器函数为&和阈值为tm的假设函数定义为<formula>formula see original document page 7</formula>125)计算加权误差
<formula>formula see original document page 7</formula>124)赋予置信值(^给！^:
<formula>formula see original document page 7</formula>125)对于匹配对，按如下方法更新权值<formula>formula see original document page 7</formula>126)按如下归一化权值
<formula>formula see original document page 7</formula>127)最后的假设为
<formula>formula see original document page 7</formula>128)记录该M个哈尔小波特征的位置、类型，作为M个滤波器。以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在使本领域内的 技术人员能够了解本发明的内容并据以实施，当不能仅以本实施例来限定本发明的专利范 围，即凡依本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。
权利要求
一种视频指纹特征提取方法，其特征在于包括以下步骤1)挑选M个哈尔小波特征构成M个滤波器；2)根据所述M个滤波器对视频文件的每一帧在相同位置上做哈尔小波特征值的计算；3)根据计算的结果生成该视频文件的指纹文件。
2.根据权利要求1所述的视频指纹特征提取方法，其特征在于在所述步骤1)与所述2)之间，还包括预处理步骤，用于对所述视频文件进行预处理。
3.根据权利要求2所述的视频指纹特征提取方法，其特征在于所述预处理步骤包括 以下处理中的多个或全部缩放到统一视频尺寸； 帧率统一到同一个数值； 码率统一到同一个数值。
4.根据权利要求1或2所述的视频指纹特征提取方法，其特征在于在所述步骤2)中， 所述哈尔小波特征值的计算方法为，根据需要设定计算出的哈尔小波特征值在所述指纹文 件中对应的比特值。
5.根据权利要求4所述的视频指纹特征提取方法，其特征在于根据M个滤波器分别 对应的哈尔小波特征的位置和类型，在视频每一帧的相同位置上做哈尔小波特征值的计 算，当计算的值大于O时，所述指纹文件中对应的比特值为1 ；当计算的值小于或等于O时， 所述指纹文件中对应的比特值为0，所述步骤3)中根据该M个滤波器计算得到的M个比特， 该M个比特即为该帧的指纹，所有帧的指纹为该视频文件的指纹。
6.根据权利要求5所述的视频指纹特征提取方法，其特征在于所述M的取值为32或 者64。
7.根据权利要求5或6所述的视频指纹特征提取方法，其特征在于所述步骤1)包括11)输入η个样本视频对，包含匹配的视频对和不匹配的视频对；其中，匹配的视频对 指的是两个视频片段的视频内容相同，但两个视频片段之间包含以下噪声或者变形中的 一种或多种色度、光强、带文字、带标记、上下被裁剪、左右裁剪、不同码率、不同帧率等视 频剪切或者视频编码；不匹配的视频对指的是两个视频片段的视频内容不相同；12)用增强方法，根据误差最小的挑选准则，挑选出M个对应的哈尔小波特征。
8.根据权利要求7所述的视频指纹特征提取方法，其特征在于所述步骤12)具体包 括121)对输入的η个视频样本对<< (χη，χ12) >, <(χ21, χ22)>, ... , <(χη1, χη2)》，每个输入视频样本对带一个类别标号Yi e {-1，1}，初始化权值<formula>formula see original document page 2</formula>122)对于m= 1，. . .，M，找出假设函数hm(Xl，x2)，使得在权值w = (W1, . . .，wnl)上的 加权误差最小，其中过滤器函数为fm和阈值为tm的假设函数定义为<formula>formula see original document page 2</formula>123)计算加权误差<formula>formula see original document page 2</formula>124)赋予置信值(^给！^:<formula>formula see original document page 3</formula>125)对于匹配对，按如下方法更新权值<formula>formula see original document page 3</formula>126)按如下归一化权值<formula>formula see original document page 3</formula>127)最后的假设为<formula>formula see original document page 3</formula>128)记录该M个哈尔小波特征的位置、类型，作为M个滤波器。
全文摘要
视频指纹特征提取方法，包括以下步骤1)挑选M个哈尔小波特征构成M个滤波器；2)根据所述M个滤波器对视频文件的每一帧在相同位置上做哈尔小波特征值的计算；3)根据计算的结果生成该视频文件的指纹文件。所述哈尔小波特征值的计算方法为，根据需要设定计算出的哈尔小波特征值在所述指纹文件中对应的比特值。本发明提供的视频指纹特征提取方法，由于采用哈尔小波特征构成滤波器进行视频指纹特征提取，降低了视频指纹特征提取的复杂度，具有提取速度快，且提取出的视频指纹特征构成的指纹文件存储空间小，方便了指纹文件的索引和检索。
文档编号G06K9/46GK101819633SQ20091004677
公开日2010年9月1日 申请日期2009年2月27日 优先权日2009年2月27日
发明者连惠城 申请人:未序网络科技(上海)有限公司