专利名称：多媒体签名的编码和解码的制作方法
技术领域：
本发明涉及诸如视频或音频的多媒体条目签名或指纹的编码和解码。
背景技术：
多媒体指纹(通常也被称为签名健壮散列)已被提议作为独特识别多媒体内容 (音频、图像和视频)的一种方法。一种典型的指纹提取方法将信号处理技术应用于多媒 体内容以提取描述符。这些描述符可以表示时间采样点上的空间信息、时间信息和/或时 空信息。这些描述符一般是可量化为少量值(例如，2( 二进制值)、3(三进制值)、4(四进 制值)等)的特征的高维向量。描述符也可例如通过奇异值分解(SVD)投影到某种低维空 间。用于区分不同的多媒体指纹提取方法的重要特征包括独特性、健壮性、描述符大小、搜 索速度和时间粒度。由前述方法所提取的视频指纹或者对每帧采样，或者在某已知时间段上采样，或 者在被认为具有某种重要性的时间位置上(例如，关键帧)采样。对每帧采样会导致大的 指纹，使得存储和传送的成本很高。按较小的时间区间采样会导致较小的指纹；然而在该方 法所能达到的时间粒度上存在损失。本领域的技术人员都清楚，对于音频指纹存在类似的 局限。无损编码方案一般使用游程长度编码和可变长度前缀编码的某种组合。比如，无 损编码具有在传真机信息编码和数字图像文件格式压缩方面的应用。编码系统的前缀特 性是指没有一个具有前缀的编码字和其他编码字相同的事实。霍夫曼编码构成一个特殊 的例子，其中码字长度是依照被编码符号的概率而自适应选择的。为达到特定符号集的最 佳熵限，码字长度需要是Ii = -Iog2Pi，其中Pi是第i个符号的概率。然而，当编码器(发 射机)知道这些概率，而解码器(接收器)不知道这些概率时，霍夫曼编码需要特定码字 到特定符号的信令分配的开销。如果使用一些预定的概率表，因而只传输表的索引，则可 由少量的比特来完成该工作。另一个可变长度编码的变体，算术编码，在符号概率对应于 非整数码字长度的情况下可达到最佳码字长度。算术编码通常比霍夫曼编码更复杂，而霍 夫曼编码又比通用编码更复杂，通用编码的码字集是固定的。通用编码具有如下特性对 于单调递减分布(Pi ^，期望的码字长度比最佳码字长度长恒定倍数。一个常用的通 用编码是指数哥伦布(也被称为Exp-Golomb)，其对于具有宽尾部(索引值i较大的符号 具有相对大的概率)的指数概率分布表现良好。编码由非负整数s来参数化，码字长度为
权利要求
1.一种用于对数字数据时间序列进行编码的数字内容编码器，该数字内容编码器包括粗数字指纹生成器，其用于生成表征所述时间序列的区间中的数字数据的粗数字指纹；细数字指纹生成器，其用于生成所述区间的多个细数字指纹，各个细数字指纹表征所 述区间中的各对应子区间中的数字数据；以及编码器，其用于选择性地针对所述区间的细数字指纹实施无损压缩编码，使得至少一 个、而非全部细数字指纹被压缩编码，并且用于向至少一个没有被压缩编码的细数字指纹 实施无压缩编码。
2.一种用于对数字数据时间序列进行编码的数字内容编码器，该数字内容编码器包括粗数字指纹生成器，其用于生成表征所述时间序列的区间中的数字数据的粗数字指纹；细数字指纹生成器，其用于生成所述区间的多个细数字指纹，各个细数字指纹表征所 述区间中的各对应子区间的数字数据；以及预测性编码器，其用于针对所述区间的至少一个、而非全部细数字指纹实施预测性编码。
3.如权利要求2所述的数字内容编码器，该数字内容编码器进一步包括非预测性编码器，其用于针对所述区间的至少一个其他细数字指纹实施非预测性编码。
4.如权利要求3所述的数字内容编码器，其中所述细数字指纹生成器能够将各个细数字指纹生成为三进制值向量；并且 所述非预测性编码器能够通过生成细数字指纹的所述三进制值向量的二进制表示而 对所述细数字指纹实施非预测性编码。
5.如权利要求2至4中任一项所述的数字内容编码器，其中 所述数字内容编码器能够对图片的时间序列进行编码；所述数字内容编码器进一步包括关键图片指示器，该关键图片指示器用于指示所述序 列内作为关键图片的图片；并且所述预测性编码器能够对非关键图片的细数字指纹实施预测性编码。
6.如权利要求2至5中任一项所述的数字内容编码器，其中，所述粗指纹生成器能够根 据所述区间的细指纹生成所述区间的粗指纹。
7.如权利要求2至6中任一项所述的数字内容编码器，其中，所述数字内容编码器能够 生成粗数字指纹和细数字指纹，并针对不同长度的区间进行编码。
8.如权利要求7所述的数字内容编码器，该数字内容编码器进一步包括区间长度计算 器，该区间长度计算器用于根据细数字指纹计算各区间的长度。
9.如权利要求2至8中任一项所述的数字内容编码器，其中 所述细数字指纹生成器能够将每个细数字指纹生成为三进制值向量； 所述预测性编码器能够通过以下操作对细数字指纹实施编码通过计算所述细数字指纹和不同的细数字指纹之间的模3差分来计算它们之间的差分以生成预测差分矩阵；扫描所述预测差分矩阵以形成作为三进制值向量的一维向量；以及 对所述一维向量执行编码，使得用一个比特对三进制值“ 1，，和“2”进行编码，而使用零 游程对三进制值“0”进行隐性编码；并且 所述预测性编码器能够执行以下操作对所述预测差分矩阵执行多个不同类型的扫描以形成所述一维向量； 对所述一维向量执行多个不同类型的编码；为所述数字数据时间序列中要被编码的细数字指纹选择多个不同扫描类型中的一个 扫描类型；以及根据所选择的扫描类型从多个不同类型的编码中选择一个以对所述一维向量进行编码。
10.一种用于对已编码数字内容进行解码的解码器，该解码器包括接收器，其用于接收数字数据时间序列的已编码数据，该已编码数据针对所述时间序 列的多个区间中的各个区间包括表征该区间中的数字数据的粗数字指纹，并包括多个细数 字指纹，各个细数字指纹表征所述区间中的各对应子区间中的数字数据，并且至少一个、而 非全部细数字指纹被预测性编码；和预测性解码器，其用于对被预测性编码的细数字指纹进行解码。
11.如权利要求10所述的解码器，其中所述接收器能够接收其中每个区间的至少一个细数字指纹被非预测性编码的已编码 数据；并且所述解码器进一步包括用于对非预测性编码的细数字指纹进行解码的非预测性解码
12.如权利要求11所述的解码器，其中所述接收器能够接收其中非预测性编码的细数字指纹包括三进制值的二进制表示的 已编码数据；并且所述非预测性解码器能够对所述二进制表示进行解码以生成所述三进制值。
13.如权利要求10至12中任一项所述的解码器，其中，所述解码器能够接收不同长度 区间的已编码数据并对该已编码数据进行解码。
14.如权利要求10至13中任一项所述的解码器，其中，所述预测性解码器能够通过以 下操作对各个预测性编码的细数字指纹进行解码对接收到的预测性编码数据进行解码以生成一维向量； 将来自所述一维向量的值放入预测差分矩阵中；以及对所述预测差分矩阵和前面解码的细数字指纹进行组合以重构正被解码的细数字指纹。
15.如权利要求14所述的解码器，其中，所述预测性解码器能够通过对所述预测差分 矩阵和前面解码的细数字指纹执行模3相加来对所述预测差分矩阵和前面解码的细数字 指纹进行组合。
16.一种搜索装置，其用于在已编码数据的数据库中搜索数字数据时间序列，该已编 码数据针对所述时间序列的多个区间中的每一个区间包括表征该区间中的数字数据的粗数字指纹，并包括多个细数字指纹，各个细数字指纹表征所述区间中的各对应子区间中的 数字数据，并且至少一个、而非全部细数字指纹被预测性编码，其中每个区间的已编码数据 包括至少一个被非预测性编码且包括三进制值的二进制表示的细数字指纹，该搜索装置包 括指纹匹配器，其用于比较输入的粗数字指纹和所述数据库中的粗数字指纹以识别所述 数据库中与该输入的粗数字指纹相匹配的粗数字指纹；和 解码器，该解码器包括预测性解码器，其用于对预测性编码的细数字指纹进行解码；和 非预测性解码器，其用于通过对所述二进制表示进行解码以生成所述三进制值来对非 预测性编码的细数字指纹进行解码； 其中所述解码器被设置为仅针对具有与所述输入的粗数字指纹相匹配的粗数字指纹的区 间的细数字指纹进行解码；并且所述预测性解码器用于通过以下操作对每个预测性编码的细数字指纹进行解码 对接收到的预测性编码数据进行解码以生成一维向量； 将来自所述一维向量的值放入预测差分矩阵中；以及通过对所述预测差分矩阵和前面解码的细数字指纹执行模3相加来对所述预测差分 矩阵和前面解码的细数字指纹进行组合，以重构被解码的细数字指纹。
17.—种对数字数据时间序列进行编码的方法，该方法包括以下步骤 生成表征所述时间序列的区间中的数字数据的粗数字指纹；生成所述区间的多个细数字指纹，每个细数字指纹表征所述区间中的各对应子区间的 数字数据；选择性地对所述区间的细数字指纹实施无损编码，使得至少一个、而非全部细数字指 纹被压缩编码；以及对至少一个细数字指纹实施非压缩编码。
18.—种对数字数据时间序列进行编码的方法，该方法包括以下步骤 生成表征所述时间序列的区间中的数字数据的粗数字指纹；生成所述区间的多个细数字指纹，每个细数字指纹表征所述区间中的各对应子区间中 的数字数据；以及对所述区间中的至少一个、而非全部细数字指纹进行预测性编码。
19.如权利要求18所述的方法，该方法进一步包括以下步骤 对所述区间的至少一个其他细数字指纹进行非预测性编码。
20.如权利要求19所述的方法，其中将每个细数字指纹生成为三进制值向量；并且对细数字指纹进行非预测性编码包括生成该细数字指纹的三进制值的二进制表示。
21.如权利要求18至20中任一项所述的方法，其中 所述时间序列包括图片的时间序列；该方法进一步包括指定所述序列中作为关键图片的图片的步骤；并且 对非关键图片的细数字指纹进行预测性编码。
22.如权利要求18至21中任一项所述的方法，其中，根据所述区间的细指纹生成所述 区间的粗指纹。
23.如权利要求18至22中任一项所述的方法，其中，重复该处理以生成不同长度区间 的粗数字指纹和细数字指纹并对所述粗数字指纹和所述细数字指纹进行编码。
24.如权利要求23所述的方法，该方法进一步包括根据细数字指纹计算各区间的长度 的步骤。
25.如权利要求18至M中任一项所述的方法，其中 将每个细数字指纹生成为三进制值向量；并且 对细数字指纹进行预测性编码的步骤包括通过计算所述细数字指纹和不同的细数字指纹之间的模3差分来计算所述细数字指 纹和不同的细数字指纹之间的差分以生成预测差分矩阵；从多个不同扫描类型中选择一个扫描类型以用于扫描所述预测差分矩阵； 根据所选择的扫描类型扫描所述预测差分矩阵以形成作为三进制值向量的一维向量；根据所选择的扫描类型从多个不同类型的编码中选取一个以对所述细数字指纹的所 述一维向量进行编码；以及根据所选择的编码类型对所述一维向量执行编码，使得用一个比特对三进制值“ 1，，和 “2”进行编码，而使用零游程对三进制值“0”进行隐性编码。
26.—种对已编码数字内容进行解码的方法，该方法包括以下步骤接收数字数据时间序列的已编码数据，该已编码数据针对所述时间序列的多个区间中 的每一个区间包括表征该区间中的数字数据的粗数字指纹，并包括多个细数字指纹，每个 细数字指纹表征该区间中的各对应子区间中的数字数据，至少一个、而非全部细数字指纹 被预测性编码；和对预测性编码的细数字指纹进行解码。
27.如权利要求沈所述的方法，其中接收其中每个区间的至少一个细数字指纹被非预测性编码的已编码数据；并且 所述方法进一步包括对非预测性编码的细数字指纹进行解码的步骤。
28.如权利要求27所述的方法，其中在接收到的已编码数据中，非预测性编码的细数字指纹包括三进制值的二进制表示；并且非预测性解码包括对所述二进制表示进行解码以生成所述三进制值。
29.如权利要求沈至观中任一项所述的方法，其中，接收不同长度区间的已编码数据 并对该已编码数据进行解码。
30.如权利要求沈至四中任一项所述的方法，其中，对每个预测性编码的细数字指纹 进行预测性解码的步骤包括对接收到的预测性编码数据进行解码以生成一维向量； 将来自所述一维向量的值放入预测差分矩阵中；以及对所述预测差分矩阵和前面解码的细数字指纹进行组合以重构正被解码的细数字指纹。
31.如权利要求30所述的方法，其中，通过对所述预测差分矩阵和前面解码的细数字 指纹执行模3相加来对所述预测差分矩阵和前面解码的细数字指纹进行组合。
32.—种在已编码数据的数据库中搜索数字数据时间序列的方法，该已编码数据针对 所述时间序列的多个区间中的每一个区间包括表征该区间中的数字数据的粗数字指纹，并 包括多个细数字指纹，每个细数字指纹表征该区间中的各对应子区间中的数字数据，并且 至少一个、而非全部细数字指纹被预测性编码，其中每个区间的已编码数据包括至少一个 被非预测性编码且包括三进制值的二进制表示的细数字指纹，该方法包括匹配处理，其比较输入的粗数字指纹和所述数据库中的粗数字指纹以识别所述数据库 中与该输入的粗数字指纹相匹配的粗数字指纹；和解码处理，该解码处理包括对预测性编码的细数字指纹进行预测性解码；和通过对所述二进制表示进行解码以生成所述三进制值来对非预测性编码的细数字指 纹进行解码；其中所述解码处理仅针对具有与所述输入的粗数字指纹相匹配的粗数字指纹的区间的所 述细数字指纹进行解码；并且通过以下操作对各个预测性编码的细数字指纹进行解码对接收到的预测性编码数据进行解码以生成一维向量；将来自所述一维向量的值放入预测差分矩阵中；以及通过对所述预测差分矩阵和前面解码的细数字指纹执行模3相加来对所述预测差分 矩阵和前面解码的细数字指纹进行组合以重构正被解码的细数字指纹。
33.一种携带数字数据时间序列的已编码数据的记录载体，该已编码数据针对所述时 间序列的多个区间中的每一个区间包括表征该区间中数字数据的粗数字指纹，并包括多个 细数字指纹，每个细数字指纹表征该区间中的各对应子区间中的数字数据，并且至少一个、 而非全部细数字指纹被预测性编码。
34.如权利要求33所述的记录载体，其中，各个区间的至少一个细数字指纹被非预测 性编码。
35.一种携带数字数据时间序列的已编码数据的信号，该已编码数据针对所述时间序 列的多个区间中的每一个区间包括表征该区间中的数字数据的粗数字指纹，并包括多个细 数字指纹，每个细数字指纹表征该区间中的各对应子区间中的数字数据，并且至少一个、而 非全部细数字指纹被预测性编码。
36.如权利要求35所述的信号，其中，各个区间的至少一个细数字指纹被非预测性编码。
全文摘要
公开了一种用于对诸如视频或音频的多媒体条目的指纹进行编码和解码的方法和装置。多媒体内容时间区间，如视频段或音频段，由粗指纹和多个细指纹来描述，每个细指纹对应于所述时间区间中的一个时间子区间，所述时间子区间通常比所述时间区间短。以非预测性方式对一个或更多个细指纹进行编码，没有对时间上相邻的签名指引，并且根据时间上相邻的签名以预测性方式对一个或更多个细指纹进行编码。预测性编码需要计算相邻细指纹之间的差分来构造预测差分矩阵，通过按行或按列或按对角线或按任何合适的扫描模式来向量化，把所述预测差分矩阵扫描为一维向量，并且通过优选地至少部分基于所使用的扫描方法而选择的合适方法来对该一维向量执行无损编码。
文档编号H04N7/26GK102098508SQ20101053915
公开日2011年6月15日 申请日期2010年9月29日 优先权日2009年10月5日
发明者保罗·布拉斯尼特, 尼古拉·斯皮扬, 斯塔夫罗斯·帕斯卡勒基斯 申请人:三菱电机株式会社