专利名称：基于签名的配准方法以及用于签名计算的方法
技术领域：
本发明涉及图像配准(image registration)的一般领域。本发明具体涉及一种根据与这些图像相关联的签名来配准第一序列的图像与第 二序列的图像的方法，以及一种为配准这些图像而针对这些图像的签名计算方法。
背景技术：
为了对两个图像序列进行时间配准，本领域中公知的是对与这些图像相关联的 签名进行比较。签名是根据图像的内容来确定的。签名尺寸越大，尤其对于属于具有低 等级运动的序列的图像而言，配准就更精确。为了使这种配准方法更精确，因此需要大 量存储空间来存储签名并还需要大量计算时间来比较签名。
发明内容
本发明的目的是克服现有技术的至少一个缺点。为此，本发明涉及一种将第一 图像的第一序列与第二图像的第二序列进行时间配准的方法，第一和第二图像中的每一 个与签名相关联。时间配准的方法包括以下步骤a)将第一图像的签名的第一部分与第二图像的签名的相应部分进行比较，这被 称作第一比较步骤，b)根据第一比较步骤的结果将第一序列的每个第一图像与第二图像中的一个进 行时间配准，c)针对每个第一图像计算代表第一图像的配准质量的值，d)针对配准质量的代表值小于阈值的每个第一图像，定义第一子序列和第二子 序列，第一子序列包括第一图像以及第一序列中在时间上包围所述第一图像的图像，第 二子序列包括与第一图像配准的第二图像以及第二序列中在时间上包围所述第二图像的 图像，e)针对每个第一子序列，将第一子序列中第一图像的签名的第二部分与第二相 应子序列中第二图像的签名的相应部分进行比较，这被称作第二比较步骤，签名的第二 部分与签名的第一部分不同，以及f)根据第二比较步骤的结果将第一子序列的每个第一图像与第二子序列的第二 图像中的一个进行时间配准。有利地，根据本发明的配准方法使得第一序列的图像能够与第二序列的图像精 确配准，而同时限制所需的存储器。还限制计算成本。很少执行签名的整体与其他签名 的整体的比较。根据本发明的具体方面，针对第一签名的其他部分与第二签名的相应部分重复 步骤C)至f)，直到针对第一序列的每个第一图像，代表第一图像的配准质量的值大于阈 值为止。根据本发明的具体特性，第二部分包括第一部分。
根据本发明的另一具体特性，第二部分和第一部分是不相交的。根据本发明的具体特性，第一部分包括低频小波系数，第二部分包括高频小波 系数。根据本发明的具体特性，签名包括小波系数，并且针对第一和第二序列中的至 少一个，对小波系数进行编码。在这种情况下，用于配准的方法还包括在每个比较步 骤之前，对签名部分进行解码的步骤，对解码的签名部分应用比较步骤。本发明还涉及一种针对图像序列的图像的签名计算以将该图像序列与另一图像 序列配准的方法。签名计算的方法包括针对序列的当前图像的以下步骤_在当前图像与时间上包围当前图像的图像之一之间逐像素地确定差值图像，-将差值图像变换成小波系数，以及-对小波系数的至少一部分进行分级编码。根据本发明的具体特性，小波系数的至少一部分被定义为，使得至少一部分的 小波系数的能量值大于阈值。根据本发明的具体特性，小波系数的至少一部分被定义为，使得至少一部分的 小波系数的熵值大于阈值。有利地，渐进编码步骤实现了属于渐进编码方法集合的编码方法之一，包括-编码方法SPIHT，以及-编码方法EZW。根据本发明的具体特性，能量值被定义为，至少一部分的小波系数的平方和。根据本发明的具体特性，能量值被定义为，由权重加权的至少一部分的小波系 数的平方和，所述权重取决于子带和系数所属的分辨率等级。
参照附图，通过实施例和有利实现方式非限制性地更好理解和示意本发明，在 附图中图1示出了根据本发明的配准方法；图2示出了根据本发明的签名计算方法；图3示出了根据本发明变型的签名计算方法；图4至7示出了根据本发明的配准设备的不同变型。
具体实施例方式参照图1，本发明涉及一种用于对Nl个图像的第一序列Seq1与N2个 图像的第二序列Seq2进行配准的方法，其中，Nl和N2是整数。第一和第二 图像中的每一个与签名相关联，签名表示为，幻针对第一图像^，相应地，祐针对第二图 像/,22。第一图像的签名集合形成第一序列Seq1的签名，第二图像的签名集合形成第二序列 Seq2的签名。在步骤10期间，将Seq1中第一图像的签名(^11Llsm的第一部分与Seq2中第二图 像的签名fe 1.2的相应部分进行比较。均根据针对例如关于图2所描述的签名计算的相同方法来计算签名。在该比较步骤10期间，例如，通过计算每个 签名对之间的距离，来比较第一序列中的每个图像与第二序列中的每个图像，每个签名 对之间的距离表示为d(兄，祐)。注意，在这种情况下，兄和祐是指签名的第一部分。当 图像/;,和/,22在视觉上接近时，上述距离较小，当图像/,\和忍在视觉上非常不同时，上述距 离较大。在签名不具有相同长度的情况下，在两个签名中较短的签名中添加空系数，使 得这两个签名具有与其中最长签名相同的长度。根据具体实施例，距离d(.，.)是在两 个签名兄和祐之间所计算的均方差(mean quadratic error)。根据变型，该距离是在两个 签名A和幻2与先验项之间所计算的均方差的加权和。例如，先验项取决于时间上在图像 /人和/,22之前的图像签名之间所计算的距离。例如，先验项是以下距离之中的最小距离 db,;,<_》、(!(SU。)、和d(《、，《)。根据变型，计算先验项时考虑时间上在图像/,\和 /,22之前的更多图像。先验项使得能够考虑要配准的图像的时间邻域。在步骤12期间，根据比较步骤10的结果将每个第一图像忍与第二图像之一/,22进 行时间配准。例如，将每个图像A与步骤10中所计算的距离为最小的图像/,22配准。根据变型，例如，步骤10和12通过如2007年4月26日公开的专利申 请W02007045680中所描述的以及同样在Cheng H等人于2003年在ICIP(vol.2，pp 735-738)公开的文献“spatial temporal and histogramvideo registration for digital watermark detection"中所描述的动态编程类型算法来执行。在这种情况下，将第一序列中的最后图像与步骤10中所计算的距离为最小的 第二图像/,22配准。然后根据动态编程算法按照逆时间顺序对第一序列中的第一图像进行 配准，第一图像/丨是被最后配准的。对于每个所配准的图像U，可以根据步骤10中所计算 的距离，考虑时间上在该图像之前的图像，并且确定最可能的图像。从而逐步进行。在步骤14期间，针对每个第一图像计算代表配准质量的值C。例如，该值 可以通过比较以下距离来计算^^,《^《《，^^、和私&^…；^如果这三个距 离非常接近，则配准质量并非良好。更具体地，图像A不良配准的概率为高。例如， C=min(|d(, Sl )-d(5； ’ ^22, )| ；I d(, )-d(, S“ )|)。在步骤16期间，对于配准质量的代表值小于阈值T的每个第一图像定义第一子 序列，该第一子序列包括该第一图像和时间上包围该第一图像的第一序列Seq1的图像， 以及定义第二相应子序列，该第二相应子序列包括步骤12中与第一图像配准的第二图像 和时间上包围该第二图像的第二序列Seq2的图像。在步骤18中，对于每个第一子序列，将第一子序列中第一图像的签名的第二部 分与第二相应子序列中第二图像的签名的相应部分进行比较。签名的第二部分与签名的 第一部分不同，例如，它们是不相交的，或者第二部分包括第一部分并包含额外系数。 除了对子序列Seq1和Seq2以及对与签名的第一部分不同的签名的第二部分进行操作以 外，步骤18与步骤10相同。在步骤20期间，根据比较步骤18的结果，将每个第一子序列中的每个第一图像 A11与第二相应子序列中第二图像之一 A22配准。步骤10至12获得多少有些粗糙但在CPU和存储器方面成本较低的第一配准。步骤18至20使得能够针对子序列(即，配准不充分的那些子序列)提高该配准。根据变型，针对第一签名的其他部分以及第二签名的相应部分，来重复步骤14 至20，直到针对第一序列的每个第一图像，代表该第一图像的配准质量的值C大于阈值 T为止。根据另一变型，以二进制形式对第一和/或第二图像的签名进行编码。根据该 变型，配准方法还包括在比较步骤10和18中的每一个步骤之前，对第一和/或第二图 像的签名部分进行解码的步骤，对第一和/或第二解码图像的签名部分应用比较步骤10 和18。参照图2，本发明涉及一种针对图像序列中的图像的签名进行计算的方法，以用 于该序列与另一图像序列的配准。在步骤22中，在当前图像与时间上包围当前图像的图像之一之间逐像素地确定
差值图像Dh。在步骤24期间，例如，使用Haar或Daubechies变换，将差值图像Dh变换成小
波系数。根据图3所示的变型，方法还包括编码步骤26。在步骤26期间，对小波系数的 至少一部分进行分级编码。例如，SPIHT (在分级树中设置分区)类型或EZW(嵌入式 零树小波)类型编码算法。这样的算法以分级形式对小波系数进行编码，使得表示最重 要信息的低频系数被编码并从而最先发送。只要接收到第一比特，解码就可以开始，从 而可以获得差值图像Dh的粗近似。使用这样的算法来以编码形式分级地表示签名。编 码小波系数的一部分可以被定义为，使得该部分的小波系数的能量等级值或熵大于阈值 场。更具体地，在差值图像Db的新小波系数的每个编码步骤处，计算到此刻为止的编码 系数的能量等级或熵，并且将该能量等级或熵与阈值Et进行比较。如果能量等级或熵小 于Ετ，则针对该差值图像Dh对更多小波系数进行编码。例如，能量等级等于小波系数的 平方和。可以通过测量编码系数的二进制比特率来估计熵。根据特定实施例，将参照图1描述的配准方法应用于包括如先前参照图2和3所 述而计算的小波系数在内的签名。有利地，签名的第一部分包括低频小波系数，签名的 第二部分包括较高频小波系数。根据变型，针对第一和第二序列中的至少一个(即，针对序列中的图像)对小波 系数进行编码。用于配准的方法还包括在每个比较步骤之前，对签名部分进行解码的 步骤，对解码签名部分应用比较步骤。本发明还涉及参照图4描述的配准设备3。配准设备3包括第一输入30，用于 接收第一签名(^Llsjvi;以及第二输入32，用于接收第二签名^22Li2s7v2。配准设备包括 连接至这些输入的配准模块34，能够实现根据本发明的配准方法的步骤10、12、16、18 和20。配准设备3还包括用于计算代表配准质量的值的模块36。计算模块36能够实现 根据本发明的配准方法的步骤14，并且能够通知图像配准模块34存在与配准质量有关的 疑惑。配准模块34从而根据步骤16定义子序列，以便操作步骤18和20。配准设备3 还包括输出模块38。根据图5所示的第一变型，配准设备3还包括签名解码模块31和32。根据该变 型，例如，输入30和32能够根据参照图3描述的签名计算方法的步骤26，来接收编码形式的第一签名K11 和第二签名°根据图6所示的第二变型，配准设备3包括输入40而不是输入32来接收图像 fc Jlsilsjvi。配准设备3还包括签名i十算模42。i亥模能够实现参照图2描述的签名i十算 方法的步骤22和24。图7中示出了第三变型。该变型是第一和第二变型的组合。在该图中，与图5 和6所示的模块相同的模块使用相同参考数字来标识。自然，本发明不限于上述实施例示例。具体地，本领域技术人员可以对所述实施例应用各种变型，并组合它们以从它 们的各个优点中受益。可以直接概括任何渐进编码图。诸如SVC之类的其他编码类型 可以与比特率分配机制接合使用，确保优先编码视觉重要性最大的信息。有利地，本发明可以用于将盗版图像序列与原始图像序列配准。
权利要求
1.一种将第一图像的第一序列与第二图像的第二序列进行时间配准的方法，第一和 第二图像中的每一个与签名相关联，所述方法包括以下步骤a)将所述第一图像的签名的第一部分与所述第二图像的签名的相应部分进行比较 (10)，这被称作第一比较步骤，b)根据所述第一比较步骤的结果，将所述第一序列的每个第一图像与第二图像中的 一个进行时间配准(12)，C)针对每个第一图像，计算(14)代表所述第一图像的配准质量的值，d)针对代表配准质量的值小于阈值的每个第一图像，定义(16)第一子序列和第二子 序列，所述第一子序列包括所述第一图像以及所述第一序列中在时间上包围所述第一图 像的图像，所述第二子序列包括与所述第一图像配准的第二图像以及所述第二序列中在 时间上包围所述第二图像的图像，e)针对每个第一子序列，将所述第一子序列中所述第一图像的签名的第二部分与相 应第二子序列中所述第二图像的签名的相应部分进行比较(18)，这被称作第二比较步 骤，签名的所述第二部分与签名的所述第一部分不同，以及f)根据所述第二比较步骤的结果，将所述第一子序列的每个第一图像与所述第二子 序列的第二图像中的一个进行时间配准(20)。
2.根据权利要求1所述的方法，其中，针对所述第一签名的其他部分与所述第二签名 的相应部分，重复步骤C)至f)，直到针对所述第一序列的每个第一图像，代表所述第一 图像的配准质量的所述值大于所述阈值为止。
3.根据权利要求1或2所述的方法，其中，所述第二部分包括所述第一部分。
4.根据权利要求1或2所述的方法，其中，所述第二部分和所述第一部分不相交的。
5.根据权利要求1或2所述的方法，其中，所述第一部分包括低频小波系数，所述第 二部分包括高频小波系数。
6.根据权利要求1至2中任一项所述的方法，其中，所述签名包括小波系数，并且针 对所述第一和第二序列中的至少一个，对所述小波系数进行编码，所述方法还包括在 每个所述比较步骤之前，对签名部分进行解码的步骤，对解码的签名部分应用所述比较 步骤。
7.根据权利要求1至2中任一项所述的方法，其中，每个所述签名是根据以下步骤来 计算的-在与签名相关联的被称作当前图像的图像与时间上包围所述当前图像的图像之一之 间逐像素地确定(22)差值图像，_将所述差值图像变换(24)成小波系数，以及-对所述小波系数的至少一部分进行分级编码(26)。
8.根据权利要求7所述的方法，其中，所述小波系数的所述至少一部分被定义为，使 得所述至少一部分的小波系数的能量值大于阈值。
9.根据权利要求7所述的方法，其中，所述小波系数的所述至少一部分被定义为，使 得所述至少一部分的小波系数的熵值大于阈值。
10.根据权利要求7所述的方法，其中，分级编码步骤(26)实现了属于分级编码方法 集合的编码方法之一，包括-编码方法SPIHT，以及-编码方法EZW。
11.根据权利要求8所述的方法，其中，所述能量值被定义为所述至少一部分的小波 系数的平方和。
12.根据权利要求8所述的方法，其中，所述能量值被定义为由权重加权的所述至少 一部分的小波系数的平方和，所述权重取决于子带和所述系数所属的分辨率等级。
全文摘要
本发明涉及一种将图像的第一序列与第二图像的第二序列进行时间配准的方法，包括a)将第一图像的签名的第一部分与第二图像的签名的相应部分进行比较(10)，b)根据比较结果，将每个第一图像与第二图像中的一个进行时间配准(12)，c)针对每个第一图像，计算(14)代表其配准质量的质量值，d)针对质量值小于阈值的每个第一图像，定义(16)第一序列的第一子序列和第二序列的第二子序列，e)针对每个第一子序列，将所述第一子序列中所述第一图像的签名的第二部分与相应第二子序列中所述第二图像的签名的相应部分进行比较(18)以及f)根据比较结果，将第一子序列的每个第一图像与第二子序列的第二图像中的一个进行时间配准(20)。
文档编号G06T7/00GK102024255SQ20101028408
公开日2011年4月20日 申请日期2010年9月13日 优先权日2009年9月14日
发明者塞韦里尼·鲍德利, 弗雷德里克·勒菲弗, 贝特朗·许波 申请人:汤姆森许可贸易公司