专利名称：在固定图像或活动图像中插入数据的方法和设备的制作方法
技术领域：
本发明涉及在固定图像或活动图像中插入数据。本发明尤其应用于在图像或图像序列中创建和插入水印，但不是专用 于此，为了索引序列的图像而插入数据，或者加扰视频图像。在插入水印 和索引图像的应用中，插入的信息必须不易被觉察。相反，在图像加扰应 用中，该插入一定对图像的质量造成较大的不良影响。
背景技术：
用于诸如固定图像或活动图像的内容数字化的技术可以不限制 数量、不损坏质量地生产该内容的拷贝。同时，计算机网络和个人计 算机的发展使得该内容不受控制地传播。因此，确保该内容遵守版权 保护变得越来越困难。存在一些保护技术，可以监视版权保护作品的传播，这些技术可以分 为两类。第一类结合了加密技术，该加密技术包括对数字化内容实施加密， 使其在没有解密密钥时不可读出。第二类结合了插入不可觉察水印的技 术，水印中包含数据，使得可以识别作品的合法拷贝，或者进行编码，而 限制了复制的可能性。对于有效的水印插入技术，水印绝不能在对图像质量没有造成实质损 害的情况下从内容中除去。特别是，绝不能通过结合同一内容的多张拷贝 来除去水印。此外，图像和视频序列，特别是视频序列，通常要经历许多 次诸如模数和数模转换、压缩/解压处理的处理操作，或者修改定标(scale)、裁剪、亮度调整、对比度和色彩的处理操作。水印也必须经得 起这些操作。所用技术还必须能够插入足够量的信息，考虑到插入的信息量增加的 越多，水印插入对图像质量的影响就越大，从而水印强度越强。存在多种用于在固定图像或活动图像中插入水印的技术，这些或 多或少经得起攻击和图像处理操作。在这些技术中，专利US 6 557 103
描述了 一种信息隐藏方法，通过扩镨序列使要插入图像中的信息预调 制。与其他水印插入技术相比，对插入图像的信息来说，该方法在强 度和带宽方面具有好的性能。但是，该方法虽然通用，但是对于图像而言并非最佳，该方法需要 使用纠错编码对要插入图像中的信息进行预编码，其有助于减小带宽 或者减少能被插入图像中的有用数据的量。发明内容本发明旨在克服上述不足。该目的通过提供将包括预定数目的符号的 数据插入至少 一个图像的图像序列中的方法来实现，该图像包括预定数目 的行，每行包括预定数目的像素。根据本发明，该方法包括以下步骤生成具有插入图像序列语中的梳状语的函数集，且对于要插入的信息 的每个符号包括相应的函数；以表示要插入的数据的相应符号的值相移函数集中的每个函数； 叠加相移后的函数；以及将图像序列的像素与通过叠加相移后的函数所得到的结果进行结合。根据本发明的一个优选实施例，在所述函数集的每个函数相移之前， 这一方法还包括对要插入的数据符号进行交织的步骤。根据本发明的一个优选实施例，在所述函数集的每个函数的调制相移 之前，这一方法还包括对于每一个要插入的数据符号生成包括相应符号的 伪随机序列的步骤，该伪随机序列包括相应的符号，以及利用该伪随机序 列混排要插入的数据符号的步骤。所述混排步骤最好包括按照异或运算来结合要插入的数据符号和所 述伪随才几序列。根据本发明的一个优选实施例，所述函数集的函数具有相应的主谱 线，该主i瞽线以与所述图像序列的行频率对应的恒定步长隔开。根据本发明的一个优选实施例，所述图像序列具有梳状谱，所述函数 集的梳状谱相对于调整的频率的图像序列谱被相移。根据本发明的一个优选实施例，所述图像序列的像素与相移后的函数
叠加的结果结合是通过调制所述图像序列像素的亮度来执行的。根据本发明的一个优选实施例，所述图像序列的像素与相移后的函数 叠加的结果结合是通过旋转所述图像序列像素的色彩分量来执行的。根据本发明的一个优选实施例，这一方法还包括预处理图像的步骤， 以避免当所述图像序列的像素与相移后的函数叠加的结果结合时在所述 图像序列的像素中的饱和现象。根据本发明的一个优选实施例，这一方法还包括对要插入的数据符号 进行编码的步骤，以对于所述图像序列的像素的每个色彩分量得到不同的 符号序列，所述函数集的函数通过得到的各符号序列进行相移、叠加、然 后分别与所述图像序列的像素的色彩分量结合。根据本发明的一个优选实施例，为了得到用于每个色彩分量的不同符 号序列，对要插入的数据符号进行的编码为巻积型编码。根据本发明的一个优选实施例，将所述图像序列的像素与叠加相移后 的函数的结果结合，以便在所述图像序列中是相对不可见的。根据本发明的一个优选实施例，将所述图像序列的像素与叠加相移后 的函数的结果结合，以便加扰图像序列中的图像。本发明还涉及一种用于从至少 一个图像的图像序列中提取数据的方 法，该图像包括预定数目的行，每行包括预定数目的像素。根据本发明， 根据以上限定的插入方法插入了所述数据。本发明还涉及一种用于解扰至少 一个图像的图像序列的方法，该图像 包括预定数目的行，每行包括预定数目的像素。根据本发明，该图像序列 根据以上限定的插入方法进行了加扰。本发明还涉及一种用于将包括预定数目的符号的数据插入至少一个 图像的图像序列的设备，该图像包括预定数目的行，每行包括预定数目的 像素。根据本发明，该设备包括用于实施以上限定的数据插入方法的装置。本发明还涉及一种用于从至少 一个图像的图像序列中提取数据的设 备，该图像包括预定数目的行，每行包括预定数目的像素。根据本发明， 该设备包括用于实施以上限定的数据提取方法的装置。本发明还涉及一种用于解扰具有至少一个图像的图像序列的设备，该 图像包括预定数目的行，每行包括预定数目的像素。该设备包括用于实施 以上限定的图像解扰方法的装置。
下面，将结合附图，以非限制示例来描述本发明的优选实施例，其中 图1示出了视频图像序列谦；图2图解地示出了根据本发明的用于将信息插入固定图像或图像序列的 设备；图3图解地示出了根据本发明的用于提取使用图2所示的设备插入固定图 像或图像序列的信息的设备；图4图解地示出了根据本发明的用于恢复使用图2所示的设备破坏的图像 的设备；图5图解地示出了图2所示的设备的另一选择；图6图解地示出了根据本发明的用于提取使用图5所示的设备插入固定图 像或图像序列的信息的设备；图7图解地示出了根据本发明的用于恢复使用图5所示的设备破坏的图像 的设备；具体实施方式
本发明是基于使用图1所示的(没有调制的)基带数字图像或图像序 列的谱形(spectral form)。在该图中，可以注意到图^象序列的谱能被分 布在以图像频率隔开的多个线组中，每个线组在图傳_行(Une)的行频fa 的倍频n.fH处具有最大能量。因此，两个连续的最大能量以行频率fH(H 表示水平)隔开。本发明提出了使用对应于行频fH的倍数的能量峰值之间的谱间隔， 以便在其中插入形成标记的数据。还可以设想在图像频率隔开的线之间插 入数据。图2示出了根据本发明的用于将标记插入图像或图像序列的设备。该 设备包括用于提取产生同步信号的图像参数的模块1，使得可以在图像和 如果是图像序列的图像序列中定位行和像素。行和像素频率的同步信号被施加到函数发生器3,所述函数具有相互
正交的特征，在这种情况下，该正交被限定在函数的标积方向上。此外， 它们必须在函数的向量空间中形成正交基，从而形成图1中所示的要插入 图像诿中的梳状i普。函数的数目为变量，并且与组成要插入图像的信息的 符号的数目有关。在图l的示例中，所用的正交函数是正弦函数，其各自 频率以行频fH隔开，且频率相移一定步长，例如，相对于在图#_的频率n.fH处的最大能量等于fH/2。这些正交函数的形式为sin(koo t)，其中，用参数表示的k是在1和k之间的整数，(o =211 (fH+fd),而fd 是正弦函数的相移频率，其等于行频率fH的分数值。优点在于精调在间 隔[n. fH， (n+l). fH]中形成梳状i瞽的每个正弦函数的频率位置，即相移频 率fd，以便优化标记在图像中的强度和可见度。测试容易示出对于fd= 0. 9fH获得优化条件。还可以在等于行频fH的整数倍的频率f。处进4亍相移，以便调整相对 于图像谱由正交函数集形成的整个梳状语的频率位置。因此，有时最好朝 着高频相移正交函数的梳状镨，在高频处，插入图像的信息被图像信号干 扰较少。这些调整使得可以得到相对于图像镨的准正交条件。然而，并不是总 是需要这个条件。实际上，如果图像要净iL^扰，则该精确相移可用于抑制 梳状i普和图像镨之间的正交性。可以设想使用其他函数，诸如小波函数、诸如哈尔函数(Haar function)或哈达玛函数(Hadamard function),或者正弦窗函数 (windowed sinusoids )。这些函数形式如下Re[ exp (jkcoHt) ] xF (t)其中，Re (c)是复数c的实部，而F (t)是周期窗函数，诸如Hanning、 Hamming 或Blackmann函数，或者升余弦函数，或者高斯截断函数(truncated Gaussian function),或者小波函数，诸如哈尔函数(Haar function)。由发生器3生成的正交函数集例如以软件表或索引存储的形式生成。还可以设想正交函数不是以行频率fpj隔开，而是以图像频率隔开， 通常为几十赫兹。
此外，要插入图像或图像序列的信息由模块4处理，其用起始标记信 号和结束标记信号使该信息完整，而且，在图像序列的情况下，其通过拷 贝或剪切该信息来将该信息分布到N个连续的图像中。要插入每个图像的信息的每一部分可被交织模块7处理，其执行信息 的部分的位的置换。交织使得信息的符号均衡地分布在基础函数(basic function)上。该交织在等于一定行数Le的周期内执行。每Lj亍(Le lines),置换法则被调整。图2所示的设备还可以包括基于输入端接收的初始值和行同步信号 生成用作混排序列的伪随机序列的模块。生成的混排序列通过异或运算5与模块4或7输出端的信息结合，生 成信息的基本符号。经过混排序列的信息处理，可以避免眼睛或电子设备能够觉察的冗 余。该混排在等于一定行数Lb的周期内执行。每Lb行，调整混排法则。运算5的输出端的信息基础符号被施加到相移器6，相移器6还在输 入端接收由发生器3产生的所有基础函数。相移器6使用来自运算5的信 息的每个基础符号，以判断在每个基础函数的原点处的相位。在正弦函数 基础的情况下，这相当于对每个函数应用BPSK (Binary Phase-Shift Keying)相位调制，其节律(rhythm)取决于信息相关的同步信号和参数 Le， Lb。容易将该原理扩展到例如QPSK( Quadrature Phase-Shift Keying ) 或QAM (Quadrature Amplitude Modulation)调制，或者甚至扩展到GMSK (Gaussian Minimum - Shift Keying)非线性调制。由相移器6生成的相移函数通过加法器9叠加或相力口，从而得到结果 函数，该结果函数随后被采样，然后通过模块IO与图像混合以转换图像， 取决于结果函数的相应采样对图像的像素施加转换。对图像的像素施加的转换可以是，例如，通过相加由相移器得到的结 果函数的采样来调整其亮度，或者旋转(rotate)图像的色彩分量，或者 对像素基础分量的任何其他操作。根据本发明插入水印或加扰图像的应 用，可较高或较低地选择转换的幅度。在插入水印的情况下，为了在通过转换模块10插入水印时防止饱和 出现，在图像转换之前，可以对图像施加预处理操作8，以便减小像素值的动态变化。因此，例如，如果像素的每个色彩分量从O到255 ( 8比特) 被编码，则该预处理可以包括转变像素分量的值，以便使这些值在16和 235之间。参数Le和Lb最好与要插入图像的标记中的符号的整数相对应。但是， 在相反的情形下，可以用具体符号使图像的每行完整或重复标记的最后的 符号直到该4于结束。图3示出了可以从图像或图像序列中提取标记的设备。该设备包括用 于从图像中提取参数的模块21，其根据标记了的图像生成同步信号，使 得可以定位图像的行和像素，以及插入信息的起始标记和结束标记，并且 如果是图像序列，则同步信号可以定位序列的图像。像素和行同步信号一皮施加到正交函数发生器22，类似于图2所示的 设备中使用的正交函数发生器。标记了的图像被施加到模块23,模块23接收正交函数，并通过由模 块22生成的正交函数分别与图像的像素相乘，逐个像素地提取信息的符 号。得到的信息符号在本地累加器23中累加，累加器23同步于由提取才莫 块21生成的标记频率，并接收定义图像的行数的参数Le和Lb，对其施加 了同样的置换法则和同样的混排序列。行、图像和标记同步信号被施加到去混排和去交织模块25，模块25 在输入端接收混排序列和由图2所示的设^f吏用的置换法则。相对于由图 2所示的设备的模块2、 5和7执行的操作，模块25执行反操作，从而得 到插入图像的字的位，其在累加器26中被累力口，最后提供插入图像的字。图4示出了解码加扰图像的设备。该设备与图2所示的设备相同，只 是去掉了模块4,模块1由图3设备的模块21代替，其提取的不是图像 同步信号，而是标记同步信号，以便在图像中检测标记起始和结束的标识， 用于转换图像的模块10由用于从图像中提取像素的模块31代替，相对于 模块10施加的转换，其执行的是反转换，以便获得原始图像的像素。在图5所示的另一种插入设备中，可将在运算器5的输出端得到的标 记信号施加到编码器41，以便对于图像的每个色彩分量生成不同的标记 信号。得到的标记信号被施加到相应的相移器42,其对于每个基础函数 和图像的每个色彩分量生成相移函数。对于每个色彩分量，这些函数随后
由相应的加法器44叠加，并被施加到转换^莫块43的输入端，模块43将 分别叠加的函数与在图像像素的色彩分量结合。在插入水印的应用中，对于插入图像的印记，最好选择由模块41执 行的编码，以便在图像色彩分量之间引入更多的冗余。因此，该编码例如 是1 /3巻积型。相反，在图像加扰的应用中，最好选择由模块41执行的 编码，以便在分别插入图像的色彩分量中的标记之间抑制冗余。图6示出了一种提取使用图5所示的设备插入的标记的设备。与图3 所示的设备相比，该设备包含从信息中提取符号的模块，其产生用于图像 像素的每个色彩分量的信息符号。该提取设备然后包括用于每个色彩分量 的处理链，该处理链包括本地累加模块52、去混排和去交织模块以及累 加模块54，这些模块与图3中所示的装置的那些相同。该提取设备还包 括解码模块55，相对于模块41的功能，其执行相反功能，从而根椐由累 加模块54为每个色彩分量累加的标记字来恢复标记字。如果由编码模块 41施加的编码是1/3巻积型，则解码器55可以例如是维特比解码器 (viterbi decoder )。图7示出了一种能够解码使用图5所示的插入设备加扰的图像的设 备。该设备类似于图4所示设备，并且与为了得到图5所示的设备对图2 所示的设备执行的修改具有相同的修改。此外，图4的设备中的从图像中 提取像素的模块31由提取模块45代替，模块45从加扰的图像中提取对 于色彩分量由累加器44分别得到叠加函数。
权利要求
1. 一种用于将包括预定数目的符号的数据插入到至少一个图像的图 像序列的方法，该图像包括预定数目的行，每行包含预定数目的像素，其特征在于该方法包括以下步骤生成具有插入图像序列谱的梳状谱的函数集，且对于要插入的信息的 每个符号包括相应的函数；以表示要插入的数据的相应符号的值相移函数集的每个函数； 叠加所述相移后的函数；以及将图像序列的像素与通过叠加相移后的函数所得到的结果进行结合。
2. 根据权利要求1所述的方法，其特征在于在所述函数集的每个 函数相移之前，还包括对要插入的数据符号进行交织的步骤。
3. 根据权利要求1或2所述的方法，其特征在于在所述函数集的 每个函数的相移调制之前，还包括对于每一个要插入的数据符号生成包括 相应符号的伪随机序列的步骤，以及利用该伪随机序列混排要插入的数据 符号的步骤。
4. 根据权利要求3所述的方法，其特征在于所述混排步骤包括按 照异或运算来结合要插入的数据符号和所述伪随机序列。
5. 根据权利要求l到4之一所述的方法，其特征在于所述函数集 的函数具有相应的主谱线，该主谱线以与所述图像序列的行频率对应的恒 定步长隔开。
6. 根据权利要求1到5之一所述的方法，其特征在于所述图像序 列具有梳状谦，所述函数集的梳状谦相对于调整的频率fd的图像序列谙 被相移。
7. 根据权利要求l到6之一所述的方法，其特征在于所述图像序 列的像素与相移后的函数叠加的结果结合是通过调制所述图像序列的像 素的亮度来执行的。
8. 根据权利要求1到6之一所述的方法，其特征在于所述图像序 列的像素与相移后的函数叠加的结果结合是通过旋转所述图像序列的像 素的色彩分量来执行的。
9. 根据权利要求1到7之一所述的方法，其特征在于所述方法还 包括预处理图像的步骤，以避免当所述图像序列的像素与相移后的函数叠 加的结果结合时在所述图像序列的像素中的饱和现象。
10. 根据权利要求l到8之一所述的方法，其特征在于所述方法还 包括对要插入的数据符号进行编码的步骤，以^f更对于所述图像序列的像素 的每个色彩分量得到不同符号的序列，所述函数集的函数按所得到的每个 符号序列相移、叠加、然后分别与所述图像序列的像素的色彩分量结合。
11. 根据权利要求IO所述的方法，其特征在于为了得到用于每个 色彩分量的不同符号序列，对要插入的数据符号施加的编码为巻积型编 码。
12. 根据权利要求l到ll之一所述的方法，其特征在于将所述图 像序列的像素与相移后的函数叠加的结果结合，以便在所述图像序列中是 相对不可见的。
13. 根据权利要求l到ll之一所述的方法，其特征在于将所述图 像序列的像素与相移后的函数叠加的结果结合，以便加扰图像序列中的图 像。
14. 一种用于从至少一个图像的图像序列中提取数据的方法，该图像 包括预定数目的行，每行包括预定数目的像素，其特征在于根据如权利 要求1到12之一所述的插入方法插入了所述数据。
15. —种用于解扰至少一个图像的图像序列的方法，该图像包括预定 数目的行，每行包括预定数目的像素，其特征在于该图像序列根据如权 利要求1到11和13之一所述的插入方法进行了加扰。
16. —种用于将包括预定数目的符号的数据插入至少一个图像的图像 序列中的设备，该图像包括预定数目的行，每行包括预定数目的像素，其 特征在于该设备包括用于实施根据权利要求1到13之一所述的方法的 装置。
17. —种用于从至少一个图像的图像序列中提取数据的设备，该图像 包括预定数目的行，每行包括预定数目的像素，其特征在于该设备包括 用于实施根据权利要求14所述的方法的装置。
18. —种用于解扰具有至少一个图像的图像序列的设备，该图像包括 预定数目的行，每行包括预定数目的像素，其特征在于该设备包括用于 实施根据权利要求15所述的方法的装置。
全文摘要
本发明涉及一种将包括预定数目符号的数据插入至少一个图像的图像序列的方法，该图像包括预定数目的行，每行包括预定数目的像素，所述方法包括生成表示插入图像序列谱中的梳状谱的函数集，且对于要插入的数据的每个符号包括相应的函数；以表示要插入的数据的相应符号的值相移函数集的每个函数；叠加相移后的函数；以及将图像序列的像素与通过叠加相移后的函数所得到的结果进行结合。
文档编号H04N7/24GK101124826SQ200580030122
公开日2008年2月13日 申请日期2005年9月6日 优先权日2004年9月8日
发明者斯特凡·马德朗热 申请人:亚登帝斯公司