专利名称：数字水印埋入方法及装置、以及数字水印检测方法及装置的制作方法
技术领域：
本发明涉及用来防止例如通过记录媒体提供的数字动态图像信号的不正当的复制的有效的数字水印埋入方法及装置、以及数字水印检测方法及装置。
背景技术：
伴随记录及再生数字VTR或DVD(数字通用盘)之类的数字图像数据的装置的普及，提供了能利用这些装置再生的许多数字动态图像。另外各种数字动态图像通过因特网、广播卫星、通信卫星等进行的数字电视广播而流通，用户能利用高品质的数字动态图像。
根据数字信号电平，能从数字动态图像简单地进行高品质的复制。因此，在对数字动态图像不进行任何复制禁止或复制控制的情况下，数字动态图像有可能被无限制地复制。因此，正在考虑防止数字动态图像的不正当的复制(拷贝)、或限制正规的用户复制的时间。为此，可以考虑将复制控制用的信息附加在数字动态图像中，用该附加信息防止不正当的复制，或者考虑限制复制的方法。
作为这样将另外的附加信息重叠在数字动态图像上的技术，已知有数字水印(digital watermarking)。在该数字水印中以不容易被发现的状态，在被数字数据化了的声音、音乐、动画、静止画等内容中，埋入了内容的著作权拥有者或利用者的识别信息、著作权拥有者的权利信息、内容的利用条件、该利用时必要的秘密信息、或上述的复制控制信息等信息(将它们称为水印信息)。以后根据需要，通过从内容中检测被埋入的水印信息，进行包括利用控制、复制控制的著作权保护、或促进二次利用。
作为数字水印现有的方式，已知一种应用了光谱漫射技术的方式。在该方式中，按照以下顺序将水印信息埋入数字动态图像中。
步骤E1将图像信号乘以PN(Pseudorandom Noise)系列，进行光谱漫射。
步骤E2对光谱漫射后的图像信号进行频率变换(例如DCT变换)。
步骤E3通过变更特定的频率分量的值，将水印信息埋入图像信号中。
步骤E4对图像信号进行逆频率变换(例如IDCT变换)。
步骤E5对图像信号进行光谱逆漫射(与步骤E1相同，将图像信号乘以PN系列)。
按照以下的顺序，从这样埋入了水印信息的数字图像中检测水印信息。
步骤D1将图像信号乘以PN系列(与步骤E1相同的PN系列)，进行光谱漫射。
步骤D2对光谱漫射后的图像信号进行频率变换(例如DCT变换)。
步骤D3着眼于特定的频率分量的值，从图像信号中抽出被埋入的水印信息。
在以防止不正当利用为目的、将数字水印应用于数字著作物的情况下，有必要使数字水印具有这样的性质通过对数字著作物进行通常实施的和设想的各种操作和企图的攻击，水印信息不消失、不被篡改的性质(耐用性)。作为对埋入了水印信息的数字图像不能检测水印信息的攻击，可以考虑图像的切出、定标(放大/缩小)及旋转等。
在输入了受到了这样的攻击的图像的情况下，在现有的技术中，首先，进行在检测水印信息时推断埋入时在步骤E1中用的PN系列的处理，恢复PN系列的同步。此后，进行步骤D1～D3的处理，抽出被埋入的水印信息。可是，为了只根据图像信号，恢复PN系列的同步，有必要用PN系列的多个候选试着进行检测水印信息的处理，有必要进行采用能方便地检测的候选的探索。因此，存在增加运算量和电路规模的问题。
发明内容
本发明的目的在于提供一种对图像的切出、定标及旋转等的攻击，不伴随运算量和电路规模的增大，能检测被埋入的水印信息的数字水印埋入方法及装置、以及数字水印检测方法及装置。
发明的第一方面提供这样一种将水印信息埋入图像信号中的数字水印埋入方法从输入图像信号抽出特定频率分量信号，根据水印信息控制该特定频率分量信号的相位及振幅两者中的至少一者，将进行了相位及振幅两者中的至少一者的控制的特定频率分量信号重叠在上述输入图像信号上，输出埋入了上述水印信息的图像信号。
发明的第二方面提供这样一种数字水印检测方法从埋入了水印信息的输入图像信号抽出特定频率分量信号，控制被抽出的特定频率分量信号的相位及振幅两者中的至少一者，进行实施了相位控制及振幅控制两者中的至少一者的特定频率分量信号和上述输入图像信号的相关运算，抽出上述水印信息。
发明的第三方面提供一种数字水印埋入装置，该数字水印埋入装置备有从输入图像信号抽出特定频率分量信号的抽出装置；根据水印信息控制被抽出的特定频率分量信号的相位及振幅两者中的至少一者的控制装置；以及为了生成埋入了上述水印信息的图像信号，将由上述控制装置控制了相位及振幅两者中的至少一者的特定频率分量信号重叠在上述输入图像信号上的重叠装置。
发明的第四方面提供一种数字水印检测装置，该数字水印检测装置备有从埋入了水印信息的输入图像信号抽出特定频率分量信号的抽出装置；控制被抽出的特定频率分量信号的相位及振幅两者中的至少一者的控制装置；以及进行由上述控制装置控制了相位及振幅两者中的至少一者的特定频率分量信号和上述输入图像信号的相关运算，抽出上述水印信息的相关运算装置。
图1是表示本发明的一实施形态的数字水印埋入装置的基本结构的框图；图2是说明该实施形态的相位控制器的特定频率分量信号的相位移位的图；图3是表示该实施形态的数字水印检测装置的基本结构的框图；图4是表示该实施形态的数字水印检测装置的另一基本结构的框图；图5是表示该实施形态的数字水印检测装置的相互相关值的峰值探索和水印信息检测的工作例的图；图6是表示该实施形态的数字水印检测装置的相互相关值的峰值探索和水印信息检测的工作例的图；图7是表示该实施形态的数字水印埋入装置的更具体的结构例的框图；图8是表示该实施形态的数字水印埋入装置的更具体的另一结构例的框图；图9是表示该实施形态的数字水印检测装置的更具体的结构例的框图；图10是表示图7或图8中的数字水印埋入装置的工作的各部的波形图；图11是表示图9中的数字水印检测装置的工作的各部的波形图；图12是表示图9中的数字水印检测装置对水印信息为(1，1)时的相互相关值的峰值探索和水印信息检测的工作的图；图13是表示图9中的数字水印检测装置对水印信息为(1，1)时的相互相关值的峰值探索和水印信息检测的工作的图；图14是表示对图7或图8中的数字水印埋入装置对第N行的图像信号进行的处理的各部的波形图；图15是表示对图7或图8中的数字水印埋入装置对第N+1行的图像信号进行的处理的各部的波形图；图16是说明图9中的数字水印检测装置对通过图14所示的处理获得的埋入后的图像信号的相互相关值的图；图17是说明图9中的数字水印检测装置对通过图15所示的处理获得的埋入后的图像信号的相互相关值的图；图18是表示图9中的数字水印检测装置对通过图15所示的处理获得的埋入后的图像信号的水印信息检测工作的图；图19是表示对图7或图8中的数字水印埋入装置对第N行的图像信号进行的另一处理的各部的波形图；图20是表示对图7或图8中的数字水印埋入装置对第N+1行的图像信号进行的另一处理的各部的波形图；图21是说明图9中的数字水印检测装置对通过图19及图20所示的处理获得的埋入后的图像信号的相互相关值的图；图22是表示在图7或图8所示的数字水印埋入装置中将校准信号和水印信息一并埋入后图9中的数字水印检测装置的相互相关值和水印信息检测工作的图；图23是表示在图7或图8所示的数字水印埋入装置中将校准信号和水印信息一并埋入后图9中的数字水印检测装置的相互相关值和水印信息检测工作的另一例的图；图24是表示在图7或图8所示的数字水印埋入装置中将水印信息二进制的数编码成三进制的数的表；图25是表示在图7或图8所示的数字水印埋入装置中将水印信息二进制的数编码成三进制的数的另一表；图26是表示在图7或图8所示的数字水印埋入装置中使多个相位移位量保持相对关系并取任意间隔时图9中的数字水印检测装置的水印信息检测工作的图；图27是表示在图7或图8所示的数字水印埋入装置中追记了备注时图9中的数字水印检测装置的水印信息检测工作的图；图28是表示在图1所示的数字水印埋入装置中根据接收了由4个相位移位固定的相位移位的特定频率分量信号的重叠的有无，埋入了水印信息(1，1)时图3中的数字水印检测装置的水印信息检测工作的图；图29是表示在图1所示的数字水印埋入装置中根据接收了由4个相位移位固定的相位移位的特定频率分量信号的重叠的有无，埋入了水印信息(1，-1)时图3中的数字水印检测装置的水印信息检测工作的图；图30是表示本发明的实施形态的使用限幅器的数字水印埋入装置的基本结构的框图；图31是表示该实施形态的使用限幅器的数字水印检测装置的基本结构图；图32是表示本发明的实施形态的使用限幅器的数字水印埋入装置的基本结构的框图；图33是表示该实施形态的使用限幅器的数字水印检测装置的基本结构图；图34是表示本发明的实施形态的使用随机化信息的数字水印埋入装置的基本结构的框图；图35是表示该实施形态的使用随机化信息的数字水印检测装置的基本结构的框图；图36是表示图34及图35中的特定频率分量抽出部的具体结构例的图；图37是表示图34及图35中的特定频率分量抽出部的另一具体结构例的图；图38是表示本发明的实施形态的使用随机化信息的数字水印埋入装置的基本结构的框图；图39是表示该实施形态的使用随机化信息的数字水印检测装置的基本结构的框图；图40是表示图38及图39中的相位控制器的具体的结构例的图；图41是表示本发明的实施形态的使用随机化信息的数字水印埋入装置的基本结构的框图；图42是表示该实施形态的使用随机化信息的数字水印检测装置的基本结构的框图；图43是表示本发明的实施形态的使用随机化信息的数字水印埋入装置的基本结构的框图；图44是表示该实施形态的使用随机化信息的数字水印检测装置的基本结构的框图，而且；图45A及图45B是表示图43及图44中的非线性滤波器的具体结构例的框图。
具体实施例方式
以下，参照
本发明的实施形态。
(数字水印埋入装置的基本结构)图1是表示本发明的一实施形态的数字水印埋入装置的基本结构的框图。在数字水印埋入装置中，作为应埋入水印信息的图像信号(称为埋入对象图像信号)10，输入将动态图像或静止图像数字化了的图像信号。该埋入对象图像信号10可以包含亮度信号及色差信号两者，也可以只是亮度信号。
埋入对象图像信号10被分成3个，被输入特定频率分量抽出部11、特征量抽出部15、以及水印信息重叠部16。特定频率分量抽出部11由频带的数字滤波器、例如有规定的截止频率的高通滤波器、或者有规定的通频带中心频率的带通滤波器构成，从输入动态图像信号10抽出特定的频率分量、例如较高的频率分量。以下，来自特定频率分量抽出部11的输出信号作为特定频率分量信号。
从特定频率分量抽出部11输出的特定频率分量信号的相位及振幅由相位控制器12及振幅控制器13控制。在本实施形态中，相位控制器12配置在前级，振幅控制器13配置在后级，但反过来配置也可以，即振幅控制器13配置在前级，相位控制器12配置在后级。应埋入输入图像信号10中的作为数字信息的水印信息14被供给相位控制器12及振幅控制器13两者中的至少一者。
相位控制器12对特定频率分量信号，按照预定的固有的相位控制量进行相位控制。具体地说，相位控制器12由单一或多个数字相位移相器实现，相位控制量为相位移相器的相位移位量。图2是表示由相位控制器12进行的相位移位的形态的图，在该例中特定频率分量信号保持波形，单纯地进行相位移位。在水印信息14被输入相位控制器12中的情况下，根据水印信息14控制相位控制器12的相位控制量(相位移位量)。
振幅控制器13对输入的特定频率分量信号，按照预定的固有的振幅控制量进行振幅控制。具体地说，振幅控制器13由单一或多个“异”电路和数字乘法器构成，振幅控制量成为与输入的特定频率分量信号相乘的系数。在水印信息14被输入振幅控制器13中的情况下，根据水印信息14控制振幅控制器13的振幅控制量(系数)。
另外，在本实施形态中，由特征量抽出部15抽出被埋入的对象图像信号10的特征量、例如表示图像的复杂度的活度。该特征量的信息被输入振幅控制器13中。在振幅控制器13中，根据被输入的特征量，控制特定频率分量的振幅控制量(系数)。具体地说，在特征量为活度的情况下，活度越大，系数设定得也越大。另外，特征量抽出部15不是必须的，也可以省略。
特定频率分量信号由相位控制器12及振幅控制器13进行相位控制和振幅控制。该特定频率分量信号作为埋入信号，由数字加法器所构成的水印信息重叠部16供给，重叠在埋入对象图像信号10上。即，由特定频率分量抽出部11抽出的特定频率分量信号利用相位控制器12及振幅控制器13，在数字水印埋入装置中受固有的相位控制及振幅控制，同时利用水印信息14控制相位控制量及振幅控制量中的一者或两者。因此，在水印信息重叠部16中，水印信息14被埋入埋入对象图像信号10中。另外，特定频率分量抽出部11抽出多个频道的特定频率分量，相位控制器12及振幅控制器13对多个频道的特定频率分量进行相位几振幅控制，也可以生成多个频道的特定频率分量信号。在此情况下，多个频道的特定频率分量信号在水印信息重叠部16中被重叠在埋入对象图像信号10上。
这样埋入了水印信息的图像信号(成为已埋入图像信号)17例如由DVD系统之类的数字图像记录再生装置记录在记录媒体中，或者通过因特网、广播卫星、通信卫星等发送。
(数字水印检测装置的基本结构)其次，用图3及图4说明与图1所示的数字水印埋入装置对应的数字水印检测装置的基本结构。
由图1所示的数字水印埋入装置生成的已埋入图像信号17通过记录媒体或传输媒体，作为输入的已埋入图像信号20被供给图3所示的数字水印检测装置。该已埋入图像信号20被分成3个，被输入特定频率分量抽出部21、特征量抽出部24及相关运算器25的一个输入端。
特定频率分量抽出部21由与图1所示的数字水印埋入装置中用的特定频率分量抽出部11相同的高通滤波器(HPF)或低通滤波器(BPF)构成。特定频率分量抽出部21从已埋入图像信号20抽出与特定频率分量抽出部11从已埋入图像信号10抽出的频率分量相同的特定频率分量。
由相位控制器22及振幅控制器23控制从特定频率分量抽出部21输出的特定频率分量信号的相位和振幅。在本实施形态中，相位控制器22配置在前级，振幅控制器23配置在后级，但反过来配置也可以，即振幅控制器13配置在前级，相位控制器12配置在后级。
相位控制器22对特定频率分量信号进行预定的固有的相位控制量的相位控制。具体地说，相位控制器22由单一或多个数字相位移相器实现。与图1所示的数字水印埋入装置中用的相位控制器12供给的相位控制量(相位移位量)相同的相位控制量(相位移位量)被供给相位控制器22。
在振幅控制器23中，用特征量抽出部24从已埋入图像信号20中抽出的特征量、例如表示图像的复杂度的活度所对应的系数与输入的特定频率分量信号相乘。
由相位控制器22及振幅控制器23控制了相位及振幅的特定频率分量信号被供给相关运算器25的另一输入端。由该相关运算器25进行特定频率分量信号和已埋入图像信号20的相关(更详细地说，相互相关)运算，检测被埋入的水印信息26。即，在看到了相互相关值相对相位移位量的变化的情况下，在相当于相位控制器22的相位控制量的相位移位量的位置出现峰值，该峰值的极性表示水印信息。相互相关值的峰值随着水印信息的不同而取正值或负值，例如在峰值取正的情况下，断定水印信息为“1”，在峰值为负的情况下，断定水印信息为“0”。这样，输出由相关运算器25判断的水印信息26。
图4表示将图3中的数字水印检测装置变形后的数字水印检测装置。该数字水印检测装置在已埋入图像信号20受到了定标的情况下呈适当的结构。如果已埋入图像信号20受到了定标，则特定频率分量信号的相位移位量在数字水印埋入装置中呈与被供给特定频率分量信号的相位移位量不同的值。
在本实施形态中，根据相位移位量信息27，连续地或呈阶段性地控制相位控制器22的相位移位量。与此相伴随，如图5所示，由配置在相关运算器25的输出侧的水印信息推断器28探索从相关运算器23输出的相互相关值的峰值，根据探索到的峰值的极性，推断水印信息。在该例中，由于相互相关值为正，所以推断(断定)水印信息为“1”。
在图1所示的数字水印埋入装置中，如后面所述，作为相位控制器12，使用相位移位量不同的多个相位移相器，振幅控制器13对应于各个相位移相器，也准备了多个振幅控制要素。在这样的情况下，图3或图4中的相位控制器22也可以由多个相位移相器构成。可是，也可以由相位移位量可变的单一的相位移相器构成，如图4所示，根据相位移位量信息，一边使该相位移位量变化，一边由水印信息推断器28探索从相关运算器25输出的相互相关值的峰值。在此情况下，如图6所示，例如根据埋入了水印信息时的相位移相器的相位移位量，检测峰值，能推断各自的水印信息。
(数字水印检测装置的具体结构例之一)图7表示本发明的数字水印埋入装置的更具体的实施形态。说明与表示数字水印埋入装置的基本结构的图1的对应关系，高通滤波器(HPF)31相当于特定频率分量抽出部11，n个相位移相器(PS)32-1～32-n相当于相位控制器12，n个“异”电路(EXOR)33-1～33-n及乘法器(MPY)34-1～34-n相当于振幅控制器13，活度计算电路35相当于特征量抽出部15，数字加法器36相当于水印信息重叠部16。
从高通滤波器31输出的特定频率分量信号受到了由相位移相器32-1～32-n预定的移位量不同的相位移位后，被供给“异”电路33-1～33-n各自的一个输入端。n位的水印信息14(CCI)的各位被供给“异”电路33-1～33-n各自的另一个输入端。“异”电路33-1～33-n的输出信号由乘法器34-1～34-n乘以用活度计算电路35求得的活度。
作为乘法器34-1～34-n的输出的埋入信号通过由加法器36将其与埋入对象图像信号10相加，水印信息14被埋入埋入对象图像信号10中，生成已埋入图像信号17。
(数字水印检测装置的具体结构例之二)图8表示图7的变形例的数字水印埋入装置。在该变形例中，用有三个输入端的乘法器(MPY)37-1～37-n代替图7中的“异”电路33-1～33-n及乘法器34-1～34-n。来自相位移相器32-1～32-n被相位移位了的特定频率分量信号分别被供给乘法器37-1～37-n的第一输入端。n位的水印信息14(CCI)的各位分别被供给第二输入端，用活度计算电路35求得的活度共同被供给第三输入端。即使采用这样的结构，也能获得与图7所示的数字水印埋入装置相同的功能。
(数字水印检测装置的具体结构例)图9表示本发明的另一实施形态的数字水印检测装置。该检测装置对应于图7中的数字水印埋入装置。与图4中的数字水印检测装置的基本结构对应地说明图9中的数字水印检测装置，高通滤波器(HPF)41相当于特定频率分量抽出部21，n个相位移相器(PS)42-1～42-n相当于相位控制器22。另外，n个第一乘法器(MPY)43-1～43-n相当于振幅控制器23，活度计算电路44相当于特征量抽出部24。另外，n个第二乘法器(MPY)45-1～45-n及累计加法器46-1～46-n相当于相关运算器25，CCI推断器47相当于水印信息推断器27。
从高通滤波器41输出的特定频率分量信号从相位移相器42-1～42-n受到了与图7中的相位移相器32-1～32-n的移位量相同的规定移位量的相位移位后，由第一乘法器43-1～43-n将其与用活度计算电路44求得的活度相乘。
来自第一乘法器43-1～43-n的输出信号由第二乘法器45-1～45-n将其与已埋入图像信号20相乘。乘法器45-1～45-n的输出信号由累计加法器46-1～46-n累计相加后，被输入CCI推断器47，生成水印信息26(CCI)的各位。
(数字水印埋入/检测装置的工作例1)其次，用图10至图12说明在图7或图8所示的数字水印埋入装置中，将2位的水印信息埋入图像信号中，用图9中的数字水印检测装置检测水印信息时的具体的工作例。
在图7或图8所示的数字水印埋入装置中，由高通滤波器31从图10中用(a)表示的埋入对象图像信号10中抽出图10中用(b)表示的特定频率分量信号。由两个相位移相器32-1、32-2使该特定频率分量信号的相位移动预定的规定的移位量。由图7中的“异”电路33-1及33-2或图8中的乘法器37-1及37-2对这些相位移位信号分别乘以表现水印信息14(CCI)的第0位及第一位的因子。例如，如果水印信息14为“0”，则将相位移位信号乘以-1，如果为“1”，则将相位移位信号乘以+1。在图10所示的(c)及(d)中，示出了水印信息为(1，1)时从“异”电路33-1、33-2或乘法器37-1、37-2输出的相位移位信号。
另外，根据需要，由乘法器34-1、34-2将相位移位信号乘以由活度计算电路35求得的活度。此后，通过由加法器36将乘得的结果加在埋入对象图像信号10中，生成图10中的(e)所示的已埋入图像信号17。图10中用(e)表示的实线表示已埋入图像信号17，图10中用(a)表示的波形成为将埋入对象图像信号及图10中用(c)及(d)表示的相位移位信号相加合成后的波形。
另一方面，如图10所示，在由图9中的数字水印检测装置从埋入了水印信息的已埋入图像信号(e)中检测水印信息的情况下，首先，由高通滤波器41从图11中用(a)表示的已埋入图像信号20(对应于图10中用(e)表示的已埋入图像信号17)中抽出图11中用(b)表示的特定频率分量信号。在对已埋入图像信号20未进行定标的情况下，如图11中的(c)及(d)所示，由相位移相器42-1及42-2使已埋入图像信号20的相位移动与图7中的相位移相器32-1及32-2的移位量相同的规定的移位量。
其次，根据需要，由第一乘法器43-1及43-2将图11中的(c)及(d)所示的相位移位信号乘以活度。此后，由第二乘法器45-1及45-2将图11中的(a)所示的已埋入图像信号20乘以第一乘法器43-1及43-2的输出。第二乘法器45-1及45-2的乘法运算结果由累计加法器46-1及46-2累计相加。因此，分别求得相位移位信号的相互相关值，根据该相互相关值的峰值，判断水印信息。例如，如果相互相关值的峰值为正，则断定水印信息为+1(“1”)，如果相互相关值的峰值为负，则断定水印信息为-1(“0”)。
另一方面，在对已埋入图像信号20进行定标的情况下，与用图4说明的相同，通过控制相位移相器42-1及42-2的相位移位量，探索相位移位量。即，伴随相位移位了的控制，由CCI推断器47探索相互相关值的峰值，根据该峰值位置推断水印信息26。
例如，在埋入信息14(CCI)为(1，1)的情况下，如图12所示，除了原点(相位移位量为0的点)以外，相互相关值的正峰值存在于两个地方，由此判断水印信息。
另外，在埋入信息14(CCI)为(1，-1)的情况下，如图13所示，相互相关值的正峰值存在于距离原点近的地方，负峰值存在于距离原点远的地方，由此判断水印信息。
(数字水印埋入/检测装置的工作例2)其次，用图14至图18说明图7或图8中的数字水印埋入装置及图9中的数字水印检测装置的另一工作例。这是在数字水印埋入装置中，每一行、每多个行、每半帧、每多个半帧、每一帧及每多帧中的任意一者或它们的适当的组合使相位移位信号的极性反相的方式。以下说明水印信息为2位的情况的工作例。
首先，由数字水印埋入装置对埋入对象图像信号10的第N(N＝1、2、…)行进行如图14所示的处理。
由两个相位移相器32-1及32-2使从埋入对象图像信号10的图14中的(a)所示的第N行的信号中由高通滤波器31抽出的特定频率分量信号的相位移动预定的规定的移位量。由图7中的“异”电路33-1及33-2或图8中的乘法器37-1及37-2对这些相位移位信号分别乘以表现水印信息14(CCI)的第0位及第一位的因子。例如，如果水印信息14为“0”，则将相位移位信号乘以-1，如果水印信息为“1”，则将相位移位信号乘以+1。图14中的(b)及(c)分别表示水印信息为(1，1)时从“异”电路33-1、33-2或乘法器37-1、37-2输出的相位移位信号。
另外，根据需要，由乘法器34-1及34-2或乘法器37-1及37-2将相位移位信号乘以由活度计算电路35求得的活度。此后，通过由加法器36将乘得的结果加在埋入对象图像信号10上。由此，图14所示的(d)中用虚线表示的埋入对象图像信号(对应于图14的波形(a))及图14中用(b)及(c)表示的相位移位信号相加合成，生成用实线表示的波形的已埋入图像信号17。
其次，由数字水印埋入装置对埋入对象图像信号10的第N+1行进行如图15所示的处理。
首先，由两个相位移相器32-1及32-2使从图15中的(a)所示的埋入对象图像信号10的第N+1行的信号中由高通滤波器31抽出的特定频率分量信号的相位移动预定的规定的移位量。由图7中的“异”电路33-1及33-2或图8中的乘法器37-1及37-2对这些相位移位信号分别乘以表现水印信息14(CCI)的第0位及第一位的因子。在此情况下，与对第N行的信号的处理情况相反，例如，如果水印信息14为“0”，则将相位移位信号乘以+1，如果为“1”，则将相位移位信号乘以-1。因此，在水印信息为(1，1)的情况下，从“异”电路33-1、33-2或乘法器37-1、37-2输出的相位移位信号与图14中的(b)及(c)所示的波形不同，如图中的(b)及(c)所示，极性都被反相。
另外，根据需要，由乘法器34-1及34-2或乘法器37-1及37-2将相位移位信号乘以由活度计算电路35求得的活度。此后，通过由加法器36加在埋入对象图像信号10中，图15所示的(d)中用虚线表示的埋入对象图像信号(即，对应于图15(a)所示的信号)及图15中用(b)及(c)表示的相位移位信号相加合成，生成用实线表示的波形的已埋入图像信号17。
在以上的说明中，在埋入对象图像信号的第N行和第N+1行中，即对每一行使相位移位信号的极性反相，但也可以对每多个行、每半帧、每多个半帧、每一帧及每多帧使相位移位信号的极性反相。
另一方面，在图9中的数字水印检测装置中，对应于每一行、每多个行、每半帧、每多个半帧、每一帧及每多帧中的任意一者或它们的适当的组合的相位移位信号的极性反相，累计相加时适当地使极性反相。例如，象用图14及图15说明的那样，在对每一行进行了相位移位信号的极性反相的情况下，如图16所示，已埋入图像信号20的第N行的相互相关值相对于相位移位量呈现正峰值。可是，如图17所示，已埋入图像信号20的第N+1行的相互相关值相对于相位移位量呈现负峰值。因此，从乘法器45-1及45-2输出的相互相关值在每一行中进行极性反相，用累计加法器46-1及46-2进行累计相加。在此情况下，如图18所示，累计相加后的相互相关值连续地呈现正峰值，因此断定水印信息为(1，1)。
这样，在水印信息的埋入时，将相位移位信号的极性反相组合起来，在水印信息的检测时与其对应地使相互相关值进行极性反相后累计相加。因此，使水印信息在图像上看不出来，能更有效地防止水印信息的篡改。
(数字水印埋入/检测装置的工作例3)其次，用图19至图21说明图7或图8中的数字水印埋入装置及图9中的数字水印检测装置的另一工作例。这是在数字水印埋入装置中，使相位移位量在每一行中左右反相的方式，以下说明水印信息为2位时的工作。
首先，利用数字水印埋入装置，对埋入对象图像信号10的第N(N＝1、2、…)行进行图19所示的处理。
由两个相位移相器32-1及32-2使从埋入对象图像信号10的第N行的信号中由高通滤波器31抽出的特定频率分量信号的相位向右侧、及向相位行进的方向移动预定的移位量。与前面所述同样地由图7中的“异”电路33-1及33-2或图8中的乘法器37-1及37-2对这些相位移位信号分别乘以表现水印信息14(CCI)的第0位及第一位的因子。图19中的(b)及(c)表示水印信息为(1，1)时从“异”电路33-1及33-2或乘法器37-1及37-2输出的相位移位信号。
另外，根据需要，由乘法器34-1及34-2或乘法器37-1及37-2将相位移位信号乘以由活度计算电路35求得的活度。此后，通过由加法器36将乘得的结果加在埋入对象图像信号10中。因此，图19所示的(d)中用虚线表示的埋入对象图像信号(即，图19中的(a)所示的信号)及图19中用(b)及(c)表示的相位移位信号相加合成，生成用实线表示的波形的已埋入图像信号17。
另一方面，由数字水印埋入装置对埋入对象图像信号10的第N+1行进行如图20所示的处理。
由两个相位移相器32-1及32-2使从图20中的(a)所示的埋入对象图像信号10的第N+1行的信号中由高通滤波器31抽出的特定频率分量信号的相位向左侧、即向相位延迟的方向移动规定的移位量。与前面所述的相同，由图7中的“异”电路33-1及33-2或图8中的乘法器37-1及37-2对这些相位移位信号分别乘以表现水印信息14(CCI)的第0位及第一位的因子。图20中的(b)及(c)表示水印信息为(1，1)时从“异”电路33-1及33-2或乘法器37-1及37-2输出的相位移位信号。
另外，根据需要，由乘法器34-1及34-2或乘法器37-1及37-2将相位移位信号乘以由活度计算电路35求得的活度。此后，通过由加法器36将乘得的结果加在埋入对象图像信号10中。因此，将图20所示的(d)中用虚线表示的埋入对象图像信号(即，图20中的(a)所示的信号)及图20中用(b)及(c)表示的相位移位信号相加合成，生成用实线表示的波形的已埋入图像信号17。
另一方面，在图9中的数字水印检测装置中，单纯地对每一行进行相互相关值的累计相加，探索峰值，检测水印信息。但象在工作例2中说明的那样，在对每一行、每多个行、每半帧、每多个半帧、每一帧及每多帧中的任意一者或它们的适当的组合进行相位移位信号的极性反相的情况下，对每一累计相加单元一并进行极性反相。
图21表示该情况下的每一行的累计相加后的相互相关值。相位移位量的探索时，沿正方向探索了相位移位量时、以及沿负方向探索了相位移位量时，能获得大致相同的形状、即相对于中心呈线对称的相互相关值。利用这样的相互相关值的性质，探索时即使只沿单方向(例如，向右)进行探索，也能检测水印信息。
(数字水印埋入/检测装置的工作例4)其次，用图22至图25说明图7或图8中的数字水印埋入装置及图9中的数字水印检测装置的另一工作例。以下说明的例子是水印信息埋入时一并埋入校准信号、将其用于水印信息的检测的方法。以下是具体的工作例。
(1)在数字水印埋入装置中，在将N位的水印信息埋入图像信号中的情况下，生成N+1位的相位移位信号，将水印信息埋入中使用的N位以外的1位作为校准信号，将其埋入相位移位信号中，以便必然成为呈+1(或-1)的电平。该校准信号是水印信息的检测时成为基准的信号。
另一方面，在数字水印检测装置中，相位移位的各位置的相互相关值和对应于校准信号的相互相关值的相对关系是已知的，利用该相对关系检测水印信息。例如，在假定用呈+1(或-1)的电平将校准信号埋入了相位移位信号中的情况下，如图22所示，在相当于校准信号的位置的相互相关值和另一埋入位置的相互相关值极性相同的情况下为+1(或-1)，在极性不同的情况下为-1(或+1)。
(2)在数字水印埋入装置中，也可以将校准信号埋入相位移位量最小或最大的位置。在此情况下，在数字水印检测装置中检测相位移位量为最小或最大的位置的校准信号，判断用该校准信号和水印信息的相对关系埋入的水印信息。
(3)在数字水印埋入装置中，将校准信号作为规定的值(例如+1或-1)埋入相位移位量最小(或最大)的位置，同时将多个相位移位量设定为等间隔，分别将{+1、0、-1}这样3个值的信息埋入各相位移位位置。
具体地说，例如在三值信息为{+1}的情况下，将乘以正的乘数后的相位移位信号加在埋入对象图像信号10中，在{-1}的情况下，将乘以负的乘数后的相位移位信号加在埋入对象图像信号10中，在{0}的情况下，埋入对象图像信号10中什么也不加。
另一方面，在数字水印检测装置中，求出根据校准信号推断的水印信息的相位移位位置的相互相关值。如图23所示，在该相互相关值为0附近的情况下，断定三值信息为{0}，在相互相关值不在0附近的情况下，根据水印信息的相位移位位置的相互相关值和校准信号的相互相关值的相对关系，判断三值信息的{+1、-1}。以下，给出工作例(3)的应用例。
(3-1)在数字水印埋入装置中，如图24所示，作为水印信息预先将二进数编码为三进数，将这些三进数作为三值信息如上所述那样埋入。
在数字水印检测装置中，对作为三值信息检测的三进数进行译码，检测原来的二进数的水印信息。
(3-2)与上述相同，在数字水印埋入装置中，作为水印信息预先将二进数编码为三进数，将这些三进数作为三值信息如上所述那样埋入，但如图25所示，不使用埋入信息全部为0的组合。
在数字水印检测装置中，对作为三值信息检测的三进数进行译码，检测原来的二进数的水印信息。
(3-3)将三值用于CCI的进位。
(3-4)将Copy Free(可复制)作为+1，将Copy Once(只可复制一次)作为0，将Never Copy(不可复制)作为-1，进行水印信息的埋入及检测。在此情况下，进行水印信息的Remark(备注)时，变成在0的地方埋入-1，所以能节省擦去的麻烦。
(数字水印埋入/检测装置的工作例5)其次，说明图7或图8中的数字水印埋入装置及图9中的数字水印检测装置的另一工作例。在数字水印埋入装置中，以任意的间隔配置多个相位移位量，但不破坏它们的相对关系。在此情况下，在数字水印检测装置中，如图26所示，计数相互相关值的峰值，例如断定最靠近原点的最内侧为0位，其次断定外侧为1位，…这样进行判断。
(数字水印埋入/检测装置的工作例6)其次，用图27说明图7或图8中的数字水印埋入装置及图9中的数字水印检测装置的另一工作例。在数字水印埋入装置中，求出埋入了水印信息的已经存在的埋入位置的最外侧，将Remark用的信息追记在该最外侧。
另一方面，在数字水印检测装置中一直探索到相互相关值的峰值没有为止，根据最外侧埋入的信息，判断Remark后的信息。
(数字水印埋入/检测装置的工作例7)其次，说明在图1所示的数字水印埋入装置中，用水印信息14控制相位控制器12时数字水印埋入装置及图3或图4中的数字水印检测装置的工作。
相位控制器12由例如相位移位量不同的4个相位移相器和选择这些相位移相器的开关构成。来自特定频率分量抽出部11的特定频率分量信号并列地输入这些相位移相器中。假设4个相位移相器的相位移位量为θ1、θ2、θ3及θ4，例如用接收了移位量为θ1和θ2的相位移位的特定频率分量信号的重叠的有无表示水印信息14的第0位。用接收了移位量为θ3和θ4的相位移位的特定频率分量信号的重叠的有无表示水印信息14的第1位。具体地说，例如将以下的(a-1)(a-2)的组合、或(b-1)(b-2)的组合，将特定频率分量信号重叠在埋入对象图像信号10中。
(a-1)如果第0位＝“1”，则只将接收了θ1的相位移位的特定频率分量信号重叠在埋入对象图像信号上，而接收了θ2的相位移位的特定频率分量信号不重叠在埋入对象图像信号上。
(a-2)如果第1位＝“1”，则只将接收了θ3的相位移位的特定频率分量信号重叠在埋入对象图像信号上，而接收了θ4的相位移位的特定频率分量信号不重叠在埋入对象图像信号上。
(b-1)如果第0位＝“1”，则只将接收了θ1的相位移位的特定频率分量信号重叠在埋入对象图像信号上，而接收了θ2的相位移位的特定频率分量信号不重叠在埋入对象图像信号上。
(b-2)如果第1位＝“1”，则只将接收了θ4的相位移位的特定频率分量信号重叠在埋入对象图像信号上，而接收了θ3的相位移位的特定频率分量信号不重叠在埋入对象图像信号上。
另一方面，在图3所示的数字水印检测装置中，在不考虑对被输入的已埋入图像信号20的定标的情况下，与数字水印埋入装置中的相位控制器12的相位移相器的相位移位量θ1、θ2、θ3及θ4同样地设定构成相位控制器22的4个相位移相器的相位移位量，根据相位移位量θ1、θ2、θ3及θ4的相互相关值，判断水印信息。
图28表示水印信息为(1，1)时的相互相关值，图29表示水印信息为(1，-1)时的相互相关值。能根据相位移位量θ1、θ2、θ3及θ4的相互相关值，判断水印信息。
在考虑对已埋入图像信号20的定标的情况下，与上述同样地使相位移位量变化，探索被供给数字水印埋入装置的相位移位量，判断相互相关值即可。
其次，用图30至图33说明本发明的另一实施形态。在本实施形态中，将限幅器插入数字水印埋入装置及数字水印检测装置中。由限幅器限制重叠在埋入对象图像信号10上的信号的振幅。因此，在从埋入对象图像信号10的低电平到高电平的广大电平范围内埋入不太多的水印信息。其结果，能更有效地防止图像质量劣化。
在图30所示的数字水印埋入装置中，限幅器18被插入特定频率分量抽出部11和相位及振幅的控制器(在该例中为相位控制器12)之间。在图31所示的数字水印检测装置中，对应于图30，限幅器28被插入特定频率分量抽出部21和控制器(在该例中为相位控制器22)之间。
在图32所示的数字水印埋入装置中，限幅器18被插入相位及振幅的控制器(在该例中为振幅控制器13)和水印信息重叠部16之间。在图33所示的数字水印检测装置中，对应于图32，限幅器28被插入相位及振幅的控制器(在该例中为振幅控制器23)和相关运算器25之间。
其次，用图34至图42说明本发明的另一实施形态。本实施形态进行与随机化信息有关的水印信息的埋入及检测。因此，如果不知道随机化信息，就不能检测水印信息。其结果，能提供攻击更强的数字水印技术。
即使在数字水印埋入装置或检测装置的内部发生随机化信息也可以，或者如果能保证安全性，也可以从外部装置输入随机化信息。随机化信息既可以是一定的，也可以在数字水印埋入处理或检测处理的过程中随时变更。例如，在图像信号的同一行中在左半部(一水平扫描期间的前半期)和右半部(一水平扫描期间的后半期)使用不同的随机化信息，或者也可以进行对每一行使用不同的随机化信息等的变更。
在图34所示的数字水印埋入装置中，在构成特定频率分量抽出部11的滤波器由于参数不同而具有不同的特性的情况下，由秘密的随机化信息19供给该参数。
在图35所示的数字水印检测装置中，对应于图34，由随机化信息29供给构成特定频率分量抽出部21的滤波器的参数。随机化信息29与图34所示的数字水印埋入装置中使用的随机化信息19相同。只有利用在装置内部生成或从装置外部供给该随机化信息29的数字水印检测装置，才能正确地检测水印信息26。
图36及图37表示图34及图35中的特定频率分量抽出部11及21中使用的滤波器的例。该滤波器将埋入对象图像信号(原信号)的连续的像素值{…p(h-1)，p(h)，p(h+1)，…}乘以系数，取它们的相乘结果的和作为滤波器输出。由于系数在某一范围内能随机化，所以将这些系数作为随机化信息19。
在图38所示的数字水印埋入装置中，根据随机化信息19，使构成相位控制器12的相位移相器的相位移位量随机化。因此，使自行相关值的峰值形状钝化，不容易看到峰值。在此情况下，最好频繁地改变随机化的相位移位量。例如，在画面的左半部和右半部将相位移位量设定为不同的值。也可以将画面分割成沿垂直方向的多个长方形的区域，对每个区域将相位移位量设定为不同的值。
在图39所示的数字水印检测装置中，对应于图38所示的数字水印埋入装置，根据随机化信息29，使构成相位控制器22的相位移相器的相位移位量随机化。随机化信息29与图38所示的数字水印埋入装置中使用的随机化信息19相同。只有利用在装置内部生成或从装置外部供给该随机化信息29的数字水印检测装置，才能正确地检测水印信息26。
图40表示图38及图39中的相位控制器11及21中使用的相位移位量可变的相位移相器的例。该相位移相器串联连接多个相位移位元件，由选择器根据随机化信息选择来自个抽头(相位移位元件的输入输出端子)的信号。
在图41所示的数字水印埋入装置中，振幅调制器51被插入相位及振幅的控制器(在该例中为振幅控制器13)和水印信息重叠部16之间，根据随机化信息19，对埋入信号进行振幅调制。
在图42所示的数字水印检测装置中，对应于图41所示的数字水印埋入装置，振幅调制器61被插入相位及振幅的控制器(在该例中为振幅控制器23)和相关运算器25之间，根据随机化信息29，对埋入信号进行振幅调制。随机化信息29与图41所示的数字水印埋入装置中使用的随机化信息19相同。只有利用在装置内部生成或从装置外部供给该随机化信息29的数字水印检测装置，才能正确地检测水印信息26。
在图43所示的数字水印埋入装置中，非线性滤波器52被插入相位及振幅的控制器(在该例中为振幅控制器13)和水印信息重叠部16之间。通过利用该非线性滤波器52，减小埋入信号和埋入对象图像信号10之间的相关关系，使自行相关值中不出现峰值。
在图44所示的数字水印检测装置中，对应于图43所示的数字水印埋入装置，将图43所示的数字水印埋入装置中使用的非线性滤波器52的逆特性的非线性滤波器62插入相位及振幅的控制器(在该例中为振幅控制器23)和相关运算器25之间。
作为非线性滤波器52，能使用利用了由三角函数或高次式决定的振幅调制滤波器。该滤波器是例如输入信号为x时，输出sin(x)或x2等的非线性滤波器。图45表示非线性滤波器52的具体例。
图45A表示通过将相同的输入信号供给乘法器的两个输入端，输入信号为x时，输出x2的二次方乘法器。将由于二次方而位数多出的部分舍去。图45B表示为了能表现复杂的非线性变换而用表的形式安装了输入值和输出值的关系的非线性滤波器。例如，通过将该非线性变换表作成sin表，能实现对输入信号x输出sin(ax)的非线性滤波器。
如上所述，如果采用本发明，则由于从输入图像信号抽出特定频率分量信号，根据水印信息控制该特定频率分量信号的相位及振幅两者中的至少一者，将进行了相位及振幅两者中的至少一者的控制的特定频率分量信号重叠在上述输入图像信号上，能生成埋入了水印信息的图像信号，所以为了防止例如通过记录媒体提供的数字动态图像信号的不正当的复制，能实现有效的数字水印埋入方法及装置、以及数字水印检测方法及装置。
权利要求
1.一种数字水印埋入方法，将水印信息埋入图像信号中，其特征在于从输入图像信号抽出特定频率分量信号，根据水印信息控制该特定频率分量信号的相位及振幅两者中的至少一者，将进行了相位及振幅两者中的至少一者的控制的特定频率分量信号重叠在上述输入图像信号上，输出埋入了上述水印信息的图像信号。
2.根据权利要求1所述的数字水印埋入方法，其特征在于包括限制上述特定频率分量信号的振幅的步骤。
3.根据权利要求1所述的数字水印埋入方法，其特征在于使上述特定频率分量信号的抽出随机化。
4.根据权利要求1所述的数字水印埋入方法，其特征在于对进行了相位及振幅两者中的至少一者的控制的上述特定频率分量信号进行非线性处理后，重叠在上述输入图像信号上。
5.一种数字水印检测方法，其特征在于从埋入了水印信息的输入图像信号抽出特定频率分量信号，控制被抽出的特定频率分量信号的相位及振幅两者中的至少一者，进行实施了相位控制及振幅控制两者中的至少一者的特定频率分量信号和上述输入图像信号的相关运算，抽出上述水印信息。
6.根据权利要求5所述的数字水印检测方法，其特征在于包括限制上述特定频率分量信号的振幅的步骤。
7.根据权利要求5所述的数字水印检测方法，其特征在于使上述特定频率分量信号的抽出随机化。
8.根据权利要求5所述的数字水印检测方法，其特征在于对进行了相位及振幅两者中的至少一者的控制的上述特定频率分量信号进行非线性处理后，进行与上述输入图像信号的相关运算。
9.一种数字水印埋入装置，其特征在于备有从输入图像信号抽出特定频率分量信号的抽出装置；根据水印信息控制被抽出的特定频率分量信号的相位及振幅两者中的至少一者的控制装置；以及为了生成埋入了上述水印信息的图像信号，将由上述控制装置控制了相位及振幅两者中的至少一者的特定频率分量信号重叠在上述输入图像信号上的重叠装置。
10.根据权利要求9所述的数字水印埋入装置，其特征在于还备有插入在上述抽出装置和上述重叠装置之间的限制上述特定频率信号的振幅的限幅器。
11.根据权利要求9所述的数字水印埋入装置，其特征在于利用随机化信息使上述抽出装置及控制装置两者中的至少一者的特性随机化。
12.根据权利要求9所述的数字水印埋入装置，其特征在于还备有插入上述控制装置和上述重叠装置之间的非线性滤波器。
13.一种数字水印检测装置，其特征在于备有从埋入了水印信息的输入图像信号抽出特定频率分量信号的抽出装置；控制被抽出的特定频率分量信号的相位及振幅两者中的至少一者的控制装置；以及进行由上述控制装置控制了相位及振幅两者中的至少一者的特定频率分量信号和上述输入图像信号的相关运算，抽出上述水印信息的相关运算装置。
14.根据权利要求13所述的数字水印检测装置，其特征在于还备有插入在上述抽出装置和上述相关运算装置之间的限制上述特定频率信号的振幅的限幅器。
15.根据权利要求13所述的数字水印检测装置，其特征在于利用随机化信息使上述抽出装置及控制装置两者中的至少一者的特性随机化。
16.根据权利要求13所述的数字水印检测装置，其特征在于还备有插入上述控制装置和上述相关运算装置之间的非线性滤波器。
全文摘要
提供数字水印埋入方法、埋入装置、以及数字水印检测方法及检测装置。由特定频率分量抽出部(11)从输入图像信号(10)中抽出特定频率分量信号，由相位控制器(12)及振幅控制器(13)根据水印信息，控制特定频率分量信号的相位及振幅两者中的至少一者，由水印信息重叠部(16)将特定频率分量信号重叠在输入图像信号上，生成埋入了水印信息的图像信号。
文档编号H04N1/32GK1462548SQ02801375
公开日2003年12月17日 申请日期2002年4月24日 优先权日2001年4月24日
发明者山影朋夫, 村谷博文, 山田尚志, 上林达, 谷藤晋一郎 申请人:株式会社东芝