专利名称：图像处理设备、图像处理方法以及供给介质的制作方法
技术领域：
本发明总的来说涉及图象处理设备、图象处理方法以及记录介质。具体来说，本发明涉及能够以使被再现图象质量降低极小和不增大数据量的方式在图象中嵌入信息的图象处理设备和图象处理方法。
嵌入信息而不增大数据量的一种技术是把例如数字音频数据的最低有效比特(LSB)或较低的两个比特变换为待嵌入信息。在这种技术中，数字音频数据的较低比特(它们不对声音质量有显著影响)简单地代替待嵌入信息。因此，在再现数字音频数据时，原样将其输出，不把较低比特恢复到原始状态。具体来说，由于难于把被嵌入了较低比特的信息恢复到原始状态，也由于较低比特不对声音质量有显著影响，所以就输出包含有嵌入信息的数字音频数据。
但是，根据上述技术，不足之处是输出了不同于原始信号的信号，该信号在某种程度上影响了声音质量，如果其是音频数据的话，或影响了图象质量，如果其是视频数据的话。
于是，鉴于以上技术背景，本发明的目的是以使图象质量降低极小和不增大数据量的方式在图象中嵌入信息。
为了实现上述目的，根据本发明的一个方面，提出了执行在图象中嵌入信息的处理的图象处理设备。该设备包括选择装置，选择图象的象素；处理装置，按照待嵌入信息对选择装置选定的象素执行处理，使得利用图象的相关性可再现该象素，从而在该象素中嵌入该待嵌入信息。
根据本发明的另一个方面，提出了执行在图象中嵌入信息的处理的图象处理方法。该方法包括选择步骤，选择图象的象素；处理步骤，按照待嵌入信息对选择步骤选定的象素执行处理，使得利用图象的相关性可再现该象素，从而在该象素中嵌入该待嵌入信息。
根据本发明的再一个方面，提出了提供使计算机能够执行在图象中嵌入信息的处理的计算机程序的供给介质。该计算机程序包括选择步骤，选择图象的象素；处理步骤，按照待嵌入信息对选择步骤选定的象素执行处理，使得利用图象的相关性可再现该象素，从而在该象素中嵌入该待嵌入信息。
根据本发明的还一个方面，提出了提供其内被嵌入了信息的信息嵌入图象的供给介质。该信息嵌入图象是通过在图象中如此地嵌入信息来获得的，即选择该图象的象素、按照待嵌入信息对被选定象素执行处理，使得利用图象的相关性可再现该象素。
根据本发明的又一个方面，提出了执行把信息嵌入图象译码为原始图象和原始信息的处理的图象处理设备。该设备包括选择装置，选择信息嵌入图象的象素；处理装置，对选择装置选定的象素执行预定处理；相关性计算装置，计算选择装置选定的象素和在该被选定象素附近的周围象素之间的第一相关性，还计算选择装置选定并被处理装置进行了处理的象素和在该象素附近的周围象素之间的第二相关性；比较装置，比较第一相关性和第二相关性；译码装置，根据比较装置得出的结果译码选择装置选定的象素和嵌入该象素的信息。
根据本发明的另一个方面，提出了执行把信息嵌入图象译码为原始图象和原始信息的处理的图象处理方法。该方法包括选择步骤，选择信息嵌入图象的象素；处理步骤，对选择步骤选定的象素执行预定处理；相关性计算步骤，计算选择步骤选定的象素和在该被选定象素附近的周围象素之间的第一相关性，还计算选择步骤选定并被处理步骤进行了处理的象素和在该象素附近的周围象素之间的第二相关性；比较步骤，比较第一相关性和第二相关性；译码步骤，根据比较步骤得出的结果译码选择步骤选定的象素和嵌入该象素的信息。
根据本发明的再一个方面，提出了提供使计算机能够执行把信息嵌入图象译码为原始图象和原始信息的处理的计算机程序的供给介质。该计算机程序包括选择步骤，选择信息嵌入图象的象素；处理步骤，对选择步骤选定的象素执行预定处理；相关性计算步骤，计算选择步骤选定的象素和在该被选定象素附近的周围象素之间的第一相关性，还计算选择步骤选定并被处理步骤进行了处理的象素和在该象素附近的周围象素之间的第二相关性；比较步骤，比较第一相关性和第二相关性；译码步骤，根据比较步骤得出的结果译码选择步骤选定的象素和嵌入该象素的信息。
根据本发明的还一个方面，提出了包括发送通过嵌入信息获得的信息嵌入图象的发射机和接收来自发射机的信息嵌入图象并译码该图象的接收机的图象处理设备。该发射机包括第一选择装置，选择图象的象素；第一处理装置，按照待嵌入信息对第一选择装置选定的象素执行处理，使得利用图象的相关性可再现该象素，从而在该象素中嵌入该待嵌入信息并输出信息嵌入图象。该接收机包括第二选择装置，选择信息嵌入图象的象素；第二处理装置，对第二选择装置选定的象素执行预定处理；相关性计算装置，计算第二选择装置选定的象素和在该被选定象素附近的周围象素之间的第一相关性，还计算第二选择装置选定并被第二处理装置进行了处理的象素和在该象素附近的周围象素之间的第二相关性；比较装置，比较第一相关性和第二相关性；译码装置，根据比较装置得出的结果译码第二选择装置选定的象素和嵌入该象素的信息。
根据本发明的又一个方面，提出了在包括发送通过嵌入信息获得的信息嵌入图象的发射机和接收来自发射机的信息嵌入图象并译码该图象的接收机的图象处理设备中使用的图象处理方法。该方法包括以下步骤利用发射机选择图象的象素；利用发射机按照待嵌入信息对被选定象素执行处理，使得利用图象的相关性可再现该象素，从而在该象素中嵌入该待嵌入信息并输出信息嵌入图象；利用接收机选择信息嵌入图象的象素；利用接收机对被选定象素执行预定处理；利用接收机计算选自信息嵌入图象的象素和在该被选定象素附近的周围象素之间的第一相关性，还计算选自信息嵌入图象并已被进行了预定处理的象素和在该象素附近的周围象素之间的第二相关性；利用接收机比较第一相关性和第二相关性；以及利用接收机根据比较的结果译码选自信息嵌入图象的象素和嵌入该象素的信息。
图1是表示应用了本发明的图象传输系统的配置的一实例的方框图；图2表示待编码的图象；图3A和3B表示利用相关性执行的编码/译码操作；图4A和4B表示利用连续性执行的编码/译码操作；图5A和5B表示利用相似性执行的编码/译码操作；图6是表示图1所示嵌入编码器3的结构的一实例的方框图7是说明嵌入编码处理的流程图；图8说明在图7的步骤S1的处理；图9是表示图1所示嵌入译码器6的结构的一实例的方框图；图10说明图9所示CPU43执行的处理；图11是说明嵌入译码处理的流程图；图12说明在四个象素中嵌入1比特信息的处理。
以下描述本发明一实施例。为明确各权利要求表示的各个装置和以下实施例的各相应部件之间的关系，通过给各个装置增加用括号括起来的该实施例的各相应部件(仅一个例子)来描述本发明的特征。
权利要求1描述的图象处理设备执行在图象中嵌入信息的处理。该图象处理设备包括选择装置(例如，图7的程序处理步骤S1)，选择图象的象素；处理装置(例如，图7的程序处理步骤S3)，按照待嵌入信息对选择装置选定的象素执行处理，使得利用图象的相关性可再现该象素，从而在该象素中嵌入该待嵌入信息。
权利要求20描述的图象处理设备执行把信息嵌入图象译码为原始图象和原始信息的处理。该设备包括选择装置(例如，图11的程序处理步骤S11)，选择信息嵌入图象的象素；处理装置(例如，图11的程序处理步骤S12)，对选择装置选定的象素执行预定处理；相关性计算装置(例如，图11的程序处理步骤S15)，计算选择装置选定的象素和在该被选定象素附近的周围象素之间的第一相关性，还计算选择装置选定并被处理装置进行了处理的象素和在该象素附近的周围象素之间的第二相关性；比较装置(例如，图11的程序处理步骤S16)，比较第一相关性和第二相关性；译码装置(例如，图11的程序处理步骤S17至S19)，根据比较装置得出的结果译码选择装置选定的象素和嵌入该象素的信息。
权利要求33描述的图象处理设备包括发送通过嵌入信息获得的信息嵌入图象的发射机和接收来自发射机的信息嵌入图象并译码该图象的接收机。该发射机包括第一选择装置(例如，图7的程序处理步骤S1)，选择图象的象素；第一处理装置(例如，图7的程序处理步骤S3)，按照待嵌入信息对第一选择装置选定的象素执行处理，使得利用图象的相关性可再现该象素，从而在该象素中嵌入该待嵌入信息并输出信息嵌入图象。该接收机包括第二选择装置(例如，图11的程序处理步骤S11)，选择信息嵌入图象的象素；第二处理装置(例如，图11的程序处理步骤S12)，对第二选择装置选定的象素执行预定处理；相关性计算装置(例如，图11的程序处理步骤S15)，计算第二选择装置选定的象素和在该被选定象素附近的周围象素之间的第一相关性，还计算第二选择装置选定并被第二处理装置进行了处理的象素和在该象素附近的周围象素之间的第二相关性；比较装置(例如，图11的程序处理步骤S16)，比较第一相关性和第二相关性；译码装置(例如，图11的程序处理步骤S17至S19)，根据比较装置得出的结果译码第二选择装置选定的象素和嵌入该象素的信息。
以上说明不是要把各权利要求描述的装置限制为上述各部件。
图1是表示应用了本发明的图象传输系统的示意图。在本说明书中，“系统”可以是在逻辑上由多台设备构成的组合，这些设备不必被包含在同一机壳内。
参看图1，图象传输系统由编码单元10和译码单元20组成。编码单元10对例如图象(第一信息)进行编码，并输出编码数据。译码单元20把编码数据恢复为原始图象。
具体来说，图象数据库1存储待编码图象(例如，数字图象)，图象从图象数据库1中读出，提供给嵌入编码器3。附加信息数据库2存储将要被嵌入待编码图象之中的附加信息(数字数据)。附加信息从附加信息数据库2中读出，提供给嵌入编码器3。
一旦从图象数据库1接收到图象和从附加信息数据库2接收到附加信息，嵌入编码器3就按照附加信息数据库2提供的附加信息编码该图象，以便能够利用图象数据库1提供的图象的能量分布译码编码图象。就是说，嵌入编码器3通过把附加信息嵌入图象来编码图象，以便能够利用图象的能量分布译码编码图象，嵌入编码器3还输出编码数据。编码数据然后可被记录在记录介质4中，记录介质4可以是磁光盘、磁盘、光盘、磁带或PD盘。或者，编码数据可通过传输介质5、例如地面广播信号、卫星广播信号、有线电视(CATV)网、互联网或公用通信网传送给译码单元20。译码单元20由接收由记录介质4或传输介质5提供的编码数据的嵌入译码器6构成。嵌入译码器6进一步利用图象的能量分布把编码数据译码为原始图象和附加信息。译码图象然后被提供给监视器(未示出)并被其显示。译码附加信息被用来执行预定处理。
以下说明嵌入编码器3执行的编码操作和嵌入译码器6执行的译码操作的原理。
一般来说，称为“信息”的东西具有能量(熵)分布，这种能量(熵)分布被视为信息(有用信息)。具体来说，例如，拍摄风景得到的图象可被看作是该风景的图象。这是因为该图象(形成该图象的各象素的值)具有对应于该风景的能量分布。不具有能量分布的图象只不过是噪声，作为信息是无用的。
因此，即使一段有用信息所具有的能量分布因执行某种操作被破坏，但通过把被破坏的能量分布恢复为原始状态仍能够再现该原始信息。就是说，利用信息固有的能量分布可把编码该信息获得的编码数据译码为原来的信息。
信息的能量分布可例如用相关性、连续性和相似性来表示。
信息的相关性是该信息的元素(例如，如果该信息是图象，则元素就是组成该图象的各象素或行)之间的相关性，即组成信息的各元素之间的自相关或距离。
以由H行组成的图象、例如图2所示的图象为例。考虑第一行和另一行之间的相关性，如图3A所示，第一行对于靠近第一行的行(图2所示图象上面的行)的相关性较大。相反地，第一行对于远离第一行的行(图2所示图象下面的行)的相关性较小。换句话说，图2所示图象具有这样的相关性分布，即靠近第一行的行具有较高的相关度，而远离第一行的行具有较低的相关度。
在图2所示图象中，交换靠近第一行的第M行和远离第一行的第N行(1＜M＜N≤H)，在计算了第一行与第M行和第N行每一行之间的相关性之后，作为结果而产生的图象可如图3B所示。就是说，在已交换了第M行和第N行的图象中，第一行对于远离第一行的第M行(相应于交换前的第N行)的相关性变为较小，而第一行对于靠近第一行的第N行(相应于交换前的第M行)的相关性变为较大。
于是，原始相关性分布在图3B所示相关性中已被破坏。但是，一般来说，就图象而言，利用原始相关性分布可把被破坏的相关性分布恢复为原始状态。就是说，就图象具有的原始相关性分布而言，图3B所示相关性分布是反常的(错误的)，应当交换第M行和第N行。于是，反常的分布可被恢复为图3A所示的正确分布，这样就能够译码原始图象。
在图2、3A和3B所示的例子，图象的编码是通过交换行来实现的。在这种情况下，嵌入编码器3根据附加信息确定应当移动和交换哪些行。与此同时，嵌入译码器6通过利用相关性使被交换的行回复原始位置，即用原始图象代替编码图象，从而译码编码图象。在译码操作期间，嵌入译码器6检测哪些行已被移动和交换，以便译码嵌入图象的附加信息。
就连续性来说，作为能量分布的另一种元素，例如可如图4A所示，用表示频率变化连续性(平滑频率变化)的信号波形表示图象的一行。换句话说，图象的一行的频率是连续地变化的。
然后，如图4A所示的频率连续变化的信号波形的一部分用图4B所示极低频率的波形来代替。
在这种情况下，频率变化的连续性被破坏。但是，一般来说，通过利用频率变化为连续的特性，能够把被破坏的信号波形连续性恢复为原始状态。就是说，在图4B中，信号波形一部分的频率比该波形其余部分的频率低得多是反常的，因此，应把其校正为类似于该其余部分的部分。然后，可把图4B所示信号波形译码为图4A所示信号波形，即原始信号波形。
在图4A和4B所示的例子中，信号的编码是通过显著地改变部分信号波形(用较低频率的信号波形代替该部分信号波形)来实现的。在编码图象时，嵌入编码器3根据附加信息确定哪部分频率要显著改变和要改变频率到什么程度。嵌入译码器6利用信号的连续性特性，从某一部分与其余部分明显不同的编码信号再现原始信号，从而把编码信号译码为原始信号。在译码原始信号时，嵌入译码器6检测哪部分频率发生了显著变化和该频率的变化程度，从而译码嵌入的附加信息。
类似地，表示能量分布的另一种元素如下。例如，现在假设通过拍摄风景得到了一幅图象。该原始风景图象的放大图象可利用分形(自相似性)来产生。具体来说，例如，利用分形放大图5A所示拍摄大海获得的图象，得到具有类似于原始图象特征的特征的图象(被放大的图象)。因此，原始图象具有相似性。
然后，图5A所示大海图象的一部分用拍摄森林获得的图象的一部分(图5B的阴影部分)来代替。
在这种情况下，在大海图象的已被部分森林图象代替的那部分中，相似性被破坏。但是，一般来说，利用以下的相似性特性能够恢复被破坏的相似性。就是说，不管大海图象的哪一部分被放大，该放大部分都具有类似于原始图象的特征的特征。具体来说，就其一部分被部分森林图象代替的大海图象所具有的相似性而言是反常的。该部分森林应当用具有类似于大海周围部分的特征的特征的图象来代替。然后，根据图5B所示图象能够译码图5A所示完整的大海图象，即原始图象。
在图5A和5B所示的例子中，可通过用森林图象代替大海图象的一部分来编码图象。在编码图象时，嵌入编码器3根据附加信息确定哪一部分大海图象要用森林图象来代替。与此同时，嵌入译码器6利用相似性特性从编码信号、即从具有一部分森林的图象再现完整的大海图象，从而把编码图象译码为原始图象。在译码操作期间，嵌入译码器6检测大海图象的哪一部分被森林图象代替，从而译码嵌入的附加信息。
如上所述，嵌入编码器3根据附加信息编码图象，使得利用该图象具有的能量分布能够译码编码图象。一旦接收到编码数据，嵌入译码器6就利用图象具有的能量分布把编码数据译码为原始图象和附加信息，无额外译码开销。
含有嵌入信息的编码图象的状态与原始图象的状态不同，这样就无额外开销地实现了对图象的加密。
此外，可实现完全可逆的数字水印。具体来说，在普通数字水印中，对图象质量无显著影响的象素值的较低比特被简单地改变成为对应于数字水印的值。由于难以将这些较低比特恢复到原始状态，所以不能完全再现原始图象。因此，把较低比特用于数字水印在一定程度上降低了译码图象的质量。相反地，当利用原始图象具有的能量分布译码编码数据时，可再现原始图象和附加信息。因此，可安全地把附加信息用于数字水印而不降低译码图象的质量，用普通数字水印做不到这一点。
可通过译码图象从编码数据中提取嵌入信息，从而不需要额外开销就实现了在获得编码图象的同时还获得了次要信息。换句话说，由于不需要提取附加信息的额外开销就能够嵌入附加信息，所以作为结果产生的含有嵌入信息的编码数据已被压缩了等于该附加信息的量(嵌入压缩)。因此，例如如果编码一半图象而把另一半图象用作附加信息，则整个图象的一半可嵌入到另一半之中去，这样就把整个图象压缩为一半。
由于编码数据是利用原始图象具有的能量分布、即利用统计特性来译码的，所以译码数据是抗差错的。就是说，能够实现具有高可靠性的增强编码(统计编码)。
还有，由于编码数据是利用原始图象固有的能量分布来译码的，所以可在其能量分布具有更特殊特性的图象、例如具有较高活动度和较低冗余度的图象中嵌入更加大量的附加信息。如上所述，如果在原始图象中嵌入附加信息，则编码数据就被压缩了等于该附加信息的量。就压缩而言，当(利用嵌入编码技术)按照附加信息编码图象、以便编码图象可利用图象具有的能量分布进行译码时，压缩比随着图象活动度的增大和冗余度的减小而增大。在这一点上，嵌入编码技术与压缩比随着图象活动度的增大和冗余度的减小而减小的普通编码技术截然不同。
还有，通过把图象作为待编码对象和把与图象不同的媒体、例如声音作为附加信息，就能够利用声音作为关键码来提供图象。具体来说，在编码单元10中，把订立合同者发出的声音“芝麻开门！”作为附加信息嵌入图象之中。在译码单元20中，用户必须发出“芝麻开门！”的声音，把该声音与嵌入图象的声音作比较，从而执行说话人识别。在执行了说话人识另之后，只有当该用户被确认是订立合同者时才自动地提供图象。此时，由于声音被作为附加信息，所以可以用声音波形本身来代替所谓的“特征参数”。
相反地，通过把声音作为编码对象和把与声音不同的媒体、例如图象作为附加信息，就能够利用图象作为关键码来提供图象，即能够实现脸部识别的声音响应。具体来说，在编码单元10中，例如把用户脸部的图象作为对用户的响应嵌入声音之中。在译码单元20中，拍摄用户的脸部以获得一图象，并搜索与该图象匹配的嵌入声音的脸部图象，从而输出相应的声音。这样就能够实现通过发出与各用户一致的不同类型的声音对各用户作出响应的声音响应系统。
也可以把使用某种媒体的信息嵌入到使用同种媒体的信息之中，例如在声音中嵌入声音或在图象中嵌入图象。或者，可在原始图象中嵌入订立合同者的声音和脸部图象。然后，只有当用户的声音和脸部图象与嵌入图象的声音和脸部图象一致时，才提供该原始图象，这样就实现了所谓的双关键码系统。
或者，例如考虑构成了电视广播信号的彼此同步的图象和声音，这两种媒体的一种嵌入到另一种之中，在这种情况下，可集成不同的媒体信息，即可实现集成编码。
如上所述，在嵌入编码技术中，在其能量分布呈现更特殊特性的信息中可嵌入更大量的附加信息。因此，例如在两项信息之间，其能量分布具有更特殊特性的那项信息适合被选定，而把另一项信息嵌入到该被选定的信息中去，从而就能够控制全部数量的数据。就是说，在两项信息之间，一项信息的数据量可被容纳在另一项信息之中。这样一来，由于可控制全部数量的数据，所以能够传送具有与数据带宽、传输信道的业务量以及其它传输环境兼容的数据量的信息。即能够实现环境兼容网络传输。
还有，压缩图象被嵌入原始图象之中(或被抽取的声音被嵌入原始声音之中)，从而不增大数据量而实现了分级编码。
在原始图象中，嵌入了用作检索该原始图象的关键码。因此，能够提供根据作为关键码的图象检索原始图象的数据库。
图6表示图1所示嵌入编码器3的结构的一实例，它通过在图象中嵌入附加信息执行嵌入编码、使得利用图象的相关性能够把编码图象译码为原始图象。
图象数据库1的图象输出提供给以帧为单位暂存图象的帧存储器31。中央处理单元(CPU)32通过执行存储在程序存储器33内的程序执行以下将说明的嵌入编码处理。即CPU32从附加信息数据库2接收附加信息的各个比特，把1比特的附加信息嵌入存储在帧存储器31内的图象之中。具体来说，CPU32选择构成存储在帧存储器31内的图象的部分象素，按照附加信息对这些被选定象素执行预定处理，使得利用图象的相关性能够再现原始图象。这样就可把附加信息嵌入被选定象素之中。程序存储器33由例如只读存储器(ROM)或随机存取存储器(ROM)构成，存储使CPU32能够执行嵌入编码处理的计算机程序。输出接口(I/F)34从帧存储器31读出被嵌入了附加信息的图象并将其作为编码数据输出。
帧存储器31由多个存储单元构成，以便能够存储多个帧。通过切换这些存储单元，帧存储器31同时存储图象数据库1提供的图象和要被CPU32进行处理的图象的象素。与此同时，帧存储器31还输出被嵌入了附加信息的图象(编码数据)。利用该嵌入编码器3，即使图象数据库1提供的图象是运动图象，也能够实时地输出编码数据。
以下参看图7的流程图描述由嵌入编码器3执行的嵌入编码处理。
从图象数据库1中读出图象，将这些图象传送给帧存储器31并以帧为单位存储在帧存储器31内。与此同时，CPU32从附加信息数据库2接收附加信息的各个比特。在步骤S1，一旦接收到一比特的附加信息，CPU32就从帧存储器31选择要被嵌入附加信息的象素(待处理象素)。
在本实施例中，如图8所示，按照棋盘图形从被存储在帧存储器31内的图象中交替地选择象素。就是说，每当执行步骤S1的处理，CPU32就顺序地逐个选择图8中无阴影部分的象素作为要按照例如行扫描被进行处理的象素。在图8中，p(x，y)表示位于左起低x列和从上到下第y行的象素(对于图12所示的象素同样如此)。
然后，在步骤S2，CPU32判断从附加信息数据库2接收的附加信息是1还是0。如果在步骤S2确认附加信息是0，处理就返回步骤S1。即如果附加信息是0，CPU32就对选定象素不执行任何处理(把0作为预定常数执行加法)，返回步骤S1。在步骤S1，CPU32等待附加信息数据库2提供的后续1比特附加信息，选择待处理象素。此后重复与上述处理相同的处理。
如果在步骤S2确认附加信息是1，处理就到达步骤S3。在步骤S3，CPU32对被选定象素执行预定处理，具体来说，CPU32把例如2的从分配给象素的比特数减去1得到的值次方这样的预定常数与被选定象素的值相加。例如，如果把8个比特分配给图象的象素，就在步骤S3中把27与待处理象素的值相加。
如果象素值用亮度分量Y和色度分量U及V来表示，则可对这些分量Y、U和V的任一个执行上述加法。如果象素值用分量R、G和B来表示，则可对这些分量R、G和B的任一个执行上述加法。
在步骤S4中，判断在步骤S3获得的值是否造成了上溢。如果步骤S4的结果是否定的，处理就到达步骤S6，CPU32在该步骤中把和值写(重写)入帧存储器31作为待处理象素的值。处理然后返回步骤S1。
如果在步骤S4确认和值造成了上溢，即该和值是28或更大，处理就到达步骤S5，校正该和值。就是说，在步骤S5，例如用等于溢出值(等于从28中减去造成上溢的和值得到的值)的量来校正该和值。处理然后到达步骤S6，CPU32在该步骤中把被校正值写入帧存储器31作为待处理象素的值，等待附加信息数据库2提供的后续1比特附加信息。
在处理了存储在帧存储器31内的一帧图象之后，输出I/F34就读出该帧图象(其内被嵌入了附加信息)作为编码数据，而CPU32继续对存储在帧存储器31内的后续一帧图象进行处理。
如上所述，选择构成存储在帧存储器31内的图象的部分象素，对这些选定的象素执行对应于附加信息的处理，使得利用图象的相关性可译码原始图象，从而把附加信息嵌入这些选定的象素之中。利用本编码器，不增大数据量就可在图象中嵌入附加信息，对图象质量的影响极小。
就是说，不需要利用图象的相关性、即具有附加信息的象素和不具有附加信息的象素之间的相关性的额外开销，就能够把其内被嵌入了附加信息的象素译码(恢复)为原始象素和附加信息。因此，嵌入附加信息基本上不降低获得的译码图象(再现图象)的质量。
图9表示图1所示嵌入译码器6的结构的一实例，它通过利用图象的相关性把图6所示嵌入编码器3输出的编码数据译码为原始图象和附加信息。
编码数据、即被嵌入附加信息的图象(以后有时称为“嵌入图象”)提供给帧存储器41。帧存储器41以帧为单位暂存嵌入图象。帧存储器41的结构与图6所示帧存储器31的相同，通过改变存储单元，则即使图象是运动图象也能够实时地处理嵌入图象。输出接口(I/F)42读出CPU43执行嵌入译码处理(以下将进一步说明)产生的图象(译码图象)，并输出该译码图象。
CPU43通过执行程序存储器44存储的程序来执行嵌入译码处理。即CPU43通过利用图象的相关性把存储在帧存储器41内的嵌入图象译码为原始图象和附加信息。具体来说，CPU43选择构成嵌入图象的部分象素作为待处理象素，并如图10所示，对这些被选定象素执行与图6所示CPU32执行的处理相反的处理，从而改变象素值。CPU43然后计算要在象素值被改变之前被处理的象素和周围象素(在图10所示实施例中是与该象素水平相邻的象素)之间的相关值R1(第一相关值)，还计算要在象素值被改变之后被处理的象素和这些周围象素之间的相关值R2(第二相关值)。然后，CPU43比较相关值R1和相关值R2。在该比较结果基础上，CPU43选择未被改变和已被改变的象素值之一作为译码值，还译码嵌入在译码图象之中的附加信息(1或0)。
程序存储器44的结构与图6所示程序存储器33的相同，其内存储有使CPU43能够执行嵌入译码处理的计算机程序。
以下参看图11的流程图说明由嵌入译码器6执行的嵌入译码处理。
嵌入图象以帧为单位顺序地存储在帧存储器41内。在步骤S11，CPU43从存储在帧存储器41内的嵌入图象中选择待译码象素(待处理象素)。
如同图6所示CPU32那样，CPU43按照图8所示棋盘图形从被存储在帧存储器41内的图象中交替地选择象素。就是说，每当执行步骤S11的处理，CPU43就顺序地逐个选择图8中无阴影部分的象素作为要按照例如行扫描被进行处理的象素。
在步骤S12，CPU43对象素执行与图6所示CPU32执行的处理相反的处理。即CPU43从象素值中减去预定常数，即2的从分配给图象象素的比特数减去1得到的值次方。例如，如上所述，如果把8个比特分配给象素值，就在步骤S12中从待处理象素的值中减去27。
如果象素值用亮度分量Y和色度分量U及V来表示，则可对这些分量Y、U和V的任一个执行上述减法。如果象素值用分量R、G和B来表示，则可对这些分量R、G和B的任一个执行上述减法。但是，步骤S12的减法必须对与在图7的步骤S3中被执行了加法的分量相同的分量来执行。具体来说，如果象素值用例如Y、U和V来表示，图7步骤S3的加法是对例如Y分量执行的，则在步骤S12也应对Y分量执行减法。
在步骤S12将象素值减去27之后，处理到达步骤S13，判断差值是否造成了下溢。如果步骤S13的结果是否定的，处理就跳过步骤S14，到达步骤S15
相反地，如果在步骤S13确认差值造成了下溢，即差值小于零，处理就到达步骤S14，对差值进行校正。就是说，在步骤S14，把造成下溢的差值校正为例如通过把28与该差值相加得到的值。处理然后到达步骤S15。
在步骤S15，CPU43计算象素值P1(在步骤S12中没有被减去27的值，以下有时称为“第一象素值”)和周围象素、例如与象素P1水平相邻的象素之间的相关值R1。CPU43还计算减去象素值P2(在步骤S14已被校正，以下有时称为“第二象素值”)和周围象素、例如与象素P2水平相邻的象素之间的相关值R2。
具体来说，在步骤S15，计算第一象素值P1和每一相邻象素值之差的绝对值，求和这两个绝对值。然后把得到的值作为关于第一象素值P1的相关值R1。在步骤S15，还计算第二象素值P2和每一相邻象素值之差的绝对值，求和这两个绝对值。然后把得到的值作为关于第二象素值P2的相关值R2。
在步骤S15，用来获得相关值R1和R2的象素不限于与象素P1或P2水平相邻的象素，还可以是与象素P1或P2垂直相邻的象素、或者是与象素P1或P2时间相邻的象素。用来获得相关值R1和R2的象素不必是空间或时间相邻的。还有，最好是用图8中以阴影部分表示的那些象素、即不具有嵌入附加信息的象素来分别确定关于象素P1和P2的相关值R1和R2。这样做的理由如下。即使获得了象素P1或P2和被嵌入了信息的象素之间的相关值，还不能得到象素P1或P2对应原始图象的相关性，这就不能够利用图象的相关性原理。因此难于根据被嵌入了附加信息的象素正确地译码原始象素值和该附加信息。此外，由于通过利用图象的相关性译码象素P1或P2，所以用来获得相关值R1和R2的象素最好是与象素P1或P2空间或时间相邻的。
然后，在计算了相关值R1和R2之后，处理到达步骤S16，CPU43比较相关值R1和R2。
如果在步骤S16确认相关值R1大于相关值R2，处理就到达步骤S17。在步骤S17，CPU43输出0作为被译码的附加信息，返回步骤S11。此时存储在帧存储器41内的值未被重写，因此译码象素值仍然与象素值P1相同。
具体来说，在步骤S16已确认与第一象素值P1相关的相关值R1大于与第二象素值P2相关的相关值R2。这就表明象素值P1比象素值P2可更准确地代表待译码象素，于是就确认象素值P1为译码象素值。由于在步骤S12没有从象素值P1中减去27，所以可以认为在图7的步骤S3中没有增加27。在图7所示嵌入编码处理中，当附加信息是0，就认为没有增加27。因此，如果与第一象素值P1相关的相关值R1大于与第二象素值P2相关的相关值R2，并且如果是象素值P1而不是象素值P2很可能被确认为待译码象素值，则嵌入相应象素的附加信息就是0。
如果在步骤S16确认相关值R2等于或大于相关值R1，处理就到达步骤S18。在步骤S18，CPU43就用通过从象素值中减去27获得的值、即用第二象素值重写存储在帧存储器41内的象素值。因此，在这种情况下，象素值P2被确认为译码象素值。处理然后到达步骤S19，CPU43输出1作为被译码的附加信息。处理然后返回步骤S11。
具体来说，在步骤S16已确认与第二象素值P2相关的相关值R2等于或大于与第一象素值P1相关的相关值R1。这就表明象素值P2比象素值P1可更准确地代表待译码象素。因此，象素值P2就被确认为译码象素值。由于在步骤S12已从象素值P2中减去了27，所以可以认为在图7的步骤S3中已增加了27。在图7所示嵌入编码处理中，当附加信息是1，就认为增加了27。因此，如果与第二象素值P2相关的相关值R2等于或大于与第一象素值P1相关的相关值R1，并且如果象素值P2很可能被确认为待译码象素值，则嵌入相应象素的附加信息就是1。
如果如上所述获得的相关值R1和R2的差很小，就不能够明确确定哪一个相关值R1或R2可更准确地作为待译码象素值。因此在这种情况下，不仅用水平相邻象素而且用其它象素来获得分别与象素值P1和P2相关的相关值R1和R2。然后比较相关值R1和R2，从而确定哪一个相关值R1或R2可更准确地作为待译码象素值。
根据以上描述，通过利用图象的相关性把表示被嵌入了附加信息的图象的编码数据译码为原始图象和附加信息，从而不需要译码的额外开销就实现了译码操作。因此，在原始图象中嵌入信息基本上不造成译码图象(再现图象)质量的降低。
虽然在本实施例中把待处理象素和另一象素之差的绝对值作为这两个象素之间的相关值，但相关值不限于以上产生的绝对值。
在本实施例中，如图8所示，按照棋盘图形交替地从图象选择象素，把附加信息嵌入选定的象素。但可以按照与以上方式不同的方式选择象素。但是，如上所述，在译码被嵌入了附加信息的象素时，最好选择没有被嵌入附加信息的象素来产生相关值。象素间的相关性随着象素在空间或时间方面彼此远离而变弱。因此，为了实现精确译码，应当在空间或时间方面稀疏地选择要被嵌入附加信息的象素。相反地，为了嵌入更大量的附加信息、即为了提高压缩比，应当增大要选择的象素个数到一定的程度，以便在这些象素中嵌入附加信息。因此，最好在选择要被嵌入附加信息的象素时，在精确译码和相当大的压缩比之间要进行很好的平衡。
在本实施例中，在被选作待处理象素的一个象素中嵌入1比特的附加信息。但是，也可以在一个象素中嵌入2比特或更多的附加信息。如果在一个象素中嵌入例如2比特的附加信息，则根据该2比特的附加信息可把0、26、27和26+27之一与象素值相加。
在以上实施例中，通过把0或27与象素值相加(换句话说，通过增加或不增加27)来嵌入附加信息。要与象素值相加的值不限于27。但是，如果加上只对象素值的较低比特产生影响的值，则相加后获得的象素值与原始象素值之差就不会很大。于是在图11的步骤S15中获得的相关值R1和R2之差就不会很大。这就减低了被译码象素和被译码附加信息的精度。因此，根据附加信息要与象素值相加的值最好是可对原始象素值的较高比特产生影响的值。
根据以上实施例，通过把预定值与象素值相加来嵌入附加信息。但可通过对象素值执行加法外的操作(例如，比特反相)来嵌入附加信息。但是，如上所述，为了保持被译码象素值和被译码附加信息的质量，所执行的操作应当能够使与原始象素值相关的相关值和与在执行了该操作之后获得的象素值相关的相关值之差相当大。
在以上实施例中，在一个象素中嵌入1比特的附加信息。但是，也可以在多个象素、例如在图12所示带圆圈的4个象素中嵌入1比特的附加信息。
具体来说，现在假定如图12所示在4个象素p(1，4)、p(5，4)、p(1，8)和p(5，8)中嵌入1比特的附加信息。在编码操作中，根据该附加信息对每一个象素p(1，4)、p(5，4)、p(1，8)和p(5，8)执行相同的操作，从而在这4个象素中嵌入该1比特附加信息。在译码操作中，对于每一个象素p(1，4)、p(5，4)、p(1，8)和p(5，8)计算上述与第一象素值P1相关的相关值R1和与第二象素值P2相关的相关值R2。然后比较相关值R1和相关值R2。依据比较，把较大象素值确定为译码象素值p(1，4)、p(5，4)、p(1，8)和p(5，8)和译码附加信息。或者，可以对于所有象素p(1，4)、p(5，4)、p(1，8)和p(5，8)计算与第一象素值P1相关的相关值R1的和值和与第二象素值P2相关的相关值R2的和值。依据对这两个和值的比较，可把较大的和值确定为译码象素值p(1，4)、p(5，4)、p(1，8)和p(5，8)和译码附加信息。
如果如图8所示按照棋盘图形交替地从图象中选择象素，并在每一个被选定象素中嵌入1比特的附加信息，则可以嵌入比特数约为图象象素数目二分之一的附加信息。但是，如上所述，当在4个比特中嵌入1比特的附加信息时，要嵌入这些被选定象素之中的附加信息的比特数被减少为图象象素数目的八分之一。
用作附加信息的信息的类型没有具体限制，可以是图象、声音、文本、计算机程序或其它类型的数据。图象数据库1可包含附加信息和要向帧存储器31提供的图象。根据这种结构，附加信息可嵌入图象之中，从而实现了图象的压缩。
根据上述实施例，嵌入编码处理和嵌入译码处理分别由CPU32和43执行计算机程序来实现。但是，嵌入编码处理或嵌入译码处理也可以利用相应处理专用的硬件来实现。
在上述实施例中，CPU32和43执行的计算机程序分别存储在程序存储器32和43内。该计算机程序可利用记录介质、例如磁带、磁盘、光盘、磁-光盘或PD盘来提供，或者可利用传输媒介、例如因特网、地面广播信号、卫星广播信号、公用通信网或有线电视网来提供。
权利要求
1.一种执行在图象中嵌入信息处理的图象处理设备，所述设备包括选择装置，选择该图象的象素；和处理装置，按照待嵌入信息对所述选择装置选定的象素执行处理，使得利用图象相关性可再现该象素，从而在该象素中嵌入该待嵌入信息。
2.如权利要求1的图象处理设备，其中所述处理装置对该象素的亮度分量和色度分量之一执行处理。
3.如权利要求1的图象处理设备，其中所述处理装置把对应于待嵌入信息的预定值与该象素的值相加。
4.如权利要求1的图象处理设备，其中所述处理装置在该象素中嵌入1比特的待嵌入信息。
5.如权利要求1的图象处理设备，其中所述处理装置在多个象素中嵌入1比特的待嵌入信息。
6.如权利要求1的图象处理设备，其中所述选择装置按照棋盘图形从图象中交替地选择象素。
7.一种执行在图象中嵌入信息的处理的图象处理方法，该方法包括选择步骤，选择该图象的象素；和处理步骤，按照待嵌入信息对所述选择步骤选定的象素执行处理，使得利用图象的相关性可再现该象素，从而在该象素中嵌入该待嵌入信息。
8.一种提供使计算机能够执行在图象中嵌入信息的处理的计算机程序的供给介质，所述计算机程序包括选择步骤，选择该图象的象素；和处理步骤，按照待嵌入信息对所述选择步骤选定的象素执行处理，使得利用图象的相关性可再现该象素，从而在该象素中嵌入该待嵌入信息。
9.如权利要求8的供给介质，其中所述处理步骤对该象素的亮度分量和色度分量之一执行处理。
10.如权利要求8的供给介质，其中所述处理步骤把对应于待嵌入信息的预定值与该象素的值相加。
11.如权利要求8的供给介质，其中所述处理步骤在该象素中嵌入1比特的待嵌入信息。
12.如权利要求8的供给介质，其中所述处理步骤在多个象素中嵌入1比特的待嵌入信息。
13.如权利要求8的供给介质，其中所述选择步骤按照棋盘图形从图象中交替地选择象素。
14.一种提供被嵌入了信息的信息嵌入图象的供给介质，该信息嵌入图象是通过在图象中嵌入信息来获得的，而在图象中嵌入信息是这样实现的选择该图象的象素，按照该信息对该被选定象素进行处理，使得利用该图象的相关性可再现该象素。
15.如权利要求14的供给介质，其中的处理是对该象素的亮度分量和色度分量之一执行的。
16.如权利要求14的供给介质，在该供给介质中，把对应于待嵌入信息的预定值与该象素的值相加。
17.如权利要求14的供给介质，在该供给介质中，1比特的待嵌入信息被嵌入该象素之中。
18.如权利要求14的供给介质，在该供给介质中，1比特的待嵌入信息被嵌入多个象素之中。
19.如权利要求14的供给介质，在该供给介质中，象素按照棋盘图形从图象中被交替地选择。
20.一种执行把信息嵌入图象译码为原始图象和原始信息的处理的图象处理设备，所述设备包括选择装置，选择该信息嵌入图象的象素；处理装置，对所述选择装置选定的象素执行预定处理；相关性计算装置，计算所述选择装置选定的象素和在该被选定象素附近的周围象素之间的第一相关性，还计算所述选择装置选定的、被所述处理装置进行了处理的象素和在该象素附近的周围象素之间的第二相关性；比较装置，比较第一相关性和第二相关性；译码装置，根据所述比较装置得出的结果译码所述选择装置选定的象素和嵌入该象素的信息。
21.如权利要求20的图象处理设备，其中所述处理装置对该象素的亮度分量和色度分量之一执行预定处理。
22.如权利要求20的图象处理设备，其中所述处理装置从该象素的值中减去预定值。
23.如权利要求20的图象处理设备，其中所述译码装置译码来自该象素的1比特信息。
24.如权利要求20的图象处理设备，其中所述译码装置译码来自多个象素的1比特信息。
25.如权利要求20的图象处理设备，其中所述选择装置按照棋盘图形从该信息嵌入图象中交替地选择象素。
26.一种执行把信息嵌入图象译码为原始图象和原始信息的处理的图象处理方法，所述方法包括选择步骤，选择该信息嵌入图象的象素；处理步骤，对所述选择步骤选定的象素执行预定处理；相关性计算步骤，计算所述选择步骤选定的象素和在该被选定象素附近的周围象素之间的第一相关性，还计算所述选择步骤选定的、被所述处理步骤进行了处理的象素和在该象素附近的周围象素之间的第二相关性；比较步骤，比较第一相关性和第二相关性；译码步骤，根据所述比较步骤得出的结果译码所述选择步骤选定的象素和嵌入该象素的信息。
27.一种提供使计算机能够执行把信息嵌入图象译码为原始图象和原始信息的处理的计算机程序的供给介质，所述计算机程序包括选择步骤，选择该信息嵌入图象的象素；处理步骤，对所述选择步骤选定的象素执行预定处理；相关性计算步骤，计算所述选择步骤选定的象素和在该被选定象素附近的周围象素之间的第一相关性，还计算所述选择步骤选定的、被所述处理步骤进行了处理的象素和在该象素附近的周围象素之间的第二相关性；比较步骤，比较第一相关性和第二相关性；译码步骤，根据所述比较步骤得出的结果译码所述选择步骤选定的象素和嵌入该象素的信息。
28.如权利要求27的供给介质，其中所述处理步骤对该象素的亮度分量和色度分量之一执行预定处理。
29.如权利要求27的供给介质，其中所述处理步骤从该象素的值中减去预定值。
30.如权利要求27的供给介质，其中所述译码步骤译码来自该象素的1比特信息。
31.如权利要求27的供给介质，其中所述译码步骤译码来自多个象素的1比特信息。
32.如权利要求27的供给介质，其中所述选择步骤按照棋盘图形从该信息嵌入图象中交替地选择象素。
33.一种包括发送通过嵌入信息获得的信息嵌入图象的发射机和接收来自所述发射机的信息嵌入图象并译码该图象的接收机的图象处理设备，所述发射机包括第一选择装置，选择图象的象素；第一处理装置，按照待嵌入信息对所述第一选择装置选定的象素执行处理，使得利用图象的相关性可再现该象素，从而在该象素中嵌入该待嵌入信息并输出信息嵌入图象，所述接收机包括第二选择装置，选择信息嵌入图象的象素；第二处理装置，对所述第二选择装置选定的象素执行预定处理；相关性计算装置，计算所述第二选择装置选定的象素和在该被选定象素附近的周围象素之间的第一相关性，还计算所述第二选择装置选定并被所述第二处理装置进行了处理的象素和在该象素附近的周围象素之间的第二相关性；比较装置，比较第一相关性和第二相关性；译码装置，根据所述比较装置得出的结果译码所述第二选择装置选定的象素和嵌入该象素的信息。
34.一种在包括发送通过嵌入信息获得的信息嵌入图象的发射机和接收来自所述发射机的信息嵌入图象并译码该图象的接收机的图象处理设备中使用的图象处理方法，所述方法包括以下步骤利用所述发射机选择图象的象素；利用所述发射机按照待嵌入信息对被选定象素执行处理，使得利用图象的相关性可再现该象素，从而在该象素中嵌入待嵌入信息并输出信息嵌入图象；利用所述接收机选择信息嵌入图象的象素；利用所述接收机对被选定象素执行预定处理；利用所述接收机计算选自信息嵌入图象的象素和在该被选定象素附近的周围象素之间的第一相关性，还计算选自信息嵌入图象并已被进行了预定处理的象素和在该象素附近的周围象素之间的第二相关性；利用所述接收机比较第一相关性和第二相关性；以及利用所述接收机根据比较的结果译码选自信息嵌入图象的象素和嵌入该象素的信息。
全文摘要
执行在图象中嵌入信息的处理的图象处理设备。该图象处理设备包括:选择单元,选择图象的象素,处理单元,按照待嵌入信息对选择单元选定的象素执行处理,使得利用图象的相关性可再现该象素。根据上述处理,待嵌入信息就被嵌入到了该象素之中。
文档编号H04N1/387GK1248132SQ9911751
公开日2000年3月22日 申请日期1999年8月6日 优先权日1998年8月6日
发明者近藤哲二郎, 田中健司, 渡边义教 申请人:索尼公司