专利名称：电子水印检测方法和电子水印检测装置的制作方法
技术领域：
本发明涉及电子水印检测技术，本发明特别涉及读取以不被人们察 觉的方式向影像内容中嵌入的副信息的电子水印检测技术。
背景技术：
当今的电子水印技术正在用于内容的著作权保护/管理系统和内容 相关服务提供系统等中。
具有如下的方法在图像、影像或者音频这样的内容进行流通之际，
为了实现内容的识别/管理和著作权保护/管理、相关信息提供等的目的， 使用不被察觉地在内容内部嵌入其他信息的电子水印技术。
例如还具有相机输入印刷物等的静止图像，根据输入图像来检测电 子水印以得到相关信息的使用方法(例如参照非专利文献1)。
进而，还具有实时地持续进行相机输入和电子水印检测，来提高检
测性能的方法(例如参照非专利文献2)。
非专利文献l:中村、片山、宫地、山下、山室「力乂，付告携帯 電話機企用^ ^卄一匕'7仲介0 t灼0電子透力> L検出方式」、情報科学 技術7才 一 ，厶FIT2003，N-020,2003年9月
非专利文献2:中村、宫武、林、片山、山室「力乂 ，入力画像力' 6 O U 7 A夕4厶電子透小L検出方式J、情報科学技術7才一，厶
FIT2004，J國036，2004年9月
发明内容
但是， 一直以来没有例如用带相机的移动电话等来拍摄电视画面等 的运动图像，从拍摄到的运动图像中实时地检测电子水印的处理那样的 方法。如果具有这种方法，则可以从电视所播放的画面中取得相关信息， 能够实现与运动图像内容可以实时连接的各种信息服务。但是，具有对
于相机拍摄所伴随的D/A转换和A/D转换等所产生的噪声，难以实现足 够的耐性的问题。另外，还具有难以对相机拍摄时所捕捉的帧图像的哪 个部分是电子水印的检测对象的情况进行确定的问题。
本发明是鉴于上述问题而完成的，其目的在于提供一种到目前还不 曾有过的如下的技术可以用相机拍摄电视等的运动图像，根据拍摄到 的运动图像实时地进行电子水印检测。进而，本发明的目的还在于提供 一种确定出根据捕捉到的帧图像中的哪个部分进行电子水印的检测为 好，从而即使在各种的拍摄角度和背景图像的条件下都能够可靠地进行 电子水印检测的技术。
上述课题可以使用电子水印嵌入方法来解决，该电子水印嵌入方法 用于在运动图像中嵌入电子水印的电子水印嵌入装置，该电子水印嵌入
方法的特征在于，该电子水印嵌入方法具有输入由帧图像组构成的运 动图像数据、水印信息、对水印图案的时间变化进行指定的水印图案切
换信息的步骤；帧图像取得步骤，在帧图像取得单元中，依次取得运动 图像数据的各帧图像和作为该帧图像的显示时刻的帧显示时刻；水印图 案生成步骤，在水印图案生成单元中，使用上述水印信息和上述帧显示 时刻以及上述水印图案切换信息来生成水印图案；水印图案重叠步骤， 在水印图案重叠单元中，将上述水印图案重叠在上述帧图像上；以及运 动图像数据再构成步骤，将依次重复进行在上述帧图像取得单元中的处 理、在上述水印图案生成单元中的处理和在上述水印图案重叠单元中的 处理而得到的嵌入有水印的帧图像组结合起来生成嵌入有水印的运动图 像数据。
在上述水印图案生成步骤中，可以以一定时间周期重复上述水印图 案的切换的定时。另外，上述水印图案生成步骤可以具有如下的步骤使用上述水印 信息和上述帧显示时刻以及上述水印图案切换信息来生成对应于该水印 信息的水印图案；以及还使用上述帧显示时刻和上述水印图案切换信息, 生成用于在检测时推定该水印图案的时间变化状态的相位判断用水印图 案，将把该相位判断用水印图案复用于与上述水印信息对应的水印图案 而得到的图案作为水印图案。
另外，本发明还通过如下的电子水印嵌入方法来解决，该电子水印 嵌入方法用于在运动图像中嵌入电子水印的电子水印嵌入装置，该电子 水印嵌入方法的特征在于，该电子水印嵌入方法具有输入由帧图像组 构成的运动图像数据、水印信息、作为对水印图案的相位变动进行指定 的周期信息的水印图案切换信息的步骤；帧图像取得步骤，在帧图像取 得单元中，依次取得上述运动图像数据的各帧图像和作为该帧图像的显
示时刻的帧显示时刻；水印图案生成步骤，在水印图案生成单元中，使 用上述水印信息和上述帧显示时刻以及上述水印图案切换信息来生成水 印图案；水印图案重叠步骤，在水印图案重叠单元中，将上述水印图案 重叠在上述帧图像上；以及运动图像数据再构成步骤，将依次重复进行 上述帧图像取得步骤至上述水印图案重叠步骤而得到的嵌入有水印的帧 图像组结合起来生成嵌入有水印的运动图像数据。
在上述电子水印嵌入方法中，上述水印图案生成步骤可以具有使 用上述水印信息来生成基本水印图案的基本水印图案生成步骤；以及使 用上述帧显示时刻和上述水印图案切换信息，对之前的水印图案施加由 上述基本水印图案确定的相位变动来生成新的水印图案的步骤。
上述水印图案生成步骤可以具有使用上述水印信息来生成基本水 印图案的基本水印图案生成步骤；根据上述基本水印图案的像素值来生 成符号图案的符号图案生成步骤；水印图案切换相位变动值计算步骤， 使用上述帧显示时刻和上述水印图案切换信息，求出对应于与之前的帧 之间的时间差分的水印图案切换相位变动值；水印相位图案生成步骤， 对上述水印图案切换相位变动值赋予在上述符号图案生成步骤中生成的 上述符号图案的各要素的符号，将其作为与之前的水印相位图案之间的相位差分来生成相对于当前帧的水印相位图案；以及根据上述水印相位 图案生成水印图案的水印相位图案图像化步骤(watermark phase pattern imaging step)。
另外，上述水印图案生成步骤可以具有如下的步骤在根据上述水 印相位图案生成上述水印图案时，根据上述基本水印图案的各像素值来 增减与水印图案对应的像素值的振幅。
另外，上述水印图案生成步骤可以具有如下的步骤使上述基本水 印图案所表示的相位差分变动与从图像的多个分量中得到的坐标系上的 旋转量对应起来，以通过相位差分变动而旋转得到的新的多个分量值为 基础，生成上述水印图案。
在上述电子水印嵌入方法中，可以使用图像的Cb-Cr分量作为上述
图像的多个分量。
另外，上述水印图案生成步骤可以具有如下的步骤使用上述水印 信息和上述帧显示时刻以及上述水印图案切换信息，将该水印信息分割 为数据块；以及以由上述帧显示时刻和上述水印图案切换信息确定的数 据块ID和该数据块ID的数据块信息为基础来生成水印图案。
另外，上述水印图案生成步骤可以具有如下的步骤使用上述水印 信息和上述帧显示时刻以及上述水印图案切换信息，将该水印信息分割 为数据块；以及在以由上述帧显示时刻和上述水印图案切换信息确定的 数据块ID和该数据块ID的数据块信息为基础来生成上述水印图案时， 将上述数据块ID兼用作相位判断用水印信息来生成水印图案。
上述水印图案重叠步骤可以具有如下的步骤将上述水印图案的大 小改变为上述帧图像的大小以下的大小而将上述水印图案重叠于该帧图 像的内部。
在上述电子水印嵌入方法中，上述水印图案生成步骤可以具有如下 的步骤使用上述水印信息来生成基本水印图案；还将在电子水印检测 时用于检测对象区域提取的定位用的图案追加到基本水印图案中；以及 使用上述帧显示时刻和上述水印图案切换信息来改变基本水印图案，从 而生成水印图案。在上述电子水印嵌入方法中，上述水印图案生成步骤可以具有如下 的步骤通过已有的2维码将上述水印信息调制为基本水印图案，根据 该基本水印图案使用上述帧显示时刻和上述水印图案切换信息来生成水
印图案。
另外，在上述电子水印嵌入方法中，上述电子水印嵌入装置具有多 个水印图案生成单元，在上述电子水印嵌入步骤中，各个上述水印图案 生成单元生成不同的水印图案，上述水印图案重叠单元将多个上述水印 图案重叠于帧图像内。
上述水印图案重叠步骤可以具有动作越多的帧图像就越放大水印图 案的振幅的步骤。
另外，上述水印图案重叠步骤可以具有如下的步骤将以前输入的 帧图像保持在存储单元内，生成此次输入的帧图像和以前的帧图像之间 的差分图像，根据该差分图像的像素值来放大基本水印图案的振幅。
另外，在上述电子水印嵌入方法中，上述水印图案重叠步骤可以具 有放大水印图案整体的振幅的步骤。
进而，上述水印图案重叠步骤可以具有放大帧图像中的对应于动作 大的像素区域的水印图案的像素区域的步骤。
另外，上述课题可以使用电子水印检测方法来解决，该电子水印检 测方法用于从运动图像中检测出电子水印的电子水印检测装置，该电子 水印检测方法的特征在于，该电子水印检测方法具有运动图像输入步 骤，在运动图像输入单元中，依次取得帧图像；差分图像生成步骤，在 差分图像生成单元中，生成此次取得的上述帧图像和以前取得的帧图像 之间的差分图像；以及电子水印检测步骤，在电子水印检测单元中，从 上述差分图像中检测出电子水印，输出电子水印的检测状况，在包含无 法检测上述电子水印的情况在内的要继续执行电子水印检测处理的情况 下，用上述运动图像输入单元重新取得新的帧图像，重复上述的各步骤。 在上述电子水印检测方法中，可以根据在上述电子水印检测步骤中 得到的水印信息来得到数据块ID和数据块信息，将检测出的数据块信息 记录在检测水印信息缓存的该数据块ID的信息中，当对所有的数据块ID结束了检测的情况下，输出表示电子水印检测成功的内容。
另外，上述运动图像输入步骤可以具有依次取得上述帧图像和作为 该帧图像的显示时刻的帧显示时刻的步骤，上述电子水印检测方法还具 有判断步骤，在该判断步骤中，使用在电子水印嵌入时的水印图案切换 信息，根据此次的帧显示时刻和以前取得的帧图像的帧显示时刻之间的 时间间隔来判断是否需要进行检测，当在判断步骤中判断为不需要进行 检测的情况下，在上述运动图像输入单元中重新取得新的帧图像，在判 断为需要进行检测的情况下，继续执行上述差分图像生成步骤之后的处 理。
另外，上述电子水印检测方法可以具有捕捉定时控制步骤，在该捕 捉定时控制步骤中，使用在电子水印嵌入时的水印图案切换信息，来设 定帧的捕捉定时，在上述运动图像输入单元中根据上述捕捉定时来依次 取得帧图像。
另外，上述电子水印检测方法可以具有如下的步骤使用在电子水 印嵌入时的水印图案切换信息，来设定表示用于得到差分图像的帧之间 的时间间隔的差分定时，在上述运动图像输入单元中，依次取得上述帧 图像和该帧显示时刻，在上述差分图像生成单元中，生成此次取得的帧 图像和在比此次早由上述差分定时指定的时间的时刻取得的帧图像之间 的差分图像。
另外，上述电子水印检测方法中，上述电子水印检测步骤可以具有 如下的步骤判断嵌入于上述差分图像中的水印图案的相位，当水印图 案的相位与上述差分图像的相位相反时，进行检测出的水印信息的位反
转(bitreversal),输出电子水印的检测状况。
在上述差分图像生成步骤中可以将上述差分图像相加到差分图像蓄 积缓存中，在上述电子水印检测步骤中，从上述差分图像蓄积缓存中检 测出电子水印来检测出水印信息，从而输出检测状况。
另外，上述电子水印检测方法可以具有如下的步骤判断嵌入于上 述差分图像中的水印图案的相位；以及改变差分图像，以在依次得到处
理的所有差分图像中，相应的相位变得相同，并且，在上述电子水印检测方法中，使用在这些步骤中得到的差分图像执行上述差分图像生成步 骤和上述电子水印检测步骤。
上述电子水印检测步骤可以具有如下的步骤在每次进行检测处理 时，将在检测时计算出的相关值蓄积在存储单元内，使用所蓄积的相关 值来判断检测是否成功。
另外，上述电子水印检测步骤可以具有如下的步骤在每次进行检 测处理时，将在检测时计算出的相关值的绝对值蓄积在存储单元内，使 用所蓄积的该相关值的绝对值来判断检测是否成功。
另外，所述电子水印检测方法可以具有如下的步骤根据在嵌入时 所用的水印图案切换信息与在帧图像取得时得到的帧显示时刻之间的关 系来判断差分图像中的水印图案的相位。
还可以具有如下的步骤对水印信息中的预定的位位置(bit position) 上的位值(bitvalue)进行检测，根据该位值判断该差分图像中的水印图
案的相位，其中，所述水印信息是由嵌入在上述差分图像中的水印图案 来得以表现的。
另外，所述电子水印检测方法可以具有通过检测相位判断用水印来 判断上述差分图像中的水印图案的相位的步骤。
另外，所述电子水印检测方法可以具有使用由水印检测处理计算出 的相关值的正负的极性来判断上述差分图像中的水印图案的相位的步
另外，所述电子水印检测方法可以具有如下的步骤从上述差分图
像中检测出电子水印，从而检测出作为水印信息的数据块信息和数据块
ID,使用在数据块ID检测时的相关值的正负的极性来判断嵌入于上述差
分图像中的水印图案的相位。
上述差分图像生成步骤可以具有如下的步骤生成此次取得的帧图
像与以前取得的帧图像之间的差分图像，还根据该差分图像中的特定分 量求出相位值和振幅值，判断该相位值属于给定的多组中的哪一组，以 其判断结果和该振幅值为基础修改该差分图像而对该差分图像进行输 出。另外，在上述电子水印检测方法中，上述差分图像生成步骤可以具 有如下的步骤生成此次取得的帧图像和从图像存储单元中读取出的以 前取得的帧图像之间的差分图像(A)，将该此次取得的帧图像存储在该 图像存储单元中，上述电子水印检测方法具有相位差分计量步骤，在该 相位差分计量步骤中，根据此次取得的差分图像(A)生成相位图案，对 此次取得的相位图案和从相位图案存储单元中读取出的以前取得的相位 图案之间的相位差进行计量，根据相位差生成差分图像(B)，将该此次 取得的相位图案存储在该相位图案存储单元中，上述电子水印检测步骤 具有如下的步骤从上述差分图像(B)中检测出电子水印，输出电子水 印的检测状况。
另外，上述相位差分计量步骤可以具有如下的步骤在从上述差分 图像(A)中生成相位图案时，与相位值一起求出振幅值来作为相位图案 的要素值；对上述此次取得的相位图案与上述以前取得的相位图案之间 的相位差进行计量，根据相位差来确定符号；以及还根据上述此次取得 的相位图案和上述以前取得的相位图案的振幅值以及符号来生成上述差 分图像(B)。
另外，上述相位差分计量步骤可以具有如下的步骤在从上述差分 图像(A)中生成上述相位图案时，将相对于上述此次取得的相位图案和 上述以前取得的相位图案的振幅值递增的值作为振幅，根据将该振幅与 上述符号组合而得的值来生成上述差分图像(B)。
另外，在所述电子水印检测方法中，上述差分图像生成步骤中的上 述差分图像中的特定分量可以为多个分量。
另外，在上述相位差分计量步骤中，可以在从上述差分图像(A)得 到相位图案时，使用从该差分图像(A)中的多个分量得到的坐标系上的 相位和振幅。
作为上述差分图像中的特定分量可以使用Cb分量和Cr分量。 另外，上述电子水印检测方法还可以具有将上述差分图像(B)相加 到差分图像蓄积缓存中的步骤，电子水印检测步骤具有如下的步骤从 上述差分图像蓄积缓存中检测出电子水印，从而检测出水印信息，并输出检测状况。
另外，上述电子水印检测方法还可以具有如下的步骤针对依次取 得的上述帧图像，提取此次的帧图像中的检测对象区域，校正失真，对 大小进行归一化，从而生成检测对象区域图像，在上述差分图像生成步 骤中，生成此次取得的检测对象区域图像和以前取得的检测对象区域图 像之间的差分图像。
另外，上述电子水印检测方法还可以具有从依次取得的上述差分图 像中提取出检测对象区域来生成检测对象区域图像的步骤，在上述电子 水印检测步骤中，从上述检测对象区域图像中检测出电子水印，输出电 子水印的检测状况。
另外，上述电子水印检测方法还可以具有特征区域提取步骤，在 依次取得了上述帧图像之后，从上述帧图像中提取出特征区域，进行失 真校正和大小归一化来生成特征区域图像；上述差分图像生成步骤，生 成此次取得的特征区域图像和以前取得的特征区域图像之间的差分图 像；从上述差分图像中提取出检测对象区域来生成检测对象区域图像的 检测对象区域提取步骤；以及从上述检测对象区域中检测出电子水印的 上述电子水印检测步骤。
上述检测对象区域提取步骤可以具有如下的步骤在从上述差分图 像中提取出上述检测对象区域时，对该差分图像的像素值取绝对值来搜 索检测对象区域。
另外，上述检测对象区域提取步骤可以具有如下的步骤在从上述 差分图像中提取出上述检测对象区域时，使用在嵌入时附加到基本水印 图案上的定位图案来搜索检测对象区域。
另外，上述检测对象区域提取步骤可以具有如下的步骤限定于在 过去的电子水印检测尝试中当检测状况良好时的检测对象区域的附近区 域来进行搜索，从而进行此次的检测对象区域提取处理。
另外，上述检测对象区域提取步骤可以具有使用上述定位图案来判 断上述差分图像中的水印图案的相位的步骤。
另外，上述检测对象区域提取步骤可以具有如下的步骤将上述差分图像相加蓄积到存储单元内，从所蓄积的该差分图像中搜索并提取出 检测对象区域。
另外，上述检测对象区域提取步骤可以具有如下的步骤在将上述 差分图像相加蓄积在上述存储单元内时，使该差分图像中的水印图案的 相位变得一致后进行相加蓄积。
而且，上述课题通过这样一种电子水印检测方法也可以得到解决， 该电子水印检测方法用于从运动图像中检测出电子水印的电子水印检测 装置，该电子水印检测方法的特征在于，该电子水印检测方法具有帧 图像取得步骤，在运动图像输入单元中，依次取得帧图像；特征区域提 取步骤，在特征区域提取单元中，提取出帧图像中的特征区域来取得特 征区域图像；差分图像生成步骤，在差分图像生成单元中，生成此次取 得的特征区域图像与从特征区域图像缓存中读取出的以前取得的特征区 域图像之间的差分图像来取得差分图像(A)，并且将该此次取得的特征 区域图像存储在该特征区域图像缓存中；相位差分计量步骤，在相位差 分计量单元中，根据此次取得的差分图像(A)来生成相位图案，计量此 次取得的相位图案与从相位图案缓存中读取出的以前取得的相位图案之 间的相位差，根据相位差和振幅来生成差分图像(B)，并且将该此次取 得的差分图像(A)存储在该相位图案缓存中；检测对象区域提取步骤， 在检测对象区域提取单元中，对上述差分图像(B)按照各像素进行像素 值的相加蓄积，从由相加蓄积而得到的差分图像(B)蓄积缓存中提取检 测对象区域，取得检测对象区域图像；电子水印检测步骤，在电子水印 检测单元中，从上述检测对象区域图像中检测出电子水印，输出电子水 印的检测状况；以及执行如下处理的步骤在包含无法检测电子水印的 情况在内的要继续执行电子水印检测处理的情况下，用上述运动图像输 入单元重新取得新的帧图像，重复上述的各步骤。
上述检测对象区域提取步骤可以具有如下的步骤在从由相加蓄积 而得到的上述差分图像(B)蓄积缓存中提取检测对象区域时，可以从对 上述差分图像(B)蓄积缓存的像素值取绝对值而得到的值中提取检测对 象区域，将取绝对值之前的差分图像(B)蓄积缓存的检测对象区域的图像作为检测对象区域图像。
可以在上述检测对象区域提取步骤中提取出多个检测对象区域，在 上述电子水印检测步骤中，对上述多个检测对象区域分别进行电子水印 检测尝试，输出检测结果。
另夕卜，上述电子水印检测步骤可以具有在检测水印信息时使用已有 的2维码的解码处理来检测水印信息的步骤。
另外，所述电子水印检测方法可以具有如下的步骤对于由差分处 理生成的上述差分图像进一步进行滤波处理，输出经过滤波处理后的差 分图像。可以使用非线性滤波器进行上述滤波处理。
另外，所述电子水印检测方法中，作为输入的运动图像可以是由相 机进行拍摄而捕捉到的影像信号。
另外，可以具有如下的步骤通过外部输出单元以视频或者音频的 方式进行对应于检测对象区域提取状况、电子水印检测状况、数据块检 测状况之中的某一个或者多个处理状况的反馈输出。
另外，在上述检测对象区域提取步骤中，可以还生成表示检测对象 区域的大小和位置的检测对象区域信息，上述电子水印检测方法具有缩 放(zoom)处理步骤，在该縮放处理步骤中，根据上述检测对象区域信 息，设定縮放参数，以使检测对象区域的像素大小成为给定的像素大小， 将该缩放参数提供给上述运动图像输入单元来进行缩放处理。
上述縮放处理步骤可以具有如下的步骤在上述电子水印检测步骤 中的检测状况良好时，根据上述检测对象区域信息，设定縮放参数，以 使检测对象区域的像素大小成为给定的像素大小，并将该縮放参数提供 给上述运动图像输入单元来进行縮放处理。
作为输入的运动图像可以是通过由相机实时地进行拍摄而捕捉到显 示在显示器上的状态来得到的图像，该电子水印检测方法具有如下的步 骤根据电子水印检测所得到的水印信息，取得所显示的运动图像的相 关信息。
而且，根据本发明，可以提供适于上述方法的实施的电子水印嵌入 装置、电子水印检测装置、程序以及记录有程序的记录介质。根据本发明，可以提供一种可以用相机拍摄电视等的运动图像，从 拍摄到的运动图像中实时地进行电子水印检测的技术。进而，其还可以 提供一种确定从捕捉到的帧图像中的哪个部分进行电子水印的检测为 好，即使在各种的拍摄角度和背景图像的条件下都能够可靠地进行电子 水印检测的技术。
图1A是实施方式的概要A的电子水印嵌入方法的流程图。
图IB是实施方式的概要A的电子水印检测方法的流程图。
图2A是实施方式的概要A的电子水印嵌入装置的结构图。
图2B是实施方式的概要A的电子水印检测装置的结构图。
图3A是实施方式的概要B的电子水印嵌入方法的流程图。
图3B是实施方式的概要B的电子水印检测方法的流程图。
图4A是实施方式的概要B的电子水印嵌入装置的结构图。
图4B是实施方式的概要B的电子水印检测装置的结构图。
图5A是实施方式的概要C的电子水印嵌入方法的流程图。
图5B是实施方式的概要C的电子水印检测方法的流程图。
图6A是实施方式的概要C的电子水印嵌入装置的结构图。
图6B是实施方式的概要C的电子水印检测装置的结构图。
图7是本发明的第1实施方式的电子水印嵌入装置的结构图。
图8是本发明的第1实施方式的电子水印嵌入装置的动作的流程图。
图9是用于说明本发明的第1实施方式的帧图像取得部的处理的图。
图10是本发明的第1实施方式的水印图案生成部的结构图。
图11是本发明的第1实施方式的水印图案生成部的动作的流程图。
图12是用于说明本发明的第1实施方式的基本水印图案生成部的处
理的例子的图(之一)。
图13是用于说明本发明的第1实施方式的基本水印图案生成部的处
理的例子的图(之二)。
图14A是用于说明本发明的第1实施方式的水印图案切换信息的例子的图。
图14B是用于说明本发明的第1实施方式的水印图案切换信息的例 子的图。
图14C是用于说明本发明的第1实施方式的水印图案切换信息的例
子的图。
图15是用于说明本发明的第1实施方式的水印图案切换部的处理的 图(之一)。
图16是用于说明本发明的第1实施方式的水印图案切换部的处理的 图(之二)。
图17是用于说明本发明的第1实施方式的水印图案重叠部的处理的图。
图18是用于说明本发明的使用场景的图。
图19是本发明的第1实施方式的电子水印检测装置的结构图。
图20是本发明的第1实施方式的电子水印检测装置的动作的流程图。
图21是用于说明本发明的第1实施方式的检测对象区域提取部的处 理的图。
图22是用于说明本发明的第1实施方式的差分图像生成部的处理的图。
图23是用于说明本发明的第1实施方式的电子水印检测部的处理的 例子的图。
图24是用于说明本发明的第1实施方式的效果的图。
图25是本发明的第2实施方式的电子水印检测装置的结构图。
图26是本发明的第2实施方式的电子水印检测装置的动作的流程图。
图27是用于说明本发明的第2实施方式的是否需要检测判断部的处 理的图。
图28A是用于说明本发明的第2实施方式的效果的图。 图28B是用于说明本发明的第2实施方式的效果的图。图29是本发明的第3实施方式的电子水印检测装置的结构图。
图30是本发明的第3实施方式的电子水印检测装置的动作的流程图。
图31是用于说明本发明的第3实施方式的捕捉定时控制部的处理的 图(之一)。
图32是用于说明本发明的第3实施方式的捕捉定时控制部的处理的 图(之二)。
图33A是用于说明本发明的第3实施方式的效果的图。 图33B是用于说明本发明的第3实施方式的效果的图。 图34A是用于说明本发明的第4实施方式的基本水印图案生成部的 处理的图。
图34B是用于说明本发明的第4实施方式的基本水印图案生成部的 处理的图。
图35是本发明的第4实施方式的电子水印检测部的动作的流程图。 图36是用于说明本发明的第4实施方式的效果的图(之一)。 图37是用于说明本发明的第4实施方式的效果的图(之二)。 图38是用于说明本发明的第4实施方式的效果的图(之三)。 图39是用于说明本发明的第5实施方式的基本水印图案生成部的处 理的例子的图。
图40是本发明的第5实施方式的电子水印检测部的动作的流程图。 图41是本发明的第6实施方式的电子水印检测部的结构图。 图42是本发明的第6实施方式的电子水印检测部的动作的流程图。 图43是用于说明本发明的第6实施方式的差分图像相位判断部的处 理的图。
图44是用于说明本发明的第6实施方式的差分图像蓄积缓存的图。 图45是本发明的第7实施方式的电子水印检测部的结构图。 图46是本发明的第7实施方式的电子水印检测部的动作的流程图。 图47是用于说明本发明的第7实施方式的相关值缓存的相关处理的 内容的图。图48A是用于说明本发明的第7实施方式的可否检测判断部的处理 的内容的图。
图48B是用于说明本发明的第7实施方式的可否检测判断部的处理 的内容的图。
图49是本发明的第8实施方式的水印图案生成部的结构图。
图50是本发明的第8实施方式的水印图案生成部的动作的流程图。
图51是用于说明本发明的第8实施方式的水印信息分割部的处理的图。
图52A是用于说明本发明的第8实施方式的基本水印图案生成部的 处理的图。
图52B是用于说明本发明的第8实施方式的基本水印图案生成部的 处理的图。
图53是本发明的第8实施方式的电子水印检测装置的结构图。
图54是本发明的第8实施方式的电子水印检测装置的动作的流程图。
图55是本发明的第8实施方式的检测数据块蓄积部的结构图。
图56是本发明的第8实施方式的检测数据块蓄积部的动作的流程图。
图57是用于说明本发明的第8实施方式的检测数据块蓄积部的处理 的图(之一)。
图58是用于说明本发明的第8实施方式的检测数据块蓄积部的处理 的图(之二)。
图59是用于说明本发明的第9实施方式的基本水印图案生成部的处 理的例子的图。
图60是本发明的第9实施方式的电子水印检测部的动作的流程图。 图61是本发明的第10实施方式的电子水印检测部的结构图。 图62是本发明的第10实施方式的电子水印检测部的动作的流程图。 图63是本发明的第11实施方式的电子水印检测部的结构图。 图64是本发明的第11实施方式的电子水印检测部的动作的流程图。图65是本发明的第12实施方式的电子水印检测装置的结构图。 图66是本发明的第12实施方式的电子水印检测装置的动作的流程图。
图67是本发明的第12实施方式的电子水印检测装置的反馈输出的 例子(之一)。
图68是本发明的第12实施方式的电子水印检测装置的反馈输出的 例子(之二)。
图69是本发明的第12实施方式的电子水印检测装置的反馈输出的 例子。
图70是用于说明本发明的第13实施方式的水印图案重叠部的处理 的图。
图71是本发明的第13实施方式的电子水印检测装置的结构图。 图72是本发明的第13实施方式的电子水印检测装置的动作的流程图。
图73是用于说明本发明的第13实施方式的差分图像生成部的处理 的图。
图74是用于说明本发明的第13实施方式的检测对象区域提取部的 处理的图。
图75是用于说明本发明的第13实施方式的效果的图(之一)。 图76是用于说明本发明的第13实施方式的效果的图(之二)。 图77是用于说明本发明的第13实施方式的效果的图(之三)。 图78是用于说明本发明的第13实施方式的效果的图(之四)。 图79是用于说明本发明的第14实施方式的基本水印图案生成部的
处理的例子的图。
图80是用于说明本发明的第14实施方式的检测对象区域提取部的
处理的图。
图81A是用于说明本发明的第14实施方式的效果的图。 图81B是用于说明本发明的第14实施方式的效果的图。 图82是用于说明本发明的第14实施方式的基本水印图案生成部的处理的例子的图。
图83是用于说明本发明的第15实施方式的检测对象区域提取部的 处理的图。
图84是本发明的第16实施方式的电子水印检测装置的结构图。 图85是本发明的第16实施方式的电子水印检测装置的动作的流程图。
图86是用于说明本发明的第16实施方式的特征区域提取部的处理 的图(之一)。
图87是用于说明本发明的第16实施方式的特征区域提取部的处理 的图(之二)。
图88是用于说明本发明的第16实施方式的特征区域提取部的处理 的图(之三)。
图89是用于说明本发明的第16实施方式的特征区域提取部的处理 的图(之四)。
图90是用于说明本发明的第16实施方式的特征区域提取部的处理 的图(之五)。
图91是用于说明本发明的第16实施方式的差分图像生成部的处理 的图(之一)。
图92是用于说明本发明的第16实施方式的差分图像生成部的处理 的图(之二)。
图93是用于说明本发明的第16实施方式的差分图像生成部的处理 的图(之三)。
图94是用于说明本发明的第17实施方式的特征区域提取部的处理 的图。
图95是用于说明本发明的第17实施方式的检测对象区域提取部的 处理的图。
图96是用于说明本发明的第18实施方式的检测对象区域提取的处 理的图(之一)。
图97是用于说明本发明的第18实施方式的检测对象区域提取的处图98是用于说明本发明的第18实施方式的检测对象区域提取的处 理的图(之三)。
图99是用于说明本发明的第18实施方式的检测对象区域提取的处 理的图(之四)。
图100是本发明的第19实施方式的电子水印检测装置的结构图。 图101是本发明的第19实施方式的电子水印检测装置的动作的流程图。
图102是用于说明本发明的第19实施方式的检测对象区域提取部的 处理的图(之一)。
图103是用于说明本发明的第19实施方式的检测对象区域提取部的 处理的图(之二)。
图104是本发明的第19实施方式的电子水印检测装置的结构图。
图105是本发明的第19实施方式的电子水印检测装置的动作的流程图。
图106是用于说明本发明的第19实施方式的检测对象区域提取部的 处理的图(之一)。
图107是用于说明本发明的第19实施方式的差分图像生成部的处理 的图(之二)。
图108是用于说明本发明的第20实施方式的水印图案重叠部的处理 的图(之一)。
图109是用于说明本发明的第20实施方式的水印图案重叠部的处理 的图(之二)。
图110是用于说明本发明的第20实施方式的差分图像生成部的处理 的图。
图111是用于说明本发明的第20实施方式的检测对象区域提取部的 处理的图(之一)。
图112是用于说明本发明的第20实施方式的检测对象区域提取部的 处理的图(之二)。图113是本发明的第20实施方式的电子水印检测装置的反馈输出的 例子(之一)。
图114是本发明的第20实施方式的电子水印检测装置的反馈输出的 例子(之二)。
图115是本发明的第20实施方式的电子水印检测装置的反馈输出的 例子(之三)。
图116是本发明的第20实施方式的电子水印检测装置的反馈输出的 例子(之四)。
图117是用于说明本发明的第21实施方式的水印图案切换信息的例 子的图。
图118是用于说明本发明的第21实施方式的水印图案切换部的处理 的图。
图119是用于说明本发明的第21实施方式的水印图案切换部的处理 的图。
图120是用于说明本发明的第21实施方式的差分图像生成部的处理 的例子的图。
图121是用于说明本发明的第21实施方式的原理的图(之一)。 图122是用于说明本发明的第21实施方式的原理的图(之二)。 图123是用于说明本发明的第21实施方式的原理的图(之三)。 图124是用于说明本发明的第21实施方式的效果的图。 图125是用于说明本发明的第22实施方式的差分图像生成部的处理 的图。
图126A是用于说明本发明的第22实施方式的滤波处理的例子的图。 图126B是用于说明本发明的第22实施方式的滤波处理的例子的图。 图127是用于说明本发明的第23实施方式的水印重叠部的处理的图。
图128是用于说明本发明的第23实施方式的水印图案振幅调整的例 子的图。
图129是本发明的第24实施方式的电子水印检测装置的结构图。图130是本发明的第24实施方式的电子水印检测装置的动作的流程图。
图131A是用于说明本发明的第24实施方式的效果的图。 图131B是用于说明本发明的第24实施方式的效果的图。 图132是用于说明本发明的第25实施方式的水印图案切换信息的例 子的图。
图133是用于说明本发明的第25实施方式的水印图案切换部的处理 的图(之一)。
图134是用于说明本发明的第25实施方式的水印图案切换部的处理 的图(之二)。
图135是本发明的第25实施方式的电子水印检测装置的结构图。 图136是本发明的第25实施方式的电子水印检测装置的动作的流程图。
图137是用于说明本发明的第25实施方式的差分图像生成部的处理 的图。
图138是用于说明本发明的第25实施方式的相位差分计量部的处理
的内容的图(之一)。
图139是用于说明本发明的第25实施方式的相位差分计量部的处理
的内容的图(之二)。
图140A是用于说明本发明的第25实施方式的相位差分计量部的处
理的内容的图(之三)。
图140B是用于说明本发明的第25实施方式的相位差分计量部的处
理的内容的图(之三)。
图141是用于说明本发明的第25实施方式的效果的图(之一)。 图142是用于说明本发明的第25实施方式的效果的图(之二)。 图143是用于说明本发明的第25实施方式的效果的图(之三)。 图144是用于说明本发明的第25实施方式的效果的图(之四)。 图145是用于说明本发明的第25实施方式的效果的图(之五)。 图146是用于说明本发明的第25实施方式的效果的图(之六)。图147是用于说明本发明的第25实施方式的效果的图(之七)。 图148是用于说明本发明的第25实施方式的效果的图(之八)。 图149是用于说明本发明的第25实施方式的效果的图(之九)。 图150是用于说明本发明的第25实施方式的效果的图(之十)。 图151是用于说明本发明的第25实施方式的效果的图(之十一)。 图152是用于说明本发明的第25实施方式的效果的图(之十二)。 图153是用于说明本发明的第25实施方式的效果的图(之十三)。 图154是用于说明本发明的第25实施方式的效果的图(之十四)。 图155是用于说明本发明的第25实施方式的效果的图(之十五)。 图156是用于说明本发明的第25实施方式的效果的图(之十六)。 图157是用于说明本发明的第25实施方式的效果的图(之十七)。 图158是用于说明本发明的第25实施方式的效果的图(之十八)。 图159是用于说明本发明的第25实施方式的效果的图(之十九)。 图160是用于说明本发明的第25实施方式的效果的图(之二十)。 图161是用于说明本发明的第25实施方式的效果的图(之二十一)。 图162是本发明的第26实施方式的电子水印嵌入装置的结构图。 图163是本发明的第26实施方式的电子水印嵌入装置的动作的流程图。
图164是用于说明本发明的第26实施方式的帧图像取得部的处理的图。
图165是本发明的第26实施方式的水印图案生成部的结构图。
图166是本发明的第26实施方式的水印图案生成部的动作的流程图。
图167是用于说明本发明的第26实施方式的基本水印图案生成部的 处理的例子的图。
图168是本发明的第26实施方式的水印图案切换部的结构图。
图169是本发明的第26实施方式的水印图案切换部的动作的流程图。
图170是用于说明本发明的第26实施方式的水印图案切换信息的例子的图。
图171是用于说明本发明的第26实施方式的水印图案切换部的处理 的图。
图172是用于说明本发明的第26实施方式的水印相位图案图像化部 的处理的图。
图173是用于说明本发明的第26实施方式的水印图案重叠部的处理 的图。
图174是本发明的第26实施方式的电子水印检测装置的结构图。 图175是本发明的第26实施方式的电子水印检测装置的动作的流程图。
图176是用于说明本发明的第26实施方式的特征区域提取部的处理 的图。
图177是用于说明本发明的第26实施方式的差分图像生成部的处理 的图。
图178是用于说明本发明的第26实施方式的相位差分计量部的处理 的内容的图(之一)。
图179是用于说明本发明的第26实施方式的相位差分计量部的处理 的内容的图(之二)。
图180A是用于说明本发明的第26实施方式的相位差分计量部的处 理的内容的图(之三)。
图180B是用于说明本发明的第26实施方式的相位差分计量部的处 理的内容的图(之三)。
图181是用于说明本发明的第26实施方式的差分图像(B)蓄积缓 存的图。
图182是用于说明本发明的第26实施方式的检测对象区域提取部的 处理的图。
图183是用于说明本发明的第26实施方式的电子水印检测部的处理 的例子的图。符号说明
IOO电子水印嵌入装置；IIO帧图像取得部；120水印图案生成部； 121基本水印图案生成部；122水印图案切换部；123,水印信息分割部； 130水印图案重叠部；140运动图像数据再构成部；200电子水印检测装 置；210运动图像输入部；220检测对象区域提取部；230差分图像生成 部；240电子水印检测部；241差分图像相位判断部；242水印信息检测 部；243相关运算部；244可否检测判断部；246数据块ID检测部；247 数据块信息检测部；248数据块ID^n用差分图像蓄积缓存；249相关运 算部；250检测对象区域图像缓存；251数据块10=11用相关值缓存；255 差分图像蓄积缓存；260是否需要检测判断部；265反馈输出部；270捕 捉定时控制部；280检测数据块蓄积部；281检测数据块缓存部；282检 测结束确认部；283检测水印信息缓存；290特征区域提取部；301帧图 像缓存；302特征区域图像缓存；303差分帧图像缓存；304特征区域差 分图像缓存；310縮放处理部；360相位差分计量部；370相位图案缓存； 390差分图像(B)蓄积缓存；1221符号图案生成部；1222水印图案切 换相位变动值计算部；1223水印相位差分图案生成部；1224水印相位图 案生成部；1225水印相位图案图像化部
具体实施例方式
下面说明附图和本发明的实施方式。 [实施方式的概要]
首先说明实施方式的概要。图1A 图2B为表示实施方式的概要A 的图。
在图1A中表示了实施方式的概要A的电子水印嵌入方法的流程图。 该方式是在运动图像中嵌入电子水印的电子水印嵌入装置的电子水印嵌 入方法，首先将由帧图像组构成的运动图像数据、水印信息、水印图案 切换信息输入到电子水印嵌入装置中(步骤Al)。接着，电子水印嵌入 装置依次取得运动图像数据的各帧图像和该帧显示时刻(步骤A2)，使 用水印信息和帧显示时刻以及水印图案切换信息，生成水印图案(步骤A3)，将水印图案重叠在帧图像上(步骤A4)。然后，电子水印嵌入装置 将依次重复步骤A2到步骤A4而得到的嵌入有水印的帧图像组进行结合来 生成嵌入有水印的运动图像数据(步骤A5)。
图1B表示实施方式的概要A的电子水印检测方法的流程图。该方 法为从运动图像中检测出电子水印的电子水印检测装置的电子水印检测 方法，首先，依次取得帧图像(步骤A6)。接着，电子水印检测装置生 成此次取得的帧图像和以前取得的帧图像之间的差分图像(步骤A7), 从差分图像中检测出电子水印，输出电子水印的检测状况(步骤A8)。 而且，电子水印检测装置在包含无法检测电子水印的情况在内的继续执 行电子水印检测处理的情况下，用运动图像输入单元重新取得新的帧图 像，重复上述处理(步骤A9)。
图2A表示实施方式的概要A的电子水印嵌入装置的结构图。该电 子水印嵌入装置具有依次取得由所输入的帧图像组构成的运动图像数 据的各帧图像和该帧显示时刻的帧图像取得单元A110;使用所输入的水 印信息和帧显示时刻以及所输入的水印图案切换信息，生成水印图案的 水印图案生成单元A120;将水印图案重叠在帧图像上的水印图案重叠单 元A130;以及将依次重复从帧图像取得单元A110到水印图案重叠单元 为止的处理而得到的嵌入有水印的帧图像组进行结合来生成嵌入有水印 的运动图像数据的运动图像数据再构成单元A140。
图2B表示实施方式的概要A的电子水印检测装置的结构图。该电 子水印检测装置具有依次取得帧图像的运动图像输入单元A210;生成 此次取得的帧图像和以前取得的帧图像之间的差分图像的差分图像生成 单元A230;以及从差分图像中检测出电子水印，输出电子水印的检测状 况的电子水印检测单元A240。
图3A-图4B是表示实施方式的概要B的图。图3A表示实施方式的 概要B的电子水印嵌入方法的流程图。该方法为在运动图像中嵌入电子 水印的电子水印嵌入装置中的电子水印嵌入方法。首先，输入由帧图像 组构成的运动图像数据、水印信息、作为指定水印图案的相位变动的周 期信息的水印图案切换信息。然后，电子水印嵌入装置依次取得运动图像数据的各帧图像和该帧图像的显示时刻(步骤Bl)。接着，电子水印
嵌入装置使用水印信息和帧图像显示时刻以及水印图案切换信息，生成
水印图案(步骤B2)，将水印图案重叠在帧图像上(步骤B3)。然后，电 子水印嵌入装置将依次重复步骤B1-步骤B3所得的嵌入有水印的帧图像 组进行结合来生成嵌入有水印的运动图像数据(步骤B4)。
图3B表示实施方式的概要B的电子水印检测方法的流程图。该方 法为使用从运动图像中检测出电子水印的电子水印检测装置的电子水印 检测方法，首先依次取得帧图像(步骤Bll)。电子水印检测装置生成此 次取得的帧图像和从图像存储单元读取的以前取得的帧图像之间的差分 图像(A),将该此次取得的帧图像存储在该图像存储单元中(步骤B12)。 电子水印检测装置根据此次取得的差分图像(A)生成相位图案，对此次 取得的相位图案和从相位图案存储单元读取的以前取得的相位图案之间 的相位差进行计量，根据相位差来生成差分图像(B)，将该此次取得的 相位图案存储在该相位图案存储单元中(步骤B13)。然后，电子水印检 测装置从差分图像(B)中检测出电子水印，输出电子水印的检测状况(步 骤B14)，在继续执行电子水印检测处理的情况下，重新取得新的帧图像 来重复上述处理(步骤B15)。
图4A表示实施方式的概要B的电子水印嵌入装置的结构图。该电 子水印嵌入装置具有依次取得由所输入的帧图像组构成的运动图像数 据的各帧图像和该帧图像的显示时刻的帧图像取得单元B110;使用所输 入的水印信息和帧图像显示时刻以及作为指定水印图案的相位变动的周 期信息的水印图案切换信息，来生成水印图案的水印图案生成单元B120; 将水印图案重叠于帧图像上的水印图案重叠单元B130;以及结合嵌入有 水印的帧图像组来生成嵌入有水印的运动图像数据并输出的运动图像数 据再构成单元B140。
图4B表示实施方式的概要B的电子水印检测装置的结构图。该电 子水印检测装置具有依次取得帧图像的运动图像输入单元B210;生成 此次取得的帧图像和从图像存储单元读取的以前取得的帧图像之间的差 分图像(A)，将该此次取得的帧图像存储在该图像存储单元B250中的差分图像生成单元B230;根据此次取得的差分图像(A)生成相位图案, 对此次取得的相位图案和从相位图案存储单元B370读取的以前取得的 相位图案之间的相位差进行计量，根据相位差生成差分图像(B)，将该 此次取得的相位图案存储在该相位图案存储单元中的相位差分计量单元 B360;以及从差分图像(B)中检测出电子水印，输出电子水印的检测状 况的电子水印检测单元B240。
图5A-图6B是表示实施方式的概要C的图。图5A表示实施方式的 概要C的电子水印嵌入方法的流程图。该方法为使用将电子水印嵌入到 运动图像中的电子水印嵌入装置的电子水印嵌入方法，首先向电子水印 嵌入装置输入由帧图像组构成的运动图像数据、水印信息、水印图案切 换信息(步骤Cl)。然后，电子水印嵌入装置依次取得运动图像的各帧 图像和该帧显示时刻(步骤C2)，使用水印信息和帧显示时刻以及水印 图案切换信息，生成水印图案(步骤C3)。电子水印嵌入装置将水印图 案的大小变更为帧图像以下的大小，将水印图案重叠于帧图像的内部(步 骤C4)，将依次重复步骤C2到步骤C4而得到的嵌入有水印的帧图像组 结合起来生成嵌入有水印的运动图像数据(步骤C5)。
图5B表示实施方式的概要C的电子水印检测方法的流程图。该方 法为从运动图像中检测出电子水印的电子水印检测装置的电子水印检测 方法，首先依次取得帧图像(步骤C6)。电子水印检测装置生成此次取 得的帧图像和以前取得的帧图像之间的差分图像(步骤C7)，从差分图 像中提取出检测对象区域来生成检测对象区域图像(步骤C8)。然后， 电子水印检测装置从检测对象区域图像中检测出电子水印，输出电子水 印的检测状况(步骤C9)，在根据检测状况继续执行电子水印检测处理 的情况下，重新取得新的帧图像，重复上述处理(步骤CIO)。
图6A表示实施方式的概要C的电子水印嵌入装置的结构图。该电 子水印嵌入装置具有依次取得运动图像数据的各帧图像和帧显示时刻 的帧图像取得单元C110;使用所输入的水印信息和水印图案切换信息以 及帧显示时刻来生成水印图案的水印图案生成单元C120;将水印图案大 小变更为帧图像以下的大小，将水印图案重叠于帧图像的内部的水印图案重叠单元C130;以及将依次重复上述处理而得到的嵌入有水印的帧图 像组结合起来生成嵌入有水印的运动图像数据的运动图像数据再构成单
元C140。
图6B表示实施方式的概要C的电子水印检测装置的结构图。该电 子水印检测装置具有依次取得帧图像的运动图像输入单元C210;生成
此次取得的帧图像和以前取得的帧图像之间的差分图像的差分图像生成
单元C230;从差分图像中提取出检测对象区域来生成检测对象区域图像 的检测对象区域提取单元C220;以及从检测对象区域图像中检测出电子 水印，输出电子水印的检测状况的电子水印检测单元C240。
<电子水印嵌入装置>
图7表示本发明的第1实施方式的电子水印嵌入装置的结构。
该图所示的电子水印嵌入装置100具有帧图像取得部110、水印图案 生成部120、水印图案重叠部130、以及运动图像数据再构成部140。
在帧图像取得部110中输入有原始运动图像数据，在水印图案生成 部120中输入有水印信息和水印图案切换信息。另外，运动图像数据再 构成部140输出嵌入有水印的运动图像数据。
下面说明电子水印嵌入装置100的动作。
图8表示本发明的第1实施方式的电子水印嵌入装置的动作的流程图。
步骤110)如图9所示，帧图像取得部110从原始运动图像数据中依 次分别取得一张帧图像和一个相应的帧显示时刻。此处，所谓帧显示时 刻，例如既可以表示根据时间代码和再现时的帧速率来确定的运动图像 的起始处起的绝对时刻，或者也可以为赋予各个帧的连号等测量了再现 时的帧之间的相对时间间隔的时刻。帧图像取得部110在输入运动图像 数据为MPEG等的编码数据的情况下，进行解码来取得帧图像。
步骤120)在水印图案生成部120中输入有水印信息和水印图案切 换信息，使用水印信息、帧显示时刻、以及水印图案切换信息来生成水 印图案。步骤130)在水印图案重叠部130中，将在水印图案生成部120中
生成的水印图案重叠于上述的帧图像上来生成嵌入有水印的帧图像。
步骤140)最后，在运动图像数据再构成部140中，将依次生成的
嵌入有水印的帧图像串，作为运动图像数据进行再构成之后作为嵌入有 水印的运动图像数据来输出。此时，如果需要也可以进行MPEG编码等 的编码。
接着详细说明水印图案生成部120。
图IO表示本发明的第1实施方式的水印图案生成部的结构。 水印图案生成部120具有基本水印图案生成部121和水印图案切换 部122。
图11为本发明的第1实施方式的水印图案生成部的动作的流程图。 步骤121)当输入了水印信息时，基本水印图案生成部121将该水 印信息转换为作为2维图案的基本水印图案。
如图12所示，该转换的方法可以使用通常的用于静止图像的电子水 印技术 中所用的方法、例如可以使用「中村、片山、山室、曾根原「力 乂 ，付携帯電話機全用L、 & 7 t a夕'画像力> 6 O高速電子透力'L方式」、 信学論(D-n)、 Vol.J87-D-II，No.l2，pp.2145—2155、 2004年12月」(下
面记作文献l)中所述的方法。作为该方法，具有根据通过用扩展序列
对水印信息的位值进行直接光谱扩散调制所得到的序列的值，来使其与
像素值的大小对应起来的方法(图12:调制方法(A-l))、切换块的波形
图案的方法(图12:调制方法(A-2))、或者将序列的项的值对应于2 个块而用像素值有无变化来表示值的方法(图12:调制方法(A-3))、用 波形图案的相位变化的有无来表示的方法(图12:调制方法(A-4))等。 而且，进行(图12: A-3)、(图12: A-4)那样的调制时，可以将对应于 序列的项的2个块的位置各错开1个块， 一边使其重合一边进行调制。
或者如图13的例子所示，还考虑到如下的做法将水印信息划分为
某程度的长度的码元(在图13中将1位划分为1个码元)，使其与按照
各个码元的能够取到的每个值而不同的独立的扩散序列对应起来，将它
们连接或者重叠而进行复用(未图示)，将如此得到的序列的值与图12的情况同样地转换为2维图案。而且，还考虑到相机捕捉时的分辨率变
低的情况，这些基本水印图案优选将块的大小取得较大，或是将波形图
案设为低频图案。另外，在图12和图13中，把对水印信息进行了光谱 扩散调制的结果直接进行像素图案化，但也可以像文献2 "T.Nakamura, H.Ogawa, A.Tomioka， Y.Takashima, "Improved digital watermark robustness against translation and/or cropping of an image area", 正ICE Trans， Fundamentals, vol.E83-A, No.l, pp.68-76，Jan.2000"(下面记作文献2)那 样在频率空间内同样进行，用逆正交转换来进行图像图案化。无论如何， 只要是以相加的方式重叠于图像上的类型的电子水印方式就可为任意形 式。
下面为了说明，设基本水印图案的各像素值具有正负的值，像素值 的平均值为0。可知，如果使任意的基本水印图案的平均值移位，则可以 很容易得到上述结果。
步骤122)水印图案生成部120接着在水印图案切换部122中根据 帧显示时刻和图案切换的信息之间的关系，来判断是否需要反转基本水 印图案的相位。
步骤123)当需要相位反转时，反转基本水印图案的相位，作为水 印图案输出。
步骤124)当不需要相位反转时，将基本水印图案直接作为水印图 案输出。
图14A-C表示本发明的第1实施方式的水印图案切换信息的例子。 水印图案切换信息是表示相对于运动图像的再现时的时间轴而如何改变 基本水印图案的相位的信息，可以像图14A那样指示为按照一定时间使 基本水印图案进行反转，或者像图14B那样指示为按照某时间单位进行 随机反转，或者像图14C那样指示为按照复杂的定时进行反转。由于通 过随机切换等复杂的图案而使得分析变得困难，所以在著作权保护等以 安全性目的下使用本发明的情况下，对于攻击龟子水印增加了安全性。 而且，在图14A-C的例子中只表示了使用相位0和;r的2个值来取为矩 形的情况，但例如也可以使用正弦曲线等平滑地改变相位的形状。图15是用于说明本发明的第1实施方式的水印图案切换部的处理的 图。在该图中，表示使用上述的调制方法(A-l)的情况。假设为如下情
况水印图案切换部122将水印图案切换信息、帧显示时刻和基本水印
图案作为输入，如图15那样指示为使水印图案切换信息每隔1/10秒进行 反转。另外，原始运动图像如果按照30帧/秒来进行再现，则每隔3帧进 行相位反转。如果设当在水印图案切换信息的时间轴上取了此时由帧图 像取得部110取得的帧显示时刻t时，用水印图案切换信息表示的相位为 ;r，则该情况下，将对基本水印图案的相位进行了反转而得到的图案作为 针对该帧显示时刻的水印图案。
而且，由于基本水印图案具有正负的像素值，平均值为0，所以可 以通过对各像素值乘以"-l"来得到相位反转。另外，当在水印图案切换 信息的时间轴上取了帧显示时刻t'时的相位为0时，基本水印图案的相位 变化量为0、即不使其变化地直接作为水印图案输出。
而且，如图16所示，由于对于像素值的振幅进行水印图案切换部 122的相位调制，所以例如调制方法(A-2)那样为按照每个块使用了波 形图案的基本水印图案的情况下，波形的朝向不发生变化，成为像素值 反转的形式。另外，用水印图案切换信息表示的水印图案的相位变化由 于抑制了嵌入有水印的运动图像的画质恶化，所以优选在某一程度的时 间区间(例如l秒之间)的范围内，没有向正相位和逆相位的偏离。艮卩， 优选是将相位偏离设为O而按照时间区间对图14的曲线图显示的横轴进 行积分得到的值为0。
关于仅有反转/不反转的水印图案切换的情况而言，优选时间区间内 的反转/不反转的时间的合计大致相同。
接着详细说明水印图案重叠部130。
图17是用于说明本发明的第1实施方式的水印图案重叠部的处理的图。
水印图案重叠部130输入根据帧图像和相应的帧显示时刻所生成的 水印图案。在水印图案重叠部130中，首先，将水印图案拉伸至帧图像 的大小，之后与帧图像相加，得到嵌入有水印的帧图像。通过在相加之前在适当增减水印图案的振幅之后开始进行相加，从而可以调整电子水
印的耐性和画质恶化之间的权衡(trade off balance)。另外，在将水印图 案与帧图像相加时，关于与何种分量相加也能具有各种方式。例如，与 帧图像的亮度值相加或者与RGB色系的Blue分量相加。与CMYK色系 的Yellow分量相加。是如下的各种方式:与HSV色系的Hue分量相加， 与YCbCr色系的Cb分量相加等。另外，也可能水印图案的1个像素不 是一个值，而是具有两个值那样的使用多个分量的水印图案的情况，此 时，例如可以对RGB色系的Red分量和Green分量分别加上水印图案的 各平面的像素值等来改变多个分量。
最后详细说明运动图像数据再构成部140。
运动图像数据再构成部140将通过上述处理依次生成的嵌入有水印 的帧图像作为运动图像数据进行再构成，作为嵌入有水印的运动图像数 据输出。在进行再构成时，也可以进行MPEG编码等的编码。
以上是本实施方式的水印嵌入装置100的说明。
此处说明本实施方式的使用场景。
图18是用于说明本发明的第1实施方式的使用场景的图。
上述说明过的嵌入有水印的运动图像数据例如通过电视播放等在电 视显示装置上得以再现(1)。当受众使用关于视听节目的信息服务时， 例如将带相机的移动电话等的相机朝向电视的显示画面开始拍摄(2)。 通过拍摄使视频帧实时地依次被捕捉输入到移动电话上，从其帧组中检 测出电子水印(3)。以检测出的电子水印的信息为基础，例如可以使用 取得网络上的信息资源等的相关信息服务(4)。
<电子水印检测装置>
下面说明电子水印检测装置。
图19表示本发明的第1实施方式的电子水印检测装置的结构。 该图所示的电子水印检测装置200A具有运动图像输入部210、检 测对象区域提取部220、差分图像生成部230、电子水印检测部240、以 及检测对象区域图像缓存250。在运动图像输入部210中输入有显示于电 视等显示器上的模拟运动图像或者被MPEG编码后的数字运动图像，电子水印检测部240输出检测结果。
图20表示本发明的第1实施方式的电子水印检测装置的动作的流程图。
步骤201)在运动图像输入部210中，当输入了模拟或者数字运动 图像时，依次取得帧图像。在输入模拟运动图像时，进行相机、扫描仪 或者模拟视频信号等的输入，取得帧图像，另外如果是数字运动图像， 则进行解码处理等而取得帧图像。
步骤202)接着，在检测对象区域提取部220中，提取依次输入的 各帧图像中的成为水印检测对象的检测对象区域，取得检测对象区域图
步骤203)然后，在差分图像生成部230中，生成当前取得的检测 对象区域图像和蓄积在检测对象区域图像缓存250中的以前取得的检测 对象区域图像之间的差分图像。
步骤204)另外，为准备接下来的检测尝试，差分图像生成部230 将此次的检测对象区域图像缓存到检测对象区域图像缓存250中。
步骤205)在电子水印检测部240中，尝试从差分图像中检测出电 子水印，输出检测结果。当电子水印检测不成功时，在运动图像输入部 210中，取得下一个帧图像，依次重复上述处理。
下面详细说明检测对象区域提取部220的处理。
图21是用于说明本发明的第1实施方式的检测对象区域提取部的处 理的图。
检测对象区域提取部220将帧图像作为输入。在图21中表示相机输 入的例子。在相机输入时，由于拍摄角度所产生的平面射影转换或手抖 等而使帧图像中的检测对象区域以各种形态呈现畸变而发生变化。因此， 在检测对象区域提取部220中，例如使用「片山、中村、山室、曾根原 「電子透力'^読^取"90户j灼0 i 7 7'y高速-一于一検出7 夂
厶」、信学論(D-II) ,Vol.J88—D國II，No.6，pp,1035 —1046，2005年6月」(下
面记作文献3)所述那样的边缘检测/角检测等的方法来对捕捉到的每个 帧图像检测出TV的显示区域等。为了接下来进行的差分图像生成，校正检测出的显示区域的平面射影失真(plane projection distortion),进而把 归一化了图像大小而成为一定大小的图像作为检测对象区域图像输出。 而且，在输入NTSC等的模拟视频信号或输入MPEG等的数字运动图像 的情况下，不需要对帧中生成的失真进行处理，或进行仅切取帧图像中 的一部分的处理，将帧图像直接作为检测对象区域图像输出即可。 接下来详细说明差分图像生成部230。
图22是用于说明本发明的第1实施方式的差分图像生成部的处理的图。
差分图像生成部230将检测对象区域图像作为输入。差分图像生成 部230生成当前输入的检测对象区域图像和蓄积在检测对象区域图像缓 存250中的以前取得的检测对象区域图像之间的差分图像。最简单的方 式可以考虑到，对之前的检测对象图像进行缓存后，作为差分对象，但 也可以在检测对象区域图像中缓存多个图像，适当选择差分对象来生成 差分图像。另外，准备接下来的检测尝试，将此次的检测对象区域图像 缓存在检测对象区域图像缓存250中。此时，可以丢弃检测对象区域图 像缓存250中的时间上较早的检测对象区域图像。
而且，在输入了最开始的检测对象区域图像的定时中，虽然检测对 象区域图像缓存250是空的，但此时也可以不取差分地将最开始的检测 对象区域图像本身作为差分图像输出来尝试电子水印检测，或者也可以 跳过电子水印检测来进行下一个的帧捕捉处理。
接着详细说明电子水印检测部240。
电子水印检测部240以差分图像作为输入，尝试从差分图像中检测 出电子水印。
图23是用于说明本发明的第l实施方式的电子水印检测部的处理的 例子的图。该图是对应于电子水印嵌入时的调制方法(B-l)的检测时的 解调方法。
首先，取出用于差分图像的嵌入的分量通道。如果其为亮度则取出 亮度分量。然后，将差分图像块分割成嵌入时的水印图案的块的个数。 接着求出块内的亮度值的合计，按照块顺序进行排列而得到作为一维序列的检测对象序列。在调制方法(B-2)那种情况下，求出块内的波
形图案的能量，计算多个波形图案中哪个图案处于支配地位这样的指标 值，将其排列为一维(文献l)。
接着，在嵌入时对应于1位码元按照序列的每个区间进行调制的情 况，取出检测对象序列的每个码元位置的区间，对于各区间进行表示码
元值为"0"的扩散序列和表示码元值为"1"的扩散序列之间的相关运 算。关于各码元位置、相关值(的绝对值)最大的码元值成为检测出的 7K印信息。在图23的例子中，第1码元为"0"，第2码元为"1"的信 息成为检测出的水印信息。另外，将此时所得的相关值(的绝对值)为 预定的阈值以上等足够大的情况视为成功地检测出电子水印的情况。而 且，关于调制方法(A-l) (A-4)的检测方法，像文献1那样用相关 值的正负来确定位值即可。
当在电子水印检测部240成功地检测出了电子水印时，也可以输出 检测出的水印信息来结束检测处理而将状态迁移为提供相关信息服务， 或者像"J.Rekimoto，Y.Ayatsuka,，，CyberCode:Designing Augmented Reality Environments with VisuaTags", Designing Augmented Reality Environments(DARE 2000),2000年"(下面称作文献4)等那样，在合成 了拍摄图像和CG (计算机图形)等的扩展现实感的应用的情况下，也可 以继续进行持续的电子水印检测。在电子水印检测未成功的情况下，接 下来回到运动图像输入部210的帧捕捉处理，重复检测尝试。或者当运 动图像的输入结束后结束检测处理。
<本实施方式的效果>
根据本实施方式，在向运动图像嵌入电子水印时，通过按照每帧切 换水印图案来进行嵌入，从而与通过单纯地对帧图像重复应用静止图像 算法来嵌入固定的水印图案的嵌入方法相比，可以避免固定图案，因此 能够将画质恶化抑制到较低水平。特别地，当切换速度为高速的情况下， 如果应用人的视觉特性中时间频率较高则视觉灵敏度降低这样的时间频 率特性相关的知识，则更难以察觉画质恶化(「樋渡編、画像工学八 > 卜" 7'"、朝倉書店、ISBN4—254—20033-l,pp.l0-56,1986年」(以下称作文献5))。
另外，在电子水印检测处理中，取所捕捉的帧图像的时间差分来从 差分图像中检测出电子水印。如图24所示，可知运动图像一般在时间方 向上的帧间相关度较高，通过取差分而去除伴随激烈的动作的部分等， 将原始图像分量的大半取消掉。与此同时，在水印图案反转的2个帧间 的差分的情况下，可以得到嵌入时的水印图案的振幅的一倍的振幅的水 印图案。由此，可以解决作为对图像以相加的方式重叠水印图案的类型 的电子水印方式共同的课题，所以能够大幅度提高检测时的水印信号的 S/N比，提高电子水印的耐性，其中，所述解决的课题是对作为相对于水 印信号的较大的噪声分量的原始图像信号进行抑制，进而可以使水印信 号的振幅加倍。
进而，在生成差分图像之前，进行捕捉到的帧图像中的检测对象区 域提取，校正失真来进行归一化，从而可以消除相机输入那样的拍摄角 度引起的平面射影转换失真和伴随相机的移动、视点移动等的平行移动 等的捕捉帧中的检测对象区域的各种失真要因，可以实现对相机输入的 电子水印检测。进而，通过将该校正对每个捕捉帧进行，从而可以消除 手持相机那样的情况下产生的伴随相机本身的移动而在每个拍摄帧不同 的失真要因，所以能够通过差分图像生成来可靠地抑制原始图像信号， 即使在手持带相机的移动电话那样的情况下也能没有问题地成功进行检 测。
在本实施方式中，说明电子水印检测装置。
本实施方式除了以下说明的部分以外，与上述的第1实施方式相同。 图25表示本发明的第2实施方式的电子水印检测装置的结构。该图
所示的电子水印检测装置200B为在上述的第1实施方式的图15的结构
中附加了是否需要检测判断部260的结构。
图26是本发明的第2实施方式的电子水印检测装置的动作的流程图。
步骤301)电子水印检测装置200B的运动图像输入部210输入模拟或者数字运动图像，依次取得帧图像，同时取得相应的帧显示时刻。帧
显示时刻可以例如在进行MPEG编码后的运动图像等的情况下以时间代 码或帧速率等为基础取得。还能考虑到在相机等的情况下无法与显示系 统取得同步的情况。此时在运动图像输入部210内具有定时器，通过取 得捕捉时的时刻，或者取得之前的捕捉起的延迟时间等的方法可以得到 该捕捉帧的帧显示时刻。
步骤302)接着在检测对象区域提取部220中提取依次输入的各帧 图像中的成为水印检测的对象的检测对象区域来取得检测对象区域。
步骤303)接着，在是否需要检测判断部260中将对应于当前取得 的检测对象区域图像的帧显示时刻和对应于蓄积在检测对象区域图像缓 存中的以前取得的检测对象区域图像的帧显示时刻同与嵌入时相同的水 印图案切换信息一边进行参照一边进行比较，当2张检测对象区域图像 中的水印图案的相位相同时为不需要检测，转移到步骤304的处理。如 果判断为相位不相同则转移到步骤305。
步骤304)当不需要检测时，在检测对象区域图像缓存250中缓存 了此次的检测对象区域图像和对应的帧显示时刻的基础上，回到运动图 像输入部210的捕捉处理中(转移到步骤301)。
步骤305)向差分图像生成部230发送此次的检测对象区域图像。 差分图像生成部230生成当前取得的检测对象区域图像和蓄积在检测对 象区域图像缓存250中的以前取得的检测对象区域图像之间的差分图像。
步骤306)另外，为准备接下来的检测尝试，差分图像生成部230 将此次的检测对象区域图像和帧显示时刻缓存在检测对象区域屈像缓存 250中。此时，丢弃在检测对象区域图像缓存中的时间上较早的检测对象 区域图像和帧显示时刻等。
步骤307)接着，在电子水印检测部240中尝试从差分图像中检测 出电子水印，输出检测结果。
步骤308)判断电子水印检测是否成功，当未成功的情况下，在运 动图像输入部210中取得下一个帧图像，依次重复上述处理(转移到步 骤301)。当成功的情况下，结束处理。上述是否需要检测判断部260将帧显示时刻、检测对象区域图像、 水印图案切换信息作为输入。是否需要检测判断部260将对应于当前取 得的检测对象区域图像的帧显示时刻和对应于蓄积在检测对象区域图像 缓存250中的以前取得的检测对象区域图像的帧显示时刻同与嵌入时相 同的水印图案切换信息一边进行参照一边进行比较，通过2张检测对象 区域图像中的水印图案的相位是否相同来判断是否需要检测，不需要检 测的情况下回到运动图像输入部210的捕捉处理。判断为需要检测的情 况下将检测对象区域图像发送给差分图像生成部230。
图27是用于说明本发明的第2实施方式的是否需要检测判断部的处 理的图。
例如，假设水印图案切换信息为"每隔1/10秒进行切换"，以30帧 /秒再现运动图像。另外，设蓄积在检测对象区域图像缓存250中的以前帧 的帧显示时刻为t。当此次取得的帧显示时刻为tO或者tl时，10-1=3/30秒、 或者tl-t^5/30秒分别表示在每隔1/10秒的反转中水印图案的相位相反， 可知从差分图像中检测出电子水印的可能性较高，因此判断为"需要检 测"。另外，当此次取得的帧显示时刻为t2时，t2-t=6/30秒表示在每隔 1/10秒的反转中水印图案的相位相同，可知从差分图像中检测出电子水 印的可能性较低，因此判断为"不需要检测"。
如该例所示，帧显示时刻不必为从运动图像的起始处起的绝对时间， 只要得到所再现的运动图像的捕捉定时间的延迟时间即可。
<本实施方式的效果〉
根据本实施方式，除了第1实施方式的效果以外，还可以得到如下 的效果通过进行是否需要检测判断来节省无为的电子水印检测处理， 从而可以进行高效的检测处理。如图28A、 B所示，由于评价捕捉的定 时而只在水印图案的相位相反的情况下生成差分图像来进行检测尝试， 所以可以避免难以检测的相位相同的情况，能够节省无为的检测尝试。 相应于削减的处理量，可以得到提高捕捉的帧速率所带来的检测性能提 高和通过高度化用户接口等来提高检测装置的方便性的效果。本实施方式中说明电子水印检测装置。
本实施方式除了以下所说明的部分以外，与第1实施方式相同。
图29表示本发明的第3实施方式的电子水印检测装置的结构。 该图所示的电子水印检测装置200C为在第1实施方式的图19的结
构上附加了捕捉定时控制部270的结构。
捕捉定时控制部270以水印图案切换信息作为输入，将捕捉定时信
号发送给运动图像输入部210。另外，将差分定时信号发送给差分图像生
成部230。
图30是本发明的第3实施方式的电子水印检测装置的动作的流程图。
步骤401)运动图像输入部210以从捕捉定时控制部270输入的捕 捉定时信号所指定的捕捉时间间隔输入模拟或者数字运动图像，依次取 得帧图像。
步骤402)在检测对象区域提取部220中，提取依次输入的各帧图 像中的成为水印检测的对象的检测对象区域来取得检测对象区域图像。
步骤403)接着，在差分图像生成部230中生成当前取得的检测对 象区域图像和蓄积在检测对象区域图像缓存250中的用差分定时信号表 示的时间上靠前的检测对象区域图像之间的差分图像。
步骤404)另外，为准备接下来的检测尝试，差分图像生成部230 将此次的检测对象区域图像缓存在检测对象区域图像缓存250中。
步骤405)接着，在电子水印检测部240中尝试从差分图像中检测 出电子水印，输出检测结果。
步骤406)当电子水印检测未成功的情况下，在运动图像输入部210 中取得下一个帧图像，依次重复上述处理(转移到步骤401)。当成功的 情况下，结束处理。
图31是用于说明本发明的第3实施方式的捕捉定时控制部的处理的 图。例如设为，水印图案切换信息为"每隔1/10秒进行切换"，以30帧/ 秒再现运动图像。此时，每隔1/10秒发送捕捉定时信号，在接收到该信 号的运动图像输入部210中以1/10秒的间隔进行捕捉。或者也可以在最幵始将"以1/10秒的间隔进行捕捉"这样的信息作为捕捉定时信号进行 发送，在运动图像输入部210的内部一边取得定时一边以1/10秒的间隔 进行捕捉动作。
另外，作为差分定时信号，设将"取得相隔1/10秒(的奇数倍)的 检测对象区域图像之间的差分"这样的指示发送给差分图像生成部230。 在相机输入等的情况下，即使只指定了捕捉的时间间隔实际所捕捉的帧组 也有可能不同(图31的捕捉例A和捕捉例B之间的不同)。但是，无论 哪个捕捉例的情况下，通过每隔1/10秒的捕捉一定可以交替地捕捉到嵌入 有相位相反的水印图案的帧。由此可以使得从任何相连续的2张的差分图 像中检测出电子水印的可能性变高。g卩，不依赖于捕捉的开始定时。
另外，如果如图32所示进行"以1/30秒的间隔进行捕捉，在相隔 1/10 (的奇数倍)的检测对象区域图像之间进行差分"这样的指示，在检 测对象区域图像缓存250中对从按照1/30秒捕捉到的帧中得到的最近3 张的检测对象区域图像进行了缓存，则依次取得每隔1/30秒所输入的新 的检测对象区域图像和1/10秒之前、即3张之前的检测对象区域图像之 间的差分，从而在每次的水印检测尝试中，可以全部提高检测可能性。
而且，当输入为MPEG等的数字的情况下，以及当正确得到了模拟 视频信号等输入的帧显示时刻的情况下，当然可以取得同步，所以能够 通过与上述相同的处理在各检测尝试中提高检测可能性。
<本实施方式的效果>
根据本实施方式，除了具有第1实施方式的效果以外，由于如图33A、 B所示那样，以与水印图案切换定时取得同步的定时来进行捕捉和差分 图像生成，从而可以对水印图案的相位始终相反的图像取差分来进行检 测，所以还具有如下的效果在所有的检测尝试中实现强调了水印图案 的从差分图像进行的检测，能够提高检测可能性。由此，由于消除了检 测可能性较低的无为的尝试，所以可以缩短到检测出电子水印为止的所 需时间，可以自开始捕捉起尽早使检测成功。另外，在扩展现实感的应 用等即使水印检测成功也继续执行检测的情况下，由于检测成功状态不 中断地持续，所以还可以得到用户接口得到改善，方便性提高的效果。[第4实施方式〗
在本实施方式中说明用于执行如下处理的方法即使使用通过水印 图案的相位的反转而使检测出的水印信息的位反转的类型的调制方法的 情况下，也能检测出正确的水印信息。
本实施方式除了下面说明的部分以外，与第1-第3实施方式相同。
图34A、 B表示本发明的第4实施方式的基本水印图案生成部的处 理内容。该图表示第1实施方式的图10所示的电子水印嵌入装置100的 水印图案生成部120的基本水印图案生成部121的处理内容。
在第1-第3实施方式中的基本水印图案生成部121中，只将所输入 的水印信息调制为基本水印图案。在本实施方式中，对所输入的水印信 息追加1位水印信息的位反转判断用的标记位来生成基本水印图案。或 者也可以设想相比于第1实施方式至第3实施方式而言、水印信息的位 长减少1位的信息，追加位反转判断用的标记位，以位长与第1至第3 实施方式的位长相同的信息为基础生成基本水印图案。在图34的例子中， 作为位反转判断用的标记位，将位值"0"作为表示正相位、即没有位反 转的值来附加。
图35是本发明的第4实施方式的电子水印检测部的动作的流程图。
步骤501)电子水印检测部240将差分图像作为输入，首先与第1 至第3实施方式同样地尝试从差分图像中检测出电子水印。
步骤502)在能够检测出电子水印时，转移到步骤504，当无法检测 时转移到步骤503。
步骤503)当无法检测时回到下一个帧捕捉。
步骤504)在可以检测出电子水印时，观看所检测到的信息中的位 反转判断标记的值，评价该值是否表示正相位。如果表示正相位，则转 移到步骤506。如果表示逆相位，则转移到步骤505。
步骤505)如果位反转判断标记表示逆相位，则以将除去位反转判 断标记之后的信息的位反转后的信息作为检测到的水印信息，来输出检 测结果。
步骤506)当表示正相位时，则将从检测信息中除去位反转判断用标记之后的信息作为检测出的水印信息，输出检测结果。
而且，可知，像第3实施方式那样，通过使用嵌入时的水印图案切 换信息和捕捉时的帧显示时刻，还能够判断当前差分图像中的水印图案 的相位。
<本实施方式的效果>
使用图36-38说明本实施方式的效果。
当使用第1实施方式中所述的图12的调制方法(A-l)作为电子水 印嵌入时的调制方法时，在检测时从差分图像的像素值取得检测对象序 列，取其与扩散序列之间的相关度，用相关值的正负来检测位值"0"、"1"。 图36说明调制方法(A-l)时的解调。通过调制所得的基本水印图案适 当反转相位而嵌入到运动图像的帧图像中。对于在对嵌入有水印的运动 图像进行编码，或者捕捉模拟显示的过程中所嵌入的水印图案而言，由 于被加入了各种噪声，所以从差分图像得到的检测对象序列相比于嵌入 时所调制的水印信息，信号发生变化。但是，如果取与嵌入时使用的扩 散序列之间的相关度，则相当于位为"1"的区间的相关值应该取较大的 正值，相当于位为"0"的区间的相关值应该取较大的负值。由此进行所 嵌入的位信息的解调。
但是，如图37所示，基本水印图案的相位由于通过水印图案切换部 122而在时间方向上切换为正相位/逆相位，所以例如考虑图37的从(1) 和(2)的帧得到的差分图像时，由于(1)中嵌入有基本水印图案的相 反相位，(2)中嵌入有基本水印图案的相同相位，所以(2) - (1)所得 的差分图像作为基本水印图案成为相同相位、即正相位，从而可以正确 地检测出水印信息。但是，也有可能根据捕捉的定时而产生根据(3)和 (4)的帧得到的差分图像。此时由于(3)的相位与基本水印图案的相 位相同，(4)的相位与基本水印图案的相位相反，所以差分图像为其相 位与基本水印图案的相位相反的形式。此时，如果进行水印检测，则由 于在图36所述的检测对象序列的各项的值被正负调转，所以相关值的符 号反转。即，产生如下的问题尽管嵌入了水印信息"01"，但是正确地 检测到了作为其位反转得到的"10"。本实施方式用于避免该问题，如图38那样在所嵌入的水印信息中追 加了位反转判断标记。可以判断在检测时水印信息是否发生了位反转。 即，可以判断差分图像的相位与基本水印图案的相位相同还是相反。当 检测信息的位反转标记为表示正相位的值时直接以位值作为水印信息， 当为表示逆相的值时反转检测信息的位值来作为水印信息，从而不依赖 于捕捉所得的2张帧的取法，始终可以检测出正确的水印信息。该方法 只要是极性利用型的调制方法就都可以进行应用。
而且，关于第1实施方式中所述的调制方法(A-2) (A-4)、 (B-2) (B-4)，并非以差分图像的像素值(的单纯的总和)为基础构成检测对 象序列，而是不依赖于差分图像的取法而可以始终检测一定的水印信息。 另外，像调制方法(B-l)那样，在并非用相关值的正负来表示信息，而 是根据与何种扩散序列取较大的相关绝对值来可以调制解调信息的类型 的调制方法中，差分图像为正相位的情况下出现正的相关值、逆相的情 况下出现负的相关值，这一点与(A-l)相同，但如果将相关值的绝对值 较大的图像作为检测码元，则差分图像无论为正相位还是逆相，都始终 能够没有问题地进行检测，所以不需要这种处理。总结如下。 <2维图案调制解调的类别>
(1) 图案振幅利用型由于以图像中的图案的振幅为基础构成检测 对象序列，所以如果反转差分图像则检测对象序列也反转(调制方法
(A-l)、 (B-l))。
(2) 图案形状利用型由于以图像中的图案形状为基础构成检测对 象序列，所以即使反转了差分图像，检测对象序列也不反转(调制方法
(A-2) (A-4)、调制方法(B-2) (B-4))。 <光谱扩散调制解调的类别>
(a) 极性利用型用与扩散序列之间的相关值的正负的极性来表现 信息的方法(调制方法(A-l) (A-4))
(b) 极性不利用型通过多个扩散序列中的取最大绝对相关值的序 列的种类来表现信息的方法(调制方法(B-l) (B-4))
在反转了差分图像的情况下，位值反转的是(1)和(a)、即在所举的例子中只在调制方法(A-l)的情况下位值反转。
在本实施方式中，说明不使用在第4实施方式中所使用的相位判断 用标记而使用相位同步信号的复用水印嵌入的例子。
本实施方式除了下面说明的部分以外，与前述的第1至第3实施方 式相同。
图39是用于说明本发明的第5实施方式的基本水印图案生成部的处 理的例子的图。该图表示电子水印嵌入装置100的水印图案生成部120 的基本水印图案生成部121的处理的内容。在第1至第3实施方式的基 本水印图案生成部121中，只将所输入的水印信息调制为基本水印图案。 在本实施方式中，以如下方式来生成基本水印图案不只是嵌入所输入 的水印信息，还嵌入有用于确定检测时的差分图像的水印图案的相位的 相位同步信号。
在图39的例子中，使用调制方法(A-l)与第1至第3实施方式相 同地得到基本水印图案(甲)，进而生成使用调制方法(B-l)调制始终 取"0"的值的相位同步信号所得的基本水印图案(乙)作为相位判断用 水印图案，将通过重叠两者而复用来得到的图案作为基本水印图案，将 其用于嵌入。
说明本实施方式的电子水印检测装置200的电子水印检测部240的 处理的流程。
图40是用于说明本发明的第5实施方式的电子水印检测部的动作的 流程图。
步骤601)电子水印检测部240将差分图像作为输入，首先与第1 至第3实施方式相同地尝试从差分图像中检测出电子水印。
步骤602)在无法检测出电子水印时，转移到步骤603，在可以检测 时转移到步骤604。
步骤603)回到下一个帧捕捉。
步骤604)当可以检测出电子水印时，尝试相位同步信号的检测。 由于用调制方法(B-l)嵌入相位同步信号，所以如果与表示"0"的扩散序列之间的相关值的绝对值较大则可以检测出相位同步信号，可使用 相关值的正负的极性来判断差分图像中的水印图案的相位与嵌入时的基 本水印图案的相位相同还是相反。
步骤605)相位同步信号的检测时的相关值为正的情况下判断为相 位相同，为负的情况下判断为相位相反。判断为相位相同的情况下转移 到步骤606，判断为相位相反的情况下转移到步骤607。
步骤606)判断为相位相同的情况下直接将检测出的水印信息作为 检测结果输出。
步骤607)判断为相位相反的情况下将检测出的水印信息的位进行 反转之后作为检测结果输出。 <本实施方式的效果>
在第4实施方式中使用水印信息的一部分作为位反转判断用标记， 与此相对，在本实施方式中，将用于判断差分图像中的水印图案的相位 的相位同步信号与水印信息一起复用来进行了嵌入。此时，由于使用图 案振幅利用型和极性不利用型的调制来嵌入相位同步信号，所以可以在 检测时使用极性判断差分图像中的水印图案的相位。由此，可与第4实 施方式同样地不依赖于捕捉所得的2张的帧的取法，而始终检测出正确 的水印信息。
另外，当与第4实施方式相比时，由于不使用位反转判断用标记， 所以不需要将水印信息的位长縮短l位。而且，即使为图案形状利用型， 只要是可以确定差分图像的反转的图案，就可以用于相位同步信号嵌入。
在本实施方式中，说明判断差分图像中的水印图案的相位与嵌入时 的基本水印图案的相位是否相同，根据需要反转相位来进行蓄积的例子。
本实施方式除了下面说明的部分以外，与第1至第5实施方式相同。 下面为了方便说明，叙述与第1实施方式之间的不同之处。
图41表示本发明的第6实施方式的电子水印检测部的结构。 该图所示的电子水印检测装置200的电子水印检测部240由差分图 像相位判断部241和水印信息检测部242以及差分图像蓄积缓存255构成。
图42是本发明的第6实施方式的电子水印检测部的动作的流程图。
步骤701)当输入了差分图像时，差分图像相位判断部241判断所 输入的该差分图像中的水印图案的相位。
步骤702)差分图像相位判断部241判断所输入的差分图像中的水 印图案的相位与嵌入时的基本水印图案的相位相同还是相反。在相位相 同的情况下转移到步骤703，相位相反的情况下转移到步骤704。
步骤703)在相位相同的情况下，将此次输入的差分图像直接相加 到差分图像蓄积缓存255中，转移到步骤705。
步骤704)在相位相反的情况下使此次输入的差分图像反转相位后 相加到差分图像蓄积缓存255中。
步骤705)接下来，在水印信息检测部242中，尝试从蓄积在差分 图像蓄积缓存255中的相加后的差分图像中检测出水印信息。
步骤706)在成功地进行了检测的情况下转移到步骤708，在未成功 的情况下转移到步骤707。
步骤707)在未成功的情况下回到运动图像输入部210中进行下一 个帧捕捉的处理。
步骤70S)在成功的情况下输出检测结果。
接着，说明差分图像相位判断部241。
图43是用于说明本发明的第6实施方式的差分图像相位判断部的处 理的图。
当输入了差分图像时，差分图像相位判断部241判断该差分图像中 的水印图案的相位与嵌入时的基本水印图案的相位相同还是相反。作为 判断的方法，可以有从差分图像中检测出第4实施方式所示的位反转 判断标记，用其值判断相位相同/相位相反的方法；和检测出第5实施方 式所示的相位同步信号，用其值判断相位相同/相位相反的方法等。或者 使用第1实施方式的调制方法(B-l)那样的图案振幅利用型和极性不利 用型的调制来对水印信息进行调制时，可以把在各个码元的检测处理中 所检测出的绝对值最大的相关值的总和为正的情况判断为相位相同，负的情况判断为相位相反。
当差分图像中的水印图案被判断为其相位与嵌入时的基本水印图案
的相位相同时，将此次输入的差分图像直接相加到差分图像蓄积缓存255 中。当判断为相位相反时，将此次输入的差分图像的相位进行反转后相 加到差分图像蓄积缓存255中。在进行相位反转时，例如如果为亮度分 量则使图像整体的像素值的正负调转，或者如果为用于生成此次的差分 图像所用的检测对象区域图像为X、 Y的2张，而此次的差分图像为用 X-Y来求出的，则在进行相位反转时，使用Y-X的差分图像即可。
另外，如第3实施方式那样，使用嵌入时的水印图案切换信息获取 水印图案切换定时的同步的情况下，根据切换定时、例如使用相邻的水 印图案的切换虽然为相位相反，但相隔一个就变为相同相位的原理，隔 开一个进行相位反转以使下面的差分图像蓄积时全都相位相同地进行蓄 积即可。
如图44所示，通过上述处理，始终接连向差分图像蓄积缓存255中 加入具有相位与基本水印图案的相位相同的水印图案的差分图像。而且， 此处所谓"加入差分图像"是指获得相加了图像的各坐标的像素值而得 到的相同大小的图像的情况。
而且，在使用上述的第3实施方式进行蓄积的情况下，蓄积在差分 图像蓄积缓存255中的结果是假设为通过具有相位与嵌入时的基本水印 图案的相位相同或者相反的状态中的某一种状态的形式来进行了相加而 得到的，但如果在从差分图像蓄积缓存255进行的检测中使用了第4实 施方式或者第5实施方式那样的技术，则可以避免相位相反引起的问题。
<本实施方式的效果>
在本实施方式中，判断差分图像中的水印图案的相位与嵌入时的基 本水印图案的相位是否相同，根据需要进行相位反转，从而始终以正相 位的状态对差分图像蓄积缓存255依次进行相加，根据从相加得到的差 分图像中尝试检测出水印信息。
由此，即使在1张的差分图像中的水印图案较微弱而无法充分地进 行检测的情况下，也能综合多个差分图像来进行检测，所以能够实现检领"如图44所示，由于水印图案始终以正相位的形式进行相加，所以在 差分图像蓄积缓存255中理论上可以得到放大了相加次数量的水印图案。 但是，由于一般原始运动图像的差分在各个定时是不同的，所以作为相 对于水印图案的噪声的原始运动图像的差分信号不会放大相加次数量。 由此提高了水印信号的S/N比，相比于第1至第5实施方式提高了电子 水印的耐性。
另外，还可以将该耐性提高用于抑制画质恶化。即，由于在比用于 像第1至第5实施方式那样可实现从1张差分图像中进行检测的水印嵌 入强度更弱的强度下也能由差分图像蓄积来进行检测，所以可以实现画 质改善。
在本实施方式中，除了下面说明的部分以外，与上述的第1至第7 实施方式相同。下面为了便于说明，叙述与第1实施方式之间不同的地 方。
图49表示本发明的第8实施方式的水印图案生成部的结构。该图所 示的电子水印嵌入装置100的水印图案生成部120由基本水印图案生成 部121、水印图案切换部122和水印信息分割部123构成。
图50是本发明的第8实施方式的水印图案生成部的动作的流程图。
步骤901)如果向水印图案生成部120输入了水印信息、水印图案 切换信息、以及帧显示时刻，则在水印信息分割部123中细分为短于水 印信息的位信息即数据块信息。
步骤902)水印信息分割部123参照帧显示时刻，将表示应该嵌入 此次的帧图像中的数据块为第几个的数据块ID和作为该数据块ID的数据块的位信息的数据块信息发送给基本水印图案生成部121。
步骤903)在基本水印图案生成部121中，根据数据块ID和数据块 信息生成基本水印图案。
步骤904)最后在水印图案切换部122中，根据帧显示时刻和水印 图案切换信息之间的关系，判断是否需要反转基本水印图案的相位。
步骤905)当需要反转基本水印图案的相位时，转移到步骤906,不 需要时转移到步骤907。
步骤906)当需要时改变基本水印图案的相位，作为水印图案输出， 结束处理。
步骤907)将基本水印图案作为水印图案输出，结束处理。 接着，详细说明水印信息分割部123。
图51是用于说明本发明的第8实施方式的水印信息分割部的处理的图。
在该图的例子中，设水印图案切换信息指示"每隔1/10秒进行反转"， 设原始运动图像数据为30帧/秒的帧速率，水印信息为16位。水印信息 分割部123将水印信息分割为预定的位长的数据块。在图51的例子中， 将16位的水印信息分割为4个4位的数据块。
另外，同时取得表示各数据块为第几个的数据块ID (图51的a、 b、 c、 d)。然后一边参照水印图案切换信息， 一边选择应嵌入到此次的帧中 的数据块，将所选择的数据块信息和数据块ID发送给基本水印图案生成 部121。在图51的例子中表示着"水印图案每反转一个周期(6/30秒) 就要切换数据块"这样的处理的内容，每隔6帧就切换数据块。
而且，当数据块到达最后的数据块时，回到起始处循环地进行选择。 另外，当选择了最后的数据块时，也可以将表示水印信息的结尾的终端 信息也发送给基本水印图案生成部121。
在图51中虽然示出了按照水印图案的每个反转周期依次切换数据 块的例子，但也可以像按照每3个反转周期切换数据块、按照每个与反 转周期不同的数据块切换周期切换数据块、并非依次而是随机地选择数 据块的切换等各种的变换。下面说明基本水印图案生成部121。
图52A、 B是用于说明本发明的第8实施方式的基本水印图案生成 部的处理的图。
基本水印图案生成部121与第1至第6实施方式不同，不对水印信 息本身，而是对将水印信息进行了细分的数据块和表示该数据块的顺序 的数据块ID进行调制来生成基本水印图案。
另外，在从水印信息分割部123接受到表示最后的数据块的终端信 息的情况下，可以设为"1"等，使其可以在检测时判断数据块的结尾， 但在始终为固定的数据块数量、例如以仅4个为前提的情况下并不需要。
另外，还可以像第4至第6实施方式那样，同时进行用于判断检测 时的差分图像的相位的信息的嵌入。
图53表示本发明的第8实施方式的电子水印检测装置的结构。
该图所示的电子水印检测装置200D和第1实施方式的装置200A的 差异在于电子水印检测部240之后的处理。
图54是本发明的第8实施方式的电子水印检测装置的动作的流程图。
步骤1001)在运动图像输入部210中捕捉运动图像而依次取得帧图像。
步骤1002)在检测对象区域提取部220中，提取当前捕捉的帧图像 中的检测对象区域图像。
步骤1003)在差分图像生成部230中，生成当前取得的检测对象区 域图像和以前取得的检测对象区域图像之间的差分图像。
步骤1004)电子水印检测部240与第1实施方式相同地尝试从差分 图像中检测出电子水印，从而尝试检测所嵌入的信息。
步骤1005)在检测成功的情况下，转移到步骤1006，检测未成功的 情况下转移到步骤IOOI。
步骤1006)在检测成功的情况下，与第l实施方式不同，检测出的 信息并非是水印信息本身，而是其一部分即数据块信息和对应的数据块 ID，所以将这些信息发送给检测数据块蓄积部280。检测数据块蓄积部280对此次所检测出的数据块ID所示的位置处的检测水印信息缓存的数 据值设定检测数据块信息的值。
步骤1007)当所有的检测水印信息缓存中的数据块的检测都成功时 转移到步骤1008。在电子水印检测部240中如果根据差分图像的电子水 印检测失败，或者检测数据块蓄积部280中存在尚未缓存的数据块的情 况下，回到运动图像输入部210的捕捉，继续执行检测处理。
步骤1008)将检测水印信息缓存的值作为检测出的水印信息来输出 检测结果。
图55表示本发明的第8实施方式的检测数据块蓄积部的结构。该图 所示的检测数据块蓄积部280具有检测数据块缓存部281、检测结束确认 部282和检测水印信息缓存283。
说明上述检测数据块蓄积部280的动作。
图56是本发明的第8实施方式的检测数据块蓄积部的动作的流程 图。图57、图58表示检测数据块蓄积部的处理的内容。
步骤1101)检测数据块蓄积部280输入有检测数据块ID和检测数 据块信息。
步骤1102)首先在检测数据块缓存部281中，将检测水印信息缓存 283中的所输入的检测数据块ID所表示的数据位置处的数据值设定为所 输入的检测数据块信息的值。
如图57所示，检测水印信息缓存283在初始状态下为未检测出所有 的数据块ID的数据块的状态，每当输入了检测数据块ID和检测数据块 信息时，依次从未检测转化为已检测的状态。而且，当已经输入了已检 测的数据块ID时，既可以将检测水印信息缓存283的该数据块ID的数 据值覆盖在检测数据块信息上，也可以不覆盖而结束。
图57表示预定了数据块的个数的情况下的处理的内容。另外，在嵌 入时嵌入了数据块的终端标记的情况下，如图58所示，在初始状态下， 数据块共有多少个是不明确的。但是，如果输入了有终端标记的数据块 ID，则可以明确共有多少个数据块，所以能够确定未检测的数据块。这 之后，与确定了数据块的个数的情况下的处理相同地进行处理即可。通过使用终端信息，从而可以处理任意长度的水印信息的嵌入/检测。
步骤1103)接着，在检测结束确认部282中，判断检测水印信息缓 存283中的所有数据块是否都已经检测，当都已经检测时转移到步骤 1104，当还残留有未检测的数据块时转移到步骤1105。
步骤1104)当都已经检测时作为检测出了检测水印信息缓存283的 数据值的水印信息而输出检测结果。
步骤U05)当还残留有未检测的数据块时，回到运动图像输入部210 的帧捕捉，继续执行检测尝试。
而且，在本实施方式中，主要对与第1实施方式之间的差异进行了 叙述，但很容易将本实施方式的技术结合到第2至第7实施方式的技术 中去加以实施，这是不言自明的。例如，针对每个数据块，像第6实施 方式那样蓄积差分图像，或者像第7实施方式那样蓄积相关值来进行检 测，从而提高检测性能等，这都是不言自明的。
<本实施方式的效果>
在本实施方式中，将水印信息分割为数据块，时间上一边切换数据 块一边进行水印嵌入，在检测侧依次蓄积检测出的数据块，在所有的数 据块都已检测的情况下为水印检测成功。由此，可以进行超过对于一张 差分图像的水印算法的嵌入信息长度界限的更长的信息长度的水印信息 的嵌入/检测。或者，可以縮短各帧的嵌入信息长度来实现耐性提高。
另外，通过终端信息的嵌入/检测，从而可以处理任意长度的信息， 能够实现需要更长信息的应用等，拓宽了使用范围。
在本实施方式中，说明用图案振幅利用型和极性不利用型的调制将 数据块1D复用在水印信息中进行嵌入的例子。
本实施方式中除了以下说明的部分以外，与上述的第8实施方式相同。
说明本实施方式的电子水印嵌入装置100内的基本水印图案生成部 121的处理的内容。
图59是用于说明本发明的第9实施方式的基本水印图案生成部的处理的例子的图。
在本实施方式中，关于作为基本水印图案的输入的数据块信息和数
据块ID，首先关于数据块信息与第5实施方式同样地用调制方法(A-l ) 来调制，得到基本水印图案(甲)。
接着关于数据块ID，取代调制第5实施方式的相位同步信号(始终 为相同值)，使用调制方法(B-l)调制多值的数据块ID (如果需要则也 一起调制数据块终端信息)来得到基本水印图案(乙)。
最后重叠基本水印图案(甲)和基本水印图案(乙)进行合成，得 到基本水印图案。
图60是本发明的第9实施方式的电子水印检测部的动作的流程图。
步骤1201)电子水印检测部240将差分图像作为输入，首先与第8 实施方式的情况同样地尝试从差分图像中检测出数据块信息。
步骤1202)当可以检测数据块信息时，转移到步骤1204，当无法检 测时，转移到步骤1203。
步骤1203)回到运动图像输入部210的下一个帧捕捉。
步骤1204)当可以检测数据块信息时，接下来尝试检测数据块ID。
步骤1205)由于数据块ID通过调制方法(B-2)被嵌入，所以首先 可以使用相关运算的绝对值检测数据块ID，用此时的相关值的正负的极 性来判断差分图像中的水印图案的相位与嵌入时的基本水印图案的相位 相同还是相反。当数据块ID的检测时的相关值为正的情况下判断为正相 位，为负的情况下判断为逆相。在判断为正相位的情况下转移到步骤 1207，判断为逆相的情况下转移到步骤1206。
步骤1206)在逆相的情况下将检测出的数据块信息的位进行反转后 与数据块ID —起输出。
步骤1207)在判断为正相位的情况下直接将检测出的数据块信息与 数据块ID—起输出。
而且，在本实施方式中，与第8实施方式同样地，很容易将本实施 方式的技术结合到第1至第7实施方式的技术中去加以实施，这是不言 自明的。例如，针对每个数据块，像第6实施方式那样蓄积差分图像，或者像第7实施方式那样蓄积相关值来进行检测，从而提高检测性能等， 这都是不言自明的。
<本实施方式的效果>
在本实施方式中，用图案振幅利用型和极性不利用型的调制将数据 块ID复用在水印信息中进行了嵌入。由此，嵌入在各帧中的数据块信息 的信息长度可以变长。
进而，由于使用数据块ID检测时的相关度的极性来进行水印图案的 相位判断，所以不需要另外准备位反转判断用的标记等，而且能够帮助 增大信息长度。即，通过使用数据块ID的极性不利用型调制，从而可以 与检测数据块ID同时地进行水印图案的相位判断，所以是一举两得的。
而且，即使为图案形状利用型，但只要能够确定差分图像的反转， 就可以应用于数据块ID的嵌入。
本实施方式中说明进行统一了相位的差分图像蓄积的例子。 在本实施方式中，除了下面说明的部分以外，与第1至第9实施方
式相同。下面为了便于说明，叙述与第8实施方式不同的地方。
说明本实施方式的电子水印检测装置200内的电子水印检测部240。 图61表示本发明的第10实施方式的电子水印检测部的结构。 该图所示的电子水印检测部240由差分图像相位判断部241、数据
块ID检测部246、数据块信息检测部247和多个数据块ID-n用差分图
像蓄积缓存248构成。
图62是本发明的第10实施方式的电子水印检测部的动作的流程图。 步骤1301)当输入了差分图像时，电子水印检测部240在数据块ID
检测部246中尝试数据块ID的检测。
步骤1302)接着在差分图像相位判断部241中按照上述第6实施方
式那样检测差分图像中的水印图案的相位。
步骤1303)当差分图像相位判断部241的处理结果为正相位时，转
移到步骤1304，在逆相时转移到步骤1305。
步骤1304)当正相位时，将此次的差分图像与对应于检测数据块ID的差分图像蓄积缓存248相加而蓄积，转移到步骤1306。
步骤1305)当逆相时，改变差分图像而使其相位变为正相位，之后
蓄积在对应于检测数据块ID的差分图像蓄积缓存248中。如图61所示，
电子水印检测部240具有数据块ID的种类那么多的差分图像蓄积缓存248。 步骤1306)接着在数据块信息检测部247中，尝试从对应于此次检
测出的数据块ID的差分图像蓄积缓存248中检测出数据块信息。
步骤1307)当检测成功时，转移到步骤1308，当检测不成功时，转
移到步骤1309。
步骤1308)当检测成功时，输出此次的数据块ID和检测出的数据 块信息。
步骤1309)当检测不成功时，回到运动图像输入部210的捕捉处理。 <本实施方式的效果>
根据本实施方式，可以在使用数据块的水印信息长度增大时同时实 现差分图像蓄积下的耐性提高，从而提高检测性能。 [第ll实施方式]
在本实施方式中说明蓄积相关值的例子。
在本实施方式中，除了下面说明的部分以外，与第1至第10实施方 式相同。下面为了便于说明，叙述与第8实施方式不同的地方。
图63表示本发明的第11实施方式的电子水印检测部的结构。
该图所示的电子水印检测部240具有数据块ID检测部246、可否检 测判断部244、相关运算部249、以及数据块ID-n用相关值缓存251。如 该图所示，电子水印检测部240具有数据块ID的种类那么多的数据块 ID^用相关值缓存251。
说明上述结构的电子水印检测部240。
图64是本发明的第11实施方式的电子水印检测部的动作的流程图。 步骤1401)当输入了差分图像时，电子水印检测部240首先在数据
块ID检测部246中尝试检测出数据块ID。
步骤1402)接着在相关运算部249中通过进行数据块信息检测尝试
来求出所计算的相关值。步骤1403)将所求出的相关值相加并蓄积在对应于检测数据块ID 的相关值缓存251中。而且，此时仅根据所输入的差分图像来成功地进 行了数据块信息的检测时，也可以将其与数据块ID—起输出来结束处理。
步骤1404)接着在可否检测判断部244中，关于对应于此次检测出 的数据块ID的相关值缓存251，通过与第7实施方式相同的阈值判断来
判断可否检测数据块信息。
步骤1405)当判断为可以检测时转移到步骤1406，当检测不成功时
转移到步骤1407。
步骤1406)当判断为可以检测时根据此次的相关值缓存251的值来 构成数据块信息，与此次的数据块ID—起输出。
步骤1407)当检测不成功时，回到运动图像输入部210的捕捉处理。
<本实施方式的效果>
根据本实施方式，可以在使用数据块的水印信息长度增大时同时实 现相关值缓存251的耐性提高，从而提高检测性能。 [第12实施方式]
在本实施方式中说明实时反馈输出电子水印检测处理的状况的例子。
在本实施方式中，除了下面说明的部分以外，与第l至第ll实施方 式相同。下面为了便于说明，叙述与第1实施方式不同的地方。
图65表示本发明的第12实施方式的电子水印检测装置的结构。该 图所示的电子水印检测装置200E和第1实施方式不同之处在于，具有随 时输入当前的捕捉帧图像、当前的检测对象区域提取状况信息、当前的 电子水印检测的检测状况信息，与相当于第1实施方式的电子水印检测 处理并列地生成并输出反馈信息的反馈输出部265的点。
图66是本发明的第12实施方式的电子水印检测装置的动作的流程图。
该图中，步骤1501至步骤1506与图20的步骤201至步骤206的处 理相同，所以省略其说明，但之后的步骤1507的处理与这些处理是并列 进行的。步骤1507)在反馈输出部265中，随时输入当前的捕捉帧图像、当 前的检测对象区域提取状况信息、当前的电子水印检测的检测状况信息， 与相当于第1实施方式的电子水印检测处理并列地生成并输出反馈信息。
图67、 68、 69是本发明的第12实施方式的电子水印检测装置的反 馈输出的例子。
具有对通过电子水印检测装置200E的运动图像输入部210来得到的 捕捉帧图像实时描绘得到的预览画面，在预览画面上合成在检测对象区 域提取部220得到的检测对象区域(图67的a)，在图像上显示在电子水 印检测部240得到的检测强度、例如解调时的相关值的大小(图67的b)， 或者根据检测强度改变音色和音量进行音频输出。
另外，在使用了数据块的情况下，如图68那样对到当前为止进行了 缓存的数据块的检测状况进行合成。
或者如图69那样，当由于要考虑到拍摄角度所产生的平面射影失真 的程度，或因在相隔一定距离的位置进行拍摄而捕捉帧图像中的检测对 象区域的像素面积过小，因此难以检测出电子水印的情况下，显示拍摄 角度的调整或需要放大的消息，促使用户作出调整。
<本实施方式的效果>
在本实施方式中，通过实时反馈输出电子水印检测处理的状况，从 而增加了对话性而提高了方便性。特别地，通过促使用户采用易于检测 的状况，从而可以期待提高检测性能。
在本实施方式中，除了下面说明的部分以外，与第1至第12实施方 式相同。下面为了便于说明，叙述与第1实施方式不同的地方。
说明本实施方式的电子水印嵌入装置100内的水印图案重叠部130 的处理。
图70是用于说明本发明的第13实施方式的水印图案重叠部的处理 的图。
水印图案重叠部130输入帧图像和根据相应的帧显示时刻而生成的 水印图案。在水印图案重叠部130中，首先将水印图案的大小变更为帧图像的大小以下的给定的大小，之后相加到帧图像的中央区域，得到嵌 入有水印的帧图像。
接着说明本实施方式的电子水印检测装置200F。 图71表示本发明的第13实施方式的电子水印检测装置的结构。 该图所示的电子水印检测装置200F由输入有通过相机实时视频捕 捉在电视等显示器上显示的模拟运动图像得到的图像、或者进行了 MPEG编码的数字运动图像的运动图像输入部210、差分图像生成部230、 检测对象区域提取部220、电子水印检测部240和帧图像缓存301构成。 说明上述结构的动作。
图72是本发明的第13实施方式的电子水印检测装置的动作的流程图。
步骤1501)在运动图像输入部210中，输入模拟或者数字运动图像， 依次取得帧图像。在输入模拟运动图像时，通过相机、扫描仪来进行输 入而取得帧图像，或者通过输入模拟视频信号等取得帧图像，如果是数 字运动图像，则进行解码处理等来取得帧图像。
步骤1502)接着在差分图像生成部230中获取当前取得的帧图像和 蓄积在帧图像缓存301中的以前取得的帧图像之间的差分，生成差分帧 图像。
步骤1503)另外，准备下一次的检测尝试，将此次的帧图像缓存在 帧图像缓存301中。
步骤1504)接着，在检测对象区域提取部220中提取出差分帧图像 中的成为水印检测对象的检测对象区域来取得检测对象区域图像。
步骤1505)接着，在电子水印检测部240中尝试从检测对象区域图 像中检测出电子水印，输出检测结果。
步骤1506)当电子水印检测不成功时，在运动图像输入部210中取 得下一个帧图像而依次重复上述处理。
接着详细说明上述差分图像生成部230的处理。
图73是用于说明本发明的第13实施方式的差分图像生成部的处理 的图。差分图像生成部230取当前取得的帧图像和蓄积在帧图像缓存301 中的以前取得的帧图像之间的差分，生成差分帧图像。此处，假设拍摄 上述2张帧图像时的相机几乎没有移动。如图73所示，在差分帧图像中 可以划分出水印图案的切换所产生的差分的变化较大的部分和没有变化 的背景部分。
接着详细说明检测对象区域提取部220的处理。
图74是用于说明本发明的第13实施方式的检测对象区域提取部的 处理的图。
检测对象区域提取部220以差分帧图像作为输入，提取出差分帧图 像中成为水印检测对象的检测对象区域来取得检测对象区域图像。在图 74中，将差分帧图像绝对值化，使用文献3的边缘检测方法检测出检测 对象区域的失真参数，对进行绝对值化之前的原来的差分帧图像的失真 进行校正、大小归一化来作为检测对象区域图像。根据第1至第12实施 方式的内容可知，由于这样得到的检测对象区域图像除去噪声带来的影 响等而与嵌入时的基本水印图案相同，所以可以进行电子水印的检测。
另外，本实施方式可以任意地将第1至第12实施方式各自的技术进 行组合来实施，这点是不言自明的。
<本实施方式的效果>
使用图75至图77说明本实施方式的效果。
首先在第1至第12实施方式的电子水印嵌入中，重叠了与所输入的 运动图像的帧大小相同大小的水印图案。另外，在电子水印检测时检测 出用相机捕捉到的帧中的电视接收机的显示区域的边缘等来提取出检测 对象区域。但是，如图75所示，由于考虑到电视接收机的形状等运动图 像的再现环境并非一定的情况，所以如图75 (A)所示，在正确地将显 示画面区域作为检测对象区域提取出来的情况下为成功地进行了电子水 印的检测，但如图75 (B)的例子那样边缘检测出了电视接收机的外侧， 或是如图75 (C)的例子那样检测出了附着于电视接收机的显示画面的 外侧的框状的外观，有时无法正确地提取出检测对象区域。
此时，在差分图像上成为縮小于水印图案差分图像的内侧的形式，而无法正确进行块分割，所以在第1至第12的方法中，电子水印的检测
遭到失败。
另外，在图76的例子中，设原来的运动图像为纵横比(Aspect Ratio) 是16: 9的广角影像，考虑将其显示于纵横比是4: 3的监视器上。此时, 作为一般经常使用的显示方法，切取广角画面的左右的端部来显示，或 者将16: 9的广角画面縮小为能容纳于4: 3的画面上来放入到画面上。 在这样进行显示时，即使用检测对象区域提取来正确检测了显示画面的 边缘，也由于原本显示的影像自身的一部分被切取掉，或是留有多余的 空白，所以与图75的例子相同，电子水印的检测遭到失败。另外，关于 画面的端部被切取掉的问题，不只存在于广角影像，例如在显像管显示 时，也能考虑到由于影像信号的端部的部分原本就未显示这样的、所谓 过扫描(Over Scan)而切取掉了影像信号的一部分，从而难以检测到电 子水印的情况。
本实施方式用于解决该问题，使水印图案的大小小于帧图像的大小， 重叠于帧图像的中央区域。由此，例如预计将广角画面进行4: 3显示时 的帧图像的缺损，可以将水印图案只重叠于确实可显示出的区域上。但 若仅是这样做，则在检测时无法使检测对象区域和水印图案的区域一致。 因此，在本实施方式中，如图73那样，生成捕捉到的帧图像间的差分帧 图像，如图74那样从差分帧图像中提取出检测对象区域。如果在相机拍 摄时几乎没有发生相机的移动，则在差分帧图像中通过水印图案的切换， 来仅使检测对象区域处于差分(的绝对值)较大的状态。由此通过使用 了边缘的矩形识别技术等来提取检测对象区域，如图77和图78所示， 可以进行电子水印检测。
在本实施方式中，除了下面说明的部分以外，与第13实施方式相同。 图79是用于说明本发明的第14实施方式的基本水印图案生成部的
处理的例子的图。
本实施方式的水印图案生成部120的基本水印图案生成部121与第
1至第12实施方式同样地在所生成的基本水印图案上使用正/负的像素值附加框，将其作为基本水印图案。
图80是用于说明本发明的第14实施方式的检测对象区域提取部的 处理的图。
检测对象区域提取部220以差分帧图像作为输入，提取出差分帧图 像中成为水印检测对象的检测对象区域来取得检测对象区域图像。在图 80中，对差分帧图像使用文献3的边缘检测方法来检测出检测对象区域 的失真参数，对失真进行校正、大小归一化来作为检测对象区域图像。 根据第1至第12实施方式的内容可知，由于这样得到的检测对象区域图 像除去了噪声带来的影响等而与嵌入时的基本水印图案相同，所以可以 进行电子水印的检测。
另外，本实施方式可以任意地将第1至第13实施方式各自的技术进 行组合来实施，这点是不言自明的。
<本实施方式的效果>
使用图81A、 B说明本实施方式的效果。首先，第13实施方式的检 测对象区域提取处理中使用差分帧图像的绝对值进行边缘检测等而进行 了区域提取。但此时边缘部分的边缘的对比度由于为差分帧图像的绝对 值，所以如果忽视噪声的影响等，则具有嵌入时的水印图案的振幅的2 倍的差异。
在本实施方式中，作为基本水印图案，在第1至第12实施方式的基 本水印图案上附加具有正/负的像素值的框。另外，在检测对象区域提取 时，通过对差分帧图像直接进行边缘识别等来进行区域提取。因此，边 缘部分的边缘的对比度成为嵌入时的水印图案振幅的4倍，与第13实施 方式相比易于进行边缘的检测。因此，能够以更可靠且高的可信度来进 行检测对象区域的提取，可以实现电子水印的检测性能提高。
在本实施方式中说明从进行了特征区域的失真的校正、大小归一化后的特征区域图像间的差分图像中提取出检测对象区域的例子。
本实施方式除了以下说明的部分以外，与第13至第15实施方式相同。
说明本实施方式的电子水印检测装置。
图84表示本发明的第16实施方式的电子水印检测装置的结构。该 图所示的电子水印检测装置200G由运动图像输入部210、特征区域提取 部290、差分图像生成部230、检测对象区域提取部220、电子水印检测 部240和特征区域图像缓存302构成。
下面说明上述结构下的电子水印检测装置的动作。
图85是本发明的第16实施方式的电子水印检测装置的动作的流程 图。
步骤1601)在运动图像输入部210中，当输入了通过相机实时视频 捕捉到显示在电视等显示器上的模拟运动图像而得到的图像、或者输入 了进行了 MPEG编码的数字运动图像时，依次取得帧图像。当输入模拟 运动图像时，通过相机、扫描仪来进行输入而取得帧图像，或者通过输 入模拟视频信号等来取得帧图像，如果是数字运动图像，则进行解码处 理等来取得帧图像。
步骤1602)接着在特征区域提取部290中，提取帧图像中的特征区 域。在特征区域提取中，使用文献3的边缘识别下的矩形区域检测等的 技术。所提取出的特征区域在校正相机拍摄角度等产生的失真，对大小 进行归一化的基础上，作为特征区域提取图像而进行输出。
步骤1603)接着在差分图像生成部230中，取当前取得的特征区域 图像与蓄积在特征区域图像缓存302中的以前取得的特征区域图像之间 的差分，生成特征区域差分图像。
步骤1604)另外，为准备下一次的检测尝试，将此次的特征区域图 像缓存在特征区域图像缓存302中。
步骤1605)下面，在检测对象区域提取部220中，提取 特征区域 差分图像中的成为水印检测的对象的检测对象区域来取得检测对象区域 图像。步骤1606)接下来在电子水印检测部240中，尝试从检测对象区域 图像中检测出电子水印，输出检测结果。
步骤1607)当电子水印检测未成功的情况下，在运动图像输入部210
中取得下一个帧图像，依次重复上述处理。
接着说明上述特征区域提取部290的处理的内容。
图86至图90是用于说明本发明的第16实施方式的特征区域提取部
的处理的图。
特征区域提取部290将帧图像作为输入，提取出帧图像中的特征区 域。在特征区域提取中，使用文献3的边缘识别下的矩形区域检测等的 技术。所提取出的特征区域校正相机拍摄角度等产生的失真，在对大小 进行归一化的基础上，作为特征区域提取图像进行输出。通过使用文献3 那样的矩形区域检测技术，从而如图86和图90那样，将电视的显示区 域作为特征区域检测出来，或者如图87和图89那样将电视的壳体的外 侧作为特征区域，或者如图88那样将位于电视的显示画面的外侧的框状 的外观作为特征区域检测出来，或者虽然没有图示，但将位于电视的背 景的矩形区域等作为特征区域的情况等，根据所输入的帧图像的内容， 特征区域为何种区域可以具有各种各样的情况，最重要的点在于，在不 依赖于拍摄角度的不同，而拍摄相同的对象的情况下，从各帧图像检测 出的特征区域只要实质上相同，则可以像图86至图90那样对于根据捕 捉时刻而时刻变化的拍摄角度等，使用相同状态来得到校正失真、归一 化了大小而得到的特征区域图像。
只要满足了上述的"在不依赖于拍摄角度的不同，而拍摄相同的对 象的情况下，从各帧图像检测出的特征区域只要实质上相同"这样的条 件，按照图86、图90的例子那样以何种状态检测特征区域都可以。只要 是利用满足这些条件的帧图像来实现的稳定的特征区域提取方法，则不 限于文献3那样的使用边缘线的矩形区域检测，可以使用任意方法。
接着，说明差分图像生成部230的处理的内容。
图91至图93是用于说明本发明的第16实施方式的差分图像生成部 的处理的图。差分图像生成部230取当前取得的特征区域图像与蓄积在特征区域 图像缓存302中的以前取得的特征区域图像之间的差分，生成特征区域 差分图像。然后准备下一次的检测尝试，将此次的特征区域图像缓存在 特征区域图像缓存302中。如图91至图93所示，通过特征区域提取处 理，从而捕捉帧之间的因相机移动等而伴随的失真的不同得到吸收，所 以由特征区域图像的时间差分所得到的特征区域差分图像成为水印图案 切换所产生的部分的变化量较大，而其他部分几乎没有差分的形式。由 此，与第13至第15的检测对象区域提取处理同样地，从特征区域差分 图像中提取出检测对象区域，对失真进行校正等，在此基础上如果尝试 电子水印检测，则可以检测出电子水印信息。
<本实施方式的效果>
在本实施方式中，除了第13至第15实施方式的效果之外，还可以 具有如下的效果即使没有作为前提的"拍摄时的相机几乎没有发生移 动的情况"这种制约也能进行电子水印检测。这是因为，首先按照每个 捕捉帧图像提取特征区域，在此基础上校正失真，从而吸收了帧之间的 失真的不同，之后通过差分图像生成而可靠地没有位置偏移地进行水印 图案部分的差分。由此，可以不受单手握住带相机的移动电话朝电视进 行捕捉等时产生的手抖等的影响，来提高电子水印检测性能。
在本实施方式中说明通过仅搜索电子水印检测状况为良好时的位置 的附近，从而进行特征区域/检测对象区域的提取的例子。
本实施方式除了以下说明的部分以外，与第13至第16实施方式相 同。下面以与第16实施方式的不同为中心进行说明。
最开始说明电子水印检测装置200G的特征区域提取部2卯的处理的 内容。
图94是用于说明本发明的第17实施方式的特征区域提取部的处理 的图。
本实施方式的特征区域提取部2卯记住在上次的电子水印检测尝试 中检测状况为良好时的特征区域的位置和形状(用某种方法来进行存储)，在从此次输入的帧图像中搜索特征区域之际，只从上次的特征区域
的附近进行搜索。在进行差分运算的2张的捕捉时间间隔中，由于相机
的移动不很大，所以在上次检测状况为良好时，在此次的帧图像中也在 其附近存在正确的特征区域。使用该原理，通过縮小特征区域搜索范围 可以实现更稳定的特征区域提取。
而且，所谓"检测状况良好"是指如下的情况例如文献1的检测 可信度指标值在某种程度上虽然为有意义的值，但仍处于尚未成功地检
测出电子水印的状态，或者在第8实施方式等的按照每个数据块进行检 测时在某个数据块的检测中获得成功等的状态、S卩、指根据电子水印检 测部240的检测状况明显地存在有意义的电子水印。另外，也可以使用 取差分的2张的捕捉时间间隔来使搜索时的附近的大小发生改变。例如， 当捕捉时间间隔较短时，由于预测为相机的移动量较少，所以将附近取 得较小。反之，如果当捕捉时间间隔较长时，由于可以预测为有时相机 的移动量较大，所以将附近取得较大等。
说明本实施方式的检测对象区域提取部220的处理的内容。 -图95是用于说明本发明的第17实施方式的检测对象区域提取部的 处理的图。
在提取检测对象区域时也与特征区域提取部290同样地，记住在上 次的电子水印检测尝试中检测状况为良好时的检测对象区域的位置和形 状(用某种方法来进行存储)，在从此次输入的特征区域差分图像搜索检 测对象区域之际，从上次的特征区域的附近进行搜索。由此，检测对象 区域的搜索也变得稳定。
而且，在将本实施方式应用到第16实施方式中时，由于相机移动等 造成的失真要因通过特征区域提取处理来吸收，所以如图95那样此次和 上次的检测对象区域大致相同，即使将附近大小取得较小也无所谓。考 虑作为在检测对象区域的提取中失败的原因，有在运动图像本身活动的 场景的情况下，不只是水印图案、连运动图像的活动分量也作为噪声显 现于差分中的情况，但只要减小附近大小，检测对象区域的搜索就会变 得非常稳定。另外，在将本实施方式应用到第13至第15实施方式中时，由于当
相机的移动较大时原本就难以检测电子水印，所以此时也可以同样地将 附近区域取得较小，检测对象区域的搜索就会变得非常稳定。
另外，还能够容易地将本实施方式应用到第1至第12实施方式中的 电子水印检测装置的检测对象区域提取部220中。此时，当在上次的电 子水印检测尝试中检测状况为良好时，只要从上次的检测对象区域的附 近搜索此次的帧图像中的检测对象区域即可。
而且，在本实施方式中表示了使用"在上次的电子水印检测尝试中 检测状况为良好"的情况的例子，但也可以不限于上次，而使用"时间 上邻近的良好的电子水印检测尝试时"的特征区域或者检测对象区域。
另外，当在一定时间内持续着电子水印检测信息并非良好状态的情 况下，也可以不进行附近搜索，而进行与第13至第16实施方式相同的 处理。
〈本实施方式的效果〉
在本实施方式中，除了第13至第15实施方式的效果之外，还具有 如下的效果由于提高了特征区域或者检测对象区域的稳定性、可靠性， 所以可以实现电子水印检测性能的提高。特别地，在特征区域或者检测 对象区域的检测方法的鲁棒性不太好的情况下，具有很大的效果，能够 大幅提高电子水印检测性能。
本实施方式除了下面说明的部分以外，与第14至第17实施方式相 同。下面主要说明与第14实施方式的不同之处。
说明本实施方式的电子水印检测装置的检测对象区域提取部220的 处理。
图96至图99是用于说明本发明的第18实施方式的检测对象区域提 取部的处理的图。
根据差分帧图像来进行的检测对象区域提取处理根据嵌入有第14 实施方式的水印图案的运动图像的帧之间差分图像来进行。此时，在第 M实施方式中，为了高精度地进行检测对象区域提取，预先对基本水印图案在外侧附加明亮的框图案，在内侧附加较暗的框图案(而且，明/暗 是用于表示像素值的大小，并非只限定于亮度值，这己在第1实施方式
中叙述过)。在检测对象区域提取部220中，在从差分帧图像中搜索检测 对象区域时，调査框部分的像素值变化。在图96的例子中，由于检测对 象区域的外侧明亮而内侧较暗，所以检测对象区域图像中的水印图案被 判断为其相位与嵌入时的基本图案的相位相同(正相位)，可以像在第4 实施方式等中使用的那样，将该相位信息用于电子水印检测处理。图97 表示相位颠倒的例子。可知通过调查检测对象区域的边缘部分，能够判 断正相位/逆相。
并且，图98、图99表示了将本实施方式应用到第15实施方式中的 情况下的例子。该例子中，当QR码(注册商标)的定位标记的基础图 案与从检测对象区域寻找到的定位图案具有正相关时，判断为正相位(图 98),具有负相关时判断为逆相(图99)。另外，当逆相时，也可以反转 了检测对象区域图像的相位之后尝试电子水印检测。进行反转的理由在 于，由于现有的2维码的读取方法大多不对应于反转了相位的码的识别， 所以在沿用现有的2维码读取处理时需要进行反转。
将本实施方式应用到第16实施方式中时，检测对象区域提取部220 的输入并非是差分帧图像而仅为特征区域差分图像，这之外与上述进行 同样处理即可，这是不言自明的。
<本实施方式的效果>
在本实施方式中，为了提高检测对象区域的提取可靠性而使用了附 加在基本水印图案上的框和定位标记等的图案，根据提取出的检测对象 区域的该图案部分的相位与基本水印图案时的相位是否相同，来判断检 测对象区域图像中的水印图案的正相位/逆相。使用该相位信息可以实现 第4实施方式等所示的检测性能的提高。
另外，根据本实施方式，框和定位标记等的图案由于可以取得提高 检测对象区域提取可靠度和获取相位信息这两个效果，所以一举两得。 即，通过将标记附加到水印信息上以使相位一致，从而无需縮短位长， 对水印信息而言，无需对成为噪声的相位判断信号进行复用，所以提高了电子水印检测性能。 [第19实施方式]
本实施方式除了下面说明的部分以外，与第13至第18实施方式相同。
图100表示本发明的第19实施方式的电子水印检测装置的结构。
该图所示的电子水印检测装置200H由运动图像输入部210、差分图 像生成部230、检测对象区域提取部220、电子水印检测部240、帧图像 缓存301、以及差分帧图像缓存303构成。
与第13实施方式的不同之处在于，检测对象区域提取部220的处理 内容和新设置了差分帧图像缓存303。
图101是本发明的第19实施方式的电子水印检测装置的动作的流程图。
步骤1701 )在运动图像输入部210中，输入模拟或者数字运动图像， 依次取得帧图像。在输入模拟运动图像时，通过相机、扫描仪来进行输 入而取得帧图像，或者通过输入模拟视频信号等来取得帧图像，如果是 数字运动图像，则进行解码处理等来取得帧图像。
步骤1702)接着在差分图像生成部230中取当前取得的帧图像与蓄 积在帧图像缓存301中的以前取得的帧图像之间的差分，生成差分帧图像。
步骤1703)将此次输入的帧图像缓存到帧图像缓存301中。
步骤1704)将此次获得的差分帧图像相加蓄积在差分帧图像缓存 303中。
步骤1705)从差分帧图像缓存303中所相加蓄积的差分帧图像之中 提取出成为水印检测对象的检测对象区域，取得检测对象区域图像。
此时，如图102所示，也可以将差分帧图像的像素值取绝对值之后 相加蓄积在差分帧图像缓存303中，从相加蓄积在差分帧图像缓存303 中的差分帧图像之中提取出检测对象区域，对此次的差分帧图像的该检 测对象区域的图像进行失真校正、大小归一化来作为检测对象区域图像。 如果采用这种方法，则由于相加蓄积差分帧图像的绝对值图像，所以不 依赖于所输入的差分帧图像中的水印图案的相位，通过相加蓄积提高检测对象区域和背景区域之间的对比度，增加检测对象区域的提取可靠度。 或者如第3实施方式那样，在可以与水印图案切换信息所表示的水 印图案的切换定时获取同步地生成差分帧图像的情况下等，通过捕捉的 开始定时等无法判断所得到的差分帧图像中的水印图案的相位与基本水 印图案的相位相同还是相反，但可以判断此次取得的差分帧图像的相位
是否与以前取得的差分帧图像的相位相同(例如在图31的例子中，每隔 一个差分图像能得到相同的相位状态)。使用该原理可以如图103那样使 蓄积在差分帧图像缓存303中的差分帧图像的相位一致，相加蓄积到差 分帧图像缓存303中(其结果为只相加了相位与基本水印图案的相位相 同的图像或者只相加了相位相反的图像)，对相加蓄积在差分帧图像缓存 303中的差分帧图像取绝对值后提取检测对象区域，对相加蓄积在差分帧 图像缓存303中的差分帧图像的该检测对象区域的图像进行失真校正、 大小归一化来作为检测对象区域图像。如果使用该方法，则通过相加蓄 积还强调了水印图案，提高了检测对象区域提取可靠度，之外还能得到 提高电子水印检测性能的效果。一
步骤1706)接着在电子水印检测部240中尝试从检测对象区域图像 中检测出电子水印，输出检测结果。
步骤1707)当电子水印检测不成功时，在运动图像输入部210中取
得下一个帧图像来依次重复上述处理。
另外，说明将本实施方式应用到第16实施方式中时的电子水印检测 装置。
图104表示本发明的第19实施方式的电子水印检测装置的结构。
该图所示的电子水印检测装置2001由运动图像输入部210、特征区 域提取部290、差分图像生成部230、检测对象区域提取部220、电子水 印检测部240、特征区域图像缓存302、特征区域差分图像缓存304构成。
与第16实施方式的不同之处在于，检测对象区域提取部220的处理 内容和新设置了特征区域差分图像缓存304。
图105是本发明的第19实施方式的电子水印检测装置的动作的流程 图(应用到第16实施方式)。步骤1801)在运动图像输入部210中，当输入了用相机对显示于电 视等的显示器上的模拟运动图像进行了实时视频捕捉而得到的图像或者 进行了MPEG编码后的数字运动图像时，依次取得帧图像。在输入模拟 运动图像时，通过相机、扫描仪来输入而取得帧图像，或者通过输入模 拟视频信号等取得帧图像，如果为数字运动图像，则进行解码处理等来 取得帧图像。
步骤1802)接着在特征区域提取部290中，提取出帧图像中的特征 区域。在特征区域提取中，使用文献3的边缘识别下的矩形区域检测等 的技术。所提取出的特征区域在校正相机拍摄角度等所产生的失真，对 大小进行归一化的基础上，作为特征区域提取图像而输出。
步骤1803)接着在差分图像生成部230中，取当前取得的特征区域 图像与蓄积在特征区域图像缓存302中的以前取得的特征区域图像之间 的差分，生成特征区域差分图像。
步骤1804)另外，准备下一次的检测尝试，将此次的特征区域图像 缓存在特征区域图像缓存302中。
步骤1805)在检测对象区域提取部220中，将特征区域差分图像蓄 积在特征区域差分图像缓存304中。
此时，如图106、图107所示，对齐蓄积在特征区域差分图像缓存 304中的特征区域差分图像的相位，相加蓄积在特征区域差分图像缓存 304中。相位的对齐方法除了上述的与水印图案切换定时的同步之外，还 可以使用第6实施方式和第17实施方式所示那样的方法。其结果，在特 征区域差分图像缓存304中只相加了相位与基本水印图案的相位相同的 图像或者只相加了相位相反的图像。
步骤1806)接着从特征区域差分图像缓存304中所相加蓄积的特征 区域差分图像之中提取出成为水印检测对象的检测对象区域，进行失真 校正、大小归一化来取得检测对象区域图像。
步骤1807)接着在电子水印检测部240中尝试从检测对象区域图像 中检测出电子水印，输出检测结果。
步骤1808)当电子水印检测不成功时，在运动图像输入部210中取得下一个帧图像来依次重复上述处理。
如上所述，由于通过对齐了相位的相加蓄积，相比于仅一张差分图 像的情况，检测对象区域的水印图案相对更为显眼，所以可以提高检测
对象区域的提取可靠度，并可与第6实施方式同样地提高电子水印的检
测性能。
<本实施方式的效果>
在本实施方式中，蓄积差分帧图像或者特征区域差分图像，相对强 化了水印图案的强度之后提取出检测对象区域，从而实现检测对象区域 的提取可靠性的提高。
另外，特别地，通过对齐差分图像中的水印图案的相位进行相加蓄 积，从而不只可以提高检测对象的可靠性，还能同时实现电子水印的检 测性能提高。由于一般在图像上以人无法察觉的程度的微弱的振幅附加 了水印图案，所以有时在一张差分图像中无法明确地确定检测对象区域。 本实施方式通过上述技术能够解决该问题。
本实施方式除了下面说明的部分以外，与第1至第19实施方式相同。 下面主要说明与第13实施方式的不同之处。
说明本实施方式的电子水印嵌入装置100内的水印图案重叠部130 的处理。
图108、图109是用于说明本发明的第20实施方式的水印图案重叠 部的处理的图。
水印图案重叠部130输入帧图像和根据相应的帧显示时刻所生成的 水印图案。此时，根据需要生成多张水印图案，以使一张帧图像上可以 重叠多个水印图案。例如设赋予了表示不同的3个信息的3张水印图案。 在水印图案重叠部130中，适当调整各自的水印图案的振幅，调整欲与 各水印图案表示的信息相关联的帧图像中的对象对齐的位置、大小来重 叠在帧图像上。在图108中，表示出了在帧图像中的互不相同的3个对 象区域上重叠了水印图案的例子。或者，也可以像在图109中，在相当 于图像整体的水印图案中，将对应于对象的水印图案像嵌套一样重叠。此时，也可以在成为嵌套的内侧的水印图案的值上覆写外侧的水印图案
的值。另外，在图109中，像第14实施方式和第15实施方式那样，在 水印图案上附加有检测对象区域提取用的标记等。
接着说明本实施方式的电子水印检测装置的差分图像生成部230的 处理。
图110是用于说明本发明的第20实施方式的差分图像生成部的处理 的图。
差分图像生成部230的处理本身与第13实施方式完全相同，但由于 存在多个所输入的帧图像中的水印图案区域，所以如图110那样，在差 分帧图像中可得到多个水印图案区域。
下面说明本实施方式的检测对象区域提取部220的处理。 图111、图112是用于说明本发明的第20实施方式的检测对象区域 提取部的处理的图。与第13实施方式相同，当取差分帧图像的像素值的 绝对值来搜索矩形区域时，如图111那样可以发现3个检测对象区域。 在3个检测对象区域的每个中生成检测对象区域图像，分别尝试电子水 印检测。
另外，使用图112说明进行图109那样的水印图案重叠时的检测对 象区域提取部220的处理的内容。即使在差分帧图像中水印图案区域成 为嵌套，如果使用第14实施方式和第15实施方式那样的用于定位的标 记等，就能够发现嵌套结构的检测对象区域，在各自中生成检测对象区 域图像来进行电子水印检测尝试。而且，在图112中，在外侧的水印图 案中，内侧的水印图案成为嵌套，关于该区域虽然没有留下外侧的水印 图案的样式，但通过电子水印方式本身具有的鲁棒性，也可以对应于图 案的缺失，所以可以进行电子水印检测。
接着，表示本实施方式的电子水印检测装置200的反馈输出的例子。 图113至图116表示本发明的第20实施方式的电子水印检测装置的 反馈输出的例子。
在电子水印检测装置2001的显示画面上，按照每个检测对象区域得 到的检测状况与检测对象区域的位置和大小等对应地合成到预览画面上。在图113中，根据3个检测对象区域得到的电子水印检测状况合成 在与原本的水印图案关联起来的对象位置上进行显示。
另外，在图114中，表示根据成为嵌套的2个检测对象区域得到的 电子水印检测状况的合成的例子。在这样得到多个电子水印检测对象区 域的情况下，可以同时反馈各自的电子水印检测状况。
另外，如图115和图116所示，在移近(zoomin)显示画面的一部 分进行拍摄时，可以仅输出该拍摄部分的电子水印检测状况。如果使用 该技术，可以例如使用电子水印检测来实现从显示画面的多个对象中选 择几个这样的指示。
另外，本实施方式可以任意地将第1至第19实施方式各自的技术进 行组合来实施，这点是不言自明的。
<本实施方式的效果>
根据本实施方式，将多个水印图案重叠于运动图像的1帧中进行嵌 入，提取出相机捕捉所得到的帧图像中的多个检测对象区域而分别进行 电子水印检测。由此可以进行与帧图像中的对象关联起来的电子水印的 嵌入/检测，提高了方便性。另外，通过在拍摄时移近到特定的对象上来 进行捕捉/检测，从而可以在用户界面上使用选择画面中的特定的对象。
在本实施方式中说明将水印信息作为水印图案的相位差分变动进行 嵌入的例子。
本实施方式除了下面说明的部分以外，与第1至第20实施方式相同。
下面主要说明与第1实施方式不同之处。
说明本实施方式的电子水印嵌入装置100的水印图案生成部120。 图117是用于说明本发明的第21实施方式的水印图案切换信息的例
子的图。
本实施方式的水印图案切换信息并非是对图案的反转直接进行指示 的信息，而是表示水印图案的周期和周期中的切换点的信息。
图118、图119是用于说明本发明的第21实施方式的水印图案切换 部的处理的图。在水印图案切换部122中，首先将所输入的基本水印图案的浓淡值 转换为相位差分变动图案。转换的流程例如在图118那样的2值的基本 水印图案时，求出对应于明/暗的两个相位差分变动值，通过在基本水印 图案上的具有明/暗各自的像素值的像素位置上与相位差分变动值对应起 来而得到转换。此处关于怎样求出2值的相位差分变动值，如图118所 示，在水印图案切换信息为"以3A0秒为一周期地每隔1/10秒断续地切 换"的情况下，由于以3/10秒为一周期而且切换定时为1/10秒，所以如 果在隔1/10秒就使相位变化2;r/3，则3/10秒后恢复到原来的相位，所以 相位差分变动值使用2W3和其反方向上的-2W3的2个值。
如上所述得到相位差分变动图案之后，水印图案切换部122将所输 入的帧显示时刻取为水印图案切换信息的时间轴，按照每个切换定时在 之前的水印相位的图案上加上相位差分变动图案。在图118的例子中， 在时刻tO、 tl、 t2的定时，对水印相位图案加上相位差分变动图案。而且， 位于运动图像的起始帧等的水印相位图案的初始值被设定为水印相位图 案的各要素可以任意取0和上述差分变动值的某一个。
如上所述那样取得了水印相位图案之后，水印图案切换部122将水 印相位图案转换为水印图案。作为转换的方法，例如如图119所示，将 水印相位图案的各要素值与图像的2个以上的分量对应起来，在图中为 与以将YcbCr色系的Cb和Cr放在正交轴上的坐标系的原点(O，O)为中 心的半径r(r为给定的值)的圆上的点对应了起来。其结果将所得的Cb-Cr 的坐标系的Cb坐标、Cr坐标作为对应于该水印相位图案的要素的水印 图案的像素值，求出所有的水印图案的像素值。这样所得的水印图案成 为具有各像素多个分量值的图案。
而且，在本实施方式中，使用Cb、 Cr作为例子，但还可以使用RGB 色系的R-G或者XYZ色系的X-Y或者HSV色系的H-S等各种方法。
另外，在对于各轴的变动量的视觉灵敏度不同的情况下，也可以适 当校正尺度来使各轴的变动量和视觉灵敏度一致。在本实施方式中，表 示了在YCbCr色系中，因相比Y而难以察觉的理由使用Cb和Cr分量的 例子。另外，当并非是多个图像分量，而是单一的分量、例如使用亮度分
量等实施本实施方式时，像第1实施方式的调制方法(A-2)那样地在基 本水印图案中使用波形图案，使波形图案的相位变动，从而能够实现与 本实施方式同样的使用相位差分变动的电子水印嵌入。
通过将这样得到的水印图案依次重叠于帧图像上，从而得到嵌入有 水印的运动图像，这与第l实施方式相同。
说明本实施方式的电子水印检测装置200内的差分图像生成部230 的处理。
图120是用于说明本发明的第21实施方式的差分图像生成部的处理 的图。差分图像生成部230进行与第1实施方式相同的处理而得到差分 图像之后，进而对差分图像进行修改。修改方法例如图120那样，对于 差分图像的各像素得到Cb、 Cr的分量值(cb、 cr),得到与将其嵌入时 同样地描绘在Cb-Cr的正交坐标系上时的局坐标表现(R，0)。接着，判 断0与图中的圆标记的角度(W6、 W2、 ；r/6、 5W6、 7W6、 3;r/2、 11;r/6) 的哪一个最近，得到分配给最近的角度的符号(+或者-)。最后求出对距 原点的距离R乘以了该符号的值，作为差分图像的该像素的像素值来进 行覆盖。对所有的差分图像的像素进行上述处理。
关于差分图像生成部230之后的处理与第1实施方式相同。
下面说明本实施方式的原理。
作为说明的前提，在本实施方式的电子水印检测装置中，如图121 所示，设为，与第3实施方式相同地，根据水印图案切换信息指定捕捉 定时、差分定时。在图121中，差分被指定为取相隔1/10秒的检测对象 区域图像之间的差分。如第4实施方式等所述那样，在第1至第20实施 方式中所说明的电子水印嵌入/检测方法中，根据差分取得定时，所得到 的差分图像中的水印图案的相位与嵌入时的相位或相同或相反，需要用 各种技术来应对。
使用图122和图123说明本实施方式的原理。图122关于嵌入时的 相位差分变动值为2W3的情况，列举了嵌入在相隔1/10秒的2张帧中的 Cb-Cr分量值、即相当于嵌入时的相位图案的值和通过差分所得到的Cb-Cr能出现的所有图案。这样，如果嵌入时的相位差分变动值为2;r/3， 则差分图像中的Cb-Cr分量值具有;r/6、 5W6、 3W2这3个值中的某一 个相位。
图123表示相位差分变动值为-2W3的情况。此时，差分图像中的 Cb隱Cr分量值具有7;r/6、 W2、 11W6这3个值中的某一个相位。即，根 据相位差分变动值，差分图像中的Cb-Cr分量值可以分为2组。如果用 这个原理，通过判断如图120所示检测时的Cb-Cr分量的相位属于2个 组中的哪个组，从而可以不依赖于捕捉的定时，而始终恒定地得到嵌入 时的相位差分变动值。由于相位差分变动值对应于将水印信息进行了扩 散的序列的项的值，所以最终不依赖于捕捉定时而根据差分得到的水印 图案(相当于图120中所修改的差分图像中的水印图案)不进行反转， 相位与嵌入时的基本水印图案的相位相同。
该"从差分得到的水印图案不依赖于定时而始终恒定"的特性极为 重要。例如第1实施方式的调制方法(A-l)由于当差分图像中的水印图 案反转时，检测水印信息的位也反转，所以为了确定相位而需要第4实 施方式和第5实施方式那样的措施。
另外，第1实施方式的其他的调制方法也例如像第6实施方式和第 19实施方式那样，为了提高水印信息和检测对象区域的检测性能而在蓄 积差分图像之际，需要对齐相位，所以曾使用了各种措施，但通过使用 本实施方式， 一举解决了该问题，不依赖于差分的取法而水印图案为恒 定，所以当然不引起检测水印信息的位反转，而且在对差分图像进行相 加蓄积之际不用在意相位地只单纯进行相加即可。
另外，在像第8实施方式那样将水印信息分割为数据块而在时间方 向上依次进行嵌入时，在第1实施方式那样的调制方法中，如图124所 示那样跨越数据块的界线的差分图像中，具有捡测出不正确的水印信息 的危险性。因此为了确保安全，需要在数据块区间之间夹持有未嵌入水 印的区间，由此具有每单位时间的水印信息长度减少的问题。
但是，由于如果使用本实施方式，水印的信息就由相位差分变动所 表示出来，所以如果对之前的数据块终端上的相位图案给予表示此次的数据块信息的相位差分变动来进行嵌入，就可以即使在检测时得到了跨 越数据块界线的差分图像，也能根据该差分正确地检测出数据块信息。 由此，由于可以不混入没有用的空白而连续地切换数据块进行嵌入/检测， 所以能够增大每单位时间的水印信息量。
而且，本实施方式可以任意地将第1至第20实施方式各自的技术进 行组合来实施，这点是不言自明的。 <本实施方式的效果>
根据本实施方式，由于将水印的信息作为相位差分变动进行嵌入， 所以不依赖于差分图像的取得定时，而可以以包含恒定的水印图案的方 式取得差分图像。由此防止了水印信息的位反转，还无需在差分图像蓄 积时对齐相位，只要单纯地相加蓄积差分图像即可，所以可以实现装置 结构的单纯化、处理的高速化和因不需要相位同步信号而得到的水印信 息长度增大和耐性提高。另外，在第8实施方式那样的数据块利用型的 情况下，即使在数据块之间没有夹持着没有用的空白，也能确保检测信 息的可靠性，所以能够实现每单位时间的水印信息长度的增大。
本实施方式除了下面说明的部分以外,与第1至第21实施方式相同。 下面说明与第1实施方式的不同之处。 说明电子水印检测装置200的差分图像生成部230的处理。 图125是用于说明本发明的第22实施方式的差分图像生成部的处理 的图。
在本实施方式中，在差分图像生成部230生成了检测对象区域图像 的差分图像之后，还对差分图像进行滤波处理来输出。
图126A、 B是用于说明本发明的第22实施方式的滤波处理的例子 的图。为了便于说明，将差分图像表示为一维信号。在图126A中，当差 分图像的像素值的绝对值在所给定的阈值以上时，进行对阈值限幅的非 线性滤波处理。另外，在该图B中，当差分图像的像素值的绝对值在所 给定的阈值以上时，进行使像素值为0的非线性滤波处理。
<本实施方式的效果>根据本实施方式，可以用滤波处理抑制在拍摄活动的运动图像的情 况下产生的较大的差分分量。由于一般水印图案以微弱振幅被嵌入，所 以起因于图像自身的动作的差分分量作为具有较大的绝对值的差分图像 上的差分像素值而显现。因此，如果使用本实施方式那样的非线性滤波 器，可以抑制运动图像的动作引起的差分分量，还由于不抑制水印图案 的分量，所以水印图案的S/N比提高，因而可以提高根据活动的运动图 像来实现的检测性能。
本实施方式除了下面说明的部分以外，与第1至第22实施方式相同。 下面说明与第1实施方式的不同之处。
图127是用于说明本发明的第23实施方式的水印图案重叠部的处理 的图。
本实施方式的水印图案重叠部130具有蓄积过去多张量的所依次输 入的帧图像的功能，生成新输入的此次帧图像和以前的帧图像之间的差 分图像。以前的帧图像可以是刚刚之前的图像，也可以是几帧之前的图 像。接着，水印图案按照第l至第22实施方式那样适当进行校准(scaling)。 接着，根据差分图像，调整水印图案的振幅。之后的处理与第1至第22 实施方式同样，对帧图像只重叠振幅被调整过的水印图案。
图128是用于说明本发明的第23实施方式的水印图案振幅调整的例 子的图。该图(1)中，求出差分图像的像素值的绝对值的总和，根据该 总和的值来调整水印图案整体的振幅。调整的方法例如用与总和值成正 比的值来放大振幅等，总和值越大越使振幅增大。或者如该图(2)所示， 还可以有根据差分图像的各坐标的像素值来调整水印图案对应的坐标的 像素值的振幅的方法。此时，例如差分图像的像素值的绝对值越大，越 增大对应位置上的水印图案的振幅。该图(1)、 (2)都为差分图像中具 有较大的绝对值的像素越多、即运动图像的动作越激烈，水印图案的振 幅越增大。另外，也可以在进行了该图O)的措施后，进而进行该图(2) 等，使放大的方法更复杂。
<本实施方式的效果>根据本实施方式，在将水印图案重叠在活动的运动图像上时，对于 差分图像中具有较大的绝对值的像素较多、即动作较激烈的帧，比对于 动作较少的帧要重叠振幅更大的水印图案。由于一般在动作激烈的运动 图像场景中，比起静止的场景而难以察觉噪声，所以即使如上述那样在 动作激烈的帧中增强了水印图案的振幅，也可以使得无法察觉到水印嵌 入带来的画质恶化。
另外，特别是在动作多的场景中，由于检测时的差分图像中具有较 大绝对值的像素较多，所以具有水印检测中噪声较多的问题，但如本实 施方式，通过预先将水印图案强化地嵌入到动作激烈的场景中，从而提
高S/N比来增强水印的检测性能。 [第24实施方式〗
本实施方式除了下面说明的部分以外，与第1至第23实施方式相同。 下面主要说明与第1实施方式的不同之处。
图129表示本发明的第24实施方式的电子水印检测装置的结构。
该图所示的电子水印检测装置200J由运动图像输入部210、检测对 象区域提取部220、差分图像生成部230、电子水印检测部240、检测对 象区域图像缓存250、缩放处理部310构成。该图所示的结构是在第1实 施方式的电子水印检测装置100A中附加了縮放处理部310的结构。
图130是本发明的第24实施方式的动作的流程图。
由于该图所示的流程图中的步骤1901至步骤1906为止的动作与图 20的步骤201至步骤206相同，所以省略其说明。
步骤1907)当电子水印检测部240的检测状况并非良好时，转移到 步骤1901，为良好时进行步骤1908的处理。
步骤1908)在縮放处理部310中，使用表示检测对象区域的大小和 位置的检测对象区域信息和电子水印检测部240的检测状况，当检测状 况为良好时生成縮放参数来使检测对象区域成为所给的大小，提供给运 动图像输入部210，转移到步骤1901的处理。由此，在运动图像输入部 210中，根据所给予的縮放参数，使相机和扫描仪等自动变焦。
此处，所谓"检测状况良好"，与第17实施方式同样地，指虽然例如文献1的检测可信度指标值在某种程度上为有意义的值但仍处于尚未 成功地检测出电子水印的状态，或者在第8实施方式等的按照每个数据 块进行检测时在某个数据块的检测中获得成功等的状态、即、指根据电
子水印检测部240的检测状况明显地存在有意义的电子水印这样的情况。 例如当此次的检测对象区域信息所表示的检测对象区域不足40%时，为 了使检测对象区域的面积为帧图像的面积的40%以上，自动地进行移近 而成为40%以上。或者，在某个检测尝试时检测状况为良好，而且检测 对象区域的面积为20%时，也可以每当检测尝试时逐渐缩小而平滑地改 变显示来改善用户界面。
另外在縮小时，如果过分移近则导致检测对象区域的边缘检测失败， 在这种情况下，也可以不将移近进行至使检测对象区域充满帧图像，而 是縮放为给定的大小(例如帧图像的50%)。进而，还可以不为给定的大 小，而是适当改变縮放率而使当前的检测对象区域信息所确定的检测对 象区域的顶点和边收敛于帧图像中(例如当在帧图像的中央具有检测对 象区域和在端部具有检测对象区域的情况下，后者的移近程度降低)。
而且，上面说明了与第1实施方式的不同，但在与第13至第15实 施方式的组合、移近为使第16实施方式的特征区域成为给定的大小、在 第17实施方式中根据縮放率的变化同样地缩放附近搜索的范围而进行组 合、在第20实施方式中将多个水印图案中的一个成帧(framing)于拍摄 图像的中央进行检测尝试而通过自动縮放来检测与特定的图像区域结合 在一起的水印信息等，可以容易得以实现。
<本实施方式的效果>
根据本实施方式，当拍摄时的帧图像中的检测对象区域的像素大小 较小时，可以自动移近来取得更大的像素大小的检测对象区域。由于一 般像素样本较少时难以进行电子水印检测，所以通过移近来增大检测对 象区域的像素样本数，从而可以提高电子水印的检测性能。
另外，根据电子水印的检测状况，通过只在检测状况良好时进行移 近，从而例如在图131A那样检测状况为良好时用移近来增大检测对象区 域的像素样本数而提高检测性能，同时如该图B那样错误地将不是原来的检测对象区域的区域作为检测对象区域的情况下，由于电子水印检测 状况不是良好，所以不移近、即只在电子水印确实存在的现象较明显的 检测对象区域的情况下进行移近以提高检测性能，所以可以不需要无为
的移近，可以实现可用性(UserFriendly)的提高。 [第25实施方式]
在本实施方式中，将水印的信息作为相位差分变动进行嵌入，在检 测时首先生成差分图像(A)，然后计量时间上相邻的差分图像(A)的 相位差分，通过使用相位差从差分图像(B)中检测出电子水印，从而不 依赖于检测时的捕捉定时和捕捉时间间隔或者快门速度等而可以始终以 相同条件进行电子水印检测。
本实施方式除了下面说明的部分以外，与第1至第24实施方式相同。 下面主要说明与第1实施方式的不同之处。本实施方式的电子水印嵌入 装置的结构与第1实施方式的结构相同。
图132是用于说明本发明的第25实施方式的水印图案切换信息的例 子的图。
本实施方式的电子水印嵌入装置100的水印图案生成部120的水印 图案切换信息并非是对图案的反转进行直接指示的信息，而是用6/30秒 为一周期的正弦波等连续函数来表现的信息，具体而言是表示正弦波的 周期的信息。实际上所输入的运动图像被给出为特定的帧速率、例如 30帧/秒那样的离散的帧图像组，所以如图132的下图所示，将正弦波上 离散地取样来用于嵌入。而且，本实施方式中如下所示，使用相对于正 弦波的周期的相位的值。
图133是用于说明本发明的第25实施方式的水印图案切换部的处理 的图。在水印图案切换部122中，首先将所输入的基本水印图案的浓淡 值转换为符号图案。符号图案是取出基本水印图案的各浓淡值的"+"或 者"-"的符号，将大小为1的值作为各要素值的排列。
接着，在水印图案切换部122中，在水印图案切换信息的时间轴上 取所输入的帧显示时刻，取得对应于帧显示时刻的相对于水印图案切换 信息的周期的相位(下面称为水印图案切换相位)。然后求出与对于之前的帧的水印图案切换相位之间的相位变动值(在图133中为+;r/3)，将对 该相位变动值乘以符号图案的要素值的值作为水印相位图案的各要素值 的相位变动量。水印相位图案是大小与符号图案的大小相同的排列，各 要素取0至2;r的相位值。水印相位图案的各要素的初始值可以为任意值。
如上所述取得了水印相位图案后，水印图案切换部122将相位图案 转换为水印图案。作为转换的方法，例如如图134所示，将水印相位图 案的各要素值与图像的2个以上的分量对应起来，在图中为与以将YCbCr 色系的Cb和Cr放在正交轴上的坐标系的原点(0,0)为中心的半径r (r 为给定的值)的圆上的，角度为相位图案要素值的点对应了起来。其结 果将所得的Cb-Cr的坐标系的Cb坐标、Cr坐标作为对应于该相位图案 的要素的水印图案的像素值求出所有的水印图案的像素值。这样所得的 水印图案成为具有各像素多个分量值的图案。而且，在本实施方式中， 使用Cb、 Cr作为例子，但还可以使用RGB色系的R-G或者XYZ色系 的X-Y或者HSV色系的Hue-Saturation (此时并非在正交坐标上取 Hue-Saturatkm，而是可以将相位值直接设定为Hue值，使其具有给定的 Saturation值)等各种方法。
另外，在对于各轴的变动量的视觉灵敏度不同的情况下，也可以适 当校正尺度来使各轴的变动量和视觉灵敏度一致(例如在图134中使用 椭圆而不使用圆等)。在本实施方式中，表示了在YCbCr色系中，以相 比于Y而难以察觉的理由使用Cb和Cr的分量的例子。
另外，当并非是多个图像分量，而是单一的分量、例如使用亮度分 量等实施本实施方式时，像第1实施方式的调制方法(A-2)那样地在基 本水印图案中使用波形图案，使波形图案的相位变动，从而能够实现与 本实施方式同样地使用相位差分变动的电子水印嵌入。
通过将这样得到的水印图案在水印图案重叠部130中依次重叠于帧 图像上，从而得到嵌入有水印的运动图像，这与第l实施方式相同。
而且，在使用Cb-Cr时，所谓调整水印图案的振幅，是指增减Cb-Cr 坐标系上的振幅(图134上的点a0和原点之间的距离)。另外，使用 Hue-Saturation时相当于增减Saturation还有，当基本水印图案不是2值而是多值时，根据基本水印图案的像素值的绝对值的大小，可以增减对 应的水印图案的像素值的振幅。
图135是本发明的第25实施方式的电子水印检测装置的结构图。 本实施方式的电子水印检测装置200具有运动图像输入部210、检 测对象区域提取部220、差分图像生成部230、相位差分计量部360、电 子水印检测部240、检测对象区域图像缓存250、相位图案缓存370。
图136是本发明的第25实施方式的电子水印检测装置的动作的流程图。
如果说明与第1实施方式之间的不同，则如图137那样与第1实施 方式同样地将在差分图像生成部230中所输出的差分图像(在本实施方 式中标记为差分图像(A))输入到相位差分计量部360中，在相位差分 计量部360中根据差分图像(A)生成相位图案(步骤2040)，测量当前 取得的相位图案和以前取得的相位图案之间的相位差，根据相位差新构 成差分图像(B)来输出(步骤2050)。电子水印检测部240输入差分图 像(B)，与第1实施方式同样地根据差分图像(B)来进行电子水印检邻J (步骤2070)。
图138是用于说明本发明的第25实施方式的相位差分计量部的处理 的内容的图。
相位差分计量部360以差分图像(A)作为输入。相位差分计量部 360将差分图像(A)与嵌入时同样地进行块分割，按照每个块来分别求 出Cb分量、Cr分量的总和，求出将其结果(Cb、 Cr)作为Cb-Cr坐标 系的点表示时的振幅R和相位0，将它们设定为相位图案的对应于该块位 置的要素的值。相位图案是按照各要素位置来取振幅和相位的排列，其 各要素与差分图像的各块对应起来。
接着，相位差分计量部360如图139所示，将蓄积在相位图案缓存 370中的以前取得的相位图案和当前取得的相位图案进行比较，根据各要 素的相位差确定正或者负的符号，进而使用两个相位图案各自的振幅越 大越取大值的递增函数确定新的振幅，确定将上述符号和上述振幅作为 值而具有的差分图像(B)的各要素值。图140A、 B是用于说明本发明的第25实施方式的相位差分计量部 的处理的内容的图。
求出当前取得的相位图案的某要素的相位值e和以前取得的相位图 案对应的要素的相位值W的相位差^f，如果该值在0 ;r的范围内则选 择符号"+"，如果在-;r 0的范围内则选择符号"-"。另外，作为根据当 前取得的相位图案的某要素的振幅值R和以前取得的相位图案对应的要 素的振幅值R'来求出新的振幅值P时所用的递增函数的例子，例如可以 使用P (R、 R，) =11+11'或者/0 (R、 R，) -RxR，等。对于振幅值R、 R，
而递增的理由，是因为残留的水印信号越强烈、即振幅R、 R'越大的图 案越能通过对其进行加权来改善电子水印检测性能。
当对所有的要素结束了符号选择和求出新振幅值的处理之后，将差 分图像(B)发送给电子水印检测部，尝试从差分图像(B)中检测出水 印。而且，由于在以后的检测尝试中使用此次取得的相位图案，所以将 其蓄积在相位图案缓存370中。
接着使用检测时的捕捉定时不同的几个例子来说明本实施方式的原理。
图141的捕捉例A是每隔1/15秒、即每隔1帧来进行帧捕捉的例子。 如果考虑在相邻捕捉帧(在图141中标记为(1)、 (2)、 (3)、 (4)...等) 之间得到的差分图像(A)(在图141中标记为(a)、 (b)、 (c)...等)中 的水印图案的Cb-Cr值，则成为关于图133中的符号图案为正的要素则 如图142那样、对于负的要素则如图143那样，求出将Cb-Cr分量值看 作矢量时的差分的结果。这是因为差分图像的计算对应于Cb分量、Cr 分量的各项的差分计算(由此可大幅度地抑制原始图像分量)，在差分图 像(A)中，可以得到如图142和图143中那样的多个相位，这与第21 实施方式所述相同。
在本实施方式中得到差分图像(A)之后，进而以差分图像(A)的 Cb-Cr分量的相位值为基础生成相位图案，计量时间上相邻的相位图案之 间的相位差(在图141中将相位图案之间的相位差分数据标记为(a)、 (/ )、 (r)...等)。该状况表示在图144(符号图案为正时)和图145 (符号图案为负时)中。在图144和图145中，可知，通过求出相位差，嵌 入时的水印图案的相位差2W3无论在哪个相邻捕捉帧之间都可以根据相 位图案的相位差相等地得到。
在本实施方式中，使用相位差的正负来确定差分图像(B)的符号进 行电子水印检测，但由于如现在所述，相位差与嵌入时的符号图案相对 应着，所以可以进行电子水印的检测，这是不言自明的。即，根据捕捉 帧的任何定时都可以同样地进行电子水印的检测。
图146表示与捕捉例A (图141)不同的捕捉例B。捕捉例B与捕 捉例A同样地为每隔1/15秒的捕捉，但为捕捉开始定时错开的情况。捕 捉例B的情况下，当首先生成了差分图像(A)时，由于嵌入到各捕捉 帧中的水印图案的相位与捕捉例A (图141)的情况下的相位错开，所以 差分图像(A)中的水印图案的Cb-Or值(相位图案的相位值)的组合如 图147和图148那样相比于捕捉例A的情况(图142和图143)而不同。 由此可知，虽然在仅凭差分图像(A)中的水印图案的Cb-Cr值(相位图 案的相位值)的组合来检测水印信息的第21实施方式的情况下可以分类 为符号图案"+"或者"-"，但不清楚两个组中的哪个是"+"哪个是"-"。
但是在本实施方式中，进而通过如图149和图150那样计量相邻的 差分图像(A)之间的相位差，从而可以始终检测与嵌入时的符号图案要 素相同的符号。即、根据本实施方式没有捕捉例A和捕捉例B的差，可 以在任意的捕捉开始定时同样进行电子水印检测。
图151表示与捕捉例A、 B不同的捕捉例C。捕捉例C为捕捉定时 是或1/30秒间隔或1/15秒间隔的不定的情况。捕捉例C的情况下，首先 当生成了差分图像(A)时，如图152和图153那样以与捕捉例A和捕 捉例B不同的组合来得到差分图像(A)中的Cb-Cr值(相位图案的相 位值)。另外按照捕捉例C那样捕捉的时间间隔各自不同的情况下，由于 难以将差分图像(A)中的Cb-Cr值(相位图案的相位值)分为2类，所 以用第21实施方式的方法难以进行检测。
但是在本实施方式中，进而如图154和图155那样计量相邻的差分 图像(A)之间的相位差。此时，相位差的值由于捕捉时间间隔发生变动而各不相同，但通过相位差所确定的符号(0 ;r—+、-" 0 —-)不依 赖于捕捉时间间隔而是恒定的，而且取与嵌入时的符号图案相同的值。 由此，根据本实施方式可如捕捉例C那样即使在捕捉时间间隔发生变动 的情况下，也能没有问题地进行电子水印的检测。
图156表示与捕捉例A、 B、 C不同的捕捉例D。在运动图像的相机
捕捉等的情况下，有时在快门速度较慢时多个运动图像帧复用地曝光于1 张捕捉帧上而被合成。例如在图156的捕捉例D中，通过复用曝光而将 每隔1/30秒显示的运动图像帧合成在1张捕捉帧上。但是，该合成所得
的捕捉帧中的水印图案的相位由于是被复用的各个运动图像帧中的相位 的合成(因为通过用适当的比率来加权平均多帧的Cb、 Cr分量各项来得 到合成图像)，所以如图157那样，取被复用的各个运动图像帧中的相位 的中间值(图157表示正好以1: 1的比率用复用曝光来合成2帧的例子， 但例如即使为2: l等也能取对应于该内分比率的中间值，这是显而易见 的)。捕捉例D的情况下，首先当生成了差分图像(A)时，如图158和 图159那样以与捕捉例A、 B、 C不同的组合来得到差分图像(A)中的 Cb-Cr值(相位图案的相位值)。如捕捉例D那样所复用曝光的捕捉帧的 情况下，由于难以将差分图像(A)中的Cb-Cr值(相位图案的相位值) 分为2类，所以用第21实施方式的方法难以进行检测。
但是在本实施方式中，进而如图160和图161那样计量相邻的差分 图像(A)之间的相位差，从而可以始终检测与嵌入时的符号图案要素相 同的符号。即根据本实施方式，在捕捉时的定时从运动图像的帧显示定 时微小地错开任意的时间的情况下，即使捕捉帧中被复用曝光而合成了 多个运动图像帧时，也能同样进行电子水印检测。
该"从差分得到的水印图案不依赖于捕捉定时和捕捉时间间隔或快 门速度等而始终恒定"的特性极为重要。例如第1实施方式的调制方法 (A-l)由于当差分图像中的水印图案反转时，检测水印信息的位也反转， 所以为了确定相位而需要第4实施方式和第5实施方式那样的措施。
另外，第1实施方式的其他的调制方法也例如像第6实施方式和第 19实施方式那样，为了提高水印信息和检测对象区域的检测性能而在蓄积差分图像之际，需要对齐相位，所以曾使用了各种措施，但通过使用 本实施方式， 一举解决了该问题，不依赖于差分的取法而水印图案为恒 定的，所以当然不引起检测水印信息的位反转，而且在对差分图像(本 实施方式的差分图像(B))进行相加蓄积之际不用在意相位地只单纯进 行相加即可。
另外，在像第8实施方式那样将水印信息分割为数据块而在时间方 向上依次进行嵌入时，在第1实施方式那样的调制方法中，如图124所 示那样跨越数据块的界线的差分图像中，具有检测出不正确的水印信息 的危险性。因此为了确保安全，需要在数据块区间之间夹持有未嵌入水 印的区间，由此具有每单位时间的水印信息长度减少的问题。
但是，由于如果使用本实施方式，水印的信息就由相位差分变动表 示出来，所以如果对之前的数据块终端上的相位图案给予表示此次的数 据块信息的相位差分变动来进行嵌入，就可以在检测时得到了跨越数据 块界线的差分图像，也能根据该差分检测出正确的数据块信息。由此， 由于可以不混入没有用的空白而连续地切换数据块来进行嵌入/检测，所 以能够增大每单位时间的水印信息量。
进而，即使在第21实施方式中较为困难的、捕捉间隔变动的情况和 成为由复用曝光合成了多个运动图像帧的捕捉帧的情况下，根据本实施 方式也能没有问题地如上所述进行检测，而且还能享受到通过与上述各 实施方式进行组合带来的效果。
而且，本实施方式可以任意地将第1至第24实施方式各自的技术进 行组合来实施，这点是不言自明的。即，如果将本实施方式的相位差分 计量部的处理插入进各实施方式中对应的部位(电子水印检测部或检测 对象区域提取部之前等)进行处理，则可以实现先前所述的效果。当与 其他实施方式之间的组合时，只要将本实施方式的差分图像(B)试着替 换为差分图像或者检测对象区域图像即可。下面对把本实施方式的技术 应用到各实施方式中的情况进行简单说明，
參第1、 2、 3、 4、 5、 6、 7、 8、 9、 10、 11、 12、 21、 22、 23、 24
实施方式将电子水印检测装置的差分图像生成部的输出作为差分图像(A)输入到相位差分计量部中，得到差分图像(B)而将其输入到电子 水印检测部；
*第13、 14、 15、 16、 17、 18、 19、 20实施方式将作为检测对象 区域提取部的输出的检测对象区域图像作为本实施方式的差分图像(A) 输入到相位差分计量部中，得到差分图像(B)而将其输入到电子水印检
这样进行处理即可。 <第25实施方式的效果>
根据本实施方式，由于将水印的信息作为相位差分变动进行嵌入， 在检测时首先生成差分图像(A)，进而计量时间上相邻的差分图像(A) 的相位差分，使用相位差根据得到的差分图像(B)进行电子水印检测， 所以如上所述不依赖于检测时的捕捉定时和捕捉时间间隔或者快门速度 等而可以始终在相同条件下进行电子水印检测。由此防止了水印信息的 位反转，还无需在差分图像蓄积时对齐相位，只要单纯地相加蓄积差分 图像即可，所以可以实现装置结构的单纯化、处理的高速化和不需要相 位同步信号所得到的水印信息长度增大和耐性提高。
另外，在第8实施方式那样的数据块利用型的情况下，即使在数据 块之间没有夹持着没有用的空白，也能确保检测信息的可靠性，所以能 够实现每单位时间的水印信息长度的增大。另外，在检测装置的捕捉定 时变动的情况和通过相机拍摄等通过复用曝光来合成多个运动图像帧而 进行捕捉的情况下，都能没有任何问题地进行电子水印检测，所以可以 使电子水印检测装置200的运动图像输入部210的结构变得简单(不以 正确的时钟进行捕捉也可以)，或者可以提高在相机那样的模拟光学读取 的情况下的电子水印检测性能。
在本实施方式中，将水印的信息作为相位差分变动进行嵌入，在检 测时首先生成差分图像(A)，然后计量时间上相邻的差分图像(A)的 相位差分，生成使用以如上所述，可以不依赖于检测时的捕捉定时和捕捉时间间隔或者快门 速度等而可以始终在相同条件下进行电子水印检测，校正拍摄角度所产
生的失真的影响，而且通过蓄积提高水印的耐性，实现更稳定的电子水 印检测。
图162是本发明的第26实施方式的电子水印嵌入装置的结构图。 该图所示的电子水印嵌入装置100由帧图像取得部110、水印图案生 成部120、水印图案重叠部130、运动图像数据再构成部140构成。本实 施方式的电子水印嵌入装置100以原始运动图像数据、水印信息、水印 图案切换信息作为输入。
图163是本发明的第26实施方式的电子水印嵌入装置的动作的流程图。
步骤IOO)首先在帧图像取得部110中如图164那样根据原始运动图 像数据依次各取得一个帧图像和该帧图像的显示时刻。此处所谓帧图像 显示时刻既可以表示例如根据时间代码和再现时的帧速率来确定的运动 图像的起始处起的绝对时刻，或者也可以为测量了再现时的帧之间的相 对的时间间隔的时刻。帧图像取得部IIO在输入运动图像数据为MPEG 等的编码数据的情况下，进行解码等来取得帧图像。
步骤IIO)接着在水印图案生成部120中使用水印信息、帧显示时刻、 水印图案切换信息来生成水印图案。
步骤120)然后在水印图案重叠部130中，将该水印图案重叠于帧 图像上来生成嵌入有水印的帧图像。
步骤130)最后，在运动图像数据再构成部140中，将依次生成的 嵌入有水印的帧图像串，作为运动图像数据进行再构成之后作为嵌入有 水印的运动图像数据来输出。此时，如果需要也可以进行MPEG编码等 的编码。
图165是本发明的第26实施方式的水印图案生成部的结构图，图 166是本发明的第26实施方式的水印图案生成部的动作的流程图。
水印图案生成部120具有基本水印图案生成部121和水印图案切换 部122，将水印信息、水印图案切换信息、帧显示时刻作为输入。步骤2100)首先在基本水印图案生成部121中，将水印信息转换为 作为2维图案的基本水印图案。该转换的方法如第1实施方式所示那样 具有各种方法，但在本实施方式中为了简化说明，使用第1实施方式的 调制方法。
图167表示基本水印图案生成部121的处理的例子。在本实施方式 中，使用根据用扩散序列对水印信息的位值进行直接光谱扩散调制所得 到的序列的值，将像素值的大小对应起来的方法。此时基本水印图案的 各像素值取正或者负的值。
步骤2110)水印图案生成部120接着在水印图案切换部122中根据 帧显示时刻和水印图案切换信息之间的关系，来判断是否需要反转基本 水印图案的相位，根据需要改变基本水印图案的相位，作为水印图案输 出。
图168是本发明的第26实施方式的水印图案切换部的结构图。 水印图案切换部122具有符号图案生成部1221、水印图案切换相位
变动值计算部1222、水印相位差分图案生成部1223、水印相位图案生成
部1224、水印相位图案图像化部1225。
图169是本发明的第26实施方式的水印图案切换部的动作的流程图。
步骤2200)水印图案切换部122首先在符号图案生成部1221中将 基本水印图案转换为符号图案。
步骤2210)接着在水印图案切换相位变动值计算部1222中，根据 帧显示时刻所表示的之前的帧与此次的帧之间的时间差，来求出水印图 案切换信息表示的水印图案切换相位的差分值，将其作为水印图案切换 相位变动值。
步骤2220)接着在水印相位差分图案生成部1223中，生成如下的 水印相位差分图案具有符号图案所表示的符号，将水印图案切换相位 变动值作为绝对值来设置。
步骤2230)接着在水印相位图案生成部1224中，对相对于之前的 帧的水印相位图案的各要素值赋予此次的水印相位差分图案作为相位差，得到此次的水印相位图案。
步骤2240)最后在水印相位图案图像化部1225中，将水印相位图 案转换为图像图案，将其结果作为水印图案输出。
图170是用于说明本发明的第26实施方式的水印图案切换信息的例 子的图。
本实施方式的电子水印嵌入装置100的水印图案生成部120的水印 图案切换信息并非是对图案的反转进行直接指示的信息，而是用6/30秒 为一周期的正弦波等连续函数来表现的信息，具体而言是表示正弦波的 周期的信息。实际上所输入的运动图像作为特定的帧速率、例如30帧/ 秒那样的离散的帧图像组而给出，所以如图170的下图所示，在正弦波 上离散地取样来用于嵌入。而且，本实施方式中如下所示，使用相对于 正弦波的周期的相位的值。
图171是用于说明本发明的第26实施方式的水印图案切换部的处理 的图。
在水印图案切换部122中，首先将所输入的基本水印图案的浓淡值 转换为符号图案。符号图案是取出基本水印图案的各浓淡值的"+"或者 "-"的符号，将大小作为1的值作为各要素值的排列。
接着，在水印图案切换信息的时间轴上取所输入的帧显示时刻，取 得对应于帧显示时刻的相对于水印图案切换信息的周期的相位(下面称 为水印图案切换相位)。然后求出与对于之前的帧的水印图案切换相位之 间的相位变动值(在图171中为+W3)，将其作为水印图案切换相位变动 值，将对该水印图案切换相位变动值乘以符号图案的要素值的值作为水 印相位差分图案。然后对对应于之前的帧的水印相位图案的各要素值赋 予水印相位图案的各要素值来作为相位变动量，作为此次的水印相位图 案。水印相位图案是大小与符号图案的大小相同的排列，各要素取0至 2;r的相位值。水印相位图案的各要素的初始值可以为任意值。
如上所述取得了水印相位图案后，在水印相位图案图像化部1225中 将水印相位图案转换为水印图案。作为转换的方法，例如如图172所示， 将水印相位图案的各要素值与图像的2个以上的分量对应起来，在图中为与以将YCbCr色系的Cb和Cr放在正交轴上的坐标系的原点(0,0)为 中心的半径r (r为给定的值)的圆上的、角度为相位图案要素值的点对 应了起来。其结果将所得的Cb-Cr的坐标系的Cb坐标、Cr坐标作为对 应于该相位图案的要素的水印图案的像素值求出所有的水印图案的像素 值。这样所得的水印图案成为具有各像素多个分量值的图案。
而且，在本实施方式中，使用Cb、 Cr作为例子，但还可以使用RGB 色系的R-G或者XYZ色系的X-Y或者HSV色系的Hue-Saturation (此 时并非在正交坐标上取Hue-Saturation,而是可以将相位值直接设定为 Hue值，使其具有给定的Saturation值)等各种方法。
另外，在对于各轴的变动量的视觉灵敏度不同的情况下，也可以适 当校正尺度来使各轴的变动量和视觉灵敏度一致(例如在图134中使用 椭圆而不使用圆等)。在本实施方式中，表示了在YCbCr色系中，以相 比于Y而难以察觉的理由使用Cb和Cr的分量的例子。另外，当并非是 多个图像分量，而是单一的分量、例如使用亮度分量等实施本实施方式 时，像第1实施方式的调制方法(A-2)那样地在基本水印图案中使用波 形图案，使波形图案的相位变动，从而能够实现与本实施方式同样地使 用相位差分变动的电子水印嵌入。
如图173所示，通过将这样得到的水印图案在水印图案重叠部130 中适当改变水印图案的振幅来依次重叠于帧图像上，从而得到嵌入有水 印的运动图像，这与第1实施方式相同。此时，设将水印图案校准为帧 图像以下的大小，重叠于帧图像的中央。而且，在使用Cb-Cr时，所谓 调整水印图案的振幅，是指增减Cb-Cr坐标系上的振幅(图172上的点 a0和原点之间的距离)。另外，使用Hue-Saturation时相当于增减 Saturation 。
还有，当基本水印图案不是2值而是多值时，根据基本水印图案的 像素值的绝对值的大小，可以增减对应的水印图案的像素值的振幅。最 后在运动图像数据再构成部140中，将通过上述处理而依次生成的嵌入 有水印的帧图像作为运动图像数据再构成而作为嵌入有水印的运动图像 数据输出。进行再构成时也可以进行MPEG编码等的编码。上面说明了本实施方式的电子水印嵌入装置。 接着说明本实施方式的电子水印检测装置。
图174是本发明的第26实施方式的电子水印检测装置的结构图。
电子水印检测装置200具有运动图像输入部210、特征区域提取部 290、差分图像生成部230、相位差分计算部360、检测对象区域提取部 220、电子水印检测部240、特征区域图像缓存302、相位图案缓存370、 差分图像(B)蓄积缓存390。
电子水印检测装置200将在TV等的显示器上显示的模拟运动图像 或者被MPEG编码后的数字运动图像作为输入。
图175是本发明的第26实施方式的电子水印检测装置的动作的流程图。
步骤2300)在运动图像输入部210中，当输入了模拟或者数字运动 图像时，依次取得帧图像。在输入模拟运动图像时，通过相机、扫描仪 来进行输入而取得帧图像，或者通过输入模拟视频信号等来取得帧图像， 另外如果是数字运动图像，则进行解码处理等而取得帧图像。
步骤2310)接着，在特征区域提取部290中，与第16实施方式等 同样地提取捕捉到的帧图像中的特征区域，取得特征区域图像。
步骤2320)然后，在差分图像生成部230中，生成当前取得的特征 区域图像和蓄积在特征区域图像缓存302中的以前取得的特征区域图像 之间的差分图像，作为差分图像(A)输出。
步骤2330)另外，为准备下一个检测尝试，将此次的特征区域图像 缓存到特征区域图像缓存302中。
步骤2340)接着在相位差分计量部360中，将差分图像(A)转换 为相位图案。
步骤2350)在相位差分计量部360中，计量当前取得的相位图案和 蓄积在相位图案缓存370中的以前取得的相位图案之间的相位差，根据 该相位差和上述2个相位图案的振幅值来新生成差分图像(B)。
步骤2360 2380)接着在检测对象区域提取部220中，将此次的差 分图像(B)相加蓄积在差分图像(B)蓄积缓存390中，从所蓄积的差分图像(B)中提取检测对象区域，得到检测对象区域图像。
步骤2390)最后在电子水印检测部240中，尝试从检测对象区域图 像中检测出电子水印，输出检测结果。
步骤2400)当电子水印检测不成功时，在运动图像输入部210中取
得下一个帧图像来依次重复上述处理。
图176是用于说明本发明的第26实施方式的特征区域提取部的处理 的图。
特征区域提取部290将帧图像作为输入，与第16实施方式等同样地 提取帧图像中的特征区域，得到特征区域图像。
图177是用于说明本发明的第26实施方式的差分图像生成部的处理 的图。差分图像生成部230将特征区域图像作为输入。差分图像生成部 230生成当前输入的特征区域图像和蓄积在特征区域图像缓存302中的以 前取得的特征区域图像之间的差分图像，作为差分图像(A)输出。差分 处理使用R、 G、 B和Y、 Cb、 Cr等的各分量的减法运算来进行。另外， 为准备下一个检测尝试，将此次的特征区域图像缓存到特征区域图像缓 存302中。
图178是用于说明本发明的第26实施方式的相位差分计量部的处理 的内容的图。
相位差分计量部360以差分图像(A)作为输入。相位差分计量部 360按照差分图像(A)的每个像素来分别求出Cb分量、Cr分量，求出 将其结果(cb、 cr)作为Cb-Cr坐标系的点表示时的振幅R和相位e，将 它们设定为相位图案的对应于该像素位置的要素的值。相位图案是按照 各要素位置来取振幅和相位的排列，其各要素与差分图像的各像素对应 起来。
接着，相位差分计量部360如图179所示，将蓄积在相位图案缓存 370中的以前取得的相位图案和当前取得的相位图案进行比较，根据各要 素的相位差确定正或者负的符号，进而使用两个相位图案各自的振幅越 大越取大值的递增函数确定新的振幅，确定将上述符号和上述振幅作为 值而具有的差分图像(B)的各要素值。图180A、 B表示相位差的符号选择方法的例子。求出当前取得的相 位图案的某要素的相位值0和以前取得的相位图案对应的要素的相泣值 W之间的相位差^P'，该值在0 ;r的范围内则选择符号"+ "，如果在-;r O的范围内则选择符号"-"。另外，作为根据当前取得的相位图案的某要 素的振幅值R和以前取得的相位图案对应的要素的振幅值R'来求出新的 振幅值p时所用的递增函数的例子，例如可以使用p (R、 R') = R+R'或 者p (R、 R，) -RxR，等。对于振幅值R、 R，而递增的理由，是因为当残 留的水印信号越强烈、即振幅R、 R'越大的图案就越是能通过对其进行 加权来改善电子水印检测性能。当对所有的要素结束了符号选择和求出 新振幅值的处理之后，输出差分图像(B)。而且，准备下一个检测尝试， 将此次的相位图案缓存在相位图案缓存370中。
接着说明检测对象区域提取部220的处理的内容。
检测对象区域提取部220以差分图像(B)作为输入。检测对象区域 提取部220将所输入的差分图像(B)相加蓄积在差分图像(B)蓄积缓 存390中。
图181是用于说明本发明的第26实施方式的差分图像(B)蓄积缓 存的图。差分图像(B)蓄积缓存390是大小与差分图像(B)的大小相 同的像素排列，按照新输入的差分图像(B)的每个像素，对差分图像(B) 蓄积缓存390的对应的像素位置加上像素值。
图182是用于说明本发明的第26实施方式的检测对象区域提取部的 处理的图。在检测对象区域提取部220中，如上所述在差分图像(B)蓄 积缓存3卯中相加蓄积了差分图像(B)后，取差分图像(B)蓄积缓存 390的像素值的绝对值，与第13实施方式等相同地从其中提取出检测对 象区域。然后以使绝对值化之前的差分图像(B)蓄积缓存390的检测对 象区域的图像成为给定的大小的矩形的方式进行失真校正，再进行大小 归一化来生成检测对象区域图像而进行输出。
说明上述处理中的检测对象区域提取部220的效果。考虑在相位差 分计量部360中得到的差分图像(B)时，关于嵌入有水印图案的像素区 域，相比于未嵌入有水印图案的像素区域，像素值的绝对值一般较大。
103这是由于水印图案按照各捕捉帧而不同，所以关于嵌入有水印图案的 像素区域，差分图像(A)的像素值的绝对值较大，但关于未嵌入有水印 图案的像素区域，由于原始图像分量的时间相关度较高，所以差分图像
(A)的像素值的绝对值较小。另外，在相位差分计量部360中，由于使 用相位差分来确定差分图像(B)的像素值的符号，所以如第25实施方 式所述，不依赖于捕捉定时，对于嵌入有水印图案的像素区域，在相同 的像素位置始终为相同的符号。因此，如果在差分图像(B)蓄积缓存 390进行相加蓄积，则每当相加时绝对值都会变大。但关于未嵌入有水印 图案的像素区域，符号不相同而是各种各样，再加上刚才所述的像素值 的绝对值较小，即使通过相加蓄积后，像素值的绝对值也不会很大，相 对地与嵌入有水印图案的像素区域之间的对比度在每当相加蓄积时增 大。因此，如果对通过相加蓄积得到的差分图像(B)蓄积缓存390的像 素值取绝对值，则水印图案的正负区别消失，在未嵌入有作为背景区域 的水印图案的像素区域中，嵌入有水印图案的像素区域以较高的对比度 显现出来。由此可以可靠地将嵌入有水印图案的区域作为检测对象区域 提取出来。
而且如图181所示，由于通过相加蓄积，水印图案相对得到强化， 所以可以改善后面所述的电子水印检测的检测性能，实现具有更高耐性 的电子水印检测。
最后，电子水印检测部240以检测对象区域图像作为输入，尝试从 检测对象区域图像中检测出电子水印。使用图183说明电子水印检测部 240的处理例子。图183是对应于电子水印嵌入时的调制方法(A-l)的 检测时的解调方法(文献l)。
首先将检测对象区域图像块分割为嵌入时的水印图案的块的个数。 接着求出块内的像素值的合计，按照块的顺序排列来得到作为一维序列 的检测对象序列。接着，从检测对象序列取出对应于嵌入时的1位的区 间，与扩散序列的对应的区间进行相关运算。如果相关值为较大的正值 则检测为位值"l"，如果为较大的负值则检测为位值"0"，对所有的位 进行检测处理。还可以根据需要对结束了检测处理的水印信息进行纠错/检测解码处理等。当电子水印检测不成功的情况下接着回到运动图像输 入部210的帧捕捉处理，重复检测尝试。或者结束了运动图像的输入后 结束检测处理。
<第26实施方式的效果>
根据本实施方式，除了与第25实施方式同样地具有无论在什么定时 捕捉运动图像都没有问题的效果，除此之外，通过按照各像素从差分图 像(A)得到差分图像(B),相加蓄积差分图像(B)，将取了绝对值之 后的值从检测对象区域提取出来进行电子水印检测，从而还可以兼具第 19实施方式的效果。
而且，由于将水印的信息作为相位差分变动进行嵌入，所以在差分 图像(B)的相加蓄积中直接进行像素值的相加即可，还由于不反转水印 信息的位，所以与第19实施方式相比，成为更简单和更高效的电子水印 方式。
还有，根据本实施方式，通过各种技术确定从捕捉到的帧图像中的 哪个部分进行电子水印检测较好，即使在各种拍摄角度和背景图像的条 件下，都能可靠地进行电子水印检测，还能提高电子水印的检测性能。 由此，可以用相机拍摄电视等的运动图像，可靠地根据拍摄到的运动图 像实时地进行电子水印检测处理。
另外，还可以将上述方式中的电子水印嵌入装置100、电子水印检 测装置200的各动作构建为程序，安装于用作电子水印嵌入装置、电子 水印检测装置的计算机内使其执行、或者可经由网络使其流通。当然还 可以将该程序存储在CD-ROM、数字存储器等的计算机可读取的记录介 质中来使用。
而且，本发明不限于上述实施方式，可以在权利要求的范围内进行 各种变更/应用。另外，本发明可应用于电子水印技术，本发明不仅限于 上述实施方式，可以应用于例如3维显示系统、3维拍摄系统和音频信息 等中，还可以应用于红外线等无法察觉的信号区域中等，可进行各种应 用。根据本实施方式，通过对运动图像的帧进行时间性的切换的水印图 案的嵌入，从而并非是对运动图像的各帧嵌入固定的图案，而是嵌入高 速切换的图案，由于对于人的视觉特性中的时间频率特性而对于高频的 视觉灵敏度较低，所以可以降低水印嵌入带来的画质恶化。
另外，在检测时对于从相机等模拟输入设备连续输入的帧图像，生 成时间上临近的2张捕捉帧图像之间的差分图像，进行电子水印检测， 所以可以大幅消除对电子水印信号而言成为噪声的原始图像信号，能够 实现电子水印检测性能的提高。
另外，如果嵌入时的水印图案的切换定时在检测侧为已知的，则可
以使用捕捉到的2帧的时刻来选择差分图像中残留着水印图案的部分，
无需进行无为的电子水印检测。而且，通过按照水印图案切换定时来控
制检测侧的相机的捕捉定时或者差分图像取得时的2张图像之间的时间 差，从而可以始终在差分图像中残留水印图案，能够高效地进行电子水 印检测。
再有，通过判断差分图像中的水印图案的相位，从而即使在使用通 过水印图案的相位的反转而使检测水印信息的位反转的类型的调制方法 的情况下，也能正确地检测水印信息。此时，可以将水印信息中的1位 用作相位判断用标记，或者可以使用不同于水印信息的相位判断用电子 水印。
另外，通过将连续的捕捉所依次得到的差分信息，在对齐相位的基 础上进行相加蓄积，从而相对增加了水印图案的强度，通过尝试从蓄积 缓存中检测出电子水印，从而即使在用1张差分图像则无法得到足够的 检测性能的情况下也能进行检测。而且，除了具有为了对齐相位而使用 上述相位反转用标记，或者使用不同于水印信息的相位判断用水印的方 法以外，还有使用光谱扩散调制的相关值的符号极性的方法。
另外，通过对电子水印捡测时计算出的相关值依次相加蓄积，评价 所蓄积的相关值来进行可否检测判断，从而即使在用1张差分图像则无 法得到足够的检测性能的情况下也能进行检测。此时，也可以通过对齐 差分图像的相位，使相关值始终以相同相位得到蓄积，或者蓄积相关值的绝对值。
另外，将嵌入信息分割为小数据块，在时间方向上切换数据块来进 行嵌入，检测时通过连接按照每个数据块进行检测而得到的数据块，从 而可以嵌入/检测更长的水印信息。进而，与对一个差分图像时的处理同 样地，每当检测出小数据块时进行差分相位判断，或者通过嵌入表示数 据块的顺序的数据块ID来进行嵌入而一并进行相位判断，或进行对齐了 相位的差分图像蓄积，或进行相关值的蓄积，从而更能提高电子水印的 检测性能。
进而，在进行来自相机的实时检测处理的状况下，通过实时反馈输 出电子水印检测处理的状况，从而可以通过增加对话性而提高了方便性。 特别地，通过促使用户采用易于检测的状况，从而可以期待提高检测性 能。
进而，由于将水印的信息作为水印图案的相位差分变动进行嵌入， 所以不依赖于差分图像的取得定时，而可以以包含恒定的水印图案的方 式取得差分图像。由此防止了水印信息的位反转，还无需在差分图像蓄 积时和相关值蓄积时对齐相位，只要单纯地相加蓄积差分图像即可，所 以可以实现装置结构的单纯化、处理的高速化和因不需要相位同步信号 而得到的水印信息长度增大和耐性提高。另外，在数据块利用型的情况 下，即使在数据块之间没有夹持着没有用的空白，也能确保检测信息的 可靠性，所以能够实现每单位时间的水印信息长度的增大。
而且，根据本实施方式，在对运动图像的帧进行时间上切换的水印 图案的嵌入时，重叠小于运动图像数据的帧大小的水印图案。另外，在 检测时生成捕捉而得到的帧图像之间的差分图像，通过从差分图像中提 取出差分较大的区域、即成为电子水印检测对象的区域，从而可不依赖 于拍摄角度和背景图像来实现稳定的电子水印检测。
再有，通过从按照每个捕捉帧校正特征区域的失真、进行归一化来 得到的特征区域图像间的差分图像中提取出检测对象区域，从而即使在 拍摄中相机移动也能稳定地提取检测对象区域。
进而，在嵌入时将表示不同信息的多个水印图案与图像中的对象等关联起来进行配置来重叠，在检测时从差分图像中提取出多个检测对象 区域，可以同时检测多个电子水印信息，或是提取出按照每个对象而不 同的信息。
而且，将水印的信息作为相位差分变动进行嵌入，在检测时首先生
成差分图像(A)，然后计量时间上相邻的差分图像(A)的相位差分， 使用相位差根据差分图像(B)进行电子水印检测，从而不依赖于检测时 的捕捉定时和捕捉时间间隔或者快门速度等而可以始终以相同条件进行 电子水印检测。
还有，将水印的信息作为相位差分变动进行嵌入，在检测时首先生 成差分图像(A)，然后计量时间上相邻的差分图像(A)的相位差分， 使用相位差生成所得到的差分图像(B)，相加蓄积差分图像(B)来提取 检测对象区域，根据检测对象区域图像来进行电子水印检测，所以如上 所述，可以不依赖于检测时的捕捉定时和捕捉时间间隔或者快门速度等 而可以始终在相同条件下进行电子水印检测，还能校正拍摄角度所产生 的失真的影响，而且通过蓄积提高水印的耐性，实现更稳定的电子水印
、、另外，如果嵌入时的水印图案的切换定时在检测侧为已知的，则可 以使用捕捉到的2帧的时刻来选择差分图像中残留着水印图案的部分， 无需进行无为的电子水印检测。而且，通过按照水印图案切换定时来控 制检测侧的相机的捕捉定时或者差分图像取得时的2张图像之间的时间 差，从而可以始终在差分图像中残留水印图案，能够高效地进行电子水 印检测。
而且，根据本实施方式，在对运动图像的帧进行时间上切换的水印 图案的嵌入时，重叠小于运动图像数据的帧大小的水印图案。另外，在 检测时生成捕捉而得到的帧图像之间的差分图像，通过从差分图像中提 取出差分较大的区域、即成为电子水印检测对象的区域，从而可不依赖 于拍摄角度和背景图像来实现稳定的电子水印检测。
再有，通过从按照每个捕捉帧提取特征区域，校正特征区域的失真、 进行大小归一化来得到的特征区域图像间的差分图像中提取出检测对象区域，从而即使在拍摄中相机移动也能稳定地提取检测对象区域。
另外，在检测对象区域和特征区域的搜索时，通过只搜索以前电子
水印检测状况为良好时的位置的附近，从而可以进行更稳定的区域提取。 还有，通过相加蓄积差分图像，从所相加蓄积的差分图像中提取出
检测对象区域，从而可以进行更稳定的区域提取和提高电子水印检测性能。
进而，在嵌入时将表示不同信息的多个水印图案与图像中的对象等 关联起来进行配置来重叠，在检测时从差分图像中提取出多个检测对象 区域，可以同时检测多个电子水印信息，或是提取出按照每个对象而不 同的信息。
再次，当拍摄时的帧图像中的检测对象区域的像素大小较小时，可 以自动移近来取得更大的像素大小的检测对象区域。由于一般像素样本 较少时难以进行电子水印检测，所以通过进行移近来增大检测对象区域 的像素样本数，从而可以提高电子水印的检测性能。
如上所述，根据本发明的实施方式，通过用各种技术来提高电子水 印的检测性能，从而可以用相机拍摄电视等的运动图像，根据拍摄到的 运动图像来实时地进行电子水印检测处理。
还有，确定从捕捉到的帧图像中的哪个部分进行电子水印检测较好， 即使在各种拍摄角度和背景图像的条件下，都能可靠地进行电子水印检 测，还能提高电子水印的检测性能。由此，可以用相机拍摄电视等的运 动图像，可靠地根据拍摄到的运动图像实时地进行电子水印检测处理。
通过本发明的实施方式，例如用带相机的移动电话拍摄电视所播放 中的影像，取得播放节目相关信息或者使用水印检测来选择问答节目和 观众调査的选项，通过通信将该结果发送给电台，从而可实现实时向节 目内容反馈的对话性电视播放，或者在以往需要条形码等的扩展现实感 系统中，通过使用无法看到的电子水印来无需条形码地消除该不自然的 感受，或者在电视游戏等中用水印检测确定操作对象的对象等，从而用 于游戏操作，或者在街头的室外大屏幕等中实施与上述同样的应用，或 是在PC (个人计算机)等的显示画面上嵌入水印，用带相机的移动电话拍摄该水印，从PC向移动电话发送信息进行设备连接，或复制静止图像
使其为任意的n张(n为2以上的整数)，将其看作为n帧的运动图像来 应用本发明，用运动图像GIF等的方法来进行编码，将其显示在浏览器 画面上等，从而也可以对显示画面上的静止图像进行水印嵌入/检测，或 者在PC上分析HTML等的超文本(hypertext)而显示于浏览器等上时， 在贴有超链接的对象的显示区域上应用本发明来嵌入超链接信息，用带 相机的移动电话拍摄PC的显示画面来用移动电话进行浏览，或者使用移 动电话的显示画面进行上述应用来实现移动电话间连接和移动电话—PC 连接等，其具有极为广泛的应用领域。进而，当然也能应用于以往以来 作为电子水印技术的应用目的的著作权管理、著作权保护等，这是不言 自明的。
本国际申请主张基于2005年8月4日申请的日本专利申请 2005-226755号、2005年8月4日申请的日本专利申请2005-226756号和 2005年9月22日申请的日本
权利要求
1.一种电子水印检测方法，该电子水印检测方法用于从运动图像中检测出电子水印的电子水印检测装置，该电子水印检测方法的特征在于，该电子水印检测方法具有在运动图像输入单元中依次取得帧图像的帧图像取得步骤；特征区域提取步骤，在特征区域提取单元中，提取出帧图像中的特征区域来取得特征区域图像；差分图像生成步骤，在差分图像生成单元中，生成此次取得的特征区域图像和从特征区域图像缓存中读取出的以前取得的特征区域图像之间的差分图像来取得差分图像(A)，并且将该此次取得的特征区域图像存储在该特征区域图像缓存中；相位差分计量步骤，在相位差分计量单元中，根据此次取得的差分图像(A)来生成相位图案，对此次取得的相位图案和从相位图案缓存中读取出的以前取得的相位图案之间的相位差进行计量，根据相位差和振幅来生成差分图像(B)，并且将该此次取得的差分图像(A)存储在该相位图案缓存中；检测对象区域提取步骤，在检测对象区域提取单元中，针对上述差分图像(B)按照各像素进行像素值的相加蓄积，从由相加蓄积而得到的差分图像(B)蓄积缓存中提取出检测对象区域，取得检测对象区域图像；电子水印检测步骤，在电子水印检测单元中，从上述检测对象区域图像中检测出电子水印，输出电子水印的检测状况；以及执行如下处理的步骤在包含无法检测电子水印的情况在内的要继续执行电子水印检测处理的情况下，用上述运动图像输入单元重新取得新的帧图像，重复进行上述的各步骤。
2.根据权利要求1所述的电子水印检测方法，其中，上述检测对象 区域提取步骤具有执行如下处理的步骤在从由相加蓄积而得到的上述 差分图像(B)蓄积缓存中提取检测对象区域时，可以从对上述差分图像 (B)蓄积缓存的像素值取绝对值而得到的值中提取检测对象区域，将取绝对值之前的差分图像(B)蓄积缓存的检测对象区域的图像作为检测对 象区域图像。
3. 根据权利要求1或2所述的电子水印检测方法，其中，在上述检 测对象区域提取步骤中提取出多个检测对象区域，在上述电子水印检测步骤中，对上述多个检测对象区域分别进行电 子水印检测尝试，输出检测结果。
4. 根据权利要求1所述的电子水印检测方法，其中，上述电子水印 检测步骤具有在检测水印信息时使用已有的2维码的解码处理来检测水 印信息的步骤。
5. 根据权利要求1所述的电子水印检测方法，其中，该电子水印检 测方法具有执行如下处理的步骤针对由差分处理生成的上述差分图像 进一步进行滤波处理，输出经过滤波处理后的差分图像。
6. 根据权利要求5所述的电子水印检测方法，其中，使用非线性滤 波器来进行上述滤波处理。
7. 根据权利要求1所述的电子水印检测方法，其中，作为输入的运 动图像是由相机进行拍摄而捕捉到的影像信号。
8. 根据权利要求1所述的电子水印检测方法，其中，该电子水印检 测方法具有执行如下处理的步骤通过外部输出单元以视频或者音频的 方式进行对应于检测对象区域提取状况、电子水印检测状况、数据块检 测状况之中的某一个或者多个处理状况的反馈输出。
9. 根据权利要求1所述的电子水印检测方法，其中，在上述检测对 象区域提取步骤中，还生成表示检测对象区域的大小和位置的检测对象 区域信息，上述电子水印检测方法具有缩放处理步骤，在该缩放处理步 骤中，根据上述检测对象区域信息，来设定缩放参数，以使检测对象区 域的像素大小成为给定的像素大小，将该缩放参数提供给上述运动图像 输入单元来进行縮放处理。
10. 根据权利要求9所述的电子水印检测方法，其中，上述縮放处理 步骤具有执行如下处理的步骤在上述电子水印检测步骤中的检测状况 为良好时，根据上述检测对象区域信息，来设定縮放参数，以使检测对象区域的像素大小成为给定的像素大小，并将该缩放参数提供给上述运 动图像输入单元来进行縮放处理。
11. 根据权利要求l所述的电子水印检测方法，其中，作为输入的运 动图像是通过由相机实时地进行拍摄而捕捉到显示在显示器上的状态来 得到的图像，该电子水印检测方法具有执行如下处理的步骤根据电子水印检测 所得到的水印信息，取得所显示的运动图像的相关信息。
12. —种电子水印检测装置，该电子水印检测装置用于从运动图像中 检测出电子水印，该电子水印检测装置的特征在于，该电子水印检测装 置具有依次取得帧图像的运动图像输入单元；提取出帧图像中的特征区域来取得特征区域图像的特征区域提取单元；差分图像生成单元，其生成此次取得的特征区域图像和从特征区域 图像缓存中读取出的以前取得的特征区域图像之间的差分图像来取得差 分图像(A),并且将该此次取得的特征区域图像存储在该特征区域图像 缓存中；相位差分计量单元，其根据此次取得的差分图像(A)来生成相位图 案，对此次取得的相位图案和从相位图案缓存中读取出的以前取得的相 位图案之间的相位差进行计量，根据相位差和振幅来生成差分图像(B)， 并且将该此次取得的差分图像(A)存储在该相位图案缓存中；检测对象区域提取单元，其针对上述差分图像(B)按照各像素进行 像素值的相加蓄积，从由相加蓄积而得到的差分图像(B)蓄积缓存中提 取出检测对象区域，取得检测对象区域图像；电子水印检测单元，其从上述检测对象区域图像中检测出电子水印， 输出电子水印的检测状况；以及执行如下处理的单元在包含无法检测电子水印的情况在内的要继 续执行电子水印检测处理的情况下，通过上述运动图像输入单元来重新 取得新的帧图像，重复进行上述的各单元的处理。
13. 根据权利要求12所述的电子水印检测装置，其中，上述检测对 象区域提取单元执行如下的处理在从由相加蓄积而得到的上述差分图 像(B)蓄积缓存中提取出检测对象区域时，可以从对上述差分图像(B) 蓄积缓存的像素值取绝对值而得到的值中提取出检测对象区域，将取绝 对值之前的差分图像(B)蓄积缓存的检测对象区域的图像作为检测对象 区域图像。
14. 根据权利要求12或13所述的电子水印检测装置，其中，上述检 测对象区域提取单元提取出多个检测对象区域，上述电子水印检测单元对上述多个检测对象区域分别进行电子水印 检测尝试，输出检测结果。
15. 根据权利要求12所述的电子水印检测装置，其中，上述电子水 印检测单元在检测水印信息时使用已有的2维码的解码处理来检测水印"f百息。
16. 根据权利要求12所述的电子水印检测装置，其中，该电子水印 检测装置针对由差分处理生成的上述差分图像进一步进行滤波处理，输 出经过滤波处理后的差分图像。
17. 根据权利要求16所述的电子水印检测装置，其中，使用非线性 滤波器来进行上述滤波处理。
18. 根据权利要求12所述的电子水印检测装置，其中，作为输入的 运动图像是由相机进行拍摄而捕捉到的影像信号。
19. 根据权利要求12所述的电子水印检测装置，其中，该电子水印 检测装置具有输出单元，在该输出单元中，以视频或者音频的方式输出 对应于检测对象区域提取状况、电子水印检测状况、数据块检测状况之 中的某一个或者多个处理状况的反馈信息。
20. 根据权利要求12所述的电子水印检测装置，其中，上述检测对 象区域提取单元还生成表示检测对象区域的大小和位置的检测对象区域 信息，上述电子水印检测装置具有縮放处理单元，在该縮放处理单元中， 根据上述检测对象区域信息，来设定缩放参数，以使检测对象区域的像 素大小成为给定的像素大小，将该縮放参数提供给上述运动图像输入单元来进行縮放处理。
21. 根据权利要求20所述的电子水印检测装置，其中，上述縮放处 理单元在上述电子水印检测单元的检测状况为良好时，根据上述检测对 象区域信息，设定縮放参数，以使检测对象区域的像素大小成为给定的 像素大小，并将该縮放参数提供给上述运动图像输入单元来进行縮放处 理。
22. 根据权利要求12所述的电子水印检测装置，其中，作为输入的 运动图像是通过由相机实时地进行拍摄而捕捉到显示在显示器上的状态 来得到的图像，该电子水印检测装置具有根据电子水印检测所得到的水印信息，取 得所显示的运动图像的相关信息的单元。
全文摘要
本发明提供一种电子水印检测方法和电子水印检测装置，本发明的电子水印嵌入方法具有如下的步骤依次取得运动图像数据的各帧图像和帧显示时刻；使用水印信息和帧显示时刻以及水印图案切换信息来生成水印图案；以及将水印与依次重复上述处理所得到的嵌入有水印的帧图像组相结合而生成嵌入有水印的运动图像数据。另外，电子水印检测方法具有如下的步骤依次取得帧图像；生成此次取得的帧图像和以前所取得的帧图像之间的差分图像；以及从差分图像中检测出电子水印，输出电子水印的检测状况，在继续执行电子水印的检测处理的情况下，重新取得新的帧图像，重复上述处理。
文档编号H04N7/24GK101609546SQ20091015105
公开日2009年12月23日 申请日期2006年7月31日 优先权日2005年8月4日
发明者中村高雄, 北原亮, 宫地寿人, 宫武隆, 山本奏, 片山淳 申请人:日本电信电话株式会社