显示图像的方法和设备的制作方法

专利名称：显示图像的方法和设备的制作方法
技术领域：
本发明涉及一种图像处理方法，用于显示源图像序列中的至少一个反拷贝图案，每个源图像包括按行和列排列的多个像素，并且所述 图案包括选自所述图像的一组像素，每个像素具有每个源图像中的预 定视频信息项，所述方法包括调制步骤，用于对其预定视频信息周 围的图案中的每个像素的视频信息进行时间调制，以便使所述像素对 于人眼不可见，并在所述图像在其显示期间被通过摄影而拷贝时创建 伪像。根据本发明，在所述调制步骤之前，本发明包括用于对源图像 序列中的感兴趣区域进行检测的步骤。然后，根据感兴趣区域的成员 资格，调整预定视频信息周围的图案中像素的视频信息的调制幅度。根据第一实施例，图案的时间调制幅度在非感兴趣区域比在感兴 趣区域大，以降低对感兴趣区域的视觉感知。然后，反拷贝图案更为 明显地在所需要的非感兴趣区域中出现，它变成了心理4见觉感觉中的 感兴趣区域，从而吸引了对实际感兴趣区域以外的注意力。根据另一优选实施例，相反地，图案的时间调制幅度在非感兴趣 区域比在感兴趣区域小，以降低第一实施例可能造成的周边视觉中的 干扰。有利地，在本实施例中，当所要调制的像素与感兴趣区域之间的 距离增大时，属于感兴趣区域的图案的像素的调制幅度减小。优选地，使用对所述序列中图像的运动估计步骤来补充本发明， 以根据所估计的运动对该图案进行运动补偿并减少由运动场景中的图 案的不良时间调制所引入的可能的阻碍。运动估计步骤的备选在于检测源图像序列中的静态区域；以及 从所检测的静态区域的像素之中选择要进行时间调制的像素。无论哪个实施例，时间调制的视频信息均可以是像素的亮度和/ 或色度。本发明还涉及一种图像处理设备，用于显示源图像序列中的至少 一个反拷贝图案，每个源图像包括按行和列排列的多个像素，并且所 述图案包括选自所述图像的一组像素，其中每个像素具有每个源图像 中的预定视频信息项，所述设备包括调制电路，用于对其预定视频 信息周围的图案中的每个像素的视频信息进行时间调制，以便对于人 眼不可见，并在所述图像在其显示期间被通过摄影而拷贝时创建伪像。根据本发明，该设备还包括一种用于对源图像序列中的感兴趣区域进 行检测的电路。然后，该调制电路使用幅度对图案中像素的视频信息 进行调制，该幅度取决于感兴趣区域中所述像素的成员资格。


参考附图，通过阅读作为非限制示例而给出的下列说明书，将更好地理解本发明，在附图中-图1示意性地表示本发明的方法的原理，-图2示出本发明的方法的第一实施例，-图3示出本发明的方法的第二实施例，-图4表示实现本发明的方法的显示设备，-图5示意性地表示图像序列的空时显著图的产生，-图6A至6C分别表示表示图像序列的源图像、该序列的第一空时显著图以及每一宏块所处理的序列的第二空时显著图，-图7示出在空时显著图的一部分中的感兴趣区域的产生，以及 -图8示意性地表示包括运动估计步骤的本发明的方法。
具体实施方式
下面的描述将在以数字形式编码的图像的框架内给出，但是本发 明通常不局限于这种类型的编码。在这种框架中，通过存储在信息介 质(例如光盘、硬盘或磁带)上的数据来描述要显示的图像。这些数 据也可以由传输信道(例如，RF、卫星、电缆或ADSL)产生。根据本发明的方法，建议了对源图像序列中的感兴趣区域执行检 测步骤，此外还建议根据感兴趣区域的成员或非成员资格来适配反拷 贝图案的像素的亮度和/或色度的时间调制的幅度。图1示出了本发明 的方法的一般原理。在源图像序列中进行对感兴趣区域的检测10。其 后，将检测结果用于修改最初设想用于对源图像序列进行时间调制(步 骤20)的调制图像。经时间调制的视频信息可以是亮度和/或色度。 随后在描述中，应考虑调制图像以呈现出人眼不可见的图案的高频 率来调制与源图像中反拷贝图像相应的像素的亮度(不是色彩)。利用最初要显示的亮度值周围的特定幅度来调制图像中这些像素的亮度。对于第一图像，例如这些像素的亮度增加+20，在随后的图像中，该 亮度减少-20。根据本发明，调制幅度(本示例中为40)根据该像素 是否属于源图像序列的感兴趣区域而不同。根据第一实施例，图案的时间调制的幅度在非感兴趣区域比在感 兴趣区域大。因此，降低了在图像的欺诈拷贝序列中对序列中感兴趣 区域的视觉感知。此外，反拷贝图案在欺诈图像的非感兴趣区域中变 得更加明显，并且可以呈现出闪烁。然后，由于该图案本身变成心理 视觉感觉，因此该图案成为阻碍，吸引了对真实感兴趣区域以外的区 域的注意。图2示出了本实施例。图2的上半部示出了包含反拷贝图案的初 始调制图像，其中使用相同幅度来调制该图案中的所有像素。在本示 例中，反拷贝图案包括重复若千次的消息"非法拷贝"。此外，源图像 序列包括在图2的左下部的图像中表示为白色的感兴趣区域。因此， 用于实现第一实施例的调制图像是在图2的在右下部所表示的图像。 给属于感兴趣区域的图案的部分加上阴影，以表示该调制幅度在本区 域中比在该图案被显示为白色的序列的非感兴趣区域中小。在本实施例中，可以不对感兴趣区域中的整个反拷贝图案(以零 幅度进行的调制)进行调制。然而，本实施例存在缺点。在周边视觉中，眼睛(更具体地为附 着在视杆上的视网膜区域)对光度和运动敏感。同样地，在本实施例 中，眼睛聚焦在感兴趣区域，感兴趣区域中存在受到由对感兴趣区域 以外的强调制所产生的亮度或色度的变化的阻碍的风险。为了使周边视觉中不存在上述阻碍，定义了第二实施例。根据本 实施例，相对于感兴趣区域，图案的时间调制的幅度在非感兴趣区域 减小。图3示出了本实施例。该图示出了属于感兴趣区域的反拷贝 图案(灰色图案)的像素的调制幅度小于不属于感兴趣区域的反拷贝 图案(白色图案)的像素的调制幅度。有利地，在第二实施例中，可以使用递进(progressive)调制， 递进调制在于调制幅度随着我们从序列的感兴趣区域移开而减小。图4示出了用于实现上述两个实施例之一的显示设备2。显示系 统2接收源流F的形式的数据，该数据表示要显示的图像序列。显示 系统2包括用于检测图像序列中感兴趣区域的检测电路3和用于借 助于调制图像而在时间上调制图像序列的调制电路4。根据先前所描 述的方法，在调制电路4中执行上述调制。其后，将调制后的图像以 流F'的形式提供给具有屏幕6的显示设备5。图像存储器6被设计为 向提供给调制电路4的图像序列施加滞后，因此调制电路4同时接收 该序列的图像中的视频数据以及与其相关的感兴趣区域信息。例如，对源图像序列中的感兴趣区域的检测在于产生序列的显著 图。该产生已经构成了包括国际申请WO 2005/059832的若千专利申 请以及诸如"From low level perception to high level perception, a coherent approach for visual attention modeling" by O. Le Meur, P. Le Callet, D. Barba， D. Thoreau, and E. Francois, Proc. SPIE Human Vision and Electronic Imaging IX (HVEI'04), San Jose， CA, (B. Rogowitz， T. N. Pappas Ed.), January 2004、 "Bottom-up attention modeling: quantitative comparison of predicted saliency maps with observers eye-tracking data" by O. Le Meur， P. Le Callet, D. Barba and D. Thoreau, ECVP 2004, Budapest, Hungary, August 2004以及"A human visual model-based approach of the visual attention and evaluation performance" by O. Le Meur， P. Le Callet, D. Barba and D. Thoreau, Proc. SPIE Human Vision and Electronic Imaging X (HVEr05), San Jose， CA, (B. Rogowitz， T. N. Pappas Ed.)， January 2005的若干篇论文的主题。这些文献的内容应被 视为构成了本专利申请的一部分。下面将简要回顾诸如这些文献中所描述的显著图的产生。图5中 呈现出了所建议的步骤的示意图。所建议的步骤同时包括视觉注意力 的空间建模步骤和时间建模步骤。视觉注意力的空间建模包括三个连续部分。第一步骤100的任务 是对以下事实建模我们的视觉系统以同样的方式访问我们环境中的 视觉分量。通过使用对比敏感度函数CSF以及使用帧内和帧间视觉分 量掩蔽来仿真有限的敏感度。将这些函数应用于先前从图像信号的RGB分量推导出的Krauskopf对抗色彩空间中的分量(A， Crl， Cr2)。 分解为感知信道的层次分解(称为DCP)仿真视觉系统的频率陶瓷效 应。基于频谱，定义了一组具有辐射频率范围以及特定的角度选择的 子波段。实际上，可以将每个子波段视为由对特定频率和特定方向作 出反应的全体视细胞所传送的神经元图像。
第二部分200涉及视觉感知机制。视觉感知机制使得可以提取出 传输显著信息的视觉特性，以创建对我们的环境的有效(economic) 表示。对视网膜或大脑皮层的视细胞的接受域(receptor field)的组织 完全满足上述需求。该接受域是圆形的，具有针对大脑皮层细胞的优 选方向，并包括具有拮抗(antagonistic)反应的中心和边缘。因此， 该组织使接受域符合关于对比度严重反应以及关于统一区域不反应的 属性。通过面向或不面向的双高斯差(下面称为DoG)来执行这种类 型的细胞的建模。因此，将源自三个分量的子波段与象DoG这样的操 作符进行巻积。感知还在于强调对于信息的解释至关重要的某些特性。 根据Gestaltist教育原理，应用蝶式滤波器，以增强共线轮廓，校准 (aligned)并具有弱曲率。因此，使用良好的连续性和线性的Gestaltist 原理。
最后，为了构造空间显著图，通过分组(grouping)或联合先验 独立元素来执行对各个分量300的融合，以构成可为大脑所理解的结 构。该融合是基于帧内分量和帧间分量的竞争，使得可以使用由各个 视觉量纲所携带的信息(非彩色或彩色)的互补性和冗余性。
因此，产生针对序列中的每个图像的空间显著图。在图6A至6C 中给出了空间显著图的示例。图6A表示源图像，图6B表示关联空间 显著图，以及图6C表示在每一宏块中处理源图像的情况下的关联空 间显著图。
在序列的图像上并行执行对视觉注意力的时间建模。在运动环境 中，运动的对比度肯定是最显著的视觉吸引物。清楚的是，在静态背 景上运动的对象或相反地在运动背景上的静态对象，都会吸引我们的 视觉注意力。为确定这些对比度，考虑到视觉跟踪运动是极为重要的。 这些视觉运动使得能够自然地补偿对象的位移。因此，在视网膜参考帧中表现出的所考虑的运动的速度几乎为零。为确定运动的最相关的 对比度，因此必须补偿摄像机的固有运动(假设为显性的)。对于运动
估计400，基于将图像分解为感知信道的层次分解所产生的矢量场， 根据基于M-估计器的健壮的估计技术500来计算完整的仿射参数模 型。因此，将视网膜运动600作为局部运动与主要运动之间的差异来 计算。该值越大(仍然考虑视觉跟踪运动的理论最大速度)，则所讨论 的区域越引人注意。其后，根据该视网膜运动简单地推导出时间显著。 注意，假设在静态扰乱项中检测运动对象比检测静态对象更为容易， 因此通过该场景的全部运动量来调制视网膜运动。
其后，执行对包括帧内和帧间图竞争机制的空间和时间显著图的 融合700。
有利地，将时间循环应用于空-时显著的连续图，以提取并确认若 干图像上的所谓的感兴趣区域(具有大于或等于预定阈值的显著值得 图像区域)和所谓的"非感兴趣"区域(具有小于预定阈值的显著值 得图像区域)。
可以通过应用阈值化(thresholding)步骤从这些图中推导出图像 序列的感兴趣区域和非感兴趣区域。这通过图7在第二实施例的框架 内示出。将具有小于预定阈值的显著值的区域视为非感兴趣区域，并 将所有其它区域视为感兴趣区域。有利地，低通滤波器对显著的局部 变动进行平滑。
作为变体，可以设想使用若干阈值的阈值化步骤来产生具有多于 两个调制幅度等级的调制图像。然后，在每对连续阈值之间定义显著 值间隔。然后，使调制幅度值与这些间隔中的每一间隔相关联。
有利地，使用对所述序列的图像中的运动估计步骤30 (如图8所 示)来补充本发明的方法，以便根据所估计的运动来对该图案进行运 动补偿，并降低由运动场景中的图案的可能不良时间合成所引入的可 能阻碍。
作为变体，可以设想检测图像序列的静态区域、然后从所检测的 静态区域的像素中选择要经时间调制的像素来代替对图像序列中的运 动进行估计。当然，本发明不局限于上述实施例。特别地，本领域的技术人员 将能够对图像序列中的像素的色度执行时间调制。本领域的技术人员 还将能够对图像序列中的像素的色度和亮度同时执行时间调制。
此外，可选地，可以通过除了产生显著图以外的已知手段来执行 对感兴趣区域的检测。
权利要求
1、一种用于显示源图像序列中的至少一个反拷贝图案的方法，每个源图像包括按行和列排列的多个像素，并且所述图案包括选自所述图像的一组像素，每个像素具有每个源图像中的预定视频信息项，所述方法包括调制步骤(20)，用于对其预定视频信息周围的图案中每个像素的视频信息进行时间调制，以便对于人眼不可见，并在所述图像在其显示期间被通过摄影而拷贝时创建伪像，所述方法的特征在于，在所述调制步骤(20)之前，还包括用于对源图像序列中的感兴趣区域进行检测的步骤(10)，以及根据感兴趣区域中的像素的成员资格，来调整预定视频信息周围的图案中的像素的视频信息的调制幅度。
2、 根据权利要求1所述的方法，其特征在于，针对不属于源图像 序列的感兴趣区域的图案的像素，其时间调制幅度比针对属于感兴趣 区域的图案的像素的时间调制幅度大。
3、 根据权利要求1所述的方法，其特征在于，针对不属于源图像 序列的感兴趣区域的图案的像素，其时间调制幅度比针对属于感兴趣 区域的图案的像素的时间调制幅度小。
4、 根据权利要求3所述的方法，其特征在于，当所要调制的像素 与感兴趣区域之间的距离增大时，属于感兴趣区域的图案的像素的调 制幅度减小。
5、 根据权利要求1至4中的任一项所述的方法，其特征在于，在 所述调制步骤之前，所述方法还包括对所述序列中的图像的运动进行 估计的步骤(30)，以及，根据所估计的运动对图案进行运动补偿。
6、 根据权利要求1至4中的任一项所述的方法，其特征在于，在 所述调制步骤之前，所述方法还包括检测源图像序列中的静态区域的 步骤，以及，所述时间调制的像素是从所检测到的静态区域中的像素 中选择的。
7、 根据前述任一项所述的方法，其特征在于，所述视频信息是像素的亮度和/或色度。
8、 一种图像处理设备(2)，用于显示源图像序列中的至少一个反拷贝图案，每个源图像包括按行和列排列的多个像素，并且所述图 案包括选自所述图像的一组像素，其中每个像素具有每个源图像中的预定视频信息项，所述设备(2)包括调制电路(4)，用于对其预定视频信息周围的图案中的每个像素的视频信息进行时间调制，以便对 于人眼不可见，并在所述图像在其显示期间被通过摄影而拷贝时创建 伪像，其特征在于，所述图像处理设备(2)还包括一种用于对源图像 序列中的感兴趣区域进行检测的电路(3)，以及，所述调制电路(4) 使用幅度对图案中的像素的视频信息进行调制，所述幅度取决于感兴 趣区域中的所述像素的成员资格。
全文摘要
本发明涉及一种用于显示图像的方法和设备，用于防止通过在图像显示过程中进行拍摄(例如在电影院大厅中通过可携式摄像机)的图像拷贝。已知将图案像素的亮度调制到将要以高频率显示的值附近，该高频率使得图案对于人眼不可见但将在可由可携式摄像机拍摄的序列上产生伪像。通常将该图案称为反拷贝图案。根据本发明，建议通过根据序列感兴趣区域中的成员资格或非成员资格，改变反拷贝图案中像素的调制幅度，来增大调制产生的阻碍。
文档编号H04N5/913GK101258745SQ200680032762
公开日2008年9月3日 申请日期2006年9月5日 优先权日2005年9月8日
发明者乔纳森·克维克, 奥立佛·勒默尔, 洛朗·布隆德 申请人:汤姆森许可贸易公司