专利名称：验证多媒体文件中显著区域的方法、创建广告文件的方法、自动验证因特网网站显著区域 ...的制作方法
技术领域：
本发明涉及用于验证多媒体文件中显著区域(saliencyarea)的设
备和过程。
背景技术：
更具体地，本发明涉及内容的评估，尤其是如广告文件之类的文 件的内容的评估。现今，当一个人要突出内容时，已经知道各种用于
创建内容的技术很简单地，在写文本文件时，可以在字句上划线、
可以以粗体书写、可以加边框等等。广告者使用更复杂的技术，对于
视频或音频，可以结合图像处理技术和声音处理技术，更一般地，可
以结合信号处理技术。
评估这些技术的有效性是很困难的。广告通常非常吸引人，但是
所实现的各种效果并不总是有效， 一定可以改进。
当前，视觉(oculometric)技术可以帮助确定显著区域。然而， 这样的技术是手动的，由于其不允许多个文件、Web页面、视频文件 的处理过程的自动操作，因此难以实现。
发明内容
为了这个目的，本发明提出了一种验证多媒体文件中显著区域的 方法。根据本发明，所述方法包括以下步骤
-基于从所述文件中提取的先验数据，确定所述文件中被认为是关 键区域的区域，
-基于显著图(saliency map)的编辑，把模型应用到所述文件， 以获得所述文件的显著图，-在所述文件中被认为关键的区域与所述显著图之间进行比较。 根据优选实施例，所述方法包括如下步骤计算所述文件的关键
区域中所包含的显著度与所述文件的总显著度的比值。
根据优选实施例，所述方法包括如下步骤计算在观看所述文件
过程中指示眼睛的过程的视觉路径，所述视觉路径基于所述显著图来
计算，并由图像中显著度大于阈值的像素组成。
根据优选实施例，在搜索所述视觉路径过程中， -搜索所述文件中具有最大显著度的像素， -使所述文件中围绕所述最大值的区域无效，以及 -搜索具有最大显著度的下一个像素，直到获得具有大于所述阈值
的显著度的所有像素。
优选地，编辑分析报告，所述分析报告包括所述文件的显著区域、
所述视觉路径以及表示显著区域的子图像集合。
根据优选实施例，所述报告包括所述文件的关键区域。 本发明也涉及创建广告文件的方法。根据本发明，所述方法交替
地包括创建内容的步骤，随后是根据本发明的验证所述文件中的显
著区域的方法，只要所述显著区域与所述文件的关键区域不相对应，
就重复所述步骤。
本发明也涉及自动验证因特网网站的显著区域的方法。根据本发
明，所述方法包括针对网站的每个页面的如下步骤
-基于从所述页面中提取的先验数据，确定所述页面中被认为是关 键区域的区域，
-基于显著图的编辑，把模型应用到所述页面，以获得所述页面的 显著图，
-在所述页面中被认为关键的区域与所述显著图之间进行比较。 本发明也涉及一种包括程序代码指令的计算机程序产品，当计算
机执行所述程序时，所述程序代码指令用于执行根据本发明的任一实
施例的方法的步骤。
参照图1，通过完全非限制的优选示例性实施例和实现方式，将 更好地理解和说明本发明，图1示出根据本发明的优选方式的验证过程。
具体实施例方式
本发明对广告特性的文件尤其有利，在这样的文件中，文件的组 成部分由于其经济影响而尤其重要。具体地，广告片尤其适用于放置 对消费者有吸引力的消息，所述广告片是视频、简单地音频或杂志中 的静止图像类型。然而，有时，这些消息并未必要地位于最吸引人类 注意力的区域，在这种情况下，广告者将不能创建具有所希望的效果 的文件。
因此，本发明的目的是提供分析文件的装置，以验证这些文件对 其受众具有所需的影响，不论其是否是广告文件。
因此，存在用于计算文件的显著图的过程。这些过程使得能够确 定吸引注意力的区域。这些过程基于考虑了图像的各种参数的计算， 并基于图像和/或视频的空间和/或时间分析。
显著图是图像感知的地形表示(topographic representation)。确定 图像的每个像素的视觉相关性。例如，该图被归一化在0至255之间。 该值越大，像素就越吸引注意力。
例如，在以Thomson Licensing SA名义申请的、于2005年6月22日 以1544792号公布的欧洲专利申请中描述了这样的过程。
图l表示了根据本发明的优选方式的方法的步骤。 提供商用文件类型的纸质文件D。该文件是基于一件HTML类型 的出版软件创建的，其电子版可用，所述出版软件是例如acrobat writer (adobe公司的注册商标)、word (微软公司的注册商标)。因此，可以 从该文件中提取先验信息，该先验信息反映了文件的作者希望突出的 内容。例如，在word类型的文件中，可以根据所使用的字符大小、所 使用的字体、划线、所使用的颜色来判断信息的重要性。也可以使用 图纸上的位置来判断信息的重要性， 一般而言重要的信息被放在图像 的中心。 在html类型的文件中，"标签"也有助于确定作者要突出的点。
因此，通过观察文件D以手动的方式，或通过自动提取上述特征 以自动的方式，可以编辑(步骤E1)表示根据作者的文件D的关键点 的先验信息。
因此，可以获得文件中感兴趣区域的地理位置。
此外，提供了一种使建立文件的显著图成为可能的模型。在步骤 E2中，对文件D应用该模型。例如，该模型是接收文件D作为输入的 一个软件。该模型分析用于显著图的提取所需的文件的特征，以获得 文件D的显著图。
例如，在以Thomson Licensing SA名义申请的、于2005年6月22日 以1544792号公布的欧洲专利申请中描述了这样的过程。这些过程基于 考虑了图像的各种参数的计算，并基于图像和/或视频的空间和/或时 间分析。
当视频文件中包括文本时，由于文本类型的信息以及表面类型的 信息也代表被认为重要的信息，因此也提取文本类型的信息以及表面 类型的信息。
具体地，在2003年的期刊"multimedia systems"所发表的Hu、 Xie 、 Chen 、 Ma的文献"attention model based progressive image tmnsmission"以及Chen等人的文献"a visual attention model for adapting images on small displays"中，描述了在编辑显著图过程中对表面或文 本类型的信息的考虑。
在步骤E3，基于显著图，获得包含以下信息的分析报告
-指示有吸引力的区域的热图(heatmap)，
-指示普通观察者的视觉过程的视觉路径图。
根据希望获得的最大值数目，或根据图像的全局显著度，该视觉 过程是通过在显著图上搜索具有大于阈值的显著度值的局部最大值来 获得的。例如，搜索局部最大值可以通过使第(n-1)个最大值周围的 圆形区域(表示等于0.5的可视度的半径的凹处)无效并通过搜索这个 新图的全局最大值并对每个最大值继续这样的处理而进行。因此，对 每个最大值获得一个区域，此后将这些区域n-l,n,…的中心连接，以获
得普通观察者的视觉过程。
-感知总结，包含要分析的图像的n个子图像。这些子图像是观察
者注视的区域。
在以Thomson Licensing公司名义申请的、于2005年9月19日以 05291938.8号提出的欧洲专利申请中描述了这样的用于确定子图像的 过程。0. Le Meur, X. Castellan, P. Le Callet和D. Barba， Efficient saliency-based repurposing method, ICIP 2006的出版物中也描述了这样
的过程。
所述子图像由局部最大值周围的像素组成。通过确定阈值来确定 子图像的数目，仅针对具有大于该阈值的显著度值的最大值而定义子 图像。
这样的信息使得检测人眼实际感知的图像区域成为可能。
此后，把由文件的作者指示的或在步骤El过程中自动提取的区域
与分析报告中指示的区域进行比较。因此，通过将先验信息与分析报 告的信息相互对置，可以将作者希望在文件中突出的信息与实际吸引 人们注意力的信息进行比较。
该分析报告也可以通过执行显著图与先验数据之间的直接比较 步骤，来直接提供这样的分析。具体地，可以将显著区域的地理位置 与作者认为重要的区域的地理位置进行比较。
例如，可以计算文件的作者界定的区域中包含的显著度与全局显 著度的比值。该比值可以是文件设计的相关性的指示。因此，创建者 可以评估他的文件在吸引力方面的值。
因此，本发明有利地提出了一种用于评估商用或广告特性的文件 的过程。
本发明也可以被视作是用于评估广告文件的远程方法。实际上， 可以想到，可以在因特网网站上提供该模型，客户以电子形式提交他 的文件，以确定实际吸引人的注意力的点/区域。根据比较结果，该服 务的用户可以修改他的文件并以迭代方式重复提交该文件，按照这种 方式，他希望突出的信息真正是人们注意力将会关注的信息。
作为应用，在要求投标之后，所述方法也可以评估多个由用户提
交的文件。因此，可以以自动和客观的方式分析哪个文件是对消费者 最有影响的文件。
在另一个实施例中，文件D不是广告插入类型的纸质文件或静止 图像，而是如在电视信道上传送的广告之类的视频文件。根据本发明 所实现的方法，也可以分析这样的文件。
实际上，基于时间信息，也可以编辑显著图。这样的方法在以下
文献中描述O. Le Meur, P. Le Callet, D. Barba和D. Thoreau, "A spatio-temporal model of the selective human visual attention", Proc. ICIP-05 (IEEE International Conference on Image Processing), Genoa, Italy, 2005年9月.
因此，也可以获得视频文件的显著图。
为了获得视频数据的先验信息，可以通过视频作者来获得它。 在另一个实施例中，通过将该过程直接集成入用于辅助创建文件 的工具中，也可以采用该步骤。于是，实际上获得了这样的文件，即 眼睛所关注的区域是实际上被认为是文件中的关键区域。因此，可以 交替地创建内容、应用根据本发明的验证方法、以及只要该显著区域 与关键区域不重合，就对其进行修改。
在又一个实施例中，也可以想到，要分析的文件是因特网网站， 以自动或手动的方式定期地分析该网站的每个页面。因此，可以想到， 一种自动过程，用于对网站的所有Web页面运行根据本发明的方法， 并显示报告，若作者认为页面中关键的数据可用，则显示作者认为页 面中关键的数据与眼睛实际观看的页面数据之间的比较结果，若该关 键数据不可用，则不显示。
权利要求
1. 一种用于验证多媒体文件中的显著区域的方法，其特征在于，所述方法包括以下步骤- 基于从所述文件中提取的先验数据，确定(E1)所述文件中被认为是关键区域的区域，- 基于显著图的编辑，把模型应用(E2)到所述文件，以获得所述文件的显著图，- 在所述文件中被认为关键的区域与所述显著图之间进行比较(E3)。
2. 如权利要求1所述的方法，其特征在于，所述方法包括如下步 骤计算所述文件的关键区域中所包含的显著度与所述文件的总显著度的比值。
3. 如权利要求1或2所述的方法，其特征在于，所述方法包括如下步骤计算在观看所述文件过程中指示眼睛的过程的视觉路径，所述视觉路径基于所述显著图来计算，并由图像中显著度大于阈值的像 素组成。 .
4. 如权利要求3所述的方法，其特征在于，在搜索所述视觉路径过程中，-搜索所述文件中具有最大显著度的像素， -使所述文件中围绕所述最大值的区域无效，以及 -搜索具有最大显著度的下一个像素，直到获得具有大于所述阈值 的显著度的所有像素。
5. 如之前任一权利要求所述的方法，其特征在于，编辑分析报告， 所述分析报告包括所述文件的显著区域、所述视觉路径以及表示显著 区域的子图像集合。
6. 如权利要求5所述的方法，其特征在于，所述报告包括所述文 件的关键区域。
7. —种用于创建广告文件的方法，其特征在于，所述方法交替地 包括创建内容的步骤，随后是如权利要求1至6中任一项所述的验 证所述文件中的显著区域的方法，只要所述显著区域与所述文件的关 键区域不相对应，就重复所述步骤。
8. —种用于自动验证因特网网站的显著区域的方法，其特征在 于，所述方法包括针对网站的每个页面的如下步骤-基于从所述页面中提取的先验数据，确定所述页面中被认为是关 键区域的区域，-基于显著图的编辑，把模型应用到所述页面，以获得所述页面的 显著图，-在所述页面中被认为关键的区域与所述显著图之间进行比较。
9. 一种计算机程序产品，其特征在于所述计算机程序产品包括程 序代码指令，当所述程序在计算机上执行时，所述程序指令用于执行 如权利要求1至8中任一项所述的方法的步骤。
全文摘要
本发明涉及一种验证多媒体文件中显著区域的方法。根据本发明，所述方法包括以下步骤基于从所述文件中提取的先验数据，确定(E1)所述文件中被认为是关键区域的区域；基于显著图的编辑，把模型应用(E2)到所述文件，以获得所述文件的显著图；在所述文件中被认为关键的区域与所述显著图之间进行比较(E3)。
文档编号G06T7/00GK101379529SQ200780004376
公开日2009年3月4日 申请日期2007年2月1日 优先权日2006年2月3日
发明者哈维尔·卡斯特兰, 奥利弗·勒默尔, 米歇尔·凯尔德朗瓦 申请人:汤姆森许可贸易公司