专利名称：从视觉量创建的多个凸显图中获得一个凸显图的方法
技术领域：
本发明涉及一种从不同视觉量创建的多个凸显图(saliency map)中获得一个凸 显图的方法。
背景技术：
人类具有选择性的视觉注意，意思是，我们的视觉系统主要响应一定数 量的来自我们环境中物体和事件的信号。引起我们注意的最明显和最直觉的信号无疑是一个场景中一个物体的突 然出现。最后，各种研究尝试从真正固定点估计吸引我们目光的视觉特性的相似 之处。作为普遍规则，这些研究涉及各种量的测量，例如通过图像的平均亮 度归一化的方差、在被测的固定点以及它周围之间的熵(entropy)和相关性。 主要结i仑如下-固定区域的对比度测量高于随机取的区域的对比度测量。也就是说， 即使当所述区域与观测者所执行的任务无关时，区域的对比度也会吸引我们 的注意，而不管区域的性质(亮度、颜色、运动、紋理等)如何。-基于相关性测量，这些研究也显示所述固定点与其附近的不同。在图像中凸显点的检测使得随后有可能改进编码和索引的方法。获取凸 显图作为获得图像中凸显点列表的一种途径，这在以Thomson Licensing SA 名义在2003年12月18日提交的公开号为EP1544792的欧洲专利申请中描述。凸显图的创建与不同的视觉量有关 一个凸显图可能与多个彩色分量有 关，每个彩色分量一个图，或者甚至与无色分量有关。但是， 一旦创建了不 同的凸显图，合并它们可能会产生不希望的结果。传统的合并方法在于归一化不同的凸显图以获得相同的动态范围。图C 的归一化用N (C)表示，使用在图C上确定的整体最大值。于是可以按照 如下关系简单得到最终的凸显图S:CS(s) = N(N(CS A(s))+N(CSCrl(s))+N(CS Cr2(s》)其中，CSA(s)表示无色分量的凸显图，CScn(s)表示第一彩色分量的凸显图，CScr2(S)表示第二彩色分量的凸显图。该方法的一个优点是它的简单。但是，它存在各方面的缺点 -该方法不区分具有准均匀分布的凸显图和具有一个或更多凸显峰值的 凸显图；-当多个凸显峰值出现在一个凸显图中时，这种类型的合并无疑地偏好 最高的凸显峰值；-该方法对脉沖噪声非常敏感； -图之间没有交互。发明内容因此本发明意在补偿至少一个上述缺点。为此，本发明提出了一种从不 同视觉量创建的多个凸显图中获得一个凸显图的方法。 按照本发明，所述方法包括-基于每一视觉量的理论最大值归一化所述凸显图的步骤， -选择每一凸显图中的主凸显区域的图内竟争步骤， -图间竟争步骤，该步骤基于各图内竟争和图间冗余项的总和，该图间 冗余项是图内竟争的乘积与在所述凸显图中点出现的概率的函数。 这种合并凸显图的方法包括两种竟争方法 -图内竟争，用来识别该图最相关的区域；-图间竟争，利用不同图的冗^^口互补性。图间冗余的^Jf3是当特定区i4^生 多维上的凸显时，增强特定区域的凸显的一种途径。相反，当一个区域^4一个视 觉维上产生凸显时，有必^f顿图间互补性。按照优选实施例，在归一化步骤中-将所述凸显图的点相对于视觉量值的理论最大值进行归一化， -利用预定数量的级将所述图线性量化。 按照优选实施例，在图内竟争步骤中，-定义一包含假定要凸显的点的预备列表，假定要凸显的点中包括视觉 量值高的点，-按照所述值的降序扫描假定要凸显的点的预备列表，并且禁止在以假 定要凸显的点为中心、预定半径的圓形区域内存在的其制g^:要凸显的点，-建立凸显点的列表，包括与下一更高值点的值之比大于预定阈值的未 禁止点。按照优选实施例，所述视觉量与所述彩色和无色分量有关。 按照优选实施例，所述与彩色分量有关的凸显图被合并，然后将得到的 凸显图和与无色分量有关的凸显图进行合并。M实施方式参照单个附图，通过示例性实施例和有利的实现(绝非限制性的)将更好地理解和说明本发明，该附图表示示例性搜索在未更改的分量A上的局部最大值。下述描述的实施例提出对来自分量Crl和Cr2的、标记为CS^和CS&2 的两个图的连贯合并。很容易构想出推广到n个凸显图。所述合并方法包含一个初步动态归一化步骤。不像已知的使用基于每个 图的整体最大值的归一化那样，所述合并方法中使用的归 一化是基于每一视 觉维数的理论最大值。这些最大值是用具体测试凭实验确定的。例如，对于 分量Crl, 一个具有均匀亮度但是具有饱和的红色图案的图像，产生接近视 觉轴Crl的最大动态值的动态值。重复这种类型的实验是一种定义分量A、 Cr 1 、 Cr2的理i仑最大值的方法。所述两个图CS^和CS^随后被归一化和在L级上线性量化。在归一化 和量化后，它们分别以GS^和GS^标记。接下来是归一化步骤，所述方法包括图内竟争步骤。所述图内竟争按照 最近的局部最大值来更改图CS^和CS^2的每一点(site) s的值。该类型的竟争由下述关系式给出<formula>formula see original document page 5</formula>(力函邀:脸a,'eWM。xc (相应地脸amy/Maxc,2 )返回最接近S、 S的分量Crl (相应地 Cr2)的局部最大值。该值由大小为K1 (相应地K2)个值的列表L1 (相应地L2) 中得到。所述列表大小通过如下方式确定的，即，为了获得大于阈值(任意设置为 1.3)的局部最大值n与局部最大值n+l之比。这样就有可能只考虑主要凸显区域。所述局部最大值n+l是由
图1中所示的，通过禁止一个以局部最大值n为中心并且具有两个视觉度的半径的圆形区i或来确定的。圆的大小与观测距离成正比。图内竟争步骤u，进行图间竟争。所述图间竟争利用不同图的冗^^互补性。所述项Intermap通过如下关系式给出项"complementarity(s)"是通过将图内竟争的结斜目加在^^得到的基于对要合并的图的分布的联合分析来处理所述图间冗余。丄og油油"qy萨/咖她; ,」* z'咖Ma/,_H(C 一Q ),C;仰N表示相关图的点的数量。因子/f(C^(S),C^ 由图c^和c^的组合直方图推导出,并且按照3丄og(丄) w。 a 其出现的概率来改变有关的点s的值。通迚与、s传达的信息量与其出现的概率^X比。 因而，当点s出现的概率低时上述因子增加点s的值。相瓦当点s出现的概率高时 上述因子减少点s的值。图CS&1和CSQ2的合并由项intemiap(s)给出。当视觉量Crl和Cr2表示彩色^J:时，也可以引入与无色^J:有关的第三凸显 图。于是引入分级方法用于才^f亍所ii^个凸显图的合并。所迷凸显图这样获得的首先合并与无色^4有关的两个凸显图，然后执行由 此得到的彩色凸显图与所述无色凸显图之间的合并。也可通过时间凸显图与空间凸显图的合并来应用这样的分级方法。所述彩色和 无色凸显图然后按照上述分级方法来合并。然后扭Z亍该空间凸显图与时间凸显图的 分级合并。
权利要求
1、一种从不同视觉量创建的多个凸显图中获得一个凸显图的方法，特征在于其包括-基于每一视觉量的理论最大值归一化所述凸显图的步骤，-选择每一凸显图中的主凸显区域的图内竞争步骤，-图间竞争步骤，该步骤基于各图内竞争和图间冗余项的总和，该图间冗余项是图内竞争的乘积与在所述凸显图中点出现的概率的函数。
2、 按照权利要求l的方法，特征在于，在归一化步骤中，-将所述凸显图的点相对于视觉量值的理论最大值进行归 一化， -利用预定数量的级将所述图线性量化。
3、 按照权利要求l的方法，特征在于，在图内竟争步骤中，-定义一 包含假定要凸显的点的预备列表，假定要凸显的点中包括视觉 量值高的点，-按照所述值的降序扫描假定要凸显的点的预备列表，并且禁止在以假 定要凸显的点为中心、预定半径的圆形区域内存在的其余假定要凸显的点，-建立凸显点的列表，包括与下一更高值点的值之比大于预定阈值的未 禁止点。
4、 按照前述权利要求之一的方法，特征在于所述视觉量与所述彩色和无 色分量有关。
5、 按照权利要求4的方法，特征在于所述与彩色分量有关的凸显图被合 并，然后将得到的凸显图和与无色分量有关的凸显图进行合并。
全文摘要
本发明涉及一种从不同视觉量创建的多个凸显图中获得一个凸显图的方法，包括-基于每一视觉量的理论最大值归一化所述凸显图的步骤，-选择每一凸显图中的主特征区域的图内竞争步骤，-图间竞争步骤，该步骤基于各图内竞争和图间冗余项的总和，该图间冗余项是图内竞争的乘积与在所述凸显图中点出现的概率的函数。
文档编号G06T5/50GK101218605SQ200680024652
公开日2008年7月9日 申请日期2006年7月5日 优先权日2005年7月6日
发明者多米尼克·巴尔巴, 奥利维尔·勒穆尔, 帕特里克·勒卡勒特 申请人:汤姆森特许公司