专利名称：主色描述符的制作方法
技术领域：
本发明涉及可视颜色描述符，并且更具体地涉及与一个或多个图
像相关的主色描述符(dominant color descriptor )。
背景技术：
近年来，由MPEG标准化委员会研发的MPEG-7标准定义了用于 提供多媒体内容描述的标准。该标准中规定的描述符之一称作"主色描 述符"。该描述符目的在于描述图像中的全局以及局部的空间颜色分 布，以便进行高速再现和浏览。与诸如颜色柱状图方法相比，在某些 用途中，该描述符以降低性能为代价达到紧凑得多的表示。将给定区 域中的描述符合并为数量很少的代表性颜色。该描述符由代表性颜色、 它们在区域中的百分比、颜色的空间 一致性(color coherency of the color)和颜色变化组成。参见2001年第六期第11巻，IEEE Trans. On circuits and systems for video technology 中由 T. Sikora著的"The MPEG-7 visual standard for content description-An overview"。
主色描述符通过一组多达8个三维矢量表示颜色，从而表示图像 或者部分图像中的大多主色。除了该标准之外，MPEG标准化委员会 还提供了一种MPEG-7实验模型，其中描述了用于该标准中定义的大 多数可视描述符的样本提取算法。尤其是，提供了用于主色描迷符的 样本提取码。而且，在该实验模型中提出了用于比较两个主色描述符
的相似性测度。例如，该主色描述符用于对图像就其主色进行分组。 典型地，这需要计算两个或更多主色描述符的平均值的能力。
对于给定(部分)图像和颜色空间(例如RGB、 HSV、 LUV),该 MPEG-7主色描述符在该颜色空间中限定多达8个颜色，这些颜色表示 该图像中的大多数主色。每个主色由下述表示
-表示该颜色的三维矢量(例如R、 G和B);
-指示对图像中该颜色有贡献的像素的相对数量的百分比；
-指示对该主色有贡献的像素的颜色变化的参数，其为O(低变 化)或者1 (高变化)。
该主色描述符还包括表示空间 一 致性的非统 一 限定的参数(指示将该图像的不同颜色聚集在一起还是分散在图像中)。
例如，通过将图像中的像素根据其颜色分成最多8组，能够提取
主色描述符。每组由包括一列分量的颜色表示，例如RGB颜色空间的 一列三个分量R、 G和B。该百分比指示该图像中的多少个像素分配给 该分组。如果特定分组的变化相对较大(在特定阈值以上)，则该变化 为1,否则为0。如果分组的元素一般广泛分布在整个图像中，则空间 一致性大。在MPEG-7实验模型中提供了对提取算法的更详细说明。 在该文献中，还提出了能够用于比较两个主色描述符的相似性测度 (similarity measure )或者3巨离测度(distance measure)。
然而，当在例如分组算法中对一组主色描述符进行分组时，需要 为由其各自的主色描述符表示的 一组图像限定中心或者平均值。为此， 大多数逻辑选择将会对主色描述符取平均值。然而，简单地平均主色 描述符的成分不 一定产生令人满意的结果。
EP1494132A1描述了一种方法，通过为一组图像确定一个或多个 主色的值以及根据所述主色值中的一个或多个得出表示该组图像的主 色表达式来表示该组图像。其公开了，大体上，通过根据颜色空间中 分组的接近性合并该图像中的分组来组合图像描述符。选择给出最小 距离测度的该对主色以进行合并。合并的分组的主要或者代表性色值 是这两个分组的主色的加权平均，其中该权重为该图像中每个主色的 相对显著性的量度。还使用合并在一起的两个分组的变化来计算合并 分组的变化(variance )。独立地处理每个颜色成分，并且假设合并分 组的变化是两个高斯分布的加权和。该专利申请描述了对描述符的值 进行合并，即主色、变化和权重，并且其不分析分组(cluster)本身。
同一专利申请还公开了第二实施例，其中将多个图像聚合在图像 或者像素域中，然后从聚合的图像获得主色描述符，从而生成 GroupOfFrames/GroupOfPictures主色描述符。因此，如果该组中有N 个图像，每个图像包含mxm个像素，则能够将超级图像(super-image) 视为(Nxm)xm的像素阵列。该第二实施例直接作用于图像。
发明内容
有利的是，具有一种与多个图像相关的改进主色描述符。为了更 好地实现上述目的，在本发明的第一个方面，提出了一种系统，其包
5括
-输入端(206),用于接收多个图像(IM1、 IM2、 IMn)的各个 图像的多个相应的主色描述符(DCD1、 DCD2、 DCDn);
-用于生成基于包含在接收到的主色描述符(DCD1、 DCD2、 DCDn)中的主色所生成色值(IM)的集合的装置(202);
-用于计算组合主色描述符(DCD)中包含的所生成色值(IM) 集合的至少一个主色的装置(204)。
所提出的系统根据所生成色值集合的主色来计算组合主色描述 符，该所生成色值集合的主色是基于接收到的主色描述符中的主色生 成的。例如在图像分组算法中，该组合主色描述符可以用作"平均"主色 描述符。适用于图像主色的一些属性，例如对所使用颜色空间的无关 性，也适用于包含在组合主色描述符中的所述至少一个主色，这是因 为所述至少一个主色作为所生成色值集合的主色而被计算。
通常，将计算所生成色值集合的多达8个主色并且它们包含在组 合主色描述符中，因为这是由MPEG-7标准规定的主色数量。
根据本发明的一个方面，用于生成所生成色值集合的装置被设置 为在该集合中包含至少一个所生成的色值，该色值表示接收到的主 色描述符之一中的主色。
通过在该集合中包含表示图像之一 的主色的所生成色值，在计算 组合主色描述符中包含的至少一个主色的过程中考虑该主色。所生成 色值表示主色。例如，其能够为准确的副本，或者能够通过添加随机 变量来被扰动，或者能够转变到任意特定的颜色空间中。
根据本发明的 一个方面，表示接收到的主色描述符之一 中主色的 所生成色值的数量取决于根据该接收到的主色描述符之 一 的主色的百 分比。
所生成色值的数量例如线性地或者至少单调地(特别是非递减地 或者递增地)依赖于该主色描述符中的该颜色的百分比。主色的百分 比表示对图像中的主色有贡献的像素的相对数量。使用这个实施例， 在 一个或多个接收到的主色描述符中具有高百分比的主色具有相对较 高的包含在组合主色描述符中的可能性。而且，组合主色描述符中包 含的主色的百分比可以基于表示该主色的所生成色值的数量。作为本 实施例的可替代方案，例如一个所生成色值可以包含在用于在接收到的主色描述符中的每个主色的集合中。该可替代方案更加强调具有 特定主色的图像的数量，而不太强调特定主色的百分比。
根据本发明的一个方面，用于生成所生成色值集合的装置被设置 为在该集合中包含用于每个相应接收到的主色描述符的相应至少一个 所生成的色值，其中该相应的至少一个所生成色值表示在相应的接收 到的主色描述符中的主色(dominant color )。
这样，每个接收到的主色描述符对该集合有贡献以及对组合主色 描述符有贡献。
根据本发明的一个方面，由至少一个生成的色值表示接收到的主 色描述符中的每个主色。
通过在该集合中包含表示接收到的主色描述符中出现的所有主色 的所生成色值，该组合主色描述符将在单独的主色描述符中出现的所 有颜色信息考虑在内。
根据本发明的一个方面，用于生成所生成色值的集合的装置被设 置为，在该集合中包含与接收到的主色描述符之一中出现的主色相关 的多个所生成色值，其中该多个所生成色值具有根据主色的平均值以 及根据主色变化的变化。
这个方面的优点是，组合主色描述中的主色变化也代表了原始图 寸象中的变化。该方面可以与其他实施例组合，例如，所生成色值的凝: 量可以(线性地)依赖于主色的百分比；和/或可以由这样的多个所生 成色值来表示所有主色。
根据本发明的一个方面，用于计算至少一个主色的装置被设置为， 根据用于计算包含在接收到的主色描述符中的主色的算法来计算所生 成色值的集合的主色。
这样，该组合主色描述符的属性紧密地匹配单独图像的主色描述 符的属性。这还具有以下优点，能够将相同的硬件或者软件元件用于 计算单独图像的主色描述符和组合主色描述符。如果该硬件或者软件
元件改变了，则这两种主色描述符也按照相同方式改变，从而保持两 种主色描述符的语义一致。这还使得该系统实现起来比较经济。 本发明的一个方面包括
-用于计算代表所生成色值(IM)集合的至少一个主色的变化的 参数的装置，该参数包含在组合主色描述符(DCD)中；以及-用于计算所生成色值(IM)集合的至少一个主色的百分比的装
置，该百分比包含在组合主色描述符(DCD)中。
根据该所生成色值集合计算该参数和百分比。例如使用相同算法 计算接收到的主色描述符中出现的主色的所述参数和百分比。这使得 该组合主色描述符更加完整。
本发明的一个方面包括一种计算多个图4象(IM1、 IM2、 IMn)的 组合主色描述符(DCD)的方法，该方法包括
-识别多个图像(IM1 、 IM2、 IMn)的各个图像的多个相应预定 主色描述符(DCD1、 DCD2、 DCDn);
-基于包含在接收到的主色描述符(DCD1、 DCD2、 DCDn)中 的主色生成所生成色值(IM)集合；以及
-计算包含在该组合主色描述符(DCD)中的所生成色值(IM) 集合的至少一个主色。
本发明的一个方面包括用于使处理器实施所述方法的指令。
参照附图，本发明的这些和其他方面将被进一步阐明和描述，在 附图中
图1是示出本发明多个方面的示图；以及 图2是本发明一个实施例的示图。
具体实施例方式
在实施例中，由一组图像中的所有主色描述符，根据它们的成分 和相应的百分比生成新的图像。这如图l所示。考虑一组n个图像(图
1中的IM1、 IM2、 ....... IMn),具有相应的主色描述符(DCD1、
DCD2、 ....... DCDn)。希望的是，具有描述该组n个图像的主色的单
个主色描述符DCD。该主色描述符称作组合主色描述符(combined dominant descriptor )。这能够实现如下。多个像素能够基于包含在主色
描述符DCD1、 DCD2........ DCDn中的信息。该多个所生成像素可
以被看作模拟图像(artificial image) IM。分析所述多个像素，就好像 其仅是另一个图像，以获得组合主色描述符的属性。可以直接从单个 图像的主色描述符直接得出 一些属性(attribute )。在实施例中，生成具有100xn个像素的尺寸的模拟图像(artificial image) IM。根据图像主色描述符的成分(component),每线(line) 包含100个像素。然而，新图像的形状无关紧要。例如，也可以将100n 个像素的长线(long line)用作新图像。这些像素生成如下
对于i= 1........ n,第i条线包含图像i的主色，其中每种颜色
的像素数量是由其百分比确定的。比如图像i具有m个主色cl、
c2.......cm,它们的百分比分别为pl、 p2、 ......、 pm。那么，新图像
的第i条线包含颜色cl的pi像素、颜色c2的p2像素.......、以及颜
色cm的pm像素。
该组图像的组合主色描述符基于模拟图像的主色描述符。显然， 模拟图像的(典型地多达8个)主色是该组(cluster)中图像的代表性 主色，并且百分比还表示该图像中有多少个像素对这些主色有贡献。 此外，这些主色的变化还表示了该组内的颜色变化。
3十于空间一f丈'l"生(color coherency of the color )而言,这不成立, 这是因为在本实施例中，整个模拟图像的颜色分布是任意的。因此， 对于空间一致性而言，使用该组中图像空间一致性的平均值。这更加 有意义，因为其平均了在该图像上的分布，其对每个图像赋予了相同 的权重。在可替代实施例中，这样生成该模拟图像使得所生成像素 的空间一致性与主色描述符的一致性(coherency)相一致。
原则上，为每个图像赋予相同的权重。单独图像的尺寸不会影响 其在计算组合主色描述符过程中的权重。然而，可以向图像分配不同 的权重。例如，能够使针对一个图像所生成的像素数量取决于分配给 该图^f象的权重。— 又重1可以对应于100个所生成的〗象素， 一又重2对应 于200个所生成的像素，等等。
所生成像素的数量可以是不同的。例如，如果在主色描述符中的 百分比具有次百分比(sub-percentage)精度，则对于每个图像可以生 成1000个像素。于是，该模拟图像可以具有1000xn的尺寸。
本文中提出的技术对于任意种类的分组都非常有用，该分组可以 (部分地)基于MPEG-7主色描迷符。例如，可以通过利用以其平均 主色描述符标记的图像组来改进照片集组织。在诸如常规的个人计算 机、媒体中心PC、照片显示便携设备之类的设备以及具有存储/组织/ 显示照片集功能的任意其他消费型电子设备或专业设备中，该照片集组织可以完全以软件实现，或者部分地以软件和硬件实现。另一个示 例性应用是，在更高级的语义内容分析算法中。该技术不仅能够应用 于照片，还能应用于任何种类的可视帧(例如从视频片断中提取的帧)， 以便例如临时将该视频序列分割成有意义的场景。
图2示出本发明的一个实施例。其示出用于计算多个图像的组合 主色描述符的系统200。该系统200具有用于接收单个图像的主色描述 符的输入端206。装置202根据接收到的主色描述符生成色值(color value)集合。例如，针对在接收到的主色描述符中出现的每种主色生 成多个色值，并且所生成的表示每种主色的色值的数量线性依赖于该 主色的百分比。将所生成色值集合发送到装置204,用于计算色值集合 的主色描述符。例如，通过利用图像的数据结构来存储色值集合，装 置204可以是用于计算图像的主色描述符的装置。根据该色值集合确 定该主色、它们的变化和它们的百分比。直接根据接收到的主色描述 符的空间 一致性来确定空间 一致性。将如此获得的组合主色描述符提 供给输出端208。
尽管在本文中已经在MPEG-7的背景下描述了实施例和组合主色 描述符，但是对于本领域技术人员显而易见的是，主色和组合主色描 述符的概念能够轻易地与MPEG-7标准隔离，并且能够利用类似于本 文中所述实施例的系统在MPEG-7背景之外使用。
可以理解，本发明还扩展到适于实现本发明的计算机程序，特别 是载体上或载体中的计算机程序。该程序可以是源代码、结果代码、 中间源代码和结果代码的形式，例如部分编译的形式，或者任何其他 适合用于实现根据本发明的方法的形式。该载体可以是能够携带程序 的任何实体或者设备。例如，该载体可以包括存储介质，例如ROM， 如CDROM或者半导体ROM,或者石兹记录介质，如4t盘或者^更盘。而 且，该载体可以是可传送载体，例如电或光信号，其可以通过电或光 缆或者通过无线电或其他方式传送。当以这种信号体现该程序时，该 载体可以由这种缆或者其他设备或装置构成。可替代地，该载体可以 是嵌入了程序的集成电路，该集成电路适于执行相关的方法，或者用 于扭^于相关的方法。
应当注意，上述实施例说明而不是限制本发明，并且本领域技术 人员将能够在不背离所附权利要求的范围的情况下设计出许多可替代
10的实施例。在权利要求中，置于括号中的任何附图标记不应当被解释 为对权利要求的限制。动词"包括"及其变化的使用不排除不同于权利要 求中所列的元件或步骤的存在。元件前的冠词"一"不排除多个这样的元
计算机来实;本发明。在列举(l二装置的设备权利要i中「可以由 同一个的硬件项目来实施这些装置中的几个。在相互不同的从属权利 要求中叙述某些措施，这个起码的事实并不表示这些措施的组合不能 被有利地使用。
权利要求
1.一种用于计算多个图像(IM1、IM2、IMn)的组合主色描述符(DCD)的系统，该系统包括-输入端(206)，用于接收多个图像(IM1、IM2、IMn)的各个图像的多个相应主色描述符(DCD1、DCD2、DCDn)；-用于根据包含在接收到的主色描述符(DCD1、DCD2、DCDn)中的主色来生成所生成色值(IM)的集合的装置(202)；-用于计算组合主色描述符(DCD)中包含的所生成色值(IM)集合的至少一个主色的装置(204)。
2. 根据权利要求1所述的系统，其中用于生成所生成色值集合的 装置被设置为在该集合中包括表示接收到的主色描述符之一中的主 色的至少一个所生成色值。
3. 根据权利要求2所述的系统，其中表示接收到的主色描述符之 一中的主色的所生成色值的数量取决于根据接收到的主色描述符之一 的主色的百分比。
4. 根据权利要求1所述的系统，其中用于生成所生成色值集合的 装置被设置为在该集合中包括对于每个接收到的主色描述符的相应 至少一个所生成色值，其中该相应至少一个所生成色值表示相应的4妄, 收到的主色描述符中的主色。
5. 根据权利要求4所述的系统，其中接收到的主色描述符中的每 个主色由至少一个所生成的色值表示。
6. 根据权利要求1所述的系统，其中用于生成所生成色值集合的 装置被设置为在该集合中包括多个与接收到的主色描述符之一 中出 现的主色相关的所生成色值，其中该多个所生成色值具有根据主色的 平均值和根据主色变化的变化。
7. 根据权利要求1所述的系统，其中用于计算至少一个主色的装 置被设置为根据用于计算包含在接收到的主色描述符中的主色的算 法来计算所生成色值集合的主色。
8. 根据权利要求1所述的系统，还包括-用于计算代表所生成色值(IM)集合的至少一个主色的变化的 参数的装置，该参数包含在组合主色描述符(DCD)中；以及-用于计算所生成色值(IM)集合的至少一个主色的百分比的装置，该百分比包含在组合主色描迷符(DCD)中。
9. 一种计算多个图像(IM1、 IM2、 IMn)的组合主色描述符(DCD) 的方法，该方法包4舌-确定多个图像(IM1、 IM2、 IMn)的各个图像的多个相应预定 主色描述符(DCD1、 DCD2、 DCDn);-基于包含在接收到的主色描述符(DCD1、 DCD2、 DCDn)中 的主色来生成所生成色值(IM)集合；以及-计算包含在该组合主色描述符(DCD)中的所生成色值(IM) 集合的至少一个主色。
10. —种计算机产品，其包括用于使处理器执行根据权利要求0 所述方法的指令。
全文摘要
一种系统，计算多个图像(IM1、IM2、IMn)的组合主色描述符(DCD)。该系统包括输入端(206)，其用于接收多个图像(IM1、IM2、IMn)的各个图像的多个相应主色描述符(DCD1、DCD2、DCDn)。该系统还包括根据包括用于基于包括在接收到的主色描述符(DCD1、DCD2、DCDn)中的主色来生成所生成色值(IM)的集合的装置202，以及用于计算组合主色描述符(DCD)中包含的所生成色值(IM)集合的至少一个主色的装置204。在该集合中，包含表示接收到的主色描述符之一中的主色的至少一个所生成色值。
文档编号G06F17/30GK101529421SQ200780038788
公开日2009年9月9日 申请日期2007年10月12日 优先权日2006年10月19日
发明者M·A·彼得斯, P·方塞卡 申请人:皇家飞利浦电子股份有限公司