专利名称：一种自动式的图像颜色协调化方法和系统的制作方法
技术领域：
本发明涉及数字图像处理和计算机视觉技术领域，特别是涉及一种自动式的图像
颜色协调化方法和系统。
背景技术：
从美学的角度出发，所谓协调的颜色(以下简称协调色)是指一组能在视觉上给 人以美感的颜色的集合。这组颜色并不是由特定的某几种颜色组成，而是由它们在颜色空 间中的相对位置关系所确定的。 协调色的定义有很多种，但是目前应用最为广泛的是1995年由Matsuda在文献 "Color design"中提出的色环模型。在这篇文献中，作者将色调定义成圆环，协调色的色调 被定义成8个由不同大小的扇形所组成的模板，分别为i型模板、V型模板、L型模板、I型 模板、T型模板、Y型模板、X型模板和N型模板，参见图l，每个模板中的扇形区域所代表的 色调就代表了符合这个模板的协调色的色调。每个模板中扇形区域的大小与相对位置关系 都是固定的，这种相对位置关系定义了这个模板所能表示的一组协调色，而这组协调色可 以通过在色环内旋转扇形区域产生，每旋转到一个位置，就会产生一个新的协调色。
颜色协调化属于颜色设计领域，在生活与生产中有广泛的应用，比如广告设计、艺 术创作、影视制作、家居布置、装潢设计等都需要考虑颜色的搭配，让产品的色彩更加符合 人们的审美观念，使人在视觉与精神上产生愉悦感。传统的颜色协调化方法是一个繁琐的 手工选色的过程。比如在绘画领域，画家通常依靠经验与直觉来选择喜欢的协调色，这个过 程可以通过查询协调色手册或者通过一些交互式的协调色选择系统来完成。选定一组协调 色后，画家们还需要给他们的作品重新着色，这是一个非常耗时而且单调乏味的过程，当作 品比较复杂、颜色多样或者色块细小的时候，这种情况尤为突出。为了改变这种资源浪费的 状况，使人们能够方便快捷的完成颜色协调化的工作，学者们提出了自动式的颜色协调化 方法。 目前，对自动式颜色协调化方法进行研究的文献非常少，有代表性的两篇文献分 别为2006年7月30日Daniel Cohen等在文献"Color Harmonization"中提出的图像颜 色协调化算法和2008年12月16日Nikhil Sawant等在文献"Color Harmonization for videos"中提出的视频颜色协调化方法。 在文献"Color Harmonization"中，对于一幅输入图像，首先统计其色度直方图， 然后找到与相对应的协调色模板，然后将模板中扇形区域以外的色度值转换到与其最邻近 的扇形区域内，这个转换的过程就是原图像颜色协调化的过程。在转换过程中，还需要考虑 像素的空间连续性，也就是说某个像素通常与其邻域内的像素同属于某一种颜色。文献中， 作者将这种约束转化为Graph Cut算法，有效的防止了颜色协调化过程中出现的色块不连 续的错误。Daniel Cohen等所提出的颜色协调化算法对很多图片都可以给出较好的颜色协 调化方案，但是该方法存在的一个较严重的问题是，当旋转色环重新进行颜色协调化的时 候，有可能会使图片中同属于一种色调(比如蓝色调)的像素划分到两种完全不同的互补
4色调中去(比如原图像中属于蓝色调的区域经过颜色协调化后被分成了绿色后紫色两部 分)，使得图像的空间连续性不能保持，这并不是我们所期望的结果，我们所期望的是原图 像中属于同一色调的区域经过颜色协调化以后仍然属于同一色调，而不是被分开。另一方 面，正如Daniel Cohen等在他们的文章中所指出的，他们的算法受到GraphCut算法本身的 限制，如果图片中的某个物体由于遮挡的原因被分成了不相连的两部分，那么在颜色协调 化过程中，这两部分也极有可能被重置为不同的颜色。 在文献"Color Harmonization for videos"中，为了能够实时的对视频进行颜色 协调化处理，作者对Daniel Cohen等所提出的方法做了一定程度的简化，修改了寻找图像 匹配模板的标准，用直方图分离算法代替Graph Cut算法等。虽然提高了运算速度，但正如 作者在文章中指出的，这些修改使得其最终的处理结果比Daniel Cohen的方法要差。
由上面的分析可以看出，图像颜色协调化还存在着问题，因此目前迫切需要本领 域技术人员解决的一个技术问题就是发明一种准确稳定的图像颜色协调化方法，保证图 像的空间连续性，使图像颜色协调化结果更加符合人们视觉美感的期望。
发明内容
本发明所要解决的技术问题是提供一种自动式的图像颜色协调化方法和系统，能
够在图像颜色协调化时准确的找到与待处理图像相匹配的协调色模板，保证了图像像素之
间的空间连续性，使图像颜色协调化结果更加符合人们视觉美感的期望。 为了解决上述问题，本发明公开了一种自动式的图像颜色协调化方法，所述方法
包括 统计图像色度直方图； 根据所述色度直方图获取匹配的协调色模板； 计算图像中各个像素色度之间的相似程度，依据计算结果构建像素亲密度矩阵；
计算各个像素与其邻域像素的色度加权平均值之差，并根据所述加权平均值之差 和所述亲密度矩阵构建协调化处理方程； 根据所获取的协调色模板，求解所述协调化处理方程，所得解即为图像协调化处
理后所得图像中各个像素的色度值。 其中，所述获取匹配的协调色模板具体为 将所有可能的协调色模板与所述色度直方图进行匹配，选择匹配程度最好的作为 匹配的协调色模板。 其中，所述匹配程度通过色度在协调色模板的像素数目与协调色模板所能容纳的 像素数目的比值进行度量。 其中，所述邻域像素就是一个像素的4邻域或8邻域，通常指8邻域。 优选的，对于一幅N个像素的图像，所构建的像素亲密度矩阵为一个NXN的矩阵，
所述矩阵的第r行s列的元素为W 。 优选的，所述协调化处理方程需满足以下条件 色度通道图像中最小化像素与其邻域像素加权平均值之差，并且每个像素的色度 值只能分布于协调色模板内。 其中，通过以下方式对所述方程进行求解
采用罚函数对方程进行转化，并采用梯度下降法进行求解。 本发明还提供一种自动式的图像颜色协调化系统，其特征在于，所述系统包括
直方图统计单元用于统计图像色度直方图； 协调色模板获取单元用于根据所述色度直方图获取匹配的协调色模板； 亲密度矩阵构建单元用于计算图像中各个像素色度之间的相似程度，依据计算
结果构建像素亲密度矩阵； 协调化处理方程构建单元用于计算各个像素与其邻域像素的色度加权平均值之
差，并根据所述加权平均值之差和所述亲密度矩阵构建协调化处理方程； 协调化处理方程求解单元用于根据所获取的协调色模板，求解所述方程，所得解
即为图像协调化处理后所得图像中各个像素的色度值。
其中，所述协调色模板获取单元通过以下方式获取匹配的协调色模板 将所有可能的协调色模板与所述色度直方图进行匹配，选择匹配程度最好的作为
协调色模板。 其中，所述匹配程度通过色度在协调色模板的数目与协调色模板所能容纳的像素 数目的比值进行度量。 与现有技术相比，本发明具有以下优点 首先，本发明通过计算各个像素色度之间的相似程度，构建像素亲密度矩阵，将已 知像素的色度值扩展到整个图像，充分考虑了像素之间的空间连续性，避免了原图像中属 于同一色调的区域经过颜色协调化处理以后被分成两种颜色的问题，使图像颜色协调化的 结果更加符合人们的期望。 其次，本发明所采用的协调色模板匹配算法可以更加准确的找到与待处理图像相 匹配的协调色模板。此外，还可以手动的指定某类模板，然后由本发明的匹配算法找到其相 应的旋转角度。 再次，本发明通过构建协调化处理方程，求其全局最小值的方法求解得到颜色协 调化结果，这种方法保证了所求结果的全局最优性。 总之，本发明的方法较之原有图像颜色协调化算法，其结果更加准确，鲁棒性高， 有效地防止了同一色度区域空间不连续的问题。本发明的方法已成功应用于图像合成时前 景与背景颜色的协调化处理，也可以用于艺术绘画图片和广告图片的颜色协调化。
图1是本发明背景技术中所述八种协调色模板示意图； 图2是本发明具体实施方式
中所述一种自动式的图像颜色协调化方法流程图；
图3是本发明具体实施方式
中所述邻域点的示意图； 图4是本发明具体实施方式
中所述一幅具有2X3 = 6个像素的图像示意图；
图5是本发明具体实施方式
中所述一种自动式的图像颜色协调化系统结构图。
具体实施例方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实 施方式对本发明作进一步详细的说明。
参照图2，示出了本发明所述一种自动式的图像颜色协调化方法流程图。
步骤1 ，统计图像色度直方图； 将图像转换到HSV颜色空间，对其H通道的色度图像统计色度直方图hist_h。
其中HSV分别指色度(Hue)，饱和度(Saturation)，明度(Value) 。 HSV空间的表 示从RGB而来，RGB分别指红(Red)、绿(Green)、蓝(Blue) 。 H参数表示色度信息，即所处 的光谱颜色的位置。该参数用一角度量来表示，红、绿、蓝分别相隔120度。互补色分别相 差180度。 步骤2，获取匹配的协调色模板； 根据所述色度直方图，获取匹配的协调色模板。对于每个模板，将其旋转一定角度 后，与色度直方图hist_h相比较，找出匹配程度最好的模板作为协调色模板。
优选的，定义一种相对距离来度量这种匹配程度 ,(r("，=乙D y t 二、 通过色度在协调色模板的像素数目与协调色模板所能容纳的像素数目的比值对 匹配程度进行度量。 其中，n表示第n个协调色模板，e表示该模板旋转的角度，hist_h(i)是色度直
方图中位置i处的值，表示色度为i的像素的个数，T(n， e ，i)是第n个协调色模板旋转过
9角后位置i处的值，规定如下
fl如果/在模板的扇形区内
lo其它 max(hist—h)是色度直方图的最大值，E "(n, e ， i)是协调色模板T(n， e )中值 为1的个数。E ihist_h(i) *T(n， e ，i)表示了色度落在模板T(n， e)中的扇形区域内部 的像素的数目，也可以理解为直方图histJi与模板T(n， e)重叠部分的面积；max(hist— h) E iT(n， e ，i)表示了模板T(n， e)的扇形区域最多可以容纳的像素数，也可以理解为 模板T(n， e )的面积。如果只使用E ihist_h(i) T(n， e ， i)作为匹配程度的度量，由于 Eihist_h(i) *T(n， 9 ， i)是i的非减函数，其值会随着T(n， e)中非0元素个数的增加 而增加，也就是说扇形区域面积较大的模板会比扇形区域较小的模板获得更高的匹配值， 这就使得一部分扇形区域小的模板得不到匹配。而增加分母max(histji) *E iT(n， e ， i) 之后，随着T(n， e)中非O元素的增加，模板T(n， e)的面积也在不断增大，使得随着T (n， 9)中非O元素个数的增加，F(T(n， e))呈现出一种先增大后减小的趋势，而顶点处所对应 的模板就是要找的最匹配的模板。 要确定一个模板，就需要确定模板序数n和其旋转的角度e两个参数，为此，在确 定了匹配程度的度量函数以后，本发明采用以下两个步骤来找出最佳匹配模板首先，对于第n个模板，通过旋转e角来确定在这个模板下的最佳匹配角度e。，
即 T (n) = T (n， 9 。) s. t.《=^H 尸(7^，⑨ 然后，对于所有可能的T (n)，我们选择使得函数F取得最大值的那个模板作为最
7佳匹配模板，即 T = T (n0) s. t."。=，狀 本发明所采用的协调色匹配模板匹配算法更加准确的找到与待处理图像相匹配 的协调色模板。此外，还可以手动的指定某类模板，然后由本发明的匹配算法找到其相应的 旋转角度。克服了现有技术中在寻找匹配模板的过程中，将图像色度直方图与某个模板相 比较，对色度值不在模板中扇形区域内部的部分，求其与最近扇形边缘的差，然后累加所产 生的后果如果一个模板的扇形部分比较大，(比如图1中，T形比V形要大)，那么落在T 形模板之外的像素比落在V形模板之外的像素要少，计算结果肯定是T形模板要比V形模 板的值更小。根据其选取准则，应选取T形模板。这会产生一种情况，对任何一幅图像来说， T形模板总是比V形模板更适合，使得V型模板总是得不到匹配，并且相同的情况还会发生 在V型模板总是比i型模板的匹配度更大，X型模板总是比I型模板匹配度更大，T型模板 总是比i型、V型和L型模板的匹配度更大，因此，对于任一幅图像，i型、V型、L型和I型 模板都不能自动得到匹配。
本发明还包括标注待协调化的像素。 以最佳匹配模板T为标准，将图像中色度值在T的扇形区域内部的像素作为颜色 已知像素，不需要再进行协调化处理，而色度值在T的扇形区域外部的像素标注为待协调 化的像素，图像颜色协调化时，主要是指处理待协调化的像素。
步骤3，构建像素亲密度矩阵； 计算图像中各个像素与其邻域像素色度之间的相似程度，依据计算结果构建像素 亲密度矩阵。像素亲密度矩阵表示了像素与其邻域内像素的近似程度。在HSV图像的H通 道上，定义两个邻近像素的色度相似程度为
wrs °^ exp (_ (H (r) _H (s)) 2/2 o 2) s G N (r) 上式定义了像素r与其邻域内的像素s的相似程度，H(r)与H(s)是像素r与s的 色度值，c^是r的邻域N(r)内所有像素的色度值的方差，式中正比关系的系数用C表示， 具体取值为 Z exp(—( ")2/2cr2)
seN(r)、 7 本发明所述邻域点就是一个像素的4邻域或8邻域。参照图3，各个数字代表该 处像素点，对于5像素点来说，2，4，6和8就是其4邻域，1，2，3，4，6，7，8，和9共同构成其8 邻域，通常所指的邻域是指8领域，可以表示为满足下式的(x，y)的集合 |卜力-&,少。)|| =备—;c。)2+("。)2 < 2 这是一个计算机视觉得图像处理领域内的通俗概念，此处不做详尽介绍。
对于一幅有N个像素的图像，创建一个NXN大小的矩阵，矩阵的第r行s列的元 素置为W ，不互为邻域的像素之间相似程度为0。所创建的NXN的矩阵就是所要求的像素 亲密度矩阵。由于每个像素只与其邻域内的像素相比较，所以所创建的NXN矩阵中大部分 元素为O，是一个超大规模的稀疏矩阵。 参照图4，以一幅具有2X3 = 6个像素的图像作进一步说明，创建一个6X6的方 阵A， A中的元素值就可以用wre进行填充，其中，r表示行序号，s列序号，各个数字代表该处像素点，从图中可以看出，1像素只与2，3，4互为邻域，则应计算巧2， w13，巧4，分别填入行号
为1列号分别为2， 3， 4的位置。2像素与1，3，4互为邻域，则应计算w^ w23， w24，并填入相
应位置，对其余像素也依次处理，不互为邻域的像素点所对应的元素都为0，这样最后得到
所要求的亲密度矩阵。通过构建像素的亲密度矩阵，将已知像素的色度值扩展到整个图像，
充分考虑了像素之间的空间连续性，避免了原图像中属于同一色调的区域经过颜色协调化
处理以后被分成两种颜色的问题。 步骤4，构建协调化处理方程； 计算各个像素与其邻域像素的色度加权平均值之差，并根据所述加权平均值之差 和所述亲密度矩阵构建协调化处理方程。本发明的图像颜色协调化算法是基于这样一个观 察事实，即如果两个相邻像素r和s在颜色协调化之前具有相近的颜色，则颜色协调化之后 也应该具有相近的颜色。因此，经过颜色协调化后，希望在新的色度通道图像中最小化像素 r与其邻域像素加权平均值之差，用公式表示为
<formula>formula see original document page 9</formula>
能使上式取得最小值的H就是所求的颜色协调化后的色度通道H。，即 <formula>formula see original document page 9</formula>进一步的数学推导可以得出J(H)与像素亲密度矩阵A之间的关系为<formula>formula see original document page 9</formula>
其中D为与A同等尺度的单位矩阵，HT和H互为转置。由于只有一部分像素的色 度需要进行协调化处理，另一部分像素的色度不改变，相当于待求的H中某些像素的色度 是已知的。另一方面，由于H中每个像素的色度值只能分布于协调色模板的扇形区域内，也 就是H中每个像素的色度取值是受限的。因此，颜色协调化处理就变成了一个最优化理论 中的约束极值问题，具体表述为
<formula>formula see original document page 9</formula>
其中，S是已知像素色度值的集合，b^lvb3、b4是对x取值的约束，代表了协调色 模板中扇形的边界。针对前面所述八种协调色模板，i型模板、V型模板和T型模板由两个 约束^、 b2来确定，L型模板、I型模板、Y型模板和X型模板，由四个约束^、 b2、 b3、 b4来确 定，N型模板是用于处理灰度图像的，基于本发明主要针对彩色图像，这里不对其进行细节 介绍。上述公式中，x是一个列向量，其每个元素对应于H中每个像素的色度值。对于这类 非线性约束极值问题，需用相应的最优化算法求解。
步骤5，求解所述方程。 根据所获取的协调色模板，求解所述方程，所得解即为图像协调化处理后所得图 像中各个像素的色度值。用最优化算法求解方程。本发明采用罚函数法将上述非线性约 束极值问题转化为非线性无约束极值问题，然后采用梯度下降法进行求解。构造如下罚函 数 <formula>formula see original document page 9</formula>
gO》叫， ， 3,4 其中M是一个非常大的正数，g(x)是一个阶跃函数。用梯度下降法可以求出上述
罚函数的最优解得到解向量 x* = arg minP(x， M) x*就是所求的颜色协调化的结果图像的色度值向量，向量中各个元素代表协调化 处理后所得图像中各个像素的色度值。 同时，本发明通过构建目标方程，求其全局最小值的方法求解得到颜色协调化结 果，这种方法保证了所求结果的全局最优性。 针对上述方法实施例，本发明还提供了一种自动式的图像颜色协调化系统实施 例。 参照图5，是本实施例所述一种自动式的图像颜色协调化系统结构图，所述系统包 括 直方图统计单元501 :用于统计图像色度直方图； 协调色模板获取单元502 :用于根据所述色度直方图获取匹配的协调色模板；
亲密度矩阵构建单元503 :用于计算图像中各个像素与其邻域像素色度之间的相 似程度，依据计算结果构建像素亲密度矩阵； 协调化处理方程构建单元504 :用于计算各个像素与其邻域像素的色度加权平均
值之差，并根据所述加权平均值之差和所述亲密度矩阵构建协调化处理方程； 协调化处理方程求解单元505 :用于求解所述方程，所得解即为图像协调化处理
后所的图像中各个像素的色度值。 优选的，所述协调色模板获取单元502通过以下方式获取匹配的协调色模板
将所有可能的协调色模板与所述色度直方图进行匹配，选择匹配程度最好的作为 协调色模板。 所述匹配程度通过色度在协调色模板的数目与协调色模板所能容纳的像素数目 的比值进行度量。 本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与 其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例 而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部 分说明即可。 以上对本发明所提供的一种自动式的图像颜色协调化方法和系统进行了详细介 绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只 是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发 明的思想，在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容不应理 解为对本发明的限制。
10
权利要求
一种自动式的图像颜色协调化方法，其特征在于，所述方法包括统计图像色度直方图；根据所述色度直方图获取匹配的协调色模板；计算图像中各个像素与其邻域像素色度之间的相似程度，依据计算结果构建像素亲密度矩阵；计算各个像素与其邻域像素的色度加权平均值之差，并根据所述加权平均值之差和所述亲密度矩阵构建协调化处理方程；根据所获取的协调色模板，求解所述协调化处理方程，所得解即为图像协调化处理后所得图像中各个像素的色度值。
2. 根据权利要求1所述的方法，其特征在于，所述获取匹配的协调色模板具体为 将所有可能的协调色模板与所述色度直方图进行匹配，选择匹配程度最好的作为匹配的协调色模板。
3. 根据权利要求2所述的方法，其特征在于所述匹配程度通过色度在协调色模板的像素数目与协调色模板所能容纳的像素数目 的比值进行度量。
4. 根据权利要求1所述的方法，其特征在于 所述邻域像素就是一个像素的4邻域或8邻域，通常指8邻域。
5. 根据权利要求1所述的方法，其特征在于，对于一幅N个像素的图像，所构建的像素 亲密度矩阵为一个NXN的矩阵，所述矩阵的第r行s列的元素为wrs。
6. 根据权力要求1所述的方法，其特征在于，所述协调化处理方程需满足以下条件 色度通道图像中最小化像素与其邻域像素加权平均值之差，并且每个像素的色度值只能分布于协调色模板内。
7. 根据权力要求1所述的方法，其特征在于，通过以下方式对所述方程进行求解 采用罚函数对方程进行转化，并采用梯度下降法进行求解。
8. —种自动式的图像颜色协调化系统，其特征在于，所述系统包括 直方图统计单元用于统计图像色度直方图；协调色模板获取单元用于根据所述色度直方图获取匹配的协调色模板；亲密度矩阵构建单元用于计算图像中各个像素与其邻域像素色度之间的相似程度， 依据计算结果构建像素亲密度矩阵；协调化处理方程构建单元用于计算各个像素与其邻域像素的色度加权平均值之差， 并根据所述加权平均值之差和所述亲密度矩阵构建协调化处理方程；协调化处理方程求解单元用于根据所获取的协调色模板，求解所述方程，所得解即为 图像协调化处理后所得图像中各个像素的色度值。
9. 根据权利要求8所述的系统，其特征在于，所述协调色模板获取单元通过以下方式 获取匹配的协调色模板将所有可能的协调色模板与所述色度直方图进行匹配，选择匹配程度最好的作为协调 色模板。
10. 根据权利要求9所述的系统，其特征在于所述匹配程度通过色度在协调色模板的数目与协调色模板所能容纳的像素数目的比值进行度量。
全文摘要
本发明提供了一种自动式的图像颜色协调化方法和系统，能够在图像颜色协调化时准确的找到与待处理图像相匹配的协调色模板，保证了图像像素之间的空间连续性。通过统计图像色度直方图，获取匹配的协调色模板，构建像素亲密度矩阵，构建协调化处理方程，求解方程得到图像颜色协调化处理后图像的色度值，将已知像素的色度值扩展到整个图像，充分考虑了像素之间的空间连续性，使图像颜色协调化的结果更加符合人们的期望。
文档编号G06T5/40GK101694717SQ20091023609
公开日2010年4月14日 申请日期2009年10月22日 优先权日2009年10月22日
发明者万艳丽, 唐振, 苗振江 申请人:北京交通大学;