一种基于流型转换的图像色彩风格变换方法
【专利摘要】本发明涉及数字图像颜色变换领域，公开了一种基于流型转换的图像色彩风格变换方法，包括：对输入图像和参考图像进行预处理，通过用户交互式图像区域分割方法获得两幅图像对应的语义区域；对输入图像和参考图像不同的语义区域分别进行色彩聚类，在输入图像和参考图像间建立起区域对应的图像主色集合；利用带有约束的流型学习算法实现输入图像在色彩空间的颜色转变，其中约束条件是建立在输入图像与参考图像对应语义区域的主色上；输出图像：利用输入图像的灰度信息，对变换后图像的色彩进行空间平滑和修正，进而将重构后的图像作为最终的输出图像。采用该方法能够解决现有颜色变换方法无法在色彩分布与空间内容上保持一致性与合理性的问题。
【专利说明】一种基于流型转换的图像色彩风格变换方法
【技术领域】
[0001]本发明涉及数字图像颜色变换领域，更具体地，涉及一种基于流型转换的图像色彩风格变换方法。
【背景技术】
[0002]数字图像颜色风格变换技术是近年来计算机视觉、数字图像处理以及非真实渲染领域被广泛研究的课题，颜色作为图像最为重要的组成元素之一，其组成和分布特点往往直接影响图像所传达出的信息。通过对图像的颜色信息加以转换，可以使得相同场景内容的图像表达出不同的意义。例如在一幅自然图片中，通过将森林的颜色由原有的绿色转换成黄色，可以将一幅原本描绘夏天景色的图片转变为一幅描绘秋天景色的风景图片。自动的颜色转换算法能够应用于图像处理，视频处理和影视后期制作等领域，一个有效的颜色转换算法能够极大的减少原本手工处理的工作量，大大降低图像视频处理的时间和成本。
[0003]具体的描述如图1所示:彩色图像间的色彩风格变换，将图像(b)的色彩风格信息转移到图像(a)上，同时不丢失图像(a)的内容信息。其中图像(a)称为输入图像，图像(b)称为参考图像。通过色彩风格变换算法，使得图像(a)获得了图像(b)的颜色基调，进而产生了图像(C)。
[0004]目前已经有很多专利申请公开的方法可以相对有效的进行图像色彩风格之间的转换，但是仍然存在一些难以解决的问题。这主要是因为自然图像的复杂性和多样性。不同的自然图像在颜色信息和空间信息上存在着巨大差异。同时就多数自然图像自身而言，不同内容区域间的边界分布也不够明显，往往包含有大片的过度区域。如果色彩风格变换算法不能够在色彩分布与空间内容上保持一致性与合理性，将直接影响变换后图像的逼真程度。
[0005]现有的图像颜色变换方法主要可以分为两大类:一类是基于图像色彩分布匹配的方法；另一类是基于特征点匹配的方法。
[0006]基于图像色彩分布匹配的颜色转换算法是较为早期且有效的颜色转换算法。该算法首先将输入图像和参考图像从RGB颜色空间转换到LAB颜色空间。利用颜色分布直方图匹配的方法对输入图像和参考图像相对应通道的色彩分布进行匹配，进而完成图像间的色彩转换。由于该类算法在颜色转换的过程中，同时对图像上的所有像素点进行匹配，故这类方法也称为全局颜色转换算法。全局颜色转换算法的主要不足是没有考虑到图像色彩与图像内容的一致性，在变换过程中容易产生颜色混淆或者对图像进行过饱和的渲染，大大降低了结果的真实度。
[0007]相关算法还包括基于N维概率密度函数的颜色转换算法，该方法将图像的颜色概率密度函数分布投影到不同通道上，然后在各通道上实施一维的直方图匹配，从而达到图像的颜色变换。该算法缺陷在于，不同颜色分布在直方图匹配的过程处理不够平滑，故输入图像中本来颜色相似的像素点在转换以后可能会被赋予差异巨大的像素值，从而导致输出图像中出现色彩断层的现象。[0008]基于特征点提取的颜色转换算法是借助了基于特征点的图像重构方法来进行图像色彩变换。基于特征点的图像重构方法利用输入图像的灰度图，及输入图像上少量的特征点，称之为标记点(Landmark Point)，来重构出彩色的图像，并使重构出的图像与输入图像尽可能的一致。通过对标记点颜色信息进行替换(将输入图像标记点的颜色值替换为参考图像的标记点的颜色值)来实现图像间颜色的转换。由于该类算法很难保证输入图像和参考图像标记点匹配的准确性，因而会出现颜色渲染混乱的现象。
【发明内容】
[0009]为了克服现有技术的不足，本发明提出一种基于流型转换的图像色彩风格变换方法，利用用户交互式的图像分割信息与带有约束的流型学习算法，实现输入图像与参考图像不同语义区域间的对应色彩变化，采用该方法能够解决现有颜色变换方法无法在色彩分布与空间内容上保持一致性与合理性的问题。
[0010]为了实现上述目的，本发明的技术方案为:
[0011]一种基于流型转换的图像色彩风格变换方法，包括以下步骤:
[0012]S1.预处理:对输入图像和参考图像进行预处理，通过用户交互式图像区域分割方法获得两幅图像对应的语义区域；
[0013]S2.语义区域色彩聚类:对输入图像和参考图像不同的语义区域分别进行色彩聚类，在输入图像和参考图像间建立起区域对应的图像主色集合；
[0014]S3.色彩变换:利用带有约束的流型学习算法实现输入图像在色彩空间的颜色转变，其中约束条件是建立在输入图像与参考图像对应语义区域的主色上；
[0015]S4.输出图像:利用输入图像的灰度信息，对由步骤S3进行颜色变换以后图像的色彩进行空间平滑和修正，进而将重构后的图像作为最终的输出图像。
[0016]本发明方法是利用用户交互式的图像分割信息与带有约束的流型学习算法，实现输入图像与参考图像不同语义区域间的对应色彩变化。其能解决现有颜色变换方法无法在色彩分布与空间内容上保持一致性与合理性的问题。
[0017]优选的，所述步骤SI中所述的用户交互式图像区域分割方法具体为:通过交互式的风格算法将输入图像和参考图像分别分割成若干有对应关系的、语义信息相异的区域，不同的区域对象对应于不同的语义标签。
[0018]上述用户交互图像区域分割方法可以为现有的任意有效的分割方法，其中交互式的防暑强调的是用户通过鼠标或者数位板等外部设备，在图像上以涂鸦的方式标出不同的语义区域。
[0019]优选的，所述步骤S2的具体实现方式为:通过提取每个像素点的RGB数值，将其做为颜色空间中的一点，使用聚类算法对颜色空间中的所有点进行自动的类别划分，同时根据色彩点的分布计算其质心，该质心作为具体类别中最有代表性的主色。
[0020]优选的,所述步骤S2中的色彩聚类算法是K-means聚类算法、ISOdata聚类算法或谱聚类算法中的任意一种。
[0021]由于不同的色彩空间对图像的视觉描述有着不同的侧重点，为了使得颜色风格变换算法更为有效。所述步骤S2前还包括将输入图像和参考图像颜色空间从RGB色彩空间转换到LAB色彩空间。[0022]本发明方法的核心是在于利用输入图像和参考图像之间对应语义区域的主色，带有约束的流型学习算法。现有的流型学习算法为LLE (Locally linear embedding),传统的LLE算法可以归结为三步:1)寻找每个样本点的k个近邻点；2)由每个样本点的近邻点计算出该样本点的局部重建权值矩阵；3)由该样本点的局部重建权值矩阵和其近邻点计算出该样本点在低维空间的输出值。传统的LLE算法针对的是数据降维问题。为了在最大程度的保持流型结构的条件下，改变其在色彩空间中的位置
[0023]优选的，所述带有约束的流型学习算法的实现方式为:
[0024]将色彩空间的每个彩色点通过其附近的若干个近邻进行线性重构，并记录每个参与重构的近邻所对应的重构系数；将所有点用于重构其自身的重构系数组成重构权重矩阵；利用主色所期望的转换结果作为约束条件，结合重构权重矩阵，共同实现带有约束的流型转换。
[0025]优选的，所述带有约束的流型学习算法的具体包括以下步骤:
[0026](1)将输入图像的每个像素点转换为LAB色彩空间下彩色点，计算出每个彩色点的k个近邻点，把相对于所求彩色点距离最近的k个彩色点规定为所求彩色点的k个近邻点；其中k是一个预先给出的定值；其中k个近邻点的选取可以使用欧氏距离、测地线距离等多种距离度量方式；
[0027](2)计算出彩色点的局部重建权值矩阵W，通过步骤(1)中k个近邻来对彩色点进行线性重构，每个近邻对应一个重构系数《，为了使重构的误差最小，每个彩色点的k个近邻点的重构系数之和为I ;
[0028](3)利用步骤(2)中的重构矩阵W，将输入图像的所有彩色点在主色对的约束下实现输入图像在色彩空间的颜色转变。
[0029]由于LLE算法固有的计算复杂度较高，不适合高清图像的处理，本发明还可以针对以上问题做如下改进:
[0030]在步骤(1)之前首先进行图像下采样，获得分辨率较低的图像。然后利用步骤(2 )和步骤(3)的方法对低分辨率的图像进行色彩风格变换。将变化后的结果进行上采样，同时结合步骤S4对上采样的图像进行空间的修正，从而将重构后的图像作为最终的输出图像。
[0031]优选的，所述步骤(2)的局部重建权值矩阵W是通过每个彩色点的近邻对其重建所获得的重建系数共同组合而成的，满足:
[0032]
【权利要求】
1.一种基于流型转换的图像色彩风格变换方法，其特征在于，包括以下步骤: 51.预处理:对输入图像和参考图像进行预处理，通过用户交互式图像区域分割方法获得两幅图像对应的语义区域； 52.语义区域色彩聚类:对输入图像和参考图像不同的语义区域分别进行色彩聚类，在输入图像和参考图像间建立起区域对应的图像主色集合； 53.色彩变换:利用带有约束的流型学习算法实现输入图像在色彩空间的颜色转变，其中约束条件是建立在输入图像与参考图像对应语义区域的主色上； 54.输出图像:利用输入图像的灰度信息，对由步骤S3进行颜色变换以后图像的色彩进行空间平滑和修正，进而将重构后的图像作为最终的输出图像。
2.根据权利要求1所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述步骤SI中所述的用户交互式图像区域分割方法具体为:通过交互式的风格算法将输入图像和参考图像分别分割成若干有对应关系的、语义信息相异的区域，不同的区域对象对应于不同的语义标签。
3.根据权利要求1所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述步骤S2的具体实现方式为:通过提取每个像素点的RGB数值，将其做为颜色空间中的一点，使用聚类算法对颜色空间中的所有点进行自动的类别划分，同时根据色彩点的分布计算其质心，该质心作为具体类别中最有代表性的主色。
4.根据权利要求1或 3所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述步骤S2中的色彩聚类算法是K-means聚类算法、ISOdata聚类算法或谱聚类算法中的任意一种。
5.根据权利要求1所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述步骤S2前还包括将输入图像和参考图像的颜色空间从RGB色彩空间转换到LAB色彩空间。
6.根据权利要求1、2、3或5任一项所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述带有约束的流型学习算法的实现方式为: 将色彩空间的每个彩色点通过其附近的若干个近邻进行线性重构，并记录每个参与重构的近邻所对应的重构系数；将所有点用于重构其自身的重构系数组成重构权重矩阵；利用主色所期望的转换结果作为约束条件，结合重构权重矩阵，共同实现带有约束的流型转换。
7.根据权利要求6所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述带有约束的流型学习算法的具体包括以下步骤: (1)将输入图像的每个像素点转换为LAB色彩空间下彩色点，计算每个彩色点的k个近邻点，把相对于所求彩色点距离最近的k个彩色点规定为所求彩色点的k个近邻点；其中k是一个预先给出的定值； (2)计算出彩色点的局部重建权值矩阵W，通过步骤(1)中k个近邻来对彩色点进行线性重构,每个近邻对应一个重构系数w，每个彩色点的k个近邻点的重构系数之和为I ; (3)利用步骤(2)中的重构矩阵W，将输入图像的所有彩色点在主色对的约束下实现输入图像在色彩空间的颜色转变。
8.根据权利要求7所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述步骤(2)的局部重建权值矩阵W是通过每个彩色点的近邻对其重建所获得的重建系数共同组合而成的，满足:
9.根据权利要求7所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述步骤(3)中输入图像的所有彩色点在主色对的约束下实现输入图像在色彩空间的颜色转变，涉及以下转换内容:
10.根据权利要求1、2、3或5任一项所述的基于流型转换的图像色彩风格变换方法，其特征在于，所述步骤S4所述的对变换以后图像的色彩进行空间平滑和修正，是利用输入图像的灰度图像和色彩转变后的图像作为输入，利用亮度重构算法对色彩转变后的图像进行部分区域的亮度矫正。
【文档编号】G06T5/00GK103617596SQ201310476463
【公开日】2014年3月5日 申请日期:2013年10月12日 优先权日:2013年10月12日
【发明者】林倞, 张瑞茂, 江波 申请人:中山大学