具有重复场景元素的自然图像颜色编辑方法及装置的制造方法
【专利摘要】本发明涉及一种具有重复场景元素的自然图像颜色编辑方法及装置，其中，所述方法包括对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域；提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征空间向量；根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配；通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，以获取颜色编辑结果图像。本发明可提高颜色编辑的速度，且能有效的保持重复场景元素颜色的一致性，实现不同标记的图像子块区域的不同颜色的编辑，获得丰富的颜色编辑结果。
【专利说明】
具有重复场景元素的自然图像颜色编辑方法及装置
技术领域
[0001] 本发明设及图像编辑技术领域，尤其设及一种具有重复场景元素的自然图像颜色 编辑方法及装置。
【背景技术】
[0002] 随着数码相机和数码摄像机的普及W及互联网技术的迅猛发展，人们很容易得到 大量的数字图像和数字视频，进而使得人们对于处理工具的方便快捷性的期望越来越高， W满足对数字图像和视频编辑的需求。因此，数字图像和视频的智能编辑处理的研究已成 为相关领域的研究热点，其中的颜色编辑处理技术近年来倍受研究人员关注。
[0003] 目前，围绕颜色处理技术的功能、性能和用户友好度=个方面，研究者希望能为广 大用户提供具有较强功能、性能优越、使用方便的颜色处理工具，并将其广泛应用于影视特 效、计算机游戏、动画制作、虚拟现实等多个领域中，运将有助于推动我国影视动漫、互动娱 乐等数字内容产业的发展。现有的颜色处理技术主要设及两种类型：用户交互指定颜色的 方式和用户提供实例图像的方式。
[0004] 重复场景元素在自然图像中是普遍存在的，且在外观上具有一定相似性的特点。 在对运类自然图像进行局部或全局的编辑处理中，基于用户交互指定颜色的彩色化方法需 要在待编辑区域内标注部分颜色信息，W获取整幅图像的彩色化效果。而运类方法未考虑 自然图像中具有大量重复场景元素的情况，因而往往需要标注大量的颜色线条:一方面，颜 色编辑过程中无法保持重复场景元素颜色风格的一致及空间上的连续；另一方面，在进行 用户标记的时候需要在区域边缘的地方进行仔细的标记，运使得标记工作耗时耗力。而用 户提供实例图像的方式需要寻找合适的参考图像才能获得令人满意的效果，很大程度上增 加了颜色编辑的难度，限制了图像处理的质量。
【发明内容】
[0005] 针对现有颜色编辑方法无法保持重复场景元素颜色风格的一致及空间上的连续， 标记工作耗时耗力，颜色编辑难度大，图像处理质量差的缺陷，本发明提出如下技术方案：
[0006] -种具有重复场景元素的自然图像颜色编辑方法，包括：
[0007] 对待编辑的自然图像通过超像素分割方法进行图像预处理，W将所述自然图像划 分成预设数量的图像子块区域；
[000引其中，所述自然图像为具有重复场景元素的自然景观图像；
[0009] 提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建 特征空间向量；
[0010] 根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，W根据所 述聚类处理的结果对所述自然图像进行局部颜色分配；
[0011] 通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，W获取颜色编 辑结果图像。
[0012] 可选地，所述对待编辑的自然图像通过超像素分割方法进行图像预处理，W将所 述自然图像划分成预设数量的图像子块区域，包括：
[0013] 针对所述自然图像的不同区域进行预设颜色的线条标记；
[0014] 根据所述线条标记的结果确定标记的所述颜色线条的集合S={si，....，sj，...， sm}；
[0015] 为所述颜色线条集合分配对应的颜色标签值4 = {4,，....与,，...，4"};
[0016] 其中，Sj表示第j个颜色对应的颜色线条，且Sj的取值为所述颜色线条Sj覆盖的像 素点的总数目；M为所述颜色线条的总数目；与为所述颜色线条S苗4应的颜色标签值；
[0017] 采用超像素分割方法将所述自然图像的像素点聚合成超像素，W根据所述聚合的 结果将所述自然图像划分成预设数量的图像子块区域。
[0018] 可选地，所述提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和 纹理特征构建特征空间向量，包括：
[0019] 将所述自然图像中某一像素点P的颜色特征用所述像素点P的邻域内颜色的均值 和标准差表示，W构成颜色特征向量C= [CMean Cvar]T;
[0020] 其中，CMean和Cvar分别为所述像素点P的邻域内R、G和BS个通道的均值和方差；
[0021 ]采用传统的伽柏小波变换Gabor Wavelet Transform方法对所述自然图像进行纹 理特征分析，并确定影响纹理分析的参数窗口大小W、尺度值m和方向值n的取值；
[0022] 逐行扫描所述自然图像，针对W每个像素为中屯、的wXw大小的子块，在多尺度和 多方向上进行纹理特征统计，W获得变换系数；
[0023] 计算每个尺度及方向上所述变换系数的均值和标准差化，其中，i = l，…，m，j =1，...，n;
[0024] 根据所述每个尺度及方向上所述变换系数的均值iiu和标准差确定纹理特征向 量W=[]i〇,0 〇0,0 ]i〇,l ... iVn 〇m,n]T;
[0025] 根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空间向 量F=[C W]。
[0026] 可选地，所述根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处 理，W根据所述聚类处理的结果对所述自然图像进行局部颜色分配，包括：
[0027] 根据所述特征空间向量确定图像子块区域ri和图像子块区域n的外观相似性程度 量D(ri，n)，所述外观相似性程度量的计算公式为：
[0028]
(公戎一);；
[0029] 其中，Fm、Fn分别为图像子块区域ri和图像子块区域rj中像素点的颜色特征向量;M 和N分别为图像子块区域ri和n中的总像素数；
[0030] 采用加权的模糊C均值方法进行图像子块区域的聚类，W将相似的图像子块区域 标记为相同的类别标签；
[0031] 所沐橫糊C挽估中误差巧数的计算公式为：
[003。
（公式二）；
[0033] 其中；
[0034]
[0035] (公式四);
[0036] 是第i个图像子块区域对应于第j类颜色线条的隶属度函数，且令一个图像 子块区域到各类颜色线条的隶属度之和为l;D(ri，Sj)为图像子块区域ri和第j类颜色线条 的相似性程度，所述D(ri，Sj )由公式一计算得到;b取值为2;
[0037] 采用就近取整法将所述聚类的结果进行去模糊化，W获取所述图像子块区域的分 类标记结果；
[0038] 根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，W根据所 述置信度值的确定结果进行局部颜色分配；
[0039] 所沐阁像子块区城r 4中像素占 D的置信度conf (P，ri)的计算公式为：
[0040]
(会戎五)；
[0041] 其中，Mp为该像素点P所在区域ri对应的颜色线条中的最佳匹配像素点;D(p，Mp)为 像素点P与像素点Mp距离，所述D(p，Mp)由公式一计算得到。
[0042] 可选地，所述通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递， 包括：
[0043] 通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行全局 优化，所述能量函数的计算公式为：
[0044] (公式六）;
[0045]
[0046] (後戴毛）；
[0047] N(P)为像素点P的邻域，q为邻域N(P)中的像素点;C(P)为P点的颜色值，分别为U通 道或V通道的值;Wpq为权值系数，表示当像素点P和q在Y通道的值越相近时，其值越大，反之， 其值越小;Up和Op分别为P邻域内亮度的平均值和方差;Y(P)和Y(q)分别为像素点P和q在Y通 道的值。
[004引一种具有重复场景元素的自然图像颜色编辑装置，包括：
[0049] 图像预处理单元，用于对待编辑的自然图像通过超像素分割方法进行图像预处 理，W将所述自然图像划分成预设数量的图像子块区域；
[0050] 其中，所述自然图像为具有重复场景元素的自然景观图像；
[0051] 特征空间向量构建单元，用于提取所述自然图像的颜色特征和纹理特征，并根据 所述颜色特征和纹理特征构建特征空间向量；
[0052] 局部颜色分配单元，用于根据所述特征空间向量对所述预设数量的图像子块区域 进行聚类处理，W根据所述聚类处理的结果对所述自然图像进行局部颜色分配；
[0053] 编辑结果图像获取单元，用于通过全局优化算法对经过局部颜色分配的自然图像 进行颜色传递，W获取颜色编辑结果图像。
[0054] 可选地，所述图像预处理单元，进一步用于：
[0055] 针对所述自然图像的不同区域进行预设颜色的线条标记；
[0056] 根据所述线条标记的结果确定标记的所述颜色线条的集合S= {si,--,Sj,..., sm}；
[0化7]为所述颜色线条集合分配对应的颜色标签值^ = {a,，...，A,，…，i,；| ；
[005引其中，Sj表示第j个颜色对应的颜色线条，且Sj的取值为所述颜色线条Sj覆盖的像 素点的总数目；M为所述颜色线条的总数目；A,为所述颜色线条S乃4应的颜色标签值；
[0059] 采用超像素分割方法将所述自然图像的像素点聚合成超像素，W根据所述聚合的 结果将所述自然图像划分成预设数量的图像子块区域。
[0060] 可选地，所述特征空间向量构建单元，进一步用于：
[0061] 将所述自然图像中某一像素点P的颜色特征用所述像素点P的邻域内颜色的均值 和标准差表示，W构成颜色特征向量C= [CMean Cvar]T;
[00创其中，CMean和Cvar分别为所述像素点P的邻域内R、G和8;个通道的均值和方差；
[0063] 采用传统的伽柏小波变换Gabor Wavelet Transform方法对所述自然图像进行纹 理特征分析，并确定影响纹理分析的参数窗口大小W、尺度值m和方向值n的取值；
[0064] 逐行扫描所述自然图像，针对W每个像素为中屯、的wXw大小的子块，在多尺度和 多方向上进行纹理特征统计，W获得变换系数；
[0065] 计算每个尺度及方向上所述变换系数的均值化j和标准差〇ij，其中，i = l，…，m，j =1，...，n;
[0066] 根据所述每个尺度及方向上所述变换系数的均值iiu和标准差确定纹理特征向 里W二[叫，0 00,0 ii0,l . . . iim,n 0m,n]；
[0067] 根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空间向 量F=[C W]。
[0068] 可选地，所述局部颜色分配单元，进一步用于：
[0069] 根据所述特征空间向量确定图像子块区域ri和图像子块区域n的外观相似性程度 量Dbi ,rj)，所述外观相似性程度量的计算公式为：
[0070]
(公或'一):；
[0071] 其中，Fm、Fn分别为图像子块区域ri和图像子块区域rj中像素点的颜色特征向量;M 和N分别为图像子块区域ri和n中的总像素数；
[0072] 采用加权的模糊C均值方法进行图像子块区域的聚类，W将相似的图像子块区域 标记为相同的类别标签；
[0073] 所述模糊C均值中误差函数的计算公式为：
[0074]
(么式二）;
[0075] 其中；
[0076]
[0077]
[0078] 是第i个图像子块区域对应于第j类颜色线条的隶属度函数，且令一个图像 子块区域到各类颜色线条的隶属度之和为l;D(ri，Sj)为图像子块区域ri和第j类颜色线条 的相似性程度，所述D(ri，Sj )由公式一计算得到;b取值为2;
[0079] 采用就近取整法将所述聚类的结果进行去模糊化，W获取所述图像子块区域的分 类标记结果；
[0080] 根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，W根据所 述置信度值的确定结果进行局部颜色分配；
[0081] 所述图像子块区域ri中像素点P的置信度conf(p，r〇的计算公式为：
[0082]
(公式五）；
[0083] 其中，Mp为该像素点P所在区域ri对应的颜色线条中的最佳匹配像素点;D(p，Mp)为 像素点P与像素点Mp距离，所述D(p，Mp)由公式一计算得到。
[0084] 可选地，所述编辑结果图像获取单元，进一步用于：
[0085] 通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行全局
1? ^女台仁县歲米^齡^本咎/入才屯*
[0086] (公式六）；
[0087]
[00则 （会式韦）；
[0089] N(P)为像素点P的邻域，q为邻域N(P)中的像素点;C(P)为P点的颜色值，分别为U通 道或V通道的值;Wpq为权值系数，表示当像素点P和q在Y通道的值越相近时，其值越大，反之， 其值越小;Up和Op分别为P邻域内亮度的平均值和方差;Y(P)和Y(q)分别为像素点P和q在Y通 道的值。
[0090] 本发明的具有重复场景元素的自然图像颜色编辑方法及装置，通过利用超像素分 割方法将自然图像划分成图像子块区域，能够使用图像子块区域代替像素点进行颜色编 辑，极大地提高了颜色编辑的速度;并且，在提供少量用户交互的情况下，根据重复场景元 素之间具有的外观相似特性，通过定义鲁棒的外观相似性度量机制，能够精确地聚类图像 子块区域，不仅能够在颜色编辑结果中有效的保持重复场景元素颜色的一致性，而且能够 实现不同标记的图像子块区域的不同颜色的编辑，从而获得丰富的颜色编辑结果。
【附图说明】
[0091] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可W根据 运些附图获得其他的附图。
[0092] 图1为本发明一个实施例的具有重复场景元素的自然图像颜色编辑方法的流程 图；
[0093] 图2为本发明一个实施例的具有重复场景元素的自然图像颜色编辑装置的结构示 意图；
[0094] 图3为本发明一个实施例的具有重复场景元素的自然图像颜色编辑方法原理框架 图；
[00%]图4为本发明一个实施例的具有重复场景元素的自然图像；
[0096] 图5为本发明一个实施例的颜色线条标记结果示意图；
[0097] 图6为本发明一个实施例的图像预处理结果示意图；
[0098] 图7为本发明一个实施例的图像子块区域聚类结果示意图；
[0099] 图8为本发明一个实施例的图像子块区域颜色分配结果；
[0100] 图9为本发明一个实施例的具有重复场景元素的自然图像的局部颜色编辑结果；
[0101] 图10为本发明一个实施例的具有重复场景元素的自然图像的全局颜色编辑结果。
【具体实施方式】
[0102] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明 一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有 做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0103] 图1为本发明一个实施例的具有重复场景元素的自然图像颜色编辑方法的流程 图；如图1所示，该方法包括：
[0104] SI:对待编辑的自然图像通过超像素分割方法进行图像预处理，W将所述自然图 像划分成预设数量的图像子块区域；
[0105] 其中，所述自然图像为具有重复场景元素的自然景观图像；
[0106] S2:提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征 构建特征空间向量；
[0107] S3:根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，W根 据所述聚类处理的结果对所述自然图像进行局部颜色分配；
[0108] S4:通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，W获取颜 色编辑结果图像。
[0109] 本实施例的具有重复场景元素的自然图像颜色编辑方法，通过利用超像素分割方 法将自然图像划分成图像子块区域，能够使用图像子块区域代替像素点进行颜色编辑，极 大地提高了颜色编辑的速度;并且，在提供少量用户交互的情况下，根据重复场景元素之间 具有的外观相似特性，通过定义鲁棒的外观相似性度量机制，能够精确地聚类图像子块区 域，不仅能够在颜色编辑结果中有效的保持重复场景元素颜色的一致性，而且能够实现不 同标记的图像子块区域的不同颜色的编辑，从而获得丰富的颜色编辑结果。
[0110] 作为本实施例的优选，步骤Sl中对待编辑的自然图像通过超像素分割方法进行图 像预处理，W将所述自然图像划分成预设数量的图像子块区域，可进一步包括：
[0111] Sl 1:针对所述自然图像的不同区域进行预设颜色的线条标记；
[0112] S12:根据所述线条标记的结果确定标记的所述颜色线条的集合S= ki，....， Sj,? ? ? ,sm};
[0113] S13:为所述颜色线条集合分配对应的颜色标签值= {4,….，与,，...，4,,};
[0114] 其中，Sj表示第j个颜色对应的颜色线条，且Sj的取值为所述颜色线条Sj覆盖的像 素点的总数目；M为所述颜色线条的总数目；鸣为所述颜色线条S乃4应的颜色标签值；
[0115] S14:采用超像素分割方法将所述自然图像的像素点聚合成超像素，W根据所述聚 合的结果将所述自然图像划分成预设数量的图像子块区域。
[0116] 作为本实施例的优选，步骤S2中提取所述自然图像的颜色特征和纹理特征，并根 据所述颜色特征和纹理特征构建特征空间向量，可进一步包括：
[0117] S21:将所述自然图像中某一像素点P的颜色特征用所述像素点P的邻域内颜色的 均值和标准差表示，W构成颜色特征向量C= [CMean Cvar]T;
[01 1 8]其中，CMean和Cvar分别为所述像素点P的邻域内R、G和BS个通道的均值和方差； [0119] S22:采用传统的伽柏小波变换Gabor Wavelet Transform方法对所述自然图像进 行纹理特征分析，并确定影响纹理分析的参数窗口大小W、尺度值m和方向值n的取值；
[0120] S23:逐行扫描所述自然图像，针对W每个像素为中屯、的wXw大小的子块，在多尺 度和多方向上进行纹理特征统计，W获得变换系数；
[0121] S24:计算每个尺度及方向上所述变换系数的均值化神日标准差OU，其中，i = l，…， m，j = l，...，n;
[0122] S25:根据所述每个尺度及方向上所述变换系数的均值iiu和标准差〇。确定纹理特 化向里胖二山0,0 〇0,0 ii〇,l . . . iim,n 〇m,n];
[0123] S26:根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空 间向量F=[C W]。
[0124] 作为本实施例的优选，步骤S3中根据所述特征空间向量对所述预设数量的图像子 块区域进行聚类处理，W根据所述聚类处理的结果对所述自然图像进行局部颜色分配，可 进一步包括：
[0125] S31:根据所述特征空间向量确定图像子块区域ri和图像子块区域n的外观相似性 程度量D(ri，n)，所述外观相似性程度量的计算公式为：
[0126]
(公式一)；
[0127] 其中，Fm、Fn分别为图像子块区域ri和图像子块区域r冲像素点的颜色特征向量;M 和N分别为图像子块区域ri和n中的总像素数；
[0128] S32:采用加权的模糊C均值方法进行图像子块区域的聚类，W将相似的图像子块 区域标记为相同的类别标签；
[0129] 所述模糊C均值中误差函数的计算公式为：
[0130] 'sT-），
[0131]
[0132] 「 I (公式四）:
[0133]
[0134] 托,）是第i个图像子块区域对应于第j类颜色线条的隶属度函数，且令一个图像 子块区域到各类颜色线条的隶属度之和为l;D(ri，Sj)为图像子块区域ri和第j类颜色线条 的相似性程度，所述D(ri，Sj )由公式一计算得到;b取值为2;
[0135] S33:采用就近取整法将所述聚类的结果进行去模糊化，W获取所述图像子块区域 的分类标记结果；
[0136] S34:根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，W根 据所述置信度值的确定结果进行局部颜色分配；
[0137] 所述图像子块区域ri中像素点P的置信度conf(p，r〇的计算公式为：
[013引
（公式五）；
[0139] 其中，Mp为该像素点P所在区域ri对应的颜色线条中的最佳匹配像素点;D(p，Mp)为 像素点P与像素点Mp距离，所述D(p，Mp)由公式一计算得到。
[0140] 作为本实施例的优选，步骤S4中通过全局优化算法对经过局部颜色分配的自然图 像进行颜色传递，可进一步包括：
[0141 ] S41:通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行 全局优化，所述能量函数的计算公式为：
[0142] (公式六）；
[0143]
[0144] (後式屯）；
[0145] WP j刃像奈巧P W邻蝴，q刃邻蝴WP j中的像素点；C(P)为P点的颜色值，分别为U通 道或V通道的值;Wpq为权值系数，表示当像素点P和q在Y通道的值越相近时，其值越大，反之， 其值越小;Up和Op分别为P邻域内亮度的平均值和方差;Y(P)和Y(q)分别为像素点P和q在Y通 道的值。
[0146] 图2为本发明一个实施例的具有重复场景元素的自然图像颜色编辑装置的结构示 意图；如图2所示，该装置包括：
[0147] 图像预处理单元10,用于对待编辑的自然图像通过超像素分割方法进行图像预处 理，W将所述自然图像划分成预设数量的图像子块区域；
[0148] 其中，所述自然图像为具有重复场景元素的自然景观图像；
[0149] 特征空间向量构建单元20,用于提取所述自然图像的颜色特征和纹理特征，并根 据所述颜色特征和纹理特征构建特征空间向量；
[0150] 局部颜色分配单元30,用于根据所述特征空间向量对所述预设数量的图像子块区 域进行聚类处理，W根据所述聚类处理的结果对所述自然图像进行局部颜色分配；
[0151] 编辑结果图像获取单元40,用于通过全局优化算法对经过局部颜色分配的自然图 像进行颜色传递，W获取颜色编辑结果图像。
[0152] 本实施例所述的装置可W用于执行上述方法实施例，其原理和技术效果类似，此 处不再寶述。
[0153] 作为本实施例的优选，图像预处理单元10可进一步用于：
[0154] 针对所述自然图像的不同区域进行预设颜色的线条标记；
[0155] 根据所述线条标记的结果确定标记的所述颜色线条的集合S= {si,--,Sj,..., sm}；
[0156] 为所述颜色线条集合分配对应的颜色标签值;
[0157] 其中，Sj表示第j个颜色对应的颜色线条，且Sj的取值为所述颜色线条Sj覆盖的像 素点的总数目；M为所述颜色线条的总数目；4,为所述颜色线条S乃4应的颜色标签值；
[0158] 采用超像素分割方法将所述自然图像的像素点聚合成超像素，W根据所述聚合的 结果将所述自然图像划分成预设数量的图像子块区域。
[0159] 作为本实施例的优选，特征空间向量构建单元20可进一步用于：
[0160] 将所述自然图像中某一像素点P的颜色特征用所述像素点P的邻域内颜色的均值 和标准差表示，W构成颜色特征向量C= [CMean Cvar]T;
[0161] 其中，CMean和Cvar分别为所述像素点P的邻域内R、G和8;个通道的均值和方差；
[0162] 采用传统的伽柏小波变换Gabor Wavelet Transform方法对所述自然图像进行纹 理特征分析，并确定影响纹理分析的参数窗口大小W、尺度值m和方向值n的取值；
[0163] 逐行扫描所述自然图像，针对W每个像素为中屯、的wXw大小的子块，在多尺度和 多方向上进行纹理特征统计，W获得变换系数；
[0164] 计算每个尺度及方向上所述变换系数的均值化神日标准差〇。，其中，i = l，…，m，j =1，...，n;
[0165] 根据所述每个尺度及方向上所述变换系数的均值iiu和标准差确定纹理特征向 里W二[叫，0 00,0 ii0,l . . . iim,n 0m,n]；
[0166] 根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空间向 量F=[C W]。
[0167] 作为本实施例的优选，局部颜色分配单元30可进一步用于：
[0168] 根据所述特征空间向量确定图像子块区域ri和图像子块区域n的外观相似性程度 量Dbi ,rj)，所述外观相似性程度量的计算公式为：
[0169]
(公式一)；
[0170] 其中，Fm、Fn分别为图像子块区域ri和图像子块区域rj中像素点的颜色特征向量;M 和N分别为图像子块区域ri和n中的总像素数；
[0171] 采用加权的模糊C均值方法进行图像子块区域的聚类，W将相似的图像子块区域 标记为相同的类别标签；
[0172] 所述模糊C均值中误差函数的计算公式为：
[017引 或二
[0174]
[0175]
[0176] (娜)；
[0177] <</(4,)是第i个图像子块区域对应于第j类颜色线条的隶属度函数，且令一个图像 子块区域到各类颜色线条的隶属度之和为l;D(ri，Sj)为图像子块区域ri和第j类颜色线条 的相似性程度，所述D(ri，Sj )由公式一计算得到;b取值为2;
[0178] 采用就近取整法将所述聚类的结果进行去模糊化，W获取所述图像子块区域的分 类标记结果；
[0179] 根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，W根据所 述置信度值的确定结果进行局部颜色分配；
[0180] 所述图像子块区域ri中像素点P的置信度conf(p，r〇的计算公式为：
[0181]
(公式五）；
[0182] 其中，Mp为该像素点P所在区域ri对应的颜色线条中的最佳匹配像素点;D(p，Mp)为 像素点P与像素点Mp距离，所述D(p，Mp)由公式一计算得到。
[0183] 作为本实施例的优选，编辑结果图像获取单元40可进一步用于：
[0184] 通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行全局 优化，所述能量函数的计算公式为：
[0185] (.签戎巧）；
[0186]
[0187] (公或屯）；
[0188] N(P)为像素点P的邻域，q为邻域N(P)中的像素点;C(P)为P点的颜色值，分别为U通 道或V通道的值;Wpq为权值系数，表示当像素点P和q在Y通道的值越相近时，其值越大，反之， 其值越小;Up和Op分别为P邻域内亮度的平均值和方差;Y(P)和Y(q)分别为像素点P和q在Y通 道的值。
[0189] 本实施例所述的装置可W用于执行上述方法实施例，其原理和技术效果类似，此 处不再寶述。
[0190] 下面W-具体的实施例来说明本发明，但不限定本发明的保护范围。图3为本发明 一个实施例的具有重复场景元素的自然图像颜色编辑方法原理框架图；如图3所示，本实施 例的具有重复场景元素的复杂自然图像颜色编辑方法的详细步骤如下：
[0191] 步骤一：图像的预处理
[0192] 首先，用户仅需要对复杂自然图像(参见图4)的不同区域进行少量的且粗略的颜 色线条标记;对自然图像进行颜色线条标记后，运些标记的颜色线条的总和用S表示，贝化= {Sl，....，Sj，...，Sm}，其中Sj表示某一颜色线条覆盖的像素点的总数目；同时，为不同颜色 线条分配对应的颜色标签值，表示为4 ，…，4。}，其中4,为颜色线条Sj对应的颜色 标签值，M为线条标记的总数目；在进行图像颜色线条标记后，图像预处理阶段还采用超像 素分割方法将像素点聚合成超像素，W将图像划分成一定数量的图像子块区域;颜色线条 标记结果和图像的预分割结果分别如图5、图6所示。
[0193] 步骤二:特征空间的构建
[0194] 首先，将图像中某一像素点P的颜色特征用其邻域内颜色的均值和标准差表示，W 构成颜色特征向量C= [CMean Cvar]T，其中，CMean和Cvar分别为其邻域内1?、6和6;个通道的均 值和方差；
[01巧]然后，采用传统的伽柏小波变换(Gabor Wavelet化ansform)对样本纹理图像中 的纹理特征进行分析，在对给定的复杂自然图像进行纹理特征分析时，确定影响纹理分析 的=个参数的取值，包括窗口大小W、尺度值m和方向值n的设置；
[0196]逐行扫描复杂自然图像，对W每一个像素点为中屯、的wXw大小的子块，需要先在 多尺度和多方向上进行纹理特征统计，W获得Gabor变换系数；
[0197]其次，计算每个尺度及方向上变换系数的均值化和标准差化。=1:111〇 = 1:]1);
[0198] 然后，获得每个像素对应的纹理特征T，即由运运些均值和标准差组成的特征向量 T=[ii0,0 00,0 ii0,l . . . iim,n 0m,n]；
[0199] 最后，复杂自然图像的特征空间是由图像中各像素点的颜色特征和纹理特征构成 的特征向量F= [C T]。
[0200] 步骤基于局部特征相似的颜色分配
[0201] 首先，根据已构建的特征空间，图像子块区域ri和图像子块区域n的外观相似性度 量Dbi ,rj)定义如下：
[020^
( 1')
[0203] 其中，Fm、Fn分别为图像子块区域ri和图像子块区域rj中像素点的颜色特征向量;M 和N分布为图像子块区域ri和n中的总像素数。
[0204] 然后，采用加权的模糊C均值方法进行图像子块区域的聚类，其目的是为了将相似 的图像子块区域标记相同的类别标签，便于进行局部的相似颜色分配。模糊C均值中误差函 数定义如下：
[020引 C 2 )
[0206] ( 3 ) (4)
[0207]
[0208] 其中，)是第i个图像子块区域对应与第j类颜色线条的隶属度函数，且要求 一个图像子块区域到各类颜色线条的隶属度之和为l;D(ri，Sj)为图像子块区域ri和第j类 颜色线条的相似性度，可由公式（1)计算求得到;b通常取值为2左右;采用就近取整法将模 糊聚类结果进行去模糊化，具有相似特征的图像子块区域能够准确地进行聚类，从而能够 自动地获得图像子块区域分类标记的结果。
[0209] 最后，根据图像子块聚类结果，通过计算图像子块区域中各像素点的置信度值，实 现具有较高置信度像素点的局部颜色分配。图像子块区域ri中像素点P的置信度conf(p，ri) 定义如了-
[0210] (5)
[0211]其中，Mp为该像素点P所在区域r拥应的颜色线条中的最佳匹配像素点，D(p，Mp)为 像素点P与像素点Mp距离，由公式（1)计算得到。采用运种局部颜色分配机制，能够对具有较 高置信度值的像素点进行颜色信息分配。图像子块区域聚类结果和颜色分配结果分别如图 7、图8所示。
[0212] 步骤四：基于全局优化的颜色传递
[0213] 在对自然图像的局部区域分配颜色信息之后，为了对整幅自然图像进行颜色编辑 处理，采用全局优化算法进行颜色传递。全局优化通过最小化YUV颜色空间上的能量函数实 现，能量巧逍女化下：
[0214] (6)
[0215] (7)
[0216] 其中，N(P)为像素点P的邻域，q为邻域N( P)中的像素点;C (P)为P点的颜色值，分别 为U通道或V通道的值。Wpq为权值系数，表示当像素点P和q在Y通道的值越相近时，其值越大； 反之，其值越小。叫和Op分别为P邻域内亮度的平均值和方差;Y(P)和Y(q)分别为像素点P和q 在Y通道的值，局部颜色编辑结果和全局颜色编辑结果分别如图9、图10所示。
[0217] 与现有技术相比，本发明提出的技术方案中通过利用超像素分割方法将图像首先 划分成一定数量的图像子块区域，此时能够使用图像子块区域代替像素点进行颜色编辑， 运极大地提高了颜色编辑的速度。
[0218] 在提供少量用户交互的情况下，根据重复场景元素之间具有的外观相似特性，通 过定义鲁棒的外观相似性度量机制，能够精确地聚类图像子块区域，运不仅能够在颜色编 辑结果中有效的保持重复场景元素颜色的一致性，而且能够实现不同标记的图像子块区域 的不同颜色的编辑，从而获得丰富的颜色编辑结果。
[0219] W上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例 对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可W对前述各实施 例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换;而运些修改或替 换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【主权项】
1. 一种具有重复场景元素的自然图像颜色编辑方法，其特征在于，包括： 对待编辑的自然图像通过超像素分割方法进行图像预处理，以将所述自然图像划分成 预设数量的图像子块区域； 其中，所述自然图像为具有重复场景元素的自然景观图像； 提取所述自然图像的颜色特征和纹理特征，并根据所述颜色特征和纹理特征构建特征 空间向量； 根据所述特征空间向量对所述预设数量的图像子块区域进行聚类处理，以根据所述聚 类处理的结果对所述自然图像进行局部颜色分配； 通过全局优化算法对经过局部颜色分配的自然图像进行颜色传递，以获取颜色编辑结 果图像。2. 根据权利要求1所述的方法，其特征在于，所述对待编辑的自然图像通过超像素分割 方法进行图像预处理，以将所述自然图像划分成预设数量的图像子块区域，包括： 针对所述自然图像的不同区域进行预设颜色的线条标记； 根据所述线条标记的结果确定标记的所述颜色线条的集合S= {S1，....，，...，sM}; 为所述颜色线条集合分配对应的颜色标签值= ; 其中，表示第j个颜色对应的颜色线条，且的取值为所述颜色线条覆盖的像素点 的总数目；Μ为所述颜色线条的总数目；'为所述颜色线条&对应的颜色标签值； 采用超像素分割方法将所述自然图像的像素点聚合成超像素，以根据所述聚合的结果 将所述自然图像划分成预设数量的图像子块区域。3. 根据权利要求1所述的方法，其特征在于，所述提取所述自然图像的颜色特征和纹理 特征，并根据所述颜色特征和纹理特征构建特征空间向量，包括： 将所述自然图像中某一像素点Ρ的颜色特征用所述像素点Ρ的邻域内颜色的均值和标 准差表示，以构成颜色特征向量C = [ Cm_ Cvar ]Τ ; 其中，Cm_和Cvar分别为所述像素点Ρ的邻域内R、G和Β三个通道的均值和方差； 采用传统的伽柏小波变换Gabor Wave 1 et Transform方法对所述自然图像进行纹理特 征分析，并确定影响纹理分析的参数窗口大小w、尺度值m和方向值η的取值； 逐行扫描所述自然图像，针对以每个像素为中心的wXw大小的子块，在多尺度和多方 向上进行纹理特征统计，以获得变换系数； 计算每个尺度及方向上所述变换系数的均值和标准差〇ij，其中，i = 1，…，m，j = 1，…，n; 根据所述每个尺度及方向上所述变换系数的均值和标准差〇^确定纹理特征向量 [U〇,0 〇0,0 U〇，l · · · Um，n 〇m，n]; 根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空间向量F = [C ff]o4. 根据权利要求1所述的方法，其特征在于，所述根据所述特征空间向量对所述预设数 量的图像子块区域进行聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜 色分配，包括： 根据所述特征空间向量确定图像子块区域rdP图像子块区域^的外观相似性程度量D (η，η)，所述外观相似性程度量的计算公式为：其中，Fm、Fn分别为图像子块区域rdP图像子块区域^中像素点的颜色特征向量;Μ和Ν分 别为图像子块区域rdPn中的总像素数； 采用加权的模糊C均值方法进行图像子块区域的聚类，以将相似的图像子块区域标记 为相同的类别标签； 所述模糊C均值中误差函数的计算公式为：?,(&)是第i个图像子块区域对应于第j类颜色线条的隶属度函数，且令一个图像子块 区域到各类颜色线条的隶属度之和为l;D(ri，Sj)为图像子块区域^和第j类颜色线条的相 似性程度，所述D( ri，s」）由公式一计算得到;b取值为2; 采用就近取整法将所述聚类的结果进行去模糊化，以获取所述图像子块区域的分类标 记结果； 根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，以根据所述置 信度值的确定结果进行局部颜色分配； 所述图像子块区域r冲像素点p的置信度conf(p，ri)的计算公式为：其中，MP为该像素点p所在区域^对应的颜色线条中的最佳匹配像素点;D(p，MP)为像素 点P与像素点仏距离，所述D(p，MP)由公式一计算得到。5.根据权利要求1所述的方法，其特征在于，所述通过全局优化算法对经过局部颜色分 配的自然图像进行颜色传递，包括： 通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行全局优 化，所述能量函数的计算公式为： 其中：N( p)为像素点p的邻域，q为邻域N (p)中的像素点;C (p)为p点的颜色值，分别为U通道或 V通道的值;Wpq为权值系数，表示当像素点P和q在Y通道的值越相近时，其值越大，反之，其值 越小;UP和σρ分别为ρ邻域内亮度的平均值和方差;Υ(ρ)和Y(q)分别为像素点ρ和q在Υ通道的 值。 6 . -种具有重复场景元素的自然图像颜色编辑装置，其特征在于，包括： 图像预处理单元，用于对待编辑的自然图像通过超像素分割方法进行图像预处理，以 将所述自然图像划分成预设数量的图像子块区域； 其中，所述自然图像为具有重复场景元素的自然景观图像； 特征空间向量构建单元，用于提取所述自然图像的颜色特征和纹理特征，并根据所述 颜色特征和纹理特征构建特征空间向量； 局部颜色分配单元，用于根据所述特征空间向量对所述预设数量的图像子块区域进行 聚类处理，以根据所述聚类处理的结果对所述自然图像进行局部颜色分配； 编辑结果图像获取单元，用于通过全局优化算法对经过局部颜色分配的自然图像进行 颜色传递，以获取颜色编辑结果图像。7. 根据权利要求6所述的装置，其特征在于，所述图像预处理单元，进一步用于： 针对所述自然图像的不同区域进行预设颜色的线条标记； 根据所述线条标记的结果确定标记的所述颜色线条的集合S= {S1，....，，...，sm}; 为所述颜色线条集合分配对应的颜色标签值Λ 4^.，為 其中，^表示第j个颜色对应的颜色线条，且~的取值为所述颜色线条~覆盖的像素点 的总数目；Μ为所述颜色线条的总数目；气为所述颜色线条~对应的颜色标签值； 采用超像素分割方法将所述自然图像的像素点聚合成超像素，以根据所述聚合的结果 将所述自然图像划分成预设数量的图像子块区域。8. 根据权利要求6所述的装置，其特征在于，所述特征空间向量构建单元，进一步用于： 将所述自然图像中某一像素点Ρ的颜色特征用所述像素点Ρ的邻域内颜色的均值和标 准差表示，以构成颜色特征向量C = [ Cm_ Cvar ]Τ ; 其中，Cm_和Cvar分别为所述像素点Ρ的邻域内R、G和Β三个通道的均值和方差； 采用传统的伽柏小波变换Gabor Wave 1 et Transform方法对所述自然图像进行纹理特 征分析，并确定影响纹理分析的参数窗口大小w、尺度值m和方向值η的取值； 逐行扫描所述自然图像，针对以每个像素为中心的wXw大小的子块，在多尺度和多方 向上进行纹理特征统计，以获得变换系数； 计算每个尺度及方向上所述变换系数的均值和标准差〇ij，其中，i = 1，…，m，j = 1，…，n; 根据所述每个尺度及方向上所述变换系数的均值和标准差〇^确定纹理特征向量 [U〇,0 〇0,0 U〇，l · · · Um，n 〇m，n]; 根据所述颜色特征向量C和所述纹理特征向量W确定所述自然图像的特征空间向量F = [C ff]o9. 根据权利要求6所述的装置，其特征在于，所述局部颜色分配单元，进一步用于： 根据所述特征空间向量确定图像子块区域rdP图像子块区域^的外观相似性程度量D (^，〇)，所述外观相似性程度量的计算公式为：(公式一）； 其中，Fm、Fn分别为图像子块区域rdP图像子块区域^中像素点的颜色特征向量;Μ和N分 别为图像子块区域rdPn中的总像素数； 采用加权的模糊C均值方法进行图像子块区域的聚类，以将相似的图像子块区域标记 为相同的类别标签； 所述模糊C均值中误差函数的计算公式为： K-1?,·(&)是第i个图像子块区域对应于第j类颜色线条的隶属度函数，且令一个图像子块 区域到各类颜色线条的隶属度之和为l;D(ri，Sj)为图像子块区域^和第j类颜色线条的相 似性程度，所述D( ri，s」）由公式一计算得到;b取值为2; 采用就近取整法将所述聚类的结果进行去模糊化，以获取所述图像子块区域的分类标 记结果； 根据所述分类标记结果确定所述图像子块区域中各像素点的置信度值，以根据所述置 信度值的确定结果进行局部颜色分配； 所述图像子块区域r冲像素点p的置信度conf(p，ri)的计算公式为：其中，MP为该像素点p所在区域^对应的颜色线条中的最佳匹配像素点;D(p，MP)为像素 点P与像素点仏距离，所述D(p，MP)由公式一计算得到。10.根据权利要求6所述的装置，其特征在于，所述编辑结果图像获取单元，进一步用 于： 通过最小化YUV颜色空间上的能量函数对经过局部颜色分配的自然图像进行全局优 化，所述能量函数的计算公式为： 其中：N( p)为像素点p的邻域，q为邻域N (p)中的像素点;C (p)为p点的颜色值，分别为U通道或 V通道的值;wPq为权值系数，表示当像素点p和q在Y通道的值越相近时，其值越大，反之，其值 越小;Up和σρ分别为p邻域内亮度的平均值和方差;γ(ρ)和Y(q)分别为像素点p和q在γ通道的 值。
【文档编号】G06T11/60GK105957124SQ201610248743
【公开日】2016年9月21日
【申请日】2016年4月20日
【发明人】张建明, 桂彦, 何豪杰, 李峰
【申请人】长沙理工大学