一种图像编辑传播方法
【技术领域】
[0001] 本发明涉及数字图像处理领域，特别涉及一种基于零范数梯度最小化的图像编辑 传播方法与系统。
【背景技术】
[0002] 随着数字计算摄像学的成熟，研究人员深入挖掘数字图像和视频的高级别编辑技 术以满足日益增长的需求。基于传播的图像编辑领域框架中，用户指定不同类别的编辑区 域，这些区域通过特定的传播方法自动传播到特征空间中相邻的区域。根据传播后的结果， 可以修改图像的颜色、结构、色度等相关信息。
[0003] 传统的图像编辑传播方法包括人工选取法和基于优化的传播法。在图像处理过程 中，用户指定感兴趣区域(R0I)并生成蒙版，对不同蒙版进行操作。这种方法不仅需要对图 像边缘处进行细致繁琐的处理，而且在对蒙版进行操作时边界相邻区域过渡不够自然。而 基于优化的方法主要包含局部优化法和全局优化法。局部优化的方法需要用户在所有的区 域指定编辑区，以传播到不相邻的区域中去，需要密集的用户输入。全局传播的方法中，用 户可以仅仅指定少量的编辑区来传播到整个特征空间。但在全局优化过程中，对于到若干 种指定编辑特征空间距离类似的位置，会出现混合模糊问题。并且，这两种传统方法的外观 特征空间仅仅由单一的像素外观值特征作为传播判据，信息量少;优化需要一定的运算时 间，不能实时得到需要的结果。
【发明内容】
[0004] 本发明的目的在于提供一种图像编辑传播方法与系统，可以将用户指定的编辑有 效自然的传播到整幅图像之中。
[0005] 为此，本发明提出一种图像编辑传播方法，其特征在于包括下列步骤：
[0006] S1、获取原始图像及用户编辑组成的笔触图像；
[0007] S 2、估计图像的相似矩阵，即图像中任意两点对应的向量，取
[0008] 其中，i与j为矩阵任意两列的序号，m代表矩阵列数，V表示矩阵某列元素；
[0009] S3、设置优化问题目标函数，使得图像传播过程中，编辑满足两个条件，一方面传 播后编辑对于相似的像素点约束其具有相似的传播结果，另一方面最终得到的编辑需要有 合适的梯度数，即零范数梯度项；
[0010] S4、通过迭代的方法求解所述得到最终编辑结果。
[0011]本发明的优点在于将零范数梯度最小化与编辑传播结合起来，可以将用户指定的 编辑有效自然的传播到整幅图像之中，约束零范数梯度可以使结果更加连续和自然。本方 法提出了一种相似度矩阵采样的新方法，可以更精确的估计初始图像相似度矩阵。该方法 的自适应参数调节方法，减轻了用户的负担并提升了最终效果。
【附图说明】
[0012]图1是本发明实施例流程不意图。
[0013] 图2是本发明实施例估计图像的维度的相似未知矩阵Z示意图。
【具体实施方式】
[0014] 本发明实施例主要关注在根据已有用户指定编辑区域，如何利用现有图像和指定 编辑区域的信息来将已有的编辑方案传播到全局图像中。与以往的传播技术相比，我们的 方法将零范数梯度最小化与编辑传播结合起来，可以将用户指定的编辑有效自然的传播到 整幅图像之中，约束零范数梯度可以使结果更加连续和自然。本方法提出了一种相似度矩 阵采样的新方法，可以更精确的估计初始图像相似度矩阵。该方法的自适应参数调节方法， 减轻了用户的负担并提升了最终效果。利用该结果可以进行后续的图像编辑操作，包括重 新着色、调节图像局部色调、改变物体材料结构等功能。
[0015] 概括地讲，本发明下述实例中提供的编辑传播方法是基于零范数梯度最小化的， 它包括以下步骤：
[0016] 1)获取原始图像及用户编辑组成的笔触图像；
[0017] 2)估计图像的相似矩阵，即图像中任意两点对应的向量(本例包含颜色分量及空 间分量)，取- F/)2
[0018] 其中，i与j为矩阵任意两列的序号，m代表矩阵列数，V表示矩阵某列元素。
[0019] 3)图像传播过程中，编辑满足两个条件，一方面传播后编辑对于相似的像素点约 束其具有相似的传播结果，另一方面最终得到的编辑需要有合适的梯度数，即零范数梯度 项。最小化
[0020] 1 J
[0021 ]此为最终的优化问题目标函数
[0022]其中，g为用户指定的编辑，e为传播后的编辑，w为编辑约束强度，z为像素点间相 似度矩阵，C(e)图像的梯度值，λ参数。
[0023] 4)通过迭代的方法求解所述优化问题目标函数得到最终编辑结果。
[0024] 更具体而言，上述基于零范数梯度最小化的编辑传播方法包括以下步骤：
[0025] 2)获取原始图像及用户编辑组成的笔触图像，所述原始图像被所述笔触图像覆盖 的区域为标定编辑区域，所述原始图像未被所述笔触图像覆盖的区域为未标定编辑区域；
[0026] 3)如图2所示，估计图像的(η为I的像素点数)维度的相似未知矩阵Ζ，使用估计的Ζ 矩阵来近似该矩阵。获取U和Α，其中，
I像素点的RGB 颜色空间分量向量，X为像素点的空间坐标的横纵坐标轴分量向量，〇s相似度矩阵维度比 较大，但却有相似的结构，因此可以进行低维估计操作，即用图2右边的A与B矩阵来估计整 个矩阵。其中η代表原矩阵维度，m代表取得估计子矩阵列数。A代表m*m的Z矩阵的子矩阵，B 为(n-m)*m的Z矩阵的子矩阵。在此处我们对此估计图像维度相似矩阵作自适应选择处理， 我们用即图像中任意两点对应的向量（本例包含颜色分量及空间分量），取 max 。这种方法与现有的矩阵估计技术相比，稳定性更好，适应性更强。
[0027] 4)现有的传播后的编辑要求传播后编辑对于相似的像素点约束其具有相似的传 播结果，而本方法所提技术最终得到的编辑还需要有合适的梯度数，即零范数梯度项。通过 约束最终生成的图像的梯度零函数来优化最终的结果。
[0028]
[0029]其中，g为用户指定的编辑，e为传播后的编辑，w为编辑约束强度，ζ为像素点间相 似度矩阵，C(e)为传播后图像的梯度值，λ是梯度约束占比参数。
[0030] 采用一种基于辅助分暈项的特殊半二次化分解，即转化为：
[0031] -
, ,
[0032] 其中，β系数，g表示最终传播结果，h表示估计最终结果X方向的梯度图，ν表示估计 最终结果y方向的梯度图，根据该优化表达式求出最终传播结果。
[0033] 将公式分为两个子问题。
[0034] 子问题一:计算e
[0035] 根据
[0036]
[0037] 求导并用公式一替换相似矩阵，得到求解：
[0038] 公式三
[0039 ]子问题二:根据阈方法求解计算，得到
[0040] 公式四：
[0041 ]我们可以分别迭代求解这两个子问题得到最终的结果。
[0042] 5)通过迭代的方法求解所述优化问题得到最终编辑结果。迭代过程：
[0043] 初始化e = g，i = 0，根据公式四求解hf及。
[0044] 由h⑴及v⑴，根据公式三求解e(i+1)。
[0045] β初值设为1，每次进行新一轮迭代时，更新
[0046] β = κβ,? = ?+1
[0047] 直至
【主权项】
1. 一种图像编辑传播方法，其特征在于包括下列步骤： 51、 获取原始图像及用户编辑组成的笔触图像； 52、 估计图像的相似矩阵，即图像中任意两点对应的向量，取maxSriiS井-巧)2; 其中，i与j为矩阵任意两列的序号，m代表矩阵列数，V表示矩阵某列元素； 53、 设置优化问题目标函数，使得图像传播过程中，编辑满足两个条件，一方面传播后 编辑对于相似的像素点约束其具有相似的传播结果，另一方面最终得到的编辑需要有合适 的梯度数，即零范数梯度项； 54、 通过迭代的方法求解所述得到最终编辑结果。2. 如权利要求1所述的图像编辑传播方法，其特征在于:所述优化问题目标函数是最小 化其中，g为用户指定的编辑，e为传播后的编辑，W为编辑约束强度，Z为像素点间相似度 矩阵，C(e)为传播后图像的梯度值，A是梯度约束占比参数。3. 如权利要求1所述的图像编辑传播方法，其特征在于:所述向量包含颜色分量及空间 分量。4. 如权利要求1所述的图像编辑传播方法，其特征在于:步骤Sl中，所述原始图像被所 述笔触图像覆盖的区域为标定编辑区域，所述原始图像未被所述笔触图像覆盖的区域为未 标定编辑区域。5. 如权利要求1所述的图像编辑传播方法，其特征在于:步骤S2中，估计图像的相似矩 阵的方法是:估计图像的维度的相似未知矩阵Z，使用估计的Z矩阵来近似该矩阵，获取U和 A，其中：：为像素点的RGB颜色空间分量向量，X为像素 点的空间坐标的横纵坐标轴分量向量，Oa为颜色分量权重参数，Os为空间分量权重参数。6. 如权利要求1所述的图像编辑传播方法，其特征是：步骤S3中，通过约束最终生成的 图像的梯度零函数来优化最终的结果： 公式二：其中，g为用户指定的编辑，e为传播后的编辑，W为编辑约束强度，Z为像素点间相似度 矩阵，C(e)为传播后图像的梯度值，A是梯度约束占比参数。7. 如权利要求6所述的图像编辑传播方法，其特征是:进一步地，采用一种基于辅助分 量项的特殊半二次化分解，将优化问题转化为：其中，e表示收敛速度系数，g表示最终传播结果，h表示估计最终结果X方向的梯度图，V 表示估计最终结果y方向的梯度图，根据该优化表达式求出最终传播结果。8. 如权利要求7所述的图像编辑传播方法，其特征是:进一步地，将优化问题分为两个 子问题。 子问题一:计算e 根据求导并用公式一替换相似矩阵，得到求解： 公式e = ((UA-1炉)* + + 3成))1 (化4-1炉W +好(化啦+取日y)) 子问题二:根据阔方法求解计算，得到 公式四= Ovt^二(脚巧 枝辦，} +脚气。；）<1成 -- [(d^Bp^dyep) otherwise 分别迭代求解运两个子问题得到最终的结果。9.如权利要求8所述的图像编辑传播方法，其特征是所述迭代过程为： 初始化e = g，0 = 00，i = O。由e(1 >，根据公式四求解h沪及.皆， 由hW及yW，根据公式S求解e， 0初值设为1，每次进行新一轮迭代时，更新 P = KP , i = i + 1 直至P > Pmax。
【专利摘要】本发明涉及一种图像编辑传播方法，包括如下步骤：S1、获取原始图像及用户编辑组成的笔触图像；S2、估计图像的相似矩阵；S3、设置优化问题目标函数，使得图像传播过程中，编辑满足两个条件，一方面传播后编辑对于相似的像素点约束其具有相似的传播结果，另一方面最终得到的编辑需要有合适的梯度数，即零范数梯度项；S4、通过迭代的方法求解所述得到最终编辑结果。本发明的优点在于将零范数梯度最小化与编辑传播结合起来，可以将用户指定的编辑有效自然的传播到整幅图像之中，约束零范数梯度可以使结果更加连续和自然，并且可以更精确的估计初始图像相似度矩阵。该方法的自适应参数调节方法，减轻了用户的负担并提升了最终效果。
【IPC分类】G06T11/00
【公开号】CN105513107
【申请号】CN201510906430
【发明人】王好谦, 郭震远, 王兴政, 张永兵, 戴琼海
【申请人】深圳市未来媒体技术研究院, 清华大学深圳研究生院
【公开日】2016年4月20日
【申请日】2015年12月9日