基于分块特征交互图像色彩编辑方法、数字图像处理系统与流程

本发明属于计算摄影学、计算机图形学和数字图像处理技术领域，尤其涉及一种基于分块特征交互图像色彩编辑方法、数字图像处理系统。

背景技术：

目前，业内常用的现有技术是这样的：近年来，计算摄影学作为计算机图形学与数字图像处理的交叉学科成为研究热点，其在学术界与工业界均有广泛应用。图像的色彩编辑作为计算摄影学的重要研究方向，各国学者目前主要从三个方面对其进行研究。首先，利用学习的方法，从海量图像库中学习色彩规律，进而将此规律应用于待处理图像；这类方法主要得益于近年来深度学习的发展。larsson.g利用卷积网络将图像的亮度作为输入，生成超列，进一步分解出图像的色度与饱和度，进而实现图像的色彩渲染；利用放弃maxpolling层的卷积神经网络，进行学习。其设计的网络结构类似于自编码网络，中间层神经元个数较少而两端较多。在图像的lab坐标基下工作，将亮度矩阵l作为输入，原始图像作为输出完成色彩学习；分别提取了图像数据的局部特征与全局特征作为输入进行学习，并设计了特征融合器作为神经网络的一部分实现图像色彩渲染；但这类方法的主要缺点为，无法按照用户的意愿改变图像的色彩，而且所需的训练数据极大，如果训练数据的类型与待处理图像不属于同类，则此类算法的效果不理想。其次是利用某一张图像的风格色彩去渲染待处理图像；将输入图像与参考图像转变到lab坐标基下，分别计算图像色彩的均值与标准差；然后利用参考图像色彩的均值与输入图像的标准差产生输出图像，则输出图像为参考图像色彩下的输入图像内容；对参考图像的要求较高，一般情况下难以找到符合用户需要的参考图像。第三类方法是用户交互下的图像色彩编辑方法，这类方法需要用户在输入图像上进行标记，进而将用户的标记色彩扩散到整张图像。将图像转变到luv坐标基下，并认为图像的色彩与亮度存在线性关系，进而将图像分块，在分块内色彩与亮度具有相同的线性关系系数；以此为基础构建了优化模型进行求解，实现图像色彩的扩散。定义图像的几何内蕴距离作为图像色彩扩散的依据，实现图像色彩编辑，但是这种方法使得图像色彩扩散距离较短且无方向性。对图像做超像素分割并提取每个超像素中心作为重采样样本，计算其与每种编辑模式的相似度，如果与某种编辑模式相似度绝对占优，则该样本的编辑模式直接确定。对于待定样本，依照相邻相似样本服从相同编辑模式的思想来判断其归属；然后将重采样样本的颜色编辑遵循相似颜色编辑后仍相似的原则采用增量的方式扩散到整幅图像。在图像的lab坐标基下工作，建立了保持图像结构的优化模型；在求解过程中，利用像素邻域内的的线性表达进行了低秩的重采样，减小了运算量。

综上所述，现有技术存在的问题是：第一类方法是利用学习的方法，从海量图像库中学习色彩规律，进而将此规律应用于待处理图像，这类方法的主要缺点是无法按照用户的意愿改变图像的色彩，而且所需的训练数据极大，如果训练数据的类型与待处理图像不属于同类，则此类算法的效果不理想；第二类方法是利用某一张图像的风格色彩去渲染待处理图像，这类方法对参考图像的要求较高，一般情况下难以找到符合用户需要的参考图像；第三类方法用户交互下的图像色彩编辑方法，这类方法需要用户在输入图像上进行标记，进而将用户的标记色彩扩散到整张图像，现有交互式图像色彩编辑对交互采样数据量要求较高。

解决上述技术问题的难度和意义：图像的色彩编辑是在不更改图像内容的前提下，改变图像色彩，真彩图像通常采用rgb坐标基表示。然而在rgb空间坐标基下，图像数据为嵌入三维空间的二维流形，无法采用欧氏距离度量像素之间的距离。本发明利用局部分块图像，亮度信号与色彩信号之间的线性关系，构建图像的色彩扩散模型。在建模过程中不采用图像的像素信息，而将亮度与色彩的线性系数作为分块图像特征进行建模，这样可以保证图像的亮度不参与运算，完整保留图像内容。同时由于分块特征表示了某一区域，而不是单纯的某一像素，因此本发明提出的模型具有较好的鲁棒性。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于分块特征交互图像色彩编辑方法、数字图像处理系统。

本发明是这样实现的，一种基于分块特征交互图像色彩编辑方法，所述基于分块特征交互图像色彩编辑方法将图像分块，以图像块在luv坐标基下，uv与l存在线性关系且在小的分块内uv与l存在相同的线性关系。以此线性关系系数为基础，将此线性关系系数作为分块图像的特征建立图像色彩扩散优化模型；利用图像变换前后内容的结构不变性，通过lle简化优化模型；利用稀疏线性代数方程组进行求解。

进一步，所述基于分块特征交互图像色彩编辑方法图像分块特征采用cieluv坐标基表示图像色彩，在luv坐标基下，使用欧氏距离作为测度，同时luv坐标将图像的内容与色彩分离开；数字图像im×n表示为分块图像的集合im×n＝{i1i2…in}，其中每一图像块在luv坐标基下表示三元组的集合，集合中元素的个数为图像块像素的个数；luv坐标基下，l表示图像块亮度，即图像块的内容，uv表示图像色彩；图像的任一分块为il，图像块的任一像素点pl＝{llulvl}，由于il为图像im×n极小的局部，存在(albl)使得ui＝ai*ll+bl，；ll表示图像某点的亮度，此点的色彩由(albl)唯一确定，(albl)为图像块il的色彩特征，而图像im×n的色彩特征为

进一步，所述基于分块特征交互图像色彩编辑方法图像色彩变换的模型构建包括：原始图像为im×n＝{i1i2…in}，共分为n个图像块，ii∈r³；色彩变换后图像为y＝{y1y2…yn}，变换后图像分块yl与原始图像分块il对应；标记的色彩图像为c＝{c1c2…cn}；原始图像i，变换后图像y，以及色彩标记图像c。

进一步，所述基于分块特征交互图像色彩编辑方法得到图像y的过程即为：令原始图像i的分块il的特征为αl＝(albl)^t，αi∈r²，则原始图像的特征可表示为集合α＝{α1α2…αn}，同理色彩变换后图像y的特征可表示为集合β＝{β1β2…βn}，得到图像y的过程即为求解β＝{β1β2…βn}的过程；对图像亮度采用齐次坐标，既ll＝[ll1]^t。

进一步，所述基于分块特征交互图像色彩编辑方法的图像色彩变化建模方程为：

本发明的另一目的在于提供一种应用所述基于分块特征交互图像色彩编辑方法的数字图像处理系统。

综上所述，本发明的优点及积极效果为：本发明对尺度较大图像进行处理时，速度较慢，且需要大量的用户采样进行处理。但可依次对图像进行部分处理，仅对背景进行处理，如需对图像其他部分进行处理则依次进行处理，而避免对整张图像进行色彩扩散。本发明利用局部分块图像，亮度信号与色彩信号之间的线性关系，构建了图像的色彩扩散模型；本发明的建模过程不采用图像的像素信息，而将亮度与色彩的线性系数作为分块图像特征进行建模，这样可以保证图像的亮度不参与运算，完整保留图像内容；同时由于分块特征表示了某一区域，而不是单纯的某一像素，因此本发明提出的模型具有较好的鲁棒性。

附图说明

图1是本发明实施例提供的基于分块特征交互图像色彩编辑方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对交互式图像色彩编辑对交互采样数据量要求较高的问题，本发明提出一种基于分块特征交互图像色彩编辑方法；首先将图像分块，以图像块在luv坐标基下，uv与l存在线性关系且在小的分块内uv与l存在相同的线性关系。以此线性关系系数为基础，将此线性关系系数作为分块图像的特征建立图像色彩扩散优化模型；其次利用图像变换前后内容的结构不变性，通过lle简化优化模型，最后利用稀疏线性代数方程组进行求解。实验结果表明，本发明在用户低采样的条件下较好的保持了图像结构，自然渲染了图像色彩。

如图1所示，本发明实施例提供的基于分块特征交互图像色彩编辑方法包括以下步骤：

s101：将图像分块，以图像块在luv坐标基下，uv与l存在线性关系且在小的分块内uv与l存在相同的线性关系系数。以此线性关系系数为基础，将此线性关系系数作为分块图像的特征建立图像色彩扩散优化模型；

s102：利用图像变换前后内容的结构不变性，通过lle简化优化模型；

s103：利用稀疏线性代数方程组进行求解。

下面结合附图对本发明的应用原理作进一步的描述。

1、分块特征的色彩编辑

1.1图像的分块特征

图像的色彩编辑是在不更改图像内容的前提下，改变图像色彩；真彩图像通常采用rgb坐标基表示，然而在rgb空间坐标基下，图像数据为嵌入三维空间的二维流形，无法采用欧氏距离度量像素之间的距离。本发明采用cieluv坐标基表示图像色彩，在luv坐标基下，可以使用欧氏距离作为测度，同时luv坐标将图像的内容与色彩分离开。

数字图像im×n可表示为分块图像的集合，既im×n＝{i1i2…in}，其中每一图像块均可在luv坐标基下表示三元组的集合，集合中元素的个数为图像块像素的个数；luv坐标基下，l表示图像块亮度，既图像块的内容，uv表示图像色彩；不失一般性，本发明仅对图像的u坐标基进行推导与处理，对v坐标基的处理与u的处理相同。设图像的任一分块为ii，图像块的任一像素点pi＝{liuivi}，由于ii为图像im×n极小的局部，可认为存在(aibi)使得ui＝ai*li+bi，(同理存在使得)；li表示图像某点的亮度，此点的色彩由(aibi)唯一确定，因此(aibi)为图像块ii的色彩特征，而图像im×n的色彩特征为

1.2图像色彩变换的模型构建

设原始图像为im×n＝{i1i2…in}，共分为n个图像块，il∈r³；色彩变换后图像为y＝{y1y2…yn}，变换后图像分块yl与原始图像分块il对应；标记的色彩图像为c＝{c1c2…cn}；原始图像i，变换后图像y，以及色彩标记图像c。

本发明的工作为寻找函数f：(xc)→y。由于原始图像i与变换后图像y，其内容不发生变化，改变的仅为图像色彩；而在原始图像i的极小分块il内，存在特征(albl)使得ui＝al*li+bl，因此可知图像色彩的变化是由于原始图像中每一分块的特征(albl)的变化所导致；得到图像y的过程即为：令原始图像i的分块il的特征为αl＝(albl)^t，αl∈r²，则原始图像的特征可表示为集合α＝{α1α2…αn}，同理色彩变换后图像y的特征可表示为集合β＝{β1β2…βn}，得到图像y的过程即为求解β＝{β1β2…βn}的过程；为计算方便，本发明对图像亮度采用齐次坐标，既ll＝[ll1]^t。

原始图像i的特征α可通过优化方程(1)求解：

图像色彩变化可建模为优化方程(2)：

原始图像i与变换后图像y保持内容不变，改变的仅为图像色彩，变换前后的图像局部应具有相同的色彩结构，而建模方程中：

反映了两幅图像具有相同的色彩结构，变换后图像在在用户标记的基础上进行色彩扩散，因此变换后图像y在用户标记处的色彩值应为用户标记值，而建模方程中的：

e2＝λ||βl^tll-ci||²；

反映了这一特性，建模过程中未采用图像的像素进行建模，而采用了分块图像的色彩特征进行建模，使得建构模型具有较强的鲁棒性。

原始图像i相邻分块的色彩具有较大的相关性，这种相关性由两个因素所导致，首先是由于图像是通过shannon-nyquist采样定理所产生，其次是图像的分块很小，因此图像分块的色彩具有较大的冗余性，故原始图像特征αl可由其相邻图像块特征的线性组合表达，即：

αl＝wljαj；

由于原始图像i与变换后图像y有相同色彩结构，因此图像y的特征βl可由与原始图像i相同的线性表达系数表达相邻图像块特征的线性组合，即：

βl＝wljβj；

wlj可通过优化方程(3)进行求解：

因此图像色彩变化可建模方程为优化方程(4)：

下面结合实验对本发明的应用效果作详细的描述。

为验证本发明算法的有效性，分别使用文献[yatzivl，sapirog.fastimageandvideocolorizationusingchrominanceblending[j].ieeetransactionsonimageprocessing，2006，15(5)：1120-1129、musialskip，cuim，yej，etal.aframeworkforinteractiveimagecolorediting[j].thevisualcomputer，2013，29(11)：1173-1186]的算法以及本发明算法进行图像色彩的编辑处理效果对比。实验平台为matlab2015a。

首先在求解wlj的过程中，取nl＝4，即仅考虑分块图像四邻接块的特征，设任一图像块的特征为α，与其邻接的图像块特征为αj，则求解过程为：

实验中图像的分块采用3×3的图像分块，若某一分块中被标记多个像素，则任取其中一个标记像素即可，这样将极大的减少运算量；本发明首先采用文献[yatzivl，sapirog.fastimageandvideocolorizationusingchrominanceblending[j].ieeetransactionsonimageprocessing，2006，15(5)：1120-1129]进行色彩扩散实验。

用户的标记图像中，只在相似区域进行了少量采样，而输出的效果图中花的色彩只按照用户的采样样本进行了小范围的扩散，且扩散到了用户目的之外的区域，造成了整个图像背景的污损；其原因主要是由于未考虑图像的整体结构，而色彩的扩散采用测地距离的内蕴几何距离标识图像中像素点的距离，并以此为扩散依据进行色彩扩散。

用户的标记图像中，用户进行了密集采样，在图像的各个区域均进行了采样，重构出了用户的目的图像；在这种方法下，对用户交互的要求较高，这样会给图像输出结果带来不可预见性。且输出效果的亮度较原图偏暗，主要的原因是图像的亮度信号参与运算，会造成亮度上的损失；表示位置出现了较为明显的色彩错误，这是由于用户的采样过为密集，且色彩的扩散各向同性所造成。密集的用户采样，对用户的要求过高，且不易完成，需要不断的尝试采样数量，才能完成图像的色彩扩散。

本发明算法只对原始图像做了简单标记，在类似区域内仅标注一处即可渲染出用户的目的图像；文献[yatzivl，sapirog.fastimageandvideocolorizationusingchrominanceblending[j].ieeetransactionsonimageprocessing，2006，15(5)：1120-1129]算法在用户密集标注后的渲染效果，本发明在用户简单标注后的渲染效果；本发明渲染的图像亮度明显优于文献[yatzivl，sapirog.fastimageandvideocolorizationusingchrominanceblending[j].ieeetransactionsonimageprocessing，2006，15(5)：1120-1129]算法，这是由于图像的亮度信号在本发明的算法中不参与运算，因此完整保留了原始图像的内容，在亮度上与原始图像完全一致。本发明的算法的结果更接近自然图像效果，明显优于文献[yatzivl，sapirog.fastimageandvideocolorizationusingchrominanceblending[j].ieeetransactionsonimageprocessing，2006，15(5)：1120-1129]的效果。由于本发明算法的用户采样数远远低于文献[yatzivl，sapirog.fastimageandvideocolorizationusingchrominanceblending[j].ieeetransactionsonimageprocessing，2006，15(5)：1120-1129]算法，大大简化了用户的操作过程，且在求解过程中使得求解方程的稀疏性得到很到增强，不容易出现色彩交叉扩散的情况。

文献[musialskip，cuim，yej，etal.aframeworkforinteractiveimagecolorediting[j].thevisualcomputer，2013，29(11)：1173-1186]采用和本发明类似的算法，同样在用户稀疏采样的条件下完成图像的色彩扩散，在求解过程中求解以下方程：

其中xl为原始图像的像素色彩，yl为变换后图像的像素色彩，cl为标记图像的像素色彩，xl，yi，cl∈r³。文献[musialskip，cuim，yej，etal.aframeworkforinteractiveimagecolorediting[j].thevisualcomputer，2013，29(11)：1173-1186]的方法考虑了图像的结构，因此可以才用户较少采样的条件下完成色彩扩散。

文献[musialskip，cuim，yej，etal.aframeworkforinteractiveimagecolorediting[j].thevisualcomputer，2013，29(11)：1173-1186]中直接采用图像像素的色彩信息(lab三个通道)进行建模，图像的亮度信号参与运算，会造成一定程度的亮度损失。

文献[musialskip，cuim，yej，etal.aframeworkforinteractiveimagecolorediting[j].thevisualcomputer，2013，29(11)：1173-1186]利用图像像素的几何关系，构建delaunay三角网格简化模型的计算，但是构建delaunay三角的过程较复杂，不适合处理尺寸较大的图像。

本发明算法需要首先进行分块图像的色彩特征提取，属于图像的预处理，在预处理过程中需要求解优化方程：

在图像的色彩扩散过程中需要求解优化方程：

两个优化过程均为凸优化过程，本发明在求解过程中采用bfgs的类牛顿搜索方法进行迭代，收敛速度均为线性收敛。

文献[musialskip，cuim，yej，etal.aframeworkforinteractiveimagecolorediting[j].thevisualcomputer，2013，29(11)：1173-1186]无预处理过程直接进行图像的色彩扩散，求解的优化方程为：

在求解过程中利用图像的几何结构构造delaunay三角网格，而减少了采样点的计算数量，进而构建稀疏线性代数方程组进行求解；然而构造delaunay三角网格的时间复杂度为o(nlogn)，因此当图像规模较大时构造delaunay三角网格花费时间较多。

文献[yatzivl，sapirog.fastimageandvideocolorizationusingchrominanceblending[j].ieeetransactionsonimageprocessing，2006，15(5)：1120-1129]在求解速度上优于本发明算法，但需要大量的用户采样，否则会出现色彩扩散失败。

本发明算法对尺度较大图像进行处理时，速度较慢，且需要大量的用户采样进行处理。但可依次对图像进行部分处理，仅对背景进行处理，如需对图像其他部分进行处理则依次进行处理，而避免对整张图像进行色彩扩散。

本发明利用局部分块图像，亮度信号与色彩信号之间的线性关系，构建了图像的色彩扩散模型；本发明的建模过程不采用图像的像素信息，而将亮度与色彩的线性系数作为分块图像特征进行建模，这样可以保证图像的亮度不参与运算，完整保留图像内容；同时由于分块特征表示了某一区域，而不是单纯的某一像素，因此模型具有较好的鲁棒性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。