一种将图像卡通化并与二维码融合的方法与装置与流程

本发明涉及图像处理和二维码技术领域，特别涉及到图像卡通化和图像二维码融合的方法与装置。

背景技术：

快速响应二维条码是近年来在移动端最为广泛应用的二维条码。由于这种二维码的快速可识别性以及相对较大的信息存储容量，该二维码成为一种方便高效的获取信息的方法。同时近年来，智能手机的广泛应用以及网络通讯技术的不断繁荣发展，使得人们越来越习惯于利用智能手机来获取信息，而这也促进了二维码的广泛应用。然而，二维码的图像被广泛地设计成易于被扫描解码的且仅仅包含噪声模式的图像，通常是无规则的黑白模块形式。这种混乱的噪声模式图像将会影响在二维码投入到实际应用当中的视觉效果。同时仅仅包含黑白噪声的二维码从其外观无法与二维码当中蕴含的内容有直接的逻辑联系。因此，更美观的二维码设计将会使得其更易于被接受。然而，如何将二维码设计地更为美观而且不影响其解码正确性就成了一项主要的挑战。目前二维码美化以及个性化的方法，大多是将一张图片与二维码融合在一起，解决目前二维码视觉效果较差的问题。对于二维码与图片融合从而使得二维码美观化的方法，有时所选择的图片本身可能美观性欠佳，导致与二维码融合后美化效果一般。

技术实现要素：

本发明的目的是提供一种将图像卡通化并与二维码融合的方法与装置，在二维码与图片融合之前将图片用卡通化的方式处理，较少图像色阶数量，同时增加其美观程度，以使得二维码与图片融合后美化效果更好。

本发明的一种将图像卡通化并与二维码融合的方法，实现步骤如下：

步骤1：将输入的图片卡通化；

步骤2：根据输入的文本生成标准二维码；

步骤3：将卡通化图片与标准二维码融合成卡通二维码；

所述的步骤3包括两个阶段：第一阶段是基于模块的融合，具体是：首先对步骤1得到的卡通化图片进行灰度化、二值化处理，将图片的二值化结果和标准二维码进行融合，设得到二维码Qⁱ，对Qⁱ进行Reed-Solomon编码处理，再根据图片的边缘检测结果、显著性特征提取结果等，利用高斯约旦消元法调整标准二维码中Reed-Solomon编码排列顺序，在保证二维码包含内容不变的情况下，使二维码外观视觉显示效果尽可能接近卡通化图像二值化结果，从而得到二值化艺术二维码Q^b。第二阶段是进行基于图片像素的融合，具体是：对于二维码数据及纠错信息部分、格式信息和版本信息，模拟在每个黑白模块中的采样过程，根据像素值加权平均的方法进行融合；对于位置探测图形、校正图形和定位图形等功能部分，保留原二维码外观不变或者进行细微调整，从而得到融合后的卡通化艺术二维码。

所述的步骤1中，对输入的原始图片，首先构建图片的边缘切向流，沿着边缘切向流场使用高斯差分算子方法，实现轮廓线条描绘。其次，对原始图片进行区域平滑处理，将区域平滑得到的图片进行颜色量化。最后，将颜色量化得到的彩色图片与分离提取出的线条轮廓进行融合，得到卡通化的图片。

基于本发明所述的将图像卡通化并与二维码融合的方法，提供了一种将图像卡通化并与二维码融合的装置，包括如下模块：

图片卡通化模块，用于将输入的图片进行卡通化；

标准二维码生成模块，用于根据输入的文本生成标准二维码；

卡通二维码融和模块，用于将卡通化图片与标准二维码融合生成卡通二维码。

相对于现有技术，本发明的优点和积极效果在于：

(1)本发明采用基于边缘切向流场的双边滤波处理图片，在切向流的基础上实现图片主要轮廓线条的描绘，从而达到明显提高线条的连续性的效果以及消除可能产生的影响美观效果的噪声部分，同时也避免了图片画质昏暗模糊的问题，使得一些微小但是有意义的形状边界保留下来，所形成的卡通图像看上去更加自然。

(2)本发明将卡通化图像与二维码融合技术相结合，通过卡通化方法提取图像轮廓线条并使图像变得平滑，降低与二维码融合时的视觉噪音，从而使获得的卡通化艺术二维码相对于普通艺术二维码拥有更好的视觉效果。

(3)本发明通过利用将原始图像卡通化的方式，保留图像主要特征信息，并有效地对图像细节内容进行去除。将其应用于例如人脸卡通二维码生成方面，可达到满足用户个性化需求的同时，保护用户隐私不受侵害。

附图说明

图1是本发明生成卡通化二维码生成流程图；

图2是本发明实施例中将图片卡通化的流程图；

图3是本发明实施例中采用FDoG操作获取图像轮廓的效果图；其中，(a)是原始图片，(b)是FDoG操作次数为1的效果图；(c)是FDoG操作次数为2的效果图；

图4是本发明实施例中将色彩量化的效果图；

图5是标准二维码的结构图；

图6是本发明将图片与二维码融合的流程图；

图7是采用本发明方法得到的卡通化二维码的效果图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明提出了一种图像卡通化并与二维码融合的方法，主要包含了图像卡通化、标准二维码生成、图片与二维码融合三个过程。图像卡通化方法通过获取轮廓、图像平滑和图像量化实现；二维码根据二维码标准生成；图片与二维码融合通过基于模块的融合和基于像素的融合两个步骤实现。图1是卡通化二维码生成流程图，下面说明各实现步骤。

步骤1：将输入的图片卡通化。

对于一个输入的图片，希望达到处理后卡通化的效果，主要需要进行三个操作：轮廓线条描绘，区域平滑处理和图片色彩量化。为了提高图片的卡通化效果以及美观程度，本发明首先构建图片的边缘切向流，然后在切向流的基础上实现图片主要轮廓线条的描绘，从而达到明显提高线条的连续性的效果，消除可能产生的影响美观效果的噪声部分，同时也避免了图片画质昏暗模糊的问题。边缘切向流的介绍以及构建方法在后面会有详细的说明。然后对原始图片进行区域平滑处理，具体方法包括但不限于基于流的双边滤波方法，之后将区域平滑得到的图片进行颜色量化，加强其卡通效果。最后将彩色图片与分离提取出的主要线条轮廓进行融合，即可得到卡通化的图片。图2所示，为将图片进行卡通化的流程。

给定一个输入的图片I(x)，x＝(a,b)表示图片某点处的一个像素点，(a,b)为像素点坐标。首先构造一个平滑的保存特征区域的边缘流场，用于后续操作的基础。定义t(x)为边缘切线，作为一个与图片梯度方向垂直的向量，将t(x)的向量域定义为边缘切向流场。边缘切向流场的构造方法实际上是一种滤波操作。在每个像素为中心的内核，应用非线性平滑向量进行滤波，这样一来显著的边缘方向被保留，同时较弱的边缘被重定向到其主导区域。同时为了保持尖锐的拐点区域，沿着方向相似的边缘进行平滑。为了得到连续平滑、不含噪声的图片主要轮廓曲线，沿着边缘切向流场使用高斯差分算子方法。在边缘切向流场中t(x)代表了局部边缘方向，也就是说在它的垂直方向，也就是梯度方向会有最大的差异。沿着边缘切向流，在梯度方向上应用高斯差分算子滤波。

为了进一步加强轮廓描绘的效果，可以迭代的对输入图片应用高斯差分算子作滤波操作。在每次FDoG(基于流的高斯差分滤波)操作之后，可以在原图上叠加由FDoG操作获得的结果，然后再次对合并后的图片施加FDoG操作，直到效果达到满意。本发明至少设置迭代次数为2次。一般来说迭代次数越多线条越明显，细节也更丰富，但同时若迭代次数过多，则会造成线条更密集分布，图片会显得更“乱”，从而降低了其视觉效果。在每次FDoG操作之前，也可以对输入的图片进行高斯滤波操作，从而获得更平滑柔和的线条效果。图3展示了图片原图以及FDoG操作迭代次数为1和为2时的区别。可以明显看出，迭代次数为2的线条效果更清晰，细节更丰富，纹理轮廓更加明显。此处仅为举例，但不限于采用该种方法。

区域平滑的目标是移除在区域内部不必要的细节，同时保存重要的部分。称这种方法为特征保持的图片平滑方法，通常采用双边滤波来实现，然而普通的双边滤波存在一些局限性，在一个圆形的区域平滑次要颜色的差异时，它忽略了颜色对比度的方向从而会移除一些微小但是有意义的形状边界，令图像看起来边缘粗糙。基于边缘切向流场的双边滤波则是很好的克服了这些问题，本发明利用两个分离的线性双边高斯平滑操作对原图像进行区域平滑，一个沿着边缘方向另一个沿着梯度方向。

为了使平滑后的图像显得更具有卡通效果，本发明对平滑处理后的图像采用色彩量化方法处理。颜色量化的定义是将原有图像中的多种颜色根据人的视觉效果归类为较少的颜色，从而用这些较少种类的颜色重新生成一幅新的图像，使量化后的图像与原图像的差别即量化误差最小。本发明采用了将RGB非均匀颜色空间变换到LAB为基准的均匀颜色空间的方法，在LAB均匀颜色空间中对彩色图像进行颜色量化，从而解决了量化误差相对人眼不均匀的问题。即色彩量化是一种为了减少原图像中颜色数目同时希望使得原图像的视觉效果保持不变所使用的一种方法。经过这种方法的处理可以使得图像显得具有绘画出的效果。图4展示了图片色彩量化之后的区别。色彩量化的具体公式如下：

其中，Q(·)表示颜色量化处理后的图像，表示图像像素位置，q表示被量化后的色彩类别数目，表示控制锐度的参数，Δq是间隔宽度，表示原图像对应的特征空间，qnearest表示距离最近的间隔边界。此处仅为举例，但不限于采用该种方法。

在得到色彩量化之后具有一定卡通效果的图片后，将其与之前用高斯差分算子提取出来的图片主要轮廓融合在一起成为一张图片。融合的过程主要是调用了OpenCV的图像融合工具。融合之后还可根据需要进行一些滤波处理，柔和图片边缘部分的线条或消除锯齿，使得图片具有更好的视觉效果。

步骤1中主要采用了两个分离的线性双边高斯平滑操作并结合色彩量化方法对图像进行卡通化处理，该方法在保证了原图像整体内容不受影响的前提下，消除了部分图像噪音并隐藏部分图像细节。

步骤2：根据输入的文本生成标准二维码。

首先对输入的文本进行数据分析。在数据分析阶段，输入的信息被进行分析并决定二维码的纠错级别与数据编码方式，同时也会确定出二维码合适的版本以及二维码的容量。然后进行数据编码，在数据编码阶段，输入的信息将会被编码成字节流，并且在字节流的最后添加中止符，之后得到的字节流会转成8比特的数据码字。并且会根据需要添加补齐码。接下来进行数据码编码，在纠错码编码阶段，为了防止噪声对二维码产生影响，里德-所罗门(Reed-Solomon)编码将会加入到二维码中。里德-所罗门编码可以用来检测并修正由噪声产生的错误。最后放置信息码并进行掩码操作。掩码操作是从八个可选择的图案中选择一个，与二维码的数据区域进行异或操作，从而生成黑白色块随机分布的“噪声”外表。图5是标准二维码结构图，从中可看出，除了预留的空白区域，标准二维码中主要包括数据与纠错信息、版本信息、格式信息、定位图形、校正图形和位置探测图形。

步骤3：将卡通化图像与标准二维码融合成卡通二维码。

图6展示了合成卡通二维码的流程。首先将一个像素大小为n×n的输入图片I进行灰度化得到图像G，然后将图像G当作由一系列子图像组成的子图像。每个子图像又是一个像素大小为m×m的图像，m为二维码每个黑白模块的边长。因此，图像G总共可分成个子图像。同时定义每个子图像相对应的二值化后图像用“mod”表示。modGr则表示第r个子图像的二值化结果，黑色表示二进制1，白色表示二进制0。

合成卡通二维码包括两个阶段。在第一阶段，即基于模块的融合阶段，将步骤1得到的卡通化的背景图片I和步骤2得到的标准二维码Q^s，按照二维码的模块一个个来进行融合，利用高斯约旦消元法调整标准二维码中里德-所罗门编码排列顺序，在保证二维码包含内容不变的情况下，使二维码外观视觉显示效果尽可能接近卡通化图像二值化结果，从而得到二值化艺术二维码，表示为Q^b。在第二阶段，Q^b和I进一步地按照I的每个像素进行融合。

设经过步骤1得到的卡通化背景图片为I，首先进行图像处理，得到它的灰度化图片G，之后G被分成个子图像，每个子图像尺寸大小为m×m像素。每个子图像用符号表示为subGr，r表示子图像的标号，它的范围是从1到并且modGr表示为图片G的第r个子图像的二值化结果，决定其填充为黑色或白色。

将图片的二值化结果和标准二维码Q^s进行融合，从而得到未加入Reed-Solomon编码的二值化美化二维码Qⁱ。其中，Qⁱ的每个模块的值根据下面的公式计算，从而决定模块是黑色还是白色，黑色代表1，白色代表0。

其中，集合M包括标准二维码的功能部分、格式信息、版本信息以及输入的数据码部分，其中功能部分包括位置探测图形、校正图形和定位图形。和分别是Q^s和Qⁱ的第r个模块的二值化结果。此处仅为举例，但不限于采用该种方法。

在基于模块的融合之后，得到的二值化融合后的二维码Qⁱ在外观上与G的二值化结果较为相似，并且包含了输入数据的比特流。然而，Qⁱ目前还不能被扫描并且解码，因为对应的比特流没有经过Reed-Solomon编码的处理。根据二维码的编码标准，二维码数据及纠错信息是由多个Reed-Solomon编码段构成，因此，针对每个Reed-Solomon编码段，需要从c个信息编码中选择k个原码然后根据Reed-Solomon编码规则计算剩余(c-k)个码字的值。其中c代表每个Reed-Solomon编码段的长度，而k代表其中原码所占位置的长度，则c-k为纠错码字所占位置的长度。通过对Qⁱ的Reed-Solomon编码段进行编码，并根据输入图像I的边缘检测结果E与显著性特征提取结果S，利用高斯约旦消元法进行码字提取，调整标准二维码中里德-所罗门编码排列顺序，获得融合后的二值化艺术二维码Q^b，在保证二维码包含内容不变的情况下，使二维码外观视觉显示效果尽可能接近卡通化图像二值化结果。其中边缘检测结果E可以通过常用的图像边缘提取算法生成，例如Canny算法，而显著性特征提取结果S可以通过图像显著性特征提取算法获取，例如使用Global Cues算法等。

第二阶段为基于图片像素的融合阶段，对于数据及纠错信息模块、格式信息和版本信息，模拟摄像头在每个黑白模块中的采样过程，根据像素位置及色彩进行加权融合。对于位置探测图形、校正图形和定位图形等功能部分，保留原二维码中对应部分的外观不变或者进行细微调整，。

在标准二维码的数据及纠错信息部分、格式信息和版本信息的每个黑白模块中模仿采样结果，在解码的时候根据像素值加权平均的方法进行融合。采样样本的权重表示为m×m大小的矩阵，记作Dw。其中

∑i,jDw＝1,Dw(i,j)≥0.G的第r个子图像的采样结果，记作ξ(subGr)：

ξ(subGr)＝∑(i,j)subGr(i,j)·Dw(i,j)

其中，DW(i,j)表示模块中第(i,j)位置的权重，一般取为二次高斯分布。subGr(i,j)表示灰度图G的第r个子图像中第(i,j)位置的灰度值。

接下来，希望生成彩色的美化二维码Q^c，通过按照每个像素融合图片I和Q^b。

令Q^g表示Q^c的灰度化图像，表示在Q^g的第r个子图像中期望得到的采样结果。的计算方法如下：

τb表示黑色模块的上阈值，τw表示白色模块的下阈值。基于像素的融合是根据如下提出的限制来得到Q^c：

是灰度化图像Q^g的第r个子图像的采样结果。

在经过上述步骤的处理之后，就可以得到图片与二维码融合而成的美化彩色二维码。此处仅为举例，但不限于采用该种方法。图7是图片卡通化以及卡通化二维码效果图。

相应的，基于上述的将图像卡通化并与二维码融合的方法，本发明提供了一种将图像卡通化并与二维码融合的装置，包括如下模块：

图片卡通化模块，用于将输入的图片进行卡通化；

标准二维码生成模块，用于根据输入的文本生成标准二维码；

卡通二维码融和模块，用于将卡通化图片与标准二维码融合生成卡通二维码。

另外，需要指出的是，在卡通化风格二维码生成方法中，所述的多个步骤和模块也可以由一个步骤或者模块来通过硬件或者软件实现。上述对卡通化风格二维码生成方法的叙述仅为更好地说明本发明的技术方案，而非对本发明的限制。本领域技术人员应该理解，本发明不限于上述示范性实施例的细节，在发明思想上，任何通过轮廓线条描绘，区域平滑处理和图片色彩量化技术将输入图片进行卡通化风格处理，并和标准的二维码融合以获得更好显示效果的二维码处理方法，均应包含在本发明的范围内。