一种与图像融合的艺术化二维码生成方法及装置与流程

本发明涉及二维码技术领域，尤其涉及一种用于与图像融合的艺术化二维码生成的方法及装置。

背景技术：

由于智能手机的普及，二维码被广泛应用于连接线下与线上生活，其有着信息容量大，成本低，易于制作等优点，但是与此同时，其仅有黑白块构成的外观，使其缺乏视觉美感，与其他平面设计产品等难以融合，对产品品牌传播等缺少直观促进效果，难以满足用户个性化需求。

二维码的美化过程，一直致力于提升二维码外观的视觉效果，使其变得更加有趣，更易传播。手工地改变二维码外观，往往成本较高，且不易操作，而采用自动化方式更改二维码外观，由于其便利性与低成本，更易被大众接受。

二维码美化过程中的核心挑战在于改变二维码外观的同时，确保二维码中原包含信息不受影响，保证其仍能较容易被通用的扫描器扫描。将这种被通用扫描器容易扫描的特性，称为扫描健壮性。较好的扫描健壮性，可以保证二维码在现实生活场景中使用时，减少由于光照、噪音、遮挡以及扫描偏转角度等对二维码解析过程带来的影响。

技术实现要素：

本发明的目的是提供一种与图像融合的艺术化二维码生成方法及装置，并保证获得的二维码在视觉效果及扫描健壮性上均具有较好性能。

本发明提供一种与图像融合的艺术化二维码生成方法，实现步骤为：

步骤1，获取二维码及输入图像二值化结果，构造操作码集合调整二维码码字，生成二值艺术化二维码；

步骤2，获取输入图像的灰度化结果，并根据二维码扫描过程，建立二维码模块的扫描误差模型，设置预期的二维码模块扫描误差约束，在该约束条件下，局部调整二维码模块的灰度值，使其与输入图像的灰度化结果融合，生成灰度艺术化二维码；

步骤3，获取输入图像的彩色原图及二值艺术化二维码对应的多通道图像，建立图像亮度调整方案，调整彩色原图的像素值，使其转化为灰度图后结果与灰度艺术化二维码一致，生成彩色艺术化二维码。

基于本发明所述方法，还提供了一种与图像融合的艺术化二维码生成装置，其中，该装置包括以下模块：

编码信息及图像获取模块，用于获取待编码的文本信息及需要融合的图像；

信息编码模块，用于获取的文本信息进行编码，生成对应的二维码编码数据；

二维码与图像融合模块，采用所述的与图像融合的艺术化二维码生成方法，进行二维码与图像融合，生成二值艺术化、灰度艺术化、或彩色艺术化二维码；

结果图像输出或显示模块，用于对生成的二值艺术化、灰度艺术化、或者彩色艺术化二维码进行输出或者显示。

相对于现有技术，本发明的优点和积极效果在于：

1)本发明方法和装置可以较好的平衡二维码视觉效果与二维码扫描健壮性之间的关系，有策略的对图像中像素点亮度进行调整以获取更优显示效果，将二维码与图片融合获得艺术化效果，并容易生成不同风格的艺术化二维码图像，为二维码增加视觉意义；

2)本发明方法和装置中，采用基于局部图像色彩调整的优化策略，可以生成一种同时拥有较好的视觉效果与较强的扫描健壮性的艺术化二维码。

附图说明

图1是QR码符号分布情况示意图；

图2是本发明的艺术化二维码生成方法的整体流程示意图；

图3是基于高斯约旦消元法的二维码码字调整方法示意图；

图4是二维码采样概率示意图；

图5是利用本发明生成的艺术化QR码示例的灰度图；

图6是利用局部调整模块灰度值生成的不同风格QR码的灰度图。

具体实施方式

本发明通过分析通用二维码扫描器的实现原理，建立了一种新的误差分析模型，从理论上分析并解决二维码扫描健壮性控制问题，并依此提出一种与图像融合的艺术化二维码生成方法和装置，在尽可能保留二维码美化视觉效果的同时，保证并提升二维码扫描健壮性。

本实施方法说明中，主要依据二维码中的其中一种常见编码标准，即QR码，进行该发明内容的叙述。但是，本发明的范围涵盖所有二维码，例如，Data Matrix，MaxiCode,Aztec，QR Code，Vericode，PDF417，Ultracode，Code 49，Code 16K等，即包含但不限于艺术化QR码的生成。此处使用QR码作为样例进行说明，仅仅是为了更好的阐述生成步骤。下面结合附图和实施例对本发明作进一步的详细说明。

为了更加清楚表达艺术QR码的生成过程，首先在图1中给出了QR码的基本组成，可以看出，QR码主要由位置探测符号、校正图形、定位图形、格式信息、版本信息、数据码字和纠错码字等构成。

本发明将整个艺术QR码生成过程的目标划分为三个阶段，分别为二值艺术化QR码合成、灰度艺术化QR码合成、以及彩色艺术化QR码合成。其中，在二值艺术化QR码的合成过程当中，主要所采用的方法为QR码码字调整，即通过利用图像视觉显著性特征与高斯约旦消元法等，在QR码编码阶段，对QR码的码字进行调整，并使其尽量与图像的二值化结果进行匹配，从而在最终合成的彩色QR码中避免视觉冲突；而灰度艺术化QR码的合成过程当中，主要核心为通过分析通用QR码扫描器的扫描过程，建立阈值化误差与采样误差模型，模拟QR码模块的阈值化及降采样过程，从而估算QR码对每个模块的采样正确概率，并依此作为反馈信息，对QR码模块的灰度值进行调整，保证最终生成的QR码扫描健壮性；而在彩色QR码生成过程中，通过建立一种新的亮度调整方案，根据灰度化QR码的灰度信息以及原图的彩色的信息，计算每个像素点各通道的色彩值变化，从而在保证其灰度化结果与灰度艺术化QR码一致的情况下，为图像增加色彩。

图2展示了生成彩色艺术QR码的整个流程，按照上述叙述，其中Q^b为对应的二值化艺术QR码，Q^g为对应的灰度艺术化QR码，而Q^c为最终生成的彩色艺术化QR码。下面分别对各个目标阶段中所采用的方法进行说明。

步骤一，根据二维码编码的特点，结合高斯约旦消元法及图像显著性特征等调整二维码码字，在保证二维码原包含信息不变的情况下，使二维码外观与图像二值化结果相近，生成二值艺术化二维码。

步骤1.1，预处理。

为使生成的二值化艺术QR码色彩分布情况接近原图色彩，需要先对原图处理生成一张二值化图像。如图2所示，首先获取输入的原图像I的灰度图像I^g，然后再利用阈值化方法对图像I^g处理，获取对应的二值化图像I^b。由于灰度化图像I^g的边长n往往比QR码的边长模块数l大很多，l＝4V+17，V为QR码版本，所以，如果仅仅依靠对图像I^g进行缩放并二值化容易在最终合成的QR码中引起不好的视觉效果。为避免上述现象发生，本发明首先将图像I^g按照QR模块划分为多个正方形的子模块，每个子模块的边长为将第k个子模块记作M_k，最终将模块M_k转化后的二值化结果为：

其中，代表二值化图像I^b中第k个元素，即图像I^g的第k个模块的二值化结果，ζ(b，t)表示利用阈值t对b进行二值化操作，表示图像I^g中点x的像素值，而G(x)为像素x的权重值，且在本发明实施例中，将其设置为高斯分布值：

其中x∈M_k，代指在第k个模块的(i,j)位置上的权重值，需要注意的是，公式中，第k个模块的位置(i,j)，即全局中的像素x的位置，仅仅是两者所采用的坐标系不同，所以表达方式不同。参数σ₁为设置的常数，本发明实施例将参数σ₁直接取值为

步骤1.2，构造操作码集合。

根据QR码扫描过程可知，QR码在扫描过程中，模块排列顺序只需要保证能通过校验，即可被扫描器接受。而根据QR码底层编码方式可知，QR码的数据编码方式采用了Reed-Solomon编码，其符合以下几个特点：1)Reed-Solomon编码是一种显式系统码，可以在最终编码中直接看到原编码信息，即前半部分为按照原码信息，后半部分为容错码信息；2)Reed-Solomon编码是一种可以被“异或”操作的编码，即将两个Reed-Solomon码进行异或，其结果仍然是一个合法的Reed-Solomon码。

在QR码的编码过程，QR码的数据与纠错码字往往被划分为多个块，每个块均是一个独立的Reed-Solomon码，而最终的QR码绘制仅仅是将多个块按照码字为单位进行混合重排并利用模板进行掩码操作。下面以对一个块的处理来进行说明。

一个块划分为三个区域，分别为输入数据、填充数据以及校验数据，假设长度分别为m、p、c位，其中输入数据与填充数据部分对应QR码编码的数据码字，而校验数据对应校验码字。则根据QR码编码规则，当QR码的版本与纠错等级确定后，m+p与c均为一个大于0的常量，而根据输入数据量的不同，m与p的大小会有所改变。

利用图3进行举例说明，其中假设第一行为原始块信息，为了使图2中生成的二值化艺术QR码Q^b与图像二值化结果I^b尽量相似，需要将该块中第k位信息从1调整为0。本发明构造一个特殊的操作码，使该操作码输入数据区域与填充数据区域，只有第k位为1，其他位均为0，而校验数据区域，则按照Reed-Solomon码校验规则生成。根据编码特性2，将该操作码与原码块进行异或操作，即可获得一个合法的Reed-Solomon码块，保证其在错误校验时完全通过校验。与此同时，易知，该块可保证其输入数据区域与填充数据区域的其他位置不变，而第k位取反，根据性质1可知，输入数据区域未变，则其包含的原文本信息内容也未改变。

根据上述描述，容易知道k需要满足约束k＞m且k≤m+p，则实际上，可以构造一组操作码，如图3中集合A所示，共有p个操作码，分别记作a₁,a₂,…,a_p，对应操作码的第m+1,m+2,…,m+p位分别为1，输入数据区域与填充数据区域其他位均为0，利用这组操作码，即可任意控制原码块中的填充数据区域，当原码块第k位信息与目标码块中第k位信息不同时，通过将其与a_m-k进行异或操作，使其转变为指定值。

步骤1.3，调整操作码集合。

容易发现，由于k需要满足约束k＞m且k≤m+p，所以，可控区域被局限在了填充数据区域。而实际上，为了进一步扩展可控区域，可采用高斯约旦消元法，通过对集合A中的操作码进行组合，利用异或操作，并根据图像视觉显著性分布情况，优先构造出可控制显著性较高区域的操作码，将部分操作码的可控模块移动至校验数据区域，从而获得新的操作码集合B，将对k的约束扩展到k＞m且k≤m+p+c，从而将不可控模块在空间分散化的效果，削弱对整幅图像的视觉影响。

对于如何决定哪些是显著性较高区域的操作码，及如何进行可控模块的筛选，本发明提出一种优先级算法。在本发明中，利用视觉显著性、边沿检测以及启发式约束三种因素线性组合的方式来共同决定优先级顺序，用W表示优先级顺序的矩阵，则：

W＝λ₁Edge+λ₂Sal+λ₃Heu (3)

其中，Edge是对输入图像I做边沿检测并进行合并均值操作后得到的结果，Sal是对输入图像I做视觉显著性区域提取并进行合并均值操作后得到的结果。Edge、Sal的尺寸与所需要拟合的标准二维码Q^s的大小相同。λ₁、λ₂和λ₃为权重，其中λ₁、λ₂、λ₃的和为1，且λ₃的值往往被设置为小于0.1。而Heu则是根据经验定义了启发式规则，其主要用于帮助在其边沿检测与视觉显著性相差不大的情况下，让离图像中心近的点，更容易获得较高权重，第(x,y)个模块位置取得的启发式变量结果Heu_x,y为：

其中，l为QR码每边的模块数，即l＝4V+17。

步骤1.4，调整二维码的编码数据。

利用步骤1.3中获取到的操作码集合B，对可控模块位置的编码码字进行调整，通过利用集合B中元素与二维码编码序列进行异或操作，改变指定位置的值，使其在该位置所对应的色彩值与图像二值化结果I^b对应位置的色彩相同，从而得到较好的融合效果，获得二值艺术化二维码。

步骤2，获取输入图像的灰度化结果，并根据二维码扫描过程，建立二维码模块的扫描误差模型，通过设置预期的二维码模块扫描误差约束，在该约束条件下，局部调整二维码模块的灰度值，使其与输入图像的灰度化结果融合，生成灰度艺术化二维码。

下面说明建立二维码模块的扫描误差模型，以及设置预期的二维码模块扫描误差约束。

步骤2.1，模拟阈值误差。

相同艺术QR码中，同一个像素点，实际上在不同的环境下，可能所采用的阈值也是不相同的，从而可能会产生的不同的二值化结果。一般的艺术二维码生成方法，往往直接假设其阈值为常量，即最大灰度值的一半，而这也成为其扫描健壮性降低的主要因素之一。本发明中，为模拟真实阈值化过程，在艺术QR码中，设某点像素x的预期阈值为该点周围像素计算获得，记作t_xo，而真实阈值t_x则因为环境等因素影响，分布于该阈值左右，并满足正态分布p_τ(t_x)，且t_x＝t_xo时，函数取值最大。

其中，σ₂为尺度参数。

同时，根据上述分析描述，令t_xo为

其中，R(x)用于表示以像素x为中心的周围邻近区域内的像素集合，在本发明实施例中，R(x)取一个正方形区域，边长为3a，其中a为QR模块的边长，即步骤1.1中图像I^g子模块的边长。|R(x)|为求集合中元素个数。上式中Y_i为集合R(x)中像素i的灰度值。当获得像素x的阈值分布后，由公式可知，将该点原有灰度值与实际阈值进行比较，即可获得其阈值化结果。同时，由于图像色彩范围的限制，所以在实际过程中，真实阈值的分布范围为[0,255]，所以，则该点被阈值化为1和0的概率分别为

其中，Y_x表示像素x的灰度值，H_x表示为像素x的预期阈值化结果。

同样，由于色彩阈值限制，所以，上述计算会导致点被阈值化为1和0的概率的和并不为1，所以，通过归一化操作进行调整。故，可以得出，当该点x位于模块M_k时，即x∈M_k，则该点被正确阈值化的概率为：

其中，表示二值化艺术QR码Q^b中第k个模块的值。

步骤2.2，模拟采样误差。

真实采样误差较难模拟，牵涉到不同应用场景，且往往需要大量统计实验，而本发明中，为估算采样误差，假设模块中点被采样的概率满足高斯分布，即如图4所示，在模块内，离中心点距离越近，被采样概率越大，模块M_k内点x被采用概率为：

(i,j)表示点x的坐标，σ₃为尺度参数。

另外，在整个模块中，被采样概率的总和为1，即

步骤2.3，估算模块扫描误差。

根据QR码扫描过程可知，阈值化过程与降采样过程分处于两个不同的阶段，且指定点被阈值化的结果与该点是否被采样是两个完全独立的事件，所以，容易知道，该点采样作为模块采样结果，且结果为正确的概率为：

步骤2.4，设置各模块预期扫描误差约束。

为保证QR码扫描健壮性，应该将二维码模块扫描正确的概率值控制在一定范围内，从而使其所带来的误差可以依靠QR码自身纠错能力进行自动修复，通过对模块扫描正确概率的限定，可保证QR码整体扫描的健壮性，表示如下：

其中为第k个模块扫描正确的概率值，

η_k为第k个模块预期扫描正确的概率值最小约束，此处可将其先设置为固定常量，或者，根据视觉显著性进行小范围变化，例如，设置为：

η＝0.75+0.15(1-W) (14)

其中，η为设置的概率值最小约束矩阵，η_k为矩阵η中第k个模块位置对应的值。

再例如可指定每个模块预期扫描正确的概率必须在75％～100％之间，之后，通过计算输入图像的视觉显著性特征，并根据显著性的权重，在该区间中，细微调整对应模块位置所设置的预期概率，将显著性较低的区域所对应的模块预期扫描正确概率约束适当调高，以保证QR码扫描健壮性，减少误差产生。

步骤2.5，局部调整模块灰度值。

当图像大小与QR码版本确定后，模块中每个点被采样的概率实际上为固定值，所以，当时，即模块扫描正确的概率低于预期值，则只能通过提升模块中点被阈值化正确的概率来调整以满足约束要求。

对此，本发明提出一种针对模块内的像素点的阈值化概率调整方法。首先，构造公式：

其中，“→”表示赋予，将变量内的值变更。进行模块内阈值化概率的调整，其中是像素x的阈值化概率调整幅度权重。容易知道，当该公式两端乘以并针对模块M_k内所有元素累加，即可使得从而更新模块扫描概率，使其大于或者等于η_k。

然而，上述公式中忽略了的范围限制，即而在实际更新过程中，该问题可能会导致更新后的模块扫描概率小于预期值，为此，本发明提出一种简单的迭代更新算法，通过在每次迭代过程中，针对模块中的每一个像素x∈M_k，根据大小动态调整当时，令并置通过多次循环迭代，并不断利用公式(15)更新直到满足公式(12)要求。

通过步骤2所述方法，可以在保证图像中每个模块扫描正确的概率达到预期值的前提下，对图像中每个像素点被阈值化正确的概率进行分配，获取每个像素点所采用的灰度值Y_x与该点被阈值化正确的概率存在一一映射关系，所以，通过查表的方法，容易获取对应的灰度值，从而完成对图像中像素点亮度的调整。

步骤3，生成彩色艺术化二维码。

步骤3.1，准备工作。将二值艺术化二维码Q^b的图像缩放并转换为对应的多通道图像，其转换后的图像尺寸及通道数与原始的输入图像大小相等。

在完成灰度艺术化QR码的生成后，需要将其在亮度不变的情况下转换为彩色艺术化QR码。根据公式可知，RGB值与灰度值的映射关系为多对一，所以，存在多种方案，将灰度图像还原为彩色图像。其中，分别指RGB图像中像素x所对应的红、绿、蓝三通道的值，而三个常量参数α,β,γ分别为0.299、0.587、0.114。在这些方法中，将色彩的亮度调整过程，当作为原像素点与最大或者最小亮度像素间的线性插值过程。

定义C_m(x)，用于表示多通道图像中点x对应的最大或者最小亮度，即当x∈M_k时，有：

其中，表示二值艺术化二维码Q^b中第k个模块的值。

步骤3.2，色彩值调整。

本发明提出一种基于线性的亮度调整方法，可以更加便捷地直接调整RGB色彩到指定亮度。令表示二维码Q^c图像中点x的像素值。

其中，θ为变量，主要用于调节色彩亮度，其取值范围为[0,1]。I_x表示原图像I中点x的像素值，在这里，将[α,β,γ]^T记为ω，则如果需要保持Q^c在扫描过程中，所对应的灰度图像与Q^g相对应，则

其中，表示二维码图像Q^g在点x的像素值。

将公式(17)进行下面处理：

然后，可知：

将公式(20)代入公式(17)，最终得到：

可以看出，该公式右侧均为已知量，按照该规则，容易将灰度化艺术QR码Q^g与原图像I进行融合，生成彩色艺术QR码Q^c。

基于本发明所述的艺术化二维码生成方法，本发明提供了一种与图像融合的艺术化二维码生成装置，包括如下模块：

编码信息及图像获取模块，用于获取待编码的文本信息及需要融合的图像；

信息编码模块，用于对获取的文本信息进行编码，生成对应的二维码编码数据，包含但不限于例如Reed-Solomon编码生成模块；

二维码与图像融合模块，采用本发明所述与图像融合的艺术化二维码生成方法，进行二维码与图像融合，并生成二值艺术化、灰度艺术化、或彩色艺术化二维码；

结果图像输出或显示模块，用于对生成的二值艺术化、灰度艺术化、或者彩色艺术化二维码进行输出或者显示，包括但不限于例如屏幕、打印机等设备。

根据本发明生成艺术化二维码的方法及装置，在图5中给出依据该方法及装置生成的一些QR码示例，通过调整二维码模块中心区域的灰度值，可以获得一种同时拥有较好的视觉效果与较强的扫描健壮性的二维码。图5为得到的彩色图的灰度图示意。

需要说明的是，本发明中所生成的二维码外观并不局限于仅仅调整二维码模块中心灰度值，根据局部调整模块灰度值步骤，还可以依据上述模块扫描正确概率模型做出其他调整方案，例如图6，给出几种依据常见的调整方法所获得的最终彩色QR码灰度图结果。

另外，需要指出的是，在与图像融合的艺术化二维码生成方法和装置中，陈述的多个步骤和模块也可以由一个步骤或者模块来通过硬件或者软件实现。上述对艺术化二维码生成方法的叙述仅为更好地说明本发明的技术方案，而非对本发明的限制。本领域技术人员应该理解，本发明不限于上述示范性实施例的细节，在发明思想上，任何结合二维码底层编码特征，利用高斯约旦消元法调整二维码码字，生成二值艺术化二维码，并利用局部调整二维码模块灰度值，获取二维码与图像融合效果，生成艺术化二维码的相同或相似的实现方式，均应包含在本发明的范围内。