图像的彩色铅笔画风格化方法、装置、电子设备及介质与流程

1.本技术实施例涉及图像处理技术领域，尤其涉及一种图像的彩色铅笔画风格化方法、装置、电子设备及介质。


背景技术：

2.彩色铅笔画是一种综合素描和色彩之间的绘画形式，通常制作于素描纸或普通摆至上，具有笔触细腻清晰、色彩丰富轻盈的艺术特点。
3.随着智能手机的高速发展，手机拍照应用及其风格化滤镜技术受到市场的广泛欢迎。
4.本技术发明人在实现本技术实施例的过程中，发现：目前的手机的图像处理技术在彩色铅笔画自动生成时，难以兼顾美观的效果与高效的性能，需要复杂的处理流程，例如，在采用通过otsu阈值二值化分割前景区域和后景区域进行彩色铅笔画滤镜生成时，在图像中全是前景或全是后景的情况下难以自适应获得合理的阈值，无法适应各种复杂的应用场景；又比如，简单的二值化方式的分割精度也比较一般，会对最终效果造成不良影响；或者是采用依赖固定的参数模型进行直方图匹配的方式来获得彩色铅笔画时，采用的直方图匹配的计算过程是固定不变的，在图像整体非常亮或非常暗的情况下，必然会导致图像内容失真，该做法显然无法适应各种复杂应用场景，并且，如果处理的是视频对象时，会导致帧间图像的整体亮度始终没什么变化，这也不符合人的正常观感。


技术实现要素：

5.本技术实施例的目的是提供一种图像的彩色铅笔画风格化方法、装置、电子设备及介质，处理过程简单、计算效率高、彩色铅笔画风格逼真。
6.为解决上述技术问题，本技术实施例采用以下技术方案：
7.第一方面，本技术实施例中提供给了一种图像的彩色铅笔画风格化方法，包括：
8.从待处理图像中提取亮度分量，以获得第一图像，且从所述待处理图像中提取色彩分量，以获得第二图像；
9.利用梯度算子提取所述第一图像的第一梯度图；
10.基于所述第一梯度图获得所述第一梯度图中每个像素点的主方向以及所述主方向对应的卷积核；
11.基于所述第一梯度图和所述卷积核构建笔触结构图；
12.在所述第一图像中添加随机白噪声，获得第三图像；
13.合并所述第三图像和所述第二图像，获得第四图像；
14.合并所述笔触结构图和所述第四图像，获得带有彩色铅笔画风格的目标图像。
15.在一些实施例中，所述基于所述第一梯度图获得所述第一梯度图中每个像素点的主方向以及所述主方向对应的卷积核，包括：
16.根据所述第一梯度图对应的二维平面图像中的若干个直线方向，构造与若干个直
线方向对应的若干个卷积核；
17.计算所述第一梯度图的各个像素点分别在若干个所述直线方向上的卷积结果，获得各个像素点对应的最大卷积结果对应的第一卷积核；
18.将每个像素点的所述第一卷积核对应的第一直线方向作为主方向。
19.在一些实施例中，所述基于所述第一梯度图和所述卷积核构建笔触结构图，包括：
20.根据每个像素点的主方向，计算每个像素点的响应值，以获得响应值图；
21.在所述响应值图中，计算极大响应值和极小响应值；
22.在预设图像亮度范围内，根据所述每个像素点的响应值、极大响应值和极小响应值，获得笔触结构图。
23.在一些实施例中，所述根据每个像素点的主方向，计算每个像素点的响应值，以获得响应值图，包括：
24.对所述每个像素点的主方向对应的第一卷积核进行归一化处理，获得所述每个像素点的主方向对应的第二卷积核；
25.将所述第二卷积核内与所述主方向不一致的权重设置为0，获得第三卷积核；
26.利用所述第三卷积核对所述第一梯度图的中心像素点进行卷积处理，获得所述第一梯度图的中心像素点的响应值；
27.将所述第一梯度图中的各个像素点作为中心像素点计算与各像素点对应的响应值，组合各个所述响应值，获得所述第一梯度图对应的响应值图。
28.在一些实施例中，在所述在所述第一图像中添加随机白噪声，获得第三图像之后，所述方法还包括：
29.构建所述第一图像对应的切向流图，所述切向流图包括所述第一图像中的各个像素点对应的切向；
30.将所述第三图像中的各个像素点沿着对应的所述切向进行线积分卷积处理。
31.在一些实施例中，所述构建所述第一图像对应的切向流图，所述切向流图包括所述第一图像中的各个像素点对应的切向，包括：
32.利用梯度算法提取所述第一图像的第二梯度图，所述第二梯度图包括第一图像中各像素点对应的水平梯度和垂直梯度；
33.根据所述第一图像中各像素点对应的水平梯度和垂直梯度，构造所述第二梯度图的各个像素点的结构张量矩阵；
34.计算所述第一图像的当前像素点的当前结构张量矩阵的特征值，获得所述当前结构张量矩阵对应的特征向量；
35.将与所述特征向量垂直的方向作为所述第一图像的当前像素点的切向；
36.计算所述第一图像的各个像素点的切向，以获得所述第一图像对应的切向流图。
37.在一些实施例中，在所述合并所述笔触结构图和所述第四图像，获得带有彩色铅笔画风格的目标图像之后，所述方法还包括：
38.将所述目标图像转换到第一颜色空间中，获得所述目标图像的颜色饱和度，所述第一颜色空间用于表征颜色饱和度；
39.将所述颜色饱和度乘以一个小于1且大于0的常数，获得目标饱和度；
40.将所述目标饱和度转换为第二颜色空间，获得带有目标饱和度的目标图像。
41.第二方面，本技术实施例还提供一种图像的彩色铅笔画风格化装置，所述装置包括：
42.第一提取模块，用于从待处理图像中提取亮度分量，以获得第一图像，且从所述待处理图像中提取色彩分量，以获得第二图像；
43.第二提取模块，用于利用梯度算子提取所述第一图像的第一梯度图；
44.主方向获取模块，用于基于所述第一梯度图获得所述第一梯度图中每个像素点的主方向以及所述主方向对应的卷积核；
45.笔触结构图获取模块，用于基于所述第一梯度图和所述卷积核构建笔触结构图；
46.添加模块，用于在所述第一图像中添加随机白噪声，获得第三图像；
47.第一合并模块，用于合并所述第三图像和所述第二图像，获得第四图像；
48.第二合并模块，用于合并所述笔触结构图和所述第四图像，获得带有彩色铅笔画风格的目标图像。
49.第三方面，本技术还提供一种电子设备，所述电子设备包括：
50.至少一个处理器，以及
51.存储器，所述存储器与所述处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。
52.第四方面，本技术还提供一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被电子设备执行时，使所述电子设备执行如第一方面任一项所述的方法。
53.本技术实施例的有益效果：区别于现有技术的情况，本技术实施例提供的图像的彩色铅笔画风格化方法、装置、设备及介质，从待处理图像中提取亮度分量，以获得第一图像，且从所述待处理图像中提取色彩分量，以获得第二图像，然后，利用梯度算子提取所述第一图像的第一梯度图，从而获得第一图像中的边缘位置；基于所述第一梯度图获得所述第一梯度图中每个像素点的主方向以及所述主方向对应的卷积核，以描绘出边缘位置的直线段，从而获得素描中的直线段效果；基于所述第一梯度图和所述卷积核构建笔触结构图，获得与边缘位置对应的笔触效果；在所述第一图像中添加随机白噪声，获得第二图像，使得待处理图像上的随机位置可以叠加一些笔划的流向感，以便于满足图像为视频时前后帧效果的连贯性；合并所述第三图像和所述第二图像，获得第四图像，从而获得带有色彩的图像，且模拟彩色铅笔涂抹为图像上色，提高画面亮度；合并所述笔触结构图和所述第四图像，获得带有彩色铅笔画风格的目标图像，从而使得目标图像能够模拟铅笔素描勾勒出的图像中所有事物的轮廓，且模拟彩色铅笔为所有事物上色的涂抹感。本技术的图像的彩色铅笔画风格化方法处理流程清晰简单、计算效率高、获得的目标图像带有优秀的艺术效果的彩色铅笔画风格，不仅可以将单张图像快速处理为彩色铅笔画风格，还可以实时处理终端相机的视频流，使用户拥有彩色铅笔画滤镜的相机。
附图说明
54.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除
非有特别申明，附图中的图不构成比例限制。
55.图1是本技术图像的彩色铅笔画风格化方法的一个实施例的流程示意图；
56.图2是本技术图像的彩色铅笔画风格化方法的n＝2时，直线方向示意图；
57.图3是本技术图像的彩色铅笔画风格化方法的第一图像的示意图；
58.图4是本技术图像的彩色铅笔画风格化方法的笔触结构图的示意图；
59.图5是本技术图像的彩色铅笔画风格化方法的第三图像的示意图；
60.图6是本技术图像的彩色铅笔画风格化方法的切向流图的示意图；
61.图7是本技术图像的彩色铅笔画风格化方法的第四图像的示意图；
62.图8是本技术图像的彩色铅笔画风格化方法的待处理图像的示意图；
63.图9是本技术图像的彩色铅笔画风格化方法的带有目标饱和度的目标图像的示意图；
64.图10是本技术图像的彩色铅笔画风格化装置的一个实施例的结构示意图；
65.图11是本技术图像的彩色铅笔画风格化装置的又一个实施例的结构示意图；
66.图12是本技术电子设备的一个实施例中控制器的硬件结构示意图。
具体实施方式
67.下面结合具体实施例对本技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本技术，但不以任何形式限制本技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进。这些都属于本技术的保护范围。
68.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
69.需要说明的是，如果不冲突，本技术实施例中的各个特征可以相互结合，均在本技术的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。此外，本文所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。
70.除非另有定义，本说明书所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本说明书中在本技术的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本技术。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
71.此外，下面所描述的本技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
72.本技术实施例提供的图像的彩色铅笔画风格化方法和装置可以应用于电子设备，可以理解的是，电子设备包括控制器、图像采集装置。控制器作为主控中心，处理过程简单、计算效率高、彩色铅笔画风格逼真。
73.图像采集装置可以是摄像头模组，用于给用户提供拍照功能，将拍照后获得的图像作为待处理图像，该图像可以是一张图像，也可以是视频流，包括多帧图像。
74.图像采集装置还可以是其他装置，比如从某个应用程序获取图像的装置，或者是用截图的方式获取图像的装置，在此不局限。
75.彩色铅笔画的主要特征是：一、以素描线条作为笔触结构。即画作内容主要是通过各种方向的细致直线重复描边而成；二、以粗线涂抹作为区域填充。比如天空、墙壁、草坪等颜色相似的大面积区域，可以用大头彩铅进行一些有方向感的涂抹填充；三、整体亮度较高。这是因为铅笔画通常制作于白纸，并且黑色铅笔的石墨材料本身具有一定灰度，而非纯黑的；四、色彩饱和度较低。彩铅配色一般为饱和度较低的暖色调，因此彩色铅笔画通常给人以一种温暖治愈的观感。
76.针对彩色铅笔画的特征，本技术提出图像的彩色铅笔画风格化方法，以使图像在观感上具有彩色铅笔画的特征。
77.请参见图1，为应用于本技术的图像的彩色铅笔画风格化方法的实施例的流程示意图，所述方法可以由电子设备中的控制器执行，该方法包括步骤s101-步骤s107。
78.s101：从待处理图像中提取亮度分量，以获得第一图像，且从所述待处理图像中提取色彩分量，以获得第二图像。
79.通过图像采集装置获取待处理图像后，从待处理图像中提取亮度分量，待处理图像可以是rgb彩色图像，可以将rgb彩色图像从rgb颜色空间转换到色、亮分离颜色空间，其中，rgb颜色空间为基色颜色空间中的一种，基色颜色空间可以包括rgb颜色空间、cmy颜色空间、cmyk颜色空间、cie xyz颜色空间等；色、亮分离颜色空间可以包括ycc/yuv颜色空间、lab颜色空间等色相类颜色空间。在色、亮分离颜色空间中，将亮度分量提取出来，获得第一图像，如图2所示，该第一图像为灰度图，或者是由于在rgb颜色空间中红、绿、蓝图像分别是一个8位图像(表示每种原色可以分为2^8＝256个等级)，也可以单独分离任意色(如红或绿或蓝)的亮度通道，得到8位单通道灰度图。通过提取亮度分量这个单一通道计算梯度，可以大大节省计算成本。
80.可以理解的是，从待处理图像中提取亮度分量采用的是本技术领域中一些常规亮度分量提取方式，在此不再赘述。
81.并且，从待处理图像中提取色彩分量，以获得第二图像，色彩分量的提取方式与亮度分量的提取方式类似，在此不再赘述。
82.s102：利用梯度算子提取所述第一图像的第一梯度图。
83.为了获得彩色铅笔画的笔触的效果，利用梯度算子提取所述第一图像的第一梯度图。具体地，梯度算子可以是sobel(sobeloperator，索贝尔)算子。利用索贝尔算子提取第一图像的梯度g
x
、gy，并且，计算梯度大小g，梯度大小或者梯度大小g＝|g
x
|+|gy|，从而得到第一梯度图。
84.彩色铅笔画中的笔触效果，是指在图像中的物体边缘模拟描线的过程，在边缘位置，比如物体的轮廓位置，梯度g通常较大，因此，为了提取边缘位置，需要先计算第一图像的第一梯度图，且第一梯度图中包括梯度大小g。
85.由于第一图像是待处理图像提取亮度分量后的图像，因此，可以针对单一通道计算梯度，可以大大节省计算成本。
86.s103：基于所述第一梯度图获得所述第一梯度图中每个像素点的主方向以及所述
主方向对应的卷积核。
87.具体地，在彩色铅笔画中，存在素描线的艺术效果，即素描中通常不会绘制平滑的曲线，而是用多段相互交叠的直线段来拼凑出一条曲线。因此，为了模拟素描线的效果，基于所述第一梯度图获得所述第一梯度图中每个像素点的主方向以及所述主方向对应的卷积核，从而需要找出最有可能作为边缘的一个方向，且边缘位置的可能性越大，在下述步骤s104计算得到的响应值越大，则笔触越深，反之响应值越小，则对应的笔触越浅。
88.在其中一些实施方式中，基于所述第一梯度图获得所述第一梯度图中每个像素点的主方向以及所述主方向对应的卷积核，可以包括：
89.根据所述第一梯度图对应的二维平面图像中的若干个直线方向，构造与若干个直线方向对应的若干个卷积核；
90.计算所述第一梯度图的各个像素点分别在若干个所述直线方向上的卷积结果，获得各个像素点对应的最大卷积结果对应的第一卷积核；
91.将每个像素点的所述第一卷积核对应的第一直线方向作为主方向。
92.具体地，将第一梯度图视为图像二维平面，仅描述图像中的x方向和y方向，然后，将第一梯度图对应的二维平面图像上所有的直线方向平均归结为n个方向，编号为k＝0,1，2,3，
……
n-1，为水平直线绕二维平面图像的原点逆时针旋转kπ/n后得到的直线方向，例如，n＝8时，归结为8个方向，获得的直线方向如图2所示。在获得n个直线方向后，构造与若干个直线方向对应的若干个卷积核。
93.可选地，针对每个直线方向k，令直线方向k经过卷积中心，那么，直线经过的所有卷积核元素都记为1，否则记为0，从而构造出l0～l
(n-1)
个不同的卷积核，获得0～(n-1)共n个卷积核，例如，卷积核的核尺寸长度为5，那么，当n＝8时，获得的卷积核l2为如下矩阵1：
[0094][0095][0096]
在获得若干个卷积核后，计算第一梯度图g的各个像素点分别在n个直线方向上的卷积结果gk，其中，卷积结果其中，表示张量积，从而获得n个卷积结果。
[0097]
然后，获得各个像素点p对应的最大卷积结果，即找出每个像素点的n个卷积结果中最大的卷积结果，然后，根据最大的卷积结果反推出具体是哪个卷积核(l0～l
(n-1)
中的某个)计算得到，将该卷积核设为第一卷积核，将每个像素点的所述第一卷积核对应的第一直线方向作为主方向，即得出在具体某条直线方向上最有可能存在边缘位置。
[0098]
具体地，在获得各个像素点p的主方向后，获得主方向图d，记为d(p)＝argmaxk(gk(p))；k表示argmax的取值对象是变量k，d(p)是指将gk(p)取最大值时的k值作为像素点p的主方向，其中，k∈[0,n-1]，表示编号为0～(n-1)的直线方向，gk(p)表示当前像素点p在方向k上的卷积结果，因此，d(p)表示使得gk(p)取最大值时的k值，为当前像素点p的主方向。
当n＝8时，则k∈[0,7]，对于任意一个像素点p，求出像素点p在方向k＝0或1或2或
……
7上的各个卷积结果，然后在各个卷积结果中获得最大卷积结果gk(p)对应的k(如k＝2)为主方向，从而获得该像素点p的主方向为2，同理，求出所述第一梯度图中各个像素点的主方向，将各个像素点的主方向组合，获得主方向图d，如图3所示，图3为第一梯度图的主方向图。
[0099]
通过计算第一梯度图中各个像素点p的主方向，获得主方向图，从而获得最有可能存在边缘的位置。
[0100]
s104：基于所述第一梯度图和所述卷积核构建笔触结构图。
[0101]
在获得第一梯度图的每个像素点p及其主方向d(p)后，在其中一些实施方式中，基于所述第一梯度图和所述卷积核构建笔触结构图，可以包括：
[0102]
根据每个像素点的主方向，计算每个像素点的响应值，以获得响应值图；
[0103]
在所述响应值图中，计算极大响应值和极小响应值；
[0104]
在图像亮度范围内，根据所述每个像素点的响应值、极大响应值和极小响应值，获得笔触结构图。
[0105]
具体地，在其中一些实施方式中，根据每个像素点的主方向，计算每个像素点的响应值，获得响应值图，可以包括：
[0106]
对所述每个像素点的主方向对应的第一卷积核进行归一化处理，获得所述每个像素点的主方向对应的第二卷积核；
[0107]
将所述第二卷积核内与所述主方向不一致的权重设置为0，获得第三卷积核；
[0108]
利用所述第三卷积核对所述第一梯度图的中心像素点进行卷积处理，获得所述第一梯度图的中心像素点的响应值；
[0109]
将所述第一梯度图中的各个像素点作为中心像素点计算与各像素点对应的响应值，组合各个所述响应值，获得所述第一梯度图对应的响应值图。
[0110]
进一步地，对每个像素点p的主方向对应的第一卷积核归一化处理，获得每个像素点p的第二卷积核；将所述第三卷积核的邻域内不为所述像素点的主方向d(p)的卷积核l
d(p)
设置为0，获得一个针对于该像素点p的第四卷积核l'(p)，最终，计算该像素点p的响应值r(p)，且
[0111]
第一梯度图g如下矩阵2所示：
[0112]
100100100100300100100100400100100100500100100100200100100100600100100100100
[0113]
在第一梯度图g的矩阵2中，中心像素点p＝500，矩阵3为像素点p的主方向图d，主方向图d如下矩阵3所示：
[0114]
[0115][0116]
以计算第一梯度图g的中心像素点p(梯度值为500的点)的响应值为例，在像素点p的主方向图中，发现是编号n＝2的方向，那么，将n＝2的主方向对应的第一卷积核进行归一化处理，获得第二卷积核，其中，归一化是指将卷积核内的元素(权重)归一化，即令所有正项权重之和为1，所有负项权重之和为-1，因此，对第一卷积核(矩阵1)进行归一化处理，获得的第二卷积核，第二卷积核内，与第一卷积核中权重为1的各个权重对应为(1+1+1+1+1)/25＝0.2,25表示第一卷积核的核尺寸为5时，具有25个权重，因此，获得的第二卷积核如下矩阵4所示：
[0117]
00000.20000.20000.20000.20000.20000
[0118]
在第二卷积核中，所有的正项权重之和为0.2+0.2+0.2+0.2+0.2＝1。
[0119]
然后，将所述第二卷积核内与所述主方向不一致的权重设置为0，具体地，该像素点的主方向为2，而在主方向图d(矩阵3)中的第二行第四列的权重为1，不是主方向，因此，将第二行第四列的权重设置为0，获得一个针对于该像素点p的第三卷积核l'(p)如以下矩阵5所示：
[0120]
00000.200000000.20000.20000.20000
[0121]
然后，利用第三卷积核l'(p)(矩阵5)对第一梯度图g的中心像素点做卷积处理，计算第一梯度图g的中心像素点p(权重为500的卷积中心)的响应值则r(p)＝0.2*(300+500+200+600)＝320。
[0122]
在获得中心像素点p的响应值后，将所述第一梯度图中的其他各个像素点作为中心像素点，按照上述中心像素点计算响应值的方式，计算与各像素点对应的响应值，将各个响应值组合，获得第一梯度图对应的响应值图，即，响应值图中的权重与第一梯度图中的像素点的一一对应。
[0123]
通过上述卷积处理，很明显，在第一图像中，非边缘处中心像素点p周围没有与它主方向相同的点，所以，非边缘处的卷积后的响应值较低，因此，使得第一图像中边缘处与非边缘处的响应值出现区分度。
[0124]
在响应值图的所有的响应值中提取出极大响应值r
max
和极小响应值r
min
，在预设图像亮度范围内，根据每个像素点的响应值、极大响应值r
max
和极小响应值r
min
，获得笔触结构
图s。
[0125]
进一步地，预设图像亮度范围用浮点数表示的时候，亮度范围通常表述为[0,1],其中，0表示最暗，1表示最亮；如果预设图像亮度范围用八位无符号整型uint8表示，则亮度范围为[0,255],其中，0表示最暗，255表示最亮。
[0126]
那么，以预设图像亮度范围为[0,1]为例，像素点p在笔触结构图s中的像素值为
[0127]
其中，式一表示在[0,1]范围内，当前r(p)在响应图r整个的变化范围所处的位置，为正系数，用于调整笔触整体的明暗。比如时，
[0128]
函数min(1，m)表示把式一的取值范围限定在[0,1]。
[0129]
因此，r(p)只需要大于等于就可以使得边缘处的颜色最深。
[0130]
如图3所示，图3为第一图像的示意图，如图4所示，图3的第一图像经过处理后获得如图4所示的笔触结构图s。
[0131]
对于第一梯度图中的每一个像素点的主方向查找，以观测第一梯度图中的响应值大小，从而找到最有可能作为边缘的主方向，构建的笔触结构图中，其对应的响应值越大，则笔触越深，反之对应的响应值越小，则笔触越浅，从而能够体现素描线条的铅笔画特点，且通过各种方向的细致直线重复描边而成。
[0132]
s105：在所述第一图像中添加随机白噪声，获得第三图像。
[0133]
为了模拟铅笔质感，可以在所述第一图像中添加随机白噪声，获得第三图像，在其中一些实施方式中，在所述第一图像中添加随机白噪声，获得第三图像，可以包括：
[0134]
获取所述第一图像的像素点的灰度值；
[0135]
在预设灰度值范围取一个随机灰度值；
[0136]
如果所述第一图像的像素点的灰度值小于所述随机灰度值，则保留所述第一图像的像素点的灰度值；
[0137]
如果所述第一图像的像素点的灰度值不小于所述随机灰度值，则增加所述第一图像的像素点的灰度值。
[0138]
具体地，第一图像采用灰度模式表示，灰度模式是指用单一色调表现图像，一个像素的颜色用八位来表示，一共可表现256阶(色阶)的灰色调(含黑和白)，也就是256种明度的灰色。因此，预设灰度值范围可以用[0,255]表示，表示从黑
→
灰
→
白的过渡色阶。第一图像为8bit黑白图像，即第一图像的每个像素用八位来表示，因此，获得第一图像的每个像素点的灰度值，假设当前像素点的灰度值为v，预设灰度值范围为[0,255]，在预设灰度值范围取一个随机灰度值t；如果v＜t，则当前像素点的灰度值保持为v不变，即更新的当前像素点的灰度值v1＝v；如果v≥t，则增加所述当前像素点的灰度值，比如，更新的当前像素点的灰度值v1＝1.5*v+25，使得v1与v呈线性关系。
[0139]
例如，如果当前像素点的灰度值v＝45，随机灰度值t＝60，则v＜t，那么更新的当
前像素点的灰度值v1＝v＝45；如果当前像素点的灰度值v＝70，随机灰度值t＝60，则v＞t，那么更新的当前像素点的灰度值v1＝1.5*v+25＝1.5*70+25＝130，在遍历第一图像中的各个像素点后，更新各个像素点的灰度值，从而获得第三图像。如图5所示，在对图3的第一图像添加随机白噪声后，获得第三图像，该第三图像上有很多噪声点。
[0140]
通过在第一图像中添加随机白噪声，使得到的第三图像在视觉上呈现亮度越大的地方噪声越多，亮度越小的地方噪声越少。在图5中，提高了第一图像的整体亮度，以模拟彩色铅笔画亮度较高的特点。
[0141]
为了模拟着色笔划的流向感，同时为了满足处理视频时前后帧效果连续美观的特点，在所述第一图像中添加随机白噪声，获得第三图像之后，对所述第三图像进行平滑处理，所述方法还可以包括：
[0142]
构建所述第一图像对应的切向流图，所述切向流图包括所述第一图像中的各个像素点对应的切向；
[0143]
将所述第三图像中的各个像素点沿着对应的所述切向进行线积分卷积处理。
[0144]
具体地，需要构建切向流(edge tangent flow，etf)图来进行平滑操作，该平滑操作为线积分卷积(line integral convolution，lic)。线积分卷积lic是一种经典的矢量场可视化方法，该算法可以有效地表征二维矢量场，既能清楚直观地反映出每个像素点的速度方向，又能表达矢量场的细节，lic算法原理可概述为利用一维低通卷积核双向对称地沿流线方向卷积白噪声纹理，最终合成矢量纹理。其中，流线方向为本技术的切向，第二图像中所有像素点的切向之集合即为切向流图，切向流图可以表征第二图像中的每个像素点分别以具体某种方式进行线积分卷积处理，因此，在进行线积分卷积处理时，需要先构造切向流图这个工具。
[0145]
构建所述第一图像对应的切向流图，所述切向流图包括所述第一图像中的各个像素点对应的切向，可以包括：
[0146]
利用梯度算法提取所述第一图像的第二梯度图，所述第二梯度图包括第一图像中各像素点对应的水平梯度和垂直梯度；
[0147]
根据所述第一图像中各像素点对应的水平梯度和垂直梯度，构造所述第二梯度图的各个像素点的结构张量矩阵；
[0148]
计算所述第一图像的当前像素点的当前结构张量矩阵的特征值，获得所述当前结构张量矩阵对应的特征向量；
[0149]
将与所述特征向量垂直的方向作为所述第一图像的当前像素点的切向，获得所述第一图像对应的切向流图。
[0150]
具体地，首先，利用梯度算法提取所述第一图像的第二梯度图，梯度算法可以采用索贝尔(sobel)等梯度算法，提取第一图像的第二梯度图，即提取第一图像的各个像素点的水平梯度(x方向上的梯度)g
x
以及垂直梯度(y方向上的梯度)gy。然后，根据所述第一图像中各像素点对应的水平梯度g
x
和垂直梯度gy，构造所述第二梯度图的各个像素点的结构张量矩阵再利用以下公式1计算结构张量矩阵的两个特征值：
[0151][0152]
其中，e＝g
x2
，f＝g
xgy
，g＝g
y2
，λ1为公式1中的
“±”
取“+”的第一特征值，λ2为公式1中的
“±”
取
“‑”
的第二特征值；因此，得到的第一特征值λ1》第二特征值λ2。针对第一图像中的当前像素点，那么对应的两个特征向量分别公式以下公式2计算得到：
[0153][0154]
其中，当前像素点的特征向量v1大于特征向量v2，则将与特征向量v1垂直的方向作为当前像素点的切向，根据下面的公式3，可以计算出切向所在的直线：
[0155][0156]
其中，t1和t2确定切向所在的直线。
[0157]
按照上述切向计算方式，计算出第一图像的各个像素点的切向，很明显，切向包括正反方向，组合各个像素点的切向，获得第一图像对应的切向流图，得到的切向流图如图6所示，且切向流图包括第一图像中的各个像素点对应的切向。
[0158]
在获得切向流图后，得到切向流图中各个像素点的切向，然后，将所述第三图像中的各个像素点沿着对应的所述切向进行线积分卷积处理。
[0159]
进一步地，对所述第三图像中的各个像素点沿着对应的所述切向进行线积分卷积处理，即对第三图像中的任一像素点，可以沿着像素点对应的切向进行卷积操作，即对沿着像素点对应的切向经过的其他像素点进行加权求和，得到当前像素点的像素值。比如，卷积半径为10，则切向的流线长度为10，那么在对当前像素点o进行平滑时，会以当前像素点o为基准，以切向为方向，查找到切向的流线长度覆盖的其他10个像素点，如当前像素点o的当前切向是水平方向，在卷积操作时，则沿着当前像素点0的水平方向的正方向查找到像素点a1，且向当前像素点0的水平方向的反方向查找到像素点b1；然后，判断像素点a1的切向和像素点b1的切向，比如，像素点a1的切向为水平方向的左上方，像素点b1的切向为水平方向的右上方，那么，在像素点a1的基础上，沿着像素点a1的水平方向的左上方查找到像素点a2，且沿着像素点b1的水平方向的右上方查找到像素点b2，以此类推，从而得到以当前像素点o为基准，以当前像素点0的切向的正反方向，分别查找到切向的流线长度为10的曲线覆盖的各10个像素点，加上当前像素点0，共计21个像素点，并且，在第三图像中，获得这21个像素点的权重，然后，将这21个像素点的权重加权求和，从而得到对当前像素点o的第一次平滑结果。其中，在像素点之间的查找距离为2的欧式距离。
[0160]
还可以设置第二次平滑操作的参数为卷积半径为5，像素点之间的查找距离为1的欧式距离对第一次平滑结果再次平滑处理，获得第二次平滑结果，从而实现对第三图像的2次平滑处理。
[0161]
通过对第三图像的平滑处理，使得获得的第四图像整体模拟着色笔划的流向感，同时也满足处理视频时前后帧效果连续美观。
[0162]
s106：合并所述第三图像和所述第二图像，获得第四图像。
[0163]
在获得2次平滑结果后，合并平滑后的第三图像和第二图像，获得第四图像。
[0164]
具体地，可以将2次平滑结果作为新的亮度分量，与提取了色彩分量的第二图像合并，获得第四图像t，并且，合并方式采用本领域技术中的在色、亮分离颜色空间直接转换回rgb颜色空间，即可实现第三图像和所述第二图像的合并，获得的第四图像t如图7所示。
[0165]
s107：合并所述笔触结构图和所述第四图像，获得带有彩色铅笔画风格的目标图像。
[0166]
在获得笔触结构图和第四图像后，合并所述笔触结构图和所述第四图像，具体地，针对第四图像的各个像素点，获取笔触结构图s的亮度占比，分别乘以第四图像t的rgb三个分量，从而获得目标图像result(r,g,b),为result
(r,g,b)
＝s*t
(r,g,b)
。
[0167]
针对图像具有天空、墙壁、草坪等颜色相似的大面积区域，通过将笔触结构图和第四图像合并，实现大头彩色铅笔进行有方向感的涂抹填充。
[0168]
为了使得目标图像更贴合铅笔画的色彩风格，在其中一些实施方式中，在合并所述笔触结构图和所述第四图像，获得带有彩色铅笔画风格的目标图像之后，所述方法还可以包括：
[0169]
将所述目标图像转换到第一颜色空间中，获得所述目标图像的颜色饱和度，所述第一颜色空间用于表征颜色饱和度；
[0170]
将所述颜色饱和度乘以一个小于1且大于0的常数，获得目标饱和度；
[0171]
将所述目标饱和度转换为第二颜色空间，获得带有目标饱和度的目标图像。
[0172]
具体地，将所述目标图像转换到第一颜色空间中，第一颜色空间用于表征颜色饱和度，可以为hsv颜色空间、hls颜色空间。从而获得目标图像的颜色饱和度，将所述颜色饱和度乘以一个小于1且大于0的常数σ，例如，常数σ＝0.8，获得目标饱和度，从而降低画面整体的色彩饱和度。再将目标饱和度转换为第二颜色空间，获得带有目标饱和度的目标图像，第二颜色空间可以为rgb颜色空间，获得带有目标饱和度的目标图像，适当降低画面整体的色彩饱和度，获得更贴近于铅笔画艺术特点的色彩效果。如图8所示，图8为待处理图像，在图8经过上述处理后，获得如图9所示的带有目标饱和度的目标图像。
[0173]
本技术的实施例，从待处理图像中提取亮度分量，以获得第一图像，且从所述待处理图像中提取色彩分量，以获得第二图像，然后，利用梯度算子提取所述第一图像的第一梯度图，从而获得第一图像中的边缘位置；基于所述第一梯度图获得所述第一梯度图中每个像素点的主方向以及所述主方向对应的卷积核，以描绘出边缘位置的直线段，从而获得素描中的直线段效果；基于所述第一梯度图和所述卷积核构建笔触结构图，获得与边缘位置对应的笔触效果；在所述第一图像中添加随机白噪声，获得第二图像，使得待处理图像上的随机位置可以叠加一些笔划的流向感，以便于满足图像为视频时前后帧效果的连贯性；合并所述第三图像和所述第二图像，获得第四图像，从而获得带有色彩的图像，且模拟彩色铅笔涂抹为图像上色，提高画面亮度；合并所述笔触结构图和所述第四图像，获得带有彩色铅笔画风格的目标图像，从而使得目标图像能够模拟铅笔素描勾勒出的图像中所有事物的轮廓，且模拟彩色铅笔为所有事物上色的涂抹感。本技术的图像的彩色铅笔画风格化方法处理流程清晰简单、计算效率高、获得的目标图像带有优秀的艺术效果的彩色铅笔画风格，不仅可以将单张图像快速处理为彩色铅笔画风格，还可以实时处理终端相机的视频流，使用户拥有彩色铅笔画滤镜的相机。
[0174]
本技术实施例还提供了一种图像的彩色铅笔画风格化装置，请参阅图10，其示出
了本技术实施例提供的一种图像的彩色铅笔画风格化装置的结构，该图像的彩色铅笔画风格化装置900包括：
[0175]
第一提取模块901，用于从待处理图像中提取亮度分量，以获得第一图像，且从所述待处理图像中提取色彩分量，以获得第二图像；
[0176]
第二提取模块902，用于利用梯度算子提取所述第一图像的第一梯度图；
[0177]
主方向获取模块903，用于基于所述第一梯度图获得所述第一梯度图中每个像素点的主方向以及所述主方向对应的卷积核；
[0178]
笔触结构图获取模块904，用于基于所述第一梯度图和所述卷积核构建笔触结构图；
[0179]
添加模块905，用于在所述第一图像中添加随机白噪声，获得第三图像；
[0180]
第一合并模块906，用于合并所述第三图像和所述第二图像，获得第四图像；
[0181]
第二合并模块907，用于合并所述笔触结构图和所述第四图像，获得带有彩色铅笔画风格的目标图像。
[0182]
本技术的实施例，从待处理图像中提取亮度分量，以获得第一图像，且从所述待处理图像中提取色彩分量，以获得第二图像，然后，利用梯度算子提取所述第一图像的第一梯度图，从而获得第一图像中的边缘位置；基于所述第一梯度图获得所述第一梯度图中每个像素点的主方向以及所述主方向对应的卷积核，以描绘出边缘位置的直线段，从而获得素描中的直线段效果；基于所述第一梯度图和所述卷积核构建笔触结构图，获得与边缘位置对应的笔触效果；在所述第一图像中添加随机白噪声，获得第二图像，使得待处理图像上的随机位置可以叠加一些笔划的流向感，以便于满足图像为视频时前后帧效果的连贯性；合并所述第三图像和所述第二图像，获得第四图像，从而获得带有色彩的图像，且模拟彩色铅笔涂抹为图像上色，提高画面亮度；合并所述笔触结构图和所述第四图像，获得带有彩色铅笔画风格的目标图像，从而使得目标图像能够模拟铅笔素描勾勒出的图像中所有事物的轮廓，且模拟彩色铅笔为所有事物上色的涂抹感。本技术的图像的彩色铅笔画风格化方法处理流程清晰简单、计算效率高、获得的目标图像带有优秀的艺术效果的彩色铅笔画风格，不仅可以将单张图像快速处理为彩色铅笔画风格，还可以实时处理终端相机的视频流，使用户拥有彩色铅笔画滤镜的相机。
[0183]
在一些实施例中，主方向获取模块903，还用于：
[0184]
根据所述第一梯度图对应的二维平面图像中的若干个直线方向，构造与若干个直线方向对应的若干个卷积核；
[0185]
计算所述第一梯度图的各个像素点分别在若干个所述直线方向上的卷积结果，获得各个像素点对应的最大卷积结果对应的第一卷积核；
[0186]
将每个像素点的所述第一卷积核对应的第一直线方向作为主方向。
[0187]
在一些实施例中，笔触结构图获取模块904，还用于：
[0188]
根据每个像素点的主方向，计算每个像素点的响应值，以获得响应值图；
[0189]
在所述响应值图中，计算极大响应值和极小响应值；
[0190]
在预设图像亮度范围内，根据所述每个像素点的响应值、极大响应值和极小响应值，获得笔触结构图。
[0191]
在一些实施例中，笔触结构图获取模块904，还用于：
[0192]
对所述每个像素点的主方向对应的第一卷积核进行归一化处理，获得所述每个像素点的主方向对应的第二卷积核；
[0193]
将所述第二卷积核内与所述主方向不一致的权重设置为0，获得第三卷积核；
[0194]
利用所述第三卷积核对所述第一梯度图的中心像素点进行卷积处理，获得所述第一梯度图的中心像素点的响应值；
[0195]
将所述第一梯度图中的各个像素点作为中心像素点计算与各像素点对应的响应值，组合各个所述响应值，获得所述第一梯度图对应的响应值图。
[0196]
在一些实施例中，如图11所示，该图像的彩色铅笔画风格化装置900还包括平滑模块908，用于：
[0197]
构建所述第一图像对应的切向流图，所述切向流图包括所述第一图像中的各个像素点对应的切向；
[0198]
将所述第三图像中的各个像素点沿着对应的所述切向进行线积分卷积处理。
[0199]
在一些实施例中，平滑模块908，还用于：
[0200]
利用梯度算法提取所述第一图像的第二梯度图，所述第二梯度图包括第一图像中各像素点对应的水平梯度和垂直梯度；
[0201]
根据所述第一图像中各像素点对应的水平梯度和垂直梯度，构造所述第二梯度图的各个像素点的结构张量矩阵；
[0202]
计算所述第一图像的当前像素点的当前结构张量矩阵的特征值，获得所述当前结构张量矩阵对应的特征向量；
[0203]
将与所述特征向量垂直的方向作为所述第一图像的当前像素点的切向；
[0204]
计算所述第一图像的各个像素点的切向，以获得所述第一图像对应的切向流图。
[0205]
在一些实施例中，如图11所示，图像的彩色铅笔画风格化装置900还包括饱和度调整模块909，用于：
[0206]
将所述目标图像转换到第一颜色空间中，获得所述目标图像的颜色饱和度，所述第一颜色空间用于表征颜色饱和度；
[0207]
将所述颜色饱和度乘以一个小于1且大于0的常数，获得目标饱和度；
[0208]
将所述目标饱和度转换为第二颜色空间，获得带有目标饱和度的目标图像。
[0209]
需要说明的是，上述装置可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在装置实施例中详尽描述的技术细节，可参见本技术实施例所提供的方法。
[0210]
图12为电子设备的一个实施例中控制器的硬件结构示意图，如图12所示，控制器包括：
[0211]
一个或多个处理器111、存储器112。图12中以一个处理器111、一个存储器112为例。
[0212]
处理器111、存储器112可以通过总线或者其他方式连接，图12中以通过总线连接为例。
[0213]
存储器112作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施例中的图像的彩色铅笔画风格化方法对应的程序指令/模块(例如，附图10-11所示的第一提取模块901、第二提取模块902、
主方向获取模块903、笔触结构图获取模块904、添加模块905、第一合并模块906、第二合并模块907、平滑模块908、饱和度调整模块909)。处理器111通过运行存储在存储器112中的非易失性软件程序、指令以及模块，从而执行控制器的各种功能应用以及数据处理，即实现上述方法实施例的图像的彩色铅笔画风格化方法。
[0214]
存储器112可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据人员进出检测装置的使用所创建的数据等。此外，存储器112可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器112可选包括相对于处理器111远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0215]
所述一个或者多个模块存储在所述存储器112中，当被所述一个或者多个处理器111执行时，执行上述任意方法实施例中的图像的彩色铅笔画风格化方法，例如，执行以上描述的图1中的方法步骤s101至步骤s107；实现图10-11中的模块901-909的功能。
[0216]
上述产品可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本技术实施例所提供的方法。
[0217]
本技术实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图12中的一个处理器111，可使得上述一个或多个处理器可执行上述任意方法实施例中的图像的彩色铅笔画风格化方法，例如，执行以上描述的图1中的方法步骤s101至步骤s107；实现图10-11中的模块901-909的功能。
[0218]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0219]
通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,rom)或随机存储记忆体(randomaccessmemory,ram)等。
[0220]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。