基于梯度修正和多向纹理提取的素描画生成方法及装置与流程

文档序号：12064809阅读：222来源：国知局

本发明属于图像处理技术领域，具体涉及基于梯度修正和多向纹理提取的素描画生成方法及装置。

背景技术：

朋友圈中个人动态的更新，游玩自拍等都可以看到图像的身影；同时，在互联网上也有大量的图像浏览、分享和下载，相应的关于图像的处理技术也越来越受到大家的关注。在图像处理技术中，图像的风格化处理、艺术效果的添加等都很受大家的青睐。素描画是图像艺术中较为常见和基础的表现方式。但对于素描画的人工创作，必须要求创作者有一定的美术功底和设计能力，同时个人的艺术水平也会大大影响最终素描画的表现效果。对于一些专业的图像处理软件，如Photoshop等，虽然可以得到相当好的图像处理效果，但对使用者有一定的技术能力要求。当然在操作步骤上也比较繁琐和复杂，效率也不高。因此，借助于计算机快速而高效的生成素描画，具有重要的应用前景。计算机快速自动生成铅笔手绘图像具有重要的应用及娱乐价值。

在现有的素描画生成方法中，纹理的生成方法比较复杂，运行速度慢；而且，在纹理的生成上无法有效的考虑素描效果的整体层次感和明暗对比效果。

作者为孙丹丹的硕士学位论文《基于图像的铅笔画仿真方法研究》公开了一种应用运动模糊方法仿真铅笔画纹理的方法。该方法在确定纹理方向和生成白噪声图的基础上，主要应用运动模糊滤波器来模拟铅笔的纹理。其中，在确定纹理走向时，选择一个方向作为主体方向，用以体现纹理走向。但是，在单一纹理方向的素描图，很容易造成信息的丢失，而且，不能很好的凸显素描图的整体意境。

技术实现要素：

本发明的目的是提供一种基于梯度修正和多向纹理提取的素描画生成方法及装置，用以解决目前现有素描画生成方法中使用单一纹理方向造成的信息丢失、从而造成画面不真实的问题。

为解决上述技术问题，本发明提供一种基于梯度修正和多向纹理提取的素描画生成方法，包括九个方法方案：

方法方案一，包括如下步骤：

1)将输入图像进行灰度变换，得到灰度图像；

2)将灰度图像进行处理得到预处理图像，将预处理图像进行图像分割处理，得到分割图；

3)将灰度图像进行梯度处理，得到梯度信息；根据梯度信息，确定所述分割图的各个分割区域的纹理走向；

4)根据输入图像生成白噪声图像；

5)结合所述分割图的各个分割区域的纹理走向和白噪声图，生成纹理图；

6)将输入图像进行处理，得到轮廓图；

7)将纹理图和轮廓图融合，生成素描图。

方法方案二，在方法方案一的基础上，还包括使用多尺度形态学开闭重建运算，对灰度图像进行处理得到预处理图像的步骤：

所述多尺度形态学开闭重建运算为用不同尺寸的结构元素，对灰度图像进行形态学开闭重建运算，将处理结果相加求平均，得到预处理图像；

所述多尺度结构元素定义如下：

其中，n为尺度结构元素的尺度参数，为一正数，在本方法中令n＝3；b为基本结构元素；表示形态学处理中的腐蚀操作；上式的含义是，大的结构元素是通过小的结构元素不断腐蚀得到的。

方法方案三，在方法方案一的基础上，还包括将预处理图像进行分水岭图像分割处理，得到分割图的步骤：

将预处理图作形态学梯度处理，生成形态学梯度图；形态学梯度图＝预处理图像的膨胀图-预处理图像的腐蚀图；

对预处理图进行形态学开重建和形态学闭重建操作，作滤波平滑，得到滤波平滑图；

根据滤波平滑图，计算前景标记和背景标记；

根据前景标记和背景标记，修改形态学梯度图，进行分水岭分割，得到分割图。

方法方案四，在方法方案三的基础上，所述计算前景标记和背景标记的步骤为：

求取滤波平滑图的局部极大值二值图像，对局部极大值二值图像作形态学开闭运算，平滑边缘，并去除图像中像素个数小于20的局部极小值区域，移除孤立像素点，得到前景标记图；

对滤波平滑图，用最大类间方差Otsu法求阈值，然后进行二值化，得到二值图像；所述最大类间方差Otsu法求阈值包括：

设滤波平滑图的灰度范围为{0,1,2,3......l}，灰度i的像素数为n_i，记图像的总像素数为灰度为i的像素出现的概率为：

选择一个阈值t∈[1,l-1]，阈值t将图像的灰度像素分割成C₁:{0,1,2......,t}和C₂:{t+1,t+2,......,l}两部分，C₁、C₂出现的概率分别为：

其对应的均值分别为：

图像的总体灰度均值为：

阈值所分得的两个区域的最大类间方差为：

采用遍历的方法，在t∈[1,l-1]的范围内，求取使得最大的阈值t，即为所求阈值；

对二值图像进行距离变换，分水岭分割，得到的分水线图像作为背景标记。

方法方案五，在方法方案一的基础上，所述梯度信息即为梯度角度的正切值：

tanθ＝[Fy/Fx]

其中，Fx为灰度图像经过梯度处理后，得到的水平方向的梯度值；Fy为灰度图像经过梯度处理后，得到的垂直方向的梯度值；θ为梯度角度，tanθ为梯度角度的正切值。

方法方案六，在方法方案一的基础上，所述确定分割图的各个分割区域的纹理走向包括：

将各个分割区域中每个像素所对应的梯度角度正切值与零进行比较：若像素的梯度角度正切值大于零，记录此像素点的纹理方向为45度；否则，记录此像素点的纹理方向为-45度；即：

其中，I_input为输入的像素，N_i为第i个分割区域，I_input_tanθ为输入像素的梯度正切值，I_output_θ为输出像素的纹理方向；

统计同一分割区域中，45度纹理方向和-45度纹理方向的像素点数目，分别记录为num1和num2；即：

其中，num1的初始值为：num1＝0；num2的初始值为：num2＝0；

比较num1和num2的大小：若num1大于num2，则此分割区域的纹理方向为45度；若num1小于等于num2，则此分割区域的纹理方向为-45度；即：

其中，N_i_θ为分割区域i的纹理方向。

方法方案七，在方法方案一的基础上，还包括将输入图像由RGB颜色空间转换到HSV颜色空间，并提取V分量，结合分割图和V分量添加白噪声，生成白噪声图的步骤：

在提取的V分量图上计算每个分割区域的平均亮度值R_i，R_i表示第i个分割区域；

将亮度图像中每个区域的像素点和区域平均值进行比较，按照下述公式求取新的像素值：

T1＝k1·(1-I_input),k1∈[0,1.0]

T2＝k2·(1-I_input),k2∈[0,1.0]

其中，I_input为输入像素的亮度值，I_output是输出像素的亮度值；I_output1为在输入像素的亮度值I_input小于等于区域i内所有像素的平均值R_i时，输出像素的亮度值I_output的取值；I_output2为在输入像素的亮度值I_input大于区域i内所有像素的平均值R_i时，输出像素的亮度值I_output的取值；T1和T2公式中的两个变量值；p为一个随机数，取值范围：p∈(0,1)；R_i为区域i内所有像素的平均亮度值，I_max1、I_max2为输出噪声的最大亮度值，通常为1；I为一个常数可由用户根据需要进行定义，本方法中令I＝0.2，式中k1和k2是两个经验值，本方法中k1＝0.7，k2＝0.3。

方法方案八，在方法方案一的基础上，所述纹理图是结合分割图的各个分割区域的纹理走向和白噪声图，由运动模糊滤波器进行滤波生成。

方法方案九，在方法方案一的基础上，所述轮廓图是将输入图像进行霓虹处理生成。

另外，本发明还提供一种基于梯度修正和多向纹理提取的素描画生成装置，包括如下模块：

用于将输入图像进行灰度变换，得到灰度图像的模块；

用于将灰度图像进行处理得到预处理图像，将预处理图像进行图像分割处理，得到分割图的模块；

用于将灰度图像进行梯度处理，得到梯度信息；根据梯度信息，确定所述分割图的各个分割区域的纹理走向的模块；

用于根据输入图像生成白噪声图像的模块；

用于结合所述分割图的各个分割区域的纹理走向和白噪声图，生成纹理图的模块；

用于将输入图像进行处理，得到轮廓图的模块；

用于将纹理图和轮廓图融合，生成素描图的模块。

本发明的有益效果：

本发明将输入图进行灰度变换、梯度处理，对灰度图进行图像分割，获得分割图；根据梯度处理和分割图，获得纹理方向；对输入图像添加白噪声，再根据纹理方向，生成纹理图；将输入图进行处理获得轮廓图；将纹理图和轮廓图融合生成素描图。

本发明在简化了传统的使用线积分卷积方法模拟素描画纹理生成过程的基础上，不再使用单一方向的纹理图，而使用多方向的纹理，使得生成的素描画接近于真实的手绘素描效果、更加有层次感，素描效果更加丰富和鲜活；而且，在确定纹理方向、添加白噪声前对灰度图像进行图像分割，对图像中不同特征的区域分开处理，针对各个区域的不同特性来进行处理，使得图像的层次感、明暗效果更好，更好地表达图像的整体信息。

附图说明

图1是本发明的方法流程图；

图2是原始输入图像；

图3是灰度图；

图4是多尺度形态学开闭重建运算后的图；

图5是分割图；

图6是添加白噪声后的生成图；

图7是合成的方向纹理图；

图8是提取的轮廓图；

图9是生成的素描图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步的详细说明。

本发明的基于梯度修正和多向纹理提取的素描画生成方法步骤如下：

1、将原始图作为输入图像进行灰度变换，得到灰度图像。

2、用多尺度形态学开闭重建运算，对灰度图进行处理得到预处理图像。

多尺度形态学开闭重建运算为用不同尺寸的结构元素，对灰度图像进行形态学开闭重建运算，将处理结果相加求平均，得到预处理图像。在多尺度形态学开闭重建运算中，多尺度结构元素定义如下：

3、对预处理后的图像，进行基于标记的分水岭图像分割处理，获得分割图，具体步骤如下：

1)将预处理图作形态学梯度处理，生成形态学梯度图；

其中，形态学梯度图＝预处理图像的膨胀图-预处理图像的腐蚀图；

2)对预处理图进行形态学开重建和形态学闭重建操作，作滤波平滑，得到滤波平滑图；

3)根据滤波平滑图，计算前景标记和背景标记；

求取滤波平滑图的局部极大值二值图像，对局部极大值二值图像作形态学开闭运算，平滑边缘，并去除图像中像素个数小于20的局部极小值区域，移除孤立像素点，得到前景标记图。

对滤波平滑图，用最大类间方差Otsu法求阈值，然后进行二值化，得到二值图像。最大类间方差Otsu法求阈值的过程如下：

设滤波平滑图的灰度范围为{0,1,2,3......l}，灰度i的像素数为n_i，记图像的总像素数为灰度为i的像素出现的概率为：

选择一个阈值t∈[1,l-1]，阈值t将图像的灰度像素分割成C₁:{0,1,2......,t}和C₂:{t+1,t+2,......,l}两部分，C₁、C₂出现的概率分别为：

其对应的均值分别为：

图像的总体灰度均值为：

阈值所分得的两个区域的最大类间方差为：

采用遍历的方法，在t∈[1,l-1]的范围内，求取使得最大的阈值t，即为所求阈值。

对二值图像进行距离变换，分水岭分割，得到的分水线图像作为背景标记。

4)根据前景标记和背景标记，修改形态学梯度图，进行分水岭分割。用强制修改技术修改第二步得到的梯度图，第四步得到的前景标记和背景标记，作为分水岭分割的标记，进行分水岭分割，得到分割图。统计分割后的区域个数，并使用中值滤波消除分割线。

4、对灰度图像进行梯度处理，记灰度图的水平方向的梯度值为Fx，灰度图的垂直方向的梯度值为Fy，求取梯度角度的正切值：

tanθ＝[Fy/Fx]

其中，Fx为灰度图像经过梯度处理后、得到的水平方向的梯度值；Fy为灰度图像经过梯度处理后、得到的垂直方向的梯度值；θ为梯度角度，tanθ为梯度角度的正切值。

5、根据上步梯度处理的结果，获得各个分割区域的纹理方法。纹理方向是表现素描信息的重要手段，在现实的素描画中较为常见的纹理方向是30度至60度之间或-30度至-60度之间；本文经过实验和对比，选择了45度和-45度作为纹理的方向。具体方法为：

1)将各个分割区域中每个像素所对应的梯度角度正切值与零进行比较：若像素的梯度角度正切值大于零，记录此像素点的纹理方向为45度；否则，记录此像素点的纹理方向为-45度；即：

其中，I_input为输入的像素，N_i为第i个分割区域，I_input_tanθ为输入像素的梯度正切值，I_output_θ为输出像素的纹理方向；

2)统计同一分割区域中，45度纹理方向和-45度纹理方向的像素点数目，分别记录为num1和num2；即：

其中，num1的初始值为：num1＝0；num2的初始值为：num2＝0；

3)比较num1和num2的大小：若num1大于num2，则此分割区域的纹理方向为45度；若num1小于等于num2，则此分割区域的纹理方向为-45度；即：

其中，N_i_θ为分割区域i的纹理方向。

6、将输入图像由RGB颜色空间转换到HSV颜色空间，并提取V分量图；结合分割图和V分量图，生成白噪声图像。白噪声添加方法为：

1)在提取的V分量图上计算每个分割区域的平均亮度值R_i，R_i表示第i个分割区域；

2)将亮度图像中每个区域的像素点和区域平均值进行比较，按照下述公式求取新的像素值：

T1＝k1·(1-I_input),k1∈[0,1.0]

T2＝k2·(1-I_input),k2∈[0,1.0]

3)将添加白噪声后的图像按纹理方向分割成45度纹理方向的白噪声图和-45度纹理方向的白噪声图。分割所得的白噪声图中空白区域均用白色填充。

7、根据分割图的各个分割区域的纹理走向和白噪声图，由运动模糊滤波器进行滤波生成纹理图。

运动模糊(Motion Blur)滤镜是一种用来抓取物体运动状态的效果滤镜，沿特定方向并以特定强度对图像进行模糊处理。由运动滤波器产生的运动模糊效果和铅笔纹理有很好的相似性，应用该方法来模拟铅笔的纹理。

对分割后的白噪声图分别使用运动模糊滤波器进行滤波生成。其中，生成运动滤波器的预定义模板在MATLAB中的代码为：

h＝fspecial('motion',len,phi)

其中，phi为运动模糊滤波的滤波方向，取纹理方向；len为运动滤波的强度，取len＝10；用运动滤波器的预定义模板，对分割后的白噪声图进行滤波。

8、将输入图进行霓虹处理，得到轮廓图。

9、将运动模糊滤波后的两幅方向纹理图，即纹理图和轮廓图，进行图像的点乘，融合生成最终的纹理图。

在本实施例中，使用霓虹处理方法得到素描图像的轮廓图；作为其他实施方式，还可以使用以一阶导数为基础的边缘检测算子，通过计算图像的梯度值来检测一个输入图像的轮廓，比如Candy算子、Sobel算子、Prewitt算子，以实现对输入图像轮廓的提取。