一种素描生成方法及装置与流程

本发明涉及图像处理技术领域，特别是涉及一种素描生成方法及装置。

背景技术：

素描是一种用铅笔或粉笔等为媒介，以线条来表现物体或景象的艺术，也是画家意图最直率的流露。素描是一种正式的艺术创作，以单色线条来表现直观世界中的事物，更着重结构和形式的体现，素描是一切绘画的基础，这是研究绘画艺术所必须经过的一个阶段。

而随着科技的发展，智能机器人的运用领域越来越广泛，在生活中也广泛地运用了智能机器人，能画画的机器人也受到人们的欢迎，其一般是通过图片处理的功能，将图片转化为卡通、水墨画等不同风格的图片，但目前还未出现可自动生成素描的智能机器人。

素描是图像风格化的一种，现实生活中的素描主要以铅笔为工具，用线条来表现人物或风景的艺术形式。目前用户想要获取素描图片，一般都需要专业的人士人工来完成，即使专业人士完成一幅素描也需要较长时间，且对同样的人物或景物再次进行素描时，也仍然还需同样的时间，费时费力，不仅成本高，而且极不方便。

技术实现要素：

为克服上述现有技术存在的不足，本发明之目的在于提供一种素描生成方法及装置，以实现根据任意实景自动完成素描画创作的目的。

为达上述及其它目的，本发明提出一种素描生成方法，包括如下步骤：

步骤s1，获取所要用于训练的实景图像及其对应的素描画图像；

步骤s2，对所获得的实景图像进行灰度处理；

步骤s3，将经过灰度处理的实景图像与对应的素描画图像重叠；

步骤s4，将所述实景图像作为输入项，对应的素描画图像作为输出项，利用条件生成对抗网络进行学习，并通过多幅实景图像与素描画图像一一对应反复训练，建立所述素描画模型。

优选地，步骤s4后进一步包括：

获取所要生成素描作品的原始实景图像，对所述原始实景图像进行灰度处理，使图像呈现黑白灰状态；

将经灰度处理后的原始实景图像输入所述素描画模型，生成素描作品。

优选地，于步骤s2中，采用加权平均法对所述实景图像进行灰度处理。

优选地，于步骤s3中，将所述实景图像与对应的素描画图像设置为相对接近的1:1的等比例大小尺寸的图像，使得所述实景图像与素描画图像从像素到像素对应。

优选地，所述条件生成对抗网络包括生成器g和判别器d，在训练时，所述生成器g用于捕捉样本数据的分布，所述判别器d用于估计一个样本来自于真实数据而非生成样本的概率。

优选地，所述判别器d为一个二分类器，如果样本来自于真实的训练数据，则所述判别器d输出大概率，否则，所述判别器d输出小概率，所述判别器d不断地更新，且通过将判别结果作为所述生成器g的优化目标去指引所述生成器g优化，从而起到了生成器g目标函数的作用。

优选地，于训练时，所述生成器g要最小化其目标函数值，所述判别器d要最大化其目标函数值，于两者达到稳态时，即判别器d的输出接近1/2时，完成训练。

优选地，所述目标函数使用l1距离生成。

为达到上述目的，本发明还提供一种素描生成装置，包括如下步骤：

实景图像与素描画图像获取单元，用于获取所要用于训练的实景图像及其对应的素描画图像；

第一灰度处理单元，用于对所获得的实景图像进行灰度处理；

重叠处理单元，用于将经过灰度处理的实景图像与对应的素描画图像重叠；

训练学习单元，用于将所述实景图像作为输入项，对应的素描画图像作为输出项，利用条件生成对抗网络进行学习，并通过多幅实景图像与素描画图像一一对应反复训练，建立所述素描画模型。

优选地，所述装置还包括：

第二灰度处理单元，用于获取所要生成素描作品的原始实景图像，对所述原始实景图像进行灰度处理，使图像呈现黑白灰状态；

素描作品生成单元，用于将经灰度处理后的原始实景图像输入所述素描画模型，生成素描作品。

与现有技术相比，本发明一种素描生成方法及装置通过使获取的实景图像及对应的1：1的素描画图像利用条件生成对抗网络学习训练获得素描画模型，并利用素描画模型自动生成素描作品，可以使用较少的学习样本得到素描画模型，并能够利用素描画模型根据任意实景完成素描画创作，通过本发明得到的素描画作品效果更贴近真实景物，素描画效果好。

附图说明

图1为本发明一种素描生成方法第一实施例的步骤流程图；

图2为本发明一种素描生成方法第二实施例的步骤流程图；

图3为本发明具体实施例中条件生成对抗网络的结构示意图；

图4为本发明一种素描生成装置第一实施例的系统架构图；

图5为本发明一种素描生成装置第二实施例的系统架构图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种素描生成方法的步骤流程图。如图1所示，本发明一种素描生成方法，包括如下步骤：

步骤s1，获取所要用于训练的实景图像及其对应的素描画的图像。在本发明具体实施例中，利用摄像装置获取所要用于训练的实景图像，并获取其对应的素描画的图像，也就是说，用于训练的实景图像必须存在至少一幅对应的素描作品，然后需要利用摄像装置对所要素描绘画的绘画真实景物根据绘画对应的角度进行拍照，并对素描画完成后的素描作品进行扫描，获取所要素描的实景图像与其对应素描画的图像数据。

步骤s2，对所述实景图像进行灰度处理。在本发明具体实施例中，实景图像是通过摄像装置拍摄获得的彩色图像，彩色图像是由多个像素点组成，且每个像素点都由rgb三个值表示，对图像进行灰度处理，并不会影响图像的纹理特征信息，而且每个像素点只需一个灰度值便可表示，大大提高了图像处理效率。本发明对实景图像的灰度处理采用加权平均法，以下为本发明所采用的灰度处理加权平均法公式：

f(i，j)＝0.30r(i，j)+0.59g(i，j)+0.11b(i，j)(公式1)

其中，i、j代表一个像素点在二维空间向量的位置，即：第i行，第j列。

根据上述公式1，计算实景图像每个像素点的灰度值，取值范围是0-255，使实景图像呈现黑白灰状态。

步骤s3，将经过灰度处理的实景图像与对应的素描画图像重叠。在本发明具体实施例中，将实景图像与对应的素描画图像设置为相对接近的1:1的等比例大小尺寸的图像，使得原始的实景图像与素描画图像从像素到像素对应。例如将实景图像与对应的素描画图像都设为1080p(1920px＊1080px)，图像中的各个物品的大小比例均基本一致能够互相重合，根据素描画的大小和包含内容对实景图像进行切割，去掉实景图像中多余部分的图像区域。

步骤s4，将实景图像作为输入项，对应的素描画图像作为输出项，利用条件生成对抗网络(gan)进行学习，并通过多幅实景图像与素描画图像一一对应反复训练，建立素描画模型。

如图2所示，条件生成对抗网络(gan)由生成模型(generativemodel，生成器g)和判别模型(discriminativemodel，判别器d)组成，在训练时，生成器g用于捕捉样本数据的分布，判别器d为一个二分类器，用于估计一个样本来自于真实数据而非生成样本的概率，如果样本来自于真实的训练数据，则d输出大概率，否则，d输出小概率，判别器d不断地更新，且通过将判别结果作为生成器g的优化目标去指引生成器g如何优化，从而起到了生成器g目标函数的作用。如果对于模糊不清的转化结果，判别器d就可以轻易将其与真正的图片区别开来，同时又指导生成器g去生成更加清晰可靠的图片。因而，gan一方面学习产生目标函数，另一方面又根据学习到的目标函数去对模型进行优化。对于条件gan，其目标函数可以表示为：

其中，g(x,z)为模型转化后的图片，y为真实转化的图片即素描画图像，x为转化前的图片即实景照片图像，判别器d在进行判别时，不仅仅会考虑转化后图片是否符合指定的素描风格，而且会考虑转化后图片的内容与原始的景物图片是否对应。训练时，生成器g想要最小化这个函数值，判别器d想要最大化这个函数值，即用如下公式表示：

较佳地，本发明要求生成器g生成的图片不仅仅需要可以骗过判别器d，而且需要其与真正转化后的图片在像素点上的距离尽可能的接近。由于使用l1范数可以比l2范数产生更加清晰的图片，为了产生更清晰的图片，本发明使用l1距离，故目标函数转化为：

最后得到：

当两个模型(生成模型和判别模型)达到稳态时，即判别模型d的输出接近1/2时，完成训练。

较佳地，如图3所示，本发明一种素描生成方法还包括：

步骤s5，获取所要生成素描作品的原始实景图像，对所述原始实景图像进行灰度处理，使图像呈现黑白灰状态；

步骤s6，将经灰度处理后的原始实景图像输入所述素描画模型，生成素描作品。也就是说，利用经训练好的素描画模型对经灰度处理后的原始实景图像进行处理，获得素描作品。

图4为本发明一种素描生成装置的系统架构图。如图4所示，本发明一种素描生成装置，包括如下步骤：

实景图像与素描画图像获取单元401，用于获取所要用于训练的实景图像及其对应的素描画的图像。在本发明具体实施例中，实景图像与素描画图像获取单元401利用摄像装置获取所要用于训练的实景图像，并获取其对应的素描画的图像，也就是说，用于训练的实景图像必须存在至少一幅对应的素描作品，然后需要利用摄像装置对所要素描绘画的绘画真实景物根据绘画对应的角度进行拍照，并对素描画完成后的素描作品进行扫描，获取所要素描的实景图像与其对应素描画的图像数据。

第一灰度处理单元402，用于对所述实景图像进行灰度处理。在本发明具体实施例中，实景图像是通过摄像装置拍摄获得的彩色图像，彩色图像是由多个像素点组成，且每个像素点都由rgb三个值表示，对图像进行灰度处理，并不会影响图像的纹理特征信息，而且每个像素点只需一个灰度值便可表示，大大提高了图像处理效率。第一灰度处理单元402对实景图像的灰度处理采用加权平均法，以下为第一灰度处理单元402所采用的灰度处理加权平均法公式：

f(i，j)＝0.30r(i，j)+0.59g(i，j)+0.11b(i，j)

其中，i、j代表一个像素点在二维空间向量的位置，即：第i行，第j列。

第一灰度处理单元402根据上述公式，计算实景图像每个像素点的灰度值，取值范围是0-255，使实景图像呈现黑白灰状态。

重叠处理单元403，用于将经过灰度处理的实景图像与对应的素描画图像重叠。在本发明具体实施例中，重叠处理单元403将实景图像与对应的素描画图像设置为相对接近的1:1的等比例大小尺寸的图像，使得原始的实景图像与素描画图像从像素到像素对应。例如将实景图像与对应的素描画图像都设为1080p(1920px＊1080px)，图像中的各个物品的大小比例均基本一致能够互相重合，根据素描画的大小和包含内容对实景图像进行切割，去掉实景图像中多余部分的图像区域。

训练学习单元404，用于将实景图像作为输入项，对应的素描画图像作为输出项，利用条件生成对抗网络(gan)进行学习，并通过多幅实景图像与素描画图像一一对应反复训练，建立素描画模型。

在本发明具体实施例中，条件生成对抗网络(gan)由生成模型(generativemodel，生成器g)和判别模型(discriminativemodel，判别器d)组成，在训练时，生成器g用于捕捉样本数据的分布，判别器d为一个二分类器，用于估计一个样本来自于真实数据而非生成样本的概率，如果样本数据来自于真实的训练数据，则d输出大概率，否则，d输出小概率，判别器d不断地更新，且通过将判别结果作为生成器g的优化目标去指引生成器g如何优化，从而起到了生成器g目标函数的作用。如果对于模糊不清的转化结果，判别器d就可以轻易将其与真正的图片区别开来，同时又指导生成器g去生成更加清晰可靠的图片。因而，gan一方面学习产生目标函数，另一方面又根据学习到的目标函数去对模型进行优化。对于条件gan，其目标函数可以表示为：

其中，g(x,z)为模型转化后的图片，y为真实转化的图片即素描画图像，x为转化前的图片即实景照片图像，判别器d在进行判别时，不仅仅会考虑转化后图片是否符合指定的素描风格，而且会考虑转化后图片的内容与原始的景物图片是否对应。训练时，生成器g想要最小化这个函数值，判别器d想要最大化这个函数值，即用如下公式表示：

较佳地，本发明要求生成器g生成的图片不仅仅需要可以骗过判别器d，而且需要其与真正转化后的图片在像素点上的距离尽可能的接近。由于使用l1可以比l2产生更加清晰的图片，为了产生更清晰的图片，本发明使用l1距离，故目标函数转化为：

最后得到：

当两个模型(生成模型和判别模型)达到稳态时，即判别模型d的输出接近1/2时，完成训练。

优选地，如图5所示，本发明一种素描生成装置还包括：

第二灰度处理单元405，用于获取所要生成素描作品的原始实景图像，对所述原始实景图像进行灰度处理，使图像呈现黑白灰状态；

素描作品生成单元406，用于将经灰度处理后的原始实景图像输入所述素描画模型，生成素描作品。也就是说，利用经训练好的素描画模型对经灰度处理后的原始实景图像进行处理，获得素描作品。

综上所述，本发明一种素描生成方法及装置通过使获取的实景图像及对应的1：1的素描画图像利用条件生成对抗网络学习训练获得素描画模型，并利用素描画模型自动生成素描作品，可以使用较少的学习样本得到素描画模型，并能够利用素描画模型根据任意实景完成素描画创作，通过本发明得到的素描画作品效果更贴近真实景物，素描画效果好。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。