一种联合绘画方法、装置、终端设备及可读存储介质与流程

本发明涉及图像处理技术领域，尤其是涉及一种联合绘画方法、装置、终端设备及可读存储介质。

背景技术：

随着社会和科学技术的不断发展和进步，市面上出现了不少智能绘画产品或工具，提供给人们进行绘画以满足人们的精神生活需求。但是，现有的绘画产品和工具均需要人们具有一定的专业绘画技能和综合构图能力才能绘制出较好效果的艺术作品。由于大多数人没有专业的绘画技能，绘制单一物品元素还能勉强满意，因此现有的绘画产品无法帮助人们创作出构图饱满、元素丰富的满意作品。

技术实现要素：

本发明实施例所要解决的技术问题在于，提供一种联合绘画方法、装置、终端设备及可读存储介质，所述方法能应用到绘画产品或工具中，从而使得绘画产品或工具能够与用户进行联合绘画，以帮助没有专业绘画技能的人们也能创作出构图饱满元素丰富的绘画作品。

为了解决上述技术问题，本发明提供了一种联合绘画方法，包括：

获取用户绘制的手绘线稿图像，当判断所述手绘线稿图像与给定的绘画题目物品标签匹配时，从预设的构图素材库中随机选取一组含有所述绘画题目物品标签的构图分布数据；其中，所述构图分布数据包含各个主体物品的物品标签、物品大小数据、坐标位置数据；

根据所述构图分布数据中所包含的各个主体物品的物品标签，从预设的线稿图形库中选取与所述各个主体物品相对应的素材线稿图像；

结合所述物品大小数据及所述坐标位置数据，依次将所述手绘线稿图像以及所述素材线稿图像进行等比缩放并显示到对应的位置中，得到联合绘画图像。

进一步的，在所述获取用户绘制的手绘线稿图像之前，还包括：

获取不同类型的常见主体物品，在不同角度和不同光线下的若干主体物品照片；

根据各种主体物品的空间密度排布特征，提取所述主体物品照片的特征向量；其中，所述空间密度排布特征包括组成结构、外形轮廓、颜色材质中的一项或多项；

将提取的特征向量作为输入，将各分类主体物品的物品标签作为输出，利用卷积神经网络进行识别训练，提取出每种分类下各主体物品的标准模版并存储，得到各主体物品的识别模型库。

进一步的，所述构图素材库的建立方法包括：

获取网络上被点赞数高于预设阈值的若干优质图片，并对所述优质图片进行特征提取，得到优质图片特征向量；

将所述优质图片特征向量与所述识别模型库中各主体物品的标准模板特征向量进行比对，识别出所述优质图片中包含的各个主体物品，并对每一所述主体物品进行框选标记；

利用所述识别模型库获取每一框选标记的主体物品的物品标签，并计算每一框选标记的主体物品的面积大小以及其在所述优质图片中对应的坐标位置，得到各个主体物品的物品大小数据和坐标位置数据；

将各个主体物品的物品标签、物品大小数据和坐标位置数据进行关联，获得对应优质图片的构图分布数据；

逐一获取所述若干优质图片的构图分布数据并进行存储，得到所述构图素材库。

进一步的，所述线稿图形库的建立方法包括：

获取所述优质图片中每一被框选标记的主体物品的若干个同类图像；

分别将每一类主体物品的若干个同类图像作为输入，利用预设的线稿画模型生成对应的若干个素材线稿图像；

将每一主体物品的物品标签以及与该类主体物品对应的若干个素材线稿图像进行关联存储，得到所述线稿图形库。

进一步的，所述线稿画模型的建立方法包括：

获取网络上各种造型的主体物品图像；

获取用户根据所述主体物品图像勾绘出的各个主体物品的手工线稿图形；

将所述主体物品图像作为输入，将所述主体物品图像对应的线稿图形作为输出，并以所述手工线稿图形作为输出学习样本，利用生成式对抗网络进行学习和训练；

当所述生成式对抗网络中的判别器的输出达到预设的稳态阈值时，完成训练，得到所述线稿画模型。

可选的，判断所述手绘线稿图像与给定的绘画题目物品标签是否匹配的方式，包括：

利用生成式对抗网络的判别器判断所述手绘线稿图像所属的物品类别，得到概率最高的n个待匹配物品标签，判断是否有至少一个所述待匹配物品标签与所述绘画题目物品标签匹配成功；其中，n为大于0的整数；

若是，则判定所述手绘线稿图像与所述绘画题目物品标签相匹配；

若否，则判定所述手绘线稿图像与所述绘画题目物品标签不匹配。

进一步的，所述联合绘画方法还包括：

当判断所述手绘线稿图像与给定的绘画题目物品标签不匹配时，清除所述手绘线稿图像，并提示重新绘画。

为了解决相同的技术问题，本发明还提供了一种联合绘画装置，包括构图分布数据选取模块、素材线稿图像选取模块和联合绘画模块；

所述构图分布数据选取模块，用于获取用户绘制的手绘线稿图像，当判断所述手绘线稿图像与给定的绘画题目物品标签匹配时，从预设的构图素材库中随机选取一组含有所述绘画题目物品标签的构图分布数据；其中，所述构图分布数据包含各个主体物品的物品标签、物品大小数据、坐标位置数据；

所述素材线稿图像选取模块，用于根据所述构图分布数据中所包含的各个主体物品的物品标签，从预设的线稿图形库中选取与所述各个主体物品相对应的素材线稿图像；

所述联合绘画模块，用于结合所述物品大小数据及所述坐标位置数据，依次将所述手绘线稿图像以及所述素材线稿图像进行等比缩放并显示到对应的位置中，得到联合绘画图像。

为了解决相同的技术问题，本发明还提供了一种联合绘画终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述存储器与所述处理器耦接，且所述处理器执行所述计算机程序时，实现任一项所述的联合绘画方法。

为了解决相同的技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行任一项所述的联合绘画方法。

通过实施本发明实施例具有如下有益效果：

本发明提供了一种联合绘画方法、装置、终端设备及可读存储介质，所述方法首先，从预先设定的物品标签题库中随机出一个物品标签作为绘画题目，提示用户进行对应物品的绘画，当判断到用户的手绘线稿图像与给出的题目对应的物品标签相匹配时，从预设的构图素材库中随机选取一组包含该物品标签的构图分布数据进行绘画构图，然后根据该构图分布数据中包含的各个主体物品的物品标签，从预设的线稿图形库中分别选出与各个主体物品相对应的素材线稿图像，并根据该构图分布数据中的物品大小数据及位置坐标数据进行绘画，先将用户的手绘线稿图像按尺寸大小和坐标位置在画布中进行等比缩放并显示，然后再将其余各主体物品按尺寸大小和坐标位置在画布中一一补全显示，完成联合绘画。

本发明提供的联合绘画方法使得绘画过程简单、易操作，用户无需具备很专业的绘画基础、不需要进行复杂的构图思考，只需随意根据绘画提示绘出某个喜欢的单个物品元素，系统获取用户的绘画元素后对图像进行分析处理判断，确定用户绘制的对象一致后，从素材库中匹配对应的元素与用户的绘制内容进行综合构图，在保留用户原图的基础上，进行绘图补充完善，与用户一起联合绘画，从而完成一幅构图饱满元素丰富的绘画作品，使得普通人也能绘制出较高水平的绘画作品，增加绘画的趣味性。

附图说明

图1是本发明实施例一提供的联合绘画方法的流程示意图；

图2是本发明实施例一提供的生成式对抗网络的模型示意图；

图3是本发明实施例一提供的联合绘画装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，本发明实施例提供了一种联合绘画方法，包括：

步骤s1、获取用户绘制的手绘线稿图像，当判断所述手绘线稿图像与给定的绘画题目物品标签匹配时，从预设的构图素材库中随机选取一组含有所述绘画题目物品标签的构图分布数据；其中，所述构图分布数据包含各个主体物品的物品标签、物品大小数据、坐标位置数据；

在本发明实施例中，步骤s1为获取用户绘制的手绘线稿图像并选取构图分布数据；具体的，首先从预先设定的物品标签题库中随机出一个物品标签作为绘画题目，提示用户在电子触摸屏上进行对应物品的绘制，获取用户绘制的手绘线稿图像，判断用户绘制的图形线稿图像所属的物品分类，若能与给定的题目相匹配，则从预设的构图素材库中随机选取一组含有所述绘画题目物品标签的构图分布数据，其中，所述构图分布数据包含了该组构图中的各个主体物品的物品标签、物品大小数据、坐标位置数据。可以理解的是，对于给定的绘画题目物品标签，构图素材库中可能有多组构图分布数据含有该物品标签，本实施例中为从这些符合的构图分布数据中随机选择一组进行构图。

步骤s2、根据所述构图分布数据中所包含的各个主体物品的物品标签，从预设的线稿图形库中选取与所述各个主体物品相对应的素材线稿图像；

在本发明实施例中，步骤s2为根据步骤s1选取的该组构图分布数据所包含的各个主体物品的物品标签，从预设的线稿图形库中一一选取出与各个主体物品相对应的素材线稿图像；可以理解的是，对于每一个主体物品，线稿图形库中可以包含多个与该主体物品的物品标签相对应的素材线稿图像，本实施例从这些素材线稿图像中随机选择一个进行绘画。

步骤s3、结合所述物品大小数据及所述坐标位置数据，依次将所述手绘线稿图像以及所述素材线稿图像进行等比缩放并显示到对应的位置中，得到联合绘画图像。

在本发明实施例中，步骤s3为结合步骤s1选取的该组构图分布数据所包含的各个主体物品的大小数据及坐标位置数据，先将用户绘制的手绘线稿图像按尺寸大小和坐标位置在画布中进行等比缩放并显示，然后将其余各个物品的素材线稿图像按尺寸大小和坐标位置在画布中一一进行缩放并补全显示，完成联合绘画。

在本发明实施例中，进一步的，在所述获取用户绘制的手绘线稿图像之前，还包括：

获取不同类型的常见主体物品，在不同角度和不同光线下的若干主体物品照片；

根据各种主体物品的空间密度排布特征，提取所述主体物品照片的特征向量；其中，所述空间密度排布特征包括组成结构、外形轮廓、颜色材质中的一项或多项；

将提取的特征向量作为输入，将各分类主体物品的物品标签作为输出，利用卷积神经网络进行识别训练，提取出每种分类下各主体物品的标准模版并存储，得到各主体物品的识别模型库。

可以理解的是，本发明可以预先按上述步骤进行各主体物品的识别模型库的建立，建立过程如下：

先通过互联网获取各种人物、动植物及常见主体物品的各个角度以及各种光线下拍摄的图片，并对图片进行预处理，通过除噪音和干扰、图像切割、归一化等预处理，以提高服务器对图像处理识别的性能；

根据各种主体物品的组成结构、外形轮廓、颜色材质等不同的空间密度排布特征，将各物品的图像划分为m*n个方格区域，计算每个方格中的点数与物品图像总点数之比，得到m*n维特征向量，将提取的特征向量做输入，各分类主体物品的标注名称做为输出，利用卷积神经网络进行反复识别训练，提取出每种分类下各主体物品的标准模版存入文件中，建立各种物品的识别模型库。

在一个优选实施例中，所述构图素材库的建立方法包括：

获取网络上被点赞数高于预设阈值的若干优质图片，并对所述优质图片进行特征提取，得到优质图片特征向量；

将所述优质图片特征向量与所述识别模型库中各主体物品的标准模板特征向量进行比对，识别出所述优质图片中包含的各个主体物品，并对每一所述主体物品进行框选标记；

利用所述识别模型库获取每一框选标记的主体物品的物品标签，并计算每一框选标记的主体物品的面积大小以及其在所述优质图片中对应的坐标位置，得到各个主体物品的物品大小数据和坐标位置数据；

将各个主体物品的物品标签、物品大小数据和坐标位置数据进行关联，获得对应优质图片的构图分布数据；

逐一获取所述若干优质图片的构图分布数据并进行存储，得到所述构图素材库。

需要说明的是，优选地，步骤s1中所述预设的构图素材库可以通过上述步骤进行建立，具体的：

先通过各大社交媒体网站等获取用户点赞数高(例如点赞数高于50)的优质图片，对图片进行预处理及特征提取，将提取的各图片的特征向量与上述建立好的识别模型库中存储的各分类物品的标准模版的特征向量做比对，判断出图像中包含的各个主体物品元素，并进行一一框选标记；其中，确定图像中包含的主体物品方法可以为：从中心开始选取出图像的3/4(该值可以根据需要任意设定)面积区域设定为主体区域，判断标记出的各物品元素是否有一半以上图像区域处于设定的主体区域内，若是则确定其为主要物品元素；

然后计算每张优质图片中框选标记的各主体物品的面积大小和在图像中的坐标位置分布数据，并与对应物品标签关联，得到构图分布数据并存储；

最后将每张图像中识别的主体物品的构图分布数据(对应的物品标签、主体物品大小、坐标位置分布数据)一一存储，得到构图素材库。

在一个优选实施例中，所述线稿图形库的建立方法包括：

获取所述优质图片中每一被框选标记的主体物品的若干个同类图像；

分别将每一类主体物品的若干个同类图像作为输入，利用预设的线稿画模型生成对应的若干个素材线稿图像；

将每一主体物品的物品标签以及与该类主体物品对应的若干个素材线稿图像进行关联存储，得到所述线稿图形库。

需要说明的是，优选地，步骤s2中的线稿图形库可以按照上述方法进行建立，具体的，首先根据上述优质图片被框选标记的每一主体物品获取与对应的若干个同类型的主体物品图像，然后分别将这些主体物品图像作为输入，利用预设的线稿画模型生成对应的若干个素材线稿图像，最后得到每一个主体物品图像都对应的若干个素材线稿图像，将这些素材线稿图像与物品标签关联存储，得到所述线稿图形库。

在一个优选实施例中，所述线稿画模型的建立方法包括：

获取网络上各种造型的主体物品图像；

获取用户根据所述主体物品图像勾绘出的各个主体物品的手工线稿图形；

将所述主体物品图像作为输入，将所述主体物品图像对应的手工线稿图形作为输出，利用生成式对抗网络进行学习和训练；

当所述生成式对抗网络中的判别器的输出达到预设的稳态阈值时，完成训练，得到所述线稿画模型。

需要说明的是，所述的线稿画模型的建立方法包括但不限于上述步骤，具体的：

首先通过互联网获取各种主体物品的各种造型的图像，对图像进行灰度处理。由于彩色图像是由多个像素点组成，且每个像素点都由rgb三个值表示；对图像进行灰度处理，并不会影响图像的纹理特征信息，而且每个像素点只需一个灰度值便可表示，大大提高了图像处理效率，以下是灰度处理加权平均法公式：

f(i，j)＝0.30r(i，j)+0.59g(i，j)+0.11b(i，j)

其中，i、j代表一个像素点在二维空间向量的位置，即：第i行，第j列。

根据上述公式，计算各静态图像每个像素点的灰度值，取值范围是0-255，使上述图像都呈现黑白灰状态，然后通过手工绘制的方式勾绘出各物品图像对应的手工线稿图像；

然后将所述主体物品图像作为输入，将所述主体物品图像对应的线稿图形作为输出，并以所述手工线稿图形作为输出学习样本，利用生成式对抗网络进行学习和训练，当所述生成式对抗网络中的判别器的输出达到预设的稳态阈值(接近1/2，具体数值可根据需要设定)时，完成训练，得到所述线稿画模型。

请参见图2，可以理解的是，生成式对抗网络(gan，generativeadversarialnetworks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。目前gan最常应用的技术领域就是图像生成。gan的基本原理为：假设我们有两个模型，g(generator)和d(discriminator)，它们的功能分别是：g是一个生成图片的模型，它接收一个随机的噪声z，通过这个噪声生成图片，记做g(z)；d是一个判别模型，判别一张图片是不是“真实的”，它的输入参数是x，x代表一张图片，输出d(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片，而输出为0，就代表不可能是真实的图片。在训练过程中，生成模型g的目标就是尽量生成真实的图片去欺骗判别模型d。而d的目标就是尽量把g生成的图片和真实的图片分别开来。在最理想的状态下，g可以生成足以“以假乱真”的图片g(z)；对于d来说，它难以判定g生成的图片究竟是不是真实的，因此d(g(z))＝0.5。当两个模型达到稳态时，即判别模型d的输出接近0.5，完成训练，得到一个生成式的模型g，它可以用来生成图片。

在本发明实施例中，所述生成式对抗网络(gan)在训练时，生成器g用于捕捉数据分布，判别器d用于估计一个样本来自于真实数据而非生成样本的概率，判别器d不断地更新，通过将判别结果作为生成器g的优化目标去指引生成器g如何优化，从而起到了生成器g目标函数的作用。如果对于模糊不清的转化结果，判别器d就可以轻易将其与真正的图片区别开来，同时又指导生成器g去生成更加清晰可靠的图片。gan一方面学习产生目标函数，另一方面又根据学习到的目标函数去对模型进行优化。当生成器g和判别器d达到稳态时，即判别器d的输出接近1/2时，完成训练，得到所述线稿画模型。

在一个优选实施例中，判断所述手绘线稿图像与给定的绘画题目物品标签是否匹配的方式，包括：

利用生成式对抗网络的判别器判断所述手绘线稿图像所属的物品类别，得到概率最高的n个待匹配物品标签，判断是否有至少一个所述待匹配物品标签与所述绘画题目物品标签匹配成功；其中，n为大于0的整数；

若是，则判定所述手绘线稿图像与所述绘画题目物品标签相匹配；

若否，则判定所述手绘线稿图像与所述绘画题目物品标签不匹配。

在本发明实施例中，可以通过上述方式判断所述手绘线稿图像与给定的绘画题目物品标签是否匹配，具体的，n可设为5，即：判别器判断所述手绘线稿图像所属的物品类别，得到概率最高的五个物品标签，只要这五个物品标签中有一个能与绘画题目物品标签匹配，即说明所述手绘线稿图像与所述绘画题目物品标签相匹配。

进一步的，所述联合绘画方法还包括：

当判断所述手绘线稿图像与给定的绘画题目物品标签不匹配时，清除所述手绘线稿图像，并提示重新绘画。

请参见图3，为了解决相同的技术问题，本发明还提供了一种联合绘画装置，包括构图分布数据选取模块1、素材线稿图像选取模块2和联合绘画模块3；

所述构图分布数据选取模块1，用于获取用户绘制的手绘线稿图像，当判断所述手绘线稿图像与给定的绘画题目物品标签匹配时，从预设的构图素材库中随机选取一组含有所述绘画题目物品标签的构图分布数据；其中，所述构图分布数据包含各个主体物品的物品标签、物品大小数据、坐标位置数据；

所述素材线稿图像选取模块2，用于根据所述构图分布数据中所包含的各个主体物品的物品标签，从预设的线稿图形库中选取与所述各个主体物品相对应的素材线稿图像；

所述联合绘画模块3，用于结合所述物品大小数据及所述坐标位置数据，依次将所述手绘线稿图像以及所述素材线稿图像进行等比缩放并显示到对应的位置中，得到联合绘画图像。

可以理解的是上述装置项实施例，是与本发明方法项实施例相对应的，本发明实施例提供的一种联合绘画装置，可以实现本发明任意一项方法项实施例提供的联合绘画方法。

为了解决相同的技术问题，本发明还提供了一种联合绘画终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述存储器与所述处理器耦接，且所述处理器执行所述计算机程序时，实现任一项所述的联合绘画方法。

所述联合绘画终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述联合绘画终端设备的控制中心，利用各种接口和线路连接整个联合绘终端设备的各个部分。

所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

为了解决相同的技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行任一项所述的联合绘画方法。

所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

综上，实施本发明实施例，具有如下有益效果：

本发明提供了一种联合绘画方法、装置、终端设备及可读存储介质，所述方法首先，从预先设定的物品标签题库中随机出一个物品标签作为绘画题目，提示用户进行对应物品的绘画，当判断到用户的手绘线稿图像与给出的题目对应的物品标签相匹配时，从预设的构图素材库中随机选取一组包含该物品标签的构图分布数据进行绘画构图，然后根据该构图分布数据中包含的各个主体物品的物品标签，从预设的线稿图形库中分别选出与各个主体物品相对应的素材线稿图像，并根据该构图分布数据中的物品大小数据及位置坐标数据进行绘画，先将用户的手绘线稿图像按尺寸大小和坐标位置在画布中进行等比缩放并显示，然后再将其余各主体物品按尺寸大小和坐标位置在画布中一一补全显示，完成联合绘画。

本发明提供的联合绘画方法使得绘画过程简单、易操作，用户无需具备很专业的绘画基础、不需要进行复杂的构图思考，只需随意根据绘画提示绘出某个喜欢的单个物品元素，系统获取用户的绘画元素后对图像进行分析处理判断，确定用户绘制的对象一致后，从素材库中匹配对应的元素与用户的绘制内容进行综合构图，在保留用户原图的基础上，进行绘图补充完善，与用户一起联合绘画，从而完成一幅构图饱满元素丰富的绘画作品，使得普通人也能绘制出较高水平的绘画作品，增加了绘画的趣味性。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。