本发明属于信息处理技术领域和人工智能领域，尤其涉及一种草图一致的陶瓷花纸图案生成方法及装置。
背景技术：
随着人工智能的发展，特别是生成对抗神经网络的提出，计算机生成可媲美真实图片的能力得到了极大的提升。比如专利cn107016406a提出的病虫害图片生成方法以及专利cn107220600a提出的人脸表情图片生成方法，可以根据机器理解的用户需求生成从一定程度上满足用户需求的图片。
手绘草图是人类一种自然而直接的思路外化和交流方式，草图能够使用简单的形状来表达人们抽象的思维意图，在表达对陶瓷花纸图案的生成需求时，有时用户提供一个手绘草图或其他形式的草图可能是简便直观的方式。当前的草图识别的目的在于利用手绘草图从图像数据库中检索出于包含草图特征的图像，比如专利cn102339306b或专利cn107220277a等提出的图像检索方法，以及专利cn107633065a公开的手绘草图识别方法等，为了利用用户手绘草图生成原本不存在于图像数据库中的图案，如何让机器准确地获取用户提供的草图所描述的对陶瓷花纸图案的需求及其对应的参数信息，自动生成与用户意图一致的陶瓷花纸图案，是一个非常重要的技术问题，目前尚无较好的方法。
综上所述，现有技术存在的问题是：
当前的草图识别的目的在于利用手绘草图从图像数据库中检索出于包含草图特征的图像，为了让机器理解用户手绘草图并自动生成原本不存在于图像数据库中的图案，如何让机器准确地获取用户提供的草图所描述的对陶瓷花纸图案的需求及其对应的参数信息，并自动生成与用户意图一致的陶瓷花纸图案，是一个非常重要的技术问题，目前尚无较好的方法。
解决上述技术问题的难度和意义：
任一给定像素分辨率的图像都是高维图像空间内的一个数据点，所有近似真实的清晰的图像构成的是浩瀚的高维图像空间的一个紧凑的分布流行（manifold），利用生成对抗神经网络的学习训练方法可以使得计算机在高维的图像空间内采样的数据基本分布在该流行上，本发明方法提供了一种手绘草图启发的陶瓷花纸图案生成模型，使得计算机能够在该流行上的特定分布空间内采样，从而生成与手绘草图一致的近似真实的陶瓷花纸图案。
技术实现要素：
针对现有技术存在的问题，本发明提供了一种草图一致的陶瓷花纸图案生成方法及装置。
本发明是这样实现的，该草图一致的陶瓷花纸图案生成方法包括如下步骤：
步骤一、构建陶瓷花纸图案线条标注模型；
步骤二、根据陶瓷花纸图案库，利用陶瓷花纸图案线条标注模型获取陶瓷花纸图案的线条标注；
步骤三、构建一种人工神经网络近似建模的陶瓷花纸图案生成模型；
步骤四、根据陶瓷花纸图案及其线条标注通过基于人工智能的训练方法获取陶瓷花纸图案生成模型。
在步骤一中，所述的陶瓷花纸图案线条标注模型包含两个处理模块：图案边缘提取模块和线条图变换模块；
所述图案边缘提取模块通过数字图像处理中的边缘提取算法提取图像边缘等处理过程实现；
所述线条图变换模块通过数组图像处理中的变形、扭曲等图形变换以及简化变换；所述变形、扭曲等变换可以通过数字图像处理中的相似变换、仿射变换或投影变换实现；所述简化变换可以通过道格拉斯-普克抽稀算法实现。
在步骤二中，将陶瓷花纸图案经陶瓷花纸图案线条标注模型生成与陶瓷花纸图案对应的线条标注过程为：
将陶瓷花纸图案输入瓷花纸图案线条标注模型的图案边缘提取模块，获取与输入的陶瓷花纸图案对应的初始线条图；
将陶瓷花纸图案初始线条图输入瓷花纸图案线条标注模型的线条图变换模块，获取线条图经过变形、扭曲等图形变换以及简化变换后的线条图组成的陶瓷花纸图案变换后线条图；
将陶瓷花纸图案初始线条图和陶瓷花纸图案变换后线条图共同作为陶瓷花纸图案的线条标注集。
在构建陶瓷花纸图案对应的线条标注集时，还收集由标注用户手绘的与陶瓷花纸图案对应的线条图，并将标注用户手绘的线条图经线条图变换模块处理后加入陶瓷花纸图案的线条标注集。
在步骤三中，使用包含多种隐层的组合架构的人工神经网络来近似建模陶瓷花纸图案生成模型步骤；
所述的陶瓷花纸图案生成模型包括输入层、第一卷积层、第二卷积层、第三卷积层、第一残差网络块层、第一上采样层、第二上采样层、输出层，以用户提供的手绘草图作为陶瓷花纸图案生成模型的输入层，所述输入经过所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第一残差网络块层、所述第一上采样层处理后，所述第一上采样层的输出数据和第二卷积层的输出数据共同经所述第二上采样层处理，所述第二上采样层的输出数据和第一卷积层的输出数据共同经所述输出层处理后输出数据；
在步骤三中，通过训练获取陶瓷花纸图案生成模型的训练过程在于通过人工智能的学习训练使得陶瓷花纸图案生成模型的输出数据能最小化第一损失函数；
所述第一损失函数定义如下：
其中，
所述陶瓷花纸图案判别模型由卷积神经网络近似建模，陶瓷花纸图案判别模型包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、全连接层，所述输入经过所述输入层、所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层、所述全连接层后输出数据；
本发明的另一目的在于提供一种草图一致的陶瓷花纸图案生成装置，该草图一致的陶瓷花纸图案生成装置包括：
第一生成模块：用于根据陶瓷花纸图案库获取陶瓷花纸图案的线条标注；
第二生成模块：用于根据陶瓷花纸图案及其线条标注通过人工智能的训练方法获取陶瓷花纸图案生成模型；
第一处理模块：用于接收用户输入的以线条草图形式表达的生成需求；
第一获取模块：用于通过陶瓷花纸图案生成模型将当前输入的线条草图和随机扰动与历史输入的线条标注融合，并获取与用户需求一致的陶瓷花纸图案；
第二处理模块：用于展示当前由陶瓷花纸图案生成模型生成的陶瓷花纸图案，并接收用户对陶瓷花纸图案的选择和评价；
第三处理模块：用于将用户选择的陶瓷花纸图案和用户输入的以线条草图形式表达的生成需求进行组合以获得新的陶瓷花纸图案线条标注样本。
综上所述，本发明的优点及积极效果为：
1.本发明方法利用图案边缘提取模块和线条图变换模块组成陶瓷花纸图案线条标注模型，机器可通过该模型获取陶瓷花纸图案的线条标注，有效解决了训练样本少且获取成本高的难题；
2.本发明方法针对用户手绘草图到陶瓷花纸图案的映射特点设计了一种全新的包含多种隐层架构的人工神经网络，并通过人工智能的学习训练方法获取陶瓷花纸图案生成模型；通过陶瓷花纸图案生成模型识别用户手绘草图描述的对陶瓷花纸图案的生成需求，并生成与用户手绘草图一致的陶瓷花纸图案，有效解决了与手绘草图一致的陶瓷花纸图案的机器自动生成问题。
附图说明
图1是根据本发明一个实施例的一种草图一致的陶瓷花纸图案生成方法的流程图；
图2是根据本发明的一个实施例的获取陶瓷花纸图案的线条标注结构示意图；
图3是根据本发明的一个实施例的陶瓷花纸生成模型的结构示意图；
图4是根据本发明的一个实施例的陶瓷花纸图案判别模型的结构示意图；
图5是根据本发明的一个实施例的基于人工智能的草图识别的陶瓷花纸图案生成方法的流程图；
图6是根据本发明的另一个实施例的基于人工智能的草图识别的陶瓷花纸图案生成方法的流程图；
图7是根据本发明的一个实施例的基于人工智能的草图识别的陶瓷花纸图案生成装置的结构示意图；
图8是根据本发明的另一个实施例的基于人工智能的草图识别的陶瓷花纸图案生成装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面参考附图描述本发明实施例的基于人工智能的草图识别的陶瓷花纸图案生成方法和装置。
如图1所示，本发明实施例的基于草图识别的陶瓷花纸图案生成需求识别方法包括如下步骤：
步骤s101，构建陶瓷花纸图案线条标注模型；
在本步骤中，构建陶瓷花纸图案线条标注模型为了机器自动对陶瓷花纸图案进行线条标注，现结合图2详细描述如下：
在本步骤中，所述的陶瓷花纸图案线条标注模型200包含两个处理模块：图案边缘提取模块202和线条图变换模块203；
所述图案边缘提取模块202通过数字图像处理中的边缘提取算法提取图像边缘等处理过程实现；
所述线条图变换模块203通过数组图像处理中的变形、扭曲等图形变换以及简化变换；所述变形、扭曲等变换可以通过数字图像处理中的相似变换、仿射变换或投影变换实现；所述简化变换可以通过道格拉斯-普克抽稀算法实现。
步骤s102，根据陶瓷花纸图案库，利用陶瓷花纸图案线条标注模型获取陶瓷花纸图案的线条标注；
在本步骤中，给定陶瓷花纸图案时，获取该陶瓷花纸图案的线条标注有两种途径：一是由标注用户手绘的与陶瓷花纸图案对应的线条标注；二是通过陶瓷花纸图案线条标注模型，输入陶瓷花纸图案，由机器自动获得与陶瓷花纸图案对应的线条标注。现结合图2详细描述如下：
如图2所示，将陶瓷花纸图案201输入图案边缘提取模块202，获取与输入的陶瓷花纸图案对应的初始线条图；
如图2所示，将陶瓷花纸图案初始线条图输入线条图变换模块203，获取线条图经过变形、扭曲等图形变换以及简化变换后的线条图组成的陶瓷花纸图案变换后线条图；
如图2所示，将陶瓷花纸图案初始线条图和陶瓷花纸图案变换后线条图共同作为陶瓷花纸图案的线条标注集204。
优选地，在构建陶瓷花纸图案对应的线条标注集204时，还收集由标注用户手绘的与陶瓷花纸图案对应的线条图，并将标注用户手绘的线条图经线条图变换模块203处理后加入陶瓷花纸图案的线条标注集304。
进一步地，本步骤所获得的陶瓷花纸图案及其线条标注定义如下：
其中，
步骤s103，构建一种人工神经网络近似建模的陶瓷花纸图案生成模型；
本步骤中，使用包含多种隐层的组合架构的人工神经网络来近似建模陶瓷花纸图案生成模型，现结合图3详细说明如下：
如图3所示，陶瓷花纸图案生成模型的输入数据是陶瓷花纸图案的线条标注，将陶瓷花纸图案的线条标注作为陶瓷花纸图案生成模型的输入层301。
如图3所示，输入数据经由所述输入层301输入第一卷积层302处理。
具体地，所述第一卷积层302包含卷积步长为1的卷积运算，卷积核的数量为64，卷积核的大小为7*7。
如图3所示，输入数据经由所述第一卷积层302处理后，输入第二卷积层303处理。
具体地，所述第二卷积层303包含卷积步长为2的卷积运算，卷积核的数量为128，卷积核的大小为5*5。
如图3所示，输入数据经由所述第二卷积层303处理后，输入第三卷积层304处理。
具体地，所述第三卷积层304包含卷积步长为2的卷积运算，卷积核的数量为256，卷积核的大小为5*5。
如图3所示，数据经由第三卷积层304处理后，输入第一残差网络块层305处理。
具体地，所述的第一残差网络块层305包括a个残差网络块（resnetblock）306；优选的，a的值为5～9之间。
如图3所示，数据经由第一残差网络块层305处理后，输入第一上采样层307处理。
优选地，所述第一上采样层307可以由亚像素卷积（sub-pixelconvolution）层实现；可选的，第一上采样层307可以由反卷积（deconvolution）层实现。
如图3所示，数据经由第一上采样层307处理后，输入第二上采样层308处理。
具体地，所述第二上采样层308的输入数据有两个来源，一是所述第一上采样层307的输出数据，二是通过快捷连接309传输的第二卷积层303的输出数据。
如图3所示，所述第二上采样层308可以由亚像素卷积（sub-pixelconvolution）层实现；可选的，第二上采样层308可以由反卷积（deconvolution）层实现
如图3所示，数据经由第二上采样层308处理后，由陶瓷花纸图案生成模型的输出层311输出。
具体地，所述输出层311包含卷积步长为1的卷积运算，卷积核的数量为3，卷积核的大小为3*3，输出层311的结果是三通道实数矩阵，即彩色陶瓷花纸图案。需要说明的是，陶瓷花纸图案生成模型的卷积层均不包含池化（pooling）操作。
步骤s104，根据陶瓷花纸图案及其线条标注通过基于人工智能的训练方法获取陶瓷花纸图案生成模型。
在本步骤中，通过训练获取陶瓷花纸图案生成模型的学习训练过程在于引入陶瓷花纸图案判别模型，陶瓷花纸图案判别模型使用卷积神经网络来近似建模，现结合图4详细说明如下：
如图4所示，陶瓷花纸图案判别模型的输入层401输入的是一个实数矩阵，第一卷积层402使64个5*5的卷积核，卷积步长为2，第二卷积层403使128个5*5的卷积核，卷积步长为2，第三卷积层404使256个5*5的卷积核，卷积步长为2，第四卷积层405使512个5*5的卷积核，卷积步长为2，第一全连接层406包含一个神经元，与第四卷积层全连接。
需要说明的是，如图4所示的每个卷积层都包含归一化运算和线性整流运算，但不包含池化运算。
进一步的，为了使本领域人员更加清楚如何通过训练获取陶瓷花纸图案语义草图生成模型，具体训练过程如下：
第一步，初始化阶段，随机初始化陶瓷花纸图案生成模型的各隐层的参数矩阵，随机初始化陶瓷花纸图案判别模型的各隐层的参数矩阵；
第二步，前向传播阶段，将陶瓷花纸图案线条标注作为陶瓷花纸图案生成模型的输入层301，数据经过各隐层变换后，在陶瓷花纸图案生成模型的输出层311获得输出数据；
第三步，训练陶瓷花纸图案判别模型，使得所述陶瓷花纸图案判别模型的输入层401输入数据是陶瓷花纸图案生成模型的输出层311输出的数据时，所述陶瓷花纸图案判别模型的第一全连接层406输出为0；当所述陶瓷花纸图案判别模型输入层401输入数据是给定的陶瓷花纸图案时，所述陶瓷花纸图案判别模型的第一全连接层406输出为1，即使得陶瓷花纸图案判别模型的输出能最小化第二损失函数；
具体地，所述的第二损失函数是第一损失函数在训练图像判别模型时的分解函数，具体定义为：
其中，
第四步，反向传播阶段，计算陶瓷花纸图案生成模型的输出层311获得输出数据与理想输出的误差，按最小化第三损失函数的方法，反向调整陶瓷花纸图案生成模型的各隐层的参数矩阵。
具体地，所述的第三损失函数是第一损失函数在训练陶瓷花纸图案生成模型模型时的分解函数，具体定义为：
其中，
步骤五，重复执行第二步到第四步，直到误差函数的值小于一个给定的阈值或迭代次数达到一个给定的阈值。
需要说明的是，本领域人员能了解所述的陶瓷花纸图案生成模型的训练过程是一种生成对抗的训练过程，也可以用生成对抗神经网络的训练方法和技术实施上述训练过程。
综上所述，本发明实施例的一种草图一致的陶瓷花纸图案生成方法，首先根据陶瓷花纸图案库获取陶瓷花纸图案线条标注，接着根据陶瓷花纸图案和对应的陶瓷花纸图案线条标注根据人工智能的训练方法获取陶瓷花纸图案生成模型。由此，通过训练生成高适应性和高自动化的陶瓷花纸图案生成模型，能够根据用户提供的以草图形式表达的陶瓷花纸图案生成需求经由陶瓷花纸图案生成模型生成与之一致的陶瓷花纸图案，提高了陶瓷花纸图案生成与用户意图的吻合度。
如图5所示，根据本发明的另一个实施例的一种草图一致的陶瓷花纸图案生成方法的流程图。
基于图1的实施例，在步骤s104之后，还包括：
步骤s501，获取用户提供的手绘的陶瓷花纸图案线条草图；
步骤s502，将对应于用户提供的线条草图和采样自正态分布的随机噪声一起作为输入，输入陶瓷花纸图案生成模型的输入层；
步骤s503，通过陶瓷花纸图案生成模型的隐层将当前输入的线条草图和随机噪声与历史输入的线条标注进行融合计算；
步骤s504，在陶瓷花纸图案生成模型的输出层获取对应于用户提供的以线条草图形式表达的生成需求的陶瓷花纸图案。
综上所述，本发明实施例的基于人工智能的草图识别的陶瓷花纸图案生成方法，首先将用户提供的以线条草图形式表达的生成需求和随机扰动噪声输入陶瓷花纸图案生成模型，接着陶瓷花纸图案生成模型的隐层将当前输入的线条草图和随机噪声与历史输入的线条标注进行融合，接着在陶瓷花纸图案生成模型的输出层获取对应于用户提供的以线条草图形式表达的生成需求的陶瓷花纸图案。
如图6所示，根据本发明的再一个实施例的一种草图一致的陶瓷花纸图案生成方法的流程图。
基于上述实施例，为了进一步提高陶瓷花纸图案生成模型生成的陶瓷花纸图案和用户需求的吻合度，陶瓷花纸图案生成模型根据输入的线条草图和随机扰动生成多幅陶瓷花纸图案，用户可以选择与其需求最吻合的陶瓷花纸图案，用户提供的以线条草图形式表达的生成需求和其选择的陶瓷花纸图案构成新的陶瓷花纸图案的线条标注样本，并在样本的数量积累到一定阈值时，重新训练陶瓷花纸图案生成模型，详细过程描述如下：
步骤s601，获取用户选择的陶瓷花纸图案，将用户选择的陶瓷花纸图案和表达用户需求的线条草图组合构成新的陶瓷花纸图案线条标注样本；
步骤s602，累积的新的陶瓷花纸图案线条标注样本的数量达到预设阈值时，重新训练陶瓷花纸图案生成模型。
需要说明的是，在积累的新的陶瓷花纸图案线条标注样本数量未达到预设阈值时，不重新训练陶瓷花纸图案生成模型。
如图7所示，根据本发明一个实施例的一种草图一致的陶瓷花纸图案生成装置的结构，包括：
第一生成模块710：用于根据陶瓷花纸图案库获取陶瓷花纸图案的线条标注。
具体地，将陶瓷花纸图案输入图案边缘提取模块，获取与输入的陶瓷花纸图案对应的初始线条图；接着将陶瓷花纸图案初始线条图输入线条图变换模块，获取线条图经过变形、扭曲等图形变换以及简化变换后的线条图组成的陶瓷花纸图案变换后线条图；最后陶瓷花纸图案初始线条图和陶瓷花纸图案变换后线条图共同作为陶瓷花纸图案的线条标注。同时，也将标注用户手绘的线条图输入线条图变换模块，获取标注用户手绘线条图经过变形、扭曲等图形变换以及简化变换后的线条图，这些线条图也作为陶瓷花纸图案的线条标注。
第二生成模块720：用于根据陶瓷花纸图案及其线条标注通过人工智能的训练方法获取陶瓷花纸图案生成模型。
具体地，训练陶瓷花纸图案生成模型时引入图像判别模型，所述的陶瓷花纸图案生成模型和图像判别模型均使用人工神经网络来近似建模，在依据本发明所述的误差函数的条件下，训练陶瓷花纸图案生成模型的方法和技术与条件生成对抗神经网络的训练一致。
需要说明的是，前述基一种草图一致的陶瓷花纸图案生成方法实施例的解释说明也适用于该实施例的一种草图一致的陶瓷花纸图案生成装置，其实现原理类似，此处不再赘述。
综上所述，本发明实施例的一种草图一致的陶瓷花纸图案生成装置，首先根据陶瓷花纸图案库获取陶瓷花纸图案线条标注，接着根据陶瓷花纸图案线条标注数据集通过人工智能的训练方法获取陶瓷花纸图案生成模型。由此，通过训练生成的高适应性和高自动化的陶瓷花纸图案生成模型，能够根据用户提供的以线条草图形式表达的生成需求准确编码用户的多属性需求，提高了陶瓷花纸图案生成与用户意图的吻合度。
如图8所示,根据本发明的另一个实施例的一种草图一致的陶瓷花纸图案生成装置的结构,包括：
第一处理模块830：用于接收用户输入的以线条草图形式表达的生成需求。
第一获取模块840：用于通过陶瓷花纸图案生成模型将当前输入的线条草图和随机扰动与历史输入的线条标注融合，并获取与用户需求一致的陶瓷花纸图案。
第二处理模块850：用于展示当前由陶瓷花纸图案生成模型生成的陶瓷花纸图案，并接收用户对陶瓷花纸图案的选择和评价。
第三处理模块860：用于将用户选择的陶瓷花纸图案和用户输入的以线条草图形式表达的生成需求进行组合以获得新的陶瓷花纸图案线条标注样本。
需要说明的是，前述一种草图一致的陶瓷花纸图案生成方法实施例的解释说明也适用于该实施例的一种草图一致的陶瓷花纸图案生成装置，其实现原理类似。
综上所述，本发明实施例的草图一致的陶瓷花纸图案生成装置，首先接收用户输入的以线条草图形式表达的陶瓷花纸图案生成需求，接着将以线条草图形式表达的生成需求和随机扰动一起输入陶瓷花纸图案生成模型，并通过陶瓷花纸图案生成模型的隐层将当前输入的线条草图和随机扰动与历史输入的线条标注融合，最后在陶瓷花纸图案生成模型的输出层获得陶瓷花纸图案。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。