图像生成方法、装置、存储介质及计算机设备与流程

本技术涉及人工智能，更具体地，涉及一种图像生成方法、装置、存储介质及计算机设备。

背景技术：

1、人工智能生成内容(artificial intelligence generated content，aigc)的技术在图像生成领域有着广泛的应用。其中，图像生成是指通过计算机算法和模型生成新的图像，这些图像可能是完全虚构的、艺术创作的、或者是根据现有图像进行修改和增强的。例如，基于三维服饰模型生成不同纹理的服饰图像。

2、服饰设计借助人工智能技术能够实现诸如虚拟试衣、服装检索等下游任务。目前，现有技术主要基于生成算法进行服饰设计，例如，基于生成对抗网络进行服装纹理的迁移与设计。然而，这类生成方法生成的服饰纹理图比较单一，生成效果较差。

技术实现思路

1、本技术实施例提供一种图像生成方法、装置、存储介质以及计算机设备。以解决相关技术中服饰纹理图的生成效果较差的问题。

2、一方面，本技术实施例提供一种图像生成方法，该方法包括：从原始纹理图中提取轮廓图和灰度图；对风格描述语句进行编码处理，得到风格描述语句的描述语句特征；由目标生成网络基于描述语句特征、轮廓图和灰度图进行图像生成，得到符合风格描述语句所指示风格的目标纹理图；其中，目标生成网络为基于第一噪声和第二噪声确定的目标损失对预设生成网络进行迭代训练得到；第二噪声为预设生成网络将样本图像对应的样本风格描述语句分别与样本轮廓图、样本灰度图、噪声特征图进行联合编码，并根据联合编码结果进行噪声预测得到的；样本轮廓图和样本灰度图为从样本图像中提取的；噪声特征图为对样本图像的样本特征图添加第一噪声得到的，第一噪声为基于随机分布生成的噪声。

3、另一方面，本技术实施例还提供一种图像生成装置，该装置包括：图像提取模块，用于从原始纹理图中提取轮廓图和灰度图；语句编码模块，用于对风格描述语句进行编码处理，得到风格描述语句的描述语句特征；图像生成模块，用于由目标生成网络基于描述语句特征、轮廓图和灰度图进行图像生成，得到符合风格描述语句所指示风格的目标纹理图，其中，目标生成网络为基于第一噪声和第二噪声确定的目标损失对预设生成网络进行迭代训练得到；第二噪声为预设生成网络将样本图像对应的样本风格描述语句分别与样本轮廓图、样本灰度图、噪声特征图进行联合编码，并根据联合编码结果进行噪声预测得到的；样本轮廓图和样本灰度图为从样本图像中提取的；噪声特征图为对样本图像的样本特征图添加第一噪声得到的，第一噪声为基于随机分布生成的噪声。

4、可选地，图像生成模块可以包括噪声获取单元、图像确定单元、图像生成单元、纹理确定单元以及图像迭代单元。噪声获取单元，用于获取初始噪声图；图像确定单元，用于以初始噪声图作为目标噪声图；图像生成单元，用于由目标生成网络基于描述语句特征、目标噪声图、轮廓图和灰度图进行图像生成，得到去噪纹理图；纹理确定单元，用于若去噪纹理图满足预设噪声要求，将去噪纹理图作为目标纹理图；图像迭代单元，用于若去噪纹理图不满足预设噪声要求，将去噪纹理图作为新的目标噪声图，并返回执行由目标生成网络基于描述语句特征、目标噪声图、轮廓图和灰度图进行图像生成，得到去噪纹理图的步骤。

5、可选地，目标生成网络包括第一编码器、第二编码器、第三编码器和解码器；图像生成单元可以具体用于：由第一编码器基于时间向量、描述语句特征和轮廓图进行编码处理，得到第一编码特征；由第二编码器基于时间向量、描述语句特征和灰度图进行编码处理，得到第二编码特征；由第三编码器基于时间向量、描述语句特征和目标噪声图进行编码处理，得到第三编码特征；基于解码器对第一编码特征、第二编码特征和第三编码特征的融合特征进行解码处理，得到去噪纹理图。

6、可选地，图像生成装置还可以包括样本获取模块、语句处理模块、图像获取模块、纹理提取模块、噪声添加模块、噪声预测模块、损失确定模块以及网络训练模块。样本获取模块，用于获取样本图像以及样本风格描述语句；语句处理模块，用于对样本风格描述语句进行编码处理，得到样本语句特征；图像获取模块，用于从样本图像的样本纹理图中提取样本轮廓图和样本灰度图；纹理提取模块，用于对样本图像进行特征提取，得到样本特征图；噪声添加模块，用于对样本特征图添加第一噪声，得到噪声特征图；噪声预测模块，用于由预设生成网络基于噪声特征图、样本轮廓图、样本灰度图和样本语句特征进行噪声预测，得到第二噪声；损失确定模块，用于基于第一噪声和第二噪声确定目标损失；网络训练模块，用于根据目标损失迭代更新预设生成网络的权重参数，直至达到训练结束条件，得到目标生成网络。

7、可选地，预设生成网络包括第一编码器、第二编码器、第三编码器以及解码器；噪声预测模块可以具体用于：由第一编码器基于样本时间向量、样本语句特征和样本轮廓图进行编码处理，得到第一编码结果；由第二编码器基于样本时间向量、样本语句特征和样本灰度图进行编码处理，得到第二编码结果；由第三编码器基于样本时间向量、样本语句特征和噪声特征图进行编码处理，得到第三编码结果；由解码器对第一编码结果、第二编码结果和第三编码结果进行解码，得到第二噪声。

8、可选地，网络训练模块可以具体用于基于目标损失，迭代更新预设生成网络中的第一编码器的权重参数、第二编码器的权重参数以及第三编码器的权重参数，直至达到训练结束条件，得到目标生成网络。

9、可选地，图像提取模块可以包括轮廓提取单元以及灰度提取单元。轮廓提取单元，用于对原始纹理图进行边缘提取，得到轮廓图；灰度提取单元，用于对原始纹理图进行灰度转换，得到灰度图。

10、可选地，灰度提取单元可以具体用于：从原始纹理图中获取各像素点在每个颜色通道下的颜色参数；确定各像素点在每个颜色通道对应的权重，同一像素点在多个颜色通道对应的权重之和为1；针对各像素点，基于该像素点在每个颜色通过对应的权重，将该像素点在多个颜色通道下的颜色参数进行加权，得到各像素点的目标颜色参数；根据各像素点的目标颜色参数，生成灰度图。

11、可选地，原始纹理图是对虚拟服饰进行纹理展开获得的；图像生成装置还可以包括纹理饭贴模块，用于根据目标纹理图进行纹理反贴，获得新的虚拟服饰。

12、另一方面，本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，其中，在该计算机程序被处理器运行时执行上述的图像生成方法。

13、另一方面，本技术实施例还提供一种计算机设备，该计算机设备包括处理器以及存储器，存储器存储有计算机程序，该计算机程序被处理器调用时执行上述的图像生成方法。

14、另一方面，本技术实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在存储介质中；计算机设备的处理器从存储介质读取该计算机程序，处理器执行该计算机程序，使得计算机设备执行上述图像生成方法中的步骤。

15、本技术提供的图像生成方法，可以从原始纹理图中提取轮廓图和灰度图，并对风格描述语句进行编码处理，得到风格描述语句的描述语句特征，进而由目标生成网络基于描述语句特征、轮廓图和灰度图进行图像生成，得到符合风格描述语句所指示风格的目标纹理图。如此，通过灰度图能够表达原始纹理图的纹理信息，灰度图能够表达原始纹理图的颜色渐变信息，基于描述语句特征、轮廓图和灰度图进行图像生成，不仅能够保证所得到的目标纹理图的风格符合风格描述语句所指示风格，而且，能够使得原始纹理图上的纹理结构信息和颜色渐变信息保留在目标纹理图上，即目标纹理图和原始纹理图上的纹理信息相同，且颜色渐变信息相同。并且通过不同的风格描述语句可以指导目标生成网络生成风格多样化的纹理图像，由此可以有效解决相关技术中生成的图像比较单一的问题，提高图像生成效果。