一种基于扩散模型的电商图像生成方法与流程

本发明涉及计算机图像处理，更具体地说，涉及一种图像生成技术。

背景技术：

1、伴随互联网和电子商务的迅猛发展，越来越多的商家在线上销售商品。然而，电商平台上的商品图片往往需要专业摄影师进行拍摄和编辑，这对于小型企业或个体店铺来说是一项昂贵的成本。同时，对于电商平台来说，如何提高商品展示效果以促进销量也一直是一项挑战。因此，出现了能够代替摄影师工作的能够自动生成图片的计算机图像处理方法或系统。

2、目前，利用扩散模型并基于文本信息生成图像已经成为一种常见的图像生成方式，在利用扩散模型生成图像的方案中，需要利用文本编码器把人类输入的文字串转换成机器能理解的数字信息，也即计算机能理解的某种数学表示，作为后续图片生成器的一个控制输入，进而生成图像。

3、公布号为cn116701692a的中国发明专利申请公开了一种图像生成方法，包括：将第一输入数据输入至目标扩散模型进行推理，并在推理过程中获取每次迭代的输出结果；第一输入数据包括第一噪声和第一文本信息；基于相邻两次迭代的输出结果计算散度，得到散度序列；对所述散度序列进行分组以得到散度组，并依次对每个散度组对应的推理阶段中的目标扩散模型进行参数量化；推理阶段为散度组中各散度对应的迭代次数所对应的推理阶段；基于第二输入数据以及参数量化后的目标扩散模型生成图像；所述第二输入数据包括第二噪声和第二文本信息。该方法能够解决模型推理速度慢的问题，提升模型推理速度，进而提升图像的生成效率。

4、但是，在采用上述扩充图像的方法获得的图像通常较为单一，缺乏图像细节，不能满足电商平台用户的需求。

技术实现思路

1、针对现有技术的缺点，本发明的目的在于提供一种基于扩散模型的电商图像生成方法，能够生成细节丰富且具有营销风格的商品图片。

2、为了实现上述目的，本发明的技术方案为：一种基于扩散模型的电商图像生成方法，包括如下步骤：

3、(1)利用扩散模型作为基座模型，将基座模型训练成符合电商场景的图像生成模型，具体包括：(101)建立专属电商场景的素材数据库；(102)对所述素材数据库内的素材数据进行标注形成标注信息；(103)进一步对所述素材数据进行提取形成图像信息；(104)结合所述标注信息和所述图像信息来训练所述图像生成模型；

4、(2)根据用户提供的商品信息生成符合用户需求的商品图片，所述商品信息包括原始商品主体图片和文本描述信息；

5、(3)构建并训练图像质量评估模型，以对所述商品图片的质量进行评估，具体包括：(301)训练模型的数据包括生成的商品图片以及实际拍摄的商品图片，其中负样本包括生成的商品图片，正样本包括生成的商品图片和实际拍摄的商品图片；基于正负例数据，训练一个二分类模型，判断生成的图片是否合理；(302)利用图像质量评估模型对生成的图片进行评估，根据预定义的阈值判断是否进行重新生成；(303)当图片被判断为不合理时，调整蒙版，重新生成图片；如此重复，直到生成数量超过一定次数或者生成图片质量高于阈值时结束生成。

6、优选地，在步骤(102)中，具体包括：按照多个维度对所述素材数据进行人工标注；基于人工标注的素材数据，训练多分类模型，利用模型进行辅助标注；对素材数据进行人工评分，生成评分的素材集合，再利用人工已评分的素材集合训练回归模型，并对所有的素材进行美学评分。

7、优选地，在步骤(103)中，所述图像信息至少包括素材元素描述、素材创意描述、素材图像分辨率。

8、优选地，在步骤(104)中，具体包括：素材清洗，筛选出美学评分高于一定阈值的图像，筛选素材分辨率大于设定值的图像；构建训练数据集，数据集输入包括文本提示词、商品的前景图去除背景、商品前景的黑白分割图，数据集输出为原图片。

9、优选地，在步骤(301)中，具体包括：对于生成的商品图片，依据阴影是否和谐以及摆放位置是否合适来判断生成结果是否合理，然后根据商品所在的位置外扩一定的比例裁剪出以商品为主体的图片作为训练样本；对于真实拍摄的商品图片，生成结果判断为合理，然后裁剪出以商品为主体的图片；将以商品为主体的图片集合设置为x，商品是否合理的标签设置为y，得到训练数据集(x,y)。

10、优选地，在步骤(303)中，所述的调整蒙版具体包括：将蒙版调整为商品所在位置底部的区域，该区域大小根据商品的高，以商品底部的中点为原点，区域宽度为商品的宽+商品的高，区域高度为商品的高，位置为原点以上占1/3，原点以下占2/3，并避开商品本身位置，形成一个类凹型的区域的蒙版，然后对该区域进行重新生成。

11、与现有技术相比，本发明通过建立专属电商场景的素材数据库、对素材进行标注信息等技术手段来对图像生成模型进行训练，以及利用生成的商品图片以及实际拍摄的商品图片作为训练样本对图像质量评估模型进行训练，使得本发明的方法能够根据电商平台用户提供的原始商品图片和文本描述信息，生成细节丰富且具有营销风格的商品图片。

技术特征：

1.一种基于扩散模型的电商图像生成方法，包括如下步骤：

2.根据权利要求1所述的基于扩散模型的电商图像生成方法，其特征在于，在步骤(102)中，具体包括：按照多个维度对所述素材数据进行人工标注；基于人工标注的素材数据，训练多分类模型，利用模型进行辅助标注；对素材数据进行人工评分，生成评分的素材集合，再利用人工已评分的素材集合训练回归模型，并对所有的素材进行美学评分。

3.根据权利要求1所述的基于扩散模型的电商图像生成方法，其特征在于，在步骤(103)中，所述图像信息至少包括素材元素描述、素材创意描述、素材图像分辨率。

4.根据权利要求2所述的基于扩散模型的电商图像生成方法，其特征在于，在步骤(104)中，具体包括：素材清洗，筛选出美学评分高于一定阈值的图像，筛选素材分辨率大于设定值的图像；构建训练数据集，数据集输入包括文本提示词、商品的前景图去除背景、商品前景的黑白分割图，数据集输出为原图片。

5.根据权利要求1所述的基于扩散模型的电商图像生成方法，其特征在于，在步骤(301)中，具体包括：对于生成的商品图片，依据阴影是否和谐以及摆放位置是否合适来判断生成结果是否合理，然后根据商品所在的位置外扩一定的比例裁剪出以商品为主体的图片作为训练样本；对于真实拍摄的商品图片，生成结果判断为合理，然后裁剪出以商品为主体的图片；将以商品为主体的图片集合设置为x，商品是否合理的标签设置为y，得到训练数据集(x,y)。

6.根据权利要求1所述的基于扩散模型的电商图像生成方法，其特征在于，在步骤(303)中，所述的调整蒙版具体包括：将蒙版调整为商品所在位置底部的区域，该区域大小根据商品的高，以商品底部的中点为原点，区域宽度为商品的宽+商品的高，区域高度为商品的高，位置为原点以上占1/3，原点以下占2/3，并避开商品本身位置，形成一个类凹型的区域的蒙版，然后对该区域进行重新生成。

技术总结
本发明公开了一种基于扩散模型的电商图像生成方法，包括如下步骤：(1)利用扩散模型作为基座模型，将基座模型训练成符合电商场景的图像生成模型；(2)根据用户提供的商品信息生成符合用户需求的商品图片，所述商品信息包括原始商品主体图片和文本描述信息；(3)构建并训练图像质量评估模型，以对所述商品图片的质量进行评估。本发明能够根据电商平台用户提供的原始商品图片和文本描述信息，生成细节丰富且具有营销风格的商品图片。

技术研发人员：李明,赖晓平,林诗杰,谢伟浩,闫世港,田晓光
受保护的技术使用者：广东创意热店互联网科技有限公司
技术研发日：
技术公布日：2024/3/17