基于Transformer-GAN包装版式布局智能设计方法

本技术涉及包装，具体而言涉及一种基于transformer-gan包装版式布局智能设计方法。

背景技术：

1、多年来设计工作依赖于设计者的审美和技术水平得以呈现，尽管大量的计算机辅助设计工具简化了设计者的工作，提升了效率，然而对于缺乏设计知识的需求者而言，与设计者频繁的沟通交流无疑降低了设计的效率。同时在一些领域受限于需求者的预算等，往往不能实现优秀的设计，对双方都造成了不好的影响。故而本发明旨在设计一种包装版式智能设计算法，实现各类设计工作中的布局工作，一方面布局作为设计工作十分重要的一部分，一定程度上决定了设计的方向；另一方面先由需求者在智能设计平台依据自己的需求完成初步的设计或者全部的设计可以提升效率，降低成本。

2、例如农产品包装设计领域，随着我国冷链和生鲜电商的发展，农产品网络销售业务量不断增长，普通农民要跟上电商的大潮，必然要行品牌的建设，这便导致了目前市场中对农产品包装有大量的需求，但这一领域的从业人员以中小型农户居多，农产品数量不大，收益有限，难以聘请专业设计师对其农产品进行外包装设计，通常只能使用通版包装。商品包装除了具有保护商品、便于存储和运输的基本功能外，精巧的包装设计还能提升品牌辨识度，促进商品销售量，因此通版包装难以满足现阶段农业工作者进行电商销售，构建品牌的需求。在这样对农产品包装有着迫切需求的背景下，急需要智能化平台开展针对农业工作者需求的智能化版式设计。在人工智能技术走进日常生产生活的当下，人工智能技术在包装设计领域的应用备受期待，基于人工智能的包装设计可以使用户根据自己的需求而无须专业知识就能自主地生成包装设计方案，极大提升工作效率，降低沟通成本。故而本研究旨在提出一种可以实现智能化农产品包装设计人工智能方法，解决现阶段的农产品包装主要依赖通版包装，缺乏产品特色等问题。

3、当前的计算机辅助设计工具提升了设计师的设计效率但对于没有相关技术的用户来说用处不大，近来大火的生成模型大多依赖于文生图的方式，在文字元素和图片元素的组合上不能起到更有效的作用。

技术实现思路

1、本技术针对现有技术的不足，提供一种基于transformer-gan包装版式布局智能设计方法，本技术通过感知模块、设计序列模块、布局生成模块，先建立适用于包装版式布局的深度学习模型，构建版式设计数据集，然后基于深度学习算法完成版式智能布局，再通过对模型和生成的布局进行评估，实现对版图设计的改进方案。本技术具体采用如下技术方案。

2、首先，为实现上述目的，提出一种基于transformer-gan包装版式布局智能设计方法，其步骤为，在生成器g(·)中按照以下步骤计算布局方案，然后根据所述布局方案输出相应的包装版式：将原始图像输入至边界感知分割网络basnet中，计算获得原始图像所对应的显著图；将原始图像及其显著图输入至内容感知模块，然后使用特征金字塔结构的resnet-50作为视觉特征提取的骨干网络提取原始图像所对应的视觉特征vf；将随机初始化的布局输入至设计序列模块，先通过布局信息序列化算法对布局信息按照丰富和重要程度进行排序，生成一个设计序列，然后将所述设计序列输入transformer编码器中得到布局特征；将内容感知模块所获得的视觉特征vf以及设计序列模块所获得的布局特征共同输入至布局生成模块，生成布局方案；其中，所述生成器g(·)预先经由判别器d(·)按照如下的目标函数交替优化训练获得；所述目标函数设置为：其中，g(·)表示生成器，d(·)表示判别器，l表示布局特征，h表示初始化的图像特征，z表示随机布局。

3、可选的，如上任一所述的基于transformer-gan包装版式布局智能设计方法，其中，交替优化训练的过程中，生成器所获得的布局方案输入至判别器中进行真实性判断；所述判别器d(·)由判别器内容感知模块、判别器设计序列模块和布局判断模块构成；其中，所述判别器内容感知模块使用resnet-18作为骨干网络，其接收图像及图像所对应的显著图，然后使用其骨干网络提取图像所对应的视觉特征；所述判别器设计序列模块的输入为生成器所生成的布局方案；所述布局判断模块根据用于判断生成器所输出的布局方案的真实性。

4、可选的，如上任一所述的基于transformer-gan包装版式布局智能设计方法，其中，布局生成模块中包括有：cnn网络、transformer模块和bilstm网络；设计序列模块的输出经过cnn网络后，通过transformer模块再进入bilstm网络，内容感知模块的输出则直接进入bilstm网络。

5、可选的，如上任一所述的基于transformer-gan包装版式布局智能设计方法，其中，所述设计序列模块的布局信息序列化算法将布局信息按照丰富和重要程度进行排序，生成一个设计序列的过程中，还依据数据的分布情况设定一个长度，将排序超出所述长度的布局信息删除。

6、可选的，如上任一所述的基于transformer-gan包装版式布局智能设计方法，其中，生成器g(·)和判别器d(·)所构成的生成对抗网络(gan)中，模型的损失包括对抗性损失ladv(x)和重建损失lrec，所述生成器的损失函数为lg＝wadvladv(0)+lrec；所述判别器的损失函数为ld＝wadv(ladv(0)+ladv(1))+lrec：其中，e表示迭代轮次，s表示迭代步长。

7、可选的，如上任一所述的基于transformer-gan包装版式布局智能设计方法，其中，重建损失lrec由负对数似然损失、l1损失、iou损失构成，其中，wnll,wiou,wl1∈r，表示元素类别的预测值，分别表示元素位置的预测值。

8、可选的，如上任一所述的基于transformer-gan包装版式布局智能设计方法，其中，布局信息序列化算法对布局信息的分类包括：标题、文本、图像、标识、产品容量和标准图；其中，标题表示产品名称，文本表示包装上除产品名称以外的文字，图像表示画布上的各种图片、标识表示公司的logo、产品容量表示包装内产品的数量、标准图表示生产许可等标准所需元素。

9、可选的，如上任一所述的基于transformer-gan包装版式布局智能设计方法，其中，布局信息的分类由设计序列模块预先根据数据集的图片标注确定。

10、可选的，如上任一所述的基于transformer-gan包装版式布局智能设计方法，其中，获得布局方案后，还包括按照以下任意指标或其组合对所述生成对抗网络(gan)进行优化的步骤：元素之间的重叠性内容感知的有效性对画布的遮挡性文本元素的可读性其中，p表示元素区域，area(·)表示求像素值，s0表示显著部分，cpix(·)表示像素复杂度计算；优化方向为：使元素之间的重叠性m1，对画布的遮挡性m3，文本元素的可读性m4减小，使内容感知的有效性m2增大。

11、有益效果

12、本技术所提供的基于transformer-gan包装版式布局智能设计方法，其利用深度学习、强化学习等智能算法对包装版式设计所需要的图片和文字等元素进行合理的排布，自动地生成符合美学规则、用户偏好等约束的布局。本技术利用设计序列模块提取布局特征，利用布局生成模块生成布局信息，然后，通过将设计序列模块的输出经过cnn和transformer块后进入bilstm，并将内容感知模块的输出直接进入bilstm网络，构建出能够同时考虑图像内容和布局信息来进行布局生成的dpformer-gan模型。本技术所提供的模型能够实现图文版式的综合布局设计。其应用于各类设计工作中，能够有效提升设计者的工作效率，为需求者降低成本，也可与文生图模型结合以搭建更高水平的智能设计平台。本专利提出的构建版式布局智能设计算法的流程形成了一种版式布局智能设计算法的建立范式。

13、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。