一种面向设计元素的平面插画生成方法及装置

本发明涉及平面设计领域，尤其是涉及一种面向设计元素的平面插画生成方法及装置。

背景技术：

1、使用生成模型进行端到端的图片生成，已经得到了广泛的研究。特别是最近流行的扩散模型，在效果上大大超越了以往的生成对抗网络、变分自编码器，让算法参与艺术创作变得更加可行。这些图片生成方法，一般都是在端到端的，也就是说用户无法控制结果中包含的具体元素。

2、而在平面插画自动生成的场景中，用户已经拥有一些平面插画的元素，需要使用人工智能算法对这些元素进行重组，从而产出大量结果，这一任务无法通过传统的端到端生成模型去完成。

技术实现思路

1、本发明的目的就是为了提供一种面向设计元素的平面插画生成方法及装置，同时实现初始设计元素的平面布局和设计元素填充，提高平面设计效率。

2、本发明的目的可以通过以下技术方案来实现：

3、一种面向设计元素的平面插画生成方法，包括以下步骤：

4、获取用户输入的设计元素以及设计元素之间的位置关系；

5、根据设计元素及其位置关系生成场景图，所述场景图为图数据结构，图中的节点表示设计元素的信息，图中的边表示设计元素之间的位置关系；

6、对场景图进行编码，生成布局编码；

7、基于布局编码生成自回归布局，得到布局结果；

8、对布局结果进行设计元素填充；

9、输出平面插画结果。

10、所述设计元素包括平面图像、带有样式信息的文本。

11、所述设计元素的位置关系包括相交关系和位置关系，其中，相交关系包括相离、相交、包含，位置关系包括上方、下方、左方、右方。

12、所述对场景图场进行编码具体为使用图神经网络，基于消息传递的机制，对场景图的节点和边进行编码并更新。

13、所述基于布局编码生成自回归布局，得到布局结果具体为：将场景图中的节点按预配置的顺序排列后，根据节点的编码，基于神经网络逐个生成节点对应的布局，再将各个节点的布局组合在一起得到布局结果。

14、一种面向设计元素的平面插画生成装置，包括：

15、输入模块，用于获取用户输入的设计元素以及设计元素之间的位置关系；

16、场景图生成模块，用于根据设计元素及其位置关系生成场景图，所述场景图为图数据结构，图中的节点表示设计元素的信息，图中的边表示设计元素之间的位置关系；

17、布局编码模块，用于对场景图进行编码，生成布局编码；

18、自回归布局生成模块，用于基于布局编码生成自回归布局，得到布局结果；

19、设计元素填充模块，用于对布局结果进行设计元素填充；

20、输出模块，用于输出平面插画结果。

21、所述设计元素包括平面图像、带有样式信息的文本。

22、所述设计元素的位置关系包括相交关系和位置关系，其中，相交关系包括相离、相交、包含，位置关系包括上方、下方、左方、右方。

23、所述对场景图场进行编码具体为使用图神经网络，基于消息传递的机制，对场景图的节点和边进行编码并更新。

24、所述自回归布局生成模块执行以下步骤：将场景图中的节点按预配置的顺序排列后，根据节点的编码，基于神经网络逐个生成节点对应的布局，再将各个节点的布局组合在一起得到布局结果。

25、与现有技术相比，本发明具有以下有益效果：

26、(1)本发明将平面插画的生成过程拆分为了布局生成和设计元素填充两个阶段，在进行了布局生成之后再进行设计元素填充，使得整体生成的平面插画设计更为美观，布局更加合理，且减小了人工工作量，提高了平面插画生成效率。

27、(2)本发明使用场景图结构化布局信息，从而使得布局信息可以被计算，并采用自回归的方式进行布局生成，生成中的每一步都考虑全局的布局信息和已有的生成结果，实现了基于神经网络的布局生成。

28、(3)本发明使用变分自编码器进行单个布局的生成，生成的平面插画具有多样性。

技术特征：

1.一种面向设计元素的平面插画生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种面向设计元素的平面插画生成方法，其特征在于，所述设计元素包括平面图像、带有样式信息的文本。

3.根据权利要求1所述的一种面向设计元素的平面插画生成方法，其特征在于，所述设计元素的位置关系包括相交关系和位置关系，其中，相交关系包括相离、相交、包含，位置关系包括上方、下方、左方、右方。

4.根据权利要求1所述的一种面向设计元素的平面插画生成方法，其特征在于，所述对场景图场进行编码具体为使用图神经网络，基于消息传递的机制，对场景图的节点和边进行编码并更新。

5.根据权利要求1所述的一种面向设计元素的平面插画生成方法，其特征在于，所述基于布局编码生成自回归布局，得到布局结果具体为：将场景图中的节点按预配置的顺序排列后，根据节点的编码，基于神经网络逐个生成节点对应的布局，再将各个节点的布局组合在一起得到布局结果。

6.一种面向设计元素的平面插画生成装置，其特征在于，包括：

7.根据权利要求6所述的一种面向设计元素的平面插画生成装置，其特征在于，所述设计元素包括平面图像、带有样式信息的文本。

8.根据权利要求6所述的一种面向设计元素的平面插画生成装置，其特征在于，所述设计元素的位置关系包括相交关系和位置关系，其中，相交关系包括相离、相交、包含，位置关系包括上方、下方、左方、右方。

9.根据权利要求6所述的一种面向设计元素的平面插画生成装置，其特征在于，所述对场景图场进行编码具体为使用图神经网络，基于消息传递的机制，对场景图的节点和边进行编码并更新。

10.根据权利要求6所述的一种面向设计元素的平面插画生成装置，其特征在于，所述自回归布局生成模块执行以下步骤：将场景图中的节点按预配置的顺序排列后，根据节点的编码，基于神经网络逐个生成节点对应的布局，再将各个节点的布局组合在一起得到布局结果。

技术总结
本发明涉及一种面向设计元素的平面插画生成方法及装置，其中方法包括以下步骤：获取用户输入的设计元素以及设计元素之间的位置关系；根据设计元素及其位置关系生成场景图，所述场景图为图数据结构，图中的节点表示设计元素的信息，图中的边表示设计元素之间的位置关系；对场景图进行编码，生成布局编码；基于布局编码生成自回归布局，得到布局结果；对布局结果进行设计元素填充；输出平面插画结果。与现有技术相比，本发明具有自适应能力强、减少人工工作量、布局合理等优点。

技术研发人员：范凌,卓京港,龚淑宇,王建楠,杨远东,李佳楠,李丹
受保护的技术使用者：同济大学
技术研发日：
技术公布日：2024/1/12