一种基于生成模型的水刀自动填色系统及方法与流程

本发明涉及信息技术的领域，具体涉及一种基于生成模型的水刀自动填色系统及方法。

背景技术：

在当代设计中，精美的石材拼花或简约，或奢华，或精巧，总是能引起人们的惊叹，在空间中起到画龙点睛的作用，能熟练地在设计作品中运用拼花去表达设计理念，是高级的设计手法。

优秀的水刀拼花需要精美的轮廓以及色彩搭配的设计，同一个水刀轮廓的设计，通过不同的颜色搭配方式可以产生出不同的水刀设计方案。

在水刀拼花设计工具中，设计好轮廓后需要为轮廓中的不同区域选择不同颜色和纹理的材质，从而得到最终的水刀设计方案，但是在为轮廓复杂的水刀拼花填色时，设计师手动给几十甚至上百个区域选择材质进行填充，是一件枯燥而低效的工作。

目前有很多文献提出用对抗生成网络进行漫画，人物或自然物体轮廓线的自动填色[1][2]，图像风格转换[3][5]，灰度图像的自动上色[4]，但是都不能直接解决水刀拼花自动设计的问题。因为这些方法最终得到的结果都是一张二维彩色图像，不是水刀拼花的设计方案，一个水刀拼花的设计方案需要能够准确的标识出每个区域的轮廓以及该区域使用的材质。

参考文献6中的方法是水刀cad文件解析到渲染的流程，其s4步的填色过程仅仅是利用简单的布尔运算配合简单的规则，尽量保证有邻接的区域填充的材质不同，其最终的填充效果可能并不符合设计师的常规设计思路。本发明的填色方法是根据大量的水刀拼花设计方案训练深度学习模型，生成材质填充后的效果图，然后根据效果图中的颜色找到用户提供的材质中最相似的材质，填充到指定区域，从而保证最终的设计结果的合理性（拟合设计师的设计习惯），而且随着用于训练的数据量增加以及模型的改进，自动设计的效果也会有改善。

[1]zhangl,jiy,linx,etal.styletransferforanimesketcheswithenhancedresidualu-netandauxiliaryclassifiergan[c].asianconferenceonpatternrecognition,2017:506-511.

[2]sangkloyp,luj,fangc,etal.scribbler:controllingdeepimagesynthesiswithsketchandcolor[c].computervisionandpatternrecognition,2017:6836-6845.

[3]xiaoc,hanc,zhangz,etal.example‐basedcolourizationviadenseencodingpyramids[j].computergraphicsforum,2020,39(1):20-33.

[4]changh,friedo,liuy,etal.palette-basedphotorecoloring[c].internationalconferenceoncomputergraphicsandinteractivetechniques,2015,34(4).

[5]isolap,zhuj,zhout,etal.image-to-imagetranslationwithconditionaladversarialnetworks[c].computervisionandpatternrecognition,2017:5967-5976.

[6]一种基于计算机图论和曲线图形布尔运算的水刀拼花技术。

技术实现要素：

本发明的目的在于克服现有技术存在的不足，而提供一种基于生成模型的水刀自动填色系统及方法，设计师只需选择需要的填充的材质组合，系统会自动将材质填充到水刀轮廓的各个区域，方便设计师尝试不同的材质组合的效果进行尝试，并可以对最终效果进行微调，从而极大的提升水刀拼花方案的设计效率。

本发明的目的是通过如下技术方案来完成的：一种基于生成模型的水刀自动填色系统，主要包括cad文件解析模块、水刀拼花区域分组模块、水刀拼花设计图自动生成模块和材质填充模块，其中，

cad文件解析模块，用于得到水刀拼花的轮廓信息，并根据轮廓信息生成水刀拼花的轮廓图；

水刀拼花区域分组模块，用于对水刀拼花的每个区域进行分组，从而尽量保证填充结果的对称性，合理性；

水刀拼花设计图自动生成模块，用于利用训练c-gan生成器得到的生成模型，生成水刀拼花效果图；

材质填充模块，用于计算水刀拼花每个分组在水刀拼花效果图上映射的区域，并计算水刀拼花效果图上这个区域内像素的颜色特征，在备选材质中选择和该区域颜色特征最接近的材质填充到隶属于该分组的所有区域中，得到最终的水刀拼花设计方案。

更进一步的，所述水刀拼花区域分组模块中分组的方法是计算区域的几何特征，特定几何特征相同的区域分成一组。

更进一步的，所述水刀拼花设计图自动生成模块中，c-gan生成器训练时，使用水刀的轮廓图作为生成器的输入，使用设计好的水刀拼花的效果图作为标签，将标签和c-gan生成器的输出结果输入判别器进行对抗训练，直至结果稳定。

更进一步的，所述水刀拼花设计图自动生成模块在方案生成时，将水刀拼花的轮廓图和用户选择的材质组合的预览图片输入c-gan生成器生成模型，输出水刀拼花填色的效果图。

更进一步的，所述水刀拼花设计图自动生成模块中，c-gan生成器采用编码器-解码器结构，编码器对水刀拼花的轮廓图提取特征，特征和材质组合的预览图片一起输入解码器。

本发明同时公开了一种基于生成模型的水刀自动填色方法，包括如下步骤：

1）、将水刀拼花cad文件通过cad文件解析模块得到水刀拼花的轮廓信息，并根据轮廓信息生成水刀拼花的轮廓图；

2）、通过水刀拼花区域分组模块，对水刀拼花的每个区域进行分组，分组的方法是计算区域的几何特征，特定几何特征相同的区域分成一组；

3）、通过c-gan生成器得到水刀拼花效果图，c-gan生成器训练时使用设计好的水刀拼花的效果图作为标签，将标签和c-gan生成器的输出结果输入判别器进行对抗训练，直至结果稳定；

4）、通过材质填充模块计算水刀拼花每个分组在生成的效果图上映射的区域，并计算生成的效果图上这个区域内像素的颜色特征，在备选材质中选择和该区域颜色特征最接近的材质填充到隶属于该分组的所有区域中，得到最终的水刀拼花设计方案。

本发明的有益效果为：本发明通过将水刀轮廓图和需要填充的材质作为c-gan的输入条件，生成水刀拼花的填色效果图，并通过效果图与材质之间颜色特征的匹配进行材质的填充；使用自动填充，设计师的操作由原来为每个区域选择材质，并拖拽到指定区域，简化为一次性选取所有需要填充的材质，一键填充，方便快速尝试不同的配色方案，从而选择最优的结果，极大提升了水刀拼花的设计效率，多种方案的比较也间接提升了设计效果；自动设计结果是根据用户的输入得到的，用户通过输入的材质组合，对想要的大的结果进行合理控制；生成模型会根据用户的输入和训练时的实际设计方案学习到规律，生成合理的设计结果，随着训练数据量的增大和模型的改善，可以方便的对自动设计效果进行改进。

附图说明

图1为本发明的流程示意图。

图2为本发明的生成器的流程示意图。

具体实施方式

下面将结合附图对本发明做详细的介绍：

如附图1所示，这种基于生成模型的水刀自动填色系统，主要包括cad文件解析模块、水刀拼花区域分组模块、水刀拼花设计图自动生成模块和材质填充模块，cad文件解析模块得到水刀拼花的轮廓信息，并根据轮廓信息生成水刀拼花的轮廓图；水刀拼花区域分组模块为了保证最终的填色效果美观对称，对水刀拼花的每个区域进行分组，属于相同分组的区域会被填充成相同的材质，分组的方法是计算区域的几何特征，特定几何特征相同的区域分成一组。例如面积、组成区域的多边形个数、每个多边形的曲线类型、每种类型曲线的个数及长度、将所有几何特征均相同的区域分成一组。水刀拼花设计图自动生成模块用于利用训练c-gan生成器得到的生成模型，生成水刀拼花效果图；材质填充模块计算水刀拼花每个分组在水刀拼花效果图上映射的区域，并计算水刀拼花效果图上这个区域内像素的颜色特征，在备选材质中选择和该区域颜色特征最接近的材质填充到隶属于该分组的所有区域中，得到最终的水刀拼花设计方案。

水刀拼花设计图自动生成模块的c-gan生成器训练时，使用水刀的轮廓图作为生成器的输入，使用设计好的水刀拼花的效果图作为标签，将标签和c-gan生成器的输出结果输入判别器进行对抗训练，直至结果稳定。水刀拼花设计图自动生成模块在方案生成时，将水刀拼花轮廓图和用户选择的材质组合的预览图片输入c-gan生成器生成模型，输出水刀拼花填色的效果图。c-gan生成器采用图像生成中常用的编码器-解码器结构，编码器对水刀轮廓提取特征，特征和材质组合预览图一起输入解码器，得到最终的填色效果图，网络结构如附图2所示。

本发明根据大量的水刀拼花设计方案训练深度学习模型，生成材质填充后的效果图，然后根据效果图中的颜色找到用户提供的材质中最相似的材质，填充到指定区域，从而保证最终的设计结果的合理性，拟合设计师的设计习惯，而且随着用于训练的数据量增加以及模型的改进，自动设计的效果也会有改善；用户通过提供期望的材质组合和需要填色的水刀拼花图案，能够自动生成填充好材质的水刀拼花方案的系统，并且允许用户对最终结果进行微调，从而修正自生成方案。

实施例：具体实施过程如下：

1）用户选择一个需要填色的水刀拼花轮廓cad文件上传到系统；

2）解析cad文件得到每个区域的轮廓，一个区域由一组闭合轮廓线组成，其中一个是外轮廓线，在区域中有洞时，还会有其他闭合轮廓线进行描述；

3）根据轮廓线的几何特征例如面积、组成区域的多边形个数、每个多边形的曲线类型、每种类型曲线的个数及长度等是否一致对区域进行分组，分组的目的是弥补c-gan生成图像不完美的地方进行一种补偿，尽量保证填充结果的对称，美观；

4）使用近10万套水刀设计方案作为训练数据训练生成模型，利用cad文件解析模块的解析结果得到水刀拼花的轮廓图以及其使用的材质，作为生成模型的输入，渲染得到的效果图作为有监督训练的标签；

5）生成每个分组映射到生成的效果图上对应的区域，计算这个区域内像素的颜色统计特征，颜色特征可以是在任何颜色空间提取得到，只要能满足颜色特征向量之间的距离最近时，颜色的观感是基本一致的即可，比如计算lab颜色空间中的欧式距离；颜色观感基本一致的评估方法参照cn201510410621.1《一种与主观感知相一致的颜色校正客观评估方法》；

6）计算每个区域中材质的颜色特征；

7）将与步骤4）中得到颜色特征最相近的材质填充到区域分组的每个区域中，得到最终的水刀拼花设计方案。

可以理解的是，对本领域技术人员来说，对本发明的技术方案及发明构思加以等同替换或改变都应属于本发明所附的权利要求的保护范围。