一种基于生成式对抗网络的卡车前脸造型生成方法

本发明涉及图像处理领域，具体是一种基于生成式对抗网络的卡车前脸造型生成方法。

背景技术：

1、(1)行业需求的转变。自21世纪以来，卡车市场呈“井喷式”发展，各品牌间竞争激烈，卡车产品新老更替不断，且呈现出“新兴造车之势”，但近几年随着科技迅速发展，产品的质量明显已经不再是企业间相互竞争的唯一评判标准。消费者也不再只关注与产品的性能要求，而更讲究的是人与机器之间不管是在物理意义上还是使用者心理上的契合度。所以在卡车前脸外观设计过程中快速把握用户意图并设计出符合用户心理预期的新方案是迈向成功的关键之一。现代重卡在技术创新的同时，也十分注重通过外观创新获得消费者的认同，增加卡车在精神层面的附加价值。

2、(2)卡车前脸造型生成方法相关背景。卡车的造型方法大体有原始创新点、仿生设计、美学规律、感性工学设计、基于产品基因遗传的造型方法。重型卡车造型设计方法的研究，目前还不系统、不完善。没有形成一套行之有效的设计方法。因此获得一套行之有效的重型卡车外形设计方法，使之能适用于各大重型卡车品牌公司，并服务于重型卡车公司以及重型卡车外饰设计师，就显得尤为重要。从理性和感性结合起来，运用现代化的智能设计方法，实现卡车造型设计研发的智能化、数字化，高效化成为企业在重卡市场新局面中可以占得先机的重要一步。

技术实现思路

1、为了解决上述问题，本发明提供一种基于生成式对抗网络的卡车前脸造型生成方法。采用了stylegan2网络，基于预先收集、处理、分类的卡车前脸的彩色图、灰度图、线稿图数据集训练得到不同风格语义下的卡车前脸生成模型，通过生成模型可以快速生成符合一定语义下的卡车前脸造型新方案，比之前人工出平面方案的效率更高、方案效果更多样，同时也在一定程度上减小了设计师与用户之间的认知差异，提高了一定语义下的方案符合度。

2、本方法包括数据集样本的获取、预处理、筛选分类；一定语义下感性词汇的收集、提炼、筛选整合；建立代表性感性词汇与卡车前脸每类风格代表性样本两者之间的对应关系；将带有不同类语义标签的数据集分别利用stylegan2网络进行学习训练，建立生成模型；通过前端客户端获取用户需求描述，调用后台的对应语义下的生成模型，快速生成一定数量的卡车前脸造型的彩色图、灰度图、线稿图新方案。

3、本发明是通过如下技术实现的：一种基于生成式对抗网络的卡车前脸造型生成方法，包括以下步骤：步骤1、卡车前脸数据集的制作，收集卡车前脸样本图片，并对数据集样本图片进行处理和分类；步骤2、收集用于描述卡车外观造型设计的感性词汇，并对感性词汇进行筛选；步骤3、将处理后的样本与筛选后的感性词汇构建映射关系；步骤4、制作彩色实物图、去色灰度图和线稿图三种形式的数据集，训练生成式对抗网络stylegan2，根据输入需求，生成卡车前脸造型。

4、步骤1中，采用卡车前脸整体正视图作为数据集图像的来源，且将收集到的卡车前脸正视图汇总于文件夹中。将收集到的卡车前脸样本图片进行筛选，将不符合筛选条件的图片删除，筛选的条件包括背景区分度、主体清晰度、主体遮掩程度、角度、样本间相似度。选择照片清晰且轮廓完整无背景干扰或者背景干扰较小的卡车前脸整体正视图作为数据集图像的来源，包括牵引车、载货车、自卸车等种类。将背景繁杂、清晰度过低、主体遮掩过大、角度有偏差的样本图片予以剔除，剩余图像清晰、主体完整、易于分离的样本图片，依据同品牌卡车前脸图像的相似性对样本进行二次筛选。筛选出整体外观相似性较大的产品图片，仅保留一张。

5、为了去除其他因素造成的对感受测量的影响，保证样本的非特异性差别，减小误差。对数据集样本图片进行处理包括统一命名和转换格式、调整每张图片为方形像素、使卡车前脸居于图像中间且所占比例一致、去除卡车前脸主体的背景、去除卡车前脸主体上的影响因素、转成统一的像素尺寸。

6、其中，将图片转换成jpg格式，为了满足深度学习的需要，也为了对图像进行无差别的统一调整，减小实验误差，使用python程序将原样本图片的长方形像素以最长边居中拓展为方形像素。调整方形像素时，首先导入文件夹路径，然后对文件夹里的图片进行遍历，从第一张图片开始获取图片的原始尺寸，再以该图片长边的尺寸为依据，把短边同时向两侧延长，是短边尺寸与长边尺寸相等，短边两侧延长出的新区域填充白色背景；

7、进行裁剪，使卡车样本的主体位于整个图像的中间位置，且每张样本图片中卡车主体所占整个图像面积比例一致；

8、为了减小生成对抗网络的训练难度、提升训练的准确度，同时也为了去除后期人们进行感性偏好测量的干扰因素，需要对数据集样本中的图片背景进行去除。去除卡车前脸主体的背景时，所有卡车前脸样本均需对车牌、车标和文字进行无痕遮盖和去除处理，所有卡车前脸样本均需进行去色处理，所有卡车前脸样本均需去除车轮、底盘、后视镜、车顶部；使图像的亮度、对比度的时间展示效果保持一致；制作统一的模板对每一张样本图片进行挡风玻璃区域替换。

9、对数据集样本图片进行分类时，依据样本间的相似性利用kj法对卡车前脸样本进行初步的分类，并在每类中分别选出1-2张最能代表该类的样本，统计出每类中出现频次最高的样本作为该类的代表性样本；

10、进行代表性样本间的风格相似度测量，以上分类依据是样本间的造型外观相似程度，但对于外观风格，需要依据风格相似度对代表性样本进一步聚类，将风格相似性分类样本数据汇总制作成相似性矩阵，在制作过程中，从每一类中最小编号的样本开始，依序将分到同一类的编号更大的样本进行对照标记，标记形式为在事先准备的表格上记一份，逐次累加，直到所有分类的所有样本都被记录。统计每两个代表性样本被分在同一组的次数，将其填入相似性矩阵；

11、使用spss-25进一步筛选相似性矩阵数据。

12、使用spss-25进一步筛选相似性矩阵数据时，进行多维尺度分析，分析结果通过压力指数sk和决定系数rsq来进行评价，其中压力指数sk表示多维尺度拟合的优劣程度，越小越理想；决定系数rsq表示样本之间的差异能够被相对空间距离解释的程度，越大越理想；

13、继续采用系统分析法进一步对代表性样本的6维坐标进行分析，通过系统聚类获得代表性样本的聚类系数表和样本分类树形图，得到代表性样本的聚类过程；

14、将聚类系数导入到excel中进行曲线拟合，找到聚类系数变化的转折点；

15、为了找出分好的每一类的新的代表性样本，对六维坐标在spss-25软件中进行k均值聚类，得到了各代表性样本所属的类别以及与所属类别中心之间的距离，k均值聚类算法的公式如下：

16、

17、

18、公式各参数介绍如下：

19、e是目标最小化平方误差，

20、k是聚类数，

21、i代表样例，是从1开始，一直到k，

22、ci代表样例i与k个类中距离最近的那个类，

23、x是属于ci中的变量，值是1到k中的一个，

24、μi是ci的均值向量，作为聚类中心，

25、x是第i个聚类集中所包含的样本个数。

26、收集可以用于描述卡车外观造型设计的感性词汇，并可以通过人工补入新的感性词汇，筛选感性词汇时，通过德尔菲法进行初步筛选，去除不是用来评价卡车前脸造型外观的感性词汇；在初步筛选感性词汇之后，使用kj法对筛选后的感性词汇按照语义相似度进行聚类，把语义相近的感性词汇聚为一类，使用时设置词汇关联度数值进行降序排列，筛选出关联度80％以上的词汇数据作为语义参考；

27、在每一类中选出最具有代表性的一个词汇。通过汇总被选频次，找出每一类中与其他词汇关联度达到80％以上的词汇作为该类的代表性感性词汇；

28、将代表性感性词汇进行反义词配对，形成感性意象形容词对。

29、运用语义差异法，使代表性的卡车前脸样本中的每一个样本都与5个代表性感性词汇对一一对应。

30、stylegan2网络的整体公式：

31、

32、公式各参数介绍如下：

33、v是原始gan论文中指定用来表示该交叉熵的字母，

34、g是一个生成图片的网络，接收随机噪声z，

35、d是一个二分类判别网络，对于给定的图片判别真假，

36、v(g,d)是相当于表示真实样本和生成样本的差异程度，

37、x是参数，表示有x张样本图片，

38、pdata是所有样本的真实数据的分布区间，

39、log是对数，其底数为自然底数e，

40、x是真实的图片，而对应的标签是1，

41、d(x)代表x为真实图片的概率，

42、pg是所有噪声的生成数据的分布区间，

43、z是随机噪声，

44、g(z)是通过给定噪声z，生成图片(实际上是通过给定的z生成一个tensor)，对应的标签是0，d(1-g(z))是d网络判断g生成的图片的是否真实的概率。

45、本发明的有益效果在于：本发明通过焦点小组法、kj法等相关实验方法以及聚类分析、因子分析、主成分分析、多元尺度分析等数据分析方法找出卡车前脸造型代表性语义特征和代表性样本。采用主观、客观相结合的研究方法，构建形态要素与语义特征关系映射，使用生成式对抗网络stylegan2学习各个语义特征下的样本数据，利用预训练的生成模型生成指定数量、指定形式的新方案图像。基于生成式对抗网络的卡车前脸造型预期方案快速生成方法生成新的设计方案，以提升产品的迭代速度和满足用户的情感化需求。通过前端包装，使得系统的使用更加方便，只需要输入想要的产品风格，就可以快速、自动的生成符合用户感性意象的新的卡车前脸造型方案。