一种大数据驱动的汽车外造型设计的自动评估方法

1.本发明涉及一种大数据驱动的汽车外造型设计自动评估领域，涉及一种对汽车造型进行实时自动的评估方法。


背景技术：

2.汽车造型的优劣既是造型师设计内容的体现，也是消费者购车时考虑的重要因素，并且汽车爱好者和相关从业人员也会对其欣赏评判，符合大众审美的汽车外观设计可以瞬间抓住用户眼球，把握消费者心理。因此，结合用户喜好需求设计汽车造型外观对于汽车厂商而言非常重要。当前不同的汽车品牌大多有同级别的竞争车型，而这些车型的配置、动力和可靠性相似，这使得外观造型成为差异化设计的重中之重。
3.在激烈的市场竞争中以及汽车行业的数字化智能化转型中，汽车外观设计作为研发设计中的重要一环，亟待技术革新。在研发过程中需要有可靠的评价模型对设计师所设计的汽车造型进行有效评估，才能设计出消费者满意的造型。传统的汽车造型评价研究工作大部分依赖于人工特征定义与提取，尽管采用预定义特征的汽车造型分析方法取得很多进展，但是这些方法高度依赖人工提取。在大数据时代，机器学习、深度学习快速发展，数据挖掘、人工智能得到广泛应用，以深度学习为代表的机器学习取得了极大进展，计算机视觉方向更是发展迅猛。深度学习方法的优势在于，将特征提取、特征选择、分类器、回归器融为一体，可实现造型评价的全自动性，尽可能屏蔽由于人工指定特征的主观性。
4.基于以上原因，相关学者提出了一种汽车外造型自动评分方法(发明专利，授权公告号：cn 112258472 b)，该方法建立了基于用户多维度属性的可靠汽车外造型用户评分，并通过大数据驱动和深度学习的方法实现了汽车外造型的自动量化评分。但用户限于专业知识储备少，不能很好的对汽车造型做出专业评估，并且汽车造型评分并不能给造型师提供较为全面的参考作用。因此，本文在上述研究基础上增加了专家视角的汽车外造型评估，并将汽车外造型评分输出扩展至外造型语义评价输出，考虑用户和专家两种评价视角和不同汽车等级、汽车品牌、汽车角度，基于深度学习的多视角汽车图片的自动评价方法,实现合理自动对汽车外造型进行评估。


技术实现要素：

5.本发明提供了一种汽车外造型自动评估方法。首先创建用于汽车角度识别、等级识别的大规模多视角汽车图片数据集，对该数据集进行品牌、车型、角度信息标注；采用深度学习方法分别对网络模型进行训练，得到对应的汽车角度识别机、汽车等级识别机；创建用于外造型评价的汽车造型评价数据集，数据集针对终端用户及造型专家分别进行造型评分标注及造型语义评价标注；将汽车造型评价数据集按汽车等级和评价人员属性拆分为相应子数据集，用深度学习回归及分类方法分别进行训练，得到汽车外造型用户及专家不同层面的自动评分机及自动语义评价机；对影响造型评分及语义评价的显著特征进行可视化，为造型师在研发过程中提供实时、客观的造型设计评估。
6.本发明的技术方案：
7.一种大数据驱动的汽车外造型设计的自动评估方法，步骤如下：
8.步骤1，创建用于汽车角度识别、等级识别的大规模多视角汽车图片数据集并进行相关信息标注；
9.(1.1)收集与整理不同品牌、型号的多视角汽车外观图片，总样本数不少于n1张，涵盖汽车品牌数不少于n2个，车型年限跨度为y1～y2年，每款车在平视角环绕一周均匀采样n3张图片；
10.(1.2)对步骤(1.1)中的多视角汽车外观图片进行一一标注，包括汽车等级、品牌、型号、汽车角度，其中汽车等级分为：轿车按照a、b、c、d四个等级，suv按照紧凑型、中型、中大型、大型suv四个等级，得到大规模多视角汽车图片数据集，并按照汽车等级拆分为对应子数据集；
11.步骤2，对步骤1中的多视角汽车图片数据集分别进行角度识别、等级识别训练，对应得到汽车角度识别机、汽车等级识别机；
12.(2.1)对步骤1中拆分的子数据集按照比例k拆分为相应的训练集和验证集，采用深度学习回归网络训练汽车角度识别机，采用深度学习分类网络训练汽车等级识别机；
13.(2.2)使用步骤(2.1)中得到的汽车角度识别机、汽车等级识别机对输入的汽车外造型图片进行快速、准确的判别，预测输入汽车造型图片的角度和等级；
14.步骤3，创建含用户、专家两个层面用于训练汽车外造型自动评分机的汽车外造型评分数据集与含用户、专家两个层面用于训练汽车外造型自动语义评价机的汽车外造型语义评价数据集；对步骤1中的多视角汽车图片数据集进行处理，分为终端用户及造型专家两个群体对多视角汽车图片数据集分别进行造型评分标注及造型语义评价标注，分别得到含汽车外造型用户评分数据集与汽车外造型用户语义评价数据集的用户的汽车造型评价数据集、含汽车外造型专家评分数据集与汽车外造型专家语义评价数据集的专家的汽车造型评价数据集；
15.(3.1)收集整理与步骤1中的多视角汽车图片数据集相对应的用户评分数据，对用户评分数据进行清洗，分析用户多维度属性并进行量化，根据用户不同的属性赋予不同评分权重，综合得到汽车外造型的综合用户评分；使用该综合用户评分对多视角汽车图片数据集中的汽车图片进行一一对应的用户评分标注，得到汽车外造型用户评分数据集；
16.(3.2)收集整理与步骤1中的多视角汽车图片数据集相对应的用户语义评价数据，对用户语义评价数据进行汽车造型语义评价关键词提取和分析，然后对多视角汽车图片数据集中的汽车图片进行一一对应的用户语义评价标注，得到汽车外造型用户语义评价数据集；
17.(3.3)收集整理与步骤1中的多视角汽车图片数据集相对应的专家评分数据，从专家从业年限及评价车型数量对专家评价可靠性进行分析，对专家评分数据进行清洗；使用该专家评分数据对多视角汽车图片数据集中的汽车图片进行一一对应的专家评分标注，得到汽车外造型专家评分数据集；
18.(3.4)收集整理与步骤1中的多视角汽车图片数据集相对应的专家语义评价数据，对专家语义评价数据进行汽车造型语义评价关键词提取和分析，然后对多视角汽车图片数据集中的汽车图片进行一一对应的专家语义评价标注，得到汽车外造型专家语义评价数据
集；
19.步骤4，将步骤3创建的汽车外造型评分数据集，按汽车等级和评价人员属性拆分为相应子数据集，用深度学习回归方法对用户和专家两个层面分别进行训练，得到汽车外造型用户自动评分机与汽车外造型专家自动评分机；
20.(4.1)将步骤(3.1)中的汽车外造型用户评分数据集，按步骤(1.2)中的汽车等级分类方法进行分类，得到x级车型外造型用户评分子数据集，其中x取a、b、c、d、紧凑型suv、中型suv、中大型suv、大型suv；采用深度学习回归方法建立子数据集中造型评分与汽车外造型特征的映射关系，分别训练深度学习网络模型，得到与子数据集相对应的x级车型外造型用户自动评分机；
21.(4.2)将步骤(3.3)中的汽车外造型专家评分数据集，按步骤(1.2)中的汽车等级分类方法进行分类，得到x级车型外造型用户评分子数据集，其中x取a、b、c、d、紧凑型suv、中型suv、中大型suv、大型suv；采用深度学习回归方法建立子数据集中造型评分与汽车外造型特征的映射关系，分别训练深度学习网络模型，得到与子数据集相对应的x级车型外造型专家自动评分机；
22.步骤5，将步骤3创建的汽车外造型语义评价数据集，按汽车等级和评价人员属性拆分为相应子数据集，用深度学习多标签分类方法对用户和专家两个层面分别进行训练，得到汽车外造型用户自动语义评价机与汽车外造型专家自动语义评价机；
23.(5.1)将步骤(3.2)中的汽车外造型用户语义评价数据集，按步骤(1.2)中的汽车等级分类方法进行分类，得到x级车型外造型用户评分子数据集，其中x取a、b、c、d、紧凑型suv、中型suv、中大型suv、大型suv；采用深度学习多标签分类方法建立子数据集中造型语义评价与汽车外造型特征的映射关系，分别训练深度学习多标签分类模型，得到与子数据集相对应的x级车型外造型用户自动语义评价机；
24.(5.2)将步骤(3.4)中的汽车外造型专家语义评价数据集，按步骤(1.2)中的汽车等级分类方法进行分类，得到x级车型外造型用户评分子数据集，其中x取a、b、c、d、紧凑型suv、中型suv、中大型suv、大型suv；采用深度学习多标签分类方法建立子数据集中造型语义评价与汽车外造型特征的映射关系，分别训练深度学习多标签分类模型，得到与子数据集相对应的x级车型外造型专家自动语义评价机；
25.步骤6，使用深度学习模型可视化方法分别对汽车外造型自动评分机和汽车外造型自动语义评价机进行显著性特征可视化；
26.(6.1)采用深度学习模型可视化方法(梯度类加权激活映射方法)，对汽车造型显著性特征进行可视化；该方法通过使用流入cnn中卷积层的梯度信息来理解每个神经元对于预测目标决定的重要性，对于最后输出的结果c(c表示类别或回归值)，最后一层卷积层中第k个神经元的权重公式如下：
[0027][0028]
其中，是c相对于最后一层卷积层输出特征图的第k个通道的敏感程度，z是特征图的像素个数，i和j分别表示宽高维度的序号，yc表示最后一层激活函数的输出中c的概
率，是最后一层卷积层输出的特征图，k是特征图的通道维度的序号，则是该概率值对最后一层第k个神经元输出特征图所有像素求偏导数；然后把作为权重对最后一层卷积层输出的特征图加权求和线性组合起来，并通过relu激活函数处理输出，过滤掉特征图a上某个位置加权得到的负值，仅保留与预测值正相关的输出，整体公式如下：
[0029][0030]
其中，l是一个二维类别激活热力图，ak是最后一层卷积层输出的特征图，将热力图与原图叠加在一起即呈现出显著特征的可视化效果；
[0031]
(6.2)使用步骤(6.1)介绍的深度学习模型可视化方法分别对步骤(4.1)、(4.2)、(5.1)、(5.5)中得到的汽车外造型用户自动评分机、用户自动语义评价机、专家自动评分机、专家自动语义评价机进行汽车外造型显著性特征可视化，以热力图的形式定位出用户及专家感兴趣的汽车外造型特征；
[0032]
步骤7，对于输入的外造型设计效果图，采用步骤2、步骤4～6中得到的汽车外造型自动评分机与自动语义评价机，为设计师提供实时客观的用户及造型专家两方面外造型评分、语义评价及对应的显著特征可视化信息；
[0033]
(7.1)对于输入的汽车外造型设计效果图，采用步骤(2.1)中得到的汽车外造型角度识别机、汽车外造型等级识别机确定车型角度及车型等级；
[0034]
(7.2)汽车外造型设计效果图经步骤(7.1)确定车型的角度和等级以后，采用步骤(4.1)中对应的用户自动评分机得到用户评分，采用步骤(5.1)中对应的专家自动评分机得到专家评分；采用步骤(6.1)中的显著性特征可视化方法，分别输出用户自动评分机与专家自动评分机在评分时关注的汽车外造型特征；
[0035]
(7.3)汽车外造型设计效果图经步骤(7.1)确定车型的角度和等级以后，采用步骤(4.2)中对应的用户自动语义评价机得到用户语义评价，采用步骤(5.2)中对应的专家自动语义评价机得到专家语义评价；采用步骤(6.1)中的显著性特征可视化方法，分别输出用户自动语义评价机与专家自动语义评价机在对汽车外造型进行语义评价时关注的汽车外造型特征。
[0036]
本发明的有益效果：本发明提供了一种汽车外造型自动评估方法，针对传统汽车外造型评价过程中多采用小样本数据、主观评价形式为主的问题，面向大数据考虑用户多维度属性，得到合理的造型评分，基于不同视角，采用深度学习方法构建汽车造型评价数据与汽车造型特征的映射关系，得到基于用户及专家不同层面的汽车外造型自动评分机及自动语义评价机；对影响造型评分及语义评价的显著特征进行可视化，为造型师对后续的研发过程提供参考。
[0037]
(1)克服传统汽车造型评价方法样本数据小、评价主观性强等弊端，使用大数据驱动深度学习，考虑不同用户属性，得到合理的汽车外观评价反馈，对于设计师把握用户心理有一定的参考意义；
[0038]
(2)采用深度学习方法按汽车等级分别训练模型，建立汽车造型多视角图片和汽车造型评分、语义评价的映射关系，避免依赖于人工特征定义与提取，具有更高的鲁棒性及
精度；对汽车外造型评估过程中的显著性特征进行可视化，找出影响汽车造型评分、造型语义评价的显著性特征区域，为后续的研发过程提供参考方向。
附图说明
[0039]
图1为本发明的整体结构流程图。
[0040]
图2为汽车外造型综合评分机制流程图。
[0041]
图3为汽车外造型自动评分流程示意图。
[0042]
图4为基于角度修正评分流程图
[0043]
图5为汽车外造型自动语义评价流程示意图。
[0044]
图6为深度学习模型可视化方法对模型做可视化输出流程图。
[0045]
图7为汽车外造型自动评估系统整体演示图。
具体实施方式
[0046]
为了更加详细地对本发明的步骤进行说明，通过附图和案例的方式对本发明的具体实施过程进行介绍。此处所述的案例仅用于对本发明进行解释，并不用于限定本发明。
[0047]
参阅图1，本发明提供了一种汽车外造型自动评估方法，首先创建大规模多视角汽车图片数据集，并进行相关信息标注。采用数据集对深度学习模型进行训练，得到汽车外造型用户及专家不同层面的自动评分机及自动语义评价机，采用深度学习模型可视化方法对影响造型评分及语义评价的显著特征进行可视化，为造型师在研发过程中提供实时、客观的造型设计评估。
[0048]
所述一种大数据驱动的汽车外造型设计的自动评估方法主要包括以下步骤：
[0049]
步骤1，具体包括以下子步骤：
[0050]
(1.1)收集与整理不同品牌、型号的多视角汽车外观图片，总样本数不少于20000张，涵盖汽车品牌数不少于取16个，车型年限跨度为不少于5年，每款车在平视角环绕一周均匀采样取30张图片；
[0051]
(1.2)对步骤(1.1)中的多视角汽车外观图片进行一一标注，包括汽车等级、品牌、型号、汽车角度，其中汽车等级分为：轿车按照a、b、c、d四个等级，suv按照紧凑型、中型、中大型、大型suv四个等级，得到大规模多视角汽车图片数据集，并按照汽车等级拆分为对应子数据集；
[0052]
步骤2，具体包括以下子步骤：
[0053]
(2.1)对步骤1中拆分的子数据集内数据按照比例k＝7/3拆分为相应的训练集和验证集，采用深度学习回归网络训练汽车外观角度识别机，采用深度学习分类网络训练汽车外观等级识别机；
[0054]
(2.2)使用步骤(2.1)中得到的汽车外观角度识别机与汽车外观等级识别机对输入的汽车外造型图片进行快速、准确的判别，预测输入汽车外造型图片的角度与等级；
[0055]
步骤3，具体包括以下子步骤：
[0056]
(3.1)参阅图2，创建与汽车多视角图片数据集相对应的汽车造型评价数据集：收集整理与步骤1中的多视角汽车图片数据集相对应的的有效用户的评论样本(包括用户造型评分、用户造型语义评价、用户专业性、用户客观性等)，然后对用户评分采用合理的综合
评分机制进行处理：首先采用格拉布斯检验法对用户造型评分进行剔除异常值。公式如下：
[0057][0058]
其中gi表示格拉布斯检验法统计量，s是样本标准差，为采样平均值，i表示任意一条数据，xi表示该条数据的评分，根据公式计算得到每一个评分值xi的gi值，对比根据样本数和置信度确定的格拉布斯临界表，如果得到的gi值大于表中值，则认为该xi为离群值将其剔除；
[0059]
其次对用户进行属性量化，决策用户具有多种维度属性，将各种维度属性的度量转化为权重因子。采用权重取值原则是：用户维度属性值越高，权重因子越高；由于可信度权重与用户的专业性满足正态分布，同时认为权重因子可由概率分布密度函数采样所得，故定义一维加权高斯分布函数：
[0060][0061]
其中w为初赋权重因子，x为用户属性量化值，σ为标准差，μ为最高用户专业性量化因子，a为幅值弹性系数，b控制函数平坦程度。考虑多个独立的用户属性维度，可将一维加权高斯分布函数推广到多维情形，采用如下公式：
[0062][0063]
其中w为某车型评分计算的权重因子，i表示用户属性维度，n表示维度数目，ai为幅值弹性系数，bi为用以调整汽车造型评分权重的最大值与最小值的差距，xi为用户各属性的量化值，σi为用户各属性量化等级的标准差，μi为用户各属性量化的最高等级。对于某一车型，假定评价用户数为n，任意用户经属性量化及归一化后的权重为：
[0064][0065]
其中i表示某单一用户，wi为单一用户根据属性计算得到的权重因子，为单一用户的加权评分权重，则该车型的用户加权得分为单一用户评分与对应权重的加权和。使用处理后的汽车造型用户评分对多视角汽车图片数据集进行用户评分标注，得到汽车造型用户评分数据集。按照比例k(例如k取7/3)将数据集拆分为训练集和验证集；
[0066]
(3.2)收集整理与步骤1中的大规模多视角汽车图片数据集相对应的用户语义评价数据，对用户语义评价数据进行汽车造型语义评价关键词提取和分析，例如使用tf-idf算法获取造型语义评价的关键词，如公式：
[0067][0068]
其中，i表示某一具体词，tfi表示该词语的词频，ni表示该词在文本中的出现次数，m为评论文本词汇数，ki表示该词汇字词出现的次数。然后采用公式：
[0069][0070]
计算该词的逆向文件频率idfi，其中d表示包含该关键词的评论数，d表示评论总数。以tf-idf＝tfi×
idfi值衡量词条在造型评论中的重要程度，实现造型语义评价关键词的提取。使用提取的造型用户语义评价关键词对步骤1中的多视角汽车图片数据集进行语义标注，得到汽车外造型用户语义评价数据集，按照比例k(如k取7/3)将数据集拆分为相应的训练集和验证集；
[0071]
(3.3)收集整理与步骤1中的多视角汽车图片数据集相对应的的有效专家评论样本(包括专家造型评分、专家造型语义评价、专家从业年限、专家评论车型数量等)，然后采用格拉布斯检验法对专家造型评分进行剔除异常值。公式如下：
[0072][0073]
其中s是样本标准差，为采样平均值，根据公式计算得到每一个采样值xi的gi值，对比根据样本数和置信度确定的格拉布斯临界表，如果得到的gi值大于表中值，则认为该xi为离群值将其剔除；
[0074]
其次对专家属性进行量化，当专家在汽车外观设计或评估领域的从业年限超过n1(例如n1》5)年且评价车型数超过n2(例如n2》100)款时，可认定专家评分客观合理。使用处理后的汽车造型专家评分对多视角汽车图片数据集进行专家评分标注，得到汽车造型专家评分数据集。按照比例k(例如k取7/3)将数据集拆分为训练集和验证集；
[0075]
(3.4)收集整理与步骤1中的大规模多视角汽车图片数据集相对应的专家语义评价数据，对专家语义评价数据进行汽车造型语义评价关键词提取和分析，例如使用tf-idf算法获取造型语义评价的关键词，如公式：
[0076][0077]
其中，i表示某一具体词，tfi表示该词语的词频，ni表示该词在文本中的出现次数，m为评论文本词汇数，ki表示该词汇字词出现的次数。然后采用公式：
[0078][0079]
计算该词的逆向文件频率idfi，其中d表示包含该关键词的评论数，d表示评论总数。以tf-idf＝tfi×
idfi值衡量词条在造型评论中的重要程度，实现造型语义评价关键词的提取。使用提取的造型语义评价关键词分别对多视角汽车图片数据集进行对应语义标注，得到汽车造型专家语义评价数据集，并按照比例k(如k取7/3)将数据集拆分为相应的训练集和验证集；
[0080]
步骤4，具体包括以下子步骤：
[0081]
(4.1)参阅图3，将步骤(3.1)中的汽车外造型用户评分数据集，按步骤(1.2)中的汽车等级分类方法进行分类，得到x级车型外造型用户评分子数据集，其中x取a、b、c、d、紧凑型suv、中型suv、中大型suv、大型suv；采用深度学习回归方法建立子数据集中造型评分与汽车外造型特征的映射关系，分别训练深度学习网络模型，得到与子数据集相对应的x级车型外造型用户自动评分机：将用户造型评分数据集按照比例k(k＝7/3)拆分为训练集和
测试集，汽车造型评分标签归一化到0-1之间，网络最后一层连接sigmoid函数进行逻辑回归计算，拟合至sigmoid函数曲线上的造型评分点，使得训练好的模型可以预测输出汽车造型评分。训练深度学习模型时参数如下：epoch为n1，训练batch为n2，初始学习率为n3，当epoch在不同范围内时，学习率进行相应调整，动量(momentum)为n4，衰减(weightdecay)为n5；(例如n1＝100，n2＝32，n3＝0.0001，n4＝0.9，n5＝0.0005)。参阅图4，计算不同等级下的汽车评分调整参数。对某一等级下的汽车造型多视角数据集图片进行评分预测，用mae(平均绝对误差)来衡量预测评分的精确度，可以得到同一汽车等级下各个车型的不同角度评分数据统计，整理制作汽车造型评分统计表。将各个车型评分的mae最低的部分角度选出，以集合形式表示计算各角度的评分调整参数，即各角度出现的频率：
[0082][0083]
其中θ表示角度，i表示具体角度，表示该角度下的误差，表示评分调整参数，m表示所测角度样本数，频率出现最高的角度说明该处的评分可信度更高，所以该等级下的汽车造型评分调整参数集合为不同等级下的汽车评分调整参数有所不同，应对各子数据库的图片分别进行预测和计算，在对汽车造型进行评分时，选取对应角度的评分调整参数对评分进行调整，得到汽车造型角度加权评分。公式如下：
[0084][0085]
其中x表示最终汽车造型评分，表示相应角度评分调整权重，表示该角度下预测评分；
[0086]
(4.2)参阅图3，将步骤(3.3)中的汽车外造型专家评分数据集，按步骤(1.2)中的汽车等级分类方法进行分类，得到x级车型外造型专家评分子数据集，其中x取a、b、c、d、紧凑型suv、中型suv、中大型suv、大型suv；采用深度学习回归方法建立子数据集中造型评分与汽车外造型特征的映射关系，分别训练深度学习网络模型，得到与子数据集相对应的x级车型外造型用户自动评分机：将将用户造型评分数据集按照比例k(如k＝7/3)拆分为训练集和测试集，汽车造型评分标签归一化到0-1之间，网络最后一层连接sigmoid函数进行逻辑回归计算，拟合至sigmoid函数曲线上的造型评分点，使得训练好的模型可以预测输出汽车造型评分。训练深度学习模型时参数如下：epoch为n1，训练batch为n2，初始学习率为n3，当epoch在不同范围内时，学习率进行相应调整，动量(momentum)为n4，衰减(weightdecay)为n5；(例如n1＝100，n2＝32，n3＝0.0001，n4＝0.9，n5＝0.0005)。参阅图4，计算不同等级下的汽车评分调整参数。对某一等级下的汽车造型多视角数据集图片进行评分预测，用mae(平均绝对误差)来衡量预测评分的精确度，可以得到同一汽车等级下各个车型的不同角度评分数据统计，整理制作汽车造型评分统计表。将各个车型评分的mae最低的部分角度选出，以集合形式表示计算各角度的评分调整参数，即各角度出现的频率：
[0087]
[0088]
其中θ表示角度，i表示具体角度，表示该角度下的误差，表示评分调整参数，m表示所测角度样本数，频率出现最高的角度说明该处的评分可信度更高，所以该等级下的汽车造型评分调整参数集合为不同等级下的汽车评分调整参数有所不同，应对各子数据库的图片分别进行预测和计算，在对汽车造型进行评分时，选取对应角度的评分调整参数对评分进行调整，得到汽车造型角度加权评分。公式如下：
[0089][0090]
其中x表示最终汽车造型评分，表示相应角度评分调整权重，表示该角度下预测评分；
[0091]
步骤5，具体包括以下子步骤：
[0092]
(5.1)参阅图5，将步骤(3.2)中的汽车外造型用户语义评价数据集，按步骤(1.2)中的汽车等级分类方法进行分类，得到x级车型外造型用户评分子数据集，其中x取a、b、c、d、紧凑型suv、中型suv、中大型suv、大型suv。采用深度学习多标签分类方法建立子数据集中造型语义评价与汽车外造型特征的映射关系，分别训练深度学习多标签分类模型，得到与子数据集相对应的x级车型外造型用户自动语义评价机：一款车型的外造型不限于单个语义特征，因此采用多标签分类的方法实现汽车外造型多个语义评价的输出，深度学习网络输出层的神经元按照相应的语义评价标签数进行设置，由于多标签分类的每个分类标签之间独立但不互斥，即标签之间存在一定关联性，采用sigmoid激活函数处理该类问题，将每个分类计算的结果均转化为0-1之间的概率值。由于数据集存在的长尾效应会对模型训练带来负面影响，所以采用focal loss(fl)损失函数进行改善，同时结合逆类别频率控制正负样本比例，解决了正负样本不平衡以及区分简单与复杂样本的问题，提升模型对长尾标签的分类效果，将用户造型语义评价数据集按照比例k(如k＝7/3)拆分为训练集和测试集；
[0093]
(5.2)参阅图5，将步骤(3.4)中的汽车外造型专家语义评价数据集，按步骤(1.2)中的汽车等级分类方法进行分类，得到x级车型外造型用户评分子数据集，其中x取a、b、c、d、紧凑型suv、中型suv、中大型suv、大型suv。采用深度学习多标签分类方法建立子数据集中造型语义评价与汽车外造型特征的映射关系，分别训练深度学习多标签分类模型，得到与子数据集相对应的x级车型外造型专家自动语义评价机：一款车型的外造型不限于单个语义特征，因此采用多标签分类的方法实现汽车外造型多个语义评价的输出，深度学习网络输出层的神经元按照相应的语义评价标签数进行设置，由于多标签分类的每个分类标签之间独立但不互斥，即标签之间存在一定关联性，采用sigmoid激活函数处理该类问题，将每个分类计算的结果均转化为0-1之间的概率值。由于数据集存在的长尾效应会对模型训练带来负面影响，所以采用focal loss(fl)损失函数进行改善，同时结合逆类别频率控制正负样本比例，解决了正负样本不平衡以及区分简单与复杂样本的问题，提升模型对长尾标签的分类效果，将专家造型语义评价数据集按照比例k(如k取7/3)拆分为训练集和测试集；步骤6，具体包括以下子步骤：
[0094]
(6.1)参阅图6，采用有效的深度学习模型可视化方法，例如梯度类加权激活映射(grad-cam)对汽车造型显著性特征进行可视化。该方法通过使用流入cnn中卷积层的梯度
信息来理解每个神经元对于预测目标决定的重要性，以分类模型为例，对于最后输出的结果c(c表示类别或回归值)，最后一层卷积层中第k个神经元的权重公式如下：
[0095][0096]
其中，是c相对于最后一层卷积层输出特征图的第k个通道的敏感程度，z是特征图的像素个数，i和j分别表示宽高维度的序号，yc表示最后一层激活函数的输出中c的概率，是最后一层卷积层输出的特征图，k是特征图的通道维度的序号，则是该概率值对最后一层第k个神经元输出特征图所有像素求偏导数。然后把作为权重对最后一层卷积层输出的特征图加权求和线性组合起来，并通过relu激活函数处理输出，过滤掉特征图a上某个位置加权得到的负值，仅保留与预测值正相关的输出，整体公式如下：
[0097][0098]
其中l是一个二维类别激活热力图，ak是最后一层卷积层输出的特征图，将热力图与原图叠加在一起即呈现出显著特征的可视化效果；
[0099]
(6.2)使用步骤(6.1)介绍的深度学习模型可视化方法分别对步骤(4.1)、(4.2)、(5.1)、(5.5)中得到的汽车外造型用户自动评分机、用户自动语义评价机、专家自动评分机、专家自动语义评价机进行汽车外造型显著性特征可视化，以热力图的形式定位出用户及专家感兴趣的汽车外造型特征；
[0100]
步骤7，具体包括以下子步骤：
[0101]
(7.1)对于输入的汽车外造型设计效果图，采用步骤(2.1)中得到的汽车外造型角度识别机、汽车外造型等级识别机确定车型角度及车型等级；
[0102]
(7.2)汽车外造型设计效果图经步骤(7.1)确定车型的角度和等级以后，采用步骤(4.1)中对应的用户自动评分机得到用户评分，采用步骤(5.1)中对应的专家自动评分机得到专家评分；采用步骤(6.1)中的显著性特征可视化方法，分别输出用户自动评分机与专家自动评分机在评分时关注的汽车外造型特征；
[0103]
(7.3)汽车外造型设计效果图经步骤(7.1)确定车型的角度和等级以后，采用步骤(4.2)中对应的用户自动语义评价机得到用户语义评价，采用步骤(5.2)中对应的专家自动语义评价机得到专家语义评价；采用步骤(6.1)中的显著性特征可视化方法，分别输出用户自动语义评价机与专家自动语义评价机在对汽车外造型进行语义评价时关注的汽车外造型特征。