本发明涉及一种由汽车正前视图图片/草图全自动生成前脸参数化模型，涉及一种汽车前脸参数化模型全自动生成方法。
背景技术
计算机辅助设计与造型技术可极大提升汽车研发效率，加速设计周期。通过单幅(或多幅)图像(草图)生成车身三维模型关键环节在于，如何让计算机像人一样进行图像的模型理解与参数化建模。目前，该工作在汽车造型设计与分析领域尚处于人机交互的手工交互阶段，繁琐而耗时。如今，随着大数据时代的到来，以深度学习为代表的机器学习技术大大促进了自动驾驶、智能交通、自动化建模等技术发展。然而该技术依赖于海量标注数据，这是一项耗费极为巨大的工作。基于参数化模型的精确提取将实现汽车图像数据的高精度标注，将大大提高海量图像数据的重用率，同时可输出参数化模型进行后期建模加工。
为了实现汽车前视图特征点的自动提取，以提高汽车造型设计效率，本发明提出了基于深度学习的汽车前视图特征点自动提取的方法。输入汽车前视图，系统会对汽车进行自动分类，匹配相应模型，定位汽车前视图特征点，根据生成的特征点数据自动构建二维造型特征线，从而实现汽车前视图二维线框模型的快速提取，可以用于三维曲线、曲面模型的生成。本发明与手动建模，可以在保证精度的情况下，大幅度提高设计效率，降低设计门槛。
技术实现要素：
针对现有问题，本发明提出了一种从车身前视图图片(实拍图片或草图)，参数化模型全自动精确提取及生成技术。
本发明的技术方案：
一种汽车前脸参数化模型全自动生成方法，步骤如下：
(1)车型前脸分类：基于格式塔理论及前脸各部件的位置关系，将汽车前视图分为六类，为上下式左右相隔、整合式、上下式上接触、上下式下接触、上下式都接触以及特殊式；具体如下，参见附图2：
类型一：上下式左右相隔，即进气格栅为上下式分布，前大灯与进气格栅之间的关系为左右相隔；
类型二：整合式，即进气格栅为整合式，上下互连为一个整体，前大灯与进气格栅之间的关系为左右相隔；
类型三：上下式上接触，即进气格栅为上下式分布，前大灯与进气格栅之间关系为上半部分左右接触，下半部分左右相隔；
类型四：上下式下接触，即进气格栅为上下式分布，前大灯与进气格栅之间关系为上半部分左右分离，下半部分左右接触；
类型五：上下式都接触，即进气格栅为上下互连为一个整体，前大灯与进气格栅也互连为一个整体；
类型六：以上类型均不属于。汽车前脸造型中较为特殊的一类，形状各异，但总数不多。
创建用于汽车前脸分类的前视图训练图像库，整理汽车前脸图像，将背景信息与汽车信息分离并舍弃，背景色设置为白色，并根据上述分类方法进行标注，总数目不少于5000，前五种单项不低于800；
以下针对上下式左右相隔、整合式、上下式上接触、上下式下接触、上下式都接触五种类型进行；
(2)参数化表示模板定义：针对步骤(1)中得到的五类汽车前脸，创建基于三次贝塞尔曲线表示的一致参数化模板，具体定义如下：
采用分段参数曲线表示汽车前脸造型关键曲线特征，根据汽车前脸的特性，考虑对称分布的情况下，对于汽车前脸(右)分为44条特征曲线。每条曲线采用三次贝塞尔曲线表示形式，包含四个控制点；对于第一类型，曲线的属性、编号参考下表；曲线的方向，未经特殊说明，均采用从低编号曲线到高编号曲线的顺时针方向；特殊备注：曲线f16为从左至右；表中每一组曲线，均在中间连接处为c0连续，即共享一个控制点；针对步骤(1)中不同类型汽车前视图创建每一类至少包含200款以上车型的模板库，建立图像与特征曲线的匹配关系；
(3)汽车前脸关键点的定义：针对步骤(1)中得到的六类车型前脸，采用步骤(2)中创建的参数化模板，基于统计形变方法，在给定数量测试集下，通过预先指定关键特征点的情况下重建参数化模型，分析重建误差，进而确定最优的关键点集合包括定义汽车前视图关键点为29个。以第一类汽车前脸为例，特征点编号为1-29，其中1-13为汽车前脸外轮廓关键点，14-17为进气格栅轮廓关键点，18-25为前大灯和雾灯关键点，26-29为车标和车牌关键点，如图4所示；利用步骤(2)中创建的汽车前脸图像及特征曲线库，根据特征点与特征曲线的对应关系，提取与图像相符的关键点标注信息。然后对图片和关键点信息进行剪裁和扩充操作，具体为对用于特征点提取的训练图片，利用其对应的特征曲线信息，根据其外包围盒进行裁剪，并在宽度及高度各两个方向均进行100像素的扩充，扩充部分填充为白色，并对标注点进行相应的平移变换以配准裁剪后的图片；
(4)采用resnet的车型识别：本发明采用残差网络模型(resnet)来对汽车前脸图像进行类型分类。该模型克服了神经网络不断增加网络深度所带来的梯度消失或爆炸和准确率退化的问题，使得神经网络往深度发展成为可能，同时提高了卷积神经网络模型在图像分类领域的正确率。resnet的基本原理扼要表述如下，细节不做赘述。resnet是由残差块(residualblock)构建，残差块主要进行的计算为“残差映射”，参图5。resnet就是由很多这样的模块组成。其中残差块中引入了“捷径连接”(shortcutconnection)，其在既没有增加多余参数的情况下也没有增加计算复杂度。为了进一步减小计算量，resnet还采用了“瓶颈结构”，即对于一个输入，先经过第一个1×1卷积层进行降维，然后经过一个3×3卷积层提取特征，最后经过第二个1×1卷积层进行升维，这样又将输出的维度变为与输入相同的维度。如此反复进行残差运算。基于前述的残差块、捷径连接和瓶颈结构，resnet突破了神经网络深度增加出现的网络“退化”问题。resnet主要包括：resnet-34、resnet-50、resnet-101和resnet-152等等。本文运用的神经网络为resnet-50，针对步骤(1)中创建的前视图训练图像库，将训练集按8：2：2比例分为训练集、校验集和测试集，采用resnet网络进行训练；对于给定的测试汽车前脸图像，采用该识别方法进行车型识别，输出车型类别；
(5)采用深度对齐网络的关键点提取：对于步骤(3)中创建的训练库，采用深度对齐网络(deepalignmentnetwork，dan)方法进行训练；对于给定的测试数据，根据分类不同，进行特征点识别，输出特征点信息，如图6所示；
深度残差网络包含多个阶段；每一个阶段都由三个输入和一个输出组成；输入分别是经过矫正的图片、关键点热图以及由全连接层生成的特征图，面部形状作为最终的输出；连接层作为连接层，起到对阶段最终输出进行一系列转换操作的作用，从而进一步生成三个输入供下一阶段使用；具体操作如下：第一阶段输入原始图片，和面部关键点的初始化s0；对要提取的所有关键点取平均值即得到s0；第一阶段输出s1；第二阶段，首先对上一阶段的连接层进行转换得到s1，同时得到转换处理后的图片t2(i)、s1所属的热图h2以及上一阶段的fc1层输出。这三个值恰好是现阶段的输入。就这样循环往复，直到最后阶段输出sn。
关键点热度图的计算可以看做是一个中心衰减，关键点的位置值取最大，并随着距离变远儿变小，公式如下所示：
对深度调整网络进行总结：dan是一个以级联思想为原理来实现关键点检测的方法。关键点热图的引入使得dan可以在各个阶段输入整张图片提取特征，因而取得更加精确的定位结果。
(6)参数化特征曲线生成：将步骤(4)(5)的输出作为输入，采用约束统计形变的方法进行重建，生成并输出参数化的特征曲线族。具体如下：首先根据步骤3创建的汽车前脸模板库，根据不同类型构建形变空间；根据步骤4的检测类型输出，采用类型对应的形变空间，并将步骤5得到的关键点信息作为先验约束，通过贝叶斯统计形变方法，求得其余曲线的控制点信息，从而实现基于特征点的特征曲线重建，并实现对于输入图像的标注。
本发明对比已有技术具有以下创新点：
1)对汽车前视图进行精确自动分类。
2)对汽车前视图关键点全自动提取。
3)对汽车前视图自动生成参数表示模型。
4)对汽车前视图的高精度自动特征标注。
本发明对比已有技术具有以下显著优点：
1)对给定汽车前视图的车型分类、特征点提取、参数化模型生成、图像的特征点和区域标注同步完成，并实现全自动。
2)基于较大规模数据的模型库，算法鲁棒性高、精度高、可移植性强。
附图说明
图1为本发明的流程图。
图2为汽车前视图的车型分类示意图及其训练库。
图3为汽车前视图的一致参数表示模板及其对应的模板库。
图4为汽车前视图的不同类型的关键特征点及其对应的训练库。
图5为基于卷积神经网络的自动车型识别。
图6为基于dan方法的汽车前脸关键点提取。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
实施例
一种汽车前脸参数化模型全自动生成方法，步骤如下：
(1)车型前脸分类：基于格式塔理论及前脸各部件的位置关系，将汽车前视图分为六类，为上下式左右相隔、整合式、上下式上接触、上下式下接触、上下式都接触以及特殊式；具体如下，参见附图2：
类型一：上下式左右相隔，即进气格栅为上下式分布，前大灯与进气格栅之间的关系为左右相隔；
类型二：整合式，即进气格栅为整合式，上下互连为一个整体，前大灯与进气格栅之间的关系为左右相隔；
类型三：上下式上接触，即进气格栅为上下式分布，前大灯与进气格栅之间关系为上半部分左右接触，下半部分左右相隔；
类型四：上下式下接触，即进气格栅为上下式分布，前大灯与进气格栅之间关系为上半部分左右分离，下半部分左右接触；
类型五：上下式都接触，即进气格栅为上下互连为一个整体，前大灯与进气格栅也互连为一个整体；
类型六：以上类型均不属于。汽车前脸造型中较为特殊的一类，形状各异，但总数不多。
创建用于汽车前脸分类的前视图训练图像库，整理汽车前脸图像，将背景信息与汽车信息分离并舍弃，背景色设置为白色，并根据上述分类方法进行标注，总数目不少于5000，前五种单项不低于800；
以下针对上下式左右相隔、整合式、上下式上接触、上下式下接触、上下式都接触五种类型进行；
(2)参数化表示模板定义：针对步骤(1)中得到的五类汽车前脸，创建基于三次贝塞尔曲线表示的一致参数化模板，具体定义如下：
采用分段参数曲线表示汽车前脸造型关键曲线特征，根据汽车前脸的特性，考虑对称分布的情况下，对于汽车前脸(右)分为44条特征曲线。每条曲线采用三次贝塞尔曲线表示形式，包含四个控制点；对于第一类型，曲线的属性、编号参考下表；曲线的方向，未经特殊说明，均采用从低编号曲线到高编号曲线的顺时针方向；特殊备注：曲线f16为从左至右；表中每一组曲线，均在中间连接处为c0连续，即共享一个控制点；
对于第二类、第三类、第四类和第五类，按如下定义：
针对步骤(1)中不同类型汽车前视图创建每一类至少包含200款以上车型的模板库，建立图像与特征曲线的匹配关系；
(3)汽车前脸关键点的定义：针对步骤(1)中得到的六类车型前脸，采用步骤(2)中创建的参数化模板，基于统计形变方法，在给定数量测试集下，通过预先指定关键特征点的情况下重建参数化模型，分析重建误差，进而确定最优的关键点集合包括定义汽车前视图关键点为29个。以第一类汽车前脸为例，特征点编号为1-29，其中1-13为汽车前脸外轮廓关键点，14-17为进气格栅轮廓关键点，18-25为前大灯和雾灯关键点，26-29为车标和车牌关键点，如图4所示；
关键点编号、关键点对应曲线及其对应控制点编号及关键点属性描述如下：
利用步骤(2)中创建的汽车前脸图像及特征曲线库，根据特征点与特征曲线的对应关系，提取与图像相符的关键点标注信息。然后对图片和关键点信息进行剪裁和扩充操作，具体为对用于特征点提取的训练图片，利用其对应的特征曲线信息，根据其外包围盒进行裁剪，并在宽度及高度各两个方向均进行100像素的扩充，扩充部分填充为白色，并对标注点进行相应的平移变换以配准裁剪后的图片；
(4)采用resnet的车型识别：本发明采用残差网络模型(resnet)来对汽车前脸图像进行类型分类。该模型克服了神经网络不断增加网络深度所带来的梯度消失或爆炸和准确率退化的问题，使得神经网络往深度发展成为可能，同时提高了卷积神经网络模型在图像分类领域的正确率。resnet的基本原理扼要表述如下，细节不做赘述。resnet是由残差块(residualblock)构建，残差块主要进行的计算为“残差映射”，参图5。resnet就是由很多这样的模块组成。其中残差块中引入了“捷径连接”(shortcutconnection)，其在既没有增加多余参数的情况下也没有增加计算复杂度。为了进一步减小计算量，resnet还采用了“瓶颈结构”，即对于一个输入，先经过第一个1×1卷积层进行降维，然后经过一个3×3卷积层提取特征，最后经过第二个1×1卷积层进行升维，这样又将输出的维度变为与输入相同的维度。如此反复进行残差运算。基于前述的残差块、捷径连接和瓶颈结构，resnet突破了神经网络深度增加出现的网络“退化”问题。resnet主要包括：resnet-34、resnet-50、resnet-101和resnet-152等等。本文运用的神经网络为resnet-50，具体网络卷积参数如下。
针对步骤(1)中创建的前视图训练图像库，将训练集按8：2：2比例分为训练集、校验集和测试集，采用resnet网络进行训练；对于给定的测试汽车前脸图像，采用该识别方法进行车型识别，输出车型类别；
(5)采用深度对齐网络的关键点提取：对于步骤(3)中创建的训练库，采用深度对齐网络(deepalignmentnetwork，dan)方法进行训练；对于给定的测试数据，根据分类不同，进行特征点识别，输出特征点信息，如图6所示；
深度残差网络包含多个阶段；每一个阶段都由三个输入和一个输出组成；输入分别是经过矫正的图片、关键点热图以及由全连接层生成的特征图，面部形状作为最终的输出；连接层作为连接层，起到对阶段最终输出进行一系列转换操作的作用，从而进一步生成三个输入供下一阶段使用；具体操作如下：第一阶段输入原始图片，和面部关键点的初始化s0；对要提取的所有关键点取平均值即得到s0；第一阶段输出s1；第二阶段，首先对上一阶段的连接层进行转换得到s1，同时得到转换处理后的图片t2(i)、s1所属的热图h2以及上一阶段的fc1层输出。这三个值恰好是现阶段的输入。就这样循环往复，直到最后阶段输出sn。
关键点热度图的计算可以看做是一个中心衰减，关键点的位置值取最大，并随着距离变远而变小，公式如下所示：
对深度调整网络进行总结：dan是一个以级联思想为原理来实现关键点检测的方法。关键点热图的引入使得dan可以在各个阶段输入整张图片提取特征，因而取得更加精确的定位结果。
(6)参数化特征曲线生成：将步骤(4)(5)的输出作为输入，采用约束统计形变的方法进行重建，生成并输出参数化的特征曲线族。具体如下：首先根据步骤3创建的汽车前脸模板库，根据不同类型构建形变空间；根据步骤4的检测类型输出，采用类型对应的形变空间，并将步骤5得到的关键点信息作为先验约束，通过贝叶斯统计形变方法，求得其余曲线的控制点信息，从而实现基于特征点的特征曲线重建，并实现对于输入图像的标注。