一种基于对抗神经网络数据增强的机场跑道异物材料识别方法与流程

本发明属于计算机视觉中的材料识别领域，尤其涉及机场跑道异物的材料识别，进一步涉及一种利用神经网络机场跑道异物材料识别的方法，充分利用生成对抗神经网络与特征通道注意力机制残差卷积神经网络的特点，本方法在公开数据集上得到良好的识别性能验证。

背景技术：

机场跑道异物指的是在机场跑道上影响飞机起降安全的外来物品，对机场跑道上物品进行材料识别，是判断机场跑道异物危险等级的关键。材料识别算法是计算机视觉中一个重要研究课题，它与常规物品分类识别最大的区别在于，材料物品往往无固定形态，尺度多变。材料识别方法大致分为两类，一类是人工设计特征，如纹理特征，梯度特征，根据设计滤波器的方式进行特征提取，然后使用传统分类器如支持向量机进行分类识别；另外一类是自动提取特征，这主要是通过卷积神经网络的训练，进行特征提取，然后使用softmax分类器进行分类。我们的方法是第二种自动提取特征的方式，使用的是基于特征通道注意力机制的残差卷积神经网络，由于神经网络的训练需要数据进行驱动，为了弥补机场跑道异物难收集的问题，使用生成对抗网络生成大量机场跑道异物样本，提升分类器分类识别性能。

技术实现要素：

本发明针对机场跑道异物材料数据少，难采集，且材料物品的无固定形态，尺度多样的特点，设计逐分辨率提升的生成对抗神经网络，生成高质量的机场跑道异物材料数据，生成对抗神经网络由上海大学校园道路模拟与上海虹桥机场跑道异物材料分类数据集中的训练集驱动训练。利用训练好的对抗神经网络生成器，生成新的材料图像数据。结合原始数据与对抗神经网络生成数据，驱动基于特征通道注意力机制的残差神经网络进行分类训练，达到更高的机场跑道异物材料识别能力。

本发明采用如下技术方案：一种基于对抗神经网络数据增强的机场跑道异物材料识别方法，该方法包括对抗神经网络数据增强部分和融合数据驱动下的，基于特征通道注意力机制的残差卷积神经网络机场跑道异物材料识别部分。本发明提出的方法的整体流程图如图1所示。

对抗神经网络数据增强部分，包括4个步骤：输入数据处理；搭建生成器神经网络；搭建判别器神经网络；生成器和判别器对抗训练。

对抗神经网络数据来源于上海大学校园道路模拟数据与上海虹桥机场跑道异物材料数据集的训练集，以下称之为原始训练数据，原始训练数据中包括金属、塑料和石头三种材料各1000张。对抗神经网络生成器输入数据为长度为509的随机数一维向量，经过像素归一化层，与机场跑道异物材料类别长度为3的一维独热编码进行合并，合并数据为长度512的一维向量作为生成器输入数据。判别器输入数据由两部分组成，分别为生成器输出数据与相关类别原始训练数据。

生成器神经网络，采用逐分辨率提升的设计架构，由4*4分辨率模块两倍分辨率逐渐提升到128*128分辨率模块，使用连接控制层，通过参数α(取值范围为0到1)连接系数控制连接。每一分辨率模块，首先经过双线性插值上采样层，再进行卷积，这包括六个卷积模块，每个卷积模块中由特征提取卷积块和rgb(红绿蓝)颜色通道转换卷积块组成，其中特征提取卷积块，使用堆叠的可变性卷积层，像素归一化层和leakyrelu(leakyrectifiedlinearunit)激活函数组合，提取高维抽象特征；rgb(红蓝绿)颜色通道转换卷积，是为了建立颜色通道约束，使生成图像保持色彩不变性，通过颜色通道对齐的卷积通道设计实现。生成器网络结构整体结构如图1所示，细节设计图如图2所示。

判别神经网络，采用与生成器对称的网络设计，使用平均池化层进行图像下采样，输入数据由原始训练数据与生成器输出数据合并组合。同样采用连接控制层，通过参数α(取值范围为0到1)连接系数控制连接。图像分辨率级别与生成器保持一致。网络细节设计如图3所示。

训练过程：对抗神经网络通过逐渐分辨率提升的方式进行网络训练，过程图如图4所示。损失函数采用wasserstein距离损失函数，同时根据利普西茨(lipschitz)连续性的条件，进行梯度约束，加快训练速度，同时在训练判别器时，在小批次上进行随机插值，训练过程采用动量随机梯度下降(stochasticgradientdescent)sgd优化器，初始学习率设为0.0001；动量系数设为0.9；权重衰减超参因子设置为0.00004；不同分辨率迭代不同epoch，分别为50，50，50，80，80，80。

基于特征通道注意力机制的残差卷积神经网络机场跑道异物材料识别部分，包括4个步骤：原始数据与对抗神经网络生成器生成融合数据；搭建基于特征通道注意力机制的残差卷积神经网络；训练网络；测试机场跑道异物材料分类器识别性能。

融合数据：将对抗神经网络生成器，按照等比例分别生成三个材料类别各1000张数据，将生成数据与原始训练数据合并数据。

搭建基于特征通道注意力机制的残差卷积神经网络：与残差卷积神经网络不同，采用了特征通道注意力机制的残差模块，结构图如图5所示。

训练过程：使用交叉熵损失函数，使用动量自适应(nesterovadaptivemomentestimation)nadam优化器，初始学习率设为0.0001，迭代200个epoch。

测试过程：为了验证基于对抗神经网络数据增强的机场跑道异物材料识别方法的性能，设计了一组对比验证实验，首先对比上海大学校园道路模拟与上海虹桥机场跑道异物材料数据集论文出处指标进行对比，同样在验证集上进行测试，论文中三种材料识别准确率平均约为73％，本发明结果约为82％，提升明显。同时在同样使用基于特征通道注意力机制的残差卷积神经网络，在训练样本数量一致情况下，使用传统图像数据增强(图像旋转、随机裁剪、马赛克、涂鸦等方式)，与基于对抗神经网络数据增强的识别结果进行了对比。传统图像增强准确率约为78％，本发明依然有近4％的性能优势。

附图说明

图1为本发明提出的方法的整体流程图。

图2为对抗神经网络生成器细节设计图。

图3为对抗神经网络判别器细节设计图。

图4为对抗神经网络逐分辨率提升训练对比图。

图5为特征通道残差卷积模块与传统残差模块对比图。

图6为本发明提出的方法的实验测试图。

具体实施方式

以下结合说明书附图，对本发明的实施实例加以详细说明：

如图1所示，本发明是一种基于对抗神经网络数据增强的机场跑道异物材料识别方法。该方法主要包括对抗神经网络数据增强部分和融合数据驱动下的，基于特征通道注意力机制的残差卷积神经网络机场跑道异物材料识别部分。

对抗神经网络数据增强部分具体步骤如下：

步骤1)输入数据处理

对抗神经网络数据来源于上海大学校园道路模拟数据与上海虹桥机场跑道异物材料数据集的训练集，以下称之为原始训练数据，原始训练数据中包括金属、塑料和石头三种材料各1000张。对抗神经网络生成器输入数据为长度为509的随机数一维向量，经过像素归一化层，与机场跑道异物材料类别长度为3的一维独热编码进行合并，合并数据为长度512的一维向量作为生成器输入数据。判别器输入数据由两部分组成，分别为生成器输出数据与相关类别原始训练数据。像素归一化公式如公式(1)所示：

其中pixelnorm表示图像或卷积特征图经过归一化后的结果，x表示为图像或卷积特征图每个单位像素位置数值。

独热编码也称之为one-hot编码，已知数据集包括三个类别，类别1的one-hot编码为[0,0,1]，类别2的one-hot编码为[0,1,0]，类别3的one-hot编码为[1,0,0]。独热编码有利于神经元映射。

步骤2)搭建对抗神经网络生成器

生成器神经网络，采用逐分辨率提升的设计架构，由4*4分辨率模块两倍分辨率逐渐提升到128*128分辨率模块，使用连接控制层，通过参数α(取值范围为0到1)连接系数控制连接。每一分辨率模块，首先经过双线性插值上采样层，再进行卷积，这包括六个卷积模块，每个卷积模块中由特征提取卷积块和rgb(红绿蓝)颜色通道转换卷积块组成，其中特征提取卷积块，使用堆叠的可变性卷积层，像素归一化层和leakyrelu激活函数组合，提取高维抽象特征；rgb(红蓝绿)颜色通道转换卷积，是为了建立颜色通道约束，使生成图像保持色彩不变性，通过颜色通道对齐的卷积通道设计实现。

每个分辨率层级包括6个特征提取块和颜色通道对齐卷积块堆叠而成，特征提取块分别为一个尺寸为4x4x512的可变性卷积层，像素归一化层，leakyrelu激活函数组合模块；三个尺寸为3x3x512的可变性卷积，像素归一化层，leakyrelu激活函数组合模块；一个尺寸为3x3x256的可变性卷积层，像素归一化层，leakyrelu激活函数模块；一个尺寸为3x3x128的可变性卷积层，像素归一化层，leakyrelu激活函数模块构成。颜色通道对齐卷积是六个尺寸为1x1x3的卷积层，计算过程中特征图尺寸不变，不进行下采样，一直是在特征通道维度进行压缩升维。特征提取块与颜色通道对齐卷积块是交叉堆叠，形式如图2所示。卷积维度的定义表示为h×w×c，其中，c代表被卷积的通道数；w、h分别代表卷积的宽、高。

生成器采用逐分辨率提升的架构，每个尺寸的分辨率层，都是通过双线性插值上采样层，其中上采样层卷积核尺寸为2×2，实现分辨率的放大。双线性插值的像素计算方式如下公式所示：

f(u+i，v+j)＝(1-i)(1-j)f(u，v)+i(1-j)f(u+1，v)+(1-i)jf(u，v+1)+ijf(u+1，v+1)(2)

公式(2)中对于插值结果像素的浮点表示坐标为(u+i，v+j)，其中u,v为浮点坐标中的整数部分，i,j为浮点坐标的小数部分。则插值结果的该像素f(u+i，v+j)，由f(u，v)，f(u，v+1)，f(u+1，v)，f(u+1，v+1)，这周围四个点的像素计算而来。其中f(u，v)为图像和特征图在(u，v)位置的像素值。

可变性卷积层，像素归一化层和leakyrelu激活函数组合是生成器里面的重要特征提取子模块，可变性卷积与常规卷积神经单元区别是引入了卷积区域偏移量的学习，得到更有用感受野的特征信息。

常规卷积对于提取特征图x0上的每个点特征表示为:

f(x0)＝∑w(xn)·z(xn+(x0))(3)

可变性卷积公式表示为：

f(x0)＝∑w(xn)·z(xn+δxn+(x0))(4)

在公式(3)、(4)中，f(x0)为输出特征图f中的每个点x0的值，z为输入的特征图，n为卷积核采样网格的某一个位置。对于可变性卷积，增加了一项δxn，这代表了偏移量，即可变性卷积的采样网格范围是不确定的，由神经网络自己学习一个偏移量来修正卷积提取特征的采样特征图像素点，但是可变性卷积与普通卷积的卷积采样个数是一致的。可变性卷积在没改变常规卷积的计算结果，而是额外学习了一个参数δxn偏移量。由于偏移量的引入使得，原先位置不连续，需要使用插值的方式对特征图进行补充。

像素归一化层运算公式如步骤1)中公式(1)所示。

leakyrelu激活函数是relu激活函数的改进，在负值位置提供非负斜率。leakyrelu激活函数公式如公式(5)所示：

leakyrelu(w)＝max(0，w)+βmin(0，w)(5)

其中w表示激活函数输入值，leakyrelu(w)表示非线性输出值，β＝0.1。该函数用于神经网络进行非线性激活映射。

生成器每个分辨率层间通过连接控制层的参数设置控制，连接控制层函数表达为：

out＝(1-α)*skiprgb+α*out(6)

公式(6)中，out为原始网络输出张量，skiprgb为将双线性插值结果进行rgb颜色特征通道对齐卷积结果的分支结构。可以看到α为0时，进行skiprgb操作，说明继续进行上采样模块。α为1时，输出out为原始输出结果。完成是否跳级分辨率的控制。

步骤3)搭建对抗神经网络判别器

判别器采用与生成器对称的模式，即等分辨率级网络，对称结构。判别器使用平均池化层(尺寸为2x2)进行图像下采样，输入数据由原始训练数据与生成器输出数据合并组合。判别器特征提取块通过特征通道的压缩扩张提取特征，分别为尺寸为1x1x128卷积、1x1x256卷积、1x1x512卷积、1x1x512卷积、1x1x512卷积、1x1x512卷积。

颜色通道对齐模块分别包括3x3x128可变性卷积、3x3x256可变性卷积、3x3x512可变性卷积、3x3x512可变性卷积、3x3x512可变性卷积、3x3x512可变性卷积。与生成器一样，特征图尺寸不做变化，特征提取子模块与颜色通道对齐子模块交叉堆叠。使用全连接层，输出长度为4的一维向量，用来输入样本真伪识别，与机场跑道异物材料分类识别。

步骤4)对抗神经网络训练

训练过程：对抗神经网络通过逐渐分辨率提升的方式进行网络训练，过程图如图4所示。损失函数采用wasserstein距离损失函数，wasserstein距离如(7)所示：

其中∏(p1，p2)是p1，p2联合分布集合，采样(a，b)～γ对于联合分布～γ计算||a-b||的距离。

由此设计损失函数为：

o表示真实样本图像，z表示对抗神经网络生成器网络输入的噪声，g(z)表示生成器网络生成的图像，d(o)表示对抗神经网络中的判别器网络判断输入真实图像是否真实的概率，d(g(z))表示对抗神经网络中的判别器网络判断输入生成器生成图像是否真实的概率。

同时根据sg连续性的条件，设置梯度阈值，约束判别器梯度。解决生成对抗网络训练过程梯度爆炸的问题，进行梯度约束也能够加快训练速度，同时在训练判别器时，在小批次上进行随机插值，

训练过程采用动量sgd优化器，初始学习率设为0.0001；动量系数设为0.9；权重衰减超参因子设置为0.00004；不同分辨率迭代不同epoch，分别为50，50，50，80，80，80。

基于特征通道注意力机制的残差卷积神经网络机场跑道异物材料识别部分具体步骤如下:

(1)合并数据

基于对抗神经网络的生成器生成三种材料类别各1000张128*128尺寸图像，使用双线性插值的方式，将图像放大到256*256与原始训练数据保持一致。同时与原始训练数据合并处理为三种材料各2000张，构建总计6000张图像的融合训练数据集。

(2)搭建基于特征通道注意力机制的残差卷积神经网络

该神经网络包括特征通道维度为64的基础卷积特征提取模块；子层数量为3，通道维度为256的特征通道注意力机制残差模块；子层数量为4，通道维度为512的特征通道注意力机制残差模块；子层数量为23，通道维度为1024的特征通道注意力机制残差模块；子层数量为3，通道维度为2048的特征通道注意力机制残差模块；该神经网络由这些部分串联而成，最后卷积模块连接全局池化层后连接全连接层，通过softmax回归方式输出与类别数一致的一维向量。特征通道的注意力机制，是由全局平均池化，统计各个通道分布，设输入数据维度为(h，w，c)，h为特征图高度，w为特征图宽度，c为特征图通道数。

经过序列的全局池化，尺寸变为(1,1,c),公式为：

(m，n)表示为特征图上坐标点，uc(m，n)表示为该坐标下的特征值，zc表示特征图的均值结果。

处理为一维信息后，需要两次全连接操作，并在最后使用sigmoid激活函数达到每一个通道分配权重，激励提取注意力特征，最终通过缩放对齐回到原先的(h，w,c)特征维度。同时采用残差的捷径连接模式，构建基于特征通道注意力机制的残差卷积神经网络。

(3)网络训练；

使用交叉熵损失函数，并且使用动量自适应(nesterovadaptivemomentestimation)nadam优化器，初始学习率设为0.0001，迭代200个epoch。

交叉熵损失函数如公式(10)所示：

l＝-|ygtlogy0+(1-ygt)log(1-y0)|(10)

其中ygt表示真实样本类别标签，y0表示为网络预测样本类别值，l为交叉熵损失计算结果，用于神经网络反向传播。

(4)机场跑道异物材料识别性能验证；

为了验证基于对抗神经网络数据增强的机场跑道异物材料识别方法的性能，设计了一组对比验证实验，首先对比上海大学校园道路模拟与上海虹桥机场跑道异物材料数据集论文出处指标进行对比，同样在验证集上进行测试，本发明中三种材料识别准确率平均约为73％，本发明结果约为82％，提升明显。同时在同样使用基于特征通道注意力机制的残差卷积神经网络，在训练样本数量一致情况下，使用传统图像数据增强(图像旋转、随机裁剪、马赛克、涂鸦等方式)，与基于对抗神经网络数据增强的识别结果进行了对比。传统图像增强准确率约为78％，本发明依然有近4％的性能优势。评价指标准确率的公式如公式(11)所示：

tp代表着真正例，tn代表着真负例，fp代表着假正例，fn代表着假负例。