一种基于Gap-loss函数的工业流水线生产状态检测方法

一种基于gap
‑
loss函数的工业流水线生产状态检测方法
技术领域
1.本发明涉及深度学习分类算法以及工业生产状态检测领域，具体涉及一种基于gap
‑
loss函数的工业流水线生产状态检测方法。


背景技术：

2.随着科学进步以及社会生产力的快速发展，工厂中的工业生产过程越来越复杂，一方面对工业生产的工业产品质量保障日趋重要，另一方面对生产设备运行状态以及整个系统的运行状态的检测也越来越受到关注，目前对生产设备以及整个系统运行状态的检测主要是依靠融合各个传感器数据作出一些规则和策略判断或者根据人工进行。长时间进行这种单调的视觉观测导致工人视觉疲劳，同时依据传感器作出的规则和策略并不能完全有效的符合每一种情况因而可能出现不控制事故，从而会影响状态检测的效率和正确率。工业生产环境一般是光照条件单一稳定，对于实现了自动化的工业生产流水线来说，人为影响基础可以忽略而且流水作业更为单一，比较适合采用机器视觉的方式，同时搭配各个传感器数据来在线实时的检测生产状态。
3.近年来神经网络的高速发展，生产状态检测的研究也在逐步的推进。在神经网络发展之前，主要采用传统的视觉识别方法，设计控制和规划算法去判断生产状态。yun jiang于2012年首次提出了采用卷积神经网络的方法来解决物品抓取位置检测的问题。时至今日，各个国家的学者依然在这个领域做着相关的研究。从最先采用规则判断转向传统的机器视觉技术再到现在采用深度卷积神经网络来解决生产状态的检测，都或多或少解决不了各个环境因素的影响而导致检测结果存在偏差。
4.在使用神经网络相关算法时，由于损失函数量化了待优化目标和优化目标的差距，也间接指定了优化方向，所以选择什么样的损失函数也是至关重要的。在机器学习中，损失函数是指待优化目标和优化目标两者之间差异的函数表达式。在机器学习中，给定独立同分布的学习样本(x,y)∈χ
×
γ，和模型损失函数是模型输出和观测结果间的概率分布差异的量化：
[0005][0006]
目前，在分类问题主要采用的损失函数有：
[0007]
zero
‑
one loss：
[0008]
hinge loss：
[0009]
exponentialloss：
[0010]
cross entropy loss：
[0011][0012]
zero
‑
one loss逻辑清楚计算简单，但对每个错分类点都使用相同的权重惩罚，对于犯错比较大的点无法进行较大的惩罚，并且该损失函数不连续，非凸，不可导，因此，不可用在梯度优化算法上。hinge loss合页损失函数可以通过让一部分样本的损失值等于零，这样可以得到稀疏解，一般用在svm上，只依靠少量的支持向量就能确定最终的超平面，但一般不用在神经网络上。exponential loss多用于树模型上，对异常点较为敏感，相对于其它损失函数的鲁棒性较差。 cross entropy loss是一个非常重要的损失函数，不管是应用到二分类还是多分类中，该损失函数受异常样本的干扰较小，而且该函数连续可导，也便于求导，可以用于梯度优化算法中。
[0013]
从算法原理层面来说，优化损失函数可以表明该模型的优化方向，在上文中，不管是基于迁移学习的网络模型还是基于卷积神经网络的网络模型使用的损失函数都是交叉熵损失函数，该函数注重最大化正确类的概率，考虑到本文所解决的目标和所应用的场景，交叉熵损失函数与优化目标匹配度低，不具有专用性，对于不同场景下的任务没有做到细分。
[0014]
针对以上问题，本发明提出了一种新的损失函数(gap loss损失函数)，采用gap loss代替交叉熵损失函数进行模型训练，实验结果表明，相对于交叉熵损失函数，该方法能够加速模型的收敛速度，对生产状态系检测系统模型有更准确更有效的分类。


技术实现要素：

[0015]
本发明主要解决的技术问题是提供一种基于gap
‑
loss损失函数的生产状态检测方法，使用gap
‑
loss函数在后向反馈更新参数的时候，注意优化对应类的输出概率的同时也注意拉大与其他类概率的差距，当对应概率和与除该类之外类输出最大类概率的差距为负数时，gap
‑
loss函数将会很大，随着差距慢慢为正，直到将近1的这个过程，gap
‑
loss函数值将会降低。随着模型训练次数增加，差距会稳定到一个比较小的值，有效的解决了真实类与其他类的输出结果比较接近这个问题。因此可以提高工业流水线生产状态检测的准确率，同时能够加速模型的收敛速度。该方法的流程如下：
[0016]
步骤s1：数据预处理，主要是对图像数据和传感器数据分别进行卷积特征提取和特征交叉，之后进行特征拼接；
[0017]
步骤s2：网络设计，根据所要解决的任务，制定对应的网络结构；
[0018]
步骤s3:损失值计算，更新梯度，将正向传递的输出值经过 gap
‑
loss计算对应的损失值，进行迭代的反向梯度更新，最后完成模型训练。
[0019]
在机器学习和深度学习中，往往已经有了真实的样本(随机变量) 和标签(随机变量产生的所有可能结果)，可以理解为实际的概率分布 p(x),而训练得到的模型相当于学习到的分布q(x)。样本和标签已知，那么信息熵h(p)相当于常量，所以直接用交叉熵h(p,q)
来衡量两个独立概率分布的差异。
[0020]
在分类问题中，大多数损失函数具有非凸的性质，采用梯度下降法训练模型，不一定能保证模型到达全局最优解。常用的交叉熵损失函数曲线是凸曲线，该函数整体呈单调性，损失值越大，梯度就越大，便于方向传播的快速优化，但是，从交叉熵损失函数的公式可知，该函数优化的是对应类别的概率，基于本文中的场景，不仅需要优化输出概率，也要使得与其他分类的概率差异明显。
[0021]
本发明中提出gap
‑
loss函数表达式如下：
[0022][0023][0024][0025]
其中为概率输出5维向量排除之后剩下的4维向量，直观理解：损失函数引入对应标签的输出概率和排除该概率之后第二大概率的差值，模型训练中，有指引的朝着真实输出概率与其他概率拉大差距。取值范围在
‑
1到1之间，首先公式7a或者7b进行归一化，取值范围缩放到0到1之间，取log加负号后范围在正无穷到0。因此可以达到惩罚的作用，当对应位置上的概率与其他位置上最大概率的差值小于0同时绝对值越大，惩罚的作用就越大，随着差值慢慢大于0而且值越大，惩罚的作用就渐渐减弱。
[0026][0027]
其中为两部分，一部分是原始的交叉熵求导，另一部分是新加的损失函数对参数求导
[0028][0029]
参数θ更新公式：
[0030][0031]
α为学习率。
[0032]
本发明具有以下显著特点：i)在交叉熵损失函数的基础上，引入对应标签的输出概率和排除该概率之后第二大概率的差值，使得损失函数不仅仅只关注最大化真实标签的输出概率，还最大化与其他标签输出概率的差值，加速模型的收敛速度，提高模型分类准确性；ii) 在公式引入超参数α，可以调节所优化差值的权重，使得模型泛化能力更强。
附图说明
[0033]
图1是深度学习训练流程示意图；
[0034]
图2是基于gap
‑
loss损失函数的生产状态检测算法流程图；
[0035]
具体实施方法
[0036]
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
[0037]
请参阅图1以及图2，本发明实施例包括：
[0038]
(a)数据预处理装置：包括对图像数据和传感器数据的采集，采集之后分别做特征提取和特征交叉组合，最后通过一个全连接层进行两种特征的拼接。
[0039]
(b)网络设计：主要是全连接层的设计，具体包括多少个全连接层、每个全连接层神经元的个数以及每个神经元所使用的激活函数。
[0040]
(c)损失函数的优化，参考上文公式(6)
‑
(10),结合图1和图2，整个模型训练包括正向损失值的计算和反向参数的更新。
[0041]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围。