基于轻量化卷积神经网络的输送带实时跑偏检测方法与流程

本发明涉及计算机技术领域，尤其是涉及一种基于轻量化卷积神经网络的输送带实时跑偏检测方法。

背景技术：

目前我国煤炭、矿山、港口码头、化工、冶金、电力等行业中广泛采用带式输送机作为运输的主要设备，但在运行过程中输送带会由于表面受力不均匀发生跑偏，轻则导致物料洒落，重则酿成人员、财产损失损伤。因此，提升煤矿生产设备的机械化水平，以及电气设备的自动化水平，研究输送带跑偏机理，提出适合的输送带跑偏检测方法就显得迫在眉睫。

早期输送带检测主要依靠人工检查，劳动强度大且易出现少检漏检的情况。后期出现了输送带自动检测装置，且现有的输送带自动检测装置主要分为接触式与非接触式；此外，还有另外还有光电式、机器视觉等方法。

其中接触式的工作原理是通过滚轮与输送带接触带动连杆机构动作，此检测装置只适用于转速较低的输送带，实际应用很少；

而非接触式一般采用跑偏开关，当输送带发生一定量的跑偏时跑偏开关自动报警停机；这种非接触式的只能用作输送带极限跑偏急停，不能实现早期预警。在轻微扰动时容易误判停机，降低工作效率，甚至危害设备及人身安全。跑偏开关在恶劣环境下易受影响导致出现不动作的情况，从而造成严重后果；

其中光电式检测设备主要依靠无线传感器模块来实现，其检测精度过度依赖传感器的安装密度，而且在恶劣且复杂的环境下传感器极容易损坏，难以保证检测的可靠性。同时传统的机器视觉方法多采用canny边缘检测算法，其一般流程为：ccd相机实时采集输送带视频流图像，然后使用canny算子检测输送带边缘。由于canny算法是基于图像灰度梯度，所以它对噪声比较敏感，会检测到图片中运输的煤矿、物料等其他边缘，后续还需结合霍夫变换来提取输送带边缘特征，精度比较差[1]。在输送带被遮挡的地方，canny算法检测的结果中还会出现间断部分。而且，对于不同场景需要多次调节算法中的参数。

本发明实施例中所涉及的参考文献如下，本发明实施例将这些参考文献全文引用于此：

[1]徐欢，李振璧，姜媛媛，等.基于opencv的输送带跑偏自动检测算法研究[j].工矿自动化，2014,40(9):48-52.

[2]shelhamere,longj,darrellt.fullyconvolutionalnetworksforsemanticsegmentation[j].ieeetransactionsonpatternanalysis&machineintelligence,2014,pp(99):1-1.

技术实现要素：

针对当前的对输送带实时跑偏检测技术存在的缺陷，本发明实施例提出了一种基于轻量化卷积神经网络的输送带实时跑偏检测方法，能够通过卷积神经网络对输送带进行检测以提高检测效果。

为了解决上述问题，本发明实施例提出了一种基于轻量化卷积神经网络的输送带实时跑偏检测方法，包括：

步骤1、通过采集的真实场景下的视频生成用于学习的数据集；对数据集中的图片进行处理以区分出输送带和背景以生成图片的标签；并将图片的标签进行0-1二值化处理；将数据集分为训练集和验证集；

步骤2、通过图像分割网络fcn，将每个阶段池化后的输出先上采样2、4、8、16、32倍到原图大小，然后改变融合策略，采用concat方式将各阶段特征图融合，获得各个尺度信息；并将网络中的普通卷积方式改为深度分离卷积，在第二、三个stage中输入经过下采样后的原图；并根据分割的结果建立轻量化卷积神经网络，并生成损失函数；

步骤3、将所述数据集中的图片输入到所述轻量化卷积神经网络，以利用所述轻量化卷积神经网络的卷积层提取出训练集的图片中的输送带的边缘；然后将轻量化卷积神经网络的卷积层提取出图片中的输送带的边缘与验证集中的图片中的输送带的边缘进行验证以进行损失计算，并根据反向传播算法优化模型参数。2、根据权利要求1所述的基于轻量化卷积神经网络的输送带实时跑偏检测方法，其特征在于，所述对数据集中的图片进行处理以区分出输送带和背景以生成图片的标签，具体包括：

将图片中的输送带的边缘采用1个像素宽的白色像素块描出，并将非输送带的背景部分处理成黑色；

然后将标签进行0-1二值化处理。

其中，生成的损失函数为

loss＝posweight*targets*-log(sigmoid(logits))+

(1-tergets)*-log(1-sigmoid(logits))

其中posweight表示图片中边缘点的权重系数，targets表示标签，即像素点的类别，logits表示预测结果；其中posweight是通过试验确定。

其中，所述像素点的类别为边缘点或者非边缘点。

本发明的技术方案具有以下优势：

上述方案提出了一种基于轻量化卷积神经网络的输送带实时跑偏检测方法，至少具有以下的一条优点：能够抵抗输送带上其他物体边缘的干扰；能够提高输送带边缘检测的精度；能够实时进行输送带边缘跑偏检测；能够实现远程监测输送带运行状况，避免了恶劣复杂环境的影响。

附图说明

通过下面结合附图对本发明的一个优选实施例进行的描述，本发明的技术方案及其技术效果将变得更加清楚，且更加易于理解。其中：

图1为本发明实施例的总体框架图；

图2为检测结果图。

具体实施方式

以下将结合所附的附图对本发明的一个优选实施例进行描述。

本发明实施例提出了一种基于轻量化卷积神经网络的输送带实时跑偏检测方法，包括：

步骤1、通过采集的真实场景下的视频生成用于学习的数据集；对数据集中的图片进行处理以区分出输送带和背景，以生成图片的标签；并将图片的标签进行0-1二值化处理；将数据集分为训练集和验证集；

在本发明的一个实施例中个，该数据集可以包括500张原图，以及原图进行左右、上下翻转得到1000张扩充图，以及这1500张原图和扩充图所对应的1500个标签；具体的，该标签是指将图片中的输送带的边缘用一像素宽的白线描出来并将背景处理成黑色，通过这样的方式制作了标签，并将标签进行0-1二值化处理。

步骤2、通过图像分割网络fcn，将每个阶段池化后的输出先上采样2、4、8、16、32倍到原图大小，然后改变融合策略，采用concat方式将各阶段特征图融合，获得各个尺度信息；然后将网络中的普通卷积方式改为深度分离卷积，在第二、三个阶段(stage)中输入经过下采样后的原图；并根据分割的结果建立轻量化卷积神经网络，并生成损失函数；

步骤3、将所述数据集中的图片输入到所述轻量化卷积神经网络，以利用所述轻量化卷积神经网络的卷积层提取出训练集的图片中的输送带的边缘；然后将轻量化卷积神经网络的卷积层提取出图片中的输送带的边缘与验证集中的图片中的输送带的边缘进行验证以进行损失计算，并根据反向传播算法优化模型参数。现有的fcn-8s只将最后三个阶段池化后的输出采用逐像素相加的方式融合然后进行上采样8倍恢复到原图大小，还是损失了较多细节信息。本申请实施例中对fcn网络进行了改进，将每个阶段池化后的输出先上采样2、4、8、16、32倍到原图大小，然后改变融合策略，采用concat方式将各阶段特征图融合，获得各个尺度信息。本申请实施例中通过学习到的丰富的多尺度特征，完成边缘检测中的细节恢复问题。

其中，生成的损失函数为

loss＝posweight*targets*-log(sigmoid(logits))+

(1-tergets)*-log(1-sigmoid(logits))

其中posweight表示图片中边缘点的权重系数，targets表示标签，即像素点的类别(边缘点或者非边缘点)，logits表示预测结果。通过增加边缘部分的权重，使得当边缘错误预测时损失较大，网络需要更加关注边缘部分，最终能够取得更精确的边缘检测结果。其中，posweight是通过多次试验确定的。

本发明设计了基于深度学习的煤矿输送带实时跑偏检测模型。首先从采集的视频中制作自己的数据集(包括500张原图，左右、上下翻转得到1000张扩充图，以及对应的1500张标签)，将标签图片中的边缘与非边缘部分像素进行0-1二值化处理。其次，借鉴深度学习图像分割中对像素点分类的思想，在经典分割网络fcn(fullyconvolutionalnetworks)[2]基础上进行了网络改进，将各层输出进行空间尺度融合，针对具体输送带边缘检测任务设计新的loss损失函数。为达到实时性要求，采用深度分离卷积代替普通卷积搭建小而高效的轻量化网络，在保证精度不变的条件下，网络压缩了5.8倍。将数据集输入网络进行训练，保存训练好的最佳模型进行测试(总体框架如附图1所示)。

在本发明的一个实施例中，该方法包括：

(1)通过ccd(电荷耦合元件，charge-coupleddevices)工业相机采集到一段一小时的煤矿输送带视频。

(2)从视频中截取500张原图，通过上下、左右翻转进行数据增强，得到1000张扩充图，共1500张图片作为数据集。按照4:1的比例划分为训练集与验证集。

(3)对(2)中得到的图片的边缘用一像素宽的白线描出来并将背景处理成黑色，通过这样的方式制作了标签，并将标签进行0-1二值化处理。

(4)设计输送带边缘检测网络，改进经典图像分割网络fcn，将其中间过程的输出进行concat融合，以学习丰富的多尺度信息。将普通卷积换为深度分离卷积，搭建轻量化卷积神经网络。

(5)将(2)中的数据集输入(4)中的轻量化卷积神经网络，利用卷积层提取输入的输送带图片中的边缘信息，将网络输出与(3)中的标签进行损失计算，设计特定的带权重交叉熵损失使网络更加关注输送带边缘部分，网络采用反向传播算法优化模型参数。

(6)利用(5)中训练好的轻量化网络模型配置到工业现场的嵌入式设备中，对实时采集的输送带运行图片隔帧进行测试，实时监测输送带跑偏情况。

采用本发明的方法对输送带边缘很好地进行检测，不受其他物体边缘的干扰，检测误差在3.2mm内，在满足日常检测需要的同时，其精度较高，实时性强，适用于各类输送带远程监控的生产场景。附图2是输送带原图、标签以及网络检测效果图。

对于所属技术领域的技术人员而言，随着技术的发展，本发明构思可以不同方式实现。本发明的实施方式并不仅限于以上描述的实施例，而且可在权利要求的范围内进行变化。