网络训练方法、缺陷检测方法、装置、存储介质和设备与流程

1.本发明涉及图像处理技术领域，特别地涉及一种网络训练方法、缺陷检测方法、装置、存储介质和设备。


背景技术：

2.目前，物料运送皮带是散装港口的重要设备，物料运送皮带的健康状况严重制约着散装港口的正常运转，缺陷检测是物料运送皮带运维工作的首要工作，皮带缺陷是设备在运行作业中，由于机械疲劳，意外损伤，老化等问题产生的，常常出现诸如皮带跑偏、钢铁插伤、接头鼓泡、钢丝绳裸漏等缺陷。皮带缺陷如果发现不及时，影响设备作业效率，一旦恶化，将存在作业危险，导致设备事故发生。
3.本领域亟需一种方案解决如何准确检测皮带缺陷的技术问题。


技术实现要素：

4.本发明提供一种网络训练方法、缺陷检测方法、装置、存储介质和设备，解决了如何准确检测皮带缺陷的技术问题。
5.第一方面，本发明提供了一种网络训练方法，包括：
6.获取皮带检测数据集；
7.对皮带检测数据集中的每一皮带图像的缺陷区域进行标定，得到皮带检测数据集中的每一皮带图像的缺陷区域定位框；
8.对皮带检测数据集中的每一皮带图像的缺陷区域定位框的缺陷类别进行标定，得到皮带检测数据集中的每一皮带图像的缺陷类别；
9.基于皮带检测数据集中的每一皮带图像的缺陷区域定位框，对第一神经网络进行训练，确定第一神经网络的参数；
10.基于皮带检测数据集中的每一皮带图像的缺陷类别，对第二神经网络进行训练，确定第二神经网络的参数。
11.在一些实施例中，皮带检测数据集包括：皮带缺陷图像库和皮带无缺陷图像库；
12.缺陷类别包括：无缺陷、皮带跑偏、裂痕、钢筋裸漏、钢铁插伤和/或接头鼓泡。
13.在一些实施例中，第一神经网络包括faster-rcnn，第二神经网络包括googlenet。
14.第二方面，本发明提供了一种缺陷检测方法，包括：
15.基于第一方面的第一神经网络，对目标皮带图像进行识别，得到目标皮带图像的缺陷区域定位框；
16.基于缺陷区域定位框，从目标皮带图像中获取目标皮带图像对应的缺陷图像；
17.基于第一方面的第二神经网络，对目标皮带图像对应的缺陷图像进行识别，得到缺陷图像对应的缺陷类别。
18.在一些实施例中，方法还包括：
19.根据缺陷类别确定维修策略；
20.根据维修策略确定维修流程。
21.在一些实施例中，基于缺陷区域定位框，从目标皮带图像中获取目标皮带图像对应的缺陷图像，包括：
22.基于缺陷区域定位框，对目标皮带图像进行裁剪，以从目标皮带图像中获取目标皮带图像对应的缺陷图像。
23.第三方面，本发明提供了一种网络训练装置，包括：
24.数据获取模块，用于获取皮带检测数据集；
25.区域标定模块，用于对皮带检测数据集中的每一皮带图像的缺陷区域进行标定，得到皮带检测数据集中的每一皮带图像的缺陷区域定位框；
26.类别标定模块，用于对皮带检测数据集中的每一皮带图像的缺陷区域定位框的缺陷类别进行标定，得到皮带检测数据集中的每一皮带图像的缺陷类别；
27.第一训练模块，用于基于皮带检测数据集中的每一皮带图像的缺陷区域定位框，对第一神经网络进行训练，确定第一神经网络的参数；
28.第二训练模块，用于基于皮带检测数据集中的每一皮带图像的缺陷类别，对第二神经网络进行训练，确定第二神经网络的参数。
29.第四方面，本发明提供了一种缺陷检测装置，包括：
30.区域识别模块，用于基于第一方面的第一神经网络，对目标皮带图像进行识别，得到目标皮带图像的缺陷区域定位框；
31.区域获取模块，用于基于缺陷区域定位框，从目标皮带图像中获取目标皮带图像对应的缺陷图像；
32.类别识别模块，用于基于第一方面的第二神经网络，对目标皮带图像对应的缺陷图像进行识别，得到缺陷图像对应的缺陷类别。
33.第五方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现第一方面的方法，或者实现第二方面的方法。
34.第六方面，本发明提供了一种设备，包括处理器和存储器，存储器上存储有计算机程序，处理器执行计算机程序时实现第一方面的方法，或者实现第二方面的方法。
35.本发明提供的一种网络训练方法、缺陷检测方法、装置、存储介质和设备，通过获取皮带检测数据集；对皮带检测数据集中的每一皮带图像的缺陷区域进行标定，得到皮带检测数据集中的每一皮带图像的缺陷区域定位框；对皮带检测数据集中的每一皮带图像的缺陷区域定位框的缺陷类别进行标定，得到皮带检测数据集中的每一皮带图像的缺陷类别；基于皮带检测数据集中的每一皮带图像的缺陷区域定位框，对第一神经网络进行训练，确定第一神经网络的参数；基于皮带检测数据集中的每一皮带图像的缺陷类别，对第二神经网络进行训练，确定第二神经网络的参数；从而得到了用于识别缺陷区域的第一神经网络和用于识别缺陷类型的第二神经网络，在此基础上，基于第一神经网络进行缺陷的区域识别，并基于第二神经网络对缺陷区域进行类别识别，从而能够准确识别皮带的缺陷类型。
36.本发明的技术方案，充分利用深度学习中的卷积神经网络算法的良好的检测能力。一方面可以高效准确地判断皮带设备故障问题，有助于对港口数字化和智慧化建设的目标实现；另一方面，有助于减轻设备技术管理人员在巡检的劳动强度和时间消耗，有利于设备技术人员对设备科学管理。
37.本发明的技术方案，提供一种于深度神经网络模型实现物料运送皮带缺陷检测的方法，利用深度卷积神经网络的较强的特征提取和特征学习能力对皮带缺陷图像进行缺陷识别，以帮助提高设备巡检人员对皮带故障的诊断效率。
38.本发明的技术方案，提供一种基于深度神经网络模型实现物料运送皮带缺陷检测的方法，综合利用两种不同模型的深度卷积神经网络，利用深度学习网络模型的强有力的特征学习和特征提取能力，可以高效准确地判断皮带是否有缺陷，从而客观如实的帮助巡检人员和技术人员提高诊断皮带缺陷故障的效率。
附图说明
39.在下文中将基于实施例并参考附图来对本发明进行更详细的描述：
40.图1为本发明实施例的一种网络训练方法流程示意图；
41.图2为本发明实施例的一种缺陷检测方法流程示意图；
42.图3为本发明实施例的一种网络训练装置结构示意图；
43.图4为本发明实施例的一种缺陷检测装置结构示意图；
44.图5为本发明实施例的一种基于深度卷积网络模型皮带缺陷检测方法流程图；
45.图6为本发明实施例的一种进行皮带缺陷剪裁的流程示意图；
46.图7为本发明实施例的一种用于定位皮带缺陷区域的深度卷积网络模型的整体流程图；
47.图8为本发明实施例的一种用于皮带缺陷识别的深度卷积网络模型的整体流程图。
48.在附图中，相同的部件使用相同的附图标记，附图并未按照实际的比例绘制。
具体实施方式
49.为了使本技术领域的人员更好地理解本发明方案，并对本发明如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。本发明实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
50.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
51.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不
同于此处的顺序执行所示出或描述的步骤。
52.本发明涉及到图像处理及模式识别领域，特别是涉及基于深度学习算法中的卷积神经网络模型的物料运送皮带的缺陷检测方法。
53.目前，物料运送皮带是散装港口的重要设备，物料运送皮带的健康状况严重制约着散装港口的正常运转，缺陷检测是物料运送皮带运维工作的首要工作，皮带缺陷是设备在运行作业中，由于机械疲劳，意外损伤，老化等问题产生的，常常出现诸如皮带跑偏、钢铁插伤，接头鼓泡，钢丝绳裸漏等缺陷。皮带缺陷如果发现不及时，影响设备作业效率，一旦恶化，将存在作业危险，导致设备事故发生。
54.本领域亟需一种方案解决如何自动检测皮带缺陷的技术问题。
55.目前，主要是基于人工对皮带设施进行故障检测，一般由巡检人员和设备维修人员基于目测进行检测，对设备故障进行评估，进一步实施具体维修策略；也存在利用基于传统视觉图像处理的方法进行皮带跑偏检测的运用。然而，这些方案存在如下技术问题。
56.1)基于人工对皮带设施故障检测的方法，由于设备运行的具体环境和作业的不同，导致皮带缺陷的具体表现和故障严重程度存在一定的差异，即使有经验的设备巡检人员也容易将其忽视，而产生误判误修等情况，且人工检测的方法效率较低。
57.2)在基于传统视觉图像处理的方法进行皮带跑偏检测的运用中，存在以下缺点：对皮带跑偏图像条件要求苛刻；采用传统图像处理的方法，其过程较为复杂，效率偏低；皮带缺陷识别的准确率低，可靠性差。
58.以下，将结合实施例对本发明的技术方案及其技术效果进行说明。
59.实施例一
60.图1为本发明实施例的一种网络训练方法流程示意图。如图1所示，本实施例提供一种网络训练方法，包括：
61.获取皮带检测数据集；
62.对皮带检测数据集中的每一皮带图像的缺陷区域进行标定，得到皮带检测数据集中的每一皮带图像的缺陷区域定位框；
63.对皮带检测数据集中的每一皮带图像的缺陷区域定位框的缺陷类别进行标定，得到皮带检测数据集中的每一皮带图像的缺陷类别；
64.基于皮带检测数据集中的每一皮带图像的缺陷区域定位框，对第一神经网络进行训练，确定第一神经网络的参数；
65.基于皮带检测数据集中的每一皮带图像的缺陷类别，对第二神经网络进行训练，确定第二神经网络的参数。
66.在本实施例中，构建皮带检测数据集包括：将搜集的皮带图像合并为皮带检测数据集，并对皮带检测数据集进行分类：分别将缺陷图像和无缺陷图像中各90％图像作为训练集中的图像；10％图像为测试集中的图像。
67.在本实施例中，第一神经网络为用于对皮带图像的缺陷区域进行定位的神经网络，第一神经网络为用于对皮带图像的缺陷类别进行识别的神经网络。
68.本实施的技术方案，通过获取皮带检测数据集；对皮带检测数据集中的每一皮带图像的缺陷区域进行标定，得到皮带检测数据集中的每一皮带图像的缺陷区域定位框；对皮带检测数据集中的每一皮带图像的缺陷区域定位框的缺陷类别进行标定，得到皮带检测
数据集中的每一皮带图像的缺陷类别；基于皮带检测数据集中的每一皮带图像的缺陷区域定位框，对第一神经网络进行训练，确定第一神经网络的参数；基于皮带检测数据集中的每一皮带图像的缺陷类别，对第二神经网络进行训练，确定第二神经网络的参数；从而得到了用于识别缺陷区域的第一神经网络和用于识别缺陷类型的第二神经网络。提升了缺陷区域识别的准确度和缺陷类别判别的准确度。
69.实施例二
70.在上述实施例的基础上，本实施例提供了一种网络训练方法，
71.皮带检测数据集包括：皮带缺陷图像库和皮带无缺陷图像库；
72.缺陷类别包括：无缺陷、皮带跑偏、裂痕、钢筋裸漏、钢铁插伤和/或接头鼓泡。
73.在一些实施方式中，第一神经网络包括faster-rcnn，第二神经网络包括googlenet，例如包括googlenet inception v3。
74.faster-rcnn是一种端到端的深度学习检测算法，其将特征提取、候选框选取、边框回归和分类都整合到一个网络中，从而有效的提高检测精度和检测效率。
75.googlenet是一种深度学习结构，在这之前的alexnet、vgg等结构都是通过增大网络的深度(层数)来获得更好的训练效果，但层数的增加会带来很多负作用，比如overfit、梯度消失、梯度爆炸等。inception的提出则从另一种角度来提升训练结果：能更高效的利用计算资源，在相同的计算量下能提取到更多的特征，从而提升训练结果。
76.在本实施例中，构建皮带检测数据集包括：将搜集的包括皮带各式缺陷的皮带缺陷图像库和皮带无缺陷图像库合并为皮带检测数据集，并对皮带检测数据集进行分类：分别将缺陷图像和无缺陷图像中各90％图像作为训练集中的图像；10％图像为测试集中的图像。
77.在本实施例中，对皮带缺陷图像库的缺陷区域进行人工标定：在皮带缺陷图像库中，沿缺陷区域的四个顶点组成的四条外边位对缺陷区域进行标记，得到缺陷区域定位框。
78.在本实施例中，对皮带检测数据集的缺陷类型进行人工标定：无缺陷图像标记为0—无缺陷；缺陷图像根据具体情况分别标记为：1—皮带跑偏；2—裂痕；3—钢筋裸漏；4—钢铁插伤；5—接头鼓泡。
79.在本实施例中，对用于对皮带缺陷区域进行定位的深度卷积神经网络进行训练：利用皮带缺陷图像库中的训练集中的图像训练一个用于自动定位皮带缺陷区域的深度卷积神经网络，并确定深度卷积神经网络中的学习参数；
80.在本实施例中，对用于对皮带缺陷故障类别进行识别的深度卷积神经网络进行训练：利用皮带检测数据集中的训练集中的图像数据训练一个用于自动识别皮带缺陷故障类别的深度卷积神经网络模型，并确定深度卷积神经网络中的学习参数。
81.在本实施例中，还包括：深度卷积神经网络的结构建立，包括：
82.确定深度神经网络卷积层、反卷积层和全连接层的层数，每个卷积层、反卷积层和全连接层的特征图数、卷积层所用的卷积核大小和反卷积层所用的反卷积核的大小、池化层的层数和所用采样核的大小、以及训练步长。
83.在本实施例中，确定卷积神经网络的学习参数包括：通过不断降低损失函数的函数值来学习训练深度卷积神经网络的参数。
84.其中，用于定位皮带缺陷区域的深度卷积神经网络模型为faster-rcnn，其的损失
函数l({pi},{ti})为：
[0085][0086]
其中，i表示深度卷积神经网络中第i个锚点，pi为第i个锚点为皮带图像缺陷区域的预测概率，如果锚点为正则标签的真实值为1，如果锚点为负则标签的真实值为0，当标签的真实值为1时，则相对应的回归损失函数l
reg
将会被激活；ti为包含定位框四个顶点所对应的坐标参数向量，为定位框的真实值；l
cls
为两个类(目标以及非目标)的log损失函数；l
reg
表示定位框的回归损失函数取为其中r为1范数损失函数。用于检测皮带缺陷区域的卷积神经网络的学习速率设为0.001，迭代的次数设为100000。
[0087]
在本实施例中，用于皮带缺陷识别的卷积神经网络为googlenet inception v3深度卷积神经网络模型，其损失函数l为：
[0088][0089]
其中，g和分别表示图像属于皮带缺陷的真实值和预测值，g＝1表示图像属于皮带缺陷，g＝0则为皮带正常，预测值表示属于皮带缺陷的预测概率，分布在[0,1]之间；每张图像的大小为n
×w×
h，其中n表示输出的类别数目，w和h表示图像的宽和高，n表示像素(i,j)的真实标记。用于检测皮带缺陷类别的卷积神经网络的学习速率设为0.001，迭代的次数设为100000。
[0090]
本实施例的技术方案，通过将缺陷类别分为无缺陷、皮带跑偏、裂痕、钢筋裸漏、钢铁插伤和/或接头鼓泡，并使用faster-rcnn作为第一神经网络，使用googlenet inception v3作为第二神经网络，能够减小训练成本。
[0091]
实施例三
[0092]
在上述实施例的基础上，图2为本发明实施例的一种缺陷检测方法流程示意图，如图2所示，本实施例提供了一种缺陷检测方法，包括：
[0093]
基于上述实施例的第一神经网络，对目标皮带图像进行识别，得到目标皮带图像的缺陷区域定位框；
[0094]
基于缺陷区域定位框，从目标皮带图像中获取目标皮带图像对应的缺陷图像；
[0095]
基于上述实施例的第二神经网络，对目标皮带图像对应的缺陷图像进行识别，得到缺陷图像对应的缺陷类别。
[0096]
在本实施例中，定位缺陷区域：利用训练好的用于定位皮带缺陷区域的深度卷积神经网络，定位皮带缺陷图像库中皮带缺陷图像的缺陷区域，得到含有缺陷区域的定位框，例如得到含有缺陷区域定位框的四个顶点坐标；
[0097]
在本实施例中，剪切缺陷区域图像：完成皮带缺陷图像的缺陷区域定位后，根据所得到的含有缺陷区域定位框的四个顶点坐标，对框内图像沿四个顶点组成的四条外边进行裁剪，得到皮带缺陷区域图像；
[0098]
在本实施例中，识别缺陷类别：利用训练好的用于皮带缺陷故障类别识别的深度卷积神经网络来识别裁剪得到的皮带缺陷区域图像和无缺陷图像库图像，输出检测的结果。
[0099]
本实施例的技术方案，通过基于上述实施例的第一神经网络，对目标皮带图像进行识别，得到目标皮带图像的缺陷区域定位框；基于缺陷区域定位框，从目标皮带图像中获取目标皮带图像对应的缺陷图像；基于上述实施例的第二神经网络，对目标皮带图像对应的缺陷图像进行识别，得到缺陷图像对应的缺陷类别；从而将缺陷区域的检测与缺陷类别的识别分开，减少了缺陷区域检测的工作量，并提升了缺陷类别识别的准确度。本实施例的技术方案，利用两个深度卷积网络模型(faster-rcnn和googlenet inception_v3)实现对皮带缺陷进行区域定位并实现识别，基于缺陷类型实现负责维修策略。
[0100]
实施例四
[0101]
在上述实施例的基础上，本实施例提供了一种缺陷检测方法，方法还包括：
[0102]
根据缺陷类别确定维修策略；
[0103]
根据维修策略确定维修流程。
[0104]
在本实施例中，确定维修策略：技术员根据网络检测结果确定具体维修策略，根据维修策略辅助技术人员做出标准维修工作流程。
[0105]
本实施例的技术方案，在确定了缺陷类别之后，通过根据缺陷类别确定维修策略；根据维修策略确定维修流程；能够生成与缺陷类别对应的维修流程，提升了维修团队整体的维修水平。
[0106]
实施例五
[0107]
在上述实施例的基础上，本实施例提供了一种缺陷检测方法，基于缺陷区域定位框，从目标皮带图像中获取目标皮带图像对应的缺陷图像，包括：
[0108]
基于缺陷区域定位框，对目标皮带图像进行裁剪，以从目标皮带图像中获取目标皮带图像对应的缺陷图像。
[0109]
在本实施例中，针对步用于定位皮带缺陷区域的卷积神经网络对图像进行缺陷区域定位后，得到一个含有缺陷区域的定位框。裁剪皮带缺陷图像的缺陷区域，具体为根据含有缺陷区域定位框的四个顶点坐标，对框内图像沿四个顶点组成的四条外边进行裁剪，得到缺陷区域图像。
[0110]
本实施例的技术方案，通过基于缺陷区域定位框，对目标皮带图像进行裁剪，以从目标皮带图像中获取目标皮带图像对应的缺陷图像，能够将待进行缺陷类别识别的图像由整个皮带图像减小为部分皮带图像，减少了缺陷类别识别所需要的工作量，并提升了缺陷类别识别的效率和准确度。
[0111]
实施例六
[0112]
在上述实施例的基础上，图3为本发明实施例的一种网络训练装置结构示意图，如图3所示，本实施例提供了一种网络训练装置，包括：
[0113]
数据获取模块，用于获取皮带检测数据集；
[0114]
区域标定模块，用于对皮带检测数据集中的每一皮带图像的缺陷区域进行标定，得到皮带检测数据集中的每一皮带图像的缺陷区域定位框；
[0115]
类别标定模块，用于对皮带检测数据集中的每一皮带图像的缺陷区域定位框的缺
陷类别进行标定，得到皮带检测数据集中的每一皮带图像的缺陷类别；
[0116]
第一训练模块，用于基于皮带检测数据集中的每一皮带图像的缺陷区域定位框，对第一神经网络进行训练，确定第一神经网络的参数；
[0117]
第二训练模块，用于基于皮带检测数据集中的每一皮带图像的缺陷类别，对第二神经网络进行训练，确定第二神经网络的参数。
[0118]
可以理解的是，本实施例的技术方案细节及其技术效果与上述实施例相应，此处不再赘述。
[0119]
实施例七
[0120]
在上述实施例的基础上，图4为本发明实施例的一种缺陷检测装置结构示意图，如图4所示，本实施例提供了一种缺陷检测装置，包括：
[0121]
区域识别模块，用于基于上述实施例的第一神经网络，对目标皮带图像进行识别，得到目标皮带图像的缺陷区域定位框；
[0122]
区域获取模块，用于基于缺陷区域定位框，从目标皮带图像中获取目标皮带图像对应的缺陷图像；
[0123]
类别识别模块，用于基于上述实施例的第二神经网络，对目标皮带图像对应的缺陷图像进行识别，得到缺陷图像对应的缺陷类别。
[0124]
可以理解的是，本实施例的技术方案细节及其技术效果与上述实施例相应，此处不再赘述。
[0125]
实施例八
[0126]
在上述实施例的基础上，本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的方法。
[0127]
上述存储介质可以是闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等。
[0128]
实施例九
[0129]
在上述实施例的基础上，本实施例提供了一种设备，包括处理器和存储器，存储器上存储有计算机程序，处理器执行上述实施例的方法。
[0130]
处理器可以是专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例中的方法。
[0131]
存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。
[0132]
实施例十
[0133]
在上述实施例的基础上，本实施例提供了一个应用实例。
[0134]
本发明涉及到图像处理及模式识别领域，特别是涉及基于深度学习算法中的卷积神经网络模型的物料运送皮带的缺陷检测方法。
[0135]
目前，物料运送皮带是散装港口的重要设备，物料运送皮带的健康状况严重制约着散装港口的正常运转，缺陷检测是物料运送皮带运维工作的首要工作，皮带缺陷是设备在运行作业中，由于机械疲劳，意外损伤，老化等问题产生的，常常出现诸如皮带跑偏、钢铁插伤，接头鼓泡，钢丝绳裸漏等缺陷。皮带缺陷如果发现不及时，影响设备作业效率，一旦恶化，将存在作业危险，导致设备事故发生。
[0136]
本领域亟需一种方案解决如何自动检测皮带缺陷的技术问题。
[0137]
目前，主要是基于人工对皮带设施进行故障检测，一般由巡检人员和设备维修人员基于目测进行检测，对设备故障进行评估，进一步实施具体维修策略；也存在利用基于传统视觉图像处理的方法进行皮带跑偏检测的运用。
[0138]
现技术的缺陷有：
[0139]
1)基于人工对皮带设施故障检测的方法，由于设备运行的具体环境和作业的不同，导致皮带缺陷的具体表现和故障严重程度存在一定的差异，即使有经验的设备巡检人员也容易将其忽视，而产生误判误修等情况，且人工检测的方法效率较低。
[0140]
2)在基于传统视觉图像处理的方法进行皮带跑偏检测的运用中，存在以下缺点：对皮带跑偏图像条件要求苛刻；采用传统图像处理的方法，其过程较为复杂，效率偏低；皮带缺陷识别的准确率低，可靠性差。
[0141]
本方案的目的：
[0142]
本发明充分利用深度学习中的卷积神经网络算法的良好的检测能力。一方面可以高效准确地判断皮带设备故障问题，有助于对港口数字化和智慧化建设的目标实现；另一方面，有助于减轻设备技术管理人员在巡检的劳动强度和时间消耗，有利于设备技术人员对设备科学管理。
[0143]
本发明实施例所要解决的技术问题在于，提供一种于深度神经网络模型实现物料运送皮带缺陷检测的方法，利用深度卷积神经网络的较强的特征提取和特征学习能力对皮带缺陷图像进行缺陷识别，以帮助提高设备巡检人员对皮带故障的诊断效率。
[0144]
为了解决上述技术问题，本发明实施例提供了一种基于深度神经网络模型实现物料运送皮带缺陷检测的方法—图5，图6，方法包括以下步骤：
[0145]
s1：皮带检测数据集构建：将搜集的包括皮带各式缺陷的皮带缺陷图像库和皮带无缺陷图像库合并为皮带检测数据集，并对皮带检测数据集进行分类：分别将缺陷图像和无缺陷图像中各90％图像作为训练集中的图像；10％图像为测试集中的图像。
[0146]
s2：对皮带缺陷图像库的缺陷区域进行人工标定：在皮带缺陷图像库中，沿缺陷区域的四个顶点组成的四条外边位对缺陷区域进行标记，得到缺陷区域定位框。
[0147]
s3：对皮带检测数据集的缺陷类型进行人工标定：无缺陷图像标记为0—无缺陷；缺陷图像根据具体情况分别标记为：1—皮带跑偏；2—裂痕；3—钢筋裸漏；4—钢铁插伤；5—接头鼓泡。
[0148]
s4：对用于对皮带缺陷区域进行定位的深度卷积神经网络进行训练：利用皮带缺
陷图像库中的训练集中的图像训练一个用于自动定位皮带缺陷区域的深度卷积神经网络—如图7所示，并确定深度卷积神经网络中的学习参数；在图7中，p*q为图像的原始大小尺寸，经过预处理即裁剪，将图像尺寸统一为m*n。因为目前获取皮带图像数据的摄像头不同，所获取的图像尺寸也不同。
[0149]
s5：对用于对皮带缺陷故障类别进行识别的深度卷积神经网络进行训练：利用皮带检测数据集中的训练集中的图像数据训练一个用于自动识别皮带缺陷故障类别的深度卷积神经网络模型，并确定深度卷积神经网络中的学习参数。
[0150]
s6：定位缺陷区域：利用步骤s4中训练好的用于定位皮带缺陷区域的深度卷积神经网络，定位皮带缺陷图像库中皮带缺陷图像的缺陷区域，得到含有缺陷区域的定位框，例如得到含有缺陷区域定位框的四个顶点坐标。
[0151]
s7：剪切缺陷区域图像：完成步骤s6中皮带缺陷图像的缺陷区域定位后，根据步骤s2中所得到的含有缺陷区域定位框的四个顶点坐标，对框内图像沿四个顶点组成的四条外边进行裁剪，得到皮带缺陷区域图像。
[0152]
s8：识别缺陷类别：利用步骤s5中训练好的用于皮带缺陷故障类别识别的深度卷积神经网络来识别步骤s7中裁剪得到的皮带缺陷区域图像和无缺陷图像库图像，输出检测的结果—图8。
[0153]
s9：确定维修策略：技术员根据网络检测结果确定具体维修策略，根据维修策略辅助技术人员做出标准维修工作流程。
[0154]
其中，在s4之前，还包括：深度卷积神经网络的结构建立，包括：
[0155]
确定深度神经网络卷积层、反卷积层和全连接层的层数，每个卷积层、反卷积层和全连接层的特征图数、卷积层所用的卷积核大小和反卷积层所用的反卷积核的大小、池化层的层数和所用采样核的大小、以及训练步长。
[0156]
其中，确定卷积神经网络的学习参数包括：通过不断降低损失函数的函数值来学习训练深度卷积神经网络的参数。
[0157]
其中，用于定位皮带缺陷区域的深度卷积神经网络模型为faster-rcnn，其的损失函数l({pi},{ti})为：
[0158][0159]
其中，i表示深度卷积神经网络中第i个锚点，pi为第i个锚点为皮带图像缺陷区域的预测概率，如果锚点为正则标签的真实值为1，如果锚点为负则标签的真实值为0，当标签的真实值为1时，则相对应的回归损失函数l
reg
将会被激活；ti为包含定位框四个顶点所对应的坐标参数向量，为定位框的真实值；n
cls
为所取锚点个数，即定位框内像素大小；l
cls
为两个类(目标以及非目标)的log损失函数；n
reg
为特征图的大小；l
reg
表示定位框的回归损失函数取为其中r为1范数损失函数。用于检测皮带缺陷区域的卷积神经网络的学习速率设为0.001，迭代的次数设为100000。
[0160]
用于皮带缺陷识别的卷积神经网络为googlenet inception_v3深度卷积神经网络模型，其损失函数l为：
[0161][0162]
其中，g和分别表示图像属于皮带缺陷的真实值和预测值，g＝1表示图像属于皮带缺陷，g＝0则为皮带正常，预测值表示属于皮带缺陷的预测概率，分布在[0,1]之间；每张图像的大小为n
×w×
h，其中n表示输出的类别数目，w和h表示图像的宽和高，n表示像素(i,j)的真实标记。用于检测皮带缺陷类别的卷积神经网络的学习速率设为0.001，迭代的次数设为100000。
[0163]
在步骤s6中，针对步骤s4中利用训练好的用于定位皮带缺陷区域的卷积神经网络对图像进行缺陷区域定位后，得到一个含有缺陷区域的定位框。步骤s7中裁剪皮带缺陷图像的缺陷区域，具体为根据步骤s6中所得到的含有缺陷区域定位框的四个顶点坐标，对框内图像沿四个顶点组成的四条外边进行裁剪，得到缺陷区域图像。
[0164]
本发明基于深度神经网络模型实现物料运送皮带缺陷检测的方法，本发明综合利用两种不同模型的深度卷积神经网络，利用深度学习网络模型的强有力的特征学习和特征提取能力，可以高效准确地判断皮带是否有缺陷，从而客观如实的帮助巡检人员和技术人员提高诊断皮带缺陷故障的效率。
[0165]
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0166]
需要说明的是，在本发明中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0167]
虽然本发明所揭露的实施方式如上，但上述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。