一种基于EfficientDet网络的深度学习矿石大小测量方法及预警系统

本发明涉及一种图像目标识别方法，一种基于efficientdet网络的深度学习矿石大小测量方法及预警系统。

背景技术：

矿产资源指经过地质成矿作用，使埋藏于地下或出露于地表、并具有开发利用价值的矿物或有用元素的含量达到具有工业利用价值的集合体。矿产资源是重要的自然资源，是社会生产发展的重要物质基础，现代社会人们的生产和生活都离不开矿产资源。矿产资源属于不可再生资源，其储量是有限的。要加大对矿产资源的利用的广度和深度。按其特点和用途，通常分为金属矿产、非金属矿产和能源矿产三大类。金属矿石的采掘以爆破形式进行，不均匀的矿石经过皮带机运输到一级破碎机时，如果矿石大小太大容易损伤破碎机机体。目前主要人工进行监控，再筛选大块矿石，以降低对破碎机机体的损害。而人工筛选的问题主要有两点：首先是安全问题，提升井皮带机环境恶劣，粉尘和噪声严重，长时间对工人身体造成损伤;其次是人工监测长时间工作会出现视觉疲劳，容易出现漏检情况，导致损伤破碎机机体。国外一些发达国家，已经将机器视觉的相关知识应用到矿石的开采中，以提高效率，而国内现在使用机器视觉相关知识的还比较少。本专利采用深度学习领域机器视觉相关知识，构建efficientdet检测网络，实现所有的矿石块的实时检测，定位其位置，识别其大小，并在遇到超过系统阈值大小的矿石块时进行实时预警，告知皮带控制系统相关情况，使皮带及时停止。于此同时将异常信号传输给执行机构，执行机构拨出大块矿石。大量减少了人工的使用，保障工人安全的同时提高了检测效率，极大地降低漏检的情况。模型效率在计算机视觉中十分重要，efficientdet网络相较于之前的深度学习网络如maskr-cnn等，可以使用更少的参数和更低的运算量达到更高的精度，以提高检测的效率。

综上所述，传统的矿石大小检测需要大量的人工进行手工操作问题，基于神经网络的模型的检测参数量过大，需要强大的算力的技术问题，本专利使用efficientdet进行矿石大小检测和预警，大量减少了人工的使用，提高了检测效率。

技术实现要素：

对于上述现有技术存在的问题，提出了一种基于efficientdet网络的深度学习矿石大小测量方法及预警系统，目的是为了解决矿石大小检测中存在的极大地依赖人工，效率低，准确率低，模型参数量过大，需要强大的算力的技术问题。具体包括：通过高帧率摄像头捕捉皮带上运输矿石的视频流，将视频流转换为图片;将图像进行手工标注，并剔除异常的矿石图片；将获取到的矿石图片按7：2：1分为训练图片、验证图片和测试图片；对矿石图片进行数据增强提高泛化能力;使用efficientnet网络作为骨干，创建efficientdet目标检测网络，使用训练数据集得到网络模型;使用训练完成的efficientdet网络模型进行测试，将得到的预测框用于定位出矿石的位置并通过摄像头的焦距以及图像像素大小计算出矿石的大小。根据系统预设阈值，发现有矿石大小超过系统阈值时发出预警，同时将异常信号传输给执行机构，执行机构拨出大块矿石。

本发明采用如下技术方案解决技术问题：一种基于efficientdet网络的深度学习矿石大小测量方法及预警系统，用在矿业中检测矿石大小，并对超过阈值大小的矿石块进行智能化处理，具体步骤如下：

s1、数据获取阶段：通过高速摄像头拍摄流动皮带上矿石，将视频流的关键帧存储为图片;

s2、数据预处理阶段：将图像进行手工标注，检测并剔除异常的矿石图片；将获取到的矿石图片按7：2：1分为训练图片、验证图片和测试图片；对矿石图片进行数据增强提高泛化能力;

s3、创建与训练网络阶段：使用efficientnet网络作为骨干网络，bifpn(bi-directionalfeaturepyramidnetwork)作为特征提取网络，选择efficientd0至d7中的一个来创建efficientdet目标检测网络，设置参数如学习率、batchsize、训练的轮数、优化器等，使用矿石训练数据集得到网络模型；

s4、测试阶段：使用训练完成的efficientdet网络模型进行测试，将得到的预测框用于定位出矿石的位置并通过摄像头的焦距以及图像大小计算出矿石的大小；

s5、提醒阶段：根据系统预设阈值，发现有矿石大小超过系统阈值时发出预警，同时将异常信号传输给执行机构，执行机构拨出大块矿石。

对上述方案的进行进一步描述：

所述步骤s1中数据获取，由以下步骤组成：

(1)、通过安装在皮带附近的多个不同角度的高帧率摄像头获取矿石图片视频流；

(2)、从已经获取到的图片视频流中截取关键帧作为图像数据；

所述步骤s2中数据预处理，由以下步骤组成：

(i)使用图像标注工具lableme对获取到的图片数据中矿石位置、大小进行标记，矿石的大小并不规整，需要进行多边形标记；

(ii)检测出不符合要求的矿石图片数据，并将其剔除；主要是检测标注的数据是否超过图片的边界的异常情况以及坐标位置颠倒的情况;

(iii)对训练图片进行数据增强：对矿石图片随机进行不同角度的水平和竖直反转；对矿石图片进行缩放；通过直方图均衡调整图像的像素值使得其值变为均匀分布；添加随机噪声；将图像从rgb色彩空间转换为hsv色彩空间调整图片亮度，将图像进行正规化操作，以及对噪声进行处理；以此来提高网络的泛化能力。

所述步骤s3中创建与训练网络阶段，由以下步骤组成：

(ⅰ)使用efficientnet网络作为骨干网络，采用bifpn网路对efficientnet提取到的网络特征进行融合，efficientdet的head对提取到的特征进行分类和回归预测；

(ⅱ)整个efficientnet有b0-b7多个版本，其中efficientnet-b0由1个conv(3×3)、1个mbconv1(3×3)、2个mbconv6(3×3)、2个mbconv6(5×5)、3个mbconv6(3×3)、3个mbconv6(5×5)、4个mbconv6(5×5)、一个mbconv6(3×3)、一个conv(1×1)、一个pooling层，一个fc层。其中mbconv包含残差结构。先使用1×1的卷积进行升维操作，再进行3×3或5×5的卷积，此后增加关于通道的注意力机制，在使用1×1的卷积进行降维操作，再与残差结构进行堆叠。mbconv的激活函数使用的是swish函数，并使用batchnormalization进行标准化；

swish函数的定义为

其中是一个常数或可训练的参数；

函数表达式如下：

于此同时efficientnet-b0将网络的宽度(depth)、深度(width)和分辨率(resolution)按照公式x(todo)的要求，使用系数进行复合缩放。其中，α、β、γ是可以通过网格搜索确定的常数。在和的约束下，efficientnet-b0的最佳值为=1.2，=1.1，=1.15。

所述步骤s3中创建bifpn，由以下步骤组成：

(a)bifpn网络可以学习来自不同输入特征的重要性，同时重复应用自顶向下和自底向上的多大小特征融合。加强提取网络由多个bifpn构成，其中efficientdet-d0到d7分别由3、4、5、6、7、7、8、8个bifpn构成；

(b)efficientdet包含efficientnet主干提取网络和bifpn加强提取网络，以及efficienthead将提取到的特征转化为预测结果。首先efficientnet将输入的图片不断进行下采样，原始的efficientnet的下采样次数是5次，通过efficientnet可以获得、、、、，是输入图片长和宽压缩一次的结果，是输入图片长和宽压缩两次的结果，是输入图片长和宽压缩三次的结果，以此类推。由于和并不具有较高的语义信息，因此在加强提取网络bifpn中并不会用到、、、、具有比较高的语义信息，因此在加强提取网络bifpn中使用到，作为5个有效特征层中的三个。对p5进行两次下采样，获得具有更高语义的信息的、。获得5个有效特征层、、、、；

(c)将这5个特征层，传入加强提取网络bifpn进行进一步的特征提取，其中表示分辨率为输入图像的特征级别。例如，如果输入分辨率为640x640，代表分辨率为80x80的特征级别3(640/=80)，而代表代表分辨率为5x5的7级特征级别；具体如下：

①进行通道数的调整，获得，，，，，如果是第一次进入bifpn，将通过减少通道数转化为_1和_2，通过减少通道转化为_1和_2；

②在获得、_1、_2、_1、_2、、之后需要对进行上采样，上采样后与采用注意力机制，用来判断是更关注还是，再用swish函数进行激活，再进行卷积从而获得；

③对进行上采样，上采样后与_1采用注意力机制，用来判断是更关注还是_1，再用swish函数进行激活，再进行卷积从而获得；

④对进行上采样，上采样后与_1采用注意力机制，用来判断是更关注还是_1，再用swish函数进行激活，再进行卷积从而获得；

⑤对进行上采样，上采样后与采用注意力机制，用来判断是更关注还是，再用swish函数进行激活，再进行卷积从而获得；

⑥在获得、、_2、、_2、、、之后，需要对进行下采样，下采样后与、_2采用注意力机制，用来判断是更关注、还是_2，再用swish函数进行激活，再进行卷积从而获得；

⑦对进行下采样，下采样后与、_2采用注意力机制，用来判断是更关注、还是_2，再用swish函数进行激活，再进行卷积从而获得；之后对进行下采样，下采样后与、采用注意力机制，用来判断是更关注、还是，再用swish函数进行激活，再进行卷积从而获得；之后对进行下采样，下采样后与采用注意力机制，用来判断是更关注、还是，再用swish函数进行激活，再进行卷积从而获得；

⑧将获得的、、、、作为、、、、，重复之前步骤进行堆叠即可，对于effiicientdet-b0，还需要重复2次，此时_1和_2不需要分开了，_1和_2也不需要分开。以上融合特征在第6层可以简述为：

其中代表第层的特征，其中是自上而下路径上第6级的中间特征，而是自下而上路径中第6级的输出特征；

当融合不同分辨率的特征时，一种常见的方法是首先将它们调整到相同的分辨率，然后对它们进行求和，以前的方法一视同仁地对待所有输入特征；

由于不同的输入特征具有不同的分辨率，它们对输出特征的贡献通常是不相等的；

bifpn每个输入添加额外的权重，并让网络了解每个输入特征的重要性。bifpn使用fastnormalizedfusion(快速归一化融合)：

是一个可学习的权重，可以是标量(每个特征)、矢量(每个通道)或多维张量(每个像素)。为了避免数值不稳定，设置为一个较小的值=0.0001；

bifpn的宽度和深度使用以下公式缩放：

其中1.35作为bifpn宽度缩放因子，是控制所有其他比例维度的复合系数。预测网络的宽度和bifpn相同：

预测网络的深度使用等式进行线性增加：

所述步骤s3中构建损失函数，由以下步骤组成：

(p1)使用如下损失函数计算网络结果与真实值之间的差异：

其中是分类的loss，是回归的loss。使用的是是smooth-l1loss函数。smooth-l1loss函数如下所示：

(p2)一张图像有很多候选框，其中包含目标的是正样本，不包含目标的是负样本。如果样本一属于类别一的概率为0.9，样本二属于类别一的概率为0.6，前者是容易分类的样本，后者是难分类的样本。efficientdet中的分类loss是focalloss。focalloss可以控制正负样本的权重，同时可以控制容易分类和难分类样本的权重；

(p3)focalloss源自于交叉熵损失函数，二分类的交叉熵函数损失为：

使用简化交叉熵损失函数：

控制正负样本的权重，可以在交叉熵损失函数前增加一个系数：

控制容易分类和难分类样本的权重；

称为调制系数(modulatingfactor)。当γ=0的时候，focalloss就是交叉熵损失函数，可以通过调整实现调制系数的改变。两种权重进行合并可得：

其中=0.25和=1.5。

所述步骤s4中测试阶段，由以下步骤组成：

(q1)为了和普通特征层区分，我们称之为bifpn提取到的特征层称为有效特征层，将这五个有效的特征层传入classnet(分类预测网络)和boxnet(回归预测网络)即可获得预测结果；

(q2)对于efficientdet-b0来说，classnet采用3次64通道的深度可分离卷积和1次该特征层所拥有的先验框数量乘以网络共有多少类的目标的卷积，先验框数量默认为9。boxnet采用3次64通道的卷积和1次该特征层所拥有的先验框数量乘以四的卷积，四指的是先验框的调整情况，调增中心位置和宽高。efficientdet默认有9个先验框，可按照实际情况对先验框的长宽比例进行调整，以适合检测的目标。efficientdet会判定先验框中的物体以及物体的种类，并且会对先验框进行调整，使用非极大抑制(soft-nms)筛选出在一定区域属于同一种类置信度最大的框，获得最终的预测框；

(q3)将预先的保留的矿石测试图片传入efficientdet网络进行预测，得到图片中矿石的预测框，并计算出预测框的大小，再通过预测框的大小和误差计算出真实矿石的大小；

(q4)根据摄像头的安装角度、摄像头到皮带的距离以及网络模型预测框的大小和图像的像素计算出其真实大小：

是摄像头与皮带垂线的夹角，表示矿石的真实大小，表示摄像头与皮带间的垂直距离，表示摄像头的焦距，表示efficientdet网络模型预测框的大小。

所述步骤s5中提醒阶段，由以下步骤组成：

(t1)设置系统阈值为矿石大小报警阈值与误差阈值之和，将计算得到的矿石真实大小与系统阈值进行比较；

(t2)发现有矿石大小超过系统阈值时发出预警，同时将异常信号传输给执行机构，执行机构拨出大块矿石。

所述预警系统，由以下部分组成：

(d1)用户模块，负责用户的注册、登录、管理，显示个人的用户信息，提供超级用户的管理权限；

(d2)矿石视频流采集模块，通过安装在矿石流动皮带附近各个角度的摄像头采集矿石视频流，并将采集到的图像发送给实时预警模块；

(d3)实时预警模块，接受矿石视频流采集模块发送的矿石图像，并矿石图像传入到经过训练的efficientdet网络中，得到矿石的位置及大小，将计算得到的矿石真实大小与系统阈值进行比较。如果其真实大小比系统阈值更大，则将异常信息显示到页面上，并将异常信息写入数据库；

(d4)设置模块，设置系统相关参数以及日志相关参数，如报警矿石块大小等；

(d5)日志模块，接受实时预警系统的异常记录并显示该异常，并将异常记录同步到云端服务器。

所述预警系统web端的用户模块，由以下部分组成：

(u1)对新的管理人员提供注册、登录功能，可以操作并使用整个系统，将其信息保存至云端服务器，并赋予相应的权限;

(u2)对权限高的超级管理员提供操作系统的高级权限，操作并使用整个系统的同时管理其他用户。

所述预警系统web端的实时预警模块，由以下部分组成：

(r1)添加、删除、修改对应的工控机设备；

(r2)实时显示已经添加的工控机设备的皮带转动画面；支持启动和停止显示该工控机设备的皮带转动画面；

(r3)当检测到某工控机矿石真实大小大于系统阈值时，显示异常信息，用户可以根据异常信息选择是否停止该工控机的运转，并将异常记录的工控机信息、发生异常的时间和图片保存至数据库中，同时写入日志模块；每隔一段时间将数据库中的异常记录同步至云端服务器。

所述预警系统web端的设置模块，由以下部分组成：

设置预警系统的相关信息，主要有设置系统预警的矿石块大小，设置系统误差的大小以及设置相机的焦距、云端服务器端口等。

所述预警系统web端的日志模块，由以下部分组成：

(z1)接受实时告警系统的异常记录，实时显示在页面上，并将记录写入数据库；

(z2)选择是否将日志同步到云端服务器;

(z3)提供搜索功能，可能根据工控机设备、时间、阈值等信息搜索告警记录。

所述预警系统app端的用户模块，由以下部分组成：

(m1)与web端的数据库保持同步，对新的管理人员提供注册、登录功能，可以操作并使用整个系统，将其信息保存至云端服务器，并赋予相应的权限;

(m2)权限高的超级管理员提供操作系统的高级权限，操作并使用整个系统的同时管理其他用户。

所述预警系统app端的实时预警模块，由以下部分组成：

(x1)同步数据库中的工控机设备内容，可以添加、删除、修改对应的工控机设备；

(x2)实时显示已经添加的工控机设备的皮带转动画面；支持启动和停止显示该工控机设备的皮带转动画面；

(x3)当检测到某工控机矿石真实大小大于系统阈值时，显示异常信息，用户可以根据异常信息选择是否停止该工控机的运转，并将异常记录的工控机信息、发生异常的时间和图片保存至数据库中，同时写入日志模块；每隔一段时间将数据库中的异常记录同步至云端服务器。

所述预警系统app端的日志模块，由以下部分组成：

(y1)实时查询数据库，将异常信息显示在页面上；

(y2)提供搜索功能，可能根据工控机设备、时间、阈值等信息搜索告警记录。

如上所述，本发明提出了一种基于efficientdet网络的深度学习矿石大小测量方法及预警系统，通过efficientdet网络模型解决矿石大小检测中存在的极度依赖人工、效率低、准确率低、模型参数量过大等问题。

附图说明

图1为本发明的矿石大小测量方法步骤示意图；

图2为本发明的的efficientdet骨架网络efficientnet的架构示意图；

图3为本发明的的efficientdet特征提取网络bifpn的架构示意图；

图4显示为本发明的efficientdet网络的整体结构示意图；

图5显示为图1中步骤s1在一实施例中的具体流程图；

图6显示为图1中步骤s2在一实施例中的具体流程图；

图7显示为图1中步骤s3在一实施例中的具体流程图；

图8显示为图1中步骤s4在一实施例中的具体流程图；

图9显示为图1中步骤s5在一实施例中的具体流程图；

图10显示为本发明一种基于efficientdet网络的深度学习矿石大小测量方法及预警系统模块示意图；

图11显示为图10中用户模块m3在一实施例中的具体模块图；

图12显示为图10中实时预警模块m2在一实施例中的具体模块图；

图13显示为图10中设置模块m4在一实施例中的具体模块图；

图14显示为图10中日志模块m5在一实施例中的具体模块图；

附图标记：m1、视频流采集模块；m2实时预警模块；m21app端；m22web端；m3用户模块；m4设置模块；m5日志模块；m6数据库模块；s1～s5为方法步骤；s11～s14为方法步骤；s21～s25为方法步骤；s31～s36为方法步骤；s41～s43为方法步骤；s51～s54为方法步骤。

具体实施方式

根据图1、图2和图3，为本发明的矿石大小测量方法步骤示意图、efficientdet骨架网络efficientnet的架构示意图和特征提取网络bifpn的架构示意图；本发明旨在通过efficientdet网络模型解决矿石大小检测中存在的极度依赖人工、效率低、准确率低、模型参数量过大等问题。efficientdet有efficientdet-d0至efficientdet-d7共8个版本，随着版本号的提升模型参数和运算量都有提升，同时精度也在提升。选择合适的网络版本以适应不同的应用场景，接下来以efficientdet-d0为例。包括以下方法步骤：

s1、数据获取阶段：通过高速摄像头拍摄流动皮带上矿石，将视频流的关键帧存储为图片；

s2、数据预处理阶段：将图像进行手工标注，检测并剔除异常的矿石图片；将获取到的矿石图片按7：2：1分为训练图片、验证图片和测试图片；对矿石图片进行数据增强提高泛化能力；

s3、创建与训练网络阶段：使用efficientnet网络作为骨干，创建efficientdet目标检测网络，使用训练数据集得到网络模型；

s4、测试阶段：使用训练完成的efficientdet网络模型进行测试，将得到的预测框用于定位出矿石的位置并通过摄像头的焦距、摄像头距离皮带的距离以及图像大小计算出矿石的大小；

s5、提醒阶段：根据系统预设阈值，发现有矿石大小超过系统阈值时发出提醒。

根据图5，其为s1的具体实施步骤，包括以下步骤：

s11、将摄像头安装在流动皮带上方高垂直高度l处的位置，使得摄像头的拍摄范围，能够覆盖流动皮带的横向宽度，以获得完整的矿石视频流；

s12、设置摄像头参数数据，包括分辨率、帧率、色彩空间等参数，以获取更为清晰的矿石视频；

s13、选择适当的视频采集数据的存放格式，将视频存储为视频流，本发明采用的是mjpeg格式；

s14、将视频流中的关键帧数据截取出来，用作接下来训练、验证、测试的矿石图片。

根据图6，其为s2的具体实施步骤，包括以下步骤：

s21、使用图像标注工具lableme对获取到的图片数据中矿石位置、大小进行标记，矿石的尺度并不规整，需要进行多边形标记，保存的json文件。json文件名与标记的名字相同，图片的存储格式为base64编码；

s22、根据标注的数据对矿石图片进行处理，检测出不符合要求的图片，删除其图片；

s23、将获取到的矿石图片按7：2：1分为训练图片、验证图片和测试图片；

s24、对训练图片进行数据增强：对矿石图片进行水平和竖直反转、对矿石图片进行缩放的同时更改相应的标注位置；

s25、添加随机噪声；将图像从rgb色彩空间转换为hsv色彩空间调整图片亮度，以适应不同的光照变化，以及将图像进行正规化操作，提高训练的效果。

根据图7，其为s3的具体实施步骤，包括以下步骤：

s31、选择efficientnet-b0网络的骨干类型，设置训练网络的超参数，学习率、batchsize、训练的轮数(epochs)、优化器(如sgd、adam)等。efficientnet-b0由1个conv(3×3)、1个mbconv1(3×3)、2个mbconv6(3×3)、2个mbconv6(5×5)、3个mbconv6(3×3)、3个mbconv6(5×5)、4个mbconv6(5×5)、一个mbconv6(3×3)、一个conv(1×1)、一个pooling层，一个fc层。其中mbconv包含残差结构。先使用1×1的卷积进行升维操作，再进行3×3或5×5的卷积，此后增加关于通道的注意力机制，在使用1×1的卷积进行降维操作，再与残差结构进行堆叠。mbconv的激活函数使用的是swish函数，并使用batchnormalization进行标准化；

swish函数的定义为：

其中是一个常数或可训练的参数；

函数表达式如下：

进行网络缩放，确定efficientnet-b0缩放的最佳值为α=1.2，β=1.1，γ=1.15；

s32、bifpn网络可以学习来自不同输入特征的重要性，同时重复应用自顶向下和自底向上的多大小特征融合。加强提取网络由多个bifpn构成，其中efficientdet-d0由3个bifpn构成；

根据图4，efficientdet包含efficientnet主干提取网络和bifpn加强提取网络，以及efficienthead将提取到的特征转化为预测结果。首先efficientnet将输入的图片不断进行下采样，原始的efficientnet的下采样次数是5次，通过efficientnet可以获得、、、、，是输入图片长和宽压缩一次的结果，是输入图片长和宽压缩两次的结果，是输入图片长和宽压缩三次的结果，以此类推。由于和并不具有较高的语义信息，因此在加强提取网络bifpn中并不会用到、、、、具有比较高的语义信息，因此在加强提取网络bifpn中使用到，作为5个有效特征层中的三个。对p5进行两次下采样，获得具有更高语义的信息的、。获得5个有效特征层、、、、；

将这5个特征层，传入加强提取网络bifpn进行进一步的特征提取，其中表示分辨率为输入图像的特征级别。例如，如果输入分辨率为640x640，代表分辨率为80x80的特征级别3(640/=80)，而代表代表分辨率为5x5的7级特征级别；

图3所示的两个融合特征在第6层的情况：

其中代表第层的特征，其中是自上而下路径上第6级的中间特征，而是自下而上路径中第6级的输出特征；

当融合不同分辨率的特征时，一种常见的方法是首先将它们调整到相同的分辨率，然后对它们进行求和，以前的方法一视同仁地对待所有输入特征；

由于不同的输入特征具有不同的分辨率，它们对输出特征的贡献通常是不相等的；

bifpn每个输入添加额外的权重，并让网络了解每个输入特征的重要性。bifpn使用fastnormalizedfusion(快速归一化融合)

是一个可学习的权重，可以是标量(每个特征)、矢量(每个通道)或多维张量(每个像素)。为了避免数值不稳定，设置为一个较小的值=0.0001；

bifpn的宽度和深度使用以下公式缩放：

其中1.35作为bifpn宽度缩放因子，是控制所有其他比例维度的复合系数；

预测网络的宽度和bifpn相同：

预测网络的深度使用等式进行线性增加：

s33、使用如下损失函数计算网络结果与真实值之间的差异：

其中是分类的loss，是回归的loss。使用的是是smooth-l1loss函数。smooth-l1loss函数如下所示：

使用的是focalloss，如下所示

称为调制系数(modulatingfactor)。当γ=0的时候，focalloss就是交叉熵损失函数，可以通过调整实现调制系数的改变。两种权重进行合并可得：

其中=0.25和=1.5

s34、对整个训练过程进行可视化，通过判断efficientdet-d0网络在训练集和验证集的表现，判断网络是否欠拟合或者过拟合，针对性的对参数进行调整，如调整学习率、增加训练的轮数、更换优化器、调整anchor的大小等；

s35、根据loss函数以及网络的表现，选择是否提前结束训练；

s36、至此结束训练，获得efficientdet-d0网络模型。

根据图8，其为s4的具体实施步骤，包括以下步骤：

s41、将预先保留的测试图片，使用之前训练得来的efficientdet-d0网络模型进行预测；

s42、得到图片中矿石的预测框，计算出预测框的大小；

s43、根据摄像头的安装角度、摄像头到皮带的距离以及网络模型预测框的大小和图像的像素计算出其真实大小：

是摄像头与皮带垂线的夹角，表示矿石的真实大小，表示摄像头与皮带间的垂直距离，表示摄像头的焦距，表示efficientdet-d0网络模型预测框的大小。

根据图9，其为s5的具体实施步骤，包括以下步骤：

s51、再系统的web端设置矿石大小报警阈值以及误差阈值，系统阈值为矿石大小报警阈值与误差阈值之和；

s52、计算系统计算得到的矿石真实大小与系统阈值进行比较；

s53、当检测到某工控机矿石真实大小大于系统阈值时，显示异常信息；

s54、用户可以根据异常信息选择是否停止该工控机的运转，并将异常记录的工控机信息、发生异常的时间和图片保存至数据库中。

根据图10，由以下模块组成：

视频流采集模块(m1)，实时采集视频流，并将视频流中的关键帧给实时预警模块，由实施预警模块镜像判断是否发出预警；实时预警模块(m2)，包括web端和app端，更加方便用户的使用，web端包括用户模块、实时预警模块、设置模块、日志模块。app包括用户模块、实时预警模块、日志模块。其中web端主要是基于django框架实现。根据图11用户模块(m3)主要包括：1、注册功能2、登录功能3、权限管理功能；根据图12实时预警模块(m4)主要包括：1、工控机设备添加、删除、修改、列出2、实时显示工控机设备皮带对应画面3、启动或停止显示工控机画面4、显示并且发送异常信息给执行机构5、将异常信息的记录保存到数据库中。根据图13设置模块主要包括：1、设置系统预警的矿石块大小2、设置系统的误差大小3、设置要同步的云端服务器端口4、设置相机的参数信息。根据图14日志模块(m5)主要包括：1、查询日志2、导出日志3、显示最近异常记录4、选择是否将日志从本机同步到云端服务器。数据库模块(m6)：可以将本地数据同步到云端数据库，以及将云端数据库中的数据记录下载到本地。