一种实现电梯维保图片识别的方法与流程

本发明涉及人工智能图片识别，尤其涉及一种实现电梯维保图片识别的方法。

背景技术：

1、在电梯行业中，电梯作为一种特殊的设备，其安全性和可靠性对人们的生命财产安全有着至关重要的影响。因此，电梯的维保工作也显得尤为重要。而上传维保图片则是维保工作中的一个重要环节，它不仅可以帮助维保员工更好地了解电梯的实际情况，为电梯的安全管理者提供有力的支持，同时也可以为电梯的维修记录提供有效的证据。但是由于平时维保员工上传的维保图片会有存在不规范的情况，如图片模糊，图片未拍完整，垃圾图片等等。

2、有资料显示，传统人工审核维保图片的方法已经无法满足现代企业的需求，需要采用更加高效、准确、实时的审核方法来提高审核效率和准确率，降低审核成本。现如今，卷积神经网络发展迅猛，并在不断演进和拓展应用。由于电梯行业每日需要对大量的维保图片进行审核，因此需要对模型的运行速度有较高的要求。而shufflenetv2是一种轻量级网络，大大降低计算和存储成本。虽然该网络在计算效率和模型大小方面具有很高的优势，然而，它也存在一些缺点，下面将对其进行分析。

3、1，低精度问题：shufflenetv2采用了一些轻量级的设计，如通道重排和深度卷积，虽然会减少计算量，但也会出现信息丢失的情况，对网络的精度产生一定的影响。尤其在处理维保图片这种背景复杂的图像时，会导致网络性能下降。

4、2，局限性：shufflenetv2的设计是为了在移动设备上进行实时图像识别，因此它的应用场景受到了一定的局限性。在一些需要更高精度和更大模型的任务中，shufflenetv2可能无法胜任。

5、中国专利文献cn104495553a公开了一种“智能电梯监测管理平台”。包括数据采集仪、可编程通讯加密适配器、后台服务器和ssl/ipsec vpn网关；所述数据采集仪和可编程通讯加密适配器均安装在电梯内，数据采集仪用于对电梯的数据经行采集，可编程通讯加密适配器和数据采集仪之间用rs485/232方式连接，用于收集数据采集仪采集到的数据，并将收集的数据传送至后台服务器，后台服务器对接收的数据进行处理，并结合模拟的图片显示给用户；所述ssl/ipsec vpn网关用于外部用户安全接入访问。上述技术方案主要用于采集，难以有效对采集图片做出分析。

技术实现思路

1、本发明主要解决原有的技术方案难以有效对采集图片做出分析的技术问题，提供一种实现电梯维保图片识别的方法，通过扩展block模块中dw卷积核大小，以及在dw卷积层后增添dropout模块，可以扩大感受野，更好的提取图片特征，并且提高模型泛化能力，防止出现过拟合现象，提高模型的精度，通过在网络结构conv5层后，添加cbam模块，可以更好的强调重要特征，压缩不重要特征，这样不仅能够节约参数和计算力，而且特征覆盖到了待识别物体的更多部位，最终判别物体的几率也更高，并且在conv1层以及conv5层卷积后引入h-swish非线性激活函数，可以使网络层具有更丰富的表现能力，因此可以提升模型的准确率，而且维保图片的审核过程和结果可即时的反馈给维保工人及管理者，及时发现和纠正审核中的问题，有利于提升公司服务质量。

2、本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明包括以下步骤：

3、s1采集维保图片中的工作层数据集，并划分为训练集、验证集、测试集；

4、s2对数据集进行预处理；

5、s3将处理好的图片数据输入到网络的conv1层进行3*3卷积并池化；

6、s4将池化后的特征图进一步进行特征提取；

7、s5将输出的图片输入到网络的conv5层进行1*1卷积；

8、s6将卷积后的图片筛选以获得经过了重标定的特征；

9、s7将特征图输入到全局平均池化层和全连接层得到训练好的模型最优参数；s8输入待识别的维保工作层图片进行推理并输出图片识别结果。

10、改进的shufflenetv2_cbam网络结构从前至后依次为conv1层(卷积核为3*3)、最大池化层、shufflenetv2_stage1、shufflenetv2_stage2、shufflenet v2_stage3,conv5层(卷积核为1*1)、cbam模块、全局平均池化层和全连接层，其中shufflenetv2_stage1、stage2和stage3均由普通block(stribe＝1)和降采样block(stribe＝2)组合而成。

11、作为优选，所述的步骤s2具体包括，首先需要对数据集进行去重、删除无效样本操作，其次在训练过程中对输入的图片进行随机概率翻转以及归一化处理；以概率p＝0.5对图片进行随机翻转，对图像数据进行归一化，数据被输入到统一的区间内，输出范围被缩小至0到1之间。对数据集进行预处理，裁剪为分辨率为224*224的图像，并进行随机概率翻转以及归一化等处理，以此增强数据多样性，使模型更易收敛。

12、作为优选，所述的步骤s3具体包括，将处理好的图片数据输入到网络的conv1层，进行3*3卷积，后通过bn层，并进行h-swish非线性激活函数激活，将卷积处理后的特征图输入到最大池化层。最大池化层具有特征不变性，特征降维等特点，并在一定程度上能防止过拟合的发生。

13、作为优选，所述的步骤s4具体包括，将池化后的特征图依次输入到shufflenetv2_stage1、stage2、stage3层，进一步进行特征提取，其中，这三个stage层中的dw卷积核大小设置为5*5，每层均由普通block(stribe＝1)和降采样block(stribe＝2)组合而成，其中shufflenetv2_stage1包括1个降采样模块和3个普通模块，shufflenetv2_stage2包括2个降采样模块和7个普通模块组成，shufflenetv2_stage3包括1个降采样模块和3个普通模块组成。将普通block和降采样block中的dw卷积核由3*3改为5*5。通过增加卷积核的大小，使得感受野增大，因此可以提取更好的图片信息特征。并且在dw卷积上的计算量占比很小，主要的计算量都在1*1的卷积上面，因此对dw卷积进行一个卷积核的扩张，既不会增加太多的计算比重，又能提升网络精度。

14、作为优选，所述的block模块中加入了dropout层用于防止模型过拟合。在普通block和降采样block中引入dropout模块。这样模型在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征。dropout层可以减少神经元之间复杂的共适应关系，减少权重，使得网络对丢失特定神经元连接的鲁棒性提高，有效的阻止模型过拟合。

15、作为优选，所述的步骤s6具体包括，将卷积后的图片输入到cbam层，输入特征依次通过通道注意力模块、空间注意力模块的筛选，最终获得经过了重标定的特征，即强调重要特征，压缩不重要特征。这样不只能够节约参数和计算力，而且特征覆盖到了待识别物体的更多部位，从而提升模型的准确率。然后将待识别的维保工作层图片输入到训练好的模型中进行推理，输入图片识别结果。

16、作为优选，所述的步骤s6中，池化层融合前面学到的深度特征，全连接层起在整个卷积神经网络中起到分类器的作用，最终得到训练好的模型最优参数。

17、作为优选，所述的conv1层以及conv5层中卷积后的激活函数变为h-swish非线性激活函数，其表达公式如下：

18、

19、其中，relu6＝min(6,max(0,x))。将conv1层以及conv5层中卷积后的激活函数由原来的relu激活函数变为h-swish非线性激活函数。h-swish激活函数具有：无上界、有下界、平滑、非单调等特点，可使神经网络层具有更丰富的表现能力。

20、本发明的有益效果是：

21、1.改进的神经网络算法取代传统人工审核维保图片的方法，不仅可以减少人力成本，而且算法的精度及效率也尤为客观，且维保图片的审核过程和结果可即时的反馈给维保工人及管理者，及时发现和纠正审核中的问题，有利于提升公司服务质量及节约人力成本。

22、2.改进的shufflenetv2_cbam网络算法准确率更高，在电梯维保图片识别上效果更好，并且支持在移动设备上进行实时推理。