一种基于深度学习的工业制品病疵检测方法与流程

本发明涉及利用tensorflowobjectdetectionapi和fasterr-cnn神经网络模型进行工业制品病疵检测方法，是一种利用预训练模型进行迁移学习的工业制品病疵检测方法，具体涉及一种工业轮胎x光病疵检测方法。

背景技术：

随着经济和社会的快速发展，轮胎工业在生活中扮演了越来越重要的角色，但是由于原料、生产工艺等因素，导致轮胎出现多种不同病疵而影响轮胎质量和使用性能。传统的轮胎质量检测法是通过人眼观察来判定轮胎质量等级。这种方法存在明显的主观性，长时间的工作会使眼睛疲劳，不仅对工人的眼睛造成损伤，也会导致误检。轮胎在高速的自动化工业生产中极易产生质量问题，例如胎体帘线病疵、带束层帘线病疵和异物病疵等一系列问题，这些病疵会直接影响到成品轮胎的质量。若能及时、有效的发现这些轮胎病疵问题，便能大大杜绝大批量问题轮胎的产生，提高轮胎企业的生产效率，从而提高出厂产品质量。所以，找出工业产品中的病疵，确定病疵的位置和类别，是机器视觉领域的核心问题之一。

伴随着深度学习技术真正走进主流学术界和工业界的视野。深度神经网络的出现颠覆了传统的特征提取方式，凭借其强大的表达能力，通过丰富的训练数据和充分的训练能够自主学习有用的特征。这相比传统的人工发现特征并根据特征设计算法的方式是质的飞跃。目前主流的目标检测算法有r-cnn、fastrcnn、sppnet、ssd、yolo、r-fcn、fasterr-cnn等，其中fasterr-cnn在工业制品检测中能满足实时检测、识别准确率高、能准确分类和定位出目标的位置。

本发明采用的工业轮胎x光病疵检测方法满足如下优点：1)使用tensorflowobjectdetectionapi使目标检测更加简洁；2)迁移学习的方法解决了标注数据缺少，标注不准确等问题；3)检测过程稳定可靠，对工业制品病疵目标检测具有普适性，能适应个体差异和环境变化。

技术实现要素：

本发明针对现有的工业病疵检测的不足，提出了一种全新的工业病疵检测方法，能够有效解决现有工业病疵目标检测方法的劣势。

一种基于tensorflowobjectdetectionapi下的工业制品病疵目标检测方法，该方法具体包括以下步骤：

步骤一：下载并安装tensorflowobjectdetectionapi，配置环境后进行测试官方模型；如果测试通过则此电脑安装配置tensorflowobjectdetectionapi成功，否则需重新配置；

步骤二：建立工业轮胎x光病疵数据库，将其分为train数据集，validation数据集和test数据集；使用标记工具labelimg对train数据集和validation数据集进行一一标注。

步骤三：将标注后生成的.xml文件转换成.csv文件，然后再将.csv文件转换为tensorflow使用的数据格式tfrecord文件；并创建.pbtxt轮胎病疵类别标签文件；

步骤四：搭建fasterr-cnn神经网络模型，下载faster_rcnn_inception_v2_coco预训练模型，创建预训练模型的配置文件，配置文件中使用了步骤三中的.tfrecord文件和.pbtxt标签文件。

步骤五：模型训练；当迭代次数达到设定值后，模型训练结束或者直到模型训练至收敛。

步骤六：依据步骤五的训练结果导出frozen_inference_graph.pb模型文件。

步骤七：使用步骤六训练出的模型对test数据集进行测试。

作为优选：所述的模型训练具体为：先设定好模型训练的迭代次数，当迭代次数未达到设定值时，模型训练一直进行，当模型训练的次数达到设定值时，自动结束训练；或者模型训练至收敛，训练自动结束。

作为优选：使用训练出的模型对test数据集进行测试具体为：对于test数据集中的每一个图片数据，如果图片中没有病疵类别，经过测试后的图片数据中没有任何病疵被标出；如果图片数据中有一种或多种病疵类别，无论该种病疵类别的个数为几个，所有的病疵均会被标出，不同类别的病疵会被不同颜色的目标框框出其位置所在，并显示出分类结果。

本发明的有益效果：

1.利用tensorflowobjectdetectionapi和fasterr-cnn神经网络模型进行工业制品病疵目标检测方法，此目标检测方法能够准确识别病疵类别，并标出病疵的位置。

2.本发明采用tensorflowobjectdetectionapi，该api使得目标检测的方法操作起来更加简便，极大的简化了目标检测的流程。

3.fasterr-cnn神经网络模型使用区域生成网络(regionproposalnetwork)极大的加快了检测速度,真正实现端到端的目标检测模型,生成目标建议框时间快速。

4.在训练网络时，使用迁移学习的方法进行模型训练，提高模型的稳定性和泛化性，解决标注数据量缺少，标注不准确等问题。

本视线区域检测方法具有识别准确性高、检测速度快、稳定性好、可泛化性强等优点。

附图说明

图1(a)为接头开病疵类别的轮胎x光图像；

图1(b)为稀开根病疵类别的轮胎x光图像；

图1(c)为搭线病疵类别的轮胎x光图像；

图1(d)为杂物病疵类别的轮胎x光图像；

图2为tensorflowobjectdetectionapi下的工业制品病疵检测流程图；

图3为本发明工业制品病疵检测fasterr-cnn神经网络模型原理图；

图4(a)为本发明工业轮胎x光病疵检测效果图；

图4(b)为本发明工业轮胎x光病疵检测效果图；

具体实施方式

下面结合附图对本发明作进一步的说明。

一、本发明工业制品病疵检测流程图如图2所示

本发明具体实施流程为：下载tensorflowobjectdetectionapi，并测试官方的模型，如果测试通过则此电脑安装配置tensorflowobjectdetectionapi成功，否则需重新配置。搭建工业轮胎x光病疵数据库，分别为train数据集，validation数据集,test数据集。使用标注软件labelimg分别对train数据集和validation数据集进行标注，生成.xml文件，依次将.xml文件生成.csv文件，最终生成.record文件。然后创建.pbtxt轮胎病疵类别标签文件。接下来搭建fasterrcnn神经网络模型，同时下载faster_rcnn_inception_v2_coco模型作为预训练的权值，配置对应的配置文件。然后开始训练模型，当迭代次数达到设定值自动停止训练或者模型训练至收敛时，手动停止训练。导出训练模型，最后使用test数据集进行目标检测。

主要包括tensorflowobjectdetectionapi、迁移学习预训练模型、fasterrcnn神经网络模型，并对工业制品病疵的位置和类别进行判断。

(1)本发明使用了tensorflowobjectdetectionapi，其安装和配置如下。首先安装配置好tensorflow；下载objectdetection模型；编译protobuf，生成.py文件；用命令行测试安装情况，如果命令行提示ok，则安装配置成功，否则需重新配置。

(2)本发明创建轮胎x光片病疵数据集并配置相关配置文件，其中图1(a)、图1(b)、图1(c)、图1(d)为四类病疵轮胎x光片样图,分别为接头开(jointopen)、稀开根(sparseroot)、搭线(cordcontact)、杂物(mess)。收集轮胎x光片病疵图片，分为三个数据集，分别为train数据集、validation数据集、test数据集。使用labelimg标注工具分别对train数据集和validation数据集进行标注；经过标注工具标注后的图片生成.xml文件，然后通过xml_to_csv.py脚本文件，将.xml文件转换为.csv文件，再使用csv_to_tfrecord.py脚本文件，将.csv转化为tfrecord格式的文件；创建轮胎病疵标签分类的配置文件(label_map.pbtxt)。

(3)本发明使用了迁移学习预训练模型。迁移学习的基本思路是利用预训练模型，即已经通过现成的数据集训练好的模型,可以减少训练数据的规模，还可以有效避免过度拟合。下载faster_rcnn_inception_v2_coco预训练模型，并配置faster_rcnn_inception_v2_coco.config文件。

(4)本发明使用fasterrcnn神经网络模型。将整张图片输入卷积神经网络(cnn)，进行特征提取,用区域生成网络(regionproposalnetwork)生成建议窗口(proposals)，每张图片生成300个建议窗口；把建议窗口映射到卷积神经网络(cnn)的最后一层卷积特征映射(featuremap)上；通过兴趣区域池化(roipooling)层使每个兴趣区域(roi)生成固定尺寸的特征映射；利用探测分类概率(softmaxloss)和探测边框回归(smoothl1loss)对分类概率和边框回归(boundingboxregression)联合训练。fasterr-cnn抛弃了选择性搜索(selectivesearch),引入了区域生成网络(rpn)网络，使用候选区域，使得分类、回归一起共用卷积特征，从而进一步加速了检测过程。其中fasterr-cnn使用了感兴趣区域锚(anchor)的思想对在特征映射上进行预处理，产生多个候选框，使得区域生成网络(rpn)的回归变成了回归到感兴趣区域锚的相对位置，使得网络更加稳定。fasterr-cnn神经网络模型图如图3所示。

使用test数据集对训练出的模型测试，能准确识别病疵的位置和类别，并用不同颜色的标记框画出。最终本发明中工业轮胎x光病疵目标检测效果图如图4(a)、图4(b)所示。