一种基于深度学习算法的缺陷检测识别装置和方法与流程

本发明涉及深度学习技术领域，尤其涉及一种基于深度学习算法的缺陷检测识别装置和方法。

背景技术：

装饰板材作为室内装修的重要材料，被大量应用于各类室内场所，如体育馆，宾馆，住宅楼等。在装饰板材的生产制作过程中，质量检测是关键的一环，在实际的生产中，生产企业通常雇佣数名技术熟练且经验丰富的检验员在生产线上对装饰板材表面加工缺陷进行检测。然而装饰板材生产数量巨大，且其加工缺陷类型繁多，如：划痕、污点、斑块、磨损、碎屑等，因而造成了人工检测效率低下，且容易因为检验员的疲劳而漏检，其时间和经济成本很高。采用自动化检测装置及方法对装饰板材加工缺陷进行检测是行之有效的提高效率，降低成本及漏检率的方法。

早期的自动化检测方法倾向于根据缺陷的类型提取特定的手工图像特征，采用数字图像处理方法如阈值分割、椭圆gabor滤波器、rgb直方图等选择特定的图像特征。目前暂未有关于对装饰板材加工缺陷检测识别方法的相关专利，在其他表面检测方法中，如专利“基于机器视觉的玻璃表面缺陷检测装置及方法”[cn106248686a]提出采用ccd相机对玻璃图像进行采集，在采用数字图像处理方法，如图像标定，二值化，去噪声，边缘检测等方法对缺陷进行识别。数字图像处理方法的识别率对于各种因素，如光照、对比度等影响因素十分敏感，且其过于依赖提取的特定图像特征，无法应对复杂背景，多种缺陷的识别任务，不具备通用性。

近年来，借助机器学习领域深度学习研究的发展，识别技术得到了突飞猛进的发展。将深度学习方法引入装饰板材加工缺陷图像的检测识别，可以极大的提高识别的准确性，降低漏检率，提高鲁棒性。深度学习的实质是通过构建具有多隐层的机器学习模型和海量的训练数据，对特征进行学习，从而最终提升分类或预测的准确性和通用性。然而训练一个有效的深度学习模型，首先需要百万级的代标注数据，海量的显卡资源，以及漫长的训练时间，而装饰板材加工缺陷的图像样本数量十分有限，难以之间用来训练深度学习模型。

因此，本领域的技术人员致力于开发一种基于深度学习算法的缺陷检测识别装置和方法。

技术实现要素：

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是针对用于检测识别加工装饰板材的深度学习模型训练困难的问题，提供一种基于深度学习算法的复杂纹理的装饰板材加工缺陷检测识别方法并提高检测方法的鲁棒性，降低漏检率，以此为基础搭建一套自动化检测识别装置，使得检测过程更智能。

为实现上述目的，本发明提供了一种基于深度学习算法的缺陷检测识别装置和方法。

一种基于深度学习算法的缺陷检测识别装置，包括检测台，检测系统，模型推理系统，所述检测系统和所述检测台相连接，所述模型推理系统运行于所述检测系统。

进一步地，所述检测台包括固定在地面的工作台、安装在工作台上运输板材的传送带机构、安装在工作台上的相机安装支架，所述传送带机构由两个同步轮、同步带和驱动电机组成，所述两个同步轮分别为主动同步轮和从动同步轮，分别支撑在所述工作台两端，所述主动同步轮与所述驱动电机相连接，所述主动同步轮和所述从动同步轮带动所述同步带，所述驱动电机驱动所述主动同步轮。

进一步地，所述检测系统包括图像采集卡、ccd(chargecoupleddevice)相机、运动控制卡、红外线检测模块和上位计算机；所述ccd相机安装在所述相机安装支架上，位于所述传送带机构的正上方，所述ccd相机镜面朝向所述传同步带，运动控制卡与所述驱动电机连接；所述图像采集卡控制所述ccd相机采集所传送带上待检测装饰板材图像，并将所述图像传至所述上位计算机；所述运动控制卡收到所述上位计算机的指令后，控制所述驱动电机驱动所述同步轮运动，带动所述同步带将下一块装饰板材运送至所述ccd相机镜头下；所述上位计算机连续扫描与所述运动控制卡连接的端口，当检测到所述传送带有装饰板材经过时，向所述图像采集卡发送采集待检测装饰板材图像的指令；所述红外检测模块包括红外线发射装置和红外线接受装置，所述红外线检测模块通过串口与所述运动控制卡相连，用于检测装饰板材是否到达图像采集区域(图像采集区域是恰好可使所述ccd相机拍摄到一块完整装饰板材的区域，)。

进一步地，所述模型推理系统运行于上位计算机，利用深度学习模型检索并识别出不同种类的装饰板加工缺陷，当所述图像采集卡采集到装饰板材图像后，经所述上位计算机将所述图像输入所述模型推理模块进行缺陷检索识别。

进一步地，所述红外线检测模块的位置根据所述相机安装支架的高度、所述ccd相机的视野大小以及所述单块装饰板材的面积大小在所述工作台上进行调整。

进一步地，所述红外线检测模块根据检测单块装饰板材的前沿来判断装饰板材是否到达所述图像采集区域。

进一步地，所述红外线检测模块的位置可根据相机安装支架的高度，所述ccd相机的视野大小以及单块装饰板材面积的大小在工作台上进行调整。

本发明的基于深度学习算法的缺陷检测识别装置实现的陷检测方法，包括以下步骤：

s100，使用如权利要求1-5任一所述的基于深度学习算法的缺陷检测识别装置；

s101，采集真实的装饰板材加工缺陷图像样本与实际的装饰板材纹理图像样本；

s102，利用基于图像处理的数据增强技术大批量生成带有加工缺陷的装饰板材图像样本；

s103，对所述加工缺陷图像样本与利用所述数据增强技术生成的加工缺陷图像样本进行人工标注，所述人工标注的类别为：斑块、污点、划痕、碎屑、磨损；

s104，利用迁移学习的方法，对所述人工标注的数据进行深度学习算法的分类训练，生成两个不同的cnn(convolutionalneuralnetwork，即卷积神经网络)模型；

s105，实时获取传送带机构上装饰板材图像，在所述上位计算机内，利用所述两个cnn模型分别检索识别图像的缺陷类别；

s106，利用多模型集成的方法，分析出装饰板材是否存在加工缺陷。

进一步地，所述步骤102中的所述数据增强技术包括，利用图像处理技术，将加工缺陷的图像人为添加在所述实际的装饰板材纹理图像样本上，生成与所述真实的装饰板材加工缺陷相似的缺陷图像样本，以获取足够的卷积神经网络训练样本。

进一步地，所述步骤104中的所述两个不同的cnn模型为inception和mobilenet；

进一步地，所述步骤104中的所述迁移学习的方法包括：使用所述inception和mobilenet，保留卷积层和池化层用于特征提取，只重新构建其最后一层全连接层进行分类；使用所述人工标注的数据分别对全连接层进行训练，得到两个可对所述人工标注的类别进行识别分类的卷积神经网络模型，以缩短神经网络的训练时间。

进一步地，所述步骤105中的所述多模型集成的方法包括：

在所述模块推理系统，在所述上位计算机收集到待检测图像后，将所述待检测图像分别输入所述inception和所述mobilenet；

若所述inception或所述mobilenet检测到加工缺陷，返回“true”；

若所述inception或所述mobilenet未检测到加工缺陷，返回“false”；

只有当所述inception和所述mobilenet均返回“false”时，所述模块推理系统才返回“false”，表示待测装饰板材没有加工缺陷；

当所述inception和所述mobilenet之一或者全部返回“true”时，所述模块推理系统返回“true”，表示待测装饰板材存在加工缺陷，以此降低漏检率。

进一步地，所述重新构建其最后一层全连接层包括，根据所述五类缺陷标签：斑块、污点、划痕、碎屑、磨损，以及“无缺陷”共六类标签，对应的将所述全连接层构造为含有六个神经元的全连接层。

本发明的技术效果如下：

(1)实现了在真实加工缺陷数据样本不足的情况下训练出有效的神经网络模型对待检测加工缺陷图像进行检测识别，利用深度学习算法降低了漏检率；

(2)实现了待检测装饰板材的全自动检测，降低了人工工作量。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的结构示意图；

图2是本发明的一个具体实施例的检测系统与模块推理系统的结构框图；

图3是本发明的一个具体实施方式中运动控制模块的工作流程图；

图4是本发明的一个具体实施方式中模型推理系统的设计以及工作原理框图；

图5是本发明的一个具体实施例中对于斑块缺陷的基于图像处理的数据增强技术示意图；

图6是本发明的一个具体实施方式中卷积神经网络的迁移学习示意图；

图7是本发明的一个具体实施方式中模型推理系统中的多模型集成示意图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，本发明的一个较佳实施例包括检测台10，检测系统20，模型推理系统30，其中：

检测台包括固定在地面的工作台9、安装在工作台上用于运输板材的传送带机构6、安装在工作台上的相机安装支架7，其中，传送带机构6由分别支撑在工作台9两端的两个同步轮(主动同步轮和从动同步轮)，同步轮带动的同步带，驱动主动同步轮并与主动同步轮相连接的驱动电机4组成；

检测系统包括图像采集卡2，ccd相机8，运动控制卡3、红外线检测模块5和上位计算机1，ccd相机8安装在相机安装支架7上，位于传送带机构6的正上方，且ccd相机8镜面朝向所送带机构6的同步带面上；

模型推理系统30运行在上位计算机1中。

如图2所示，本发明的一个具体实施例的检测系统与模块推理系统的结构框图，图像采集卡2控制ccd相机8采集传送带上待检测装饰板材图像，并将所采集到的图像上传至上位计算机1。工作时，在图像采集卡2上调试好曝光时间，对ccd相机8所产生的数据进行采集，并将图像数据传输到上位计算机1进行检测识别。

如图3所示，运动控制卡3收到上位计算机1的指令后，控制所述的驱动电机4驱动传送带机构6上的同步轮运动，带动同步带将装饰板材向前输送；上位计算机1连续扫描与运动控制卡3连接的端口，当待检测加工装饰板材经过红外线检测模块5时，安装在工作台9上的红外线检测模块5的红外线接收装置由于装饰板材的阻挡不能接收到红外线发射装置的信号，于是其向运动控制卡3发送板材到达信号；运动控制卡3接收到信号后，向驱动电机4发送停止信号，又向上位计算机1发送采集信号；上位计算机1接收信号后向图像采集卡2发送采集待检测装饰板材图像的指令，ccd相机开始拍照采集；图像采集卡2向上位计算机1返回一个图像采集完成的信号；上位计算机1接收信号后向运动控制卡3发送指令，进而使驱动电机4重新启动。

如图4所示，本发明的一个较佳实施例的基于深度学习算法的缺陷检测识别方法，包括以下步骤：

s101，采集真实的装饰板材加工缺陷图像样本与实际的装饰板材纹理图像样本。

s102，利用基于图像处理的数据增强技术大批量生成带有加工缺陷的装饰板材图像样本。

通过观察，可以发现虽然装饰板材加工缺陷类型众多，但是每种类型都有一些相似的特征，例如，“划痕”可以看做不规则的线段，“斑块”可以看做带有特定颜色，特殊分布的小圆点组成等，于是，通过图像处理，通过在正常的装饰板材表面纹理图像上添加这些缺陷来人为生成更多同种类型的缺陷图像，以此增加训练数据。

如图5所示，利用基于图像处理的数据增强技术生成“斑块”缺陷图像，以此为例，首先选取步骤1中采集的实际装饰板材纹理图像，在图像上随机选取一个特定点，以该点为中心，在其周围的特定范围内随机绘制多个颜色随机的，且各自直径随机的实心圆，由于真实的加工缺陷“斑块”颜色通常更为复杂，所以对最后生成随机形状的区域内与其周围进行高斯模糊，由于算法中选取的位置、生成的形状，以及其颜色均为随机，所以生成的加工缺陷图像具有足够的多样性。其余缺陷生成方式类似。

s103，对真实的加工缺陷图像样本与利用数据增强技术生成的加工缺陷图像样本进行人工标注，标注的类别为：斑块、污点、划痕、碎屑、磨损。

s104，利用迁移学习的方法，对人工标注后的数据进行深度学习算法的分类训练，生成两个不同的cnn模型。

如图6所示，图6是对单个预训练的卷积神经网络进行重构全连接层的流程示意图，本发明使用图6所示流程分别重构两个不同的卷积神经网络。使用两个预训练的卷积神经网络模型inception和mobilenet，inception作为解决缺陷检测问题的体系结构，mobilenet模型对于小尺寸与低延迟数据具有良好的精确性。在保留其卷积层和池化层，用于特征提取，只重新构建其最后一层全连接层进行分类。根据五类缺陷标签：斑块、污点、划痕、碎屑、磨损，以及“无缺陷”共六类标签，对应的将全连接层构造为含有六个神经元的全连接层，并使用所述人工标注数据分别对全连接层进行训练，训练方法采用传统的梯度下降法，得到两个可对所述加工缺陷类别进行识别分类的卷积神经网络模型，以缩短神经网络的训练时间。

s105，实时获取传送带机构上装饰板材图像，在上位计算机内的，利用两个cnn模型(inception和mobilenet)分别检索识别图像的缺陷类别；

s106，利用多模型集成的方法，分析出装饰板材是否存在加工缺陷。

如图7所示，在上位计算机1收集到待检测图像后，将待检测图像数据分别输入步骤4两个卷积神经网络(网络a和网络b分布是inception和mobilenet)模型；若单个模型检测到加工缺陷，返回“true”，若单个模型未检测到加工缺陷，返回“false”，只有当两个模型均返回“false”时，所述模块推理系统才返回“false”，表示待测装饰板材没有加工缺陷；当有其中一个模型或两个模型返回“true”时，模块推理系统返回“true”，表示待测装饰板材存在加工缺陷，以此降低漏检率。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。