一种应用于机箱表面划痕检测的深度卷积神经网络方法与流程

本发明涉及一种应用于机箱表面划痕检测的深度卷积神经网络方法，更具体的说，本发明涉及一种能够用于机箱细微划痕缺陷检测的深度卷积神经网络方法。

背景技术

深度学习是目前人工智能、机器学习领域异常火热的研究方向，已经在语音识别、图像识别、自然语言处理等诸多领域取得了突破性进展，对学术界和工业界产生了深远的影响。随着工业4.0的迅速发展，工业生产线的机箱产品有着极大的产量需求。由于生产工艺、运输工程中的意外情况，机箱表面往往存在各种不同程度的划痕缺陷，而这些含有划痕缺陷的产品会直接影响产品的质量。目前，对于相关工业产品的缺陷检测仍是依赖人工检测。人工检测不仅存在较高的误检率，而且大大增加了产品成本。近年来，基于机器视觉的自动化缺陷检测方法被广大研究者所关注，也越来越受到厂商的青睐，但现行方法检测精度低且耗时长，不能满足实时检测需求，成为了制约机器取代人类进行缺陷检测的主要因素。目前已有的缺陷检测技术，大多采用传统的图像处理与识别技术，例如灰度变换、图像二值化、边缘检测、模板匹配等；采用较为经典的人工特征，例如sift，surf，haar，hog等算子，利用神经网络或svm分类器进行图像分类。类似的以传统图像处理与特征提取为主要手段的缺陷检测方式，运用到了太阳能板的缺陷检测，钢轨的缺陷检测，led缺陷检测等领域上，但是对于机箱的划痕缺陷检测这一问题，由于划痕缺陷存在面积较小，极其轻微，与背景对比度不强的特点，上述传统算法并不能良好地应用于机箱的划痕缺陷检测中，无论从处理时间还是检测的精准度上，都不能满足工业生产的需求。为了解决这一难题，本发明设计一种应用于机箱表面划痕检测的深度卷积神经网络方法。

技术实现要素：

本发明提供一种应用于机箱表面划痕检测的深度卷积神经网络方法，该方法能够应用于机箱细微划痕缺陷检测。在不同光照环境，仍能实现对机箱表面划痕检测。

所述的深度卷积神经网络方法的硬件系统包括：

用于精度控制、图像采集和数据处理的计算机；

用于采集图像的彩色摄像机；

用于放置所述的彩色摄像机的操作平台；

本发明所设计的深度卷积神经网络方法，其特征是：对机箱表面图像进行划痕检测，步骤如下：

步骤1：选取含有机箱表面划痕图像的数据集，所述的机箱表面划痕图像数据集包含输入图像x张，标签图像x张，测试图像y张，将所述的数据集的图像大小统一设置为3通道像素值为512×512的图像；

步骤2：深度卷积神经网络模型的第一层输入层参数i1＝m1×m1×n1，设置m1＝512，n1＝3；

步骤3：步骤2中所述的深度卷积神经网络模型的第二层卷积层参数c1＝m2×m2×n2，设置m2＝3，n2＝16，所述的深度卷积神经网络模型第二层卷积层的输出为cout1；

步骤4：步骤2中所述的深度卷积神经网络模型的第三层池化层参数p1＝m3×m3×n3，设置m3＝2，n3＝1；

步骤5：步骤2中所述的深度卷积神经网络模型的第四层卷积层参数c2＝m4×m4×n4，设置m4＝3，n4＝32，所述的深度卷积神经网络模型第四层卷积层的输出为cout2；

步骤6：步骤2中所述的深度卷积神经网络模型的第五层池化层参数p2＝m5×m5×n5，设置m5＝2，n5＝1；

步骤7：步骤2中所述的深度卷积神经网络模型的第六层卷积层参数c3＝m6×m6×n6，设置m6＝3，n6＝64，所述的深度卷积神经网络模型第六层卷积层的输出为cout3；

步骤8：步骤2中所述的深度卷积神经网络模型的第七层池化层参数p3＝m7×m7×n7，设置m7＝2，n7＝1；

步骤9：步骤2中所述的深度卷积神经网络模型的第八层卷积层参数c4＝m8×m8×n8，设置m8＝3，n8＝128，所述的深度卷积神经网络模型第八层卷积层的输出为cout4；

步骤10：步骤2中所述的深度卷积神经网络模型的第九层池化层参数p4＝m9×m9×n9，设置m9＝2，n9＝1；

步骤11：步骤2中所述的深度卷积神经网络模型第十层卷积层参数c5＝m10×m10×n10，设置m10＝3，n10＝256，所述的深度卷积神经网络模型第十层卷积层的输出为cout5；

步骤12：步骤2中所述的深度卷积神经网络模型的第十一层反卷积层参数d1＝md11×md11×nd11，设置md11＝3，nd11＝128，所述的深度卷积神经网络模型第十一层反卷积层的输出为dout1，将步骤9中所述的深度卷积神经网络模型第八层卷积层的输出cout4与所述的深度卷积神经网络模型第十一层反卷积层的输出dout1进行叠加获得深度卷积神经网络模型第十一层的复合层r1；

步骤13：步骤2中所述的深度卷积神经网络模型的第十二层卷积层参数c6＝m12×m12×n12，设置m12＝3，n12＝128；

步骤14：步骤2中所述的深度卷积神经网络模型的第十三层反卷积层参数d2＝md13×md13×nd13，设置md13＝3，nd13＝64，所述的深度卷积神经网络模型第十三层反卷积层的输出为dout2，将步骤7中所述的深度卷积神经网络模型第六层卷积层的输出cout3与上述的深度卷积神经网络模型第十三层反卷积层的输出dout2进行叠加获得深度卷积神经网络模型第十一层的复合层r2；

步骤15：步骤2中所述的深度卷积神经网络模型的第十四层卷积层参数c7＝m14×m14×n14，设置m14＝3，n14＝64；

步骤16：步骤2中所述的深度卷积神经网络模型的第十五层反卷积层参数d3＝md15×md15×nd15，设置md15＝3，nd15＝32，所述的深度卷积神经网络模型第十五层反卷积层的输出为dout3，将步骤5中所述的深度卷积神经网络模型第四层卷积层的输出cout2与上述的深度卷积神经网络模型第十五层的反卷积层的输出dout3进行叠加获得深度卷积神经网络模型第十五层的复合层r3；

步骤17：步骤2中所述的深度卷积神经网络模型的第十六层卷积层参数c8＝m16×m16×n16，设置m16＝3，n16＝32；

步骤18：步骤2中所述的深度卷积神经网络模型的第十七层反卷积层参数d4＝md17×md17×nd17，设置md17＝3，nd17＝16，所述的深度卷积神经网络模型第十七层反卷积层的输出为dout4，将步骤3中所述的深度卷积神经网络模型的第二层卷积层输出cout1与上述的深度卷积神经网络模型的第十七层的反卷积层输出dout4进行叠加获得深度卷积神经网络模型的第十七层的复合层r4；

步骤19：步骤2中所述的深度卷积神经网络模型的第十八层卷积层参数c9＝m18×m18×n18，设置m18＝3，n18＝16；

步骤20：步骤2中所述的深度卷积神经网络模型的第十九层卷积层参数c10＝m19×m19×n19，设置m19＝1，n19＝1，所述的深度卷积神经网络模型的第十九层卷积层输出为out＝512×512×1；

步骤21：将步骤1中的x张输入图像与x张标签图像导入步骤2至步骤20设置好的深度卷积神经网络模型进行训练；

步骤22：将步骤1中的y张测试图像导入步骤21中训练好的深度卷积神经网络模型进行测试；

步骤23：启动采集图像的彩色摄像机，对机箱表面图像进行采集；

步骤24：对步骤23中所述的机箱表面图像进行切割，设置切割尺寸为512×512；

步骤25：将步骤24中切割好的机箱表面图像输入到步骤22中测试完成的深度卷积神经网络模型进行图像处理；

步骤26：将步骤25中深度卷积神经网络模型的输出图像进行拼接；

步骤27：对步骤26中拼接后的图像进行轮廓查询，通过最小外矩形将查询到的轮廓进行标注；

步骤28：将步骤27中最小外矩形的参数返回到步骤23中所述的机箱表面图像对划痕进行标识，完成机箱表面划痕检测。

深度卷积神经网络模型结构图如图1所示。将处理好的机箱表面数据集图片直接导入深度卷积神经网络模型进行训练和测试。机箱划痕缺陷检测流程图如图2所示。

本发明的有益效果是：通过本发明所介绍的深度卷积神经网络方法，可以解决机箱细微划痕缺陷检测的难题。在不同光照环境，仍能实现对机箱表面划痕检测。

附图说明

图1：深度卷积神经网络模型结构图；

图2：机箱划痕缺陷检测流程图；

图3：图像卷积的运算原理图；

图4：图像池化的运算原理图；

图5：图像反卷积的运算原理图；

具体实施方式

卷积方法是通过图像的矩阵与卷积核矩阵进行卷积运算，获得图像的特征矩阵，图像矩阵与卷积核每进行一次卷积运算都会获得不同的图像特征矩阵。进行多次图像矩阵卷积运算可以获得多次的图像特征矩阵，将多次的图像特征矩阵叠加可获得更为复杂的图像特征。

以一次卷积运算为例，设某一图像卷积后的图像特征矩阵为y[m，n]，卷积运算公式如公式(1)所示：

其中，x[m，n]表示某一图像的矩阵，h[m，n]表示卷积核矩阵。

图像卷积的运算原理图如图3所示。

池化方法是通过某一位置的相邻输出的总体统计特征来代替网络在该位置的输出。当对输入微量平移时，经过池化方法后的大多数输出并不会发生改变。池化方法对输入的特征矩阵进行压缩，简化网络计算复杂度并提取主要特征。图像池化的运算原理图如图4所示。

反卷积方法是通过反卷积核进行反卷积运算，获得扩大的图像的特征矩阵。图像的反卷积运算原理如图5所示。

本发明所设计的深度卷积神经网络方法，其特征是：对机箱表面图像进行划痕检测，步骤如下：

步骤1：选取含有机箱表面划痕图像的数据集，所述的机箱表面划痕图像数据集包含输入图像x张，标签图像x张，测试图像y张，将所述的数据集的图像大小统一设置为3通道像素值为512×512的图像；

步骤2：深度卷积神经网络模型的第一层输入层参数i1＝m1×m1×n1，设置m1＝512，n1＝3；

步骤3：步骤2中所述的深度卷积神经网络模型的第二层卷积层参数c1＝m2×m2×n2，设置m2＝3，n2＝16，所述的深度卷积神经网络模型第二层卷积层的输出为cout1；

步骤4：步骤2中所述的深度卷积神经网络模型的第三层池化层参数p1＝m3×m3×n3，设置m3＝2，n3＝1；

步骤5：步骤2中所述的深度卷积神经网络模型的第四层卷积层参数c2＝m4×m4×n4，设置m4＝3，n4＝32，所述的深度卷积神经网络模型第四层卷积层的输出为cout2；

步骤6：步骤2中所述的深度卷积神经网络模型的第五层池化层参数p2＝m5×m5×n5，设置m5＝2，n5＝1；

步骤7：步骤2中所述的深度卷积神经网络模型的第六层卷积层参数c3＝m6×m6×n6，设置m6＝3，n6＝64，所述的深度卷积神经网络模型第六层卷积层的输出为cout3；

步骤8：步骤2中所述的深度卷积神经网络模型的第七层池化层参数p3＝m7×m7×n7，设置m7＝2，n7＝1；

步骤9：步骤2中所述的深度卷积神经网络模型的第八层卷积层参数c4＝m8×m8×n8，设置m8＝3，n8＝128，所述的深度卷积神经网络模型第八层卷积层的输出为cout4；

步骤10：步骤2中所述的深度卷积神经网络模型的第九层池化层参数p4＝m9×m9×n9，设置m9＝2，n9＝1；

步骤11：步骤2中所述的深度卷积神经网络模型第十层卷积层参数c5＝m10×m10×n10，设置m10＝3，n10＝256，所述的深度卷积神经网络模型第十层卷积层的输出为cout5；

步骤12：步骤2中所述的深度卷积神经网络模型的第十一层反卷积层参数d1＝md11×md11×nd11，设置md11＝3，nd11＝128，所述的深度卷积神经网络模型第十一层反卷积层的输出为dout1，将步骤9中所述的深度卷积神经网络模型第八层卷积层的输出cout4与所述的深度卷积神经网络模型第十一层反卷积层的输出dout1进行叠加获得深度卷积神经网络模型第十一层的复合层r1；

步骤13：步骤2中所述的深度卷积神经网络模型的第十二层卷积层参数c6＝m12×m12×n12，设置m12＝3，n12＝128；

步骤14：步骤2中所述的深度卷积神经网络模型的第十三层反卷积层参数d2＝md13×md13×nd13，设置md13＝3，nd13＝64，所述的深度卷积神经网络模型第十三层反卷积层的输出为dout2，将步骤7中所述的深度卷积神经网络模型第六层卷积层的输出cout3与上述的深度卷积神经网络模型第十三层反卷积层的输出dout2进行叠加获得深度卷积神经网络模型第十一层的复合层r2；

步骤15：步骤2中所述的深度卷积神经网络模型的第十四层卷积层参数c7＝m14×m14×n14，设置m14＝3，n14＝64；

步骤16：步骤2中所述的深度卷积神经网络模型的第十五层反卷积层参数d3＝md15×md15×nd15，设置md15＝3，nd15＝32，所述的深度卷积神经网络模型第十五层反卷积层的输出为dout3，将步骤5中所述的深度卷积神经网络模型第四层卷积层的输出cout2与上述的深度卷积神经网络模型第十五层的反卷积层的输出dout3进行叠加获得深度卷积神经网络模型第十五层的复合层r3；

步骤17：步骤2中所述的深度卷积神经网络模型的第十六层卷积层参数c8＝m16×m16×n16，设置m16＝3，n16＝32；

步骤18：步骤2中所述的深度卷积神经网络模型的第十七层反卷积层参数d4＝md17×md17×nd17，设置md17＝3，nd17＝16，所述的深度卷积神经网络模型第十七层反卷积层的输出为dout4，将步骤3中所述的深度卷积神经网络模型的第二层卷积层输出cout1与上述的深度卷积神经网络模型的第十七层的反卷积层输出dout4进行叠加获得深度卷积神经网络模型的第十七层的复合层r4；

步骤19：步骤2中所述的深度卷积神经网络模型的第十八层卷积层参数c9＝m18×m18×n18，设置m18＝3，n18＝16；

步骤20：步骤2中所述的深度卷积神经网络模型的第十九层卷积层参数c10＝m19×m19×n19，设置m19＝1，n19＝1，所述的深度卷积神经网络模型的第十九层卷积层输出为out＝512×512×1；

步骤21：将步骤1中的x张输入图像与x张标签图像导入步骤2至步骤20设置好的深度卷积神经网络模型进行训练；

步骤22：将步骤1中的y张测试图像导入步骤21中训练好的深度卷积神经网络模型进行测试；

步骤23：启动采集图像的彩色摄像机，对机箱表面图像进行采集；

步骤24：对步骤23中所述的机箱表面图像进行切割，设置切割尺寸为512×512；

步骤25：将步骤24中切割好的机箱表面图像输入到步骤22中测试完成的深度卷积神经网络模型进行图像处理；

步骤26：将步骤25中深度卷积神经网络模型的输出图像进行拼接；

步骤27：对步骤26中拼接后的图像进行轮廓查询，通过最小外矩形将查询到的轮廓进行标注；

步骤28：将步骤27中最小外矩形的参数返回到步骤23中所述的机箱表面图像对划痕进行标识，完成机箱表面划痕检测。

本发明与现有的划痕缺陷方法区别是：无需额外的图像预处理获取图像特征，通过卷积运算直接在深度卷积神经网络模型内提取图像特征；本发明通过反卷积运算对特征图进行上采样，最终的输出结果是与输入图像尺寸相同的单通道二值化图像。通过二值化图像的轮廓，直接对划痕缺陷进行识别检测。因此本发明所设计的深度卷积神经网络的机箱表面划痕缺陷检测方法，可以提高缺陷检测的鲁棒性和准确性。

综上所述，本发明所述的深度卷积神经网络的优点是：

(1)由于不需要进行图像预处理来获取图像特征，可以直接通过卷积运算获得的图像特征更具有针对性，使得本发明的识别方法准确性更高；

(2)由于通过反卷积层对图像进行特征图上采样，获得的单通道的二值化图像，直接对划痕缺陷进行识别检测，使得本发明的识别方法具有更好的鲁棒性。

以上示意性的对本发明及其实施方式进行了描述，该描述没有局限性，附图中所示的也只是本发明的实施方式之一。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，采用其它形式的同类部件或其它形式的各部件布局方式，不经创造性的设计出与该技术方案相似的技术方案与实施例，均应属于本发明的保护范围。