基于深度学习的玻璃清洁度的检测方法及装置与流程

本发明涉及玻璃检测领域，特别涉及一种基于深度学习的玻璃清洁度的检测方法及装置。

背景技术：

玻璃在建筑和汽车等方面已经广泛的应用，空气污染和扬尘等问题使得这些玻璃非常容易肮脏，从而失去光泽和透明度，清洁玻璃中尤其需要知道玻璃的清洁度，从而可以高效的对玻璃进行清洁，如果无法知道玻璃的清洁度，那么清洁的过程就少了一个反馈的过程，清洁完毕也无法知道清洁的是否干净，因此需要一套方法对玻璃的清洁度进行有效的检测。传统的玻璃清洁度的检测方式有以下三种：1)通过肉眼观察；2)通过边缘检测的方法；3)通过特征库进行匹配的方法。

上述三种检测方式中，基于肉眼观察的方式，其效率非常低，无法实现自动化识别玻璃是否清洁干净。

通过边缘检测的方式能够检测到玻璃是否有污渍，但是却无法判断出玻璃污渍的严重程度，而且，基于边缘检测的方式经常容易误识别，无法实现工业化。

基于特征匹配库匹配的方式检测玻璃是否清洁，能够在一定程度上检测出玻璃是否清洗干净，而且能够判断出玻璃的清洁度，然而特征库匹配的方式是建立在具有一定样本库的前提下进行检索的，这样对未出现在样本库中的带污渍玻璃是无法检测出来的，而且，基于样本库的方式检索速度与样本库数量成正比，当样本库比较大时速度非常慢，当样本库少时，无法有效的检测出所有待识别的带污渍的玻璃。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种不仅能够快速识别出玻璃是否有污渍，而且能给出玻璃清洁度的置信度，识别效率较高，误识别率较低，便于工业自动化识别的基于深度学习的玻璃清洁度的检测方法及装置。

本发明解决其技术问题所采用的技术方案是：构造一种基于深度学习的玻璃清洁度的检测方法，包括如下步骤：

a)对大量的玻璃图片进行标注，并将已标注的玻璃图片的尺寸变换为256×256像素的已处理图片；所述标注的范围为0～1；

b)将所述已处理图片中设定比例的图片作为训练集合，剩余的图片作为测试集合；

c)把所述训练集合输入到深度卷积神经网络中，所述深度卷积神经网络学习带污渍的玻璃图片的污渍特征，进行迭代训练后得到深度学习模型；

d)把所述测试集合输入到所述深度学习模型，由所述深度学习模型输出玻璃清洁程度的置信度。

在本发明所述的基于深度学习的玻璃清洁度的检测方法中，所述步骤b)进一步包括：

b1)将所述已处理图片中设定比例的图片作为原始训练数据，将剩余的图片作为测试集合；

b2)将所述原始训练数据通过旋转、伸缩和尺度变换后生成新的带标注的训练数据，将所述新的带标注的训练数据作为所述深度学习模型的训练集合；所述新的带标注的训练数据的数量是所述已处理图片的数量的10倍。

在本发明所述的基于深度学习的玻璃清洁度的检测方法中，所述设定比例为95％。

在本发明所述的基于深度学习的玻璃清洁度的检测方法中，所述深度卷积神经网络为200层深度卷积神经网络，所述200层深度卷积神经网络的网络架构包括200个层组、全连接层和softmax层，每个层组均包括依次连接的卷积层、均一化层和池化层，每层组中的池化层与下一层组中的卷积层连接，最后一个层组中的池化层通过所述全连接层与所述softmax层连接，所述softmax层输出玻璃清洁度的置信度。

在本发明所述的基于深度学习的玻璃清洁度的检测方法中，所述步骤c)进一步包括：

c1)将所述训练集合中的图片进行去噪后送入到所述深度卷积神经网络；

c2)所述深度卷积神经网络学习带污渍的玻璃图片的污渍特征，进行训练后得到人工神经网络的权重参数，输出所述深度学习模型。

本发明还涉及一种实现上述基于深度学习的玻璃清洁度的检测方法的装置，包括：

图片标注单元：用于对大量的玻璃图片进行标注，并将已标注的玻璃图片的尺寸变换为256×256像素的已处理图片；所述标注的范围为0～1；

图片划分单元：用于将所述已处理图片中设定比例的图片作为训练集合，剩余的图片作为测试集合；

训练单元：用于把所述训练集合输入到深度卷积神经网络中，所述深度卷积神经网络学习带污渍的玻璃图片的污渍特征，进行迭代训练后得到深度学习模型；

置信度输出单元：用于把所述测试集合输入到所述深度学习模型，由所述深度学习模型输出玻璃清洁程度的置信度。

在本发明所述的装置中，所述图片划分单元进一步包括：

训练数据获取模块：用于将所述已处理图片中设定比例的图片作为原始训练数据，将剩余的图片作为测试集合；

训练数据处理模块：用于将所述原始训练数据通过旋转、伸缩和尺度变换后生成新的带标注的训练数据，将所述新的带标注的训练数据作为所述深度学习模型的训练集合；所述新的带标注的训练数据的数量是所述已处理图片的数量的10倍。

在本发明所述的装置中，所述设定比例为95％。

在本发明所述的装置中，所述深度卷积神经网络为200层深度卷积神经网络，所述200层深度卷积神经网络的网络架构包括200个层组、全连接层和softmax层，每个层组均包括依次连接的卷积层、均一化层和池化层，每层组中的池化层与下一层组中的卷积层连接，最后一个层组中的池化层通过所述全连接层与所述softmax层连接，所述softmax层输出玻璃清洁度的置信度。

在本发明所述的装置中，所述训练单元进一步包括：

图片去噪模块：用于将所述训练集合中的图片进行去噪后送入到所述深度卷积神经网络；

学习训练模块：用于使所述深度卷积神经网络学习带污渍的玻璃图片的污渍特征，进行训练后得到人工神经网络的权重参数，输出所述深度学习模型。

实施本发明的基于深度学习的玻璃清洁度的检测方法及装置，具有以下有益效果：由于对大量的玻璃图片进行标注，并将已标注的玻璃图片的尺寸变换为256×256像素的已处理图片；标注的范围为0～1；将已处理图片中设定比例的图片作为训练集合，剩余的图片作为测试集合；把训练集合输入到深度卷积神经网络中，深度卷积神经网络学习带污渍的玻璃图片的污渍特征，进行迭代训练后得到深度学习模型；把测试集合输入到深度学习模型，由深度学习模型输出玻璃清洁程度的置信度，根据玻璃清洁程度的置信度就能判断出玻璃的清洁度，因此不仅能够快速识别出玻璃是否有污渍，而且能给出玻璃清洁度的置信度，识别效率较高，误识别率较低，便于工业自动化识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于深度学习的玻璃清洁度的检测方法及装置一个实施例中方法的流程图；

图2为所述实施例中将已处理图片中设定比例的图片作为训练集合，剩余的图片作为测试集合的具体流程图；

图3为所述实施例中把训练集合输入到深度卷积神经网络中，深度卷积神经网络学习带污渍的玻璃图片的污渍特征，进行迭代训练后得到深度学习模型的具体流程图；

图4为所述实施例中200层深度卷积神经网络的网络架构示意图；

图5为所述实施例中装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明基于深度学习的玻璃清洁度的检测方法及装置实施例中，其基于深度学习的玻璃清洁度的检测方法的流程图如图1所示。图1中，该基于深度学习的玻璃清洁度的检测方法包括如下步骤：

步骤s01对大量的玻璃图片进行标注，并将已标注的玻璃图片的尺寸变换为256×256像素的已处理图片：本步骤中，对大量的玻璃图片进行标注，并将已标注的玻璃图片的尺寸变换为256×256像素的已处理图片。标注的范围为0～1。具体的，本实施例中，准备10万张玻璃图片并进行标注，采用该10万张带标注的玻璃图片对深度卷积神经网络进行预先训练，对每张图片的标注为0～1，如果玻璃非常脏，则标注为0，如果玻璃是干干净净的，则标注为1，然后将这10万张图片的尺寸变换为256×256像素。当然，在本实施例的一些情况下，所准备的带标准的玻璃图片的数量也可以是其他数量，比如：11万张。

步骤s02将已处理图片中设定比例的图片作为训练集合，剩余的图片作为测试集合：本步骤中，将已处理图片中设定比例的图片作为训练集合，剩余的图片作为测试集合。本实施例中，该设定比例为95％，也就是将10万张中的95％的图片作为训练集合，剩余的5％作为测试集合。

步骤s03把训练集合输入到深度卷积神经网络中，深度卷积神经网络学习带污渍的玻璃图片的污渍特征，进行迭代训练后得到深度学习模型：本步骤中，把训练集合输入到深度卷积神经网络中，深度卷积神经网络可以学习到带污渍的玻璃图片的污渍特征，经过迭代训练后，可以得到深度学习模型。通过深度学习模型就可以对输入的图片进行检测和判定。

步骤s04把测试集合输入到深度学习模型，由深度学习模型输出玻璃清洁程度的置信度：本步骤中，把测试集合输入到深度学习模型，由深度学习模型输出玻璃清洁程度的置信度，也就是说，输入的图片通过深度学习模型后，即可输出玻璃清洁程度的置信度(也可以说是玻璃图片有污渍的置信度概率)，这样就可以得到识别结果，输出的玻璃清洁程度的置信度越高说明玻璃越干净，最高为100％，输出的玻璃清洁程度的置信度为0表示玻璃是非常脏的玻璃，该深度学习模型的准确率达到99.8％。本发明的方法不仅仅能够快速识别出玻璃是否有污渍，而且能够给出玻璃清洁度的置信度，该方法能进行稳定可靠识别，不需要和样本库进行匹配，便于进行工业自动化识别。另外，本发明的方法识别效率较高，误识别率较低。

对于本实施例而言，上述步骤s02还可进一步细化，其细化后的流程图如图2所示。图2中，该步骤s02进一步包括如下步骤：

步骤s21将已处理图片中设定比例的图片作为原始训练数据，将剩余的图片作为测试集合：本步骤中，将已处理图片中设定比例的图片作为原始训练数据，将剩余的图片作为测试集合，也就是将10万张已处理图片中的95％的图片作为原始训练数据，将剩余的5％的图片作为测试集合。

步骤s22将原始训练数据通过旋转、伸缩和尺度变换后生成新的带标注的训练数据，将新的带标注的训练数据作为深度学习模型的训练集合：本步骤中，将原始训练数据通过旋转、伸缩和尺度变换后生成新的带标注的训练数据，会生成100万张新的带标注的训练数据，即新的带标注的训练数据的数量是已处理图片的数量的10倍，然后将新的带标注的训练数据作为深度学习模型的训练集合。训练后的深度学习模型会生成3千万个人工神经元参数。

对于本实施例而言，上述步骤s03还可进一步细化，其细化后的流程图如图3所示，图3中，上述步骤s03进一步包括：

步骤s31将训练集合中的图片进行去噪后送入到深度卷积神经网络：卷积神经网络是在普通多层神经网络结构中，每一层的所有结点会按照连续线的权重向前计算，成为下一层结点的输出。而每一条权重连结线都彼此不同，互不共享。每一个下一层结点的值与前一层所有结点都相关。与普通多层神经网络不同的是，卷积神经网络里有特征抽取层与降维层，这些层的结点连结是部分连接，且一幅特征图由一个卷积核生成，这一幅特征图上的所有结点共享这一组卷积核的参数。

本步骤中，将训练集合中的图片进行去噪后送入到深度卷积神经网络。在图片上，对图片用一个卷积核进行卷积运算，实际上是一个滤波的过程。卷积的基本数学表示：h＝ixy*w(s,t)，其中ixy表示一张二维的图像矩阵，w(s,t)表示对应的二维卷积核矩阵。卷积实际上是提供了一个权重模板，这个模板在图片上滑动，并将中心依次与图片中每一个像素对齐，然后对这个模板覆盖的所有像素进行加权，并将结果作为这个卷积核在图片上该点的响应。

该深度卷积神经网络为200层深度卷积神经网络，图4为200层深度卷积神经网络的网络架构示意图，图4中，该200层深度卷积神经网络的网络架构包括200个层组、全连接层full和softmax层，每个层组均包括依次连接的卷积层、均一化层和池化层，每层组中的池化层与下一层组中的卷积层连接，最后一个层组中的池化层通过全连接层full与softmax层连接，softmax层输出玻璃清洁度的置信度。

图4中，conv1为第一层卷积层，norm1为第一层均一化层，pool1为第一层池化层，……，conv200为第二百层卷积层，norm200为第二百层均一化层，pool200为第二百层池化层，接下来是全连接层full，然后输出一个softmax层。

其中，卷积层、均一化层、池化层、全连接层full和softmax层是该200层深度卷积神经网络模型的核心组件，其中卷积层、均一化层和池化层每层输出作为下一层输入，一共迭代200次，最后经过全连接层full之后，通过softmax层作为最后的输出。当softmax层输出的值在0-1区间，作为判别玻璃图片的清洁度的置信度，其中[0-0.9)表示玻璃带有污渍，(0.9-1]表示玻璃比较干净。

步骤s32深度卷积神经网络学习带污渍的玻璃图片的污渍特征，进行训练后得到人工神经网络的权重参数，输出深度学习模型：本步骤中，深度卷积神经网络学习带污渍的玻璃图片的污渍特征，进行训练后得到人工神经网络的权重参数(即人工神经元参数)，输出深度学习模型。

本实施例通过对训练的深度学习模型进行测试，测试集合有5000张图片，把测试图片作为输入，输入到训练好的深度学习模型中，得出玻璃清洁度的置信度结果，把该结果与测试标注进行对比，其识别率可以达到99.8％，同时识别速度能够达到每秒处理50张图片，足够达到实时处理的要求。

本实施例还涉及一种实现上述基于深度学习的玻璃清洁度的检测方法的装置，其结构示意图如图5所示，图5中，该装置包括图片标注单元1、图片划分单元2、训练单元3和置信度输出单元4；其中，图片标注单元1用于对大量的玻璃图片进行标注，并将已标注的玻璃图片的尺寸变换为256×256像素的已处理图片；标注的范围为0～1；图片划分单元2用于将已处理图片中设定比例的图片作为训练集合，剩余的图片作为测试集合；上述设定比例为95％。

训练单元3用于把训练集合输入到深度卷积神经网络中，深度卷积神经网络学习带污渍的玻璃图片的污渍特征，进行迭代训练后得到深度学习模型；上述深度卷积神经网络为200层深度卷积神经网络，200层深度卷积神经网络的网络架构包括200个层组、全连接层full和softmax层，每个层组均包括依次连接的卷积层、均一化层和池化层，每层组中的池化层与下一层组中的卷积层连接，最后一个层组中的池化层通过全连接层full与softmax层连接，softmax层输出玻璃清洁度的置信度。置信度输出单元4用于把测试集合输入到深度学习模型，由深度学习模型输出玻璃清洁程度的置信度。输出的玻璃清洁程度的置信度越高说明玻璃越干净，最高为100％，输出的玻璃清洁程度的置信度为0表示玻璃是非常脏的玻璃，该深度学习模型的准确率达到99.8％。本发明的装置不仅仅能够快速识别出玻璃是否有污渍，而且能够给出玻璃清洁度的置信度，该装置能进行稳定可靠识别，不需要和样本库进行匹配，便于进行工业自动化识别。另外，本发明的装置识别效率较高，误识别率较低。

本实施例中，图片划分单元2进一步包括训练数据获取模块21和训练数据处理模块22；其中，训练数据获取模块21用于将已处理图片中设定比例的图片作为原始训练数据，将剩余的图片作为测试集合；训练数据处理模块22用于将原始训练数据通过旋转、伸缩和尺度变换后生成新的带标注的训练数据，将新的带标注的训练数据作为深度学习模型的训练集合；上述新的带标注的训练数据的数量是已处理图片的数量的10倍。

本实施例中，该训练单元3进一步包括图片去噪模块31和学习训练模块32，图片去噪模块31用于将训练集合中的图片进行去噪后送入到深度卷积神经网络；学习训练模块32用于使深度卷积神经网络学习带污渍的玻璃图片的污渍特征，进行训练后得到人工神经网络的权重参数，输出深度学习模型。

总之，本实施例中，通过对大量的玻璃图片进行标注，人工神经网络可以学习到带玻璃污渍图片的污渍特征，训练生成深度学习模型，就可以对输入的图片进行检测和判定，并输出玻璃图片的玻璃清洁度的置信度，这样就可以判断输入的图片的清洁度。其不仅能够快速识别出玻璃是否有污渍，而且能给出玻璃清洁度的置信度，识别效率较高，误识别率较低，便于工业自动化识别。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。