光伏电池分拣的深度学习识别与控制方法及装置与流程

本发明涉及本发明属于太阳能电池图像采集领域，具体涉及一种光伏电池分拣的深度学习识别与控制方法及装置

背景技术：

在工业制造过程中，工件的表面缺陷如光伏电池片表面的裂纹缺陷；一些光伏电池片表面外观缺陷如脏片、断栅、划痕；带钢表面缺陷等对工业生产效率有着很重要的影响。表面缺陷的分类与检测对改进工艺、提高组件质量、提高效率和稳定生产有重要的作用。

现有光伏电池的分选装置，如装置cn108010864a(一种光伏电池片缺陷分选装置及其分选方法)存在着以下几点问题：(1)无法分析小尺度缺陷：在太阳能电池片图像中栅线和晶格的干扰下，小缺陷图像无法识别。(2)对于缺陷形态，图片质量有严格要求：如果缺陷部分与背景重叠，或者图像质量低，传统视觉都无法检测出这样的缺陷。(3)生产环境要求工程师手动操作:如果生产环境变化，或者针对对象发生变化，都需要工程师最优化设定或者手动操作。(4)处理程序复杂，处理速度慢：传统视觉检测方式依赖于手动特征提取，高准确率依赖高复杂度程序，导致处理速度降低。

因此，亟需一种制造缺陷识别的系统方法，即使在背景复杂下也可以准确检测小尺度缺陷，在各类缺陷检测中，能提供较高的精度和自动化程度，对于高分辨率图片也可以实现快速批量检测。

技术实现要素：

有鉴于此，本发明提供了光伏电池分拣的深度学习识别与控制方法及装置，解决现有技术中存在的缺陷，具体方案如下：

一种光伏电池视觉分拣的深度学习识别与控制方法，该方法包括：以下步骤：

s1：图像采集

s1-1采集图像

s1-2判定采集到的图像是否超过500张，如果超过继续下面步骤，如果没超过，则再次进入到s1-1步骤中；

s1-3停止采集图像，将采集到的图像保存至相应的缺陷文件夹，按训练集与验证集进行人工分选与标签制作；

s2：深度学校训练

s2-1加载预训练模型；

s2-2对fasterr-cnn模型参数进行初始化，初始化参数内容包括所有的权重值、偏置值、批量归一化尺度因子值，设置网络的初始学习率；

s2-3将所述步骤s1-3得到的训练集和验证集根据其标签内容输入到s2-2初始化的模型中进行训练，得到表面缺陷深度学习模型；

s3：深度学习执行

s3-1实时采集测试图像；

s3-2调用所述步骤s2-3得到的表面缺陷深度学习模型，对所述步骤s3-1的图片进行测试；

s3-3得到实时检测结果：包括缺陷类别以及定位缺陷的精确位置及其置信度；

s4：机器人分拣

s4-1将所述步骤s3-3得到的实时检测结果反馈给机器人，由机器人执行分拣；

具体的，所述步骤s1-3中，所述训练集与所述验证集的比例为4:1。

具体的，所述步骤s3-1中采集图像的模式可以为连续采集或者单张采集。

具体的，所述缺陷文件夹为el缺陷文件夹或者外观缺陷文件夹。

具体的，所述装置包括图像采集模块、深度学习训练模块、深度学习执行模块以及机器人通讯模块。

本发明提供的光伏电池视觉分拣的深度学习识别与控制方法，将基于深度学习的缺陷分类和检测方法与工业制造过程一体化，具有较高的智能性。本装置用深度学习来代替传统学习方法，具有较强的特征提取能力，尤其对于当背景干扰严重，传统方法难以识别出缺陷时。此外深度学习识别与控制装置能自动进行缺陷特征提取，提高处理速度，降低人工依赖性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的方法流程图；

图2为本发明装置的深度学习训练界面图；

图3为本发明装置的深度学习实时监测界面图；

图4为所用定位目标缺陷区域的方法fasterr-cnn的流程框图；

图5为采集图像的逻辑框图；

图6为实时测试的逻辑框图；

图7为本发明的缺陷检测初始图像与检测结果图像对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1-7分别为本发明的方法流程图、本发明装置的深度学习训练界面图，本发明装置的深度学习实时监测界面图，所用定位目标缺陷区域的方法fasterr-cnn的流程框图，采集图像的逻辑框图，实时测试的逻辑框图以及本发明的缺陷检测初始图像与检测结果图像对比图，参照图1-7所示，本发明请求保护一种光伏电池视觉分拣的深度学习识别与控制方法，该方法包括：以下步骤：

s1：图像采集

s1-1采集图像

s1-2判定采集到的图像是否超过500张，如果超过继续下面步骤，如果没超过，则再次进入到s1-1步骤中；

s1-3停止采集图像，将采集到的图像保存至相应的缺陷文件夹，按训练集与验证集进行人工分选与标签制作；

其中，标签的制作参照下表来执行

所述图像采集对于el缺陷和组件缺陷来说，触发灰度相机在近红外光照射下进行采集，采集得到图像大小为1024×1024；对于外观缺陷来说，触发彩色相机进行采集，得到的图像大小为1868×1868。所述标签制作是人工使用labelimg将缺陷区域进行标注，所述人工分选需要人工将采集到的图像以训练样本集与验证样本集4:1的比例分开。

s2：深度学校训练

s2-1加载预训练模型；

s2-2对fasterr-cnn模型参数进行初始化，初始化参数内容包括所有的权重值、偏置值、批量归一化尺度因子值，设置网络的初始学习率；

s2-3将所述步骤s1-3得到的训练集和验证集根据其标签内容输入到s2-2初始化的模型中进行训练，得到表面缺陷深度学习模型；

学习率设置为0.001，学习率的下降因子为0.1，最大迭代次数为30000，正则项的权值衰减为0.0005，批处理图像数的大小为256。

所述fasterr-cnn提出了一种有效定位目标区域的方法：具体的，如图4所示，(1)首先使用一组基础的“卷积+激活+池化”层提取候选原图图像的特征图。该特征图被共享用于后续区域候选网络rpn(regionproposalnetwork)层和全连接(fullyconnection)层。(2)区域候选网络rpn(regionproposalnetwork)层通过softmax判断锚点(anchors)属于前景(foreground)还是背景(background)，再利用边界框回归修正锚点获得精确的proposals，最后生成区域候选图像块。(3)目标区池化(roipooling)层收集输入的特征图和候选的目标区域，综合这些信息后提取目标区域的特征图，送入后续全连接层判定目标类别。(4)目标分类(classification)。利用目标区域特征图计算目标区域的类别，同时再次边界框回归获得检测框最终的精确位置。

s3：深度学习执行

s3-1实时采集测试图像；

s3-2调用所述步骤s2-3得到的表面缺陷深度学习模型，对所述步骤s3-1的图片进行测试；

s3-3得到实时检测结果：包括缺陷类别以及定位缺陷的精确位置及其置信度；

具体的，如图7第一幅图所示为一种断栅缺陷的原图，图7的第二幅图为检测结果，缺陷位置被方框精确标记出来，其旁边数字代表检测结果的置信度，最大值为1，数字值越高代表检测结果越准确。

s4：机器人分拣

s4-1将所述步骤s3-3得到的实时检测结果反馈给机器人，由机器人执行分拣，具体的，将实时检测结果结果通过tcp/ip协议或串口通信发送给机器人控制器执行分拣。

具体的，所述步骤s3-1中采集图像的模式可以为连续采集或者单张采集。

本发明还请求保护一种采用光伏电池视觉分拣的深度学习识别与控制方法的装置，所述装置包括图像采集模块、深度学习训练模块、深度学习执行模块以及机器人通讯模块。

该方法实验在ubuntu16.04的平台下完成，使用tensorflow编程实现，训练使用的电脑cpu为酷睿i7系列，内存为64gb，显卡为双gtx2080ti显卡,

本方法具体的通过以下操作方式来实现：

采集图像进行模型训练：如图5为采集图像逻辑框图，具体的，选择图2深度学习训练界面中缺陷训练种类，图像将自动保存在所选择的缺陷训练集文件夹中，并点击图2界面中的开始采集按钮，即触发相机进入待采集状态。由于训练需要较多样本数量，因此默认为连续采集，观察总采集数，当采集数量达到要求(>500张)，点击停止采集按钮，进行人工分选，将训练集与验证集以4:1比例分开，然后人工使用labelimg将缺陷区域进行画框标注添加缺陷种类标签。进行下一个种类采集前点击帧数清零按钮。

开始训练：点击图2深度学习训练界面中开始训练按钮，此即为界面中的深度学习训练模块接口，支持tensorflow、cafe、matlab和百度等平台训练的深度学习模型，所述深度学习训练模块通过加载预训练模型fasterr-cnn，包括参数的初始化，初始化所有权重值、偏置值、批量归一化尺度因子值，设置网络的初始学习率；然后将得到的训练集和验证集及其相应的标签输入到预训练模型中进行训练，最后得到相应的表面缺陷深度学习模型。训练过程中，训练拟合曲线显示在训练曲线区域中。

进行实时测试，如图6为实时测试逻辑框图，具体的，点击图3深度学习执行界面中的开始采集按钮即可触发相机进入待采集状态为深度学习执行模块实时采集图片，同时选择触发控制方式(触发控制按钮、软触发按钮、上升沿触发按钮、下降沿触发按钮)，其中触发关闭按钮选择后为相机连续采集，其中上升沿下降沿触发方式为硬触发方式，即当相机下方的传感器检测到工件时，plc电平信号的上升或下降沿信号触发相机采集图像，其中软触发为人为通过软件设定的相机采集节拍；同时通过选择缺陷种类，即线程控制方式(el缺陷或外观缺陷)，根据实际检测内容加载训练获得的表面缺陷深度学习模型。通过实时测试可将实时采集到的图片输入到所述的表面缺陷深度学习模型中对表面缺陷进行实时检测，得到实时检测结果，原图和检测结果图分别显示图3的初始图像区域以及检测图像区域中，在图7中同时显示了两张图的对比，最后将结果发送给机器人通讯模块执行分拣。

本发明的测试结果表明，本发明搭配了深度学习智能视觉软件，界面上的深度学习模块接口，支持tensorflow、cafe、matlab和百度等平台训练的深度学习模型，用深度学习算法模块代替传统算法模块可以满足高速的、复杂的视觉检测任务。同时具备各种通讯接口，可以实现与工业现场各种相机和机器人的灵活配置，表面el缺陷和外观缺陷部分的检测准确率也达到了95％以上。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。