一种基于改进FasterR-CNN的预制凸窗缺陷检测系统的制作方法

本发明涉及技术领域，具体为一种基于改进fasterr-cnn的预制凸窗缺陷检测系统。

背景技术：

随着计算机技术和图像处理技术的发展，机器视觉检测技术在工业缺陷检测中得到了广泛的应用。例如：celik等人将基于双阈值二值化、小波变换和形态学运算的图像算法与前馈神经网络相结合，实现缺陷检测；afshar等人利用统计方法检测出缺陷边缘，然后采用多策略支持向量机作为分类器对缺陷进行识别；郭慧等人提出了一种基于灰度共生矩阵和分层聚类算法实现缺陷检测。

近年来，深度学习技术作为机器学习的重要分支在工业界的应用日渐成熟。yjcha等人采用卷积神经网络识别出混凝土裂缝缺陷；fcchen等人提出了一种基于朴素贝叶斯和卷积神经网络数据融合的深度学习框架，用于检测裂纹缺陷；余永维等人利用卷积神经网络提取可疑缺陷区域的本质特征，然后利用径向基网络识别出缺陷。

现有的质量是公司的生命，产品质量和生产效率成为公司发展的重中之重，因此预制凸窗质量检测对于保障预制凸窗的质量至关重要，日常预制凸窗生产过程中，产品表面可能存在缺陷，传统的表面检测方法主要是人工目视检查，长时间目视检测容易产生疲劳，误检率也随之增加，同时降低了工作效率，采用人工目视检测方法存在工作量大、检测效率低、误检率高等问题，传统的机器视觉检测方法通常采用工业相机采集图像，再利用数字图像技术对采集的图像进行预处理，然后设定分类器对缺陷图像进行分类检测，这类检测模型较为单一，需要人为手工制作特征工程或手工选取某些关键参数，受人为主观影响大，导致检测方法的泛化能力不高，无法应对预制凸窗缺陷种类多、生产环境复杂等不可控因素。

技术实现要素：

针对现有技术的不足，本发明提供了一种基于改进fasterr-cnn的预制凸窗缺陷检测系统，解决了采用人工目视检测方法工作量大、检测效率低、误检率高等，传统的机器视觉检测方法通常采用工业相机采集图像，这类检测模型较为单一，需要人为手工制作特征工程或手工选取某些关键参数，受人为主观影响大，导致检测方法的泛化能力不高，无法应对预制凸窗缺陷种类多、生产环境复杂等不可控因素的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种基于改进fasterr-cnn的预制凸窗缺陷检测系统，包括图像收集装置和后台pc，所述图像收集装置包括丝杆，所述丝杆表面的左右两端均螺纹连接有滑动螺母，所述滑动螺母的左右两侧均固定连接有延伸杆，所述延伸杆的表面从靠近丝杆到远离丝杆的方向分别套设有第一固定套、第二固定套和第三固定套，所述第一固定套与第二固定套之间和第二固定套与第三固定套之间且位于延伸杆的表面均固定连接有弹簧，所述第一固定套、第二固定套和第三固定的表面均固定连接有工业相机。

优选的，所述丝杆的左右两端设置有不同方向的螺纹，所述丝杆表面的中间固定连接有限位杆，所述限位杆的左右两侧转动连接有连接杆，其中一个所述连接杆的底端与第三固定套的顶部转动连接，另一个所述连接杆的底端与第一固定套的顶部转动连接。

优选的，一个所述延伸杆、一个第一固定套、一个第二固定套、一个第三固定套、两个弹簧、三个工业相机、一个限位杆和两个连接杆形成一组收集组，所述图像收集装置设置有四组收集组，相邻两组收集组之间相互垂直。

优选的，所述丝杆的前侧设置有基板，所述基板的后侧固定连接有伺服电机，所述伺服电机的输出端与丝杆固定连接。

优选的，所述基板的前侧固定连接有支撑臂，所述支撑臂的底端固定连接有基座，所述基座的底部固定连接有滑轮。

优选的，所述后台pc固定在基座的顶部，所述后台pc包括分析系统。

优选的，所述分析系统包括图像预处理、改进后的fasterr-cnn、预制凸窗缺陷检测和预制凸窗缺陷判断。

优选的，所述图像预处理的输出端与改进后的fasterr-cnn的输入端耦合连接，所述改进后的fasterr-cnn的输出端与预制凸窗缺陷检测的输入端耦合连接，所述预制凸窗缺陷检测的输出端与预制凸窗缺陷判断的输入端耦合连接。

有益效果

本发明提供了一种基于改进fasterr-cnn的预制凸窗缺陷检测系统。与现有技术相比具备以下有益效果：

（1）、该基于改进fasterr-cnn的预制凸窗缺陷检测系统，通过在包括图像收集装置和后台pc，图像收集装置包括丝杆，丝杆表面的左右两端均螺纹连接有滑动螺母，滑动螺母的左右两侧均固定连接有延伸杆，延伸杆的表面从靠近丝杆到远离丝杆的方向分别套设有第一固定套、第二固定套和第三固定套，第一固定套与第二固定套之间和第二固定套与第三固定套之间且位于延伸杆的表面均固定连接有弹簧，第一固定套、第二固定套和第三固定的表面均固定连接有工业相机，丝杆的左右两端设置有不同方向的螺纹，丝杆表面的中间固定连接有限位杆，限位杆的左右两侧转动连接有连接杆，其中一个连接杆的底端与第三固定套的顶部转动连接，另一个连接杆的底端与第一固定套的顶部转动连接，一个延伸杆、一个第一固定套、一个第二固定套、一个第三固定套、两个弹簧、三个工业相机、一个限位杆和两个连接杆形成一组收集组，图像收集装置设置有四组收集组，相邻两组收集组之间相互垂直，通过设置有丝杆，配合延伸杆、第一固定套、第二固定套、第三固定套、弹簧、工业相机，可以实现对不同规格的预制凸窗进行图像采集，并且每组收集组内的工业相机位置都会自适应调节。

（2）、该基于改进fasterr-cnn的预制凸窗缺陷检测系统，通过在丝杆的前侧设置有基板，基板的后侧固定连接有伺服电机，伺服电机的输出端与丝杆固定连接，基板的前侧固定连接有支撑臂，支撑臂的底端固定连接有基座，基座的底部固定连接有滑轮，通过滑轮，可以快速方便的移动装置，配合基板和伺服电机使调节更加方便，加快了工作效率，增加了实用性。

（3）、该基于改进fasterr-cnn的预制凸窗缺陷检测系统，通过在后台pc固定在基座的顶部，后台pc包括分析系统，分析系统包括图像预处理、改进后的fasterr-cnn、预制凸窗缺陷检测和预制凸窗缺陷判断，图像预处理的输出端与改进后的fasterr-cnn的输入端耦合连接，改进后的fasterr-cnn的输出端与预制凸窗缺陷检测的输入端耦合连接，预制凸窗缺陷检测的输出端与预制凸窗缺陷判断的输入端耦合连接，使用改进后的fasterr-cnn网络实现快速、实时预制凸窗缺陷检测，解决人工目视检查，长时间目视检测容易产生疲劳，误检率高的问题，提高了产品质检效率，通过自动学习实现特征提取，解决一般特征提取无法在复杂多变的生产环境中实现目标检测的问题，改进后的fasterr-cnn网络相比于原始网络，使得小目标缺陷在检测过程中不易丢失，提高预制凸窗质检准确度。

附图说明

图1为本发明的主视图；

图2为本发明中基板的侧视图；

图3为本发明中图像收集装置的局部侧视图；

图4为本发明图3中a处的局部放大图；

图5为本发明的逻辑流程图；

图6为本发明中改进后fasterr-cnn网络示意图；

图7为本发明中融合特征金字塔的预制凸窗缺陷预测网络示意图；

图8为本发明中残差网络基本结构示意图。

图中：1、图像收集装置；2、后台pc；101、丝杆；102、滑动螺母；103、延伸杆；104、第一固定套；105、第二固定套；106、第三固定套；107、弹簧；108、工业相机；109、限位杆；110、连接杆；111、基板；112、伺服电机；113、支撑臂；114、基座；115、滑轮；201、分析系统；202、图像预处理；203、改进后的fasterr-cnn；204、预制凸窗缺陷检测；205、预制凸窗缺陷判断。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-7，本发明提供一种技术方案：一种基于改进fasterr-cnn的预制凸窗缺陷检测204系统，包括图像收集装置1和后台pc2，图像收集装置1包括丝杆101，丝杆101表面的左右两端均螺纹连接有滑动螺母102，滑动螺母102的左右两侧均固定连接有延伸杆103，延伸杆103的表面从靠近丝杆101到远离丝杆101的方向分别套设有第一固定套104、第二固定套105和第三固定套106，第一固定套104与第二固定套105之间和第二固定套105与第三固定套106之间且位于延伸杆103的表面均固定连接有弹簧107，第一固定套104、第二固定套105和第三固定的表面均固定连接有工业相机108，丝杆101的左右两端设置有不同方向的螺纹，丝杆101表面的中间固定连接有限位杆109，限位杆109的左右两侧转动连接有连接杆110，其中一个连接杆110的底端与第三固定套106的顶部转动连接，另一个连接杆110的底端与第一固定套104的顶部转动连接，一个延伸杆103、一个第一固定套104、一个第二固定套105、一个第三固定套106、两个弹簧107、三个工业相机108、一个限位杆109和两个连接杆110形成一组收集组，图像收集装置1设置有四组收集组，相邻两组收集组之间相互垂直，通过设置有丝杆101，配合延伸杆103、第一固定套104、第二固定套105、第三固定套106、弹簧107、工业相机108，可以实现对不同规格的预制凸窗进行图像采集，并且每组收集组内的工业相机108位置都会自适应调节，丝杆101的前侧设置有基板111，基板111的后侧固定连接有伺服电机112，伺服电机112的输出端与丝杆101固定连接，基板111的前侧固定连接有支撑臂113，支撑臂113的底端固定连接有基座114，基座114的底部固定连接有滑轮115，通过滑轮115，可以快速方便的移动装置，配合基板111和伺服电机112使调节更加方便，加快了工作效率，增加了实用性，后台pc2固定在基座114的顶部，后台pc2包括分析系统201，分析系统201包括图像预处理202、改进后的fasterr-cnn203、预制凸窗缺陷检测204和预制凸窗缺陷判断205，图像预处理202的输出端与改进后的fasterr-cnn203的输入端耦合连接，改进后的fasterr-cnn203的输出端与预制凸窗缺陷检测204的输入端耦合连接，预制凸窗缺陷检测204的输出端与预制凸窗缺陷判断205的输入端耦合连接，使用改进后的fasterr-cnn203网络实现快速、实时预制凸窗缺陷检测204，解决人工目视检查，长时间目视检测容易产生疲劳，误检率高的问题，提高了产品质检效率，通过自动学习实现特征提取，解决一般特征提取无法在复杂多变的生产环境中实现目标检测的问题，改进后的fasterr-cnn203网络相比于原始网络，使得小目标缺陷在检测过程中不易丢失，提高预制凸窗质检准确度。

请参阅图8具体技术步骤如下所示：

其中c1、c2、c3为初始特征图，p3、p2、p1为横向连接1*1卷积后的特征图，再通过3*3卷积消除上采样过程中造成的混叠效应，标定出图像中缺陷的可能区域。

其中x表示输入值，fx为x值经过两层卷积和一层relu激活函数的输出值，在resnet中，使用跳层连接将输入、输出加在一起，此时单元训练目标变为fx=hx-x，即训练单元的残差，残差单元的综合输出y如下所示：

其中为relu激活函数，w1、w2分别为第一层网络和第二层网络的权重。

同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术，且各电器的型号参数不作具体限定，使用常规设备即可。

使用时，推动滑轮115，带动整个装置移动，达到合适位置后，打开伺服电机112，然后带动丝杆101转动，带动滑动螺母102在丝杆101表面移动，而在滑动螺母102带动延伸杆103移动时，限位杆109拉扯连接杆110，从而使第一固定套104和第三固定套106向第二固定套105靠近，接着打开工业相机108，收集图像，图像数据被传输到分析系统201内。

步骤1：预制凸窗图像采集

前端布设工业相机108，并与后台pc2端建立长连接，通过socket把定期采集的图像数据传输到后台pc2端。

步骤2：图像预处理202

图像预处理202最大化还原图像原始特征，最小化与检测无关的噪声等无用的信息。

2.1图像增强

2.1.1图像降噪处理

本文采用中值滤波处理图像噪声，将目标点的灰度值设定为其周围某一区域所有点的中值，使其领域像素值更逼近真值，从而剔除独立噪声信号。

2.1.2图像锐化处理

图像滤波处理后，会降低图像轮廓和边缘的清晰度，采用拉普拉斯算子进行锐化处理，增强图像中物体及背景灰度值之间的差距。

2.2去均值和归一化处理

调用函数库对图像数据去均值和归一化，数据映射到-1,1之间，使得数据在神经网络模型训练时能快速收敛、找到最优解。

步骤3：缺陷检测

根据目标检测技术以及预制凸窗表面缺陷图像的特点，采用改进后的fasterr-cnn203网络，使用fpn将多尺度的特征图融合，生成具有高级与低级语意的特征图，再由rpn提供图像中一系列可能的缺陷候选区，再使用resnet101残差网络通过“跳层连接”将输入、输出加在一起提取图像特征，最后使用fasterr-cnn将融合全部信息的特征图进行分类，完成目标分类与回归任务。

特征金字塔网络将多尺度的特征图融合，减少小目标缺陷在训练中的丢失，提高缺陷检测泛化能力。其主要有三部分组成，第一部分通过卷积网络上采样，第二部分从特征图出发下采样，第三部分横向连接，将前两部分同大小的特征图进行融合，得到多尺度的特征图。

传统的vgg16网络作为基础的特征提取网络在深层次网络反向传播过程中易导致梯度弥散或消失，同时在检测过程中小目标缺陷易丢失，因此本文采用深度残差网络resnet提取图像特征。resnet将单元的输入与输出加在一起后进行激活，一方面减少梯度消失的速度，另一方面使得小目标缺陷能更久的存活在深度网络中。

3.1数据集标注

预制凸窗主要存在崩角、麻面、蜂窝、裂纹、气孔、漏浆、粗糙面差这7种缺陷类型。对采集到的样本数据集进行标注，利用标注工具labelimg对图像数据集中的缺陷类型以及相应的边界框坐标进行标注生成xml文件，编写python脚本批处理xml文件提取标注框坐标和目标缺陷类别生成txt文件和训练集路径文件。

3.2生成数据集

为了生成测试集，从带注释的图像数据集中选取20%的图像作为测试集，其中各缺陷类型的样本数大致相同，剩下的用于创建训练集和验证集。

3.3设定不同尺寸锚点

为了模型能找到合适的超参数提高检测准确率，设定不同的尺度及宽高比的锚点。

3.4构建fasterr-cnn网络模型

利用pytorch框架提供相关卷积、池化、上采样函数、下采样函数等搭建fasterr-cnn卷积神经网络，并对模型进行初始化。

3.5fasterr-cnn模型训练

fasterrcnn模型训练，标注完成的预制凸窗样本和其对应label输入模型训练，采用随机梯度下降法迭代更新，比较选取超参数直至损失函数趋于稳定完成训练保存模型参数。

3.6fasterr-cnn模型测试

将预制凸窗测试集作为输入加载到训练完的fasterr-cnn模型中，记录测试结果并分析优化模型。

步骤4：预制凸窗缺陷判断205

优化后的fasterr-cnn模型应用于预制凸窗观感缺陷检测判断。

步骤5：检测结果处理

检测结果存在缺陷的预制凸窗则进入缺陷修补工序，无缺陷的预制凸窗进入下一道生产工序。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。