一种基于机器视觉的铝模板质检、回收方法与流程

1.本发明涉及建筑模板检测的技术领域，尤其涉及一种基于机器视觉的铝模板质检、回收方法。


背景技术：

2.近年来的铝模板制造业中，对生产完的铝模板质检主要依靠人工核验，而人工核验存在成本高、核验不标准等问题，导致出厂的铝模板存在较多的质量问题。
3.现有的铝模板行业一般使用二维码或其他印记进行追踪，这些方式虽然能够满足铝模板在信息记录上的要求，但是在环境恶劣的工地使用后，易被水泥覆盖或因使用不当导致缺失或污损，使得pda等移动终端无法扫描，从而导致铝模板制造企业对使用后的铝模板的回收再利用需要花费大量人力、时间去完成模板的分拣，无法快速对铝模板进行全生命周期的追踪。
4.本技术发明人在实现本技术实施例的技术方案的过程中，发现上述技术至少存在如下技术问题：
5.1、主要依靠人工检测，铝模板质检成本较高、检验不标准的问题；
6.2、工地施工环境恶劣导致铝模板二维码或标识被水泥覆盖、使用不当导致缺失或污损，使得pda等移动终端无法扫描，想要回收再利用必须要浪费大量人力、时间去完成模板的分拣的问题。


技术实现要素：

7.有鉴于此，本发明提出了一种基于机器视觉的铝模板质检、回收方法，本发明使用机器视觉并结合cad图纸对模板自动检测，解决了铝模板检测主要依靠人工检测，检测成本高且核验不标准的问题，减少了质检人员，从而降低了铝模板制造企业的生产成本，同时出厂的铝模板质量提高，提升了企业的品牌形象；同时本发明使用机器视觉自动识别模板类别、尺寸等信息，结合出厂的模板明细进行平库，解决了因为工地施工环境恶劣导致铝模板二维码或标识被水泥覆盖、使用不当导致缺失或污损，使得pda等移动终端无法扫描，想要回收再利用必须要浪费大量人力、时间去完成模板的分拣的问题，大大节省了人力成本以及时间成本，使得铝模板制造企业可以快速再利用旧模板。
8.本发明的技术方案是这样实现的：
9.一种基于机器视觉的铝模板质检、回收方法，其特征在于，包括：
10.a、沿铝模板移动方向设置智能机械臂，智能机械臂与传送装置相配合，传送装置上的位置感应器与用于采集铝膜板图像信息的ccd相机分别与plc控制器相连构成数据交换网络；
11.b、将由智能机械臂抓取的铝模板放置于传送装置上，当铝模板传输到某一设定位置时被位置传感器检测到，位置传感器向plc控制器发送“铝模板被探测到”的电脉冲信号；
12.c、plc控制器经过计算得出何时铝模板将移动到ccd相机的采集位置，plc控制器
准确向采集卡发送触发信号，ccd相机采集铝模板图像数据并暂停传送装置；
13.d、被采集到的铝模板图像信息通过网络发送到工控机，工控机调用专用自研模板质检算法模块对采集到的图像信息进行分析处理，并与数据库中对应cad图纸进行比对质检，得出被检测对象是否符合预设要求的结论，根据“合格”或“不合格”信号，执行机对被检测物体作出相应处理；质检通过则启动传送装置，未通过质检则闪烁显示质检结果并通知质检员处理；
14.e、智能机械臂接收到质检结果信息后，将铝模板抓取堆放至对应位置，到达码垛数量预设后发送消息通知管理员；
15.f、系统循环上述a-e工作，完成对铝模板队列连续处理。
16.可选地，专用自研模板质检算法模块包括图像信息获取模块、图像信息处理模块、系统控制模块、机电执行模块、人机交互模块；系统控制模块分别与图像信息获取模块、图像信息处理模块以及机电执行模块连接，图像信息获取模块获取被检测物体的位置信息，触发系统控制模块，由系统控制模块得出机电执行模块所需要的检测数据；系统控制模块与人机交互模块相互通信，完成操作者对质检系统的检测参数进行更新和下达指令执行工作。
17.实施本发明的这种质检、回收方法，具有以下有益效果：
18.1、本技术能够大幅减少质检环节、铝模板回收再利用环节的人工成本和时间成本，实现了铝模板制造企业的降本增效；
19.2、精确度高：针对铝模板独立研究算法，对于铝模板特征有加强，精确度明显高于通用算法；
20.3、稳定性高：选用国际一线厂商进行配套并且进行定制调试，专门适应铝模板生产场景，不易产生故障；
21.4、速度快：上下料机械化，时间可设置，极大提高产量和质量；
22.5、自研算法质检范围广，成功率高，主要体现在以下方面：
23.①
产品表面缺陷：划伤、划痕、辊印、凹坑、粗糙、波纹；
24.②
金属产品表面的夹杂、破损、污点；
25.③
装配质量检测：零件装配完整性检测，装配尺寸精度检测，位置/角度测量。
附图说明
26.为了说明而非限制的目的，现在将根据本发明的优选实施例、特别是参考附图来描述本发明，其中：
27.图1是本技术实施方式中的工作原理示意图；
28.图2是本技术实施方式中的专用自研模板质检算法模块流程示意图。
29.图3是质检算法检测流程示意图；
30.图4是用于轮廓图的物理形变校准的神经网络示意图；
具体实施方式
31.参考图1和图4，一种基于机器视觉的铝模板质检、回收方法，包括：
32.a、沿铝模板移动方向设置智能机械臂，智能机械臂与传送装置相配合，传送装置
上的位置感应器2与用于采集铝膜板图像信息的ccd相机3分别与plc控制器1相连构成数据交换网络；
33.b、将由智能机械臂抓取的铝模板放置于传送装置上，当铝模板传输到某一设定位置时被位置传感器2检测到，位置传感器2向plc控制器1发送“铝模板被探测到”的电脉冲信号；
34.c、plc控制器1经过计算得出何时铝模板将移动到ccd相机3的采集位置，plc控制器1准确向采集卡4发送触发信号，ccd相机3采集铝模板图像数据并暂停传送装置；
35.d、被采集到的铝模板图像信息通过网络发送到工控机5，工控机5调用专用自研模板质检算法模块7对采集到的图像信息进行分析处理，并与数据库中对应cad图纸进行比对质检，得出被检测对象是否符合预设要求的结论，根据“合格”或“不合格”信号，执行机6对被检测物体作出相应处理；质检通过则启动传送装置，未通过质检则闪烁显示质检结果并通知质检员处理；
36.具体地，对于图像质检算法的检测步骤如下：
37.①
测量标定及图像预处理
38.采集系统从相机获取待测铝膜板灰度图像，并从所述汽车纵梁图像中圈定感兴趣工作区域(roi)。该区域的选择需要考虑相机的有效采样范围，并对相机进行标定，去除由广角相机造成的采样边缘物理形变情况。通常在采样过程中，应尽量将待测铝膜板放置于图像最中心的1/2范围内，同时所选roi也应尽可能覆盖待测铝膜板；
39.在正确标定roi区域之后，运用测量工具测量roi范围内的实际长宽尺寸，从而确定像素精度；
40.采用图像平滑函数对图像去噪，如高斯平滑函数，详细公式如下：
[0041][0042]
在上式中，(x，y)表示为在模糊半径内的所有像素的x、y值，σ是正态分布的标准偏差，e表示自然常数。实际实验中采用了5x5高斯平滑函数，σ＝0.8；采用直方图均衡化对平滑后的铝膜板图像进行曝光均衡化调整。
[0043]
②
图像二值化并提取图像轮廓
[0044]
采用otsu对roi区域进行二值化评估，求得阈值t；
[0045]
将得到的阈值t应用于平滑后图像的灰度图中，得到二值图；
[0046]
其中，汽车纵梁图像的灰度图中，像素值大于阈值t像素点视为前景，设置为白色，像素值小于阈值t像素点视为背景，设置为黑色，实现前后景分离；
[0047]
然后对提取到的二值化图运用高斯函数差分dog边缘检测算法提取轮廓信息；
[0048]
③
轮廓图的物理形变校准
[0049]
将提取的采样图片的轮廓图与从cad中的轮廓信息进行匹配。这里考虑到采样图片与cad图纸中存在一定的物理偏差，如水平位置偏移、旋转及缩放等，算法优先训练了一个浅层全连接神经网络学习当前轮廓图及cad图纸之间的相对物理偏差，用于两者的位移、旋转及缩放等物理变化的校准。具体地：
[0050]
(1)该神经网络用于计算采样轮廓图与cad图纸之间的相对物理偏差。因此每次调用该神经网络，需要采样轮廓图i作为输入，且该网络经过运算，会求出待测轮廓图所需要
的x、y位移量offset
x
offsety、旋转尺度θ及缩放尺度r；
[0051]
在实际实验中，网络整体包含3层的全连接层，每层网络分别包含50，50，4个神经元，激活函数采用了relu；优化器optimizer采用了sgd，学习率设置为为0.03；
[0052]
(2)考虑到训练一个高效的神经网络需要大量的标记数据，在准备数据阶段，可以通过对cad图纸轮廓图片i
cad
进行多次随机上述物理变化得到变化后的图片i
′
cad
，并将这些次随机变化的参数保留用作标记量(即x、y位移量offset
x
offsety、旋转尺度θ及缩放尺度r)，从而实现数据的准备；
[0053]
在实际实验中，运用一张cad图纸，分别生成10000组随机偏移量，旋转尺度及缩放尺度参数设置，使训练集数据包含10000组变化后的图片i
′
cad
及相对应的标记量x、y位移量offset
x
offsety、旋转尺度θ及缩放尺度r；在将图片输入到网络中进行训练前，将所有生成的i
′
cad
尺寸变换为(500x500)
[0054]
(3)在训练神经网络的过程，loss定义为如下公式：
[0055][0056]
其中，类型的参数表示为通过神经网络计算得到的输出值，如等；f()表示在i
′
cad
上采用神经网络计算后的x、y位移量旋转尺度及缩放尺度得到的校准图；λ表示为惩罚参数；
[0057]
在实际实验中，λ5＝0.5，其余λ1，...λ4＝0.1；
[0058]
(4)在结束神经网络训练后，用训练好的神经网络参数，对每张测试图片i
sample
计算其所对应的所有物理形变矫正参数(即x、y位移量旋转尺度及缩放尺度)，从而将此参数带入到f()，得到g
sample
＝f(i
sample
)，表示为当前测试采样轮廓图的物理形变校准结果；
[0059]
④
输出检测结果
[0060]
通过上述步骤3，可以使采样的铝膜板轮廓图及cad图纸处于同一种姿态。最后将两幅图相减，得到两幅图相异的区域d。
[0061]
d＝|g
sample-i
cad
|
[0062]
在实际实验中，若d(x，y)在标记的检测点的区域内值不为0，则说明该区域存在异常，则算法输出“不合格”；若d(x，y)在标记的检测点的区域内值都为0，则说明该区域不存在异常，算法输出检测“合格”；
[0063]
若检测不合格，通过d(x，y)在标记的监测点区域内的连通域大小判断对应的像素范围，并运用标定信息得到的像素精度从而得出异常区域的尺寸范围。
[0064]
e、智能机械臂接收到质检结果信息后，将铝模板抓取堆放至对应位置，到达码垛数量预设后发送消息通知管理员；
[0065]
f、系统循环上述a-e工作，完成对铝模板队列连续处理。
[0066]
专用自研模板质检算法模块7包括图像信息获取模块72、图像信息处理模块73、系统控制模块71、机电执行模块74、人机交互模块75；系统控制模块71分别与图像信息获取模块72、图像信息处理模块73以及机电执行模块74连接，图像信息获取模块72获取被检测物体的位置信息，触发系统控制模块71，由系统控制模块71得出机电执行模块74所需要的检测数据；系统控制模块71与人机交互模块75相互通信，完成操作者对质检系统的检测参数进行更新和下达指令执行工作。其中，系统控制模块71是整个系统的处理中心，从被检测物体的位置信息触发，到得出外围机电模块所需要的检测数据，每一部分都需要系统控制模块71的参与。
[0067]
本技术实施方式中，可在传送装置末端架设机械臂，可节省末端人工。
[0068]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。