一种手机框辅料项缺陷检测设备及方法与流程

1.本发明涉及工业视觉检测技术领域，具体涉及一种手机框辅料项缺陷检测设备及方法。


背景技术：

2.目前，手机、平板电脑等3c产品生产工艺日趋成熟。以手机产品为例，具有生产周期短，更新换代快的特点。其中手机框辅料检测是生产手机中非常重要且基础的一个环节，然而主流的手机组装电子厂如富士康、比亚迪等还是以人工检测为主，基于人工检测会存在视觉疲劳、检测标准不统一等诸多问题，用机器视觉实现自动化生产是现在及将来的必然趋势。
3.手机框辅料检测跟其它3c类电子产品缺陷检测的区别就在于辅料种类多，检测位置多，缺陷类型多，且因为保密性通常最新的辅料设计方案在发布前期才会确定下来。同时手机框因供应商不同，工艺水平参差不齐，约1/3的辅料需要员工手动贴到相应位置，其它的辅料通过操作特制辅料模具手动贴合。这个操作过程因员工的熟练程度和专注程度不同会导致辅料位置在偏出限定范围或缺失、错贴等现象。
4.现有市场上这类检测设备还没有，效果较好、稳定检测及快速响应产品变化的案例。在这里，我们提出基于本司视觉软件开发平台(givs)的辅料检测解决方案，能够克服传统检测设备的漏检、误检、开发周期长、操作困难的缺点。
5.人工检测或现有辅料检测设备效果不佳的主要原因有两个方面：
6.1.光学方面：人工检测时，使用高强度led灯照射下来，存在遮挡，手机底框烤漆颜色与辅料相近时，存在人眼难以区分的特点。机器视觉检测时，存在辅料贴合位置相互干扰、部分辅料表层有离型纸存在干扰、辅料与底层烤漆颜色接近，难以分割提取、中框底色种类较多，检测方案兼容性差等问题。
7.2.检测算法方面：首先，因手机框工艺的差异、自动上下料导致成像位置有变化、成像效果会在一定范围内变化，使得辅料定位性不高。导致非表面类缺陷如辅料位置相关的检测存在误检、漏检、甚至无法准确判断有无。其次，目前主流的辅料检测手段还是以2d为主，存在部分辅料有高度检测需求时(比如辅料起翘，弹片类辅料的高度限制等)，束手无策。最后辅料表面缺陷比如破损、异物(颜色相近的情况)、褶皱、变形时，用常规2d检测手段就比较乏力，检出稳定性也不高，同时存在较高过检风险。


技术实现要素：

8.本发明的发明目的是提供一种手机框辅料项缺陷检测设备及方法，操作简单，效率高，且具有较好的通用性。
9.为达到上述发明目的，本发明采用的技术方案是：一种手机框辅料项缺陷检测设备，包括，
10.搬运机构，包括机械手以及运输模组，用于将物料由上料工位依次搬运至3d线扫
工位、同轴光工位、广角镜头工位以及下料工位；
11.3d检测机构，包括3d相机，用于物料的正、反面的扫描以获取对应点云图；
12.第一视觉检测机构，包括同轴光、第一四面条灯以及上、下相机，用于物料定位以及正、反面彩色图的获取；
13.第二视觉检测机构，包括广角镜头以及侧面相机，用于物料内凹部分以及侧面的检测。
14.优选地，所述第一视觉检测机构还包括第一棱镜，所述第一棱镜用于同轴光的角度调整以及物料侧面音量键检测。
15.优选地，所述第二视觉检测机构还包括第二四面条灯，用于改善成像效果。
16.本发明还请求保护一种手机框辅料项缺陷检测设备的检测方法，包括以下步骤，
17.s100、第一相机于上料工位处，当光电感应开关检测到搬运机构将物料运输至上料工位时，通过plc触发第一相机对带有物料的载具进行拍照；提取物料上的固有特征点，将固有特征点的像素坐标转换为搬运机构中机械手的物理坐标，引导机械手抓取，实现搬运机构的自动上、下料；
18.s300、搬运机构将带有物料的载具传输至同轴光工位，通过plc触发上、下相机拍照，得到物料的第一正、反面彩色图；将第一正、反面彩色图转换成第一r、g、b单通道图像；然后物料进行定位后，筛选提取待检测物料的检测特征进行视觉检测，判断物料是否存在有无、偏位、混料、凸起、变形、破损等缺陷；
19.s400、带有物料的载具于同轴光工位处，切换同轴光曝光参数、增益参数，同时打开第一四面条灯；再次通过plc触发上、下相机拍照，得到物料的第二正、反面彩色图，将第二正、反面彩色图转换成第二r、g、b单通道图像；对物料进行定位后，筛选提取待检测物料的检测特征进行视觉检测，用于补充单一同轴光参数下，部分辅料项成像效果差的情况，判断物料是否存在有无、偏位、混料、凸起、变形、破损等缺陷；
20.s500、搬运机构将带有物料的载具由同轴光工位运输至广角镜头工位，通过plc触发广角镜头以及侧面相机拍照，得到物料的内凹部分以及侧面照片图，筛选提取待检测物料的检测特征进行视觉检测，判断物料有无缺陷；
21.s600、搬运机构将带有物料的载具由广角镜头工位运输至下料工位处，完成下料。
22.优选地，所述s100与s300之间还包括，
23.s200、搬运机构将带有物料的载具由上料工位运输至3d线扫工位，通过plc触发3d相机对带有物料的载具开始扫描，扫描动作完成后，plc控制电机将载具翻转180度，再次扫描另一面，得到物料的正、反面对应点云图；提取到待检测物料的高度值，判断物料是否合格。
24.优选地，所述s200中，提取到待检测物料的高度值的具体步骤如下，
25.选取特征点云图，建立模板点云模型；将实时采集到的正、反面对应点云图通过点云匹配方式，实现配准；
26.将与模板点云模型配准后的正、反面对应点云图转换为深度图；
27.设定检测roi，对深度图进行处理后，提取到待检测物料的高度值，最后将此高度值与设定的高度阈值进行比较，判断物料是否合格。
28.优选地，所述s400中，对物料进行定位的具体步骤如下，
29.s411、物料的粗定位：对物料边缘做直线查找，提取横竖两个边线，以这两个边线的交点作为第一特征点，以横边线的角度的为第一特征点的方向建立物料的第一工具坐标系，作为粗定位，并以粗定位为标准进行粗定位修正；
30.s412、物料的精定位：在粗定位修正的基础上，于实时采集到的第二正、反面彩色图上选取圆形通孔中心作为第二特征点；再选取两个通孔，以两个通孔的中心连线的角度作为方向，建立物料的第二工具坐标系，作为精定位，并以精定位为标准进行精定位修正。
31.其中横边线的角度为横边线相对于x轴的角度，其中两个通孔的中心连线的角度为两个通孔的中心连线相对于x轴的角度。
32.其中，x轴为设定于所述物料的一对邻边中任一边。
33.优选地，所述x轴平行于搬运机构运动方向。
34.优选地，所述s400中，筛选提取待检测物料的检测特征的具体步骤如下，
35.s421、判断物料的辅料项是否缺失：
36.于检测模板图中提取辅料项的标准参考边界，经精定位的修正后，再将检测模板图中的辅料项的边界roi映射到当前图像上，在边界roi区域内，经过图像预处理，图像分割，特征筛选等系列操作后，提取辅料项对象，然后跟设定的面积阈值做比较，判断物料的辅料项是否存在；
37.若没有发生物料的辅料项缺失，则继续检测辅料项是否存在偏位。
38.s422、判断辅料项是否发生偏位：
39.于检测模板图中提取辅料项的边界，经精定位的修正后，再将检测模板图的辅料项的边界roi映射到当前图像上，判断是否发生了辅料项偏位；
40.s423、判断边界难以分割的辅料项是否发生偏位：
41.若边界roi内，有些辅料项与手机底框灰度值接近，难以分割；则提取检测模板图上的辅料项区域，经精定位的修正后，代替当前的难分割的辅料项对象与边界roi做图像差运算，判断是否发生了辅料项偏位；
42.s424、对边界roi的辅料项进行检测：
43.使用掩模操作，将边界roi提取出来作为物料小图单独处理；结合成像特点，选择图像分割方式；对分割出的图像对象经过形态学操作后，再进行特征筛选，最后根据物料特征判断是否存在缺陷。
44.由于上述技术方案运用，本发明与现有技术相比具有下列优点：
45.1、本发明提供了一种手机框辅料项缺陷检测设备及方法，通过3d检测机构检测高度信息有关的辅料项，通过第一视觉检测机构以及第二视觉检测机构检测对高度信息无要求的辅料项，检测效果更加精准；
46.2、本发明提供了一种手机框辅料项缺陷检测设备及方法，通过第一视觉检测机构判断是否发生辅料项偏位：若发生辅料项偏位则用检测模板图中对应部位替代发生辅料项偏位部位，再对其余部分进行检测，这样就可以避免因辅料项贴合不规范造成的各种遮挡等因素，或者颜色相近造成的边界难以提取问题；
47.3、本发明提供了一种手机框辅料项缺陷检测设备及方法，对边界roi及其边界roi内的部分进行分开检测，不会因为边界难以提取问题造成无法检测；
48.4、本发明提供了一种手机框辅料项缺陷检测棱镜以及配合使用，通过棱镜及调整
四面条灯角度针对性的打光以改善成像效果。
附图说明
49.图1为本发明搬运机构的运动示意图；
50.图2为本发明同轴光工位处同轴光的光学示意图；
51.图3为本发明同轴光工位处棱镜的光学示意图；
52.图4为本发明的流程示意图。
53.其中：1、同轴光；2、第一棱镜；3、第一四面条灯；4、上相机。
具体实施方式
54.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
55.实施例1
56.请参照图1至图3，本实施介绍一种手机框辅料项缺陷检测设备，包括，
57.搬运机构，包括机械手以及运输模组，用于将辅料项由上料工位依次搬运至3d线扫工位、同轴光1工位、广角镜头工位以及下料工位。
58.3d检测机构，包括3d相机，用于辅料项的正、反面的扫描以及辅料项的正、反面对应点云图的获取。
59.第一视觉检测机构，包括同轴光1、第一棱镜2、第一四面条灯3、上相机4以及下相机，用于辅料项定位以及正、反面彩色图的获取；所述第一四面条灯3设于辅料项上方，且均角度可调节设置，当同轴光1不能将部分辅料项较清晰成像，或部分辅料项难以与手机框底层烤漆分割开来的情况下，可以调节第一四面条灯3角度针对性的打光以改善成像效果；第一棱镜2设置于第一四面条灯3以及辅料项之间，同轴光1不能拍清楚部分辅料项位置的情况下，可以通过第一棱镜2改善成像效果。
60.第二视觉检测机构，包括第二四面条灯、广角镜头以及侧面相机，用于辅料项内凹部分以及侧面的检测；所述侧面相机安装于手机框的音量等按键朝向处，用于检测开关键、音量键；广角相机配合第二四面条灯主要是为了检测手机框边缘处凹进去的辅料项。此种情况下，第一视觉检测机构中，由于同轴光1垂直取像会因存在遮挡难以完整得到待检测辅料项，因此加设第二视觉检测机构。
61.实施例2
62.请参照图1至图4，本实施介绍一种手机框辅料项缺陷检测设备的检测方法，包括以下步骤，
63.s100、500w的第一相机于上料工位处，当光电感应开关检测到有物料到达指定位置时，通过plc触发第一相机进行拍照；提取辅料项上的固有特征点，将固有特征点的像素坐标经手眼标定矩阵转换为搬运机构中机械手的物理坐标，引导机械手抓取，实现搬运机构的自动上、下料；
64.其中，固有特征点为中框辅料项上必然存在的一个特征点。
65.s200、搬运机构将带有辅料项的载具由上料工位运输至3d线扫工位，通过plc触发3d相机对带有辅料项的载具开始扫描，扫描动作完成后，plc控制电机将载具翻转180度，再次扫描另一面，得到辅料项的正、反面对应点云图；提取到待检测辅料项的高度值，判断辅料项是否合格。
66.其中，所述s200中，提取到待检测物料的高度值的具体步骤如下，
67.选取特征点云图，建立模板点云模型；将实时采集到的正、反面对应点云图通过点云匹配方式，实现配准；
68.将与模板点云模型配准后的正、反面对应点云图转换为深度图；
69.根据辅料项边界参考(比如辅料项边缘或镭雕线等)设定检测roi，对深度图进行处理后(比如预处理去噪、锐化，图像分割，形态学处理，特征筛选等)，提取到待检测物料的高度值，最后将此高度值与设定的高度阈值进行比较，判断物料是否合格。
70.s300、搬运机构将带有辅料项的载具传输至同轴光工位，进行彩色图像单通道分解，将彩色图像转换成r、g、b单通道图像；
71.s300、搬运机构将带有物料的载具传输至同轴光工位，通过plc触发上、下相机拍照，得到物料的第一正、反面彩色图；将第一正、反面彩色图转换成第一r、g、b单通道图像；然后物料进行定位后，筛选提取待检测物料的检测特征进行视觉检测，判断物料是否存在有无、偏位、混料、凸起、变形、破损等缺陷；
72.其中，将第一正、反面彩色图转换成第一r、g、b单通道图像，需经过图像减运算得到诸如r-b等结果图，用于检测颜色变化区域的辅料缺陷；在单通道图像上，经过滤波去操、灰度形态学等预处理手段，选择合适的图像分割方式(全局二值化、局部二值化、otsu、直方图统计法、局部阈值法等)，对分割出的辅料项对象做形态学操作(腐蚀、膨胀、开、闭运算、顶底帽变换等)，然后进行特征筛选提取我们需要检测的对象，最后判断有无偏位及外观类的缺陷(开关键、音量键等的颜色分类，对应离型纸的形状)。
73.s400、带有物料的载具于同轴光工位处，切换同轴光曝光参数、增益参数，同时打开第一四面条灯；再次通过plc触发上、下相机拍照，得到物料的第二正、反面彩色图，将第二正、反面彩色图转换成第二r、g、b单通道图像；对物料进行定位后，筛选提取待检测物料的检测特征进行视觉检测，用于补充单一同轴光参数下，部分辅料项成像效果差的情况，判断物料是否存在有无、偏位、混料、凸起、变形、破损等缺陷；
74.其中，所述s400中，对辅料项进行定位的具体步骤如下，
75.s411、物料的粗定位：对物料边缘做直线查找，提取横竖两个边线，以这两个边线的交点作为第一特征点，以横边线的角度的为第一特征点的方向建立物料的第一工具坐标系，作为粗定位，并以粗定位为标准进行粗定位修正；
76.其中横边线的角度为横边线相对于搬运机构运动方向的角度。
77.s412、物料项的精定位：在粗定位修正的基础上，于实时采集到的第二正、反面彩色图上选取圆形通孔中心作为第二特征点；再选取两个通孔，以两个通孔的中心连线的角度作为方向，建立物料项的第二工具坐标系，作为精定位，并以精定位为标准进行精定位修正。
78.若，s411或s412中定位失败，则将定位失败后的结果格式化并传到上位机上。
79.其中，辅料项上开设有若干通孔。其中两个通孔的中心连线的角度为两个通孔的中心连线相对于搬运机构运动方向的角度。
80.其中，所述s400中，筛选提取待检测辅料项的检测特征的具体步骤如下：
81.s421、判断物料的辅料项是否缺失：
82.于检测模板图中提取辅料项的标准参考边界，经精定位的修正后，再将检测模板图中的辅料项的边界roi映射到当前图像上，在边界roi区域内，经过图像预处理，图像分割，特征筛选等系列操作后，提取辅料项对象，然后跟设定的面积阈值做比较，判断物料的辅料项是否存在；
83.若提取辅料项对象有面积则判断辅料项存在，若提取辅料项对象面积为0，则判断辅料项缺失。
84.若没有发生物料的辅料项缺失，则继续检测辅料项是否存在偏位。
85.s422、判断辅料项是否发生偏位：
86.于检测模板图中提取同轴光低曝下成像效果良好的辅料项的边界，经精定位的修正后，再将检测模板图的辅料项的边界roi映射到当前图像上，判断是否发生了辅料项偏位；这样就可以避免因辅料项贴合不规范造成的各种遮挡等因素造成的边界难以提取问题
87.s423、判断边界难以分割的辅料项是否发生偏位：
88.若边界roi内，有些辅料项与手机底框灰度值接近，难以分割；则提取检测模板图上的辅料项区域，经精定位的修正后，代替当前的难分割的辅料项对象与边界roi做图像差运算，判断是否发生了辅料项偏位；
89.s424、对边界roi的辅料项进行检测：
90.使用掩模操作，将边界roi提取出来作为物料小图单独处理(滤波去操、灰度形态学)；结合成像特点，选择图像分割方式(局二值化、局部二值化、otsu、直方图统计法、局部阈值法等)；对分割出的图像对象经过形态学操作腐蚀、膨胀、开、闭运算、顶底帽变换等)后，再进行特征筛选，最后根据辅料项特征(面积、长宽轴、圆度等)判断是否存在缺陷(有无、多料或少料)。
91.还包括，将物料小图将辅料项小图作为输入提供给ai服务器，通过对应的ai模型给出外观类缺陷检测结果(破损、异物、凸起、褶皱、变形、气泡等类型)。
92.s500、搬运机构将带有辅料项的载具由同轴光工位运输至广角镜头工位，通过plc触发广角镜头以及侧面相机拍照，得到辅料项的内凹部分以及侧面照片图，筛选提取待检测辅料项的检测特征进行视觉检测，判断物料内凹部分辅料是否存在有无、偏位、混料、凸起、变形、破损等缺陷；
93.其中，s500的视觉检测方案与s400中检测特征的具体步骤类似，部分参数需按需调整。
94.s600、搬运机构将带有辅料项的载具由广角镜头工位运输至下料工位处，完成下料；将s200、s400以及s500中的检测结果格式化并传到上位机上。
95.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
96.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。