基于机器视觉的产品表面缺陷自动在线检测装置及系统的制作方法
本发明涉及产品表面缺陷检测技术领域，具体而言，涉及一种基于机器视觉的产品表面缺陷自动在线检测装置及系统。
背景技术：
倒装焊芯片产品由于规模集成度高、体积小、引脚数多等特点，使得倒装焊芯片内部包含成千上万个凸点，凸点的直径仅有百微米，1个凸点的失效就可能导致一颗价值几亿甚至几十亿的卫星报废，甚至造成一系列相关的损失，所以这就要求芯片及凸点必须经过严格的质量检验，以保证产品的可靠性。
针对倒装焊芯片产品在封装、测试的后道工序生产中，检测效率较低、人工检测困难以及质量追溯较难的问题，开展倒装焊芯片表面质量缺陷识别及自动在线检测技术的研究，显得尤为重要。
国内倒装焊芯片检验还以人工检验为主，由于芯片凸点结构尺寸小、检验员为保证检验质量，通常采用高倍率显微镜进行检验，但高倍显微镜景深有限，当聚焦到凸点顶部时，凸点的周围就显示模糊，为保证检验到凸点的所有表面，就需要频繁切换聚焦位置，这就加大了操作难度和检验难度，易造成凸点缺陷的漏检。
对于微电子封装来说，伴随着ic产品的小型化和多功能化发展，芯片倒装互连封装产业对于高密度倒装焊产品微结构凸点以及表面缺陷的智能化在线检测技术的应用研究已经成为了微电子封装可靠性探究中最为重要的方向之一。对于数字化倒装焊器件质量在线检测技术，国外的主要研发内容为针对倒装焊微小结构的三维成像以及智能化识别技术和针对数字化质量检测数据传输的产品身份编码识别技术。
佐治亚理工的charles教授针对倒装芯片缺陷检测的研究研发了一套基于脉冲激光超声激励的倒装芯片缺陷检测系统，主要通过脉冲激光对倒装芯片进行了激励振动，再采用激光干涉仪对其振动信号进行检测。焊球的不同缺陷情况导致了其振动信号的差异。通过相关系数法等方法对缺陷焊球和完好焊球的振动信号进行比较，对缺陷进行定位以及识别。
但是该方法的检测步骤复杂，有效检测效率较低，仅适用于实验室进行产品研制与论证研究，不适应大批量生产检测。本方案设计和改进了检测机构与检测方法，以适用于批量产品检测需求。
技术实现要素：
本发明旨在一定程度上解决上述技术问题。
有鉴于此，本发明提供了基于机器视觉的产品表面缺陷自动在线检测装置及系统，提高了倒装焊芯片的检测时的位置精度，进而提高检测效率，降低了人工检测的劳动强度。
为了解决上述技术问题，本发明提供了一种基于机器视觉的产品表面缺陷自动在线检测装置，包括载物台、传动件、横向滑动组件、纵向滑动组件、升降滑动组件和光源装置，所述横向滑动组件包括互相匹配的横向滑轨和横向滑块，所述横向滑块与所述载物台固定连接，且带动所述载物台沿所述横向滑轨长度方向滑动，所述纵向滑动组件设置在所述横向滑动组件上方，所述纵向滑动组件包括互相匹配的纵向滑轨和纵向滑块，所述纵向滑块与所述传动件固定连接，且带动所述传动件沿所述纵向滑轨长度方向滑动，所述升降滑动组件包括互相匹配的升降滑轨和升降滑块，所述纵向滑块与所述升降滑块通过所述传动件连接，所述升降滑轨固定所述光源装置，且带动所述光源装置上下移动。
进一步，还包括设置在所述载物台的上方用于检测的视觉系统。
进一步，所述光源装置包括led灯体和设置于所述led灯体外部的半封闭球形罩体。
进一步，所述纵向滑动组件有两组，两组所述纵向滑动组件分别设置于所述载物台两侧的上方。
进一步，所述横向滑动组件、所述纵向滑动组件和所述升降滑动组件形状结构相同。
进一步，所述纵向滑轨包括第一纵向支滑轨和第二纵向支滑轨，所述纵向滑块包括第一纵向支滑块和第二纵向支滑块，所述第一纵向支滑块与所述第一纵向支滑轨相匹配，所述第二纵向支滑轨与所述第二纵向支滑块相匹配。
进一步，所述纵向滑动组件还包括纵向驱动电机、传动螺旋轴和传动块，所述传动螺旋轴设置在所述第一纵向支滑轨和所述第二纵向支滑轨之间，所述传动块开设与所述传动螺旋轴相匹配的内螺纹，所述传动块旋拧在所述传动螺旋轴上，且固定连接所述传动件，所述纵向驱动电机的输出轴与所述传动螺旋轴同轴固定连接。
一种基于机器视觉的产品表面缺陷自动在线检测系统，包括如下步骤：
s1：对一幅连接器图像，首先将该图像与其模板图像进行配准，通过图像差值法提取变化图像；
s2：基于yolo框架，将变化图像与原始图像合并作为yolo模型的输入，对连接器缺陷区域进行检测和识别；
s3：检测和识别获得的数据包图像传输至计算机终端。
进一步，所述步骤s1包括：
s11：图像亚像素程度配准，首先提取图像的角点和相应的特征描述子，然后进行特征点匹配，采用ransac去除错误的配准点对；
s12：根据配准点对估计两幅图像的单应矩阵；
s13：利用单应矩阵计算两幅图像之间的差值图。
进一步，所述步骤s2包括：
s21：图像合并：将差值图与原始图像合并成一幅6通道图像；
s22：yolo缺陷检测：将6通道图像送入yolo模型进行缺陷检测。
本发明的技术效果在于：本装置提高了倒装焊芯片的检测时的位置精度，进而提高检测效率，降低了人工检测的劳动强度，本系统解决的问题为(1)解决现有倒装焊芯片机器视觉拍照自动化的问题；(2)解决现有倒装焊芯片图片处理、缺陷识别和图片存储的问题。
附图说明
图1是根据本发明的一种基于机器视觉的产品表面缺陷自动在线检测装置的前侧的立体图；
图2是根据本发明的一种基于机器视觉的产品表面缺陷自动在线检测装置的后侧的立体图；
图3是根据本发明的一种基于机器视觉的产品表面缺陷自动在线检测装置的纵向滑动组件的结构示意图。
图4是根据本发明的一种基于机器视觉的产品表面缺陷自动在线检测系统的工作流程示意图；
图5是根据本发明的一种基于机器视觉的产品表面缺陷自动在线检测系统的“薄透镜”光学成像示意图。
其中，1-载物台；2-传动件；3-横向滑动组件；4-纵向滑动组件；5-升降滑动组件；6-光源装置；7-半封闭球形罩体；31-横向滑轨；32-横向滑块；41-纵向滑轨；42-纵向滑块；43-纵向驱动电机；44-传动螺旋轴；45-传动块；51-升降滑轨；52-升降滑块；411-第一纵向支滑轨；412-第二纵向支滑轨；421-第一纵向支滑块；422-第二纵向支滑块。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
如图1和图2所示，一种基于机器视觉的产品表面缺陷自动在线检测装置，包括载物台1、传动件2、横向滑动组件3、纵向滑动组件4、升降滑动组件5和光源装置6，横向滑动组件3包括互相匹配的横向滑轨31和横向滑块32，横向滑块32与载物台1固定连接，且带动载物台1沿横向滑轨31长度方向滑动，纵向滑动组件4设置在横向滑动组件3上方，纵向滑动组件4包括互相匹配的纵向滑轨41和纵向滑块42，纵向滑块42与传动件2固定连接，且带动传动件2沿纵向滑轨41长度方向滑动，升降滑动组件5包括互相匹配的升降滑轨51和升降滑块52，纵向滑块42与升降滑块52通过传动件2连接，升降滑轨51固定光源装置6，且带动光源装置6沿升降滑轨51长度方向上下移动。
根据本发明的具体实施例，一种基于机器视觉的产品表面缺陷自动在线检测装置，包括载物台1、传动件2、横向滑动组件3、纵向滑动组件4、升降滑动组件5和光源装置6，将横向滑轨31设置在工作台(图中未显示)上，横向滑块32与横向滑轨31滑动连接，且横向滑块32与载物台1固定连接，使载物台1可沿横向滑轨31的长度方向进行移动，将需要进行检测的倒装焊芯片放置在载物台1上，通过横向滑块32与横向滑轨31的滑动连接关系，实现对倒装焊芯片位置的调整纵向滑动组件4设置在横向滑动组件3上方，纵向滑动组件4包括互相匹配的纵向滑轨41和纵向滑块42，支撑杆的底部设置在工作台上，支撑杆的顶部连接纵向滑轨41，以实现对纵向滑轨41的支撑，纵向滑块42与传动件2固定连接，且带动传动件2沿纵向滑轨41长度方向滑动，升降滑动组件5包括互相匹配的升降滑轨51和升降滑块52，纵向滑块42与升降滑块52通过传动件2连接，升降滑轨51固定光源装置6，上下移动升降滑轨，进而带动光源装置6上下移动，横向滑动组件3、纵向滑动组件4、升降滑动组件5，提高芯片与光源之间的位置的相对精度。
一种基于机器视觉的产品表面缺陷自动在线检测装置，还包括设置在载物台1的上方用于检测的视觉系统，视觉系统通过支撑组件与载物台1进行连接，视觉系统包括工业相机及镜头安装在桁架机械臂的的z轴上，可以上下运动，以适应不同厚度的陶瓷基板、芯片对焦需要，再配合x、y方向的运动，可以让相机移动到待检测物体的正上方，自动检测时，由机械臂将图像采集设备运送至每一个待检连接器上方，同时打开特定光源，然后程序控制摄像机获取待检连接器的影像，传入计算机的图像处理系统，通过软件的计算，将缺陷检测结果显示出来，该机械臂有效负载5kg，运动范围可达1000mm，最大移动速度1m/s，可以满足图像采集装置移动需求。图像采集装置和环形光源通过螺钉安装在机械臂z轴的前端图像采集装置可随龙门式机械臂在x、y、z三个方向运动，检测芯片贴放位置是否贴正，芯片、凸点和外壳等典型结构表面的质量缺陷，同时提高了倒装焊芯片的检测效率，降低了人工检测的劳动强度。
如图1所示，光源装置6包括led灯体和设置于led灯体外部的半封闭球形罩体7，半封闭球形罩体7对led灯体进行保护，提高led灯体的使用寿命。
如图1所示，纵向滑动组件4有两组，两组纵向滑动组件4分别设置于载物台1两侧的上方。
如图1所示，横向滑动组件3、纵向滑动组件4和升降滑动组件5形状结构相同，制作方便，方便操作人员调整。
如图1和图4所示，纵向滑轨41包括第一纵向支滑轨411和第二纵向支滑轨412，纵向滑块42包括第一纵向支滑块421和第二纵向支滑块422，第一纵向支滑块421与第一纵向支滑轨411相匹配，第二纵向支滑轨412与第二纵向支滑块422相匹配。
如图1和图3所示，纵向滑动组件4还包括纵向驱动电机43、传动螺旋轴44和传动块45，传动螺旋轴44设置在第一纵向支滑轨411和第二纵向支滑轨412，传动块45开设与传动螺旋轴44相匹配的内螺纹，传动块45旋拧在传动螺旋轴44上，且固定连接传动件2，纵向驱动电机43的输出轴与传动螺旋轴44同轴固定连接。
根据本发明的具体实施例，驱动电机43的输出轴与传动螺旋轴44同轴固定连接，驱动电机的输出轴旋转，进而带动传动螺旋轴44旋转，传动块45开设与传动螺旋轴44相匹配的内螺纹，传动块45可旋拧在传动螺旋轴44上，传动块45、第一纵向支滑块421和第二纵向支滑块422均固定连接传动件2，启动驱动电机，传动件2在第一纵向支滑轨411和第二纵向支滑轨412的约束下进行移动。
如图4所示，一种基于机器视觉的产品表面缺陷自动在线检测系统，包括如下步骤：s1：对一幅连接器图像，首先将该图像与其模板图像进行配准，通过图像差值法提取变化图像；s2：基于yolo框架，将变化图像与原始图像合并作为yolo模型的输入，对连接器缺陷区域进行检测和识别；s3：检测和识别获得的数据包图像传输至计算机终端，针对现有倒装焊芯片封装测试过程中，表面缺陷需要人工在显微镜下逐一查看识别的问题，解决倒装焊芯片多种缺陷种类的自动拍照，图片处理、缺陷识别和图片存储的问题。
其中，步骤s4中，如果需要上传到网络服务器，可以采用socket实现图像数据的传输，如果要接入mes，我们可以开放接口，供mes调用。解决了倒装焊芯片缺陷检测工序瓶颈，用自动识别、自动检测及自动记录的方式提高产出。提高检测结果的一致性，减少了人为因素对产品质量的影响，采用自动采集和提供接口方式实现质量数据的采集与共享。使得生产模式更适应当前多品种，小批量的订单现状。为芯片产品质量追溯和监控提供数据支持，有助于后期建立质量数据平台进行统一管理。
具体的，倒装焊芯片陶瓷基板最大尺寸为60*60mm，芯片最大尺寸为25*25mm。
根据本发明的具体实施例，一种基于机器视觉的产品表面缺陷自动在线检测系统，其中步骤s1包括：s11：图像亚像素程度配准，首先提取图像的角点和相应的特征描述子，然后进行特征点匹配，采用ransac去除错误的配准点对；s12：根据配准点对估计两幅图像的单应矩阵；s13：利用单应矩阵计算两幅图像之间的差值图，实现机器视觉成像以及表面缺陷自动在线检测，解决产品批量检测准确度低的问题。
根据本发明的具体实施例，一种基于机器视觉的产品表面缺陷自动在线检测系统，其中步骤s2包括：s21：图像合并：将差值图与原始图像合并成一幅6通道图像；s22：yolo缺陷检测：将6通道图像送入yolo模型进行缺陷检测。
具体的，yolo目标检测原理如下：
网格划分。该模型首先将一幅输入图片放缩到448x448大小，然后送入cnn网络进行特征提取并检测图像中的目标。yolo的cnn网络将输入的图片分割成7x7网格，然后每个网格单元负责去检测中心点落在该格子内的目标。每个单元格会预测b个边界框(实际中取b＝2)以及相应边界框的置信度。因此，理论上，yolo可以在一幅图上最多检测到7×7×b个物体。
边界框的表示：边界框的大小与位置可以用4个值来表征：(x，y，w，h)，其中(x，y)是边界框的中心坐标，而w和h是边界框的宽与高。因此，每个边界框的预测值实际上包含5个元素：(x，y，w，h，c)，其中前4个表征边界框的大小与位置，而最后一个值是边界框置信度。置信度包含两个方面，一是该边界框含有目标的可能性大小，二是该边界框的准确度。前者记为pr(object)，当该边界框是背景时(即不包含目标)，pr(object)＝0。而当该边界框包含目标pr(object)＝1。边界框的准确度可以用预测框与实际框(groundtruth)的交并比来表征，记为
网络设计：yolo采用卷积网络来提取特征，然后使用全连接层来得到预测值。网络结构参考goolenet模型，包含24个卷积层和2个全连接层。对于卷积层，主要使用1x1卷积来做channelreduction，然后紧跟3x3卷积。对于卷积层和全连接层，采用leakyrelu激活函数：max(x，0.1x)。但是最后一层却采用线性激活函数。可以看到网络的最后输出为7×7×30大小的张量。这和前面的讨论是一致的。对于每一个单元格，前20个元素是类别概率值，然后2个元素是边界框置信度，两者相乘可以得到类别置信度，最后8个元素是边界框的(x，y，w，h)。
网络训练：yolo将目标检测看成回归问题，采用如下的均方差损失函数来训练网络：
其中第一项是边界框中心坐标的误差项，
一种基于机器视觉的产品表面缺陷自动在线检测装置，既需要对陶瓷基板、裸芯片表面缺陷检测，又需要放大倍数，因此本方案采用工业相机(面阵相机)、相机镜头、led光源为基础设计视觉系统，主要硬件组成如表所示：
工业相机的主要性能指标：(1)分辨率，分辨率有图像分辨率和空间分辨率两个概念。相机图像分辨率指一幅图像像素的行数和列数，单位为像素(pixel)，例如按照eia-170视频制式标准，2000万像素相机的分辨率为5000x4000。相机空间分辨率指图像单位像素所对应真实物体的物理长度，单位为毫米每像素(mm/pixel)。一般而言，图像分辨率越高，则所包含的像素就越多，图像就越清晰，但采集的时间就越长，文件占用存储空间就越大；空间分辨率越小，则图像每单位像素所代表的物理长度就越小，图像处理的精度就越高，但同时处理的时间就越长。因此，根据获取图像的视野要求和视觉系统的精度要求，合理选择相机对提高精度和速度十分重要。(2)曝光时间，曝光时间是指为了将光投射到相机的感光面上，快门所要打开的时间，也称为快门速度。对于运动的物体而言，曝光时间越短，所获取的图像越精确，即越不模糊，但过短的曝光时间会使光照强度大大提高，给照明带来很大的困难，所以应选择合适的曝光时间。(3)帧率，帧率指每秒能够输出图像的帧数，是衡量相机图像采集速度的指标。一幅图像代表一帧，帧率越高，则显卡的处理能力要求越高；图像分辨率越大，则帧率越低。因此要在满足采集速度和实时显示的前提下，选择合适的相机帧率。
从相机的视野、分辨率、曝光时间等因素考虑。视觉检测对象是陶瓷基板、裸芯片，最大尺寸不超过60mm，因此设计视野最大尺寸为60mm。检测的最小缺陷尺寸为0.125mm，则由下可计算出所需的图像分辨率：
式中，fov表示相机的视野(单位：mm)，ri表示图像分辨率(单位：pixel)，rs表示空间分辨率(单位：mm/pixel)。经过公式计算及实际情况，选取2000万或以上像素相机，可以满足要求。
工业镜头的选型，镜头将三维物体光学成像并投影到相机的图像传感器上，它是相机能否获取清晰图像的关键。镜头的选择主要取决于焦距f，如图5所示，为典型的“薄透镜”光学成像模型。wd表示工作距离，即物镜至被测物体间的距离；l。表示物体视野的尺寸，计算时可以用长度来代表视野大小的；li表示相机有效成像面的尺寸，计算时同样使用长度来代表视传感器的大小；f表示镜头的焦距；di表示成像距离。
进而根据薄透镜成像公式：
推到可得：
机器视觉系统中所用的镜头都是由多个“薄透镜”组成的“厚透镜”，尽管“薄透镜”和“厚透镜”在计算和参数设置上有所差别，但大多数情况下，图4所示的几何关系及参数计算的差别很小，因此可以使用公式作为计算和选择镜头的依据。
确定了镜头焦距后，需要还注意三个实际问题：a)相机与镜头的接口问题相机和镜头都分别有c和cs两种接口，它们的接口必须相对应或者通过接圈才能正确连接。b)镜头的工作距离范围问题镜头能够成像的工作距离是有一个范围的，大于或者小于工作距离都不能清晰成像。当工作距离过小而不能正确聚焦时，可以通过添加镜头扩展环增加后焦距来获得清晰图像。c)相机和镜头的规格问题不同cmos芯片要求相应的镜头。镜头的最大兼容cmos尺寸＞cmos芯片尺寸，否则会在视场边缘出现黑边，严重影响测量精度。
光源装置6设计，在机器视觉的实际应用中，大多数领域都需要使用光源照明来提高图像的亮度和对比度，突出感兴趣区域。光源和照明方案的好坏往往会决定整个检测系统的成败。贴片机的照明系统由基准点光源、贴片元件光源和光源控制器组成。照明设计主要考虑三方面：光源的种类、光源的结构、目标及其背景的光反射特性。(1)光源的种类和选型，在机器视觉系统中，常见的光源有荧光灯、卤素灯、氙弧灯、led灯等。led灯以其功耗小、响应快、颜色多、寿命长成为贴片机视觉系统照明的首选。根据光源颜色可分为红光、蓝光、白光等；根据光源的结构可分为环形、方形、长条形等。光源主要用于表面缺陷检测，使用碗形光源。(2)光源控制器的种类和选型，光源控制器主要目的是给光源供电，控制光源的亮度和光源照明状态(亮或灭)，还可以通过给控制器发送信号来实现光源的频闪，进而大大延长光源的寿命。常用的控制器有模拟控制器和数字控制器，模拟控制器通过手动调节，数字控制器可以通过工控机或其他设备远程控制，实现光源的自动开关。图像的获取是静止进行的，对光源的亮底和响应速度没有特殊要求，只需到位点亮则可。
以上实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
- 还没有人留言评论。精彩留言会获得点赞！