本发明涉及光学检测,具体涉及一种基于bga封装植球缺陷检测的光学检测装置和方法。
背景技术:
1、基于bga植球的sip封装形式是微波多芯片组件的最新演化形式,由于bga植球的高密度性,使得模块可以内部集成大的i/o数量的复杂芯片,包括数字芯片,模拟芯片,射频芯片和mems芯片等等。相比于传统qfn封装,其实现的引脚数量更多,可靠性更高,缩短的信号路径减少了信号传输延迟和寄生电感/电容,提升了高频信号的完整性。
2、以往的bga植球缺陷检测设备利用二维相机镜头捕捉bga球阵列的二维形貌,根据照片中bga球边缘的像素值阶越变化,利用最小二乘法拟合bga球,或者通过深度学习算法学习标准bga球和有缺陷bga球的特征,并利用神经元网络的非线性拟合功能实现缺陷检测和分类。
3、但传统的算法都是基于二维图像信息特征提取。由于光源配置简单,无法对于bga球不同高度的损伤特征分别提取,而且利用深度学习算法可以快速定位不同位置的标准bga球和缺陷bga球,可是对于局部多球的情况无法有效定位,也无法实现对于bga球尺寸参数的数值化提取,对于射频球形貌没有办法单独进行检测,考虑到射频球的形貌变化对于电磁波传播的损耗的影响,传统3d的bga球形貌检测依赖激光线扫传感器,其速度慢,对于bga球平面度的测量也没有严格的定义。
技术实现思路
1、针对现有技术的不足,本发明提供了一种基于bga封装植球缺陷检测的光学检测装置和方法,解决了bga植球检测方法无法有效定位少球或多球位置,无法有效识别bga球表面擦伤位置和高度的问题。
2、为实现以上目的,本发明通过以下技术方案予以实现:
3、一种基于bga封装植球缺陷检测的光学检测装置和方法,所述光学检测装置包括:光学照明系统、图像获取系统和图像处理系统;
4、所述光学照明系统包括:三色环状光源4和顶部光源;
5、所述三色环状光源4包括:红色环状光源、蓝色环状光源、绿色环状光源;
6、所述红色环状光源、蓝色环状光源和绿色环状光源共中心轴设置,且沿竖向延伸的中心轴排列;
7、所述顶部光源位于三色环状光源上方,且照射方向竖直向下;
8、所述图像获取系统包括:光场相机1和二维彩色相机3;
9、所述光场相机1用于捕获bga球阵列5的光场信息;
10、所述二维彩色相机3用于拍摄bga球阵列5的二维彩色图像;
11、所述图像处理系统包括:计算机工作站6;用于对图像获取系统获取的图像信息进行预处理并判断bga球阵列5是否合格。
12、优选地,所述光学检测装置还包括:保护罩2;
13、所述保护罩2对光学照明系统和图像获取系统进行罩设,用于阻挡外部环境光线进入光路。
14、优选地,所述三色环状光源4对bga球的照射角度分别设置在25°-45°、45°-65°、65°-85°;
15、顶部光源用于照亮bga球的顶部。
16、优选地,所述光场相机1由外至内依次包括:主透镜、微透镜阵列和图像传感器;
17、所述微透镜阵列用于合成bga阵列的三维深度点云图;通过三维点云的统计,聚类,分割和分类算法能够有效判断被检测对象的种类、高度、空间形状和连通性这些三维特征。
18、优选地,所述光学检测装置的检测方法包括:
19、将未植球的标准bga阵列模块放置在光学检测装置下,调节灯光,确保焊盘与壳体边缘清晰可见;利用深度学习的方法,自动化寻找焊盘的定位框,根据定位框的中心位置,确定所有焊盘阵列的中心位置,并生成bga阵列的检测矩阵;
20、将植球后的被检测样品,放在镜头下,根据生成的检测矩阵,通过输入典型的bga球半径范围,并采用最小二乘法对于样品中所有bga球边缘定位,并计算所有bga球尺寸;
21、根据拟合出的所有bga球尺寸和中心位置与检测矩阵进行比对,寻找尺寸不合格和偏移过大的bga球,标记为bga球尺寸不良和bga球偏移不良;
22、当发现相邻两个bga球a和b的球心距小于两球半径的和,则判定a、b球桥连;
23、对于经常发现bga球偏移的设定特定区域,设定区域内部的搜索范围,统计搜索范围内所有bga球偏移量的平均值,并根据值大小判定是否存在局部偏移缺陷;
24、其中,为焊盘中心位置;
25、为bga球的中心位置;
26、为搜索范围内bga球数量;
27、如果设定的搜索范围为组件全局,则判定的是整体是否存在偏移缺陷;
28、利用深度学习模型中的目标识别方法,对搜索范围内的bga球数量与检测矩阵中对应区域的bga数量进行比较,如果多于标准数量则判定为局部多球;
29、bga球在三色环状光源4的照射下,通过二值化提取bga球表面彩色光环的区域,利用连通域的搜索函数,寻找光环上是否有缺口,从而判断光环对应高度是否存在球擦伤缺陷;
30、bga球在顶部光源的照射下,通过测量bga球顶部光斑的面积和圆度,来检测bga球是否少锡的缺陷;少锡bga球相较于正常bga球,顶端光斑较大,圆度较低;
31、利用光场相机深度合成算法获得bga阵列的三维高度图;利用二维的平面最小二乘算法定位bga球中心位置;在bga球拟合的范围内,统计bga球最高点附近一定范围内高度的平均值作为该球的实际高度;对于所有bga球的高度进行排序, 取高度最高的三个bga球坐标数据 (x1,y1,z1), (x2,y2,z2), (x3,y3,z3)作为输入,获得最高的三个bga球所在平面方程为:;
32、其中,;
33、;
34、;
35、;
36、计算所有bga球的最高点到平面方程的垂直距离并排序,如下所示:
37、
38、
39、取最大值作为该组件所测的平面度。
40、优选地,所述三维深度点云图的分析方法利用光场相机1合成的点云图,采用pointnet或者pointnet++网络,进行点云的分割和特征提取;
41、三维深度点云图的分析方法包括:
42、将光场相机1生成的点云深度图送入点云处理软件,对bga球阵列5和生成的壳体点云进行实例分割处理;利用ransac算法对于实例分割后的壳体点云进行二维平面拟合,拟合的平面方程为;该平面作为bga阵列体积和高度计算的基准平面;
43、计算所有bga阵列所属点云的坐标位置到基准平面的距离;根据实例分割出的不同的bga球的点云数据,计算每个bga球的体积为;
44、其中,分别是点云中某一点与邻近点之间在x,y方向上的间隔;
45、为该点向基准面做投影的距离;
46、
47、根据每个bga球的体积,能够判断少锡,缺锡的焊接缺陷。
48、优选地,所述光场相机深度合成算法利用微透镜阵列中不同位置子透镜在针对空间同一位置处成像时产生的不同视差,计算出某固定点的深度值;光场相机深度合成算法包括:
49、确定平面图像中待测量深度点(x0,y0)的对应深度值z0的像素点计算光场相机阵列中两个不同位置子透镜,成像的视差,利用模板匹配法计算两幅子图像的位置偏移量:
50、
51、其中,(x,y)是平面图像中待测量深度点(x0,y0)周围一个方阵内的一点,方阵的大小由w的尺寸确定;
52、是平面图像中属于第个子透镜的子图像中某点的像素值;
53、是平面图像中属于第个子透镜的子图像中某点的像素值;
54、表明选中第个和第个子透镜;
55、对应计算的深度值是;
56、其中,是子透镜和之间的位移向量;
57、是微透镜阵列到探测器平面的距离;
58、是两子透镜的视差向量;
59、对于多个透镜组成的透镜阵列来说,遍历所有的子透镜对组合,得到平面图像中待测量深度点(x0,y0)最优化的深度值z0表示为:
60、
61、其中,为在x方向上的分量;
62、为在y方向上的分量;
63、对于子图像中的每个平面图像中待测量深度点(x0,y0),计算其深度值z0,并合成最终的深度点云图。
64、本发明提供了一种基于bga封装植球缺陷检测的光学检测装置和方法。与现有技术相比,具备以下有益效果:
65、本发明中,所述光学检测装置采用光场相机提取bga球的三维轮廓形貌,通过不同角度的环状光源打光,实现对于不同高度锡球的外形检测,利用组合式的打光方式实现对于bga球直径和偏移距离的准确检测,利用bga球的三维形貌的信息,计算bga球阵列5的共面度,这样通过综合利用光源和镜头能够针对bga封装植球阵列获得不同位置的二维、3d信息,从而在同一台套的光学检测装置上,完成bga球阵列共面度测量,实现对于bga球桥连、少锡、缺球、多球、球损伤、局部偏移、整体偏移等所有种类bga球缺陷的一次性检测;检测高效,且实现了以往显微镜下无法实现的数字化缺陷检测标准。