一种微波裸芯片表面缺陷智能检测系统和方法与流程

1.本发明属于芯片检测技术领域，特别涉及一种微波裸芯片表面缺陷智能检测系统和方法。


背景技术：

2.微波具有波长短、频带宽、穿透能力强等诸多特点，在当今微电子技术中占有重要的地位，成为制约高端技术发展的一大因素并促进电子技术发展。微波技术的应用源于高可靠性应用，但随着信息技术的发展，民用及商用微波技术也越来越受到人们的重视。当今科技、经济的迅猛发展，不仅对微波系统的功能和性能的要求不断提高，同时也对其可靠性有越来越高的要求。
3.随着电子封装技术的发展，裸芯片的大量使用使得提供优质的裸芯片成为一个重要的课题，尤其是在军工、空间技术等对芯片质量等级要求极高的领域。裸芯片即未经封装的生产好的芯片，由于没有了封装的保护与电气连接，裸芯片的质量与可靠性保障技术有重要的研究意义。在电子系统的制作及电子组件的装配之前，对良好芯片的确保可以最小化浪费、优化材料、提供芯片基础来源并降低成本。现今高性能器件的封装测试占据了越来越大的器件成本比重，因此，在使用之前挑选出不合格的或是存在潜在缺陷的芯片尤为重要，从而使得厂商能更好的控制封装的成本。这些因素使得对裸芯片的测试及老炼技术日趋发展成熟，而通过了质量和可靠性认证的裸芯片就是已知良好芯片。
4.表面缺陷检测技术是筛除有缺陷的微波裸芯片，保证最后挑选出来的微波裸芯片的质量与可靠性达到封装成品的质量与可靠性等级要求。虽然目前许多研究实现了初步的芯片自动化缺陷检测，但其中大部分使用的都是传统计算视觉方法，并且主要针对封装好的芯片，实现的功能都只能适用于单一类型的芯片缺陷检测任务且难以实现缺陷定位，对于类型多样的航天微波芯片缺陷分类任务缺少学习总结的过程，难以满足需求。特别是对于微波裸芯片，目前相关研究极少，而高可靠性需求的用户单位对微波裸芯片进行质量控制，首先进行监制和审阅相关资料，与封装好的器件不同，裸芯片无法进行老化筛选，迫切需要建立能够自动识别缺陷的人工智能检测系统，这对打破国外半导体封装测试高端设备与技术垄断、提升我国在半导体芯片封装测试设备自主研发能力都具有重要意义。


技术实现要素：

5.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种微波裸芯片表面缺陷智能检测系统，解决现有技术中人工机械重复劳动强度大，检测效率低，成品率不高，以及现有检测设备出现的的判断标准不统一，易漏检、误检等技术问题。
6.本发明采用的技术方案如下：
7.本发明提供了一种微波裸芯片表面缺陷智能检测系统，包括相机、工控机、运动平台、平台驱动器和光源；
8.工控机通过平台驱动器驱动运动平台进行移动和旋转，使相机采集到裸芯片表面
图像；所述运动平台通过导轨进行前后和左右移动；所述运动平台包括载物台、平台保持单元和旋转驱动单元，旋转驱动单元位于导轨上方，旋转驱动单元嵌套在平台保持单元内部，平台保持单元上方设置有载物台，所述载物台包括台板和支撑板，台板设置在支撑板上方，用于放置裸芯片，旋转驱动单元通过旋转带动平台保持单元和载物台旋转；
9.相机通过镜头将采集到的裸芯片表面图像进行放大，并送到工控机进行处理；
10.工控机通过控制器控制相机、平台驱动器和光源；
11.所述光源位于运动平台上方，用于对裸芯片进行照明，包括第一投光单元、第二投光单元和条纹光源；第一投光单元和第二投光单元结构相同，对称分布在相机和镜头两侧，条纹光源位于第一投光单元和第二投光单元之间；
12.所述第一投光单元和第二投光单元均包括投影光源、聚光透镜、图案生成单元和光投射透镜；从投影光源发出的光通过聚光透镜进入图案生成单元，然后，从图案生成单元发出的测量光通过光投射透镜照射到载物台上的裸芯片上；
13.所述条纹光源用于向载物台上的裸芯片发射可见光的均匀照明光，用于检测裸芯片的表面纹理信息，所述表面纹理信息包括颜色或者图案；所述条纹光源围绕相机和镜头分布，并且条纹光源的光投射轴平行于相机和镜头的轴线。
14.进一步地，所述工控机与相机通过网线连接，将相机采集的裸芯片图像进行处理，并通过检测模型对裸芯片图像进行识别，判断裸芯片是否存在缺陷，当裸芯片存在缺陷时，计算机通过连接的报警器进行报警。
15.进一步地，所述台板包括旋转机构、母板、子板；所述母板上设置有多个子板；所述旋转机构与所述母板相连；每一子板用于放置裸芯片；所述旋转机构用于获取控制请求，并根据控制请求带动所述母板转动或者停止，使得每一子板上的裸芯片能够到达相机采集图像的最优位置。
16.本发明还提供了一种微波裸芯片表面缺陷智能检测装置，包括智能检测系统和外壳，微波裸芯片表面缺陷智能检测系统安装在外壳内部；
17.所述相机、第一投光单元和第二投光单元通过升降支架安装在外壳内；相机通过升降支架进行上下移动，调整相机与裸芯片之间的距离；所述第一投光单元和第二投光单元均通过连杆安装在升降支架上，第一投光单元与连杆之间以及第二投光单元与连杆之间设有万向套筒和万向球头，万向球头置于万向套筒中，通过万向球头调整投影光源照射到裸芯片的角度。
18.进一步地，所述裸芯片表面缺陷智能检测装置还包括机械手，用于对裸芯片进行抓取。
19.本发明还提供了一种微波裸芯片表面缺陷智能检测方法，包括以下步骤：
20.步骤s1，选取一个合格的微波裸芯片作为样本裸芯片固定在台板中，运动平台通过导轨和旋转驱动单元带动台板移动和旋转，使样本裸芯片各部分依次经过固定于上方的相机视野内并拍照，完成样本裸芯片图像的采集；
21.步骤s2，将相机采集到的样本裸芯片各部分图像拼接成一幅完整的全幅面标准模板图像；
22.步骤s3，对待检微波裸芯片进行检测时，对待检微波裸芯片各部分依次进行图像采集，对于每一幅局部图像，在全幅面标准模板图像中匹配出对应的区域作为子模板，将待
检局部图像与子模板进行图像配准后差分，提取疑似缺陷；
23.步骤s4，对疑似缺陷进行一级缺陷分类，分出真缺陷和伪缺陷，再将真缺陷与伪缺陷进行二级缺陷分类。
24.进一步地，所述步骤s1还包括对采集的样本裸芯片图像进行图像预处理，所述图像预处理采用中值滤波去除图像噪声，具体包括以下步骤：
25.步骤s11，选取滤波模板对目标像素点扫描后计算新像素点取代原像素点的值；
26.步骤s12，将目标像素点与其相邻像素点按灰度值大小进行排序，选取灰度值的中值与目标像素点的灰度值进行替换，公式如下：
27.g(x，y)＝median{f(x-i，y-i)}，(i，j)∈w
28.其中，f(x-i,y-i)为滤波前图像中一点的像素值，g(x,y)为目标图像进行中值滤波后得到的该点像素值，w为中值滤波器模板。
29.进一步地，所述步骤s2中通过图像拼接算法将分区采集的局部样本裸芯片图像拼接组合为一张完整的芯片图像，即全幅面标准模板，具体包括以下步骤：
30.步骤s21，提取出图像中的角点作为配准特征；
31.步骤s22，通过匹配算法配准待拼接图像中的公共角点，配准完成的图像经融合后制作为全幅面标准模板；
32.步骤s23，修正拼接误差。
33.进一步地，所述步骤s3具体包括以下步骤：
34.步骤s31，对待检微波裸芯片图像进行阈值分割，提取出待检微波裸芯片图像中的roi区域；
35.步骤s32，将待检微波裸芯片图像中的roi区域作为匹配模板，在全幅面标准模板中搜索出对应区域作为子模板，此时子模板与匹配模板大小相同，方向与位置可能出现差异；
36.步骤s33，进行图像变换，将子模板与匹配模板的像素坐标进行配准；
37.步骤s34，在区域分离过程中通过差分的方法对子模板与匹配中的像素作差，提取出差分后疑似缺陷的图像区域。
38.进一步地，所述步骤s4中，在获取到疑似缺陷的图像区域后，通过svm分类器对疑似缺陷进行分类判别，包括一级缺陷分类和二级缺陷分类，具体包括以下步骤：
39.s41，一级缺陷分类模块：在一级缺陷分类过程中，将样本分为两类并设置好一级样本标签，一类标签为伪缺陷，另一类标签为真缺陷；
40.s42，二级缺陷分类模块：在二级缺陷分类过程中，将样本分成6类并设置好二级样本标签，包括金属缺失、划伤、引线弯曲、引线污染、虚焊、合格，获取6类二级样本标签特征参数并输入至二级svm缺陷分类器中进行训练；训练完成后的缺陷分类器即可进行对微波裸芯片的缺陷进行检测。
41.与现有技术相比，本发明的有益效果如下：有效避免了漏检情况的发生，大幅提升了缺陷识别检测效率，降低了人工劳动强度。
附图说明
42.图1为本发明微波裸芯片表面缺陷智能检测系统整体框图。
43.图2为本发明微波裸芯片表面缺陷智能检测系统结构图。
44.图3为本发明控制器的电源电路。
45.图4本发明台板的一个实施例的俯视结构示意图。
46.图5为本发明裸芯片表面缺陷智能提取与分类流程图。
47.图6为本发明疑似缺陷提取示意图。
48.图7为本发明全幅面模板图像制作流程图。
49.图8为模板匹配示意图。
50.图9为本发明疑似缺陷分类模块示意图。
51.图10本发明决策树分类示意图。
具体实施方式
52.以下结合说明书附图和具体实施例对本发明的具体实施方式进行进一步阐述。
53.实施例一：
54.本发明提供了一种微波裸芯片表面缺陷智能检测系统，如图1所示。为保证裸芯片10的各部分图像都能够通过相机20进行采集，需要相机20与裸芯片10之间能发生相对位移。相对于移动相机20位置进行拍照的情况，通过移动裸芯片10来完成芯片各部分图像的全部采集更为方便。因此通过安装一个运动平台70，将裸芯片固定于运动平台70的平面中，来带动裸芯片的移动，使相机20能够采集到裸芯片各个区域的图像。在裸芯片图像的获取过程中，相机20与运动平台70是必不可少的硬件设备，为保证相机采集到的图像质量还需提供光源30进行照明，运动平台的运动需要平台驱动器60提供动力，最终相机20与平台驱动器60都需要通过工控机40来对参数进行设置。因此，裸芯片图像的获取装置包括相机20、光源30、运动平台70、平台驱动器60和工控机40。
55.光源30提供图像采集是所需的光照条件，驱动器控制运动平台70在两个方向上进行移动，裸芯片10放置于运动平台60上，相机20将采集裸芯片的表面图像，然后将芯片图像发送至工控机40，完成疑似缺陷的提取与分类过程。
56.优选地，工控机40通过平台驱动器60驱动运动平台70进行移动和旋转，使相机20采集到裸芯片10表面图像；所述运动平台70通过导轨80进行前后和左右移动，所述导轨80包括前后向移动导轨和左右向移动导轨。所述运动平台70包括载物台710、平台保持单元720和旋转驱动单元730，如图2所示。旋转驱动单元730位于导轨80上方，旋转驱动单元730嵌套在平台保持单元720内部，平台保持单元720上方设置有载物台710，所述载物台包括台板7110和支撑板7120，台板7110设置在支撑板7120上方，台板7110为圆盘形，用于放置裸芯片10，旋转驱动单元730通过旋转带动平台保持单元720和载物台710旋转，从而变换相机20拍摄裸芯片10的角度。
57.相机20通过镜头201将采集到的裸芯片表面图像进行放大，并送到工控机40进行处理。相机20采用ccd相机或者cmos相机。本发明具体实施中相机的分辨率至少需要2200
×
500像素。根据检测精度、相机性价比以及不同相机测试的结果等因素综合考虑，优选采用德国basler ace aca2500-14gm工业相机，相机分辨率调至2256
×
1500像素，这样在满足裸芯片检测精度的同时能极大提高图像后续的处理速度。
58.在缺陷检测系统中，镜头选取的合适与否将直接影响到系统整体性能。一般情况
下，选择镜头时需要考虑成像平面、工作距离、视野和景深等参数。镜头是位于相机之前的光学聚焦器，其作用主要是通过调节镜头的焦距、光圈使得相机能够灵活地改变画面的视角、亮度等，是图像采集的重要元件。必须根据检测的工作距离来确定镜头的型号。
59.在具体实施例中，相机和裸芯片的距离大致为60mm，优选采用日本computar pm-1614m型号的镜头搭配相机使用，该镜头是变焦镜头，可以实现焦距在30mm-46mm范围内的焦距变换。相机和镜头经过合理搭配后对裸芯片进行图像采集。
60.工控机40通过控制器50控制相机20、平台驱动器60和光源30。
61.所述光源30位于运动平台70上方，用于对裸芯片10进行照明，包括第一投光单元310、第二投光单元320和条纹光源330；第一投光单元310和第二投光单元320结构相同，对称分布在相机20和镜头201两侧，条纹光源330位于第一投光单元310和第二投光单元320之间。
62.所述第一投光单元310和第二投光单元320均包括投影光源3110、聚光透镜3120、图案生成单元3130和光投射透镜3140。从投影光源3110发出的光通过聚光透镜3120进入图案生成单元3130，然后，从图案生成单元3130发出的测量光通过光投射透镜3140照射到载物台710上的裸芯片上。
63.所述投影光源3110采用人工光源，包括荧光灯、白炽灯、卤钨灯、金属卤化灯、发光二极管(led)和激光灯等。采用人工光源可以极大得消除外界环境光对检测过程的影响。光源效果直接决定工件成像质量。优选采用发光二极管(led)或产生一种颜色的光的卤素灯。单色投影光源3110在色差校正的容易度方面比白色光源更有利。此外，更短的波长有利于提高形状测量的分辨率，因此，在本发明具体实施例中将蓝色光源(例如蓝色led)用作投影光源3110。通过采取led光源背光照射的成像方式，可大幅度提高投影成像的清晰度和分辨率，有效降低了因机械振动而造成的应变计敏感栅成像扭曲现象。
64.图案生成单元3130是用于生成用于结构化照明的图案光的装置，并且能够在均匀测量光和二维图案的测量光之间进行切换。例如，数字微镜装置(dmd)或液晶面板用于图案生成单元3130。dmd是具有大量二维排列的非常小的反射镜并且能够通过控制每个反射镜的倾斜度以每个像素为基础在亮状态和暗状态之间切换的显示元件。
65.利用三角测量原理测量裸芯片的三维形状的结构化照明方法可以是正弦相移法、多缝法、空间编码法等。
66.正弦相移法是将正弦条纹图案投影到裸芯片上，并且每当条纹图案以小于正弦周期的节距移动时获取捕获图像的照明方法。通过从每个捕获图像的亮度值确定每个像素的相位值并将该值转换为高度信息来获得三维形状数据。
67.多缝方式是在裸芯片上投影细的条纹图案，每当条纹图案以小于条纹间的间隙的间距移动时获取拍摄图像的照明方式。通过从每个捕获图像的亮度值确定每个像素的最大亮度的捕获定时并将该定时转换为高度信息来获得三维形状数据。
68.空间编码方式是将黑/白的占空比为50％的条纹宽度不同的多个条纹图案依次投影到裸芯片上并取得拍摄图像的照明方式。三维形状数据是通过从每个捕获图像的亮度值确定每个像素的代码值并将该值转换为高度信息来获得的。
69.图案生成单元3130可以将上述条纹图案生成为二维图案，结合使用多狭缝方法和空间编码方法以高精度获取高分辨率的三维形状数据。
70.条纹光源330向载物台710上的裸芯片10发射可见光的均匀照明光，用于检测裸芯片10的表面纹理信息，包括颜色或图案信息。条纹光源330围绕相机和镜头分布，数量在2～12之间，并且条纹光源330的光投射轴基本上平行于相机和镜头的轴线。因此，与投影光源3110的照明相比，不太可能在裸芯片上形成阴影，并且使拍摄时的死角较小。条纹光源330呈环形分布在相机和镜头周围，采用led灯，可在整个裸芯片表面实现均匀的漫射照明。
71.控制器50包括平台驱动器60的控制电路，驱动投影光源30和相机20的驱动电路，处理图像的处理电路。控制器50接收来自相机20的光信号。所述控制器还包括电源电路，如图3所示，电源电路用于给控制器供电。所述电源电路采用tps54310芯片，tps54310是德州仪器生产的一款开关电源调节芯片，它能够实现低电压输入和高电流输出(输入电压范围为3v-6v，输出电压根据需要可以在0.9v-3.3v之间调节，输出电流为3a)。内部有电压误差放大器，能够提高瞬态响应条件下的工作性能。可以分别从内部或外部设置慢启动方式。其良好的电压输出特性可用于处理器/逻辑复位、故障信号检测和连续电源。
72.在电源电路中，解耦电容c1、c3电容一端并联接地，另一端与tps54310芯片vin口连接；电阻r1一端与tps54310芯片rt口连接，另一端接地，用于设置模块的开关转换频率；电感l1一端与tps54310芯片ph口连接，另一端与电容c2连接后接地，用于对输出电压进行滤波；电容c4一端与tps54310芯片vbias口连接，另一端接地；电容c6一端与tps54310芯片ss/ena口连接，另一端接地；电容c5接在tps54310芯片ph口和boot口之间；电阻r2、r3、r5，电容c7、c8、c9组成环路补偿电路，其中电容c8与电阻r5、电容c9并联，接在tps54310芯片vsense口和comp口之间，电阻r2与电容c7、电阻r3并联，接在tps54310芯片vsense口和ph口之间；电阻r4和电阻r2作为分压电阻，控制电源模块的输出电压，具体如下：
[0073][0074]
其中v
out
为输出电压。
[0075]
工控机40是用于控制检测系统并进行裸芯片表面缺陷处理和识别，包括显示器410、键盘420和鼠标430。显示器410是用于在屏幕上显示缺陷检测结果的图像和设置信息的监视器设备。键盘420和鼠标430是用户用来进行操作输入的输入设备。工控机40可以采用个人计算机，与控制器50连接。
[0076]
优选地，本发明台板7110包括旋转机构7111、母板7112、子板7113，如图4所示。其中：所述母板7112上设置有多个子板7113；所述旋转机构7111与所述母板7112相连；每一子板7113用于放置裸芯片10；所述旋转机构7111用于获取控制请求，并根据控制请求带动所述母板7112转动或者停止，使得每一子板上的裸芯片能够到达相机采集图像的最优位置。其中，所述旋转机构可以有多种实现形式，能通过获取控制请求并驱动所述母板转动或停止即可。
[0077]
本发明通过旋转机构带动母板，使得可以在母板上设置多个子板，进而增加子板的数量，从而增加了被测裸芯片的数量，减少了更换被测器件的次数，解决了现有技术中，由于需要频繁的更换被测器件而使得操作繁琐的问题。
[0078]
优选地，所述工控机与相机通过网线连接，将相机采集的裸芯片图像进行处理，并通过检测模型对裸芯片图像进行识别，判断裸芯片是否存在缺陷，当裸芯片存在缺陷时，计算机通过连接的报警器进行报警。
[0079]
实施例二：
[0080]
本发明还提供了一种裸芯片表面缺陷智能检测装置，包括微波裸芯片表面缺陷智能检测系统和外壳，微波裸芯片表面缺陷智能检测系统安装在外壳内部；
[0081]
所述相机、第一投光单元和第二投光单元通过升降支架安装在外壳内；相机通过升降支架进行上下移动，调整相机与裸芯片之间的距离；所述第一投光单元和第二投光单元均通过连杆安装在升降支架上，第一投光单元与连杆之间以及第二投光单元与连杆之间设有万向套筒和万向球头，万向球头置于万向套筒中，通过万向球头调整投影光源照射到裸芯片的角度。
[0082]
优选地，所述裸芯片表面缺陷智能检测装置还包括机械手，用于对裸芯片进行抓取，机械手能实现裸芯片的自动搬运。
[0083]
较佳地，机械手由直线电机驱动，机械手上设有若干个真空吸嘴，真空吸嘴与外部真空发生器相连通，通过真空吸嘴吸取裸芯片，具有高精度定位取放和高速运动的特点。
[0084]
实施例三：
[0085]
本发明还提供了一种裸芯片表面缺陷智能检测方法，如图5所示。首先需要制作一幅合格全幅面图像作为标准模板。在制作过程中将一个合格芯片样本放置于运动平台中，设计合理的平移台移动路径，使芯片各部分都能依次经过固定于上方的相机视野内并拍照，将相机采集到的样片各部分图像拼接成一幅完整的全幅面标准模板图像。对待检芯片样本进行检测时，采用相同的方式对待检样本各部分依次进行图像采集，对于每一幅局部图像，在全幅面标准模板中匹配出对应的区域作为子模板，将待检局部图像与子模板进行图像配准后差分，提取疑似缺陷进行一级缺陷分类，分离出的真缺陷与伪缺陷再进行二级缺陷分类。
[0086]
1、图像采集
[0087]
微波裸芯片图像采集过程中，由于外界环境的干扰而使得芯片图像中存在噪声。噪声会导致芯片图像中存在较高比例的冗余信息，从而提高全幅面模板制作、疑似缺陷提取与疑似缺陷分类过程的难度。为降低后续图像处理过程中的计算量，本发明具体实施例中对微波裸芯片图像采用中值滤波，可以消除图像中的模糊细节，对于因脉冲干扰而造成的噪声效果明显。由于操作过程无需统计图像的特性，因此计算方便。
[0088]
中值滤波通过选取滤波模板对目标像素点扫描后计算新像素点取代原像素点的值，将目标像素点与其相邻像素点按灰度值大小进行排序，选取灰度值的中值与目标像素点的灰度值进行替换。因为图像中的噪声点和边缘点在图像像素点中属于灰度值突变的点，与相邻像素点相比存在较大数值差距。但是图像中边缘点通常并不是相邻像素的极值，而图像中的噪声点大部分为相邻像素点中的极值点。据此，可根据噪声像素点的这一特性而采用的去除噪声方法即为中值滤波法。中值滤波常用的模板有线形、方形和十字形，实际应用过程中也是需要不断调整模板的大小与形状，以获得最优效果。中值滤波算法的数学表达式如下：
[0089]
g(x,y)＝median(f(x-i,y-i)},(i,j)∈w
[0090]
其中，f(x-i,y-i)为滤波前图像中一点的像素值，g(x,y)为目标图像进行中值滤波后得到的该点像素值，w为中值滤波器模板。
[0091]
中值滤波不仅对可实现图像中噪声的去除，还能较完整地保留图像中细节信息。
本发明在具体实施例中优选一种改进的自适应加权中值滤波算法(wamf)。利用动态改变窗口滤波、中心加权中值滤波的技术。首先在图像上移动3
×
3的窗口来进行噪声检测，并把像素点划分为噪声点与非噪声点两种类型；然后根据噪声点的数量自适应调整滤波窗口的大小，并且基于相似性按照一定的规则，合理地对所有像素点进行自适应分组，并且对每组像素点赋予权重值；最后对图像中的噪声点进行加权中值滤波。该算法可以解决噪声抑制与细节保留的矛盾，通过自适应调整滤波窗口和每个像素点的分组并给予每组像素点以相应的权值，从而有效提高了自适应图像处理和细节保持能力。
[0092]
该算法分为三个步骤：首先对图像窗口像素点进行噪声检测；其次根据图像窗口噪声像素点的数量自适应调整滤波窗口大小；最后确定滤波窗口中每个像素点权重值，并利用加权中值滤波算法去除噪声。
[0093]
(1)图像噪声检测
[0094]
在图像窗口3
×
3方形中进行噪声处理，假设像素中心点(i，j)的灰度值是f(i，j)，则当前窗口中所有像素点的灰度值集合为：s
i，j
＝{f(i+k，j+r)|k，r＝-1，0，1}，计算窗口内所有像素的平均值：
[0095]
假设s
i，j
中最小灰度值是z
min
，最大灰度值是z
max
，则噪声像素点可以通过下列条件决定：如果中心点像素值为f(i，j)＝z
max
或f(i，j)＝z
min
以及|f(i，j)-average(s
i,j
)|＞d
i，j
时，判断(i，j)为噪声像素点，标记为n(i，j)＝1，非噪声像素点标记为n(i，j)＝0。人类视觉效果定义噪声检测阈值为：
[0096]
(2)滤波窗口尺寸的确定
[0097]
该算法根据当前图像窗口噪声像素点数量自适应确定滤波窗口大小。假设在3
×
3的图像窗口中寻找噪声像素点的数量，当中心点像素是噪声像素时，计算数目为：
[0098]
该滤波窗口的大小l
i，j
被自适应确定为num(s
i,j
)，依赖于3
×
3窗口中噪声像素的数量。计算公式为：
[0099][0100]
(3)噪声像素滤波
[0101]
滤波窗口大小和噪声像素点确定以后，图像像素点分为噪声像素点和非噪声像素点两种类型，其中非噪声像素点保持原来的灰度值，噪声像素点采取新的加权中值滤波算法处理噪声。一般在一个相邻区域内，中心像素点和其周围像素点存在一定的关联性，则计算滤波窗口中特定像素点(i+k，j+r)的灰度值f(i+k，j+r)和中心点像素灰度值(i，j)的相似度是似度是其中是相似函数，|f(i+k，j+r)-f(i，j)|
是独立变量，需要满足以下条件：
[0102]
1)在区间[0，∞]内必须是单调递减的函数；
[0103]
2)相似度函数为取
[0104]
3)相似度的值在[0，1]范围内。如果滤波窗口中特定像素点的灰度值与中心点像素灰度值越接近，则相似度越大，反之越小。
[0105]
利用相似度函数计算滤波窗口中所有像素点相似值并从小到大排序，根据相似值进行像素点分组并赋予相应权重值，采取加权中值滤波算法处理噪声。
[0106]
假设噪声点像素灰度值为f(i，j)，滤波窗口大小为l
i,j
＝(2n+1)
×
(2n+1)，n∈{1，2，3}，然后进行自适应操作，该滤波过程如下：
[0107]
1)计算滤波窗口中每个像素点(i+k，j+r)的相似值：
[0108][0109]
2)对滤波窗口中所有像素点(i+k，j+r)的相似值(2n+1)
×
(2n+1)，n∈{1，2，3}从小到大排序，然后进行分组，分成2n+1个。每个组都有u个像素点(u＝2n+2)，对每组像素点排序号为(w-1)
u+1
到wu(w＝1，2，
…
，2n)，组号w＝2n+1时，只有一个像素点(即最大相似度点)。组号w中像素点(i+k，j+r)的灰度值f(i+k，j+r)能赋予一个对应的权重值w(w＝1，2，
…
，2n+1)。
[0110]
3)对滤波窗口中心点像素(i，j)进行加权中值滤波，噪声点滤波以后的灰度值为：
[0111]
g(i，j)＝weighted_med{f(i-n，j-n)，f(i-n，j-n+1)，
…
，f(i+n，j+n)}。
[0112]
2、疑似缺陷提取
[0113]
疑似缺陷提取用于提取芯片中疑似缺陷区域，包含全幅面标准模板制作模块和疑似缺陷分离模块，如图6所示。
[0114]
(1)全幅面标准模板制作
[0115]
在全幅面标模板制作中，具体任务是通过图像拼接算法将分区采集的局部芯片图像拼接组合为一张完整的芯片图像。图像拼接对象仅为合格无缺陷的芯片，合格的完整芯片图又被称为全幅面标准模板。拼接流程主要包括角点提取、图像配准与融合，如图7所示。首先提取出图像中的角点作为配准特征，然后通过匹配算法配准待拼接图像中的公共角点，配准完成的图像经融合后制作为全幅面标准模板。拼接为离线完成，可以及时修正拼接误差。获得的全幅面芯片图像经过融合操作，使图像边缘的过渡区域处产生的缝隙消失。
[0116]
1)特征角点检测
[0117]
图像中的角点是指轮廓线上的局部最大曲率值点，它属于图像中的重要特征之一。角点检测过程首先提取出图像中的角点，然后利用配准算法将待拼接图像中的角点进行配对，最后以正确的配准角点为配准对象来执行拼接程序。角点特征具有丰富的特征信息，易于测量和表示，而角点对于光照的变化不敏感，基于角点的配准算法具有较高的拼接准确性与鲁棒性。因此将角点特征作为待拼接图像中的特征。
[0118]
本发明具体实施例中通过foerstner角点提取法来检测微波裸芯片图像中的角点，foerstner角点提取法通过设计平滑矩阵，搜索图像中尽可能小且接近圆的点作为特征点，通过计算图像不均匀度与同向性，再使用抑制局部最小值的方法来提取特征点。
forstner角点检测法有效的去除了伪角点。当图像中存在明显的边缘信息时，forstner角点检测法避免了多次迭代，在减少了计算量的同时很大程度上地保留了图像边缘信息。
[0119]
2)ransac图像配准法
[0120]
在提取出待拼接图像中的角点之后，将角点作为匹配对象进行匹配，然后通过图像配准算法依次匹配待拼接图像中的对应角点，使得两幅图像合并为一张较完整图像。图像中角点的配准属于相关性问题，在正确地配准两幅图像中的角点的同时，要尽量避免伪配准的出现。本发明具体实施例中通过随机抽样一致性(ransac)角点匹配算法来配准采集的角点。作为一种具有较高鲁棒性的参数估计方法，ransac角点匹配算法可以较好的处理在构建图像金字塔过程中产生的噪音，剔除误匹配点。该算法通过建立空间转换模型，匹配待拼接图像中的公共特征点，ransac角点匹配算法分为两个步骤：
[0121]
第一歩，确定两幅图像角点附近的灰度值相关性，通过归一化互相关(ncc)法确定公共角点之间的初始配对关系；
[0122]
第二歩，从获得的初始匹配点集里，持续进行迭代过程，寻找出最优参数模型，完成角点的最终配准。
[0123]
3)基于加权平均的图像融合
[0124]
由外界光照条件的影响，配准完成的芯片图像可能会包含有轻微灰度与亮度的变化，在图片中显示为缝隙。这些缝隙的存在使得图像中存在大量的冗余信息，可能导致模板匹配过程不准确，影响后续的疑似缺陷提取过程。因此需要进行融合过程以去除图像中冗余的缝隙信息，使最终图像具有良好的视觉效果。图像融合算法应当保证图像拼接后的图像在视觉上保持一致，同时尽量减少原始图像信息的损失。
[0125]
(2)疑似缺陷分离
[0126]
在疑似缺陷分离模块中，具体任务是将待检芯片图与制作完成的全幅面标准模板图进行比对，提取出待检芯片中的疑似缺陷区域，待检芯片也为分区采集图像的方式。疑似缺陷分离模块中主要包括roi(感兴趣区域)提取、模板匹配、图像变换和区域分离。首先，经过阈值分割提取出待检芯片图中的roi区域；将待检芯片图中的roi区域作为匹配模板，在全幅面标准模板中搜索出对应区域，称为子模板，此时子模板与匹配模板大小相同，方向与位置可能出现差异；经过图像变换将子模板与匹配模板的像素坐标进行配准；最后在区域分离过程中通过差分的方法对子模板与匹配中的像素作差，提取出差分后疑似缺陷的图像区域。
[0127]
本发明具体实施例中采用平滑直方图法来提取待检芯片中的匹配模板。平滑直方图法首先需要人为进行初始阈值的设定，从芯片图象中提取出目标芯片区域并将背景分离开来，随后分别求解目标芯片区域与背景区域的平均灰度值，确定相对直方图，然后通过guass滤波器展开平滑计算，取最小值作为阈值。
[0128]
通过在全幅面标准模板上搜索并提取与匹配模板对应的区域，来作为子模板。本发明具体实施例中采用基于灰度的模板匹配算法来进行匹配过程。基于灰度的模板匹配算法在全幅面模板图像中寻找与其相似度最高的子模板，从而找到正确的匹配区域。匹配模板称为t，将t在全幅面模板上进行平移，匹配到的区域称为子模板s，通过计算模板t与s的灰度相似性，来完成对最高相似度子模板的提取过程。基于灰度的模板匹配算法示意图如图8所示。
[0129]
从全幅面标准模板中搜索出的子模板与匹配模板之间虽然大小相同，但是两者之间的方向与位置可能会出现差异。通过创建匹配模板t与子模板s之间的图像变换模型，建立两幅模板之间的像素坐标转换关系来完成校准过程。
[0130]
匹配模板t与子模板图像s中的坐标一一对应后，将t与s进行比对以获得两幅图像之间的差异信息。比对前需要将s向t作规定化处理，再通过差分提取疑似缺陷区域。
[0131]
经过差分得到的疑似缺陷区域中会存在伪缺陷，通常这些伪缺陷中包含有大量的噪点信息，可初步通过阈值分割来消除噪点干扰，减少疑似缺陷中的伪缺陷信息。
[0132]
在阈值分割前的疑似缺陷中，矩形区域标记为真缺陷区域，圆形区域标记为比较难以区分的伪缺陷。经过阈值分割后，真实缺陷与部分伪缺陷被保留在疑似缺陷区域中，对这些区域进行标记，制作对应的样本标签来定义类别，以此来定义芯片表面出现的缺陷的类别。将这些伪缺陷与真实缺陷提取出来作为后续缺陷分类的训练与测试样本。其中伪缺陷可作为合格样本，其它真缺陷按实际的缺陷类型进行标签制作。在分类器训练过程中，伪缺陷不会对分类器精度造成影响。训练中伪缺陷将作为“合格”类的样本进行训练，因此训练后能够与真缺陷进行区分。
[0133]
3、疑似缺陷分类
[0134]
获取到疑似缺陷的图像样本后，通过svm(支持向量机)分类器对疑似缺陷进行分类判别。疑似缺陷分类中包括一级缺陷分类与二级缺陷分类，如图9所示。
[0135]
(1)一级缺陷分类
[0136]
在一级缺陷检测过程中，将样本分为两类并设置好样本标签，一类标签为伪缺陷，另一类标签为真缺陷。计算样本的图像特征参数，包括图像均值mean、图像灰度标准差σ、灰度平均梯度(gwg)、zernike矩、最小外接矩形长与体态比共6类参数作为一级缺陷分类器的输入向量。通过svm一级缺陷分类器进行训练后可将伪缺陷过滤出。分类出的真、伪缺陷与作为二级缺陷的样本集，通过svm分类器再进行进一步分类。
[0137]
svm基于结构风险最小化理论。主要思想是通过非线性映射函数把样本空间映射到高维空间中，使原本无法分类的问题能够在高维空间中得到解决。利用超平面来划分正负数据集，当两个平行超平面之间的距离最大时，获得最优解。
[0138]
定义的6个特征分别从形状和灰度分布对缺陷进行描述，经优化选择，否则难以对缺陷构建超平面分类。
[0139]
1)图像均值mean是常用于验证图像质量，反映了图像的亮度指数，mean值越大，图像亮度越高。
[0140]
2)图像灰度标准差σ显示了图像像素值与mean值的离散过程，σ的值越大，图像质量越高。如下式：
[0141][0142]
其中m
×
n表示图像大小，f为图像像素值，mean代表图像均值。
[0143]
3)灰度平均梯度表示为区域中各个点的灰度值与附近点的灰度值之间经过一阶加权计算后的值，灰度平均梯度可以良好的表达出图像中灰度细微的区域。定义如下式：
[0144][0145]
其中f(i,j)表示图像位于第i行、j列的灰度值，m、n代表行和列长度，g为图像的灰度平均梯度值。
[0146]
4)zernike矩常用于提取图像边缘轮廓，且具有旋转不变性的优势。
[0147]
5)最小外接矩形(mbr)指通过二维坐标来表示任意二维形状的最大矩形范围，ra和rb表示矩阵长轴与短轴，体态比表示为rb/ra。
[0148]
(2)二级缺陷分类
[0149]
在二级缺陷检测过程中，将样本分类6类并设置好样本标签，6类样本标签分别为金属缺失、划伤、引线弯曲、引线污染、虚焊与合格。设计决策树多分类法使svm分类器能够运用于样本类型较多的多分类问题，将从样本中获取的6类特征参数继续输入至二级svm缺陷分类器中进行学习。训练完成后的分类器即可进行对微波裸芯片缺陷的分类测试。
[0150]
多分类问题可以通过转化为一系列二分类问题来解决。在具体实施例中通过决策树分类法，依次设计用于分类引线污染、金属缺失、虚焊、划伤、引线弯曲和合格共6种类型的分类器，如图10所示。
[0151]
需要说明的是，上文只是对本发明进行示意性说明和阐述，本领域的技术人员应当明白，对本发明的任意修改和替换都属于本发明的保护范围。