一种用于芯片外观检测的机器视觉集成检测系统的制作方法

1.本发明属于检测技术领域，具体涉及一种用于芯片外观检测的机器视觉集成检测系统。


背景技术：

2.半导体芯片在各个领域用途广泛，在芯片制造的过程中，表面缺陷是不可避免地，需要对其进行外观检测，以控制产品质量和保证后续生产环节正常进行。
3.传统的芯片外观检测流程主要使用人工的方式，依靠检测人员手动将待检测芯片放置于平台上，然后通过目测进行人工检测。该方式会因为人眼疲劳与手动测量产生误差，且自动化程度较低，效率低下，也无法及时对异常件进行处理和测量的结果在数据库存档，不能够适应当今人工成本上升，检测精度和速度要求高的工业实际需求。


技术实现要素：

4.本发明的目的在于解决现有技术中芯片表面缺陷难以自动化检测的缺陷，并提供一种用于芯片外观检测的机器视觉集成检测系统。
5.本发明所采用的具体技术方案如下：
6.一种用于芯片外观检测的机器视觉集成检测系统，其包括工程设置模块、硬件控制模块、图像处理模块、外观检测模块、数据仓库模块和检测报告模块；
7.所述工程设置模块用于构建针对当前待检测芯片的工程并配置工程参数信息，其包括三个子模块，分别为检测工艺子模块、检测流程子模块和检测模板子模块；所述检测工艺子模块用于设置当前工程的待检测芯片工艺参数，包括芯片尺寸、芯片形状和芯片表面的特征场；所述检测流程子模块用于设置当前工程所需的检测内容以及检测标准，所述检测内容包括需人工进行的人工检测和由图像处理算法自动进行的微观检测；所述检测模板子模块用于设置当前工程的检测区域模板，每个检测区域模板为所述特征场中的一个特征区域；
8.所述硬件控制模块用于控制芯片表面缺陷检测所需硬件设备的启停与运动，受控的所述硬件设备包括机械臂、显微成像设备和载物台；所述机械臂用于按照所述工程设置模块中设置的检测内容进行作动，将待检测芯片放置于载物台上进行成像拍摄，并在拍摄完毕后将其从载物台上移除；所述显微成像设备用于对载物台上的待检测芯片进行放大成像从而得到芯片表面图像；
9.所述图像处理模块用于获取所述硬件控制模块中得到的芯片表面图像，并基于所述工程设置模块设置的工程参数信息对芯片表面图像进行图像处理，得到待检测芯片表面部件轮廓的几何图案；
10.所述外观检测模块用于在所述图像处理模块中得到的待检测芯片表面部件轮廓的几何图案基础上，按照所述工程设置模块设置的微观检测内容自动计算相应的检测指标，并按照所述工程设置模块设置的检测标准生成检测结果；
11.所述数据仓库模块用于存储和管理检测系统中其余模块产生的数据，并提供模块之间的数据调用和传输功能；
12.所述检测报告模块用于获取外观检测模块中的检测结果并对其进行可视化，同时从数据仓库模块中读取其余模块存储的数据，按照预设的报告模板生成检测结果报告；所述检测结果报告包含每个检测区域模板在芯片表面图像上的匹配结果图像以及所有微观检测内容对应的检测指标以及检测结果。
13.作为优选，所述硬件控制模块中，显微成像设备为连接有显微镜的工业ccd相机，显微镜置于载物台上，用于对载物台上的待检测芯片进行放大并将放大后图像传输至工业ccd相机进行图像成像。
14.作为优选，所述硬件控制模块通过socket方式与下位的各受控硬件通信，通过api调用方式实现对硬件设备的控制，且硬件控制模块对外提供设置硬件参数和配套软件参数的系统ui界面。
15.作为优选，所述图像处理模块中的图像处理流程如下：
16.首先，对硬件控制模块中得到的芯片表面图像进行灰度化处理，并根据所述检测模板子模块中设置的每个检测区域模板，利用一个与检测区域模板相同尺寸的滑窗在芯片表面图像上进行滑动扫描，基于归一化相关系数计算滑窗内图像块与所述待测区域模版之间的匹配度，选择滑动扫描过程中匹配度最高的滑窗内图像块作为检测区域模板对应的待检测匹配图像；然后，对待检测匹配图像进行均值滤波处理去噪后，再通过自适应阈值法进行二值化处理，通过two-pass算法对得到的二值图进行区域连通，从而得到特征图；最后使用霍夫变化对特征图进行拟合，得到待检测芯片表面部件轮廓的几何图案。
17.作为优选，所述外观检测模块中，先按照所述检测流程子模块中设置的微观检测内容，基于所述几何图案以图像像素距离形式计算出每一项微观检测内容中的检测指标，然后根据芯片表面图像对应的成像设备的标定参数，将图像像素距离形式的检测指标映射为实际物理尺寸下的检测指标；对于每个具有对应检测标准的检测指标，读取所述工程设置模块设置的检测标准进行判断，从而生成检测结果。
18.作为优选，所述检测内容包括芯片的线宽和芯片上层叠的两个组件之间的对位偏差。
19.作为优选，所述检测内容中的人工检测包括宏观检查和背面检查，宏观检查和背面检查均通过人工目视进行检测，所述机械臂需按照检查顺序在微观检测之前或之后将待检测芯片移动至满足检测要求的姿态。
20.作为优选，所述检测报告模块包括盘片视图、综合检测结果和结果洋流图。
21.作为优选，所述检测报告模块中包含的综合检测结果中，记录有一个检测工程整体的芯片检测指标均值与良品率。
22.作为优选，所述良品率通过3σ准则进行判定，测量结果在(μ-3σ,μ+3σ)内的测量点为良品，统计结果落在3σ外的测量次数作为坏点数，当芯片上的坏点比例超高设定值时即认定为坏片并报警。
23.作为优选，所述检测报告模块中支持报告数据的导出和二次编辑。
24.本发明相对于现有技术而言，具有以下有益效果：
25.1、本发明对芯片外观缺陷的检测速度快，效率高。使用本发明的系统可实现智能
化控制代替人工操作,无需人工操作对芯片外观数据进行检测,不仅节省人力资源,且对避免在流程上出现错检漏检的情况。
26.2、本发明的检测结果精度高，对十微米级目标的测量结果误差在百纳米内，误差率低于人工方式。
27.3、本发明的系统根据检测结果形成的报告内容丰富，使用便捷。使用传统方式检测结果数据单一，本发明的检测报告模块可以形成多样结果数据，解决了对结果二次分析的不便，且拥有导出和存档功能，操作方便。
附图说明
28.图1为一种用于芯片外观检测的机器视觉集成检测系统的组成示意图；
29.图2为芯片外观检测系统的使用操作流程图。
具体实施方式
30.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。
31.如图1所示，在本发明的一个较佳实施例中，提供了一种用于芯片外观检测的机器视觉集成检测系统，其包括工程设置模块、硬件控制模块、图像处理模块、外观检测模块、数据仓库模块和检测报告模块。该系统使用软硬件结合的方式，替代检测中部分需要手动完成的操作，较大程度简化检测流程，提高检测效率和准确率。该系统使用机器视觉的方法代替人工目检，使用接口调用控制硬件设备代替手工操作，并提供检测数据归档与报告功能。下面分别对各模块的具体功能和各模块之间的配合进行详细描述。
32.工程设置模块用于构建针对当前待检测芯片的工程并配置工程参数信息，其包括三个子模块，分别为检测工艺子模块、检测流程子模块和检测模板子模块。不同类型的芯片具有不同的表面结构，因此每一类芯片需要在本检测系统中构建对应的检测工程，工程参数可由三个子模块进行设置。检测工艺子模块用于设置当前工程的待检测芯片工艺参数，包括芯片尺寸、芯片形状和芯片表面的特征场。所谓的特征场是指整个待检测芯片表面的所有特征区域组成的分布场。检测流程子模块用于设置当前工程所需的检测内容以及检测标准，具体的检测内容包括需人工进行的人工检测和由图像处理算法自动进行的微观检测，而检测标准则是每个检测内容中检测指标的标准值或者检测结果的判断准则。检测模板子模块用于设置当前工程的检测区域模板，每个检测区域模板为前述特征场中的一个特征区域。针对单个芯片中可根据感兴趣区域roi设置多个检测区域模板。
33.在本发明的实施例中，当前工程中的检测内容包括但不限于：宏观检测、背面(双背面)检测、微观检测(微观检测内容可包括芯片的线宽和芯片上层叠的两个组件之间的对位偏差、3sigma等)，检测标准需设置上下限、均值等。另外检测模板子模块还可以用于设置当前工程中图像处理算法内的检测算法具体控制参数等。整个工程设置模块中设置的工程参数信息，可用于系统自动化控制硬件和计算机视觉检测，在设定完成后将储存到数据仓
库中，供检测读取和多次复用。
34.硬件控制模块用于控制芯片表面缺陷检测所需硬件设备的启停与运动，受控的所述硬件设备包括机械臂、显微成像设备和载物台。其中，机械臂用于按照所述工程设置模块中设置的检测内容进行作动，将待检测芯片放置于载物台上进行成像拍摄，并在拍摄完毕后将其从载物台上移除。显微成像设备用于对载物台上的待检测芯片进行放大成像从而得到芯片表面图像。
35.在本发明的实施例中，硬件控制模块是硬件设备和软件系统的界面，并涵盖了相关硬件参数设定，同时兼顾软硬件设备的初始化和运行状态监控。该模块与受控的下位硬件盘片运输机械臂、工业ccd相机、显微镜、载物台等通过socket方式与下位硬件设备通信，通过api调用等方式实现对硬件设备的控制。且硬件控制模块还可以对外提供设置硬件参数和配套软件参数的系统ui界面。
36.图像处理模块用于获取前述硬件控制模块中得到的芯片表面图像，并基于前述工程设置模块设置的工程参数信息对芯片表面图像进行图像处理，得到待检测芯片表面部件轮廓的几何图案。
37.在本发明的实施例中，显微成像设备为连接有显微镜的工业ccd相机，显微镜置于载物台上，用于对载物台上的待检测芯片进行放大并将放大后图像传输至工业ccd相机进行图像成像。ccd工业相机与显微设备的组合可实时传输给系统当前待测芯片表面的图像，该图像有分辨率高，图像风格可控的特点。而且图像处理模块还包括对图像的处理，包括对图像裁剪以控制像素大小，对图像灰度化以减少运算量，对图像二值化以提取边缘信息等，便于后续对图像的分析和检测。
38.下面具体展示一个图像处理模块中的图像处理流程，其包括1)～5)步骤，具体如下：
39.1)、获取待检测芯片的芯片表面图像以及待测区域模版。芯片表面图像由前述的工业ccd相机对待检测芯片的表面进行显微俯拍而成，待测区域模版为基于感兴趣区域从待检测芯片对应的标准芯片表面俯拍图像中提取的子图像块，预先处理成灰度图像并通过检测模板子模块进行指定。
40.2)、对待检测芯片的芯片表面图像进行灰度化处理后，利用一个与所述待测区域模版相同尺寸的滑窗在芯片表面图像上进行滑动扫描，并基于归一化相关系数计算滑窗内图像块与待测区域模版之间的匹配度，选择滑动扫描过程中匹配度最高的滑窗内图像块作为待检测的匹配图像。上述匹配度的计算公式为：
[0041][0042]
式中：匹配度r的值域为-1～1之间的实数，表示滑窗内图像块a与待测区域模版b的匹配程度，r值越大表示匹配程度越高；滑窗内图像块a与待测区域模版b的大小均为m*n，a
mn
和b
mn
分别表示滑窗内图像块a与待测区域模版b中(m,n)位置的灰度值，m＝1,2,
…
,m，n＝1,2,
…
,n，分别表示滑窗内图像块a与待测区域模版b的灰度均值。
[0043]
3)、对匹配图像进行均值滤波处理以消除图像噪声，得到增强图像。
[0044]
4)、对增强图像通过自适应阈值法进行二值化处理，得到作为初始轮廓的二值图；再通过two-pass算法对二值图进行区域连通，从而得到去除轮廓中无关信息后的特征图。二值化处理采用的自适应阈值法可以选择大津法或高斯法，每一类待检测芯片可分别预先指定一种具有最佳轮廓分割效果的自适应阈值法。
[0045]
5)、使用霍夫变化对特征图进行拟合，得到的拟合结果为待检测芯片表面部件轮廓的几何图案。
[0046]
外观检测模块用于在前述图像处理模块中得到的待检测芯片表面部件轮廓的几何图案基础上，按照前述工程设置模块设置的微观检测内容自动计算相应的检测指标，并按照前述工程设置模块设置的检测标准生成检测结果。
[0047]
在本发明的实施例中，外观检测模块是本系统的核心，可基于待检测芯片表面部件轮廓的几何图案对微观检测内容进行测量。微观检测内容和检测标准的选定依据是从数据仓库模块中读取的工程信息。完成所有测量项目后，模块将测定结果数据与结果图像传入检测报告模块。
[0048]
在本发明的实施例中，外观检测模块中的检测结果生成过程如下：先按照所述检测流程子模块中设置的微观检测内容，基于前述获得的几何图案以图像像素距离形式计算出每一项微观检测内容中的检测指标，然后根据芯片表面图像对应的成像设备的标定参数，将图像像素距离形式的检测指标映射为实际物理尺寸下的检测指标。对于每个具有对应检测标准的检测指标，读取前述工程设置模块设置的检测标准进行判断，从而生成检测结果。
[0049]
数据仓库模块用于存储和管理检测系统中其余模块产生的数据，并提供模块之间的数据调用和传输功能。
[0050]
在本发明的实施例中，数据仓库模块是本系统的数据中心，由一个sqlite数据库和若干结构化记录文件组成，负责系统中大部分数据的存取和管理，实现数据归档和持久化相关操作。数据仓库模块中保存硬件设备的参数信息、所有检测工程的参数信息与检测流程、检测过程与结果中的各项数据与图片。
[0051]
检测报告模块用于获取外观检测模块中的检测结果并对其进行可视化，同时从数据仓库模块中读取其余模块存储的数据，按照预设的报告模板生成检测结果报告。检测结果报告包含每个检测区域模板在芯片表面图像上的匹配结果图像以及所有微观检测内容对应的检测指标以及检测结果。
[0052]
在本发明的实施例中，检测报告模块与外观检测模块构成数据传输，负责接检测结果并对检测结果进行的可视化。检测报告模块接收来自检测模块的数据后，形成的检测结果报告中可包含每个检测点的匹配结果图像与微米级测量结果，根据设定工程参数识别坏点进行表示。整体的，报告形成基于全部数据的洋流图，给出综合检测结果等统计数据。综合检测结果中可以记录一个检测工程整体的芯片检测指标均值与良品率。该检测报告模块还可支持报告数据的导出和二次编辑。
[0053]
需要注意的是，所述检测内容中的人工检测包括宏观检查和背面检查。宏观检查和背面检查均通过人工目视进行检测，宏观检查是对芯片的整体外观进行宏观观察，判断是否存在明显缺陷，而背面检查则需要对芯片的背面进行缺陷检查。由于本发明中芯片是由机械臂进行自动移动的，因此若检测内容中存在宏观检查和背面检查，则机械臂需按照
检查顺序在微观检测之前或之后将待检测芯片移动至满足检测要求的姿态。
[0054]
下面将通过一个具体实施例来展示上述用于芯片外观检测的机器视觉集成检测系统的具体实现以及操作流程。
[0055]
步骤一：第一次成功登录该检测系统后，需要首先设定硬件参数。该操作在整个系统使用过程中只需使用一次。设定内容包括：相机标定、平台倾斜、载物偏置等。目的是完成硬件设施和软件系统的连接，使系统可正确操控硬件，系统可进行准确测量。
[0056]
步骤二：进入工程参数设定模块，该流程建立测量工程，包括对测量内容的相关工艺参数和需要检测的项目的设定。不同的芯片的大小、形状、厚度等参数各有不同，为提高系统的可复用程度，达到不同测量内容通用的效果。在工程参数设定模块设定所测芯片盘片的形状、方向、大小、厚度，待测特征场和测量点数据，以及对于该工程需要测定内容如宏观检查、微观检查、(双)背面检查等，系统根据设定的测量内容，选择该工程所需的检测流程，将相关数据保存到数据平台模块。
[0057]
步骤三：硬件控制模块根据数据平台中测量工程的相关数据开始测量流程。检测按照宏观到微观的顺序进行。机械臂自动上料。首先进行宏观检查，机械臂抓取盘片移动至观测区，移动和旋转，进行宏观、背面和双背面检查。此过程还包括初筛，对于残片坏片，机械臂把他们抓取到废弃区域并重新抓取。最后进行微观检查，根据待测特征场在盘片上的相对位置将待测芯片移动到可供ccd工业相机组的检测区域。
[0058]
步骤四：使用图像处理模块打开ccd工业相机，获取芯片图像。使用归一化相关系数的方法匹配到待测模板，然后对待测图像去色得到灰度图，使用均值滤波等方法抑制图像噪声，然后综合使用大津法和高斯窗口法计算出当前图像自适应阈值对图像二值化得到图像边缘特征信息，再使用two-pass方法对二值图像进行联通形成特征图，最后使用霍夫变化对特征图进行拟合，得到待检测芯片表面部件轮廓的几何图案。具体如前述步骤1)～5)所示。将几何图案存入数据平台并在软件上输出。
[0059]
步骤五：外观检测模块读取图像的边缘特征信息，构建可以用于测量的边缘图像。使用two-pass方法，对图像的特征图像进行联通，联通后的图像符合期望测量的区域类型，类型分为封闭和开口两种，对于封闭的图像可以测量线宽和对位偏差等数据，对于开口类型可以测量线宽的等数据。所有测量结果以像素为单位，后根据相机的标定结果通过矩阵运算求得以微米为单位的实际数据，存入数据仓库模块。
[0060]
至此本轮芯片外观检测结束，若仍有工程待测，则重复步骤二到步骤五，开始下一轮检测，否则可查看检测结果报告。
[0061]
步骤六：系统中的检测报告模块将芯片外观检测结果生成检测报告，包括构建盘片视图，综合计算检测结果并生成结果洋流图。
[0062]
6.1构建盘片视图
[0063]
盘片视图是检测报告模块根据盘片的如形状大小、缺口、特征场等检测相关特征构建的，可以表现检测对象共有特点的，检测具体内容无关的视图。盘片视图继承qt框架的qgrphicsview控件，盘片视图过程如下：
[0064]
(1)添加场景对象qgraphicsscene到视图中，对齐场景和视图圆点避免绘制偏移。
[0065]
(2)计算特征场分布，构造特征场视图集。记特征场视图集合为s
field
＝{v
ij
|i∈(0，mw),j∈(0，mh)}，其中v
ij
为以盘片视图的原点为原点的，位于像素坐标(i,j)的特征场，
用qpushbutton表现，mw和mh分别为盘片视图的长和宽，由从数据平台传来的特征场长宽与数量求得，计算公式如下：
[0066][0067]
(3)计算盘片轮廓，轮廓位置和大小由外界矩形确定，定义为r
bound
＝{x,y,w,h}，位置计算为：宽高计算为：w＝row*w
field
，h＝col*h
field
。
[0068]
(3)染色操作。对于s
field
中的每一个特征场，判断是否被包含在r
boud
内，若结果为假，设置该特征场不可选中并置灰。
[0069]
6.2综合计算检测结果
[0070]
检测报告模块还包括综合计算检测结果的功能：一批芯片外观检测结果由多方面决定，其中一项为该检测工程整体均值与良品率。本文使用3σ准则作为判断良品的标准。计算过程如下：
[0071]
(1)计算线宽数据的均值、标准差。其中原始数据为x方向和y方向线宽测量结果构成的矩阵，结果矩阵
[0072][0073]
第一行为x方向线宽结果，第二行为y方向线宽结果。
[0074]
(2)计算对位偏差。对位偏差是指层叠的两个芯片组件因中心偏移或旋转造成未完全对正形成的误差。本系统对对位偏差的计算法是：使用处理过的边缘数据拟合为直线，比较内边缘与外边缘直线斜率与截距求得对位偏差。具体是：输入m个特征场坐标，形成矩阵
[0075][0076]
扩充矩阵信息m＝[1,0,u,v],其中1,0,u,v均为长度为m的列向量；输入m个特征场对应测量结果信息，形成矩阵m1＝[mx,my],其中mx和my均为长度为m的列向量；做多元线性回归m1@x＝m,求得向量x＝(tx,t；,rot,mag)，分别为x偏差，y偏差，旋转角度，缩放倍数。(4)统计良品率，剔除坏点。使用3σ准则判断良品，是指接受测量结果在(μ-3σ,μ+3σ)内的测量点为良品，统计结果落在在3σ外的测量次数作为坏点数，当坏点比例超高设定值时即认为坏片并报警。
[0077]
6.3生成结果洋流图
[0078]
为更好的展示线宽和对位偏差测量结果，本系统使用洋流图进行报告的数据可视化，主要步骤为：
[0079]
(1)绘制盘片。建立长宽为1000像素的画布，以左上角未圆点，分别按照特征场的长和宽为步长绘制线条作为特征场的边缘。按照盘片的形状大小绘制盘片边缘，填充并裁剪盘片外画布内容，形成盘片示意图。
[0080]
(2)测量数据标注。根据数据平台中的测量结果，在盘片示意图对应位置上标注测
量结果，线宽测量以(chx，ch；)的形式标注，cdx和cdy分别表示x方向和y方向长度，对位偏差则已箭头形式标注，箭头指向表示旋转方向，箭头长度表示偏差长度。
[0081]
报告中除了包含所有特征点的单个检测图像、单个检测数据和工程检测洋流图和统计数据，还提供结构供用户导出pdf文件或excel文件进行二次编辑和打印。系统还为报告形成以“检测时间-工程名-编号”为索引的报告文件保存在数据中心，方便检索和查看。
[0082]
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。