一种基于视觉的IC芯片缺陷的检测方法、系统和存储介质与流程

一种基于视觉的ic芯片缺陷的检测方法、系统和存储介质
技术领域
1.本发明属于图像处理技术领域，具体涉及一种基于视觉的ic芯片缺陷的检测方法、系统和存储介质。


背景技术：

2.ic芯片在生产过程中由于各种因素和生产工艺的影响会不可避免的产生各类缺陷，其中金属线路发生断路和短路缺陷会导致产品不可用，产生废品。所以ic芯片在完成封装工序之后需要经过严格的检测，在生产流程中如何提升产品质量，降低最终产品的不合格率成为这个行业不断追求的目标。
3.目前ic芯片缺陷检测主要有两种形式：一是传统的人工检测方法，通过人眼目视结合工人对缺陷的理解对产品的缺陷进行检测，该方法检测效率低，且依赖于工人对缺陷的理解程度，易发生漏检。非接触式检测，如自动光学检测系统(aoi)是该类方法中一个重要的研究反向，但是目前的基于视觉的方法中，大多采用普通的模板对比或者图像相减的方法对ic芯片的断路和短路进行检测，当模板匹配出现误差或者产品本身存在公差时，该类方法会导致漏检或者误检。
4.有鉴于此，有必要开发一种基于视觉的ic芯片缺陷的检测方法来解决上述技术问题。


技术实现要素：

5.本发明的目的在于克服现有技术的不足，提供一种基于视觉的ic芯片缺陷的检测方法、系统和存储介质。解决现有的基于视觉的方法中，大多采用普通的模板对比或者图像相减的方法对ic芯片的断路和短路进行检测，当模板匹配出现误差或者产品本身存在公差时，该类方法会导致漏检或者误检等问题。
6.本发明的一个目的在于提供一种基于视觉的ic芯片缺陷的检测方法。
7.一种基于视觉的ic芯片缺陷的检测方法，包括如下步骤：
8.s1、获取k张正常ic芯片产品的图像并进行对齐，然后将对齐后的图像进行加权融合得到模板图像im，对模板图像im进行二值化处理并提取其线路二值图像，得到线路模板图像i
bm
；
9.s2、对待检测ic芯片产品进行取图，得到待检测ic芯片产品图像i，然后采用模板匹配方法得到模板图像im到待检测ic芯片产品图像i的仿射变换系数c和待检测ic芯片产品的大致检测区域r；
10.s3、在待检测ic芯片产品的大致检测区域r中，采用基于阈值的二值化方法，得到待检测ic芯片产品图像i的线路二值图i
bi
，然后将线路模板图像i
bm
和仿射变换系数c进行仿射变换得到线路模板i
bm
在待检测ic芯片产品图像i上的投影i
bc
，并对其进行连通域标记；
11.s4、将线路二值图i
bi
和i
bc
求交集，得到相交后的线路二值图i
and
，根据线路二值图iand
中与i
bc
中单根线路所对应区域连通域个数或i
bc
中与线路二值图i
and
中单根线路所对应区域连通域个数是否大于1，从而判断待检测ic芯片产品的缺陷。
12.进一步地，步骤s1中，所述k的取值范围为50～500。
13.进一步地，步骤s1中，所述对齐的方法如下：选取其中一张产品角度接近水平的图像作为基准图像，通过仿射变换方法将其它剩余图像与基准图像进行对齐。
14.进一步地，步骤s2中，所述模板匹配方法是基于形状的模板匹配方法。
15.进一步地，步骤s4中，根据线路二值图i
and
中与i
bc
中单根线路所对应区域连通域个数是否大于1，从而判断待检测ic芯片产品的缺陷的方法如下：依次将线路二值图i
and
中与i
bc
中单根线路所对应区域ri，(i＝[1:n
bc
]，n
bc
为i
bc
中线路连通域个数)提取出来，并计算ri连通域个数m，若m》1，则判断ri中存在断路缺陷，从而确定待检测ic芯片产品存在断路缺陷。
[0016]
进一步地，步骤s4中，根据ibc中与线路二值图iand中单根线路所对应区域连通域个数是否大于1，从而判断待检测ic芯片产品的缺陷的方法如下：依次将ibc中与线路二值图iand中单根线路所对应的区域rj，(j＝[1:nand]，nand为线路二值图iand中线路连通域个数)提取出来，并计算rj连通域个数n，若n》1，则判断rj存在短路缺陷，从而确定待检测ic芯片产品存在短路缺陷。
[0017]
本发明还提供一种基于视觉的ic芯片缺陷的检测系统，所述检测系统包括：
[0018]
线路模板图像获取单元：获取k张正常ic芯片产品的图像并进行对齐，然后将对齐后的图像进行加权融合得到模板图像im，对模板图像im进行二值化处理并提取其线路二值图像，得到线路模板图像i
bm
；
[0019]
待检测ic芯片产品处理单元：对待检测ic芯片产品进行取图，得到待检测ic芯片产品图像i，然后采用模板匹配方法得到模板图像im到待检测ic芯片产品图像i的仿射变换系数c和待检测ic芯片产品的大致检测区域r；
[0020]
仿射变换单元：在待检测ic芯片产品的大致检测区域r中，采用基于阈值的二值化方法，得到待检测ic芯片产品图像i的线路二值图i
bi
，然后将线路模板图像i
bm
和仿射变换系数c进行仿射变换得到线路模板i
bm
在待检测ic芯片产品图像i上的投影i
bc
，并对其进行连通域标记；
[0021]
ic芯片缺陷的判断单元：将线路二值图i
bi
和i
bc
求交集，得到相交后的线路二值图i
and
，根据线路二值图i
and
中与i
bc
中单根线路所对应区域连通域个数或i
bc
中与线路二值图i
and
中单根线路所对应区域连通域个数是否大于1，从而判断待检测ic芯片产品的缺陷。
[0022]
本发明最后提供了一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行上述任一项所述的检测方法。
[0023]
与现有技术相比，本发明具有如下优点：
[0024]
本发明首先对正常ic芯片产品的图像进行处理，得到模板图像im和线路模板图像i
bm
；之后对待检测ic芯片产品进行取图，经过处理后，得到仿射变换系数c和待检测ic芯片产品的大致检测区域r；然后在待检测ic芯片产品的大致检测区域r中，经处理得到待检测ic芯片产品图像i的线路二值图i
bi
，接着将线路模板图像i
bm
和仿射变换系数c进行仿射变换得到线路模板i
bm
在待检测ic芯片产品图像i上的投影i
bc
，并对其进行连通域标记；最后将线路二值图i
bi
和i
bc
求交集，得到相交后的线路二值图i
and
，根据线路二值图i
and
中与i
bc
中
单根线路所对应区域连通域个数或i
bc
中与线路二值图i
and
中单根线路所对应区域连通域个数是否大于1，从而判断待检测ic芯片产品的缺陷；整个过程进行非接触式的自动检测，可以减少产品的二次损伤，提高检测效率；同时不受匹配误差的影响，能更加准确检测ic芯片产品的断路和短路缺陷。
附图说明
[0025]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]
图1为本发明基于视觉的ic芯片缺陷的检测方法流程图；
[0027]
图2为本发明基于视觉的ic芯片缺陷的检测系统框架图；
[0028]
图3为本发明基于视觉的ic芯片断路缺陷检测流程图；
[0029]
图4为本发明基于视觉的ic芯片短路缺陷检测流程图。
具体实施方式
[0030]
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0031]
请参阅图1，一种基于视觉的ic芯片缺陷的检测方法，包括如下步骤：
[0032]
s1、获取k张正常ic芯片产品的图像并进行对齐，然后将对齐后的图像进行加权融合得到模板图像im，对模板图像im进行二值化处理并提取其线路二值图像，得到线路模板图像i
bm
；
[0033]
s2、对待检测ic芯片产品进行取图，得到待检测ic芯片产品图像i，然后采用模板匹配方法得到模板图像im到待检测ic芯片产品图像i的仿射变换系数c和待检测ic芯片产品的大致检测区域r；
[0034]
s3、在待检测ic芯片产品的大致检测区域r中，采用基于阈值的二值化方法，得到待检测ic芯片产品图像i的线路二值图i
bi
，然后将线路模板图像i
bm
和仿射变换系数c进行仿射变换得到线路模板i
bm
在待检测ic芯片产品图像i上的投影i
bc
，并对其进行连通域标记；
[0035]
s4、将线路二值图i
bi
和i
bc
求交集，得到相交后的线路二值图i
and
，根据线路二值图i
and
中与i
bc
中单根线路所对应区域连通域个数或i
bc
中与线路二值图i
and
中单根线路所对应区域连通域个数是否大于1，从而判断待检测ic芯片产品的缺陷。
[0036]
具体的，步骤s1中，所述k的取值范围为50～500。本方案中可以根据融合图像效果进行选择，从50开始，若融合图像效果不佳则增大，其目的主要是通过多张图像融合消除线路的毛刺现象，使线路模板图像更加准确。
[0037]
具体的，步骤s1中，所述对齐的方法如下：选取其中一张产品角度接近水平的图像作为基准图像，通过仿射变换方法将其它剩余图像与基准图像进行对齐。
[0038]
具体的，所述模板匹配方法是基于形状的模板匹配方法。需要说明的是，虽然本方案中采用的是基于形状的模板匹配方法，但其他常规的模板匹配方法也在本发明的保护范围之类。
[0039]
具体的，请继续参阅图1和图3，步骤s4中，根据线路二值图i
and
中与i
bc
中单根线路所对应区域连通域个数是否大于1，从而判断待检测ic芯片产品的缺陷的方法如下：依次将线路二值图i
and
中与i
bc
中单根线路所对应区域ri，(i＝[1:n
bc
]，n
bc
为i
bc
中线路连通域个数)提取出来，并计算ri连通域个数m，若m》1，则判断ri中存在断路缺陷，从而确定待检测ic芯片产品存在断路缺陷。
[0040]
具体的，请继续参阅图1和图4，步骤s4中，根据ibc中与线路二值图iand中单根线路所对应区域连通域个数是否大于1，从而判断待检测ic芯片产品的缺陷的方法如下：依次将ibc中与线路二值图iand中单根线路所对应的区域rj，(j＝[1:nand]，nand为线路二值图iand中线路连通域个数)提取出来，并计算rj连通域个数n，若n》1，则判断rj存在短路缺陷，从而确定待检测ic芯片产品存在短路缺陷。
[0041]
请继续参阅图2，本发明还提供一种基于视觉的ic芯片缺陷的检测系统，所述检测系统包括：线路模板图像获取单元301、待检测ic芯片产品处理单元302、仿射变换单元303和ic芯片缺陷的判断单元304；
[0042]
所述线路模板图像获取单元获取k张正常ic芯片产品的图像并进行对齐，然后将对齐后的图像进行加权融合得到模板图像im，对模板图像im进行二值化处理并提取其线路二值图像，得到线路模板图像i
bm
；
[0043]
所述待检测ic芯片产品处理单元对待检测ic芯片产品进行取图，得到待检测ic芯片产品图像i，然后采用模板匹配方法得到模板图像im到待检测ic芯片产品图像i的仿射变换系数c和待检测ic芯片产品的大致检测区域r；
[0044]
所述仿射变换单元在待检测ic芯片产品的大致检测区域r中，采用基于阈值的二值化方法，得到待检测ic芯片产品图像i的线路二值图i
bi
，然后将线路模板图像i
bm
和仿射变换系数c进行仿射变换得到线路模板i
bm
在待检测ic芯片产品图像i上的投影i
bc
，并对其进行连通域标记；
[0045]
所述ic芯片缺陷的判断单元将线路二值图i
bi
和i
bc
求交集，得到相交后的线路二值图i
and
，根据线路二值图i
and
中与i
bc
中单根线路所对应区域连通域个数或i
bc
中与线路二值图i
and
中单根线路所对应区域连通域个数是否大于1，从而判断待检测ic芯片产品的缺陷。
[0046]
本发明还提供了一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行上述任一项所述的检测方法。例如，所述计算机程序被处理器加载可以执行如下步骤：
[0047]
获取k张正常ic芯片产品的图像并进行对齐，然后将对齐后的图像进行加权融合得到模板图像im，对模板图像im进行二值化处理并提取其线路二值图像，得到线路模板图像i
bm
；对待检测ic芯片产品进行取图，得到待检测ic芯片产品图像i，然后采用模板匹配方法得到模板图像im到待检测ic芯片产品图像i的仿射变换系数c和待检测ic芯片产品的大致检测区域r；在待检测ic芯片产品的大致检测区域r中，采用基于阈值的二值化方法，得到待检测ic芯片产品图像i的线路二值图i
bi
，然后将线路模板图像i
bm
和仿射变换系数c进行仿
射变换得到线路模板i
bm
在待检测ic芯片产品图像i上的投影i
bc
，并对其进行连通域标记；将线路二值图i
bi
和i
bc
求交集，得到相交后的线路二值图i
and
，根据线路二值图i
and
中与i
bc
中单根线路所对应区域连通域个数或i
bc
中与线路二值图i
and
中单根线路所对应区域连通域个数是否大于1，从而判断待检测ic芯片产品的缺陷。
[0048]
其中，计算机可读存储介质可以是前述实施例的图像处理设备的内部存储单元，例如图像处理设备的硬盘或内存。计算机可读存储介质也可以是图像处理设备的外部存储设备，例如图像处理设备上配备的插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)等。
[0049]
以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。