缺陷图像自动分类标记系统、建立方法及分类标记方法与流程

[0001]
本发明涉及半导体芯片生产制造领域，具体涉及芯片制造过程的缺陷分类，特别是涉及一种缺陷图像自动分类标记系统及建立方法、基于该缺陷图像自动分类标记系统的缺陷图像自动分类标记方法、控制模块及存储介质。


背景技术：

[0002]
半导体芯片制造过程中，往往会因环境、设备和/或工艺等原因而产生微颗粒(particle)，这些微颗粒落在晶圆上，会形成各种各样的缺陷(defect)图像，由此导致生产良率的下降。随着芯片特征尺寸的不断缩小和器件集成度的日益提高，缺陷图像对器件质量的影响越来越大，因而芯片厂对缺陷图像的管控也越来越严，对缺陷图像进行快速准确地分析以找出真正影响制程的缺陷并查找出问题根源，是半导体厂内工程师日常的重要工作。
[0003]
半导体芯片制造厂每天都会产生大量的缺陷图像，传统方式是工程师通过肉眼检查缺陷图像，之后进行分类并判定图像是否异常。这种依据人工目检的方式不仅耗费大量人力，同时因为人为主观因素，对同一图像可能产生不同的分类，导致难以快速准确地查找出问题缺陷及其根源。


技术实现要素：

[0004]
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种缺陷图像自动分类标记系统及建立方法、基于该缺陷图像自动分类标记系统的缺陷图像自动分类标记方法、控制模块及存储介质，用于解决现有的半导体厂内依靠工程师肉眼检查缺陷图像并进行人工分类，不仅耗费大量人力，同时因为人为主观因素，对同一图像可能产生不同的分类，导致难以快速准确地查找出问题缺陷及其根源等问题。
[0005]
为实现上述目的及其他相关目的，本发明提供一种用于半导体芯片制备中的缺陷图像自动分类标记系统，所述缺陷图像自动分类标记系统包括：
[0006]
存储模块，用于存储缺陷图像；
[0007]
图像转换模块，与所述存储模块相连接，用于对存储的所述缺陷图像进行格式转换；
[0008]
图形识别模块，与所述图像转换模块相连接，用于对格式转换后的所述缺陷图像进行图形识别，以根据所述缺陷图像的形状进行分类标记；
[0009]
规则识别模块，与所述图像转换模块和/或所述图形识别模块相连接，用于对格式转换后无法根据缺陷图像的形状进行分类标记的缺陷图像按规则进行分类标记；
[0010]
输出模块，与所述图形识别模块及规则识别模块相连接，用于输出分类标记结果。
[0011]
可选地，所述图像转换模块将所述缺陷图像自kafka图像格式转换为点阵格式。
[0012]
可选地，所述图形识别包括图像模板匹配方法、结构相似性识别方法、感知哈希算法和直方图方法中的一种或多种。
[0013]
可选地，根据所述缺陷图像的形状将所述缺陷图像分为线形、环形、刮痕形和发散旋转形。
[0014]
可选地，所述缺陷图像根据规则识别分为正常形和聚集形。
[0015]
更可选地，所述规则识别为，对构成缺陷图像的缺陷点的间距进行识别，缺陷图像中相距<5um的缺陷点记为q1，当同一缺陷图像中的q1数量>10颗，则该缺陷图像分类标记为聚集形；缺陷图像中相距[5um,1cm]的缺陷记为q2，当同一缺陷图像中的q2数量>30颗，则该缺陷图像分类标记为聚集形，非聚集形的缺陷图像则分类标记为正常形。
[0016]
本发明还提供一种如上述任一方案中所述的缺陷图像自动分类标记系统的建立方法，包括：
[0017]
制定缺陷图像的分类类型，所述分类类型包括基于图形识别的类型和基于规则识别的类型；
[0018]
对缺陷图像进行图形识别，将缺陷图像根据不同形状存储至对应的图形库；
[0019]
对经图形识别后未归类的缺陷图像进行规则识别，将符合不同识别规则的缺陷图像存储至对应的图形库。
[0020]
本发明还提供一种运用上述任一方案中所述的缺陷图像自动分类标记系统的缺陷图像自动分类标记方法，包括：
[0021]
将待分类标记的缺陷图像进行存储并进行格式转换；
[0022]
对经格式转换后的所述缺陷图像进行图形识别，以根据所述缺陷图像的形状进行分类标记，若所述缺陷图像无法根据形状进行分类标记，则对所述缺陷图像进行规则识别，以对无法根据形状进行分类标记的缺陷图像按规则进行分类标记。
[0023]
本发明还提供一种控制模块，包括处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述控制模块执行如上述任一方案中所述的缺陷图像自动分类标记方法。
[0024]
本发明还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一方案中所述的缺陷图像自动分类标记方法。
[0025]
如上所述，本发明提供一种可基于计算机实现的缺陷图像自动分类标记系统及自动分类标记方法，相较于传统的采用人工目检及分类的方式，可以快速准确地进行缺陷图像的分类及分析，有助于快速准确地查找出问题根源，不仅有助于节省人力，而且可以避免人为主观因素造成图像分类差异，有助于提高生产良率。
附图说明
[0026]
图1显示为本发明提供的缺陷图像自动分类标记系统于一实施例中的结构示意图。
[0027]
图2及图3显示为缺陷图像的示意图。
[0028]
图4显示为本发明的控制模块于一实施例中的结构示意图。
[0029]
元件标号说明
[0030]
11
ꢀꢀꢀꢀꢀꢀꢀꢀ
存储模块
[0031]
12
ꢀꢀꢀꢀꢀꢀꢀꢀ
图像转换模块
[0032]
13
ꢀꢀꢀꢀꢀꢀꢀꢀ
图形识别模块
[0033]
14
ꢀꢀꢀꢀꢀꢀꢀꢀ
规则识别模块
[0034]
15
ꢀꢀꢀꢀꢀꢀꢀꢀ
输出模块
[0035]
21
ꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
[0036]
22
ꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
具体实施方式
[0037]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0038]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0039]
如图1所示，本发明提供一种用于半导体芯片制备中的缺陷图像自动分类标记系统，即该缺陷图像自动分类标记系统用于对半导体芯片制备过程中产生的缺陷图像进行自动分类标记，该系统包括存储模块11、图像转换模块12、图形识别模块13、规则识别模块14及输出模块15；所述存储模块11用于存储缺陷图像；所述图像转换模块12与所述存储模块11相连接，用于对存储的所述缺陷图像进行格式转换；所述图形识别模块13与所述图像转换模块12相连接，用于对格式转换后的所述缺陷图像进行图形识别，以根据所述缺陷图像的形状进行分类标记；所述规则识别模块14与所述图像转换模块12和/或所述图形识别模块13相连接，用于对格式转换后无法根据形状进行分类标记的缺陷图像按规则进行分类标记；所述输出模块15与所述图形识别模块13及规则识别模块14相连接，用于输出分类标记结果，所述输出模块15包括有线输出模块和无线输出模块中的一种或两种的结合。本发明的缺陷图像自动分类标记系统可加载于计算机上，故基于本发明的缺陷图像自动分类标记系统可进行缺陷图像的自动分类标记，相较于传统的采用人工目检及分类的方式，可以快速准确地进行缺陷图像的分类及分析，有助于快速准确地查找出问题根源，不仅有助于节省人力，而且可以避免人为主观因素造成图像分类差异，有助于提高生产良率。
[0040]
需要特别说明的是，上述各模块可以仅是一种功能上的区分而非实体上的区分，比如前述功能模块中的单个或多个可以加载于同一计算机上。
[0041]
本实施例中，作为示例，所述图像转换模块12将所述缺陷图像自kafka图像格式转换为点阵格式，即初始的所述缺陷图像可以kafka图像格式存储，当然也可以是采用其他诸如png乃至tif，jpg等格式存储，重要的是其初始存储格式使其后续适于转换为便于计算机处理的二维点阵格式，如bmp格式等。本实施例中将初始的缺陷图像存储为kafka图像格式，有利于减少存储容量，有助于满足大容量数据的实时处理需求。所述缺陷图像可以由配置于半导体厂内的缺陷捕获相机自动摄取，也可以是由工程师人工操作获得，获得的多个缺陷图像被汇集在一起并进行分类以建立一个便于自动分类标记的系统。在缺陷图像获取后可以进行预处理，即所述缺陷图像自动分类标记系统可以包括预处理模块，比如对缺陷图
像的清晰度等进行调节，或者排除干扰图像等。
[0042]
作为示例，所述图形识别包括但不限于图像模板匹配方法、结构相似性识别方法、感知哈希算法和直方图方法中的一种或多种。比如，对多个缺陷图像采用图像模板匹配方法进行匹配，以将匹配一致的缺陷图像归类至同一类型。在匹配过程中，当缺陷图像的大小不一致时，通常需要进行滑动匹配窗口，扫描整幅图像获得最好的匹配patch。即当缺陷图像的形状相同或基本相同但大小不同时也归类到同一类型。也可以采用上述方法中的多种方法进行图形识别，比如先采用直方图方法进行快速识别，若直方图方法无法识别该缺陷图像，则继续采用结构相似性识别方法进行识别，或者也可以同时采用多种方法对同一缺陷图像进行图形识别，只有在该缺陷图像通过多个图形识别时才会被归类到某一图像类型，有助于提高识别准确性。缺陷图像的形状虽然可能有多种，但发明人在长期工作中对厂内收集的所有缺陷进行分析后发现，所述缺陷图像的形状大体可以分为线形(line_shape)、环形(ring_map)、刮痕形(scratch)和发散旋转形(spin)这四种类型，图形识别模块在对缺陷图像进行识别时，将按这四种类型对缺陷图像进行分类标记。具体地，如图2的虚线框标记出的位置所示，线形是指所述缺陷图像大体呈单条线状，环形是指构成缺陷图像的缺陷像素点大体位于一个圆的周向上，刮痕形是指缺陷图像大体呈多条无规律的线状分布，而发散旋转形是指缺陷图像大体以某个中心点向外扩散。发明人对每一类形状大体相同的缺陷图像的产生原因进行分析发现，形状相同的缺陷图像的产生原因通常有很多共性，比如环状缺陷可能产生在需旋转的工艺中，线状缺陷则容易产生在晶圆的平移过程中等。故对缺陷图像进行准确分类有助于快速分析其产生原因，进而针对缺陷来源进行改善，有助于生产良率的提高。
[0043]
若缺陷图像无法按特定形状进行归类，即当图形识别模块无法对缺陷图像进行识别时，则继续由所述规则识别模块进行识别。考虑到缺陷图像的大小范围以及对良率的影响程度等的差异，本实施例中，将所述缺陷图像根据规则识别进一步分为正常形(normal)和聚集形(cluster)。规则识别模块在对无法按形状进行分类标记的缺陷图像进行识别时，将按这两种类型对缺陷图像进行分类标记。在一具体示例中，所述规则识别为，对构成缺陷图像的缺陷点的间距进行识别，缺陷图像中相距<5um的缺陷点记为q1(也可以描述为，以该缺陷点为定点，该点与其他缺陷点之间的间距＜5μm，则该点记为q1)，当同一缺陷图像中的q1数量>10颗，则该缺陷图像分类标记为聚集形；缺陷图像中相距[5um,1cm](即相距为1～5μm之间且包括端点值)的缺陷记为q2，当同一缺陷图像中的q2数量>30颗，则该缺陷图像分类标记为聚集形，非聚集形的缺陷图像则分类标记为正常形，图3中左侧为一种聚集形的缺陷图像而右侧为正常形的缺陷图像。一般情况下，不同类型的缺陷图像由不同的原因导致，而同一类型的缺陷图像存在很多共性。故对无法按特定形状进行归类的缺陷图像进一步细分，有利于进一步快速排查缺陷来源。
[0044]
当然，需要说明的是，根据不同的情况，缺陷图像的类别还可以有其他定义，本实施例中并不严格定义，但上述分类能够满足绝大部分半导体厂内的生产需求。且本发明中优选先进行图形识别再进行规则识别，可以提高分类准确性。
[0045]
作为示例，所述缺陷图像自动分类标记系统还可以包括校正和/或更新模块，以在建立所述缺陷图像自动分类标记系统后可以进行校正和/或更新，比如采用人工校正对归类不准确的缺陷图像进行重新归类，也可以将后续收集的缺陷图像采用所述缺陷图像自动
分类标记系统进行分类标记后存储至系统中以进行数据库的更新。
[0046]
本发明还提供一种如上述任一方案中所述的缺陷图像自动分类标记系统的建立方法，故前述对所述缺陷图像自动分类标记系统的介绍可全文引用至此，对此不做过多详细说明。所述建立方法包括：
[0047]
制定缺陷图像的分类类型，所述分类类型包括基于图形识别的类型和基于规则识别的类型；
[0048]
对缺陷图像进行图形识别，将缺陷图像根据不同形状存储至对应的图形库；
[0049]
对经图形识别后未归类的缺陷图像进行规则识别，将符合不同识别规则的缺陷图像存储至对应的图形库。
[0050]
需要特别说明的是，所述缺陷图像的实际存储空间可以是加载在同一硬件上，即存储于同一数据库，只是根据不同的分类类型将同一数据库划分为多个存储单元。
[0051]
具体地，所述分类类型可以由工程师根据经验制定。本实施例中，所述基于图形识别的类型包括线形、环形、刮痕形和发散旋转形，所述基于规则识别的类型包括聚集形和正常形。对缺陷图像进行图形识别之前，还可以对缺陷图像进行预处理，比如对缺陷图像的清晰度等进行调节，或者排除干扰图像等。在建立所述缺陷图像自动分类标记系统后还可以进行校正和/或更新，比如采用人工校正对归类不准确的缺陷图像进行重新归类，也可以将后续收集的缺陷图像采用所述缺陷图像自动分类标记系统进行分类标记后存储至系统中以进行数据库的更新。
[0052]
本发明还提供前述任一方案中所述的缺陷图像自动分类标记系统的运用，即提供一种基于前述任一项所述的缺陷图像自动分类标记系统的缺陷图像自动分类标记方法，故前述对所述缺陷图像自动分类标记系统的介绍可全文引用至此。所述缺陷图像自动分类标记方法包括：
[0053]
将待分类标记的缺陷图像进行存储并进行格式转换；
[0054]
对经格式转换后的所述缺陷图像进行图形识别，以根据所述缺陷图像的形状进行分类标记，若所述缺陷图像无法根据形状进行分类标记，则对所述缺陷图像进行规则识别，以对无法根据形状进行分类标记的缺陷图像按规则进行分类标记。
[0055]
具体地，作为示例，所述图像转换模块将所述缺陷图像自kafka图像格式转换为点阵格式，即初始的所述缺陷图像可以kafka图像格式存储，当然也可以是采用其他诸如png乃至tif，jpg等格式存储，重要的是其初始存储格式使其后续适于转换为便于计算机处理的二维点阵格式，如bmp格式等。本实施例中将初始的缺陷图像存储为kafka图像格式，有利于减少存储容量，有助于满足大容量数据的实时处理需求。所述缺陷图像可以由配置于半导体厂内的缺陷捕获相机自动摄取，也可以是由工程师人工操作获得，本实施例并不限制缺陷图像的来源。在缺陷图像获取后可以进行预处理，比如对缺陷图像的清晰度等进行调节，或者排除干扰图像等。
[0056]
作为示例，所述图形识别包括但不限于图像模板匹配方法、结构相似性识别方法、感知哈希算法和直方图方法中的一种或多种。比如，采用图像模板匹配方法将待分类标记的缺陷图像与所述缺陷图像自动分类标记系统进行匹配以确定待分类标记的缺陷图像是否属于线形(ine_shape)、环形(ring_map)、刮痕形(scratch)和发散旋转形(spin)中的一种，在匹配过程中，当待分类标记的缺陷图像与系统中预存的缺陷图像的大小不一致时，通
常需要进行滑动匹配窗口，扫描整幅图像获得最好的匹配patch。且根据需要，可以同时采用多种方法对同一缺陷图像进行图形识别，只有在该缺陷图像通过多个图形识别时才会被归类到某一图像类型，有助于提高识别准确性。若待分类标记的缺陷图像不符合这几种图像类型，则可以按下述规则进行进一步的规则识别：对构成缺陷图像的缺陷点的间距进行识别，缺陷图像中相距<5um的缺陷点记为q1(也可以描述为，以该缺陷点为定点，该点与其他缺陷点之间的间距＜5μm，则该点记为q1)，当同一缺陷图像中的q1数量>10颗，则该缺陷图像分类标记为聚集形；缺陷图像中相距[5um,1cm](即相距为1～5μm之间且包括端点值)的缺陷记为q2，当同一缺陷图像中的q2数量>30颗，则该缺陷图像分类标记为聚集形，非聚集形的缺陷图像则分类标记为正常形。
[0057]
上述缺陷图像自动分类标记方法不仅适用于半导体芯片制备过程中产生的缺陷图像的分类标记，还适合于任何需要分类或识别的图像分类标记。
[0058]
本发明还提供一种控制模块，其包括处理器21及存储器22；所述存储器22用于存储计算机程序；所述处理器21用于执行所述存储器22存储的计算机程序，以使所述控制模块执行如前述任一方案中所述的缺陷图像自动分类标记方法。
[0059]
需要说明的是，应理解以上模块的各个功能单元的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分通过处理元件调用软件的形式实现，部分通过硬件的形式实现。例如，所述控制模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上控制模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
[0060]
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或多个微处理器(digital singnal processor，简称dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
[0061]
如图4所示，于一实施例中，本发明的控制模块包括：处理器21及存储器22。
[0062]
所述存储器22用于存储计算机程序。
[0063]
所述存储器22包括：rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
[0064]
所述处理器21与所述存储器22相连接，用于执行所述存储器22存储的计算机程序，以使所述控制模块执行前述任一方案中所述的缺陷图像自动分类标记方法。
[0065]
优选地，所述处理器21可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器
(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0066]
本发明还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任一方案中所述的缺陷图像自动分类标记方法。
[0067]
优选地，所述存储介质包括rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
[0068]
综上，本发明提供一种用于半导体芯片制备中的缺陷图像自动分类标记系统及建立方法、基于该缺陷图像自动分类标记系统的缺陷图像自动分类标记方法、控制模块及存储介质。缺陷图像自动分类标记系统包括存储模块、图像转换模块、图形识别模块、规则识别模块及输出模块；所述存储模块用于存储缺陷图像；所述图像转换模块与所述存储模块相连接，用于对存储的所述缺陷图像进行格式转换；所述图形识别模块与所述图像转换模块相连接，用于对格式转换后的所述缺陷图像进行图形识别，以根据所述缺陷图像的形状进行分类标记；所述规则识别模块与所述图像转换模块和/或所述图形识别模块相连接，用于对格式转换后无法根据形状进行分类标记的缺陷图像按规则进行分类标记；所述输出模块与所述图形识别模块及规则识别模块相连接，用于输出分类标记结果。本发明的缺陷图像自动分类标记系统可加载于计算机上，故基于本发明的缺陷图像自动分类标记系统可进行缺陷图像的自动分类标记，相较于传统的采用人工目检及分类的方式，可以快速准确地进行缺陷图像的分类及分析，有助于快速准确地查找出问题根源，不仅有助于节省人力，而且可以避免人为主观因素造成图像分类差异，有助于提高生产良率。
[0069]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。