测试系统及适应性测试制法产生方法与流程

本发明是有关于测试装置，特别是有关于一种测试系统及适应性测试制法产生方法。

背景技术：

在存储器制造中，因不同的存储器制造工艺、设计、及特性，存储器的测试制法的条件与测试样本(pattern)会随着不同的测试阶段透过手动调整更新以达到适当的测试覆盖率(testcoverage)与合理的测试时间。然而，此存储器测试过程常耗费大量的人力资源与中测台测试成本，并且无法即时解决制造工艺变异所造成的品质与成品率损失的问题。

技术实现要素：

本发明是提供一种测试系统，包括：一测试设备，用以对一待测装置进行测试；以及一测试控制装置，用以执行一测试制法以控制该测试设备对该待测装置进行在该测试制法中之多个第一测试项目，其中该测试控制装置是由该测试设备取得各第一测试项目的测试结果，并利用一测试制法类神经网络分析各第一测试项目的该测试结果以产生下一个测试循环的该测试制法。

本发明更提供一种适应性测试制法产生方法，用于一测试系统，该测试系统包括一测试设备，用以对一待测装置进行测试，该方法包括：执行一测试制法以控制该测试设备对该待测装置进行在该测试制法中的多个第一测试项目；由该测试设备取得各第一测试项目的测试结果；以及利用一测试制法类神经网络分析各第一测试项目的该测试结果以产生下一个测试循环的该测试制法。

本发明提供的测试系统及适应性测试制法产生方法能够节省大量的人力资源与中测台测试成本，并且即时解决制造工艺变异所造成的品质与成品率损失的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明一实施例中的测试系统的功能方块图。

图2是本发明实施例中传统的测试制法修改方法的示意图。

图3是本发明一实施例中的适应性测试制法产生方法的示意图。

图4a～图4d是本发明一实施例中的不同测试项目失效位图的示意图。

图5是本发明一实施例中的测试制法类神经网路的示意图。

图6是本发明一实施例中的测试覆盖率及测试时间相对于测试循环次数的关系的示意图。

附图标记：

100～测试系统；

110～测试设备；

120～测试控制装置；

130～待测装置；

121～处理单元；

122～存储器单元；

123～储存装置；

124～测试项目数据库；

125～测试项目排程制法；

410、420、430、440～失效位图；

411、421、441－446～独特失效位；

448～范围；

500～测试制法类神经网路；

510～测试项目层；

520～失效位图层；

530～必要测试项目层；

540～优先权重层；

550～后续测试项目层；

501～输入层；

502～处理层；

503～输出层；

5101－510n、5201－520n、5301－530n～细胞单元；

5401－540n、5501－550n～细胞单元；

610、620～曲线；

s302－s312～步骤。

具体实施方式

为使本发明的上述目的、特征和优点能更明显易懂，下文特举一较佳实施例，并配合所附图式，作详细说明如下。

图1是本发明一实施例中的测试系统的功能方块图。在一实施例中，测试系统100包括一测试设备110及一测试控制装置120。测试设备110是用以对待测的一或多个待测装置(device-under-test)130进行一连串不同的测试项目，以获得待测装置130在各测试项目所相应的一测试结果。测试设备110例如为一自动测试设备(automatictestequipment，ate)，例如可用硬件、软件、或其组合以对待测的一或多个待测装置130进行不同的测试项目。

在一实施例中，待测装置130例如可为存储器芯片(memorychip)，例如是动态随机存取存储器(dram)芯片、快闪存储器(flashmemory)芯片，但本发明并不限于此。

在另一实施例中，待测装置130例如可为一半导体芯片，例如其可划分为多个芯片(die)，其中各芯片例如为一集成电路(integratedcircuit)。

举例来说，动态随机存取存储器芯片的测试项目可包括：直流参数测试(dcparametrictesting)、交流参数测试(acparametrictesting)、功能测试(functionaltest)、动态测试(dynamictest)、固定型故障(stuck-atfault，saf)、转换故障(transitionfault)、耦合故障(couplingfault)、邻近区域样型敏感故障(neighborhoodpatternsensitivefault)、位址解码故障(address-decoderfault，af)、数据保持故障(retentionfault)、写入恢复时间故障(writerecoverytimefault，twrfault)、栅极引发漏极漏电流故障(gate-induceddrain-leakagefault，gidlfault)、不对称矩阵杂讯故障(asymmetricarraynoise，aanfault)等故障类型，但本发明并不限于此。本发明领域中具有通常知识者当可了解各种不同测试项目的内容，故其细节于此不再赘述。

测试控制装置120例如可为一个人电脑或一伺服器，用以控制测试设备110对待测的一或多个待测装置130进行不同的测试项目的组合及其顺序。

测试控制装置120包括一处理单元121、一存储器单元122、一储存装置123。储存装置123为一非挥发性存储器(non-volatilememory)，例如为硬碟机、固态硬碟、快闪存储器等等，但本发明并不限于此。存储器单元122为一挥发性存储器(volatilememory)，例如为一静态随机存取存储器(staticrandomaccessmemory)或一动态随机存取存储器(dynamicrandomaccessmemory)，但本发明并不限于此。

储存装置123是储存一测试项目数据库(testitemlibrary)124及一测试项目排程制法(testitemschedulingprogram)125。测试项目数据库124是记录了多个测试项目及相应的测试样型(testpattern)。测试项目排程制法125是可依据一测试制法类神经网络(testprogramneuralnetwork)所输出的判断结果以安排下一次的测试制法中所需进行排程的测试项目。

处理单元121例如为一中央处理器(centralprocessingunit，cpu)或一通用用途处理器(general-purposeprocessor)，但本发明并不限于此。

举例来说，测试项目数据库124中是记录n个测试项目及相应的测试样型。测试系统100的测试制法包括用于测试待测装置130的m个测试项目，其中m小于或等于n。处理单元121是将储存于储存装置123中的测试项目排程制法125读取至存储器单元122并执行测试项目排程制法125，藉以由测试项目数据库中所记录的n个测试项目中决定出用于下一个测试循环的测试制法的测试项目的组合。

若待测装置130为动态随机存取存储器芯片，每一批的待测装置130的生产，均需要测试系统100对待测装置130进行不同测试以判断其各种功能及数据错误率是否正常。然而，欲完全执行一测试制法中的各个测试项目需花费相当多的时间及成本。举例来说，不同的待测装置，其产品特性(i/o数量、速度、电压等等)及用途需求(车用、工业用、个人电脑等等)均不相同，再加上测试阶段(teststage)不同，所需的测试项目的数量是以上述的产品特性、用途需求、及测试阶段的数量相乘计算，故测试项目的总数量相当多。

随着每一次的测试制法执行完毕，测试项目排程制法125可依据每一次的测试制法所产生的测试结果，以自动判断在下一次测试制法需使用那些测试项目及其顺序，以得到更有效率的测试制法，例如可缩短测试时间及增加测试覆盖率(testcoverage)。

详细而言，当测试控制装置120第一次执行测试制法对待测装置130进行不同的测试项目时，例如可先依据待测装置130的潜在失效模型(potentialfailuremodel)及设计经验先定义在第一次的测试制法中的多个测试项目，或是可由测试控制装置120自行决定。当第一次的测试制法中的各测试项目均执行完毕后，测试控制装置120可获得各测试项目所相应的测试结果，例如可为一失效位图(failbitmap)，并将各测试项目所相应的测试结果输入测试制法类神经网络，并经过测试制法类神经网络学习后以产生下一次的测试制法中的测试项目的组合，视学习后的结果，下一次的测试制法中测试项目的组合可与前一次测试制法的测试项目的组合相同或不同。

随着测试制法执行的次数增加，测试控制装置120所执行的测试制法类神经网络可逐渐找出最适合待测装置130的测试项目的组合，不但可以提升测试覆盖率，测试时间也会因为测试样型组合的最适化及产品失效模型(failuremodel)的减少(例如：制造工艺越来越成熟而越来越低)。此外，若有新的产品失效模型产生，例如：制造工艺简化或是制造工艺异常(processexcursion)等等，本发明中的测试系统100也能即时的调整测试项目以确保测试品质，且同时兼顾逐渐达到测试品质提升与测试成本降低的效果。

图2是显示传统的测试制法修改方法的示意图。如图2所示，测试制法第1版(即第一循环)包括多个测试项目，例如测试#1～测试#89。在结束测试后，传统的方式需透过人员进行人工检视测试结果，并挑选在测试制法第1版中需移除或增加的测试项目(意即利用人工检视进行主观判断)，例如移除测试#3、测试#5、及测试#88，并产生测试制法第2版(即第二循环)。在每一次的测试制法执行完毕后，均需透过人工检视并选择要移除或增加的测试项目，例如在测试制法第n版(即第n循环)，其测试项目包括测试#1、测试#2、测试#4、测试#90、测试#91、....、测试#88、测试#89等等，其中测试#90及测试#91例如是在测试制法第n版中所新增的测试项目，且测试#88例如是在测试制法第n版中所回复(recover)的测试项目。

因为在测试制法中的测试项目众多，若用人工逐一检视测试结果，并进一步挑选欲新增或删除的测试项目，除了相当耗费时间之外，而且以人工的方式主观判断可能无法精准挑选可以增进测试覆盖率的测试项目。

图3是显示依据本发明一实施例中的适应性测试制法产生方法的示意图。在一实施例中，本发明中的测试控制装置120是可执行图3中的适应性测试制法产生方法以产生测试制法。

在步骤s302，执行测试制法编码。举例来说，当测试控制装置120第一次执行测试制法对待测装置130进行不同的测试项目时，例如可先依据待测装置130的潜在失效模型(potentialfailuremodel)及设计经验先定义在第一次的测试制法中的多个测试项目，或是可由测试控制装置120自行决定。接着，需进行测试制法编码(testprogramcoding)以让测试设备110可正确地执行测试制法中的各测试项目。

在步骤s304，执行测试制法试运转(trialrun)。当测试制法编码完成后，需让测试系统100进行试运转，例如可先尝试执行测试制法中的前几个或较重要的测试项目。

在步骤s306，判断试运转是否正常。若试运转正常，则执行步骤s308；若试运转不正常，则回到步骤s302，重新进行测试制法编码。在一些实施例中，步骤s304及s306可省略，可在步骤s302后直接执行步骤s308。

在步骤s308，执行测试制法。在此步骤中，测试制法是正式运转，且测试制法中的各测试项目均会被执行，并产生相应的测试结果，例如可为一失效位图(failbitmap)，亦可包括测试成品率、数据记录(datalog)等等，但本发明并不限于此。

在步骤s310，取得测试结果。举例来说，测试控制装置120所取得的测试结果包括测试制法试运转(若有)及正式运转时的各测试项目的测试结果。

在步骤s312，利用一测试制法类神经网络分析测试结果并产生下一个测试循环(iteration)的测试制法。举例来说，测试控制装置120是将各测试项目的测试结果输入一测试制法类神经网络，并由测试制法类神经网络分析并学习在目前测试制法中的各测试项目的重要性以及决定目前测试制法中需增加或删除的测试项目，藉以决定下一个循环的测试制法中的测试项目的组合。接着，回到步骤s302。其中，测试制法类神经网络的细节将详述于后。

图4a～图4d是显示依据本发明一实施例中的不同测试项目的失效位图的示意图。在一实施例中，若测试制法是包括测试项目#1～测试项目#4，且测试项目#1～测试项目#4的测试结果分别为失效位图410－440，如图4a～图4d所示。

在一些实施例中，若待测装置130为动态随机存取存储器芯片，测试项目#1～测试项目#4例如是针对待测装置130(例如包括7x7个位)进行测试。意即，在图4a～图4d中，以黑底标示的方块是表示在待测装置130中的相应的数据位是产生失效(failure)或错误(error)。

如图4a所示，测试项目#1在待测装置130中的位(4,0)～位(4,6)、位(0,1)～位(6,1)、及位(1,5)均有相应的失效位，均已标示在失效位图410上，其中在图4a的位(1,5)例如可称为独特失效位411。

如图4b所示，测试项目#2在待测装置130中的位(4,0)～位(4,6)、位(0,1)～位(6,1)、及位(2,3)均有相应的失效位，均已标示在失效位图420上，其中在图4b的位(2,3)例如可称为独特失效位421。

如图4c所示，测试项目#3在待测装置130中的位(0,1)、位(1,1)、位(3,1)、位(4,1)、及位(6,1)均有相应的失效位，均已标示在失效位图430上。

如图4d所示，测试项目#4在待测装置130中的位(0,4)～位(3,4)、及位(5,4)～位(6,4)均有相应的失效位，均已标示在失效位图440上，其中在图4d的范围448中的位(0,4)～位(3,4)、及位(5,4)～位(6,4)可分别称为独特失效位441～446。

在一实施例中，测试控制装置120是比对各测试项目的失效位图。若在一特定测试项目的失效位图中存在有特定位为独特失效位，即表示此独特失效位在其他测试项目中都未产生，例如图4a的独特失效位411、图4b的独特失效位421、及图4d的独特失效位441～446。

举例来说，在图4b中的位(4,0)～位(4,6)、位(0,1)～位(6,1)的失效位已在图4a中的失效位图410中发生过，但是图4a中的失效位图410并未包含图4b的失效位图420中的独立失效位421。

类似地，在图4c的失效位图430的位(0,1)、位(1,1)、位(3,1)、位(4,1)、及位(6,1)均已被图4a的失效位图410及图4b中的失效位图420所涵盖。

详细而言，当一特定测试项目所相应的失效位图中具有独特失效位，则测试控制装置120是将该特定测试项目标记为必要测试项目(essentialtestitem)。在此实施例中，因为失效位图410、420、及440均包含了独特失效位，故测试项目#1、测试项目#2、及测试项目#4均为必要测试项目。接着，测试控制装置120再确认这些必要测试项目所产生的失效位图能够涵盖所有的失效位。若必要测试项目所产生的失效位图无法涵盖所有的失效位(例如称为第一失效位)，则测试控制装置120会再挑选可涵盖第一失效位的测试项目以做为必要测试项目。必要测试项目会包含于下一次测试循环的测试制法中。

在另一些实施例中，待测装置130为一半导体芯片，且测试项目#1～#4是针对半导体芯片(例如包括7x7个芯片)进行测试，且各芯片例如可为一集成电路。意即，在图4a～图4d中，以黑底标示的方块是表示在半导体芯片中的相应的芯片是产生失效(failure)或错误(error)。其他的测试项目及独特失效位的处理方式是类似于前述实施例。

图5是显示依据本发明一实施例中的测试制法类神经网络的示意图。如图5所示，测试制法类神经网络500是包括一测试项目层(testitemlayer)510、一失效位图层(failurebitmaplayer)520、一必要测试项目层(essentialitemlayer)530、一优先权重层(prioritizedweightinglayer)540、及一后续测试项目层(nexttestitemlayer)550。

详细而言，前述实施例中的每一种测试项目例如均位于测试项目层510，且各测试项目所产生的失效位图均位于失效位图层520。其中，测试项目层510及失效位图层520是可称为测试制法类神经网络500的输入层(inputlayer)501。测试项目层510中的每个细胞单元(cell)5101-510n是记录了各个测试项目的号码、测试时间、及测试旗标(testflag)，其中测试旗标是用于标示在下个测试循环时是否为待测项目，其初始值是由使用者设定，经过第一次循环之后则由输出层根据学习结果回馈而得。测试项目层510中的每个细胞单元(cell)5201-520n是记录了每个样品在各个测试项目完毕后所产生的失效位图。

必要测试项目层530及优先权重层540是可称为测试制法类神经网络500的处理层(processinglayer)502。必要测试项目层530中的各细胞单元5301～530n是用以分析并产生目前测试制法中的有效测试项目，例如可透过图4a～图4d的实施例的方式进行比对。若在一特定测试项目的失效位图中存在有特定位为独特失效位，且此独特失效位在其他测试项目中都未产生，则测试控制装置120是将该特定测试项目标记为必要测试项目。接着，测试控制装置120再确认这些必要测试项目所产生的失效位图能够涵盖所有的失效位。若必要测试项目所产生的失效位图无法涵盖所有的失效位(例如称为第一失效位)，则测试控制装置120会再挑选可涵盖第一失效位的测试项目以做为必要测试项目。

优先权重层540中的各个细胞单元5401～540n是用以累计更新每个测试项目的权重，例如可用下列方制法(1)以计算各测试项目的权重值：

wi(n)＝[wi(n-1)*(n-1)+a]/n(1)

其中wi(n)表示在第n个测试循环中的第i个测试项目；a为一常数，其中，若此测试项目为必要测试项目，则a＝1；若此测试项目不是必要测试项目，则a＝0；对于在目前测试循环中的未测试项目，则a＝0.001。需注意的是，常数a的数值可视实际情况而定，上述数值是用于说明，本发明并不限定于上述数值。

详细而言，优先权重层540是根据目前测试循环的测试结果，将必要测试项目的权重增加最多。在目前测试循环中，有测试，但不是必要测试项目的权重递减。目前测试循环中未测试的候选测试项目的权重则会以缓慢的速度递增，使得候选测试项目在经过多次测试循环后可以取代不重要的测试项目，意即可不断学习以产生最佳化的测试项目的组合。

后续测试项目层550可称为测试制法类神经网络500的输出层(outputlayer)503。后续测试项目层550中的各个细胞单元5501～550n是用以决定下一个测试循环的测试制法的测试项目组合。每一个测试项目在透过测试制法类神经网络500的深度学习(deeplearning)后都有各自的权重与对应的测试时间(例如细胞单元5501～550n)。决定下一个测试循环的测试项目的方式可根据使用者的设定条件(例如：测试时间先决或测试覆盖率先决等方式)来计算出下一测试循环的测试项目。测试时间先决的条件是表示在有限的测试时间预算内要进行最重要的测试项目(例如依据各测试项目的优先权重值)，若会超出测试时间预算，则舍弃较不重要的测试项目。测试覆盖率先决的条件是表示测试制法中的测试项目的组合，最少需达到预定的测试覆盖率。

在一实施例，以测试时间先决方式为例，各个测试项目所相应的优先权重值pw可用下列方制法(2)表示：

pwi(n)＝wi(n)/ti(2)

其中pwi(n)是表示在第n个测试循环的第i个测试项目的优先权重值；wi(n)是表示在第n个测试循环的第i个测试项目的权重值；ti则表示第i个测试项目的测试时间。

若n(total)是表示由使用者设定的测试时间预算(testtimebudget)，再以各测试项目的优先权重值的大小进行排列，例如在目前测试循环中的第i个测试项目具有最大的优先权重值pwi，第j个测试项目具有第二大的优先权重值pwj，且第k个测试项目具有第三大的优先权重值pwk。意即，第i、j、k个测试项目的测试时间ti、tj、tk分别为wi/pwi、wj/pwj、及wk/pwk。接着，后续测试项目层550是计算ti、tj、tk的测试时间总和是否已超过测试时间预算n(total)。若测试时间总和未超过测试时间预算n(total)，则可再进一步挑选后续具有第四大的优先权重值的测试项目，并再加总其测试时间，并判断是否超过测试时间预算n(total)，若测试时间总和未超过测试时间预算n(total)，则表示具有第四大的优先权重值的测试项目可以做为下一个测试循环的测试项目，依此类推。需注意的是，当第i、j、k个测试项目被挑选为下一个测试循环的测试项目，表示第i、j、k个测试项目会回馈至测试项目层510以准备进行下一次的测试循环。

相对地，若在加总一特定测试项目的测试时间后会超过测试时间预算n(total)，则表示该特定测试项目在测试时间先决定的条件下无法做为下一个测试循环的测试项目。

在另一实施例，以测试覆盖率(或测试品质)先决方式为例，若各测试项目所相应的测试覆盖失败率为ppm，其中测试覆盖失败率ppm例如可用每百万分之一的缺陷部位(defectpartspermillion，dppm)来表示。依据所计算出的各测试项目的优先权重值pw，若在目前测试循环中有n个测试项目，将各测试项目的优先权重值pw进行排序之后，例如从小至大可排列为pwn、pwn-1、....、pw1。给定ppmn为具有最小优先权重值pwn的测试项目的测试覆盖失败率，ppmn-1为具有第二小的优先权重值pwn-1的测试项目的测试覆盖失败率，依此类推。

此外，测试控制装置120是设定一最大允许测试覆盖失败率ppm(total)，同样可用每百万分之一的缺陷部位(dppm)表示，且最大允许测试覆盖失败率ppm(total)需满足下列条件：

ppm(total)＝∑(ppmn+ppmn-1+ppmn-2+…ppmn-i)(3)

其中n-i表示具有优先权重值pwn-i的最后一个测试项目且测试覆盖失败率能满足上述方制法(3)的条件。详细而言，优先权重值愈小的测试项目，其测试覆盖失败率通常愈小，例如制造工艺已趋成熟，故某些测试项目的失效位非常少。接着，测试控制装置120是将测试项目#n～测试项目#n-i过滤掉，并选择剩下的测试项目#n-i-1～测试项目#1以回馈至测试项目层510以准备进行下一次的测试循环。

需注意的是，若后续测试项目层550决定部分的测试项目需回馈至测试项目层510，则表示该部分的测试项目会在下一次测试循环的测试制法中。若后续测试项目层550决定部分的测试项目不需回馈至测试项目层510，则表示该部分的测试项目不会在下一次测试循环的测试制法中。

本发明中的测试制法类神经网络可用客观的方式依据每一次测试循环的测试制法中的各测试项目的测试结果(例如失效位图)及设定条件(例如测试时间先决或测试覆盖率先决等等)进行学习，并决定下一个测试循环的测试制法中的测试项目的组合。

图6是显示依据本发明一实施例中的测试覆盖率及测试时间相对于测试循环次数的关系的示意图。如图6所示，纵轴是表示正规化(normalized)后的百分比数值(percentage)，横轴是表示测试循环次数。曲线610是表示测试时间相对于测试循环次数的关系曲线，曲线620是表示测试覆盖率相对于测试循环次数的关系曲线。

详细而言，当测试循环次数愈多，测试制法所需的测试时间也会逐渐降低(如曲线610)。随着测试制法执行的测试循环次数增加，测试控制装置120所执行的测试制法类神经网络可逐渐找出最适合待测装置130(或半导体芯片)的测试项目的组合，不但可以提升测试覆盖率(如曲线620)，测试时间也会因为测试样型组合的最适化及产品失效模型(failuremodel)的减少(例如：制造工艺越来越成熟而越来越低)。

此外，若有新的产品失效模型产生，例如：制造工艺简化或是制造工艺异常(processexcursion)等等，使用者可将相应的测试项目及测试样型加入测试项目数据库124。本发明中的测试系统100可即时的调整测试制法中的测试项目的组合以确保测试品质，例如可直接设定其优先权重值，并提供至测试制法类神经网络500进行学习，或是可随着测试循环次数增加，由测试制法类神经网络500自动学习。因此，本发明中的测试系统100可同时兼顾逐渐达到测试品质提升与测试成本降低的效果。

综上所述，本发明是提供一种测试系统及适应性测试制法产生方法，其可让测试制法可以客观地根据产品的状况即时调整测试条件及样型，并使测试品质与成本都可以随时保持在预设的期望值，同时也改善测试制法改版因人工作业过程所可能造成的失误及资源浪费(例如人工分析、试运转等等)。

于权利要求及说明书中使用如”第一”、”第二”、”第三”…等词是用来修饰权利要求及说明书中的元件，并非用来表示元件之间具有优先权顺序、先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序。简言之，所述修饰用词仅用来区别具有相同名字的元件。

本发明的方法，或特定型态或其部份，可以以制法码的型态包含于实体媒体，如软碟、光碟片、硬碟、或是任何其他机器可读取(如电脑可读取)储存媒体，其中，当制法码被机器，如电脑载入且执行时，此机器变成用以参与本发明的装置或系统。本发明的方法、系统与装置也可以以制法码型态透过一些传送媒体，如电线或电缆、光纤、或是任何传输型态进行传送，其中，当制法码被机器，如电脑接收、载入且执行时，此机器变成用以参与本发明的装置或系统。当在一般用途处理器实作时，制法码结合处理器提供一操作类似于应用特定逻辑电路的独特装置。

本发明虽以较佳实施例揭露如上，然其并非用以限定本发明的范围，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视前附的申请专利范围所界定者为准。