一种数据比较方法及装置与流程

本发明涉及半导体技术领域，特别涉及一种数据比较方法及装置。

背景技术：

半导体制造作为现代工业中最为复杂的工艺流程之一，其包含成上百道复杂的工艺步骤，包括光刻、刻蚀、薄膜、扩散和清洁等。实现这些复杂的工艺步骤自然需要成百上千种机台共同努力。由于产能所限，对于每一步工艺流程不可能仅由同一机台完成，不同型号的机台，甚至是同型号机台都不可避免的存在偏差，这些势必会对最终产品质量和可靠性造成波动和影响。如何比较鉴定相同类型机台的一致性，保障生产稳定，成为机台匹配(toolmatch)的困扰之一。

在半导体器件研发中，需要通过实验设计(designofexperiment,doe)做多个实验组来相互比对，挑选最佳实验条件，确定最终配方(recipe)。这就需要收集在线(inline)数据，缺陷(defect)数据，晶圆验收测试(waferacceptancetest，wat)数据、良率(yield)数据以及可靠性数据等，然后对各个实验组的电学参数、特征尺寸、寿命等方面进行比较。如何鉴定识别出最优配方，成为研发过程中不可避免的难题。

产品量产以后，如进行工程变更提议(fabengineeringchangeproposal)来优化改进某一步工艺过程，也同样需要依据线上(inline)和线下(offline)的测试数据来比较实验组和基准组之间的差异。通过比较实验组和基准组的优劣来确定新的工艺条件。

由此可见，数据比较伴随着整个集成电路制造过程中，然而不同环节的数据比较，由于其数据类型、样本容量、数据分布、异常值的影响等各方面各不相同，对比较方法的选择也有所挑剔。因此，比较方法的正确与否，决定这整个产品线的各个方面。总之，为了加速研发保证顺利生产，迫切需要一套完备精确的评价方法来指导工程实践。

技术实现要素：

针对现有技术的不足，本发明提供了一套完备的试用范围广的数据比较方法及装置，用来指导半导体行业日常数据比较分析实践。

本发明提供了一种数据比较方法，应用于半导体行业日常数据的比较分析，其特征在于，包括以下步骤：

步骤一：样本数据收集；

步骤二：异常值检测与排除；

步骤三：工程指标核验，如果核验结果不通过，则当前样本数据不可接受，如果核验结果通过，则转到步骤四；

步骤四：判断是否已知当前总体样本数据分布类型，如果是，则转到步骤五，如果否，则转到步骤六；

步骤五：进行参数比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到步骤七；

步骤六：进行总体样本数据分布类型检测，若所述分布类型检测通过，则转到步骤五，若所述分布类型检测不通过，则转到步骤八；

步骤七：进行工程方法判定，如果不通过，则当前样本数据是不可接受的，如果通过，则当前数据是可接受的；

步骤八：进行非参数统计比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到步骤七。

进一步地，在所述步骤二中，所述异常值检测和排除是通过统计学概率判定或数据挖掘算法鉴别不合常理的数据的过程。所述异常值检测和排除可以采用如下方法中的任一种：箱线图法、grubbs'检验、tietjen-moore检验、广义极端学生化偏差法、基于距离的离群点检测技术、基于密度的聚类算法、采用空间划分策略的异常值检测。

进一步地，在所述步骤三中，所述工程指标核验包括趋势图、统计过程控制设定的界限、工艺允许的容错范围、良率指标和可靠性规定的寿命指标中的一种或多种。

进一步地，在所述步骤四中，判断是否已知当前总体样本数据分布类型，是基于历史经验、物理模型得到的，包括正态分布、对数正态分布、威布尔分布、泊松分布或指数分布中的一种或多种。

进一步地，在所述步骤六中，所述分布类型检测是通过分布拟合程度检验，根据贝叶斯信息准则判定，验证正态分布使用shapiro-wilk检验，验证对数正态分布使用kolmogorov’sd检验，验证威布尔分布使用cramer-vonmisesw²检验。

进一步地，在所述步骤五中，所述参数比较方法是指在所述总体样本数据分布类型已知的情况下，对总体样本数据分布的参数等进行推断的方法。当所述总体样本数据分布类型为正态分布时，若数据样本分组为1，当样本容量为5～50，采用t检验，当样本容量大于50，采用hc2方法；若数据样本分组为2，当样本容量大于50，则采用hc1/hc2方法；若样本容量在5～50，比较两组样本间的关系，若两组样本相互独立，则采用f/t检验，若两组样本要进行配对检验，则使用pairedt检验；对于数据样本分组大于或等于3，则根据需要比较的统计量选择合适的方法，若要比较方差，可使用bartlett检验，若要进行比较均值，则根据比较类型选择，若进行与控制组比较有无差异，可使用dunnett’s检验，若要进行两两比较差异，则可使用tukey’s检验，若要判断任意一组样本有无差异，可使用anova检验。

进一步地，在所述步骤八中，所述非参数统计比较方法指在推断过程中不涉及有关总体样本数据分布的参数，对于非参数两样本t检验可以采用非配对mann-whitneyu检验，对于两个相关或配对样本检验可以采用wilcoxon符号秩检验，对于三个或更多总体是否相同的检验，可以采用如kruskal-waillis检验。

进一步地，在所述步骤七中，当所述总体样本数据分布类型为正态分布时，所述工程判定方法可以采用hc比较法或mr比较法；当所述总体样本数据分布类型不确定时，所述工程判定方法可以采用gdc比较方法。

本发明提供了一种数据比较装置，应用于半导体行业日常数据的比较分析，其特征在于，包括：

数据收集单元，用于收集样本数据；

异常值检测单元，用于进行异常值的检测与排除；

工程指标核验单元，用于进行工程指标核验，如果核验结果不通过，则当前样本数据不可接受，如果核验结果通过，则转到数据分布判断单元；

数据分布判断单元，用于判断是否已知当前总体样本数据分布类型，如果是，则转到参数比较单元，如果否，则转到数据分布检测单元；

参数比较单元，用于进行参数比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到工程方法判定单元；

数据分布检测单元，进行总体样本数据分布类型检测，若所述分布类型检测通过，则转到参数比较单元，若所述分布类型检测不通过，则转到工程方法判定单元；

工程方法判定单元，进行工程方法判定，如果不通过，则当前样本数据是不可接受的，如果通过，则当前数据是可接受的；

非参数比较单元，进行非参数统计比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到工程方法判定单元。

进一步地，在所述异常值检测单元，所述异常值检测和排除是通过统计学概率判定或数据挖掘算法鉴别不合常理的数据的过程。所述异常值检测和排除可以采用如下方法中的任一种：箱线图法、grubbs'检验、tietjen-moore检验、广义极端学生化偏差法、基于距离的离群点检测技术、基于密度的聚类算法、采用空间划分策略的异常值检测。

进一步地，在所述工程指标核验单元，所述工程指标核验包括趋势图、统计过程控制设定的界限、工艺允许的容错范围、良率指标和可靠性规定的寿命指标中的一种或多种。

进一步地，在所述数据分布判断单元，判断是否已知当前总体样本数据分布类型，是基于历史经验、物理模型得到的，包括正态分布、对数正态分布、威布尔分布、泊松分布或指数分布中的一种或多种。

进一步地，在所述数据分布检测单元，所述分布类型检测是通过分布拟合程度检验，根据贝叶斯信息准则判定，验证正态分布使用shapiro-wilk检验，验证对数正态分布使用kolmogorov’sd检验，验证威布尔分布使用cramer-vonmisesw2检验。

进一步地，在所述参数比较单元，所述参数比较方法是指在所述总体样本数据分布类型已知的情况下，对总体样本数据分布的参数等进行推断的方法。当所述总体样本数据分布类型为正态分布时，若样本数据分组为1，当样本容量为5～50，采用t检验，当样本容量大于50，采用hc2方法；若样本数据分组为2，当样本容量大于50，则采用hc1/hc2方法；若样本容量在5～50，比较两组样本间的关系，若两组样本相互独立，则采用f/t检验，若两组样本要进行配对检验，则使用pairedt检验；对于样本数据分组大于或等于3，则根据需要比较的统计量选择合适的方法，若要比较方差，可使用bartlett检验，若要进行比较均值，则根据比较类型选择，若进行与控制组比较有无差异，可使用dunnett’s检验，若要进行两两比较差异，则可使用tukey’s检验，若要判断任意一组样本有无差异，可使用anova检验。

进一步地，在所述非参数比较单元，所述非参数统计比较方法指在推断过程中不涉及有关总体样本数据分布的参数，对于非参数两样本t检验可以采用非配对mann-whitneyu检验，对于两个相关或配对样本检验可以采用wilcoxon符号秩检验，对于三个或更多总体是否相同的检验，可以采用如kruskal-waillis检验。

进一步地，在所述工程方法判定单元，当所述总体样本数据分布类型为正态分布时，所述工程判定方法可以采用hc比较法或mr比较法；当所述总体样本数据分布类型不确定时，所述工程判定方法可以采用gdc比较方法。

与现有技术相比，本发明具有以下优点：

本发明提供了一套完备的试用范围广的数据比较方法及装置，用来指导半导体行业日常数据比较分析实践。本发明提出的方法具有广泛的适用性，可应用在线数据分析、缺陷数据分析、晶圆验收测试数据分析、良率数据分析、可靠性数据分析以及机台匹配、校验和释放等。当然本发明提出的比较方法及装置，也可不限于半导体行业。

附图说明

图1为本发明提出的数据比较方法的流程图；

图2为参数比较方法的具体实施流程；

图3为本发明提出的数据比较装置的示意图；

具体实施方式

下面结合附图与和具体实施例，对本发明的技术方案做进一步详细说明。

如图1所示为本发明提出的数据比较方法的流程图，包括以下步骤：

步骤一：样本数据收集；

步骤二：异常值检测与排除；

步骤三：工程指标核验，如果核验结果不通过，则当前样本数据不可接受，如果核验结果通过，则转到步骤四；

步骤四：判断是否已知当前总体样本数据分布类型，如果是，则转到步骤五，如果否，则转到步骤六；

步骤五：进行参数比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到步骤七；

步骤六：进行总体样本数据分布类型检测，若所述分布类型检测通过，则转到步骤五，若所述分布类型检测不通过，则转到步骤八；

步骤七：进行工程方法判定，如果不通过，则当前样本数据是不可接受的，如果通过，则当前数据是可接受的；

步骤八：进行非参数统计比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到步骤七。

进一步地，在所述步骤二中，“异常点检测与排除(outlierdetection&elimination)”通过统计学概率判定或数据挖掘算法鉴别不合常理的数据的过程，忽视异常值的存在是十分危险的，不加剔除地把异常值包含于数据的计算分析过程中，对结果会产生不良影响，重视异常值的出现，分析其产生的原因，常常成为发现问题而改进决策的契机。具体实施可使用，箱线图(boxplot)法、grubbs'检验、tietjen-moore检验、广义极端学生化偏差(generalizedextremestudentizeddeviate)、基于距离的离群点检测技术(如knn)、基于密度的聚类算法(如densitybasedspatialclusteringofapplicationswithnoise)、采用空间划分策略的异常值检测(如isolationforest)等等。

进一步地，在所述步骤三中，所述“工程指标核验”进一步包括趋势图(trendchart)或统计过程控制(spc)设定的界限、工艺允许的容错范围、良率指标及可靠性规定的寿命指标等，当然不局限于以上罗列。

进一步地，在所述步骤四中，判断是否已知当前总体样本数据分布类型，是基于历史经验、物理模型得到的，包括正态分布、对数正态分布、威布尔分布、泊松分布或指数分布等，当然不局限于以上罗列。

进一步地，在所述步骤六中，所述分布类型检测是通过分布拟合程度测试(distributiongoodnessoffit)可以根据贝叶斯信息准则(bayesianinformationcriteria)判断得到。具体实施可比如，验证正态分布使用shapiro-wilk检验、验证对数正态分布使用kolmogorov’sd检验、威布尔分布使用cramer-vonmisesw²检验等，当然不局限于以上罗列。

进一步地，在所述步骤五中，所述参数比较方法是指在所述总体样本数据分布类型已知的情况下，对总体样本数据分布的参数等进行推断的方法所述参数比较方法是指根据总体样本的分布类型选择合宜的方法，譬如对于正态分布，可具体细化为图2中流程图。当所述总体样本数据分布类型为正态分布时，若数据样本分组为1，当样本容量为5～50，采用t检验，当样本容量大于50，采用hc2方法；若数据样本分组为2，当样本容量大于50，则采用hc1/hc2方法；若样本容量在5～50，比较两组样本间的关系，若两组样本相互独立，则采用f/t检验，若两组样本要进行配对检验，则使用pairedt检验；对于数据样本分组大于或等于3，则根据需要比较的统计量选择合适的方法，若要比较方差，可使用bartlett检验，若要进行比较均值，则根据比较类型选择，若进行与控制组比较有无差异，可使用dunnett’s检验，若要进行两两比较差异，则可使用tukey’s检验，若要判断任意一组样本有无差异，可使用anova检验。

进一步地，在所述步骤八中，所述非参数统计比较方法指在推断过程中不涉及有关总体样本数据分布的参数，对于非参数两样本t检验可以采用非配对mann-whitneyu检验，对于两个相关或配对样本检验可以采用wilcoxon符号秩检验，对于三个或更多总体是否相同的检验，可以采用如kruskal-waillis检验等。

进一步地，在所述步骤七中，当所述总体样本数据分布类型为正态分布，所述工程判定方法可采用如hc比较方法(harmonizationconfidence)，利用两个样本的均值和标准差估计两个总体的相似度，以相识度(重合面积)的多少来判断两者分布是否存在差异；所述工程判定方法还可采用mr比较方法(matchingrule)，用于两样本比较，其中一个样本为基准baseline下，根据两样本均值和标准差可以分别得出样本均值和标准差与基准偏离程度，根据工程接受度来判读比较结果。当所述总体样本数据分布类型不确定的，可采用如gdc比较方法(generaldatacomparison)，利用两个样本的分位数作代表区间，以相似度(重合面积)的多少来判断两者分布是否存在差异。

如图3所示为本发明提出的数据比较装置的示意图，包括：

数据收集单元，用于收集样本数据；

异常值检测单元，用于进行异常值的检测与排除；

工程指标核验单元，用于进行工程指标核验，如果核验结果不通过，则当前样本数据不可接受，如果核验结果通过，则转到数据分布判断单元；

数据分布判断单元，用于判断是否已知当前总体样本数据分布类型，如果是，则转到参数比较单元，如果否，则转到数据分布检测单元；

参数比较单元，用于进行参数比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到工程方法判定单元；

数据分布检测单元，进行总体样本数据分布类型检测，若所述分布类型检测通过，则转到参数比较单元，若所述分布类型检测不通过，则转到工程方法判定单元；

工程方法判定单元，进行工程方法判定，如果不通过，则当前样本数据是不可接受的，如果通过，则当前数据是可接受的；

非参数比较单元，进行非参数统计比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到工程方法判定单元。

进一步地，在所述异常值检测单元，所述异常值检测和排除是通过统计学概率判定或数据挖掘算法鉴别不合常理的数据的过程。所述异常值检测和排除可以采用如下方法中的任一种：箱线图法、grubbs'检验、tietjen-moore检验、广义极端学生化偏差法、基于距离的离群点检测技术、基于密度的聚类算法、采用空间划分策略的异常值检测。

进一步地，在所述工程指标核验单元，所述工程指标核验包括趋势图、统计过程控制设定的界限、工艺允许的容错范围、良率指标和可靠性规定的寿命指标中的一种或多种。

进一步地，在所述数据分布判断单元，判断是否已知当前总体样本数据分布类型，是基于历史经验、物理模型得到的，包括正态分布、对数正态分布、威布尔分布、泊松分布或指数分布中的一种或多种。

进一步地，在所述数据分布检测单元，所述分布类型检测是通过分布拟合程度检验，根据贝叶斯信息准则判定，验证正态分布使用shapiro-wilk检验，验证对数正态分布使用kolmogorov’sd检验，验证威布尔分布使用cramer-vonmisesw2检验。

进一步地，在所述参数比较单元，所述参数比较方法是指在所述总体样本数据分布类型已知的情况下，对总体样本数据分布的参数等进行推断的方法所述参数比较方法是指根据总体样本的分布类型选择合宜的方法，譬如对于正态分布，可具体细化为图2中流程图。当所述总体样本数据分布类型为正态分布时，若数据样本分组为1，当样本容量为5～50，采用t检验，当样本容量大于50，采用hc2方法；若数据样本分组为2，当样本容量大于50，则采用hc1/hc2方法；若样本容量在5～50，比较两组样本间的关系，若两组样本相互独立，则采用f/t检验，若两组样本要进行配对检验，则使用pairedt检验；对于数据样本分组大于或等于3，则根据需要比较的统计量选择合适的方法，若要比较方差，可使用bartlett检验，若要进行比较均值，则根据比较类型选择，若进行与控制组比较有无差异，可使用dunnett’s检验，若要进行两两比较差异，则可使用tukey’s检验，若要判断任意一组样本有无差异，可使用anova检验。

进一步地，在所述非参数比较单元，所述非参数统计比较方法指在推断过程中不涉及有关总体样本数据分布的参数，对于非参数两样本t检验可以采用非配对mann-whitneyu检验，对于两个相关或配对样本检验可以采用wilcoxon符号秩检验，对于三个或更多总体是否相同的检验，可以采用如kruskal-waillis检验。

进一步地，在所述工程方法判定单元，当所述总体样本数据分布类型为正态分布，所述工程判定方法可采用如hc比较方法(harmonizationconfidence)，利用两个样本的均值和标准差估计两个总体的相似度，以相识度(重合面积)的多少来判断两者分布是否存在差异；所述工程判定方法还可采用mr比较方法(matchingrule)，用于两样本比较，其中一个样本为基准baseline下，根据两样本均值和标准差可以分别得出样本均值和标准差与基准偏离程度，根据工程接受度来判读比较结果。当所述总体样本数据分布类型不确定的，可采用如gdc比较方法(generaldatacomparison)，利用两个样本的分位数作代表区间，以相似度(重合面积)的多少来判断两者分布是否存在差异。

显然，本领域的技术人员可以对本发明进行各种改动而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本法明也意图包括这些改动和变型在内。