数据处理方法、装置与系统、以及计算器可读取记录介质与流程

本发明涉及一种数字数据(digitaldata)处理，尤其涉及一种对时间序列数据进行处理的数据处理方法、装置与系统、以及计算器可读取记录介质。

背景技术：

作为检测设备或装置的异常的方法，已知有下述方法：使用传感器(sensor)等来测定表示设备或装置的动作状态的物理量(例如长度、角度、时间、速度、力、压力、电压、电流、温度、流量等)，并对将测定结果按照发生顺序排列所得的时间序列数据进行分析。当设备或装置在相同的条件下进行相同的动作时，若无异常，则时间序列数据同样地变化。因此，通过将同样地变化的多个时间序列数据相互进行比较以检测异常的时间序列数据，并对所述异常的时间序列数据进行分析，可确定异常的产生部位或异常的原因。而且，近年来，计算机(computer)的数据处理能力显著提高。因此，即使数据量庞大，也能以实用性的时间得到所需结果的情况(case)多。因此，时间序列数据的分析逐渐变得盛行。

例如，在半导体基板的制造领域中，时间序列数据的分析也逐渐变得盛行。在半导体基板(以下称作“基板”)的制造工序中，由基板处理装置执行一系列处理。基板处理装置包含对基板进行一系列处理中的特定处理的多个处理单元。各处理单元依据预定的流程(称作“配方(recipe)”)来对基板进行处理。此时，基于各处理单元中的测定结果，得到时间序列数据。通多对所得到的时间序列数据进行分析，能够确定发生异常的处理单元或异常的原因。此外，“配方”一词不仅仅用于对基板进行的处理，也用于在基板处理之前进行的前处理、或者用以在处理单元未进行对基板的处理的期间进行处理单元的状态维持/管理或与处理单元相关的各种测定的处理等。但是，本说明书中，着眼于对基板进行的处理。另外，与通过基板的制造而获得的时间序列数据的异常度的计算相关的发明在日本专利特开2017-83985号公报中有所公开。

一般而言，在基板的制造工序中，通过配方的执行，获得关于数量庞大的参数(各种物理量)的时间序列数据。时间序列数据是如下所述的数据，即，在执行配方时，使用传感器等来测定各种物理量(例如，从喷嘴(nozzle)供给的处理流体的流量或温度、腔室(chamber)内的湿度、腔室的内压、腔室的排气压等)，并将测定结果按照时间序列排列所得的数据。而且，将对由摄像机(camera)所拍摄的图像实施分析所得的数据按照时间序列所得者也成为时间序列数据。并且，各时间序列数据是否异常的判定是通过下述方式来进行，即，将时间序列数据的数据值与阈值进行比较，或者将由所述数据值按照规定的计算规则(rule)计算所得的值与阈值进行比较。另外，阈值是针对每个参数而设定。

此外，决定关于各参数的阈值的作业是非常繁琐的作业，对于数量庞大的参数分别求出理想的阈值是极为困难的。而且，由于所设定的阈值并不一定是理想值，因此异常判定的精度并不良好。即，根据以往的方法，无法精度良好地检测时间序列数据的异常。

技术实现要素：

因此，本发明的目的在于提供一种数据处理方法，不需要用户进行繁琐的作业，而能够较以往精度良好地进行使用时间序列数据的异常检测。

本发明的一方面是一种数据处理方法，将通过单位处理所得到的多种时间序列数据作为单位处理数据，对多个单位处理数据进行处理，所述数据处理方法包括：

单位处理数据选择步骤，从所述多个单位处理数据中选择两个以上的单位处理数据；

第一评价值计算步骤，算出关于被选择单位处理数据中所含的各时间序列数据的评价值，所述被选择单位处理数据是在所述单位处理数据选择步骤中所选择的单位处理数据；以及

第一评价值分布制作步骤，基于在所述第一评价值计算步骤中所算出的关于各时间序列数据的评价值，针对每种时间序列数据来制作评价值分布，所述评价值分布表示评价值的每个值的度数。

根据此种结构，算出关于由用户所选择的单位处理数据中所含的各时间序列数据的评价值。并且，制作表示评价值的分布的评价值分布。此处，在新获得时间序列数据时，能够使用评价值分布来进行所述时间序列数据的异常检测。此时，例如，能够基于根据评价值分布的制作源数据(评价值的数据)而获得的统计值，来设定用于进行异常判定的阈值。根据以上所述，不需要用户进行繁琐的作业，而能够较以往精度良好地进行使用时间序列数据的异常检测。

本发明的另一方面是一种数据处理装置，将通过单位处理所得到的多种时间序列数据作为单位处理数据，对多个单位处理数据进行处理，所述数据处理装置包括：

单位处理数据选择部，从所述多个单位处理数据中选择两个以上的单位处理数据；

评价值计算部，算出关于被选择单位处理数据中所含的各时间序列数据的评价值，所述被选择单位处理数据是由所述单位处理数据选择部所选择的单位处理数据；以及

评价值分布制作部，基于由所述评价值计算部所算出的关于各时间序列数据的评价值，针对每种时间序列数据来制作评价值分布，所述评价值分布表示评价值的每个值的度数。

本发明的又一方面是一种数据处理系统，将通过由基板处理装置所执行的单位处理而得到的多种时间序列数据作为单位处理数据，对多个单位处理数据进行处理，且所述数据处理系统包含多个基板处理装置，所述数据处理系统包括：

单位处理数据选择部，从所述多个单位处理数据中选择两个以上的单位处理数据；

评价值计算部，算出关于被选择单位处理数据中所含的各时间序列数据的评价值，所述被选择单位处理数据是由所述单位处理数据选择部所选择的单位处理数据；以及

评价值分布制作部，基于由所述评价值计算部所算出的关于各时间序列数据的评价值，针对每种时间序列数据来制作评价值分布，所述评价值分布表示评价值的每个值的度数。

本发明的进而又一方面是一种计算器可读取记录介质，存储有数据处理程序，数据处理程序用于使计算机(computer)执行单位处理数据选择步骤、评价值计算步骤及评价值分布制作步骤，所述计算机将通过单位处理所得到的多种时间序列数据作为单位处理数据，对多个单位处理数据进行处理，

所述单位处理数据选择步骤是从所述多个单位处理数据中选择两个以上的单位处理数据，

评价值计算步骤是算出关于被选择单位处理数据中所含的各时间序列数据的评价值，所述被选择单位处理数据是在所述单位处理数据选择步骤中所选择的单位处理数据，

所述评价值分布制作步骤是基于在所述评价值计算步骤中所算出的关于各时间序列数据的评价值，针对每种时间序列数据来制作评价值分布，所述评价值分布表示评价值的每个值的度数。

本发明的所述及其他目的、特征、形态及效果当可参照附图而根据本发明的下述详细说明来进一步明确。

附图说明

图1是表示本发明的一实施方式的数据处理系统(基板处理装置用的数据处理系统)的整体结构的框图。

图2是在所述实施方式中表示基板处理装置的概略结构的图。

图3是在所述实施方式中将某一个时间序列数据图表化而表示的图。

图4是在所述实施方式中用于对单位处理数据进行说明的图。

图5是在所述实施方式中表示数据处理装置的硬件(hardware)结构的框图。

图6是在所述实施方式中用于对评价值分布进行说明的图。

图7是在所述实施方式中表示关于使用时间序列数据的异常检测的整体处理流程的概略的流程图。

图8是在所述实施方式中表示异常判定对象设定画面的一例的图。

图9是在所述实施方式中用于对异常度的判定进行说明的图。

图10是在所述实施方式中表示评价值分布的制作的详细流程的流程图。

图11是在所述实施方式中表示单位处理数据选择画面的一例的图。

图12是在所述实施方式中表示参数指定画面的一例(显示之后的示例)的图。

图13是在所述实施方式中表示参数指定画面的一例(由用户指定参数后的示例)的图。

图14是在所述实施方式中用于对评价值分布的更新进行说明的图。

图15是在所述实施方式的第一变形例中表示评价值分布的制作的详细流程的流程图。

图16是在所述实施方式的第二变形例中表示评价值分布的制作的详细流程的流程图。

图17是在所述实施方式的第二变形例中用于对中央值进行说明的图。

图18是在所述实施方式的第三变形例中用于对参数与时间序列数据的关系进行说明的图。

图19是在所述实施方式的第四变形例中表示关于使用时间序列数据的异常检测的整体处理流程的概略的流程图。

图20是在所述实施方式的第五变形例中表示评价值分布的更新的详细流程的流程图。

图21是在所述实施方式的第五变形例中用于对每个处理单元的评价值分布的制作进行说明的图。

图22是在所述实施方式的第五变形例中用于对优选除了偏差以外还考虑评价值的情况进行说明的图。

图23是在所述实施方式的第六变形例中表示数据处理系统的结构例(存在多个数据处理装置的示例)的图。

图24是在所述实施方式的第六变形例中表示数据处理系统的结构例(仅存在一个数据处理装置的示例)的图。

[符号的说明]

5：评价值分布

11：cpu

12：主存储器

13：辅助存储装置

14：显示部

15：输入部

16：通信控制部

17：记录介质读取部

51：符号

61：开始时间点输入框

62：结束时间点输入框

63：处理单元指定框

64：配方指定框

65：提取数据显示区域

66：确定按钮

100：数据处理装置

110：单位处理数据选择部

120：评价值计算部

130：评价值分布制作部

140：评价值分布更新部

150：异常度判定部

160：数据存储部

161：数据处理程序

162：时间序列数据db

163：基准数据db

164：评价值分布数据db

200：基板处理装置

210：定位器部

212：基板收容器保持部

214：定位器机器人

220：处理部

222：处理单元

224：基板搬送机器人

230：基板交接部

300：通信线路

400：记录介质

500：异常判定对象设定画面

600：单位处理数据选择画面

700：参数指定画面

a～e：参数

l1：等级1

l2：等级2

l3：等级3

l4：等级4

s10～s60、s110～s113、s120～s126、s130～s136、s600～s606：步骤

具体实施方式

以下，参照附图来说明本发明的一实施方式。

＜1.整体结构＞

图1是表示本发明的一实施方式的数据处理系统(基板处理装置用的数据处理系统)的整体结构的框图。所述数据处理系统包含数据处理装置100与基板处理装置200。数据处理装置100与基板处理装置200通过通信线路300而彼此连接。

数据处理装置100在功能上具有单位处理数据选择部110、评价值计算部120、评价值分布制作部130、评价值分布更新部140、异常度判定部150及数据存储部160。单位处理数据选择部110从已蓄存的后述的多个单位处理数据中选择两个以上的单位处理数据。评价值计算部120进行评价值的计算，所述评价值用于通过基板处理所得到的时间序列数据的异常度的判定等。例如，评价值计算部120算出关于由单位处理数据选择部110所选择的单位处理数据中所含的各时间序列数据的评价值。评价值分布制作部130基于由评价值计算部120所算出的评价值(关于各时间序列数据的评价值)，来制作后述的评价值分布。评价值分布更新部140进行评价值分布的更新。异常度判定部150在已存在评价值分布的状况下，基于所述时间序列数据的评价值与评价值分布，来判定关于通过由基板处理装置200执行配方而新获得的时间序列数据的异常度。另外，本实施方式中，作为基板处理的结果，假定评价值的值越小则越佳。

在数据存储部160中，保持有用于执行本实施方式中的各种处理的数据处理程序161。而且，在数据存储部160中，包含保存从基板处理装置200发送的时间序列数据的时间序列数据db162、保存基准数据的基准数据db163、及保存评价值分布数据的评价值分布数据db164。关于基准数据及评价值分布数据的说明将后述。另外，“db”为“数据库(database)”的简称。

基板处理装置200包含多个处理单元222。各处理单元222中，测定表示所述处理单元222的动作状态的多个物理量。由此，获得多个时间序列数据(更详细而言，为关于多个参数的时间序列数据)。通过各处理单元222中的处理所获得的时间序列数据从基板处理装置200被送往数据处理装置100，并如上所述那样保存到时间序列数据db162中。

图2是表示基板处理装置200的概略结构的图。基板处理装置200包括定位器(indexer)部210及处理部220。定位器部210及处理部220的控制是由基板处理装置200内部的控制部(未图示)来进行。

定位器部210包含：多个基板收容器保持部212，用于载置可收容多片基板的基板收容器(匣盒(cassette))；以及定位器机器人(indexerrobot)214，进行基板从基板收容器的搬出以及基板向基板收容器的搬入。处理部220包含：多个处理单元222，使用处理液来进行基板的清洗等处理；以及基板搬送机器人224，进行基板向处理单元222的搬入及基板从处理单元222的搬出。处理单元222的数量例如为十二个。此时，例如，将使三个处理单元222层叠而成的塔式(tower)结构体如图2所示那样设于基板搬送机器人224周围的四处部位。在各处理单元222中，设有进行对基板的处理的空间即腔室，在腔室内对基板供给处理液。另外，各处理单元222包含一个腔室。即，处理单元222与腔室是一一对应的。

在进行对基板的处理时，定位器机器人214从载置于基板收容器保持部212的基板收容器取出处理对象基板，将所述基板经由基板交接部230而交给基板搬送机器人224。基板搬送机器人224将从定位器机器人214接纳的基板搬入至对象处理单元222。当对基板的处理结束时，基板搬送机器人224从对象处理单元222取出基板，并将所述基板经由基板交接部230而交给定位器机器人214。定位器机器人214将从基板搬送机器人224接纳的基板搬入至对象基板收容器。

在所述数据处理系统中，为了对与各处理单元222中的处理相关的设备异常或由各处理单元222进行的处理的异常等进行检测，每当执行配方时，获取时间序列数据。本实施方式中所获取的时间序列数据是如下所述的数据，即，在执行配方时，使用传感器等来测定各种物理量(例如从喷嘴供给的处理流体的流量或温度、腔室的湿度、腔室的内压、腔室的排气压等)，并将测定结果按照时间序列排列所得的数据。而且，将对由摄像机所拍摄的图像实施分析所得的数据按照时间序列排列所得者也成为时间序列数据。各种物理量是分别作为对应的参数的值来进行处理。另外，一个参数对应于一种物理量。

图3是将某一个时间序列数据图表化而表示的图。所述时间序列数据是在执行一个配方时，在一个处理单元222内的腔室中通过对一片基板的处理而获得的、关于某物理量的数据。另外，时间序列数据是包含多个离散值的数据，但在图3中，将在时间上邻接的两个数据值之间以直线相连。此外，在执行一个配方时，针对执行所述配方的每个处理单元222，获得关于各种物理量的时间序列数据。因此，以下，将在执行一个配方时，在一个处理单元222内的腔室中对一片基板进行的处理称作“单位处理”，将通过单位处理所获得的一群时间序列数据称作“单位处理数据”。在一个单位处理数据中，如图4示意性地所示，包含关于多个参数的时间序列数据及属性数据，所述属性数据包含用于确定相应的单位处理数据的多个项目(例如处理的开始时刻、处理的结束时刻等)的数据等。另外，关于图4，“参数a”、“参数b”及“参数c”对应于互不相同的种类的物理量。

为了检测设备或处理的异常，应将通过配方的执行而获得的单位处理数据，与具备理想的数据值来作为处理结果的单位处理数据进行比较。更详细而言，应将通过配方的执行而获得的单位处理数据中所含的多个时间序列数据，分别与具备理想的数据值来作为处理结果的单位处理数据中所含的多个时间序列数据进行比较。因此，本实施方式中，关于各配方，将用于与作为评价对象的单位处理数据进行比较的单位处理数据(包含用于与作为评价对象的单位处理数据中所含的多个时间序列数据分别进行比较的多个时间序列数据的单位处理数据)定为基准数据(作为算出评价值时的基准的数据)。所述基准数据被保存在所述基准数据db163(参照图1)中。

此处，参照图5来说明数据处理装置100的硬件结构。数据处理装置100包括中央处理器(centralprocessingunit，cpu)11、主存储器12、辅助存储装置13、显示部14、输入部15、通信控制部16以及记录介质读取部17。cpu11依照被给予的命令来进行各种运算处理等。主存储器12暂时保存执行中的程序或数据等。辅助存储装置13保存即使电源断开也应保持的各种程序、各种数据。所述数据存储部160是通过所述辅助存储装置13来实现。显示部14例如显示供操作员(operator)进行作业的各种画面。对于所述显示部14，例如使用液晶显示器(display)。输入部15例如是鼠标(mouse)或键盘(keyboard)等，受理操作员从外部进行的输入。通信控制部16进行数据收发的控制。记录介质读取部17是记录有程序等的记录介质400的接口(interface)电路。对于记录介质400，例如使用只读光盘(compactdiscread-onlymemory，cd-rom)或只读数字多功能光盘(digitalversatilediscread-onlymemory，dvd-rom)等非暂时性的记录介质。

当数据处理装置100启动时，将由辅助存储装置13(数据存储部160)所保持的数据处理程序161(参照图1)读取到主存储器12中，由cpu11来执行读取到所述主存储器12中的数据处理程序161。由此，由数据处理装置100提供进行各种数据处理的功能。另外，数据处理程序161例如是以记录在cd-rom或dvd-rom等记录介质400中的形态、或者经由通信线路300来下载(download)的形态而提供。

＜2.基板处理的评价＞

＜2.1评价值分布＞

本实施方式中，为了进行关于各时间序列数据的异常判定，使用评价值分布，所述评价值分布表示由评价值计算部120所求出的评价值的每个值的度数。关于所述评价值分布，参照图6来进行详细说明。

评价值分布是针对每个参数(即，每种时间序列数据)而准备。当着眼于某一个参数时，表示时间序列数据的每个评价值的度数的分布例如成为图6的a部所示者。关于图6的a部，μ是分布生成源的评价值的平均值，σ是分布生成源的评价值的标准偏差。此处，通过对分布生成源的评价值分别进行标准化，能够制作图6的b部所示的分布(平均值为0且分散/标准偏差为1的分布)来作为评价值分布5。另外，若将标准化前的评价值设为sold，将标准化后的评价值设为snew，则标准化是通过下式(1)来进行。

在准备有如上所述的评价值分布5的状况下，当通过配方的执行而新生成时间序列数据时，求出关于所述时间序列数据的评价值。并且，针对所述求出的评价值，使用制作评价值分布5时的平均值μ及标准偏差σ，来进行基于上式(1)的标准化。基于通过所述标准化而获得的评价值，来决定关于相应的时间序列数据的异常度。

关于异常度的决定，在本实施方式中，将标准化后的评价值的范围划分为四个区(zone)。即，以四个等级(level)来判定各时间序列数据的异常度。具体而言，如图6的b部所示，若(标准化后的)评价值小于1，则判定异常度为等级1(l1)，若评价值为1以上且小于2，则判定异常度为等级2(l2)，若评价值为2以上且小于3，则判定异常度为等级3(l3)，若评价值为3以上，则判定异常度为等级4(l4)。

此外，关于标准化后的评价值范围的四个区的划分是基于标准偏差来进行。即，区间的阈值是自动决定的。因而，与以往不同，为了进行时间序列数据的异常判定，用户不需要设定阈值这一繁琐的作业。

＜2.2整体的处理流程＞

图7是表示关于使用时间序列数据的异常检测的整体处理流程的概略的流程图。另外，假定在所述处理的开始前已蓄存有一定程度的数量的时间序列数据。

首先，为了使使用时间序列数据的异常检测(关于各时间序列数据的异常判定)成为可能，进行所述评价值分布5的制作(步骤s10)。本实施方式中，针对每个参数来制作所有处理单元222共同的评价值分布5。评价值分布5的制作的详细流程将后述。

接下来，由用户进行设为异常判定对象的处理单元(腔室)及参数的指定(步骤s20)。此时，在数据处理装置100的显示部14，例如显示图8所示的异常判定对象设定画面(图8中，仅示出了实际显示的画面的一部分，图11、图12、图13也同样)500，由用户指定设为异常判定对象的处理单元及参数。图8所示的示例中，复选框(checkbox)成为选择状态的处理单元以及在列表框(listbox)内成为选择状态的参数被指定为异常判定对象。另外，在步骤s10中，是使用通过所有处理单元222中的处理所获得的时间序列数据来制作关于所有参数的评价值分布5，但只有通过在步骤s20中所指定的处理单元中的处理而获得的时间序列数据中的、关于在步骤s20中所指定的参数的时间序列数据成为实际进行异常判定的对象。

随后，当由基板处理装置200执行配方(步骤s30)时，进行关于通过所述配方的执行而获得的时间序列数据中的、作为异常判定对象的时间序列数据的评分(scoring)(步骤s40)。另外，所谓评分，是指将各时间序列数据与基准数据进行比较，并将由此获得的结果数值化为评价值的处理。在评分结束后，关于各时间序列数据，使用对应的评价值分布5来进行异常度的判定(步骤s50)。在所述步骤s50中，首先，对在步骤s40中获得的评价值实施标准化。评价值的标准化是通过上式(1)来进行，对于上式(1)中的平均值μ及标准偏差σ，使用在相应的评价值分布5的制作时所获得的平均值μ及标准偏差σ。并且，基于评价值分布5上的标准化后的评价值的位置来决定异常度。例如，若标准化后的评价值为在图9中标注有符号51的位置的值，则判定相应的时间序列数据的异常度为“等级2”。

本实施方式中，重复步骤s30～步骤s50的处理，直至任一配方的内容存在变更为止。即，使用相同的评价值分布5来进行执行某配方时的异常度的判定，直至所述配方的内容存在变更为止。当任一配方的内容存在变更时，进行评价值分布5的更新(步骤s60)。通过所述步骤60来实现评价值分布更新步骤。根据本实施方式，这样进行评价值分布的更新，因此，例如可考虑最近的倾向来进行使用时间序列数据的异常检测。另外，关于评价值分布5的更新的详细说明将后述。在评价值分布5的更新后，处理返回步骤s30。

＜3.评价值分布的制作方法＞

参照图10来说明本实施方式中的评价值分布5的制作(图7的步骤s10)的详细流程。首先，由用户进行成为评价值分布5的制作源的两个以上的单位处理数据的选择(步骤s110)。在步骤s110中，在数据处理装置100的显示部14，例如显示图11所示的单位处理数据选择画面600。在单位处理数据选择画面600上，包含开始时间点输入框61、结束时间点输入框62、处理单元指定框63、配方指定框64、提取数据显示区域65及确定按钮(button)66。开始时间点输入框61与结束时间点输入框62是可指定日期时间的列表框，处理单元指定框63与配方指定框64是可从多个项目中选择一个以上的项目的列表框。用户通过开始时间点输入框61与结束时间点输入框62来执行期间，通过处理单元指定框63来执行处理单元，通过配方指定框64来执行配方。由此，将与所指定的条件相应的单位处理数据的一览显示于提取数据显示区域65。用户在选择了显示于提取数据显示区域65的单位处理数据的一部分或全部的状态下，按下确定按钮66。由此，确定成为评价值分布5的制作源的单位处理数据。另外，期间、处理单元及配方未必需要全部指定，只要执行期间、处理单元及配方中的至少任一个即可。

接下来，对于在步骤s110中所选择的单位处理数据(以下称作“被选择单位处理数据”)中所含的各时间序列数据，进行评价值的计算(步骤s111)。本实施方式中，在基准数据db163中预先保持有基准数据。即，应与被选择单位处理数据中所含的各时间序列数据进行比较的基准数据被保持在基准数据db163中。因而，在步骤s111中，将被选择单位处理数据中所含的各时间序列数据与保持在基准数据db163(参照图1)中的基准数据进行比较，算出关于所述各时间序列数据的评价值。

接下来，进行在步骤s111中所算出的评价值的标准化(步骤s112)。如上所述，评价值的标准化是使用上式(1)来进行。此时，评价值分布5是针对每个参数而制作，因此，上式(1)中的平均值μ及标准偏差σ是针对每个参数而求出。

最后，针对每个参数(即，每种时间序列数据)，基于标准化后的评价值的数据来制作评价值分布5(步骤s113)。构成所述评价值分布5的数据是作为评价值分布数据而保持在所述的评价值分布数据db164(参照图1)中。

另外，本实施方式中，通过步骤s110来实现单位处理数据选择步骤，通过步骤s111来实现第一评价值计算步骤，通过步骤s112及步骤s113来实现第一评价值分布制作步骤。

＜4.评价值分布的更新方法＞

接下来，对评价值分布5的更新进行说明。在通过由基板处理装置200执行配方而获得的单位处理数据中，包含关于多个参数的时间序列数据。如上所述，本实施方式中，针对每个所述参数来制作评价值分布5。此外，在基板处理装置200中，有时会对配方的内容实施变更。若配方的内容存在变更，则在所述变更的前后，通过配方的执行所获得的时间序列数据的内容将变得不同。此时，若使用在配方变更前制作的评价值分布5来进行在配方变更后获得的时间序列数据的异常判定，则有可能得不到正确的结果来作为所述异常判定的结果。因此，本实施方式中，当配方的内容存在变更时，进行评价值分布5的更新。另外，在配方的内容存在变更之后，由于尚未蓄存基于变更后的内容的时间序列数据，因此优选的是，评价值分布5的更新是在蓄存有一定程度的基于变更后内容的时间序列数据才进行。

在评价值分布5的更新时，评价值分布更新部140将与变更前的配方关联的参数和与变更后的配方关联的参数进行比较。并且，评价值分布更新部140基于已蓄存的评价值(关于相应的参数的时间序列数据的评价值)的数据，来制作与伴随配方内容的变更而追加的参数对应的评价值分布5。而且，由用户来进行内容存在变更的参数的指定，评价值分布更新部140重新制作与所述指定的参数对应的评价值分布5。

例如，假定因某配方的内容变更，而与所述配方关联的参数群产生下述变化。

变更前：参数a、参数b、参数c、参数d

变更后：参数a、参数c、参数d、参数e

另外，假定关于参数a及参数d，时间序列数据的内容无变化，关于参数c，时间序列数据的内容存在变化。

在所述示例的情况下，在评价值分布5的更新时，在数据处理装置100的显示部14显示例如图12所示的参数指定画面700。在参数指定画面700上，包含与变更后的参数群(参数a、参数c、参数d、参数e)对应的复选框。与伴随配方的内容变更而追加的参数即参数e对应的复选框已预先成为选择状态(图12中为阴影状态)。在此种参数指定画面700上，关于参数c，由于时间序列数据的内容存在变化，因此如图13所示，用户将与参数c对应的复选框设为选择状态。这样，由用户执行了参数后，实际进行评价值分布5的更新。其结果，如图14示意性地所示，评价值分布5得到更新。具体而言，关于伴随配方内容的变更而删除的参数即参数b的评价值分布5被删除，新制作关于伴随配方的内容变更而追加的参数即参数e的评价值分布5，并重新制作关于由用户所指定的参数即参数c的评价值分布5。另外，关于参数a及参数d的评价值分布5维持为配方内容变更前的状态。

如上所述，仅对关于与配方内容变更相关的参数的评价值分布5进行更新(制作、重新制作、删除)。由此，防止评价值分布5的更新需要巨大的时间。

＜5.效果＞

根据本实施方式，算出关于由用户所选择的单位处理数据中所含的各时间序列数据的评价值。并且，对所述评价值实施统计性的标准化，以制作表示标准化后的评价值的分布的评价值分布5。在这样制作有评价值分布5的状况下，当通过配方的执行而新生成时间序列数据时，关于所述时间序列数据，基于评价值分布5上的评价值(详细而言，通过评分而获得的评价值的标准化后的值)的位置来决定异常度。关于此，由于评价值分布5是基于经标准化的数据而制作的分布，因此能够基于标准偏差来自动决定异常判定时的阈值。即，不需要用户进行繁琐的作业，而能够客观地设定用于进行异常判定的阈值。而且，通过像这样客观地进行阈值的设定，能够以稳定的精度来进行时间序列数据的异常判定。如上所述，根据本实施方式，不需要用户进行繁琐的作业，而能够较以往精度良好地进行使用时间序列数据的异常检测。

＜6.变形例＞

以下，对所述实施方式的变形例进行说明。

＜6.1与评价值分布的制作相关的变形例＞

所述实施方式中，在开始评价值分布5的制作时，已关于各配方而决定了基准数据。但是，根据数据处理系统，也存在如上所述的基准数据尚未决定的情况(case)。因此，作为第一变形例～第三变形例，对未预先决定基准数据的情况下的评价值分布5的制作方法进行说明。

＜6.1.1第一变形例＞

参照图15来说明本变形例中的评价值分布5的制作(图7的步骤s10)的详细流程。首先，由用户进行作为评价值分布5的制作源的两个以上的单位处理数据的选择(步骤s120)。在步骤s120中，与所述实施方式中的步骤s110(参照图10)同样地进行单位处理数据的选择。即，从通过指定期间、处理单元及配方中的至少任一者而提取的单位处理数据中，选择两个以上的单位处理数据。

接下来，将被选择单位处理数据(在步骤s120中所选择的单位处理数据)中的一个定为临时基准数据(步骤s121)。接下来，针对每个参数，求出通过将临时基准数据与被选择单位处理数据中的临时基准数据以外的单位处理数据分别进行比较而获得的“多个评价值”的平均值(也可为合计值)(步骤s122)。若被选择单位处理数据中包含关于十个参数的时间序列数据，则在步骤s122中获得十个平均值的数据。并且，将这十个数据(平均值的数据)的合计作为比较值来处理。重复步骤s121及步骤s122，由此而获得与被选择单位处理数据中所含的单位处理数据的数量为相等数量的比较值的数据。若被选择单位处理数据中包含五十个单位处理数据，则将步骤s121及步骤s122的处理重复五十次，获得五十个比较值的数据。

在获得与被选择单位处理数据中所含的单位处理数据的数量为相等数量的比较值的数据后，决定基准数据(步骤s123)。具体而言，选择与通过重复步骤s121及步骤s122而获得的多个比较值中的最小比较值对应的、作为临时基准数据的单位处理数据，来作为基准数据。换言之，选择在步骤s122中求出的比较值达到最小时被定为临时基准数据的单位处理数据，来作为基准数据。

在决定了基准数据后，对于被选择单位处理数据中所含的各时间序列数据，进行评价值的计算(步骤s124)。在步骤s124中，将被选择单位处理数据中所含的各时间序列数据与在步骤s123中所选择的基准数据进行比较，算出关于所述各时间序列数据的评价值。

随后，与所述实施方式中的步骤s112同样地进行评价值的标准化(步骤s125)，进而，与所述实施方式中的步骤s113同样地进行评价值分布5的制作(步骤s126)。

另外，本变形例中，通过步骤s120来实现单位处理数据选择步骤，通过步骤s121～步骤s123来实现基准数据选择步骤，通过步骤s124来实现第一评价值计算步骤，通过步骤s125及步骤s126来实现第一评价值分布制作步骤。而且，通过步骤s121来实现临时基准数据设定步骤，通过步骤s122来实现比较值计算步骤。

根据本变形例，在未预先决定基准数据的情况下，制作用于时间序列数据的异常判定的评价值分布5。而且，在所述评价值分布5的制作时，将所有的被选择单位处理数据逐次设定为临时基准数据，由此来决定应实际设定为基准数据的最佳的单位处理数据。在这样适当地设定了基准数据后制作评价值分布5，因此使用所述评价值分布5的异常判定成为高精度。如上所述，根据本变形例，即使在未预先决定基准数据的情况下，也能制作评价值分布5，以便能够高精度地进行时间序列数据的异常判定。

＜6.1.2第二变形例＞

参照图16来说明本变形例中的评价值分布5的制作(图7的步骤s10)的详细流程。首先，由用户进行作为评价值分布5的制作源的两个以上的单位处理数据的选择(步骤s130)。在步骤s130中，与所述实施方式中的步骤s110(参照图10)同样地进行单位处理数据的选择。即，从通过指定期间、处理单元及配方中的至少任一者而提取的单位处理数据中，选择两个以上的单位处理数据。

接下来，针对每个参数(即，每种时间序列数据)，制作中央值数据，所述中央值数据包含被选择单位处理数据在各时间点的中央值的数据(步骤s131)。关于此，若被选择单位处理数据的数量为奇数个，则将数据按照降序或者升序排列时成为正中间顺位的数据的值为中央值。例如，若被选择单位处理数据的数量为五个，则如图17所示，大小为第三个的值为中央值。另外，图17中，以粗实线表示中央值数据，以细实线表示作为被选择单位处理数据的五个数据。而且，若被选择单位处理数据的数量为偶数个，则将通过数据按照降序或者升序排列时成为正中间顺位的两个数据的值之和除以2所得的值为中央值。例如，若被选择单位处理数据的数量为六个，则通过将大小为第三个的值和大小为第四个的值之和除以2所得的值为中央值。并且，将所有时间点的中央值的数据总结为一个的数据为中央值数据。另外，也可取代如上所述的中央值数据，而将各时间点的中心值(通过将最小值与最大值之和除以2所得的值)或者包含平均值数据的代表值数据用于后述的步骤s132中。

接下来，对于被选择单位处理数据的各个，针对每个参数，通过与中央值数据的比较来求出评价值(步骤s132)。以下，为了方便，将在此步骤s132中求出的评价值称作“得分”。随后，基于在步骤s132中获得的得分数据，来决定基准数据(步骤s133)。具体而言，选择在步骤s132中针对每个参数(每种时间序列数据)而求出的得分的合计值为最小(最佳)的被选择单位处理数据，来作为基准数据。若被选择单位处理数据中包含关于十个参数的时间序列数据，则在步骤s132中关于各个被选择单位处理数据而获得十个得分数据。并且，在步骤s133中，针对每个被选择单位处理数据，求出十个得分数据的合计值，选择此合计值为最小的被选择单位处理数据来作为基准数据。

在决定了基准数据后，对于被选择单位处理数据中所含的各时间序列数据进行评价值的计算(步骤s134)。在步骤s134中，将被选择单位处理数据中所含的各时间序列数据与在步骤s133中所选择的基准数据进行比较，算出关于所述各时间序列数据的评价值。

随后，与所述实施方式中的步骤s112同样地进行评价值的标准化(步骤s135)，进而，与所述实施方式中的步骤s113同样地进行评价值分布5的制作(步骤s136)。

另外，本变形例中，通过步骤s130来实现单位处理数据选择步骤，通过步骤s131～步骤s133来实现基准数据选择步骤，通过步骤s134来实现第一评价值计算步骤，通过步骤s135及步骤s136来实现第一评价值分布制作步骤。而且，通过步骤s131来实现中央值数据制作步骤，通过步骤s132来实现得分计算步骤。

根据本变形例，在未预先决定基准数据的情况下，制作用于时间序列数据的异常判定的评价值分布5。而且，在所述评价值分布5的制作时，基于通过将各个被选择单位处理数据与中央值数据进行比较而获得的得分数据，来决定基准数据。由于利用此种方法来决定基准数据，因此与所述第一变形例相比，处理负荷得以减轻。如上所述，根据本变形例，在未预先决定基准数据的情况下，不需要高负荷的处理，便能够制作评价值分布5。

＜6.1.3第三变形例＞

所述第一变形例及所述第二变形例中，关于各配方，采用某一个单位处理数据中所含的时间序列数据来作为关于所有参数的基准数据。但是，也可针对每个参数，而采用不同的单位处理数据中所含的时间序列数据来作为基准数据。例如，当着眼于与某配方关联的三个参数(参数a、参数b、参数c)时，如图18所示，作为关于参数a的基准数据而处理的时间序列数据、作为关于参数b的基准数据而处理的时间序列数据、与作为关于参数c的基准数据而处理的时间序列数据也可为互不相同的单位处理数据中所含的时间序列数据。

因此，关于所述第一变形例中的步骤s123(参照图15)，也可针对每个参数来决定(选择)基准数据。即，在步骤s123中，也可针对每个参数(每种时间序列数据)，选择在步骤s122中求出的比较值达到最小时被定为临时基准数据的单位处理数据来作为基准数据。

同样地，关于所述第二变形例中的步骤s133(参照图16)，也可针对每个参数来决定(选择)基准数据。即，在步骤s133中，也可针对每个参数(每种时间序列数据)，选择在步骤s132中求出的得分为最小(最佳)的被选择单位处理数据来作为基准数据。

＜6.2与评价值分布的更新相关的变形例＞

接下来，对与评价值分布5的更新相关的变形例进行说明。

＜6.2.1第四变形例＞

在所述实施方式中，当配方的内容存在变更时，评价值分布5得到更新。但是，本发明并不限定于此，也可每当执行评分时更新评价值分布5。

图19是表示本变形例中的关于使用时间序列数据的异常检测的整体处理流程的概略的流程图。所述实施方式中，重复步骤s30～步骤s50的处理，直至任一配方的内容存在变更为止(参照图7)。与此相对，本变形例中，在基于评分(步骤s40)的结果来进行异常度的判定(步骤s50)后，必须进行评价值分布5的更新(步骤s60)。另外，通过步骤s40来实现第三评价值计算步骤，通过步骤s60来实现评价值分布更新步骤。

此外，为了制作评价值分布5，必须基于作为制作源的所有单位处理数据来进行平均值及标准偏差的计算。即，为了每当执行评分时进行评价值分布5的更新，每当评分时，必须进行平均值及标准偏差的计算。关于此，假设每当评分时，使用评价值分布5的制作源的所有单位处理数据来进行平均值及标准偏差的计算，则用于计算的负荷将变得非常大。因此，当评价值分布5的制作源的单位处理数据的数量由n个增加至n+1个时，只要使用以下的式(2)～式(4)来逐次地求出平均值及分散(标准偏差的平方)即可。

μn+1＝(1-α)μn+αxn+1…(3)

此处，μn+1是评价值分布5的制作源的单位处理数据的数量增加至n+1个的状态下的评价值的平均值，μn是评价值分布5的制作源的单位处理数据的数量为n个的状态下的评价值的平均值，xn+1是所追加的单位处理数据的评价值，σ²n+1是评价值分布5的制作源的单位处理数据的数量增加至n+1个的状态下的评价值的分散，σ²n是评价值分布5的制作源的单位处理数据的数量为n个的状态下的评价值的分散。

在使用上式(3)来求μn+1时，μn已求出，而且，在使用上式(4)来求σ²n+1时，σ²n已求出。因而，能以相对较低的负荷来求出用于制作更新后的评价值分布5的平均值及标准偏差(标准偏差可根据分散来简单获得)。

若评价值分布5的制作源的单位处理数据的数量少，则关于时间序列数据的异常判定得不到良好的精度。对于此点，根据本变形例，每当执行评分时，评价值分布5得到更新，因此异常判定的精度逐渐提高。而且，尽管直至平均值或标准偏差收敛为固定范围内的值(关于异常判定可获得充分的精度)为止需要一些时间，但即使在尚未完全得到作为配方执行结果的单位处理数据的状况下，也可预先进行与评分或评价值分布5的制作相关的各种设定作业。

＜6.2.2第五变形例＞

所述实施方式中，是基于用户任意选择的单位处理数据来进行评价值分布5的制作、更新。但是，本发明并不限定于此，也可基于通过所指定的处理单元222中的处理所获得的单位处理数据来进行评价值分布5的更新。

图20是表示本变形例中的评价值分布5的更新的详细流程的流程图。本变形例中，在评价值分布5的更新时，首先进行评分结果(评价值的数据)的提取(步骤s600)。在步骤s600中，例如基于一个评价值分布5，来提取关于最近得到的1000个单位处理数据的评分结果。

接下来，基于在步骤s600中提取的评分结果，针对每个处理单元222来算出评价值的偏差(分散或标准偏差)(步骤s601)。另外，此时，不进行评价值的数据的标准化。此外，当基于在步骤s600中提取的评分结果来制作分布(评价值的分布)时，所述分布例如图21中示意性地所示，针对每个处理单元而不同。此处，通常认为，输出结果中包含的异常度高的时间序列数据越多的处理单元222，则基于所述分布的偏差将越大。因此，如上所述，在步骤s601中，针对每个处理单元222来算出评价值的偏差。并且，进行得到在步骤s601中所算出的偏差中的最小偏差的处理单元222的指定(步骤s602)。

随后，例如从所述最近得到的1000个单位处理数据中，提取通过在步骤s602中所指定的处理单元222中的处理所获得的单位处理数据(步骤s603)。接下来，对于在步骤s603中所提取的单位处理数据(以下称作“被提取单位处理数据”)中所含的各时间序列数据，进行评价值的计算(步骤s604)，进而，进行在步骤s604中所算出的评价值的标准化(步骤s605)。另外，在步骤s605中，评价值的标准化也是使用上式(1)来进行。最后，针对每个参数(即，每种时间序列数据)，基于标准化后的评价值的数据来制作更新后的评价值分布5(步骤s606)。

另外，本变形例中，通过步骤s601来实现偏差计算步骤，通过步骤s602来实现处理单元指定步骤，通过步骤s603来实现单位处理数据提取步骤，通过步骤s604来实现第二评价值计算步骤，通过步骤s605及步骤s606来实现第二评价值分布制作步骤。

根据本变形例，即使在难以选择成为评价值分布5的制作源的单位处理数据的情况下，仍可基于每个处理单元222的评分结果，来选择(指定)被认为可进行稳定处理的处理单元222。并且，基于通过所述选择的处理单元222中的处理所获得的单位处理数据，来制作更新后的评价值分布5。因此，使用所述评价值分布5的异常判定变得高精度。如上所述，根据本变形例，即使在难以选择成为评价值分布5的制作源的单位处理数据的情况下，也可更新评价值分布5，以便能高精度地进行时间序列数据的异常判定。

另外，所述示例中，步骤s602中的处理单元222的指定是仅考虑评价值的偏差来进行。关于此，例如也考虑下述情况(case)的产生，即：如图22所示，较之与包含较多异常度相对较低的时间序列数据的处理单元对应的分布，与包含较多异常度相对较高的时间序列数据的处理单元对应的分布的偏差小。因此，例如也可在所述步骤s601(参照图20)中，除了评价值的偏差以外，还算出评价值的平均值，并在步骤s602中考虑评价值的偏差及评价值的平均值这两者来进行处理单元222的指定。此时，通过步骤s601来实现统计值计算步骤。

此外，在新制作评价值分布5时，也能够采用本变形例的方法。即，关于所述实施方式中的步骤s110(参照图10)的处理，也可利用本变形例中的步骤s601～步骤s603的流程来进行单位处理数据的选择。由此，即使在难以选择作为评价值分布5的制作源的单位处理数据的情况下，也能制作评价值分布5，以便能够高精度地进行时间序列数据的异常判定。

＜6.3与数据处理系统的整体结构相关的变形例(第六变形例)＞

所述实施方式中，数据处理系统包含一个基板处理装置200和与其对应的一个数据处理装置100。但是，本发明并不限定于此。例如，也可如图23所示，数据处理系统包含多个基板处理装置200和与它们一一对应的多个数据处理装置100，还可如图24所示，数据处理系统包含多个基板处理装置200和一个数据处理装置100。即，数据处理系统中也可包含多个基板处理装置200。

而且，在包含多个基板处理装置200的数据处理系统中，也可针对每个基板处理装置200而准备关于任意参数的评价值分布5。即，由数据处理装置100所制作的各评价值分布5也可被用作多个基板处理装置200中的与所述数据处理装置100对应的基板处理装置200用的评价值分布5。此时，也可能够在数据处理系统内将某基板处理装置200用的评价值分布5复制作为其他基板处理装置200用的评价值分布5。即，也可输出(export)任意基板处理装置200用的评价值分布5，或者将评价值分布5作为任意基板处理装置200用的评价值分布而输入(import)。

根据本变形例，能够在多个基板处理装置200间共用基于良好数据的评价值分布5。由此，可实现使用时间序列数据的异常检测的精度的稳定化。

＜6.4与评价值分布和处理单元的对应相关的变形例(第七变形例)＞

所述实施方式中，针对每个参数而制作所有处理单元222共同的评价值分布5。但是，本发明并不限定于此，也可针对每个处理单元222而制作关于各参数的评价值分布5。即，也可将由数据处理装置100所制作的各评价值分布5用作多个处理单元222中的任一个用的评价值分布5。此时，也可能够将处理单元222用的评价值分布5复制作为其他处理单元222用的评价值分布5。即，也可输出任意处理单元222用的评价值分布5，或者将评价值分布5作为任意处理单元222用的评价值分布而输入。

根据本变形例，能够在多个处理单元222间共用基于良好数据的评价值分布5。由此，可实现使用时间序列数据的异常检测的精度的稳定化。

＜7.其他＞

以上详细说明了本发明，但以上的说明在所有方面仅为例示而非限制者。当了解的是，可不脱离本发明的范围而创作出大量的其他变更或变形。