技术领域
本发明的实施方式在整体上涉及模型构建系统以及模型构建方法。
背景技术：
为了使用多个输入变量(说明变量)对某个输出变量(目标变量)进行预测的目的，一般进行表示多个输入变量与输出变量之间的关系的模型的构建。在构建模型时，从大量的输入变量中选择一部分输入变量，使用所选择的输入变量和输出变量来构建模型。例如，以对于输出变量的预测误差较小、能够更高精度地预测输出变量的方式选择输入变量。
对于模型，除了要求精度以外，还要求泛化能力较高。即，要求基于某个范围的数据(现有的数据)构建的模型，对于其他范围的数据(未知的数据)也具有良好的精度。但是，对于现有的数据具有较高精度的模型，不一定具有较高的泛化能力。另外，有时与对于现有的数据精度最高的模型相比，精度低一定程度的模型在泛化能力方面更优异。因此，希望开发出能够构建抑制精度降低并且泛化能力较高的模型的技术。
技术实现要素：
本发明的实施方式提供模型构建系统以及模型构建方法，能够构建抑制精度降低并且泛化能力较高的模型。
根据本发明的实施方式，模型构建系统具有基础模型构建部、类似度计算部、变形模型构建部和泛化能力计算部。所述基础模型构建部构建表示从多个输入变量中选择的选择输入变量与输出变量之间的关系的基础模型。所述类似度计算部计算所述多个输入变量中除了所述选择输入变量以外的非选择输入变量与所述选择输入变量之间的类似度。所述变形模型构建部基于所述类似度将所述选择输入变量的至少一部分替换为所述非选择输入变量，并构建表示替换之后的输入变量与输出变量之间的关系的变形模型。所述泛化能力计算部计算所述基础模型和所述变形模型的泛化能力。
根据上述构成的模型构建系统，能够构建抑制精度降低并且泛化能力较高的模型。
附图说明
图1是表示实施方式涉及的模型构建系统的构成的框图。
图2是对实施方式涉及的模型构建系统进行的处理的一个例子进行说明的图。
图3是对实施方式涉及的模型构建系统进行的处理的一个例子进行说明的图。
图4是表示实施方式涉及的模型构建方法的一个例子的流程图。
图5是表示实施方式涉及的模型构建方法的另一个例子的流程图。
图6是例示用于实现实施方式涉及的模型构建系统的模型构建装置的构成的框图。
图7是例示使用实施方式涉及的模型构建系统构建的模型的特性的曲线图。
图8是例示使用实施方式涉及的模型构建系统构建的模型的特性的曲线图。
符号的说明
1模型构建系统；2模型构建装置；100取得部；102基础模型构建部；104模型信息保存部；106类似度计算部；108类似度信息保存部；110变形模型构建部；112泛化能力计算部；114外部输出部；120规定数数据库；122变量数据库
具体实施方式
以下，参照附图对本发明的各实施方式进行说明。
此外，在本申请说明书以及各个附图中，对于与已经说明过的要素相同的要素赋予相同的符号并适当省略详细的说明。
图1是表示实施方式涉及的模型构建系统1的构成的框图。
图2和图3是对实施方式涉及的模型构建系统1进行的处理的一个例子进行说明的图。
如图1所示，模型构建系统1具有取得部100、基础模型构建部102、模型信息保存部104、类似度计算部106、类似度信息保存部108、变形模型构建部110、泛化能力计算部112、外部输出部114、规定数数据库120、以及变量数据库122。
规定数数据库120存储规定数。规定数表示在模型构建系统1中构建的模型的数量。规定数例如由用户预先输入。变量数据库122关于输入变量以及输出变量存储各个变量的实测值即变量数据。
取得部100从规定数数据库120以及变量数据库122中分别取得规定数以及变量数据。取得部100将所取得的信息输出至基础模型构建部102。
基础模型构建部102从取得部100所输出的多个输入变量中选择一部分输入变量。基础模型构建部102使用由取得部100取得的变量数据，构建表示所选择的输入变量与输出变量之间的关系的模型。例如，能够使用最小绝对收缩和选择算子(Least Absolute Shrinkage and Selection Operator：Lasso)、弹性网络(Elastic Net)、脊回归(Ridge)、最小角回归(Least Angle Regression：LARS)、非负绞(Non Negative Garrote)、或者平滑截断绝对偏差(Smoothly Clipped Absolute Deviation：SCAD)，来进行输入变量的选择以及模型的构建。或者，也可以使用逐步回归(Stepwise)、变量重要性投影(Variable Important in the Projection：VIP)、遗传算法以及最近相关鲁汶法(Nearest Correlation Louvain Method：NCLM)中的任一种来进行输入变量的选择，使用多次回归或者偏最小二乘法(Partial Least Squares：PLS)来进行模型构建。
以下，将基础模型构建部102在模型构建时所选择的输入变量称为“选择输入变量”。将未选择的变量称为“非选择输入变量”。选择输入变量是由取得部100取得的多个输入变量的一部分。非选择输入变量是多个输入变量的另一部分。非选择输入变量不同于选择输入变量。另外，将由基础模型构建部102使用选择输入变量构建的模型称为“基础模型”。基础模型表示包含多个选择输入变量的输入变量组与输出变量之间的关系。
基础模型构建部102将所构建的基础模型输出至模型信息保存部104。由此，模型信息被保存至模型信息保存部104。另外，基础模型构建部102也将基础模型输出至类似度计算部106以及变形模型构建部110。
类似度计算部106计算基础模型中包含的多个选择输入变量的各个与多个非选择输入变量的各个之间的多个类似度。例如，能够将相关系数、偏相关系数、正准相关或脊回归(Ridge)决定系数等用作为类似度。类似度计算部106将计算出的类似度输出至类似度信息保存部108。
变形模型构建部110从类似度信息保存部108取得输入变量的类似度信息。变形模型构建部110根据该类似度信息将多个选择输入变量的至少一部分替换为多个非选择输入变量的至少一部分。由此，生成另外的输入变量组。此时，变形模型构建部110将基础模型中包含的多个选择输入变量全部替换为多个非选择输入变量的至少一部分。或者，变形模型构建部110也可以将基础模型中包含的多个选择输入变量的一部分替换为多个非选择输入变量的至少一部分。变形模型构建部110构建表示上述另外的输入变量组与输出变量之间的关系的模型。以下，将由变形模型构建部110构建的该模型称为“变形模型”。
由变形模型构建部110构建的变形模型的模型信息被保存至模型信息保存部104。另外，变形模型构建部110判断由模型构建系统1构建的基础模型和变形模型的总数是否达到规定数。在所构建的模型的总数未达到规定数时，变形模型构建部110一边替换变形模型中包含的变量，一边进一步重复地构建其他变形模型。
当基础模型以及变形模型的总数达到规定数时，通过泛化能力计算部112计算所构建的各模型的泛化能力。泛化能力计算部112取得保存在模型信息保存部104中的模型信息(基础模型以及变形模型)，并从变量数据库122取得变量数据。此时，泛化能力计算部112取得与基础模型以及变形模型的构建时不同的范围的变量数据(未知的数据)。例如，泛化能力计算部112对于未知的数据的输入变量应用基础模型以及变形模型。泛化能力计算部112将各模型的预测值与输出变量的实测值进行比较，并计算出预测的精度而作为各模型的泛化能力。
作为一个例子，将在某个制造装置中得到的各种数据(温度、压力、外观)作为输入变量以及输出变量来构建基础模型以及变形模型。在该情况下，将各模型应用于在另外的制造装置中得到的变量数据，计算出其精度而作为各模型的泛化能力。
或者，也可以为，根据某个制造装置的在规定期间中得到的变量数据来构建基础模型以及变形模型。在该情况下，将各模型应用于该装置的在另外的期间中得到的数据，计算出其精度而作为各模型的泛化能力。
例如，能够使用均方误差(Mean Square Error：MSE)、均方根误差(RootMean Square Error：RMSE)、决定系数(R2)、相关系数、赤池信息准则(Akaike's Information Criterion：AIC)或者贝叶斯信息准则(Bayesian Information Criterion：BIC)等来计算泛化能力。泛化能力计算部112将各模型的泛化能力的计算结果输出至外部输出部114。
外部输出部114使泛化能力最高的基础模型以及变形模型的一个在显示器上对用户显示，或者以规定的文件格式输出。外部输出部114也可以输出包括具有最高的泛化能力的模型在内的多个模型。
此处，参照图2和图3对多个具体的例子进行说明。
例如，在变量数据库122中存储有12个输入变量Xi(i＝1～12的自然数)以及输出变量Y的变量数据。在该情况下，基础模型构建部102选择12个输入变量的一部分。基础模型构建部102在12个输入变量的一部分与输出变量Y之间制作例如由以下的式(1)表示的基础模型。基础模型构建部102将该基础模型保存至模型信息保存部104。
Y＝b1X1+b2X2+b3X3+b0 (1)
接着，类似度计算部106在选择输入变量即X1、X2以及X3的各个与非选择输入变量即X4～X12的各个之间，如图2(a)所示那样计算类似度。在图2(a)中示例了将相关系数用作为类似度的情况。
作为第一个方法，变形模型构建部110例如使用预先设定的阈值。变形模型构建部110对于各个选择输入变量，提取具有阈值以上的类似度的至少一个非选择输入变量。
在图2(b)所示的例子中，阈值被设定为80％，并对于各个选择输入变量提取类似度较高的非选择输入变量。即，在该例子中，对于变量X1提取变量X4、X5、X6。对于变量X2提取变量X7、X8、X9，对于变量X3提取变量X10、X11、X12。由此，制作多个由一个选择输入变量和与这一个选择输入变量的类似度较高的非选择输入变量构成的组。在图2(a)所示的例子中，非选择输入变量X12的类似度相对于选择输入变量X1以及X3的双方为80％以上。在该情况下，非选择输入变量X12例如被分配给类似度更高的选择输入变量X3。
变形模型构建部110对于各个组，例如按照一致的概率来对选择输入变量与非选择输入变量进行替换。变形模型构建部110根据替换后的选择输入变量和非选择输入变量的组来构建变形模型。变形模型构建部110将该变形模型保存至模型信息保存部104。例如，在图2(a)以及图2(b)所示的例子中，变量X1和X3未被替换，变量X2被替换为变量X7。在该情况下，变形模型构建部110根据这些输入变量，构建由以下的式(2)表示的变形模型，并保存至模型信息保存部104。
Y＝b5X1+b6X7+b7X3+b4 (2)
作为第二个方法，变形模型构建部110设定基于非选择输入变量的类似度的概率。变形模型构建部110根据该概率来替换至少一个选择输入变量和至少一个非选择输入变量。图2(c)表示将图2(a)所示的类似度的计算结果从相对于各选择输入变量的类似度较高的非选择输入变量起按顺序排列。使用各非选择输入变量的类似度，例如，如以下的式(3)那样设定对选择输入变量Xj(j＝1，2，3)与非选择输入变量Xk(k＝4～12)进行替换的概率Pjk。α是为了不进行替换的概率而设定的数值。
变形模型构建部110根据式(3)所示的概率来对选择输入变量与非选择输入变量进行替换。变形模型构建部110与式(2)相同地构建变形模型，并将该变形模型保存至模型信息保存部104。根据该方法，与此前说明的方法相比，能够更忠实地反映类似度而构建变形模型。因此，与此前的方法相比，通过相对于输出变量的预测误差更小的输入变量X的组合更容易构建变形模型。
或者，作为第三个方法，变形模型构建部110也可以使用实验计划法来构建变形模型。具体而言，变形模型构建部110首先如图2(b)所示那样，对于各个选择输入变量提取类似度较高的非选择输入变量。接着，变形模型构建部110使用实验计划法如图3(a)所示那样制作正交表，并基于该正交表依次构建变形模型。泛化能力计算部112对于基于正交表构建的各个变形模型，如图3(b)所示那样计算泛化能力(MSE)。变形模型构建部110参照泛化能力的计算结果来计算由于替换变量而产生的主效应。而且，变形模型构建部110为了使泛化能力变得最高，将多个选择输入变量的至少一部分替换为主效应最大的至少一个非选择输入变量而构建变形模型。变形模型构构建部110将该变形模型向外部输出。
在该方法中，变形模型构建部110在制作了正交表时，也可以判定基于正交表构建的变形模型的数量是否为规定数以下。在构建的变形模型的数量为规定数以下的情况下，根据上述的方法来进行变形模型的构建、主效应的计算。在构建的变形模型的数量超过规定数的情况下，模型构建系统1例如从外部输出部114输出错误，或者切换为第一个方法或第二个方法来构建变形模型。
图4是表示实施方式涉及的模型构建方法的一个例子的流程图。
图5是表示实施方式涉及的模型构建方法的另一个例子的流程图。
图4所示的流程图对应于使用图2(a)～图2(c)说明的第一个方法以及第二个方法。图5所示的流程图对应于使用图3说明的第三个方法。
首先，对图4所示的流程图进行说明。
取得部100从规定数数据库120以及变量数据库122取得规定数以及变量数据(步骤S1)。基础模型构建部102选择多个输入变量的一部分，并构建基础模型(步骤S2)。基础模型构建部102将所构建的基础模型的模型信息保存至模型信息保存部104(步骤S3)。
类似度计算部106计算为了构建基础模型而选择的多个选择输入变量的各个与未被选择的多个非选择输入变量的各个之间的类似度(步骤S4)。类似度计算部106将所计算出的这些变量间的类似度保存至类似度信息保存部108(步骤S5)。变形模型构建部110将至少一个选择输入变量替换为与该至少一个选择输入变量的类似度较高的非选择输入变量。变形模型构建部110基于替换后的输入变量组来构建变形模型(步骤S6)。
变形模型构建部110将所构建的变形模型的模型信息保存至模型信息保存部104(步骤S7)。变形模型构建部110判定所构建的模型数量是否达到在步骤S1中取得的规定数(步骤S8)。在未达到规定数的情况下，反复执行步骤S6和S7直到达到规定数。
在所构建的模型数量达到规定数时，泛化能力计算部112从变量数据库122取得用于计算所构建的模型的泛化能力的变量数据(步骤S9)。另外，泛化能力计算部112从模型信息保存部104取得基础模型和变形模型的模型信息，并计算各模型的泛化能力(步骤S10)。外部输出部114选择泛化能力较高的模型向外部输出(步骤S11)。
接着，对图5所示的流程图进行说明。
与图4所示的流程图的步骤S1～S5同样地执行步骤S1～S5。变形模型构建部110基于保存在类似度信息保存部108中的类似度来制作正交表(步骤S6)。变形模型构建部110判定基于正交表制作的变形模型的数量是否为规定数以下(步骤S7)。在变形模型的数量超过规定数的情况下，结束使用实验计划法的变形模型的构建。在变形模型的数量为规定数以下的情况下，变形模型构建部110基于正交表来构建另外的变形模型(步骤S8)。
变形模型构建部110将所构建的变形模型的模型信息保存于模型信息保存部104(步骤S9)。泛化能力计算部112从变量数据库122中取得用于计算所构建的模型的泛化能力的变量数据(步骤S10)。另外，泛化能力计算部112从模型信息保存部104取得基础模型和变形模型的模型信息，并计算各模型的泛化能力(步骤S11)。泛化能力计算部112参照泛化能力的计算结果，计算由于替换变量而产生的主效应(步骤S12)。变形模型构建部110将选择输入变量的至少一部分替换为主效应最大的至少一个非选择输入变量，而构建另外的变形模型(步骤S13)。外部输出部114将在步骤S13中构建的另外的变形模型作为泛化能力最高的模型向外部输出(步骤S14)。
图6是例示用于实现实施方式涉及的模型构建系统1的模型构建装置2的构成的框图。
模型构建装置2例如具有输入装置200、输出装置202以及计算机204。计算机204例如具有ROM(Read Only Memory：只读存储器)206、RAM(Random Access Memory：随机访问存储器)208、CPU(Central Processing Unit：中央处理单元)210、以及存储装置HDD(Hard Disk Drive：硬盘驱动器)212。
输入装置200用于供用户对模型构建装置2输入信息。输入装置200为键盘或者触摸面板等。
输出装置202用于将通过模型构建系统1得到的输出结果对用户进行输出。输出装置202为显示器或者打印机等。
ROM206保存对模型构建装置2的动作进行控制的程序。ROM206保存为了使计算机204作为图1所示的取得部100、基础模型构建部102、类似度计算部106、变形模型构建部110、泛化能力计算部112以及外部输出部114起作用所需要的程序。
RAM208作为供保存在ROM206中的程序展开的存储区域起作用。CPU210读取保存在ROM206中的控制程序，并根据该控制程序对计算机204的动作进行控制。另外，CPU210将通过计算机204的动作而得到的各种数据展开至RAM208。
HDD212保存图1所示的规定数数据库120和变量数据库122。另外，HDD212还作为保存所构建的模型、所计算出的类似度的模型信息保存部104和类似度信息保存部108起作用。
此处，对以上说明的实施方式的效果进行说明。
根据本实施方式涉及的模型构建系统1，首先，通过基础模型构建部102，使用包括多个选择输入变量的输入变量组，构建能够高精度地预测输出变量的基础模型。进一步，通过变形模型构建部110，基于多个选择输入变量的各个与多个非选择输入变量的各个之间的类似度，将多个选择输入变量的至少一部分替换为多个非选择输入变量的至少一部分。由此，生成另外的输入变量组。使用该另外的输入变量组来构建变形模型。通过使用类似度来替换多个选择输入变量的至少一部分和多个非选择输入变量的至少一部分，由此使用上述另外的输入变量组构建的变形模型也能够以比较高的精度来预测输出变量。而且，对于所构建的基础模型和变形模型，通过泛化能力计算部112计算出泛化能力。此时，由泛化能力计算部112计算出的泛化能力最高的模型，如上所述，能够以比较高的精度来预测输出变量。
即，根据本实施方式，能够构建抑制精度降低并且泛化能力较高的模型。
在选择输入变量和非选择输入变量的替换中，例如，如图2(a)和图2(b)所示那样，提取规定阈值以上的非选择输入变量。而且，所提取的非选择输入变量按照概率对选择输入变量进行替换。根据该方法，仅与选择输入变量的类似度较高的非选择输入变量被用于变形模型的构建，因此能够抑制变形模型的精度降低。
或者，也可以如图2(a)和图2(c)所示那样，对于全部的非选择输入变量设定基于类似度的替换的概率。根据该概率将多个选择输入变量的至少一部分替换为多个非选择输入变量的至少一部分。非选择输入变量的类似度越低，则选择输入变量被替换为该非选择输入变量的概率越低。因此，在该方法中，也能够抑制变形模型的精度降低。另外，根据该方法，由于构建多种变形模型，因此能够构建泛化能力更高的模型。
或者，也可以如图3(a)和图3(b)所示那样，基于正交表来替换变量，并计算出泛化能力。以主效应变得最高的那样，将多个选择输入变量的一部分替换为多个非选择输入变量的至少一部分而构建变形模型。根据该方法，能够构建抑制精度降低并且泛化能力更高的模型。另外，根据该方法，不需要对于选择输入变量和所提取的非选择输入变量的全部组合构建变形模型，能够在更短时间内有效地构建泛化能力较高的变形模型。
以下，对具体的实施例进行说明。
(第1实施例)
在第1实施例中，在电子设备的制造装置中，将加工后的工件的外观作为输出变量。将设置于制造装置的各种传感器的数据(温度、压力等)作为输入变量。将规定数设定为100。多个输入变量的选择以及基础模型的构建使用自适应Lasso(Adaptive Lasso)。类似度使用选择输入变量和非选择输入变量之间的相关系数。提取相关系数为0.5以上的非选择输入变量，并以一致的概率与选择输入变量进行替换。将选择输入变量与非选择输入变量进行替换之后的模型的构建，使用多次回归。基于规定的构建期间T0中的变量数据来构建各模型。泛化能力的计算使用该制造装置中的构建期间T0之后的测试期间T1～T5的各期间的变量数据。
图7是例示使用实施方式涉及的模型构建系统1而构建的模型的特性的曲线图。
图7(a)表示各期间中的R2。图7(b)表示各期间中的MSE。
在图7(a)和图7(b)中，仅表示基础模型和泛化能力最高的变形模型。基础模型的结果以〇(白圈)表示。泛化能力最高的变形模型的结果以●(黑圈)表示。
根据图7(a)和图7(b)的结果可知，与基础模型同样，变形模型也能够得到较高的R2和较小的MSE，具有良好的精度。随着测试期间向更后期移动，基础模型和变形模型的精度降低。并且可知，在测试期间T4和T5中，与基础模型的精度降低相比，变形模型的精度降低更缓和，具有更高的精度。即，根据该结果可知，通过本实施方式得到的变形模型具有与基础模型几乎同等的精度。并且可知，与基础模型相比，变形模型对于长期间的变量数据具有更高的精度，其具有较高的泛化能力。
(实施例2)
在第2实施例中，在电子设备的制造装置中，将加工后的工件的外观作为输出变量。将设置于制造装置的各种传感器的数据(加工时温度、压力等)作为输入变量。外观基于加工后的工件的尺寸和工件的加工率的至少任一方。将规定数设定为1000。多个输入变量的选择和基础模型的构建使用自适应Lasso(Adaptive Lasso)。类似度使用选择输入变量和非选择输入变量之间的相关系数。提取相关系数为0.5以上的非选择输入变量，并以一致的概率与选择输入变量进行替换。将非选择输入变量与选择输入变量进行替换之后的模型的构建，使用多次回归。基于规定的构建期间T0中的变量数据来构建各模型。泛化能力的计算使用该制造装置中的构建期间T10之后的测试期间T11～T13的各期间的变量数据。
图8是例示使用实施方式涉及的模型构建系统1而构建的模型的特性的曲线图。
图8(a)表示各期间中的各模型的R2。图8(b)表示各期间中的各模型的MSE。
在图8(a)和图8(b)中，仅表示基础模型和泛化能力最高的变形模型。基础模型的结果以〇(白圈)表示。泛化能力最高的变形模型的结果以●(黑圈)表示。
根据图8(a)和图8(b)的结果可知，在构建时，基础模型的R2和MSE分别与变形模型的R2和MSE几乎相同。即，变形模型的精度与基础模型的精度同等。
然后，关于基础模型，随着时间经过，R2降低且MSE增大。与此相对，关于变形模型，R2的降低从期间T12至T13为停止。另外，MSE从期间T12至T13降低。这些结果表示变形模型具有较高的精度，且变形模型的泛化能力比基础模型的泛化能力高。
以上，例示了本发明的几个实施方式，但这些实施方式是作为例子来提示的，并不意图对发明的范围进行限定。能够以其他各种形态来实施新的实施方式，在不脱离本发明的主旨的范围内能够进行各种省略、置换、变更等。这些实施方式、其变形例均包含在本发明的范围和主旨内，并且也包含在专利请求范围所记载的发明和其等同的范围内。另外，上述各实施方式可以相互组合而实施。