构建系统模型的方法和装置与流程

本公开涉及计算机领域，具体地，涉及一种构建系统模型的方法和装置。

背景技术：

系统是指将零散的东西进行有序地整理、编排形成的具有整体性的整体。随着社会的不断发展，在各个领域中构建了越来越多的系统(例如，中央空调系统)，用于将多个设备整体性地运行，以达到统一管理的目的。

系统建模的方法通常包括机理分析法、系统辨识法和机器学习法。

其中，机理分析法以描述物理特性为基础，包括流体力学、工程热力学和传热学等，模型精度高，参数量大；系统辨识法相比机理分析法，无需了解机理，但需要给出系统模型的结构，对于多输入多输出非线性系统需要解耦，过程比较复杂；机器学习法根据输入输出，根据历史数据学习输入输出的映射关系，不需要机理方面细节的知识，也能够很好地解决非线性多变量系统的建模问题。

技术实现要素：

本公开的目的是提供一种简单易行的构建系统模型的方法和装置。

为了实现上述目的，本公开提供一种构建系统模型的方法。所述系统包括多种类型的设备，每种类型的设备分别包括多个设备。所述方法包括：构建前馈神经网络，所述前馈神经网络包括输入层、多个隐藏层和输出层，所述输入层中的每个神经元对应为每个设备的参数，所述输出层的输出对应为所述系统的输出，所述输入层根据设备的类型划分为多个设备区，与所述输入层直接连接的隐藏层划分为多个隐藏区，所述多个隐藏区与所述多个设备区一一对应，每个设备区中的神经元仅与所对应的隐藏区中的神经元全连接；对所述前馈神经网络进行训练，得到所述系统的系统模型。

可选地，在所述前馈神经网络中，每个设备区中的神经元仅与所对应的隐藏区中的神经元连接。

可选地，在所述前馈神经网络中，相邻的两个隐藏层的神经元全连接，且所述输出层和与所述输出层直接连接的隐藏层的神经元全连接。

可选地，所述对所述前馈神经网络进行训练，得到所述系统的系统模型的步骤包括：设置所述前馈神经网络中每个层的目标函数，其中，与所述输入层直接连接的隐藏层的目标函数包括该隐藏层中各个连接的权重的L1范数；根据所述目标函数进行迭代计算，得到各个连接的权重，其中，在迭代过程中，当与所述输入层直接连接的隐藏层中的一连接的权重的绝对值小于预定的值时，设定该连接的权重为零。

可选地，所述根据所述目标函数进行迭代计算，得到各个连接的权重的步骤包括：根据所述目标函数确定所述输出层的目标函数对各个连接的权重的偏导数为：

各个隐藏层的目标函数对各个连接的权重的偏导数为：

根据所确定的各个连接的权重的偏导数，用误差反向传播算法进行迭代计算，得到各个连接的权重，

其中，L为所述前馈神经网络所包含的总层数；E(i)为第i个样本的目标函数；为与所述输出层直接连接的隐藏层的第j个神经元到所述输出层的第1个神经元的连接的权重；为与所述输出层直接连接的隐藏层的第j个神经元的输出；d(i)为与样本中的输入x(i)对应的、经过所述前馈神经网络的预测值；y(i)为样本中与输入x(i)对应的输出；为d(i)与y(i)的残差；f(.)为激活函数；f′(.)为所述激活函数的导数；为第l-1层的第j个神经元到第l层的第i个神经元的连接的权重；为第l层的第i个神经元到第l+1层的第k个神经元的连接的权重；为第l-1层的第j个神经元的输出；为从输出层误差反向传导到第l层的残差，为从输出层误差反向传导到第l+1层的残差，s_l+1为第l+1层的神经元个数，s_l-1为第l-1层的神经元个数。

本公开还提供一种构建系统模型的装置，所述系统包括多种类型的设备，每种类型的设备分别包括多个设备。所述装置包括：构建模块，用于构建前馈神经网络，所述前馈神经网络包括输入层、多个隐藏层和输出层，所述输入层中的每个神经元对应为每个设备的参数，所述输出层的输出对应为所述系统的输出，所述输入层根据设备的类型划分为多个设备区，与所述输入层直接连接的隐藏层划分为多个隐藏区，所述多个隐藏区与所述多个设备区一一对应，每个设备区中的神经元仅与所对应的隐藏区中的神经元全连接；训练模块，用于对所述前馈神经网络进行训练，得到所述系统的系统模型。

通过上述技术方案，在前馈神经网络中，将输入层按照系统中设备的类型分成多个设备区，将与输入层直接连接的隐藏层划分为多个隐藏区，每个设备区仅与所对应的隐藏区全连接。这样，将前馈神经网络进行了简化，避免了过拟合，并且，在一定程度上对不同类型的设备进行了粗特征的提取。因此，构建的系统模型更加准确，从而使得构建的系统更加符合实际。

例如，在中央空调系统中，可以将设备分为冷却塔、冷却泵、冷机和冷冻泵四种类型。将神经网络的输入层中的神经元分为与四个类型一一对应的四个设备区，每个神经元为对应设备的功率值。这样构建出的神经网络在一定程度上对设备类型的粗特征进行了提取，因此，对神经网络进行了简化，避免了过拟合。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是一示例性实施例提供的构建系统模型的方法的流程图；

图2是一示例性实施例提供的前馈神经网络的架构图；

图3是一示例性实施例提供的构建系统模型的装置的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

如上所述，系统建模的方法可以包括机器学习法。在机器学习法中，通常可以根据前馈神经网络对系统进行建模。例如可以采用贝叶斯信念网络来进行建模。在贝叶斯信念网络中，可以根据观测到的历史设备运转状态数据，对贝叶斯信念网络的架构以及参数分别进行训练，设备节点之间的关联性(条件概率)需要中间输出量的观测数据的支持。

然而在实际应用中，由于目前传感器设备的限制，对于中间设备的状态的监控有时处于缺失的状态，对于系统，往往只能监测到最终的输出，中间设备的输出无法进行监测，设备间的状态基本属于黑盒子状态。这就导致了上述方法无法在很多系统中实施应用。

另外，通过上述方法计算的往往是设备间的直接线性关系，对于复杂程度较大、受控因素庞大的系统来说，设备之间的关系往往是复杂的、间接的非线性关系，利用线性函数拟合非线性关系会存在较大的误差。

考虑到以上因素，对于系统中包括多种类型的设备，且每种类型的设备中又包括多个设备的情况，发明人提出了在前馈神经网络中，在与输入层直接连接的隐藏层中根据设备的类型进行粗特征提取的发明构思，以下详细描述。

图1是一示例性实施例提供的构建系统模型的方法的流程图。所述系统包括多种类型的设备，每种类型的设备分别包括多个设备。如图1所示，所述方法包括以下步骤。

在步骤S11中，构建前馈神经网络，该前馈神经网络包括输入层、多个隐藏层和输出层，输入层中的每个神经元对应为每个设备的参数，输出层的输出对应为系统的输出，输入层根据设备的类型划分为多个设备区，与输入层直接连接的隐藏层划分为多个隐藏区，多个隐藏区与多个设备区一一对应，每个设备区中的神经元仅与所对应的隐藏区中的神经元全连接。

在步骤S12中，对前馈神经网络进行训练，得到系统的系统模型。

在前馈神经网络中，通常包括输入层、输出层、以及处于输入层和输出层之间的多个隐藏层。例如，前馈神经网络可以包括从输入层至输出层依次排序的第一层(输入层)、第二层(也叫第一隐藏层)、……、第L层(输出层)。

例如，所述系统为中央空调系统。在中央空调系统中，设备的类型例如可以包括：冷却塔、冷却泵、冷机以及冷冻泵。图2是一示例性实施例提供的前馈神经网络的架构图。如图2所示，输入层包括多个冷却塔的参数、多个冷却泵的参数、多个冷机的参数以及多个冷冻泵的参数。其中，一个神经元可以对应一个设备的参数。参数例如可以为功率。输入层按照设备的类型划分为多个设备区，图2中划分为四个设备区，位于同一方框中的设备属于同一设备区。输出层为中央空调系统的输出(例如，制冷量)。

与输入层直接连接的隐藏层(图2中的第一隐藏层)划分为多个隐藏区，其中，位于同一方框中的神经元属于同一隐藏区。多个设备区与多个隐藏区一一对应，也就是，有多少个设备区就设置相同数目的隐藏区。如图2所示，每个设备区中的神经元仅与所对应的隐藏区中的神经元全连接。也就是，一设备区中的神经元与不对应的隐藏区中的神经元不连接，或者与不对应的隐藏区中的部分神经元连接。

在图2中，中央空调系统中的冷却塔、冷却泵、冷机以及冷冻泵的数目，都以n来示例性地示出。第一隐藏层(包括神经元H11-1、H11-2、……、H11-n、H12-1、H12-2、……、H12-n、H14-1、H14-2、……、H14-n)中各个隐藏区中的神经元的数目，都以n来示例性地示出。并且，在第二隐藏层(包括神经元H2-1、H2-2、……、H2-n)和第三隐藏层(包括神经元H3-1、H3-2、……、H3-n)中，神经元的数目也都以n来示例性地示出。但这并不意味着以n表示的数目都必须相同。也就是，本领域技术人员可以理解的是，n只是用于示例性地示出一定的数目，此处以n来示出的数目都可以互不相同。

该实施例中，相比较传统前馈神经网络的全连接的特点，针对系统中涉及几大类型的设备的特点(例如，中央空调系统中包括冷却塔、冷却泵、冷机和冷冻泵四大类型的设备)，将前馈神经网络的第一隐藏层分为多个隐藏区。考虑到每个类型的设备具有共同的特征，因此，将同一类型的设备作为一个整体，仅与对应的一组神经元全连接。这样，由于减少了连接数目，所以，简化了前馈神经网络，避免了过拟合。并且，在一定程度上对不同类型的设备进行了粗特征的提取。因此，构建的系统模型更加准确，从而使构建的系统更加符合实际。

可选地，在前馈神经网络中，每个设备区中的神经元仅与所对应的隐藏区中的神经元连接。也就是说，一设备区中的神经元与不对应的隐藏区中的神经元是不连接的。图2所示的实施例就是这种情况。该实施例中，相比于现有技术中的情况，减少了连接数，在将前馈神经网络简化，避免过拟合的同时，在第一隐藏层中对不同类型的设备进行了特征提取，与图1所示的实施例比较，更加精确地进行设备的粗特征提取。因此，构建的系统模型在简化的同时，更加准确，从而使得构建的系统更加准确。

另外，在上述前馈神经网络中，相邻的两个隐藏层的神经元全连接，且所述输出层和与所述输出层直接连接的隐藏层的神经元全连接。这样，能够有效提取不同粒度的潜在特征，同时，随着隐藏层数目的增加，深度学习能够更好地拟合非线性关系，使得系统的模型更加接近实际。

在以上前馈神经网络的基础上，通常可以采用多种算法来训练模型。对于系统模型在训练过程定义的目标函数，考虑到在一些系统(例如，中央空调系统)中，大部分情况下是一部分设备开启，一部分设备关闭，极少发生所有的设备都开启的情况。而利用参数的稀疏化，可以很好地模拟这一现象。因此，发明人想到，在系统模型的训练过程中，与输入层直接连接的隐藏层(第一隐藏层)的目标函数可以包括连接的权重的L1范数。当某一连接的权重低到一定程度时，可以直接将该连接的权重设为零，以这种截断的方式达到使权重稀疏化的目的。在之后的层级中，仍可以应用传统的单一目标函数。

在本公开的又一实施例中，在图1的基础上，对前馈神经网络进行训练，得到系统的系统模型的步骤(步骤S12)可以包括以下步骤。

在步骤S121中，设置所述前馈神经网络中每个层的目标函数，其中，与输入层直接连接的隐藏层的目标函数包括该隐藏层中各个连接的权重的L1范数。

具体地，在前馈神经网络中，例如可以引入如下两种目标函数：

其中，假设有m个训练样本{(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m))}，m为训练样本的数目，x(i)为样本中的第i个输入(例如，中央空调系统中第i个设备的功率)，y(i)为样本中与输入x(i)对应的输出(例如，中央空调系统的制冷量)；d(i)为与样本中的输入x(i)对应的、经过上述前馈神经网络的预测值，||W||₁为连接的权重的L1范数，λ为系数。如上所述，可以在与输入层直接连接的隐藏层(第一隐藏层)使用E₂作为目标函数，在第二隐藏层之后的层级中使用E₁作为目标函数。E₂相较于E₁增加了L1范数，以对目标函数进行正则化。

在步骤S122中，根据所述目标函数进行迭代计算，得到各个连接的权重，其中，在迭代过程中，当与输入层直接连接的隐藏层中的一连接的权重的绝对值小于预定的值时，设定该连接的权重为零。

例如可以应用误差反向传播算法，利用梯度下降法，通过反向传播不断调整神经网络的权重，使网络的误差平方和最小。误差反向传播算法通过最优化各层神经元的输入权重，使得神经网络的输出尽可能地接近期望输出，以达到训练的目的。

如上所述，可以利用梯度下降方法，通过前馈神经网络的每一次迭代对连接的权重进行更新。对应的到第l隐藏层的连接权重更新公式例如可以为：

其中，表示第l-1层的第j个神经元到第l层的第i个神经元的连接在下一循环中的权重，即更新后的权重，表示第l-1层的第j个神经元到第l层的第i个神经元的连接在当前循环中的权重，α为预设常数，表示步伐，其取值可以根据需求选取，例如可以取0-1之间的任意值。

而对于第一隐藏层(与输入层直接连接的隐藏层)，由于引入了L1范数正则化部分，采用截断梯度下降原理，如果更新后的的绝对值小于预定的值(例如为1)，则设从而达到参数稀疏化的目的，从而使系统模型更接近于实际。

其中，在步骤S122中，可以先确定各个层中神经元的输出与连接的权重的关系(例如，以下公式(4))，设定初始权重，得到输出，结合步骤S121中确定的目标函数(例如，公式(1)、(2))，确定出目标函数对各个连接的权重的偏导数(例如，以下公式(5)—(8))，再进一步根据误差反向传播算法(例如，利用权重更新公式(3))得到更新的权重，然后用更新的权重代入输出表达式(例如，以下公式(4))，得到更新的输出，如此循环。

对于各个层中神经元的输出与连接的权重的关系，可以通过以下方式表示。设第l层的输出为其中，s为第l层的神经元个数；为第l-1层的第j个神经元的输出；为第l-1层的第j个神经元到第l层的第i个神经元的连接的权重，那么第l层的第i个神经元的输出可以表示为：

其中，s_l-1为第l-1层的神经元个数，f(.)为激活函数，例如可以采用Sigmoid函数作为激活函数：

其导数为：

f′(x)＝f(x)(1-f(x))

根据公式(1)，当第l层为输出层时，第l层的第i个神经元的输出h_i^l为与样本中的输入x(i)对应的前馈神经网络的预测值d(i)。即，能够通过将公式(4)进行迭代计算，得出与样本中的输入x(i)对应的前馈神经网络的预测值d(i)。

对于每一个训练样本{x(i),y(i)}，在输出层不需要归一化处理，因此不需要使用激活函数。在本公开的又一实施例中，在图1的基础上，根据上述目标函数进行迭代计算，得到各个连接的权重的步骤(步骤S122)可以包括以下步骤：

根据所述目标函数确定所述输出层的目标函数对各个连接的权重的偏导数为：

各个隐藏层的目标函数对各个连接的权重的偏导数为：

根据所确定的各个连接的权重的偏导数，用误差反向传播算法进行迭代计算，得到各个连接的权重。

其中，L为前馈神经网络所包含的总层数；E(i)为第i个样本的目标函数；为与输出层直接连接的隐藏层的第j个神经元到输出层的第1个神经元的连接的权重；为与输出层直接连接的隐藏层的第j个神经元的输出；为d(i)与y(i)的残差；d(i)为与样本中的输入x(i)对应的、经过前馈神经网络的预测值；y(i)为样本中与输入x(i)对应的输出；f(.)为激活函数；f′(.)为激活函数的导数；为第l-1层的第j个神经元到第l层的第i个神经元的连接的权重；为第l层的第i个神经元到第l+1层的第k个神经元的连接的权重；为第l-1层的第j个神经元的输出；为从输出层误差反向传导到第l层的残差，为从输出层误差反向传导到第l+1层的残差，s_l+1为第l+1层的神经元个数，s_l-1为第l-1层的神经元个数。

该实施例中，应用误差反向传播算法，根据输出与连接的权重的关系、预设的目标函数、激活函数，设定初始连接权重，可以推导出上述连接权重的偏导数(公式(5)—(8))，再根据偏导数和上述权重的更新公式(3)可以确定出更新后的连接权重。具体过程中的细节此处不再详细赘述。

本领域技术人员可以理解的是，对于上述迭代的终止条件，可以采用多种常用方式进行。例如，终止条件可以包括：目标函数的值小于预定的值、相邻两次目标函数的差值小于预定的值、或者迭代次数超过预定的次数。

这样，确定出了各个连接的权重，就构建好了系统模型，之后可以根据系统模型来构建系统或校验系统等。

本公开还提供一种构建系统模型的装置。图3是一示例性实施例提供的构建系统模型的装置的框图。所述系统包括多种类型的设备，每种类型的设备分别包括多个设备。如图3所示，所述构建系统模型的装置10可以包括构建模块11和训练模块12。

构建模块11用于构建前馈神经网络，所述前馈神经网络包括输入层、多个隐藏层和输出层，所述输入层中的每个神经元对应为每个设备的参数，所述输出层的输出对应为所述系统的输出，所述输入层根据设备的类型划分为多个设备区，与所述输入层直接连接的隐藏层划分为多个隐藏区，所述多个隐藏区与所述多个设备区一一对应，每个设备区中的神经元仅与所对应的隐藏区中的神经元全连接。

训练模块12用于对所述前馈神经网络进行训练，得到所述系统的系统模型。

可选地，在所述前馈神经网络中，每个设备区中的神经元仅与所对应的隐藏区中的神经元连接。

可选地，在所述前馈神经网络中，相邻的两个隐藏层的神经元全连接，且所述输出层和与所述输出层直接连接的隐藏层的神经元全连接。

可选地，所述训练模块12可以包括设置子模块和计算子模块。

设置子模块，用于设置所述前馈神经网络中每个层的目标函数，其中，与所述输入层直接连接的隐藏层的目标函数包括该隐藏层中各个连接的权重的L1范数；

计算子模块，用于根据所述目标函数进行迭代计算，得到各个连接的权重，其中，在迭代过程中，当与所述输入层直接连接的隐藏层中的一连接的权重的绝对值小于预定的值时，设定该连接的权重为零。

可选地，所述计算子模块可以包括确定子模块和迭代计算子模块。

确定子模块，用于根据所述目标函数确定所述输出层的目标函数对各个连接的权重的偏导数为：

各个隐藏层的目标函数对各个连接的权重的偏导数为：

迭代计算子模块，用于根据所确定的各个连接的权重的偏导数，用误差反向传播算法进行迭代计算，得到各个连接的权重，

其中，L为前馈神经网络所包含的总层数；E(i)为第i个样本的目标函数；为与输出层直接连接的隐藏层的第j个神经元到输出层的第1个神经元的连接的权重；为与输出层直接连接的隐藏层的第j个神经元的输出；为d(i)与y(i)的残差；d(i)为与样本中的输入x(i)对应的、经过前馈神经网络的预测值；y(i)为样本中与输入x(i)对应的输出；f(.)为激活函数；f′(.)为激活函数的导数；为第l-1层的第j个神经元到第l层的第i个神经元的连接的权重；为第l层的第i个神经元到第l+1层的第k个神经元的连接的权重；为第l-1层的第j个神经元的输出；为从输出层误差反向传导到第l层的残差，为从输出层误差反向传导到第l+1层的残差，s_l+1为第l+1层的神经元个数，s_l-1为第l-1层的神经元个数。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

通过上述技术方案，在前馈神经网络中，将输入层按照系统中设备的类型分成多个设备区，将与输入层直接连接的隐藏层划分为多个隐藏区，每个设备区仅与所对应的隐藏区全连接。这样，将前馈神经网络进行了简化，避免了过拟合，并且，在一定程度上对不同类型的设备进行了粗特征的提取。因此，构建的系统模型更加准确，从而使得构建的系统更加符合实际。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。