专利名称：时序预测神经网络装置的制作方法
技术领域：
本发明涉及例如进行根据输入的数值(数据)预测将来发生的数值的预测处理的 时序数据预测神经网络装置。特别是涉及用于实现预测精度进一步提高的装置。
背景技术：
为了对近来要发生的事情有所准备，或检测出异于正常的事件的发生，需要将 随着时间流逝而持续地发生变化的股价、交通量、通信流量等表示为数值，并对按时序 表示该数值的数据、即时序数据进行处理，对将来要发生的数值进行精确地预测。为了 基于这样的时序数据预测将来的值(预测值)，而存在有制作ARMA模型这样的数学模 型、神经网络这样的模型，并使用所制作的模型进行学习(模型校正)的模型学习器等。
众所周知通过使用这样的神经网络，能够进行难以在现有的诺依曼型计算机中 进行的灵活的信息处理，目前为止提出有各种形式的使用了神经网络的装置。
例如提出有以下方法向由输入层、中间层、输出层和承接层构成的神经网络 输入过去及现在的时序图案，通过反向传播法进行学习，使用学习完毕的神经网络进行 时序预测的方法(例如，参照专利文献1)。
而且，还存在以下装置，通过使用神经网络这样的模型学习器，还将时序数据 作为学习数据分成多个解析级别(频率成分)，并基于各解析级别进行预测、合计这样的 方法，预测将来值的装置(例如，参照专利文献2)。
专利文献1 日本特开平06-175998号公报(图1)
专利文献2 日本特开平11-21四47号公报(图1)
上述专利文献1所记载的方法是仅使用时序数据进行学习来预测将来值的方 法。因此，在针对具有时刻都在复杂变化的特性的时序数据的预测模型中，由于用于学 习的特征量较少因此无法形成高精度的学习模型。其结果，降低了对伴随复杂变化的时 序数据的预测精度。
另一方面，在专利文献2中，将时序数据分成几个频率成分，按各频率成分学 习预测模型。因此，能够比专利文献1那样的仅单纯地使用时序数据进行学习时实现预 测精度的提高。
但是，由于针对在时序数据中进行的所有的解析级别设置的各学习器，分别独 立地进行预测因此无法在解析级别之间进行预测的学习。发明内容
因此，希望实现能够使解析级别间的运算处理结果协作来进行高精度的预测值 的计算的时序数据预测神经网络装置。
本发明涉及的时序数据预测神经网络装置，其处理按时序表示了预测对象的数 值的时序数据，计算出数值的预测值，该时序数据预测神经网络装置具备输入单元， 其被输入对时序数据进行多重分辨率解析所得到的、表示多个解析级别的特征的值，作为解析数据；以及运算处理单元，其具有输入层处理部，该输入层处理部在计算预测值 时，基于多个解析级别中最高解析级别的解析数据进行运算处理，将处理后的结果的数 据与次高解析级别的解析数据一起进行运算处理，并从最高解析级别到最低解析级别， 对基于上位解析级别中运算处理的结果的数据和下位解析级别中的解析数据进行运算处理。
根据本发明，针对多重分辨率解析预测对象的时序数据而得到的多个解析级别 的解析数据，运算处理单元对上位的解析级别的运算结果和一个下位的解析级别的解析 数据进行运算处理，由于按照从最高的解析级别到最低的解析级别的顺序进行处理，因 此基于用于恢复时序数据涉及的原信号的数学式将上位解析级别的处理结果应用于下面 的解析级别的运算处理来进行预测所涉及的处理，从而能够提高预测值的精度。
图1是时序数据预测神经网络装置的构成图。
图2是用于表示延迟处理部126的处理的图。
图3是表示Haar函数涉及的缩放函数的图。
图4是表示用于分解处理的母小波的图。
图5是用于说明小波系数的计算顺序的图。
图6是表示神经元的示意图。
图7是表示预测值的比较结果的图。
图8是计算与实际观测值之间的均方误差的图。
附图符号说明
100时序数据预测神经网络装置；110:输入单元；120:运算处理单元； 121 输入层处理部；122:频率解析输入层处理部；123:相关数据输入层处理部； 124 中间层处理部；125:输出层处理部；1 :延迟处理部；130:输出单元具体实施方式
实施方式1
图1是表示本发明的实施方式1涉及的时序数据预测神经网络装置的构成的图。 本实施方式的时序数据预测神经网络装置(以下简单地称为装置)100由输入单元110、运 算处理单元120和输出单元130构成。
输入单元110配置为能够由运算处理单元120对从例如外部装置(未图示)发送 来的信号中包含的数据进行处理。在此，在本实施方式中，基于多重分辨率解析(MRA) 对预测对象的时序数据进行频率解析处理(分解处理)，并将生成的一个或多个解析级别 中的解析数据等输入到输入单元110。多重分辨率解析是用于，例如用函数表示数值在时 间上的变化，基于多个尺度阶段性地分解该函数(解析级别)，来抽出具有怎样的特征的 解析。在本实施方式中，是输入使用了小波的频率解析结果、即小波系数的数据(以下 称为小波系数)wa)i wa)i作为解析数据。而且，输入与进行多重分辨率解析时使用的 最高的解析级别涉及的缩放系数的数据(以下称为最高缩放系数)sa)i以及时序数据具有 相关关系的相关数据nt。4
运算处理单元120基于输入单元110的处理的数据计算出预测值。本实施方式的 运算处理单元120为基于神经网络的模型进行预测值计算的处理的模型学习器，该神经 网络的模型是基于过去的时序数据通过学习处理等进行了校正的神经网络的模型。神经 网络例如是将构成脑的神经细胞(神经元)模型化、网络化而构成的处理机构。因此， 在本实施方式的运算处理单元120中，概念上是将多个神经元进行网络连接，基于从输 入单元110输入的数据，在神经元间发送/接收运算结果，并且在输出单元130输出最终 的运算结果。
另外，在本实施方式中，装置通过反向传播进行学习。在该学习时，计算运算 处理单元120计算出的预测值和正确应答数据y表示的值的误差。然后，针对模型中表 示的各个神经元计算所期待的神经元的输出值与实际输出值的差等，求得局部误差。进 行调整在计算预测值的过程中神经元按照与经过的顺序相反的顺序进行运算处理时的输 入量的处理，以使该局部误差变小。
为了实现以上那样的模型形成，本实施方式的运算处理单元120具有输入层处 理部121、中间层处理部124、输出层处理部125以及多个延迟处理部126。
输入层处理部121还具有频率解析输入层处理部122和相关数据输入层处理部 123。频率解析输入层处理部122基于各解析级别的小波系数和最高缩放系数进行运算处 理。此时，将对解析级别高(频率低)的小波系数等进行运算处理的结果与位于一个下 位的解析级别的较低(频率高)的小波系数一起进行运算处理。因此，如图1所示，在 与解析级别相同数量的神经元中进行运算。而且，相关数据输入层处理部123基于频率 解析输入层处理部122的运算处理的数据和来自输入单元110的相关数据nt进行运算处 理。关于输入层处理部121的运算处理的内容详见后述。
[20在]本实施方式中，中间层处理部IM基于延迟处理部1 存储保持的、输 入层处理部121的运算处理涉及的规定数量的数据进行运算处理。而且，输出层处理部 125基于中间层处理部124的运算处理涉及的数据进行运算，并进行向输出单元130输出 的处理。
[21]图2是用于表示延迟处理部126的处理的图。延迟处理部126进行临时存 储保持所输入的数据的处理。在此，延迟处理部126具有若输入新的数据时则溢出最旧 的数据(从存储保持对象溢出)的先入先出(FIFO FirstInFirstOut)的构造。因此，能 够存储保持规定数量(过去的规定时间量)的数据。在本实施方式中，例如各延迟处理 部1 能够存储保持用于运算处理单元120计算时刻t+Ι的预测值而进行的各神经元的运 算处理所必须的量的数据。
[22]关于上述那样的运算处理单元120的各处理部，能够由各自不同的专业设备 (硬件)构成，但也可以由以CPU(Central Processing Unit)为中心的运算控制单元(计算机)构成硬件，将各部进行处理的处理顺序预先程序化，从而由软件、固件等构成。并 且，也可通过执行程序进行的处理来实现上述各部进行的处理。这些程序涉及的数据例 如预先存储于存储单元(未图示)。而且，虽未特别限定，但例如也可由一个运算处理 装置(元件)构成神经元，通过通信线路等连接多个运算处理装置来构成运算处理单元 120。在此在本实施方式中，以下对将各神经元作为进行运算处理的一个单位的装置(元 件)的情况进行说明。
[23]而且，输出单元130在预测处理时，运算处理单元120将作为运算结果计算 出的预测值作为信号向例如外部装置(未图示)输出。
[24]接下来，说明本实施方式的装置100的动作。首先，在装置100的前段中， 基于进行了采样、量化等的时序数据，在多重分辨率解析中进行小波变换，计算出每个 解析级别的小波系数、缩放系数。关于解析结果和源信号(函数)之间的关系，若将计 算出的最高的解析级别设为L、将源信号设为f(t)，则可以用下式(1)来表示。
[25](数学式 1)L
f ( t)=2 g ·( t)+ f , ( t)…(1)j = l
在此，&如下式(2)所示，是小波系数Wp和母小波A、k的合成函数。而且， ⑶式的fUt)是解析级别L的缩放系数和解析级别L的母小波U^k的合成函数。
(数学式2)
S j( t) =Σ Wjk · Φ j>k(t)(2)
f ! =^l,k(t)…(3)k
图3是表示Haar函数涉及的缩放函数的图。在本实施方式中在小波中使用Haar 函数进行说明。关于缩放函数，0<U<1时将u设为1，其他情况设为u = 0。
图4是表示用于分解处理的母小波的图。图4示意地表示了 Haar函数的母小 波。小波系数是基于母小波和时序数据计算出内积，并用缩放系数除所计算出的。如图 4所示，通过改变母小波的周期宽度生成不同的解析级别的母小波，并针对各解析级别计 算出小波系数。
图5是用于说明小波系数的计算顺序的图。在图5中对解析级别1的小波系数 的计算进行说明。例如将时刻t-7 t中的丨1，3，5，11，12，13，0，1丨这样8个值的 数据作为时序数据。解析级别1的小波系数是计算出母小波(-1，1)的内积后用缩放系 数除所计算出的。而且，沿时间方向滑动计算小波系数。例如时序数据(1，3)和母小 波(1，-1)的内积是IX (-D+3X1 = 2。由于缩放系数是2"2，所以小波系数为2"2 = 1.4142(图5中的W(1Y3)。以下，对于(5，11)、(12，13)、(0，1)同样分别计算出小 波系数。如上所述，在解析级别1中，计算出{w(1\_3 = 1.4142，Wai1^2 = 4.2426, w(1)M =0.7071，Wa), = 0.7071}四个小波系数。在此，在本实施方式中，Wa),表示基于时刻t 的小波系数。
而且，解析级别2的小波系数通过计算出2倍周期的母小波(-1，-1，1，1)与 时序数据的4个数据的内积，用该解析级别的缩放系数2除所计算出的。
如上所述，包含前段装置计算出的各解析级别的小波系数和最高缩放系数的信 号被输入到输入单元110。输入单元110处理信号后将数据发送到运算处理单元120。对 相关数据nt也进行同样的信号处理并发送。各延迟处理部1 存储保持上述那样发送来 的数据。在此，例如存储保持从时刻t开始基于过去的规定时间量的时序数据计算出的规 定数量的小波系数或最高缩放系数。而且，也存储保持规定数量的相关数据。
输入层处理部121的频率解析输入层处理部122基于各延迟处理部1 存储保持 的规定数量的小波系数或最高缩放系数进行运算处理。此时，频率解析输入层处理部122 如上所述进行基于解析级别和相同数量的神经元的运算处理。
图6是表示神经元的示意图。在此，对神经元中的运算处理进行说明。如图6 所示，各神经元具有数据输入部、运算部、输出部。在图6的神经元中，例如计算对解 析级别L的从时刻t开始经过规定时间量的小波系数WaV W(L)m, Wwi^2, W(L)i_3> Wwm 分别乘以权重系数11(、、h(L)M, 11(、_2、11(、_3、IiaY4的总和4。然后，将总和4代入例 如预先设定的S形函数那样的传递函数f中进行阈值的处理，从而计算出输出值0l。若用 数学式表示以上内容则由下式(4)来表示。在本实施方式中，输出值O1为基于时刻t的 神经元的输出值，由各神经元进行这样的运算处理。
(数学式3)
权利要求
1.一种时序数据预测神经网络装置，其处理按时序表示了预测对象的数值的时序数 据，计算出所述数值的预测值，所述时序数据预测神经网络装置的特征在于，具备输入单元，其被输入对所述时序数据进行多重分辨率解析所得到的、表示多个解析 级别的特征的值，作为解析数据；以及运算处理单元，其具有输入层处理部，该输入层处理部在计算所述预测值时，基于 所述多个解析级别中最高解析级别的解析数据进行运算处理，将处理后的结果的数据与 次高解析级别的解析数据一起进行运算处理，并从最高解析级别到最低解析级别，对基 于上位解析级别中运算处理的结果的数据和所述下位解析级别中的解析数据进行运算处 理。
2.根据权利要求1所述的时序数据预测神经网络装置，其特征在于，所述运算处理单元还具有一个或多个延迟处理部，用于存储保持过去的规定数量 的、输入到所述输入单元的数据。
3.根据权利要求1或2所述的时序数据预测神经网络装置，其特征在于，所述运算处 理单元还具有中间层处理部，其基于所述输入层处理部处理的结果的数据进行运算处理；以及输出层处理部，其基于该中间层处理部处理的结果的数据进行运算处理，并输出所 述预测值。
4.根据权利要求1至3中任一项所述的时序数据预测神经网络装置，其特征在于，所述多重分辨率解析是使用了小波的频率解析，基于频率越低的小波的信号得到的所述解析数据，其解析级别越高。
5.根据权利要求4所述的时序数据预测神经网络装置，其特征在于，作为所述解析数据具有小波系数。
6.根据权利要求5所述的时序数据预测神经网络装置，其特征在于，在所述输入单元，还被输入有所述最高解析级别中缩放系数的数据，作为所述解析 数据，所述运算处理单元，基于所述最高解析级别的小波系数的数据和所述缩放系数的数 据进行所述运算处理。
7.根据权利要求1至6中任一项所述的时序数据预测神经网络装置，其特征在于，在所述输入单元，还被输入有与所述解析数据相关的相关数据，所述输入层处理部还基于到所述最低解析级别所处理的结果的数据和所述相关数 据，进行运算处理。
全文摘要
本发明提供一种时序数据预测神经网络装置，能够在解析级别间进行协作并能够进行高精度的预测值计算。在处理按时序表示预测对象的数值的时序数据，并计算出数值的预测值的时序数据预测神经网络装置中具备输入单元，将对时序数据进行多重分辨率解析所得到的、表示多个解析级别的特征的值作为解析数据输入；运算处理单元，具有输入层处理部，该输入层处理部在计算预测值时，基于多个解析级别中最高解析级别的解析数据进行运算处理，将处理结果的数据与次高解析级别的解析数据一起进行运算处理，并从最高解析级别到最低解析级别对基于某解析级别的解析数据进行运算处理的结果的数据和位于某解析级别下位的解析级别的解析数据进行运算处理。
文档编号G06N3/02GK102024178SQ20101028068
公开日2011年4月20日 申请日期2010年9月10日 优先权日2009年9月16日
发明者伊加田惠志 申请人:冲电气工业株式会社