分层型神经网络装置、判别器学习方法以及判别方法
【专利摘要】根据纠错码的校验矩阵，在分层型神经网络中的一部分节点之间进行耦合而生成疏耦合部分。
【专利说明】
分层型神经网络装置、判别器学习方法以及判别方法
技术领域
[0001]本发明涉及分层型神经网络装置、判别器学习方法以及判别方法。
【背景技术】
[0002]众所周知，神经网络具有学习能力，非线性、模式匹配性能良好，被用于控制、预测、诊断等众多领域中。
[0003]并且，对神经网络提出了许多构造，但得到实际应用的多数基本上是分层型特别是三层型的构造。分层型神经网络通常通过被称作误差反向传播法(Back Propagat1nMethod)的算法进行学习，并调整内部的耦合状态(节点间的权重)。在这样赋值与学习数据相同的输入数据时，进行与学习数据大致相同的输出。并且，具有在赋值接近学习数据的输入时进行接近学习数据的输出的特点。
[0004]当在分层型神经网络中处理复杂问题时，将增加中间层的节点数和层数，存在运算量增加的问题。作为该问题的解决方法有对节点之间进行疏耦合来削减运算量的例子，代表性的专利文献有以下2件。
[0005]在专利文献I中的构造如下:对于多个输入节点，通过使用学习数据的最大、最小、平均、标准方差的统计指标，或使用学习数据的输入节点之间或输入与输出之间的相关系数，形成特点相似的输入节点彼此的组，在这些组内将输入节点和中间节点耦合而形成疏親合部分。
[0006]另外，在专利文献2记载的神经网络构造优化方法中，通过削减任意节点间的耦合，生成构造不同的多个神经网络，计算各个神经网络的评价值，并进行评价值的比较判定，由此变更成最佳构造的神经网络。
[0007]现有技术文献
[0008]专利文献
[0009]专利文献1:日本特开2011-54200号公报
[0010]专利文献2:日本特开平9-91263号公报
【发明内容】
[0011]发明要解决的问题
[0012]在以专利文献1、2为代表的现有技术中，在进行判别器学习之前需要用于形成疏耦合的事前学习，每当学习数据有变更和修改时就必须进行事前学习，疏耦合的形成需要较多的时间和运算量。因此，存在不能实现判别器学习和判别处理的高速化的问题。
[0013]本发明正是为了解决如上所述的问题而提出的，其目的在于，得到一种分层型神经网络装置、判别器学习方法以及判别方法，在分层型神经网络中，通过不依赖于学习数据而形成疏耦合，能够实现判别器学习和判别处理的高速化。
[0014]用于解决问题的手段
[0015]本发明的分层型神经网络装置具有:权重学习部，其根据纠错码的校验矩阵，在由具有节点的输入层、中间层以及输出层构成的分层型神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行学习；以及判别处理部，其使用利用由权重学习部学习到的权重值更新耦合后的节点之间的权重后的分层型神经网络，求解分类问题或者回归问题。
[0016]发明效果
[0017]根据本发明具有如下的效果:在分层型神经网络中，通过不依赖于学习数据而形成疏耦合，能够实现判别器学习和判别处理的高速化。
【附图说明】
[0018]图1是表示本发明的实施方式I的分层型神经网络装置的结构的框图。
[0019]图2是表示实施方式I的分层型神经网络的构造的图。
[0020]图3是表示以往的分层型神经网络的构造的图。
[0021]图4是表示实施方式I的权重学习处理的流程图。
[0022]图5是表示伪随机码的校验矩阵的图。
[0023]图6是表示欧几里得几何码的校验矩阵的相对于行数或者列数的I的个数和I的比例的图。
[0024]图7是表示投影几何码的校验矩阵的相对于行数或者列数的I的个数和I的比例的图。
[0025]图8是表示差集循环码的校验矩阵的行数或者列数的I的个数和I的比例的图。
[0026]图9是表示空间耦合型码的校验矩阵的图。
[0027]图10是表示神经网络A、B中的输入节点和中间节点之间的耦合数的例子的图。
[0028]图11是表示本发明的实施方式2的分层型神经网络装置的结构的框图。
[0029]图12是表示实施方式2的分层型神经网络的构造的图。
[0030]图13是表示以往的分层型神经网络的构造的图。
[0031]图14是表示实施方式2的基于权重的事前学习和调整的权重学习处理的流程图。
[0032]图15是表示N=5时的基于权重的事前学习和调整的权重学习处理的概要的图。
[0033]图16是表示权重的事前学习处理的流程图。
[0034]图17是表不权重的调整处理的流程图。
【具体实施方式】
[0035]下面，为了更详细地说明本发明，参照附图来说明用于实施本发明的方式。
[0036]实施方式I
[0037]图1是表示本发明的实施方式I的分层型神经网络装置的结构的框图。在图1中，分层型神经网络装置I是使用分层型神经网络进行判别的装置，其构成为具有判别器学习部2、权重存储部3、学习数据存储部4以及训练数据存储部5。
[0038]另外，分层型神经网络由输入层、中间层以及输出层构成，各层具有多个节点。并且，分层型神经网络作为判别器发挥作用，能够通过在输入层和中间层的节点之间以及中间层和输出层的节点之间设定任意的权重并调整节点之间的耦合状态，求解各式各样的问题(分类问题或者回归问题)。
[0039]判别器学习部2对分层型神经网络进行学习，使用学习到的分层型神经网络进行判别。其构成要素具有权重学习部20和判别处理部21。
[0040]权重学习部20根据纠错码的校验矩阵在分层型神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行学习。即，权重学习部20在输入从判别处理部21输出的判别结果、从权重存储部3读出的节点之间的权重(判别器的权重)和从训练数据存储部5读出的训练数据时，使用这些数据进行权重学习。
[0041]并且，权重学习部20对纠错码的校验矩阵中的行要素分配一个层的节点，对列要素分配另一个层的节点，将矩阵要素维持I的节点之间耦合，不将矩阵要素为O的节点之间耦合。由此，不需利用学习数据，即可在节点之间生成疏耦合部分。
[0042]判别处理部21使用利用由权重学习部20学习到的权重值更新耦合后的节点之间的权重后的分层型神经网络，求解分类问题或者回归问题。例如，判别处理部21在从权重存储部3输入初始化后的权重或者学习中的权重并从学习数据存储部4输入学习数据时，将使用这些权重和学习数据的判别结果输出给权重学习部20。并且，判别处理部21在从权重存储部3输入已学习的权重并输入判别数据时，将使用这些权重和判别数据的判别结果输出给装置外部的显示器等传输装置。
[0043]在判别处理部21中，在分层型神经网络中的输入层和中间层的节点之间学习数据或者判别数据成为输入信号，并将该节点之间的权重相乘。利用阈值函数计算在中间层的节点分别合计该相乘结果而得到的值并进行输出。其中，在设阈值函数为f()，设中间层的第j个节点的阈值函数的输出值为出，设输入层的第i个节点的输入信号为X1，设输入层的第i个节点与中间层的第j个节点之间的权重为Wjl的情况下，用下式(I)表示阈值函数的输出值Hj 0
[0044]Hj = f (EXiffji)……(I)
[0045]并且，在中间层和输出层的节点之间，将利用阈值函数计算出的输出信号作为输入信号，并将该节点之间的权重相乘。利用阈值函数计算在输出层的各节点合计该相乘结果得到的值，并作为判别结果进行输出。其中，在设输出层的第k个节点的阈值函数的输出值为0k，设中间层的第j个节点与输出层的第k个节点之间的权重为Wkj的情况下，用下式(2)表示阈值函数的输出值0k。其中，关于阈值函数f()，可以举出S型函数、tanh函数、max函数等。并且，节点之间的权重的相乘仅对具有节点之间的耦合的部分进行。
[0046]0k = f (EXjffkj)……(I)
[0047]权重存储部3是存储分层型神经网络中的节点之间的权重的存储部。在权重存储部3中，在权重的初始化处理时存储分层型神经网络的全部节点之间的权重的初始值，在生成疏耦合时存储具有耦合的节点之间的权重学习值。判别处理部21通过从权重存储部3读出各节点及该节点之间的权重值构建分层型神经网络，使用该分层型神经网络求解分类问题或者回归问题。
[0048]学习数据存储部4是存储学习数据的存储部。学习数据是表示预先被判别为正常和异常的状态信息和特征量的数据。学习数据存在训练数据已知的情况(有训练学习)和对判别数据期望的训练数据未知的情况(无训练学习)。
[0049]训练数据存储部5是存储训练数据的存储部。训练数据是对判别数据期望的输出数据。并且，判别数据是判别对象的数据。
[0050]另外，权重学习部20和判别处理部21例如能够通过由微型计算机执行记述有该实施方式I特有的处理的程序，作为硬件和软件协作动作的具体单元而实现。
[0051]权重存储部3、学习数据存储部4以及训练数据存储部5例如被构筑成安装于作为分层型神经网络装置I发挥作用的计算机中的硬盘驱动(HDD)装置、USB存储器、能够由存储介质再现装置再现的存储介质(CD、DVD、BD)。
[0052]图2是表示实施方式I的分层型神经网络的构造的图，图3是表示以往的分层型神经网络的构造的图。如图3所示，以往的分层型神经网络将输入层和中间层的节点之间全部耦合，将中间层和输出层的节点之间全部耦合。与此相对，在实施方式I中，如图2所示，在输入层和中间层的节点之间的耦合以及中间层和输出层的节点之间的耦合中的至少一方形成有疏耦合部分。
[0053]下面，对动作进行说明。
[0054]图4是表示实施方式I的权重学习处理的流程图，按照该图4说明权重学习部20的权重学习的详细情况。
[0055]首先，权重学习部20将分层型神经网络的各层中的全部节点之间的权重初始化(步骤STl)。具体而言，对各层中的全部节点之间的权重，以-0.5?+0.5的随机数赋予初始值。
[0056]然后，权重学习部20根据纠错码的校验矩阵，仅在分层型神经网络中的一部分节点之间进行耦合而生成疏耦合(步骤ST2)。纠错码的校验矩阵是与通常的分层型神经网络相比学习误差同等或者较小且稀疏的矩阵。例如，可举出伪随机码、有限几何码、循环码、伪循环码、低密度奇偶校验码(LDPC)以及空间耦合码中的任意码。
[0057]然后，权重学习部20计算在疏耦合部分耦合后的节点之间的权重的修正量，使得用于评价学习误差的评价函数的值减小(步骤ST3)。
[0058]另外，评价函数J例如能够用下式(3)表示。其中，设节点的输出信号为O，设训练数据为t。
[0059]J = l/2.(o-t)2……(3)
[0060]然后，权重学习部20用在步骤ST3中求出的修正量，对从前的值更新耦合后的节点之间的权重值(步骤ST4)。
[0061]在节点之间的权重的更新结束时，权重学习部20确认是否满足权重学习的结束条件(步骤ST5)。其中，作为结束条件，例如可考虑计算训练数据与从判别处理部21输入的判别结果之间的误差的评价函数的值达到预先设定的阈值以下的情况。并且，也可以是学习次数达到阈值次数以上的情况。
[0062]在判断为满足结束条件而应该结束权重学习的情况下(步骤ST5:是)，权重学习部20结束权重学习。另一方面，在不满足结束条件的情况下(步骤ST5:否)，返回到步骤ST3的处理，反复上述的权重学习。
[0063]由此，判别处理部21能够使用利用由权重学习部20学习到的权重值更新在疏耦合部分耦合后的节点之间的权重后的分层型神经网络，求解分类问题或者回归问题。
[0064]下面，示出根据图5所示的伪随机码的校验矩阵在输入层和中间层的节点之间生成疏親合部分时的一例。图5的矩阵是各行、各列各有4个I的15 X 15的矩阵。这表不对各列的要素分配的输入层的节点丨以下记作输入节点化工^^…^^和对各行的要素分配的中间层的节点(以下记作中间节点分别为15个，在对矩阵要素的值为I的部分进行耦合时，在I个中间节点耦合4个输入节点。例如，在中间节点In耦合矩阵的要素维持I的输入节点X1、X3、X9、Xl0o
[0065]在中间节点或者输出节点(输出层的节点)的数量较少的情况下(例如21个以下)，根据欧几里得几何码或者投影几何码等有限几何码的校验矩阵或者差集循环码等循环码的校验矩阵，如上所述在矩阵要素维持I的节点之间进行耦合时，有望大幅削减运算量。这是因为，根据图6所示的欧几里得几何码的校验矩阵、图7所示的投影几何码的校验矩阵、图8所示的差集循环码的校验矩阵中示出相对于列数或者行数的I的个数的结果可知，在与节点数对应的列数或者行数为21个以下的情况下，相对于列数或者行数，I的个数格外少，能够在节点之间形成疏親合部分。
[0066]另外，循环码是使代码字循环移动而生成的代码，成为有规律的排列。因此，适合于时间序列数据的学习判别，并且在进行硬件安装的情况下，具有比其它代码容易进行设计的特点。
[0067]并且，在中间节点或者输出节点的数量较多的情况下(例如超过21个)，在根据LDPC码的校验矩阵、空间耦合型码的校验矩阵以及伪循环码的校验矩阵中的任意校验矩阵进行节点间的耦合时，有望大幅削减运算量。这是因为，在LDPC码、空间耦合型码以及伪循环码的校验矩阵中，不依赖于行数或列数，行中包含的I的个数或列中包含的I的个数平均为3?6个。例如，在设行数为10000的情况下，也成为行中包含的I的个数平均是3?6个、节点之间的耦合数平均是3?6个的疏耦合。因此，能够大幅削减运算量。特别是图9所示的空间耦合型码的校验矩阵是呈带状排列I的矩阵，因而相比控制的难易程度的观点，更期望最大的运算量的削减效果。
[0068]如上所述，通过根据纠错码的校验矩阵使节点之间成为疏耦合，能够在维持判别性能的同时，高速地进行判别器学习和判别处理。
[0069]图10是表示神经网络A、B中的输入节点与中间节点之间的耦合数的例子的图。在图10中，神经网络A是将全部节点之间耦合的通常的分层型神经网络，神经网络B是根据本发明在节点之间形成疏耦合的分层型神经网络。
[0070]在神经网络B中示出针对I个中间节点耦合4个输入节点的情况。这样，在实施方式I中，对于神经网络A，在输入节点和中间节点是50个、100个、1000个时，能够将耦合分别削减至2/25、1/25、1/250。随之，能够削减输入节点和中间节点之间的积和运算，因而能够使判别器学习和判别处理高速化。
[0071]并且，由于不依赖于学习数据而生成疏耦合，因而即使是学习数据具有变更和修改的情况下，也能够节省进行事前学习的功夫。
[0072]如上所述，根据本实施方式I，具有:权重学习部20，其根据纠错码的校验矩阵，在由具有节点的输入层、中间层以及输出层构成的分层型神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行学习；以及判别处理部21，其使用利用由权重学习部20学习到的权重值更新耦合后的节点之间的权重后的分层型神经网络，求解分类问题或者回归问题。这样，在分层型神经网络中，通过不依赖于学习数据而形成疏耦合，能够实现判别器学习和判别处理的高速化。
[0073]实施方式2
[0074]上述实施方式I示出使用一般的3层型的神经网络使判别器学习和判别处理高速化的情况。在本实施方式2中说明使用分层型神经网络的发展形式即近年来备受关注的深度神经网络使判别器学习和判别处理高速化的情况。
[0075]图11是表示本发明的实施方式2的分层型神经网络装置的结构的框图。图11所示的分层型神经网络装置IA是使用深度神经网络求解分类问题或者回归问题的装置，其构成为具有判别器学习部2A、权重存储部3、学习数据存储部4以及训练数据存储部5。深度神经网络由输入层、多层中间层以及输出层构成，各层具有多个节点。并且，深度神经网络作为判别器发挥作用，能够通过在输入层和中间层的节点之间以及中间层和输出层的节点之间设定任意权重并调整节点之间的耦合状态，求解各式各样的问题(分类问题或者回归问题)。
[0076]图12是表示实施方式2的深度神经网络的构造的图，图13是表示以往的深度神经网络的构造的图。如图13所示，以往的深度神经网络将输入层和中间层的节点之间全部耦合，将中间层彼此的节点之间全部耦合，将中间层和输出层的节点之间全部耦合。与此相对，在实施方式2中，如图12所示，在输入层和中间层的节点之间的耦合、中间层彼此的节点之间的耦合以及中间层和输出层的节点之间的耦合中的至少一方形成疏耦合部分。
[0077]判别器学习部2A对深度神经网络进行学习，使用学习到的深度神经网络求解分类问题或者回归问题。作为其结构，具有判别处理部21、权重事前学习部22以及权重调整部23ο
[0078]权重事前学习部22根据纠错码的校验矩阵，在深度神经网络中的一部分节点之间进行耦合而生成疏耦合部分，对耦合后的节点之间的权重进行无训练学习。例如，权重事前学习部22在被输入初始化后的节点之间的权重和学习数据时进行权重的事前学习。
[0079]并且，权重事前学习部22对纠错码的校验矩阵中的行要素分配一个层的节点，对列要素分配另一个层的节点，将矩阵要素维持I的节点之间进行耦合，不将矩阵要素为O的节点之间耦合。由此，不需利用学习数据，即可在节点之间生成疏耦合部分。
[0080]权重调整部23通过有训练学习来微调整权重事前学习部22学习到的权重。即，权重调整部23仅对耦合后的节点之间进行权重的微调整。
[0081 ]实施方式2的判别处理部21在从权重存储部3输入事前学习到的权重或者学习中的权重并从学习数据存储部4输入学习数据时，将使用这些权重和学习数据的判别结果输出给权重调整部23。并且，判别处理部21在从权重存储部3输入已学习到的权重并输入判别数据时，将使用这些权重和判别数据的判别结果输出给装置外部的显示器等传输装置。
[0082]在判别处理部21中，在深度神经网络中的输入层和第I层中间层的节点之间，学习数据或者判别数据成为输入信号，将该节点之间的权重相乘。利用阈值函数计算在第I层中间层的中间节点分别合计该相乘结果得到的值并进行输出。其中，在设阈值函数为f O，设第I层中间层的第j个中间节点的阈值函数的输出值为Hlu，设第i个输入节点的输入信号为X1，设第i个输入节点与第I层中间层的第j个中间节点之间的权重为Ww,册情况下，用下式
(4)表示阈值函数的输出值出…
[0083]Hi, j = f( EXiffi, j,i)……(4)
[0084]并且，在第n-1层(η为2以上的整数)中间层的第j个中间节点与第η层中间层的第m个中间节点之间，将利用第η-1层中间节点的阈值函数计算出的输出信号作为输入信号，将该节点之间的权重相乘。利用阈值函数计算在第η层中间层的各中间节点合计该相乘结果得到的值并进行输出。其中，在设第η-1层中间层的第j个中间节点的阈值函数的输出值为Hn-lu，设第η层中间层的第m个中间节点的阈值函数的输出值为Hn,m，设第η-1层中间层的第j个中间节点与第η层中间层的第m个中间节点之间的权重为情况下，能够用下式(5 )表不阈值函数的输出值Hn, m。
[0085]Hn,m = f(EHn-l,jffn,m,n-l,j)……(5)
[0086]在中间节点和输出节点之间，将利用中间节点的阈值函数计算出的输出信号作为输入信号，将该节点之间的权重相乘。利用阈值函数计算在输出层的各输出节点合计该相乘结果得到的值，并作为判别结果进行输出。
[0087]其中，在设输出层的第k个输出节点的阈值函数的输出值为0k，设第N-1层中间层的第j个中间节点与输出层的第k个输出节点之间的权重为Wk,N-lu的情况下，用下式(6)表示阈值函数的输出值0k。
[0088]其中，关于阈值函数f ()，可举出S型函数、tanh函数、max函数等。并且，仅对具有节点之间的耦合的部分进行节点之间的权重的相乘。
[0089]0k = f( EHn-1.j ffk,N-1,j)……(6)
[0090]另外，判别处理部21、权重事前学习部22以及权重调整部23例如能够通过由微型计算机执行记述有实施方式2特有的处理的程序，作为硬件和软件协作动作的具体单元而实现。
[0091]下面，对动作进行说明。
[0092]图14是表示实施方式2的权重学习处理的流程图。
[0093]首先，权重事前学习部22将深度神经网络的各层中的全部节点之间的权重初始化(步骤STla)。具体而言，与实施方式I同样，对各层的全部节点之间的权重，以-0.5?+0.5的随机数赋予初始值。
[0094]然后，权重事前学习部22根据纠错码的校验矩阵，在深度神经网络中的一部分节点之间进行耦合而生成疏耦合(步骤ST2a)。纠错码的校验矩阵是与通常的深度神经网络相比学习误差同等或者较小且稀疏的矩阵。例如，可举出伪随机码、有限几何码、循环码、伪循环码、LDPC码以及空间耦合码中的任意码。
[0095]然后，权重事前学习部22按照图15所示，在设深度神经网络为N层(N为整数)的情况下，进行具有到第N-1层的耦合的节点之间的权重(WhW^…胃^)的事前学习(步骤ST3a)。
[0096]在该事前学习中，首先在第I层和第2层的二层构造中，对第I层和第2层的节点之间的权重1进行无训练学习。然后，在第2层和第3层的二层构造中，将通过权重1的无训练学习而从第2层的节点输出的信号作为输入信号，对第2层和第3层的节点之间的权重％进行无训练学习。反复该处理直到对第N-2层和第N-1层的节点之间的权重WN-2进行事前学习为止(参照图15，设N=5的情况)。
[0097]使用图16说明权重的事前学习的详细情况。
[0098]首先，权重事前学习部22在对第2层的节点与第3层以上的节点之间的权重进行事前学习时，将在前段的事前学习中输出的信号初始设定成输入信号(步骤STlb)。然后，权重事前学习部22计算耦合后的节点之间的权重的修正量，使得对数似然度增加(步骤ST2b)。
[0099]然后，权重事前学习部22利用计算出的权重的修正量更新并修正耦合后的节点之间的权重值(步骤ST3b)。
[0100]在节点之间的权重的更新结束时，权重事前学习部22确认是否满足当前的学习对象层的权重事前学习的结束条件(步骤ST4b)。其中，作为结束条件，例如可考虑学习次数达到阈值次数以上的情况。
[0101]在判定为满足当前的学习对象层的结束条件而应该结束权重事前学习的情况下(步骤ST4b:是)，权重事前学习部22进入步骤ST5b的处理。
[0102]另一方面，在不满足结束条件的情况下(步骤ST4b:否)，返回到步骤ST2b的处理，反复上述的权重事前学习。
[0103]在步骤ST5b中，在设深层神经网络为N层的情况下，权重事前学习部22确认在到第N-1层的全部层中耦合后的节点之间的权重的事前学习是否结束。在全部层的权重事前学习尚未结束的情况下(步骤ST5b:否)，返回到步骤STlb的处理，将下一个层之间(更上方的层之间)作为学习对象，进行上述权重的事前学习。并且，如果全部层的权重事前学习已结束(步骤ST5b:是)，则权重事前学习部22结束事前学习。其中，在深层神经网络是N层的情况下，进行从W^ljWN-2这N-2个权重的事前学习。
[0104]返回到图14的说明。
[0105]在权重事前学习部22对权重的事前学习结束时，权重调整部23通过有训练学习来微调整权重事前学习部22事前学习到的权重并进行优化(步骤ST4a)。下面，使用图17说明权重的微调整的详细情况。
[0106]首先，权重调整部23通过使用从训练数据存储部5读出的训练数据的有训练学习，优化权重事前学习部22事前学习到的节点之间的权重，并计算权重的修正量，以使评价上式(3)所示的学习误差的评价函数J的值减小(步骤STlc)。
[0107]然后，权重调整部23使用在步骤STlc中求出的修正量，更新权重事前学习部22事前学习到的节点之间的权重值(步骤ST2c)。
[0108]在节点之间的权重的更新结束时，权重调整部23确认是否满足权重的微调整的结束条件(步骤ST3c)。其中，作为结束条件，例如可考虑用于计算训练数据与从判别处理部21输入的判别结果之间的误差的评价函数的值达到预先设定的阈值以下的情况。并且，也可以是学习次数达到阈值次数以上的情况。
[0109]在判定为满足结束条件而应该结束权重的微调整的情况下(步骤ST3c:是)，权重调整部23结束权重的微调整。另一方面，在不满足结束条件的情况下(步骤ST3c:否)，返回到步骤STlc的处理，反复上述权重的微调整。由此，判别处理部21能够使用利用由权重事前学习部22事前学习到的、并由权重调整部23优化调整后的权重值更新在疏耦合部分耦合后的节点之间的权重后的深度神经网络，求解分类问题或者回归问题。
[0110]在深度神经网络中，在中间节点或者输出节点的数量较少的情况下(例如21个以下)，与实施方式I同样，在欧几里得几何码或者投影几何码等有限几何码的校验矩阵或者差集循环码等循环码的校验矩阵中，对行要素分配一个层的节点，对列要素分配另一个层的节点，在矩阵要素维持I的节点之间进行耦合时，有望大幅削减运算量。这是因为，根据图6所示的欧几里得几何码的校验矩阵、图7所示的投影几何码的校验矩阵、图8所示的差集循环码的校验矩阵中示出相对于列数或者行数的I的个数的结果可知，在与节点数对应的列数或者行数为21个以下的情况下，相对于列数或者行数，I的个数格外少，能够在节点之间形成疏親合部分。
[0111]另外，循环码是使代码字循环移动而生成的代码，成为有规律的排列。因此，适合于时间序列数据的学习判别，并且在进行硬件安装的情况下，具有比其它代码容易进行设计的特点。
[0112]并且，在深度神经网络中，在中间节点或者输出节点的数量较多的情况下(例如超过21个)，与实施方式I同样，在根据LDPC码的校验矩阵、空间耦合型码的校验矩阵以及伪循环码的校验矩阵中的任意校验矩阵进行节点间的耦合时，有望大幅削减运算量。这是因为，在LDPC码、空间耦合型码以及伪循环码的校验矩阵中，不依赖于行数或列数，行中包含的I的个数或列中包含的I的个数平均为3?6个。例如，在设行数为10000的情况下，也成为行中包含的I的个数平均是3?6个、节点之间的耦合数平均是3?6个的疏耦合。因此，能够大幅削减运算量。特别是图9所示的空间耦合型码的校验矩阵是矩阵要素的I呈带状排列的矩阵，因而相比控制的难易程度的观点，更期望最大运算量的削减效果。
[0113]如上所述，根据本实施方式2，具有:权重事前学习部22，其根据纠错码的校验矩阵，在由具有节点的输入层、中间层以及输出层构成的深度神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行无训练学习；权重调整部23，其通过有训练学习来调整权重事前学习部22学习到的权重；以及判别处理部21，其使用利用由权重调整部23调整后的权重值更新耦合后的节点之间的权重后的深度神经网络，求解分类问题或者回归问题。这样，在深度神经网络中，能够通过形成疏耦合，实现判别器学习和判别处理的高速化。特别是深度神经网络的中间层的层数比在实施方式I示出的分层型神经网络多，能够形成疏耦合部分的部位增多，因而节点之间的积和运算的削减效果增大。并且，不依赖于学习数据而生成疏耦合，因而能够节省在学习数据有变更或修正时进行事前学习的功夫。
[0114]另外，本发明能够在该发明的范围内进行各实施方式的自由组合、或者各实施方式的任意构成要素的变形、或者在各实施方式中省略任意构成要素。
[0115]产业上的可利用性
[0116]本发明的分层型神经网络装置通过在分层型神经网络中不依赖于学习数据而生成疏耦合，能够实现判别器学习和判别处理的高速化，因而能够适用于与各种控制、预测、诊断相关的信息处理。
[0117]标号说明
[0118]1、1A分层型神经网络装置；2、2A判别器学习部；3权重存储部；4学习数据存储部;5训练数据存储部;20权重学习部;21判别处理部;22权重事前学习部;23权重调整部。
【主权项】
1.一种分层型神经网络装置，该分层型神经网络装置具有: 权重学习部，其根据纠错码的校验矩阵，在由具有节点的输入层、中间层以及输出层构成的分层型神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行学习；以及 判别处理部，其使用利用由所述权重学习部学习到的权重值更新耦合后的节点之间的权重后的分层型神经网络，求解分类问题或者回归问题。2.根据权利要求1所述的分层型神经网络装置，其中， 所述纠错码是伪随机码、有限几何码、循环码、伪循环码、LDPC码以及空间耦合码中的任意码。3.一种分层型神经网络装置，该分层型神经网络装置具有: 权重事前学习部，其根据纠错码的校验矩阵，在由具有节点的输入层、多层中间层以及输出层构成的深度神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行无训练学习； 权重调整部，其通过有训练学习来调整所述权重事前学习部学习到的权重；以及判别处理部，其使用利用由所述权重调整部调整后的权重值更新耦合后的节点之间的权重后的深度神经网络，求解分类问题或者回归问题。4.根据权利要求3所述的分层型神经网络装置，其中， 所述纠错码是伪随机码、有限几何码、循环码、伪循环码、LDPC码以及空间耦合码中的任意码。5.—种对分层型神经网络进行学习的判别器学习方法，该分层型神经网络由具有节点的输入层、中间层以及输出层构成，其中， 权重学习部根据纠错码的校验矩阵，在所述分层型神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行学习， 利用学习到的权重更新所述节点之间的权重值。6.—种对深度神经网络进行学习的判别器学习方法，该深度神经网络由具有节点的输入层、多层中间层以及输出层构成，其中， 权重事前学习部根据纠错码的校验矩阵，在所述深度神经网络中的一部分节点之间进行耦合而生成疏耦合部分，并对耦合后的节点之间的权重进行无训练学习， 权重调整部通过有训练学习来调整由权重事前学习部事前学习到的权重， 利用调整后的权重更新所述节点之间的权重值。7.一种判别方法，其中，该判别方法使用按照权利要求5所述的判别器学习方法更新了节点之间的权重值后的分层型神经网络进行判别。8.一种判别方法，其中，该判别方法使用按照权利要求6所述的判别器学习方法更新了节点之间的权重值后的深度神经网络进行判别。
【文档编号】G06N3/08GK105900116SQ201480073042
【公开日】2016年8月24日
【申请日】2014年2月10日
【发明人】山崎贵司, 松本涉
【申请人】三菱电机株式会社