前一层的输出误差给出了当前层的输出。因此这是一个迭代过程:从下一层开始和计算权重的变化到后一层。然后再计算在前一层的输出误差，如此重复。所有的神经网络模型在算法本质上都是相同的，既最基本的实现目的:通过调整权重的不同，加快其收敛到最优权重的反向传播过程。在通用的样本集中做测试，比如说MNIST数据库，我们的一个epoch的计算过程需要高达60000次反向传播的数量，即使在目前较高速的CPU处理速度下完成一个迭代epoch的计算耗时达到近40分钟，如果一个卷积神经网络的训练过程面对一个庞大的样本集完成训练，比如几千甚至过万个迭代的计算将会出现不可估量的计算时间，也就是因为这样一个耗时的计算过程促使我们在实际的工作中必须找到一种更加稳健鲁棒和快速可靠的处理方式。
[0024]其次，卷积神经网络在节点层数的设计方面实现相对简单，既为正向传播和反向传播训练期间。本发明选择了简单的创新设计方法在反向传播训练的同时加入正向传播。前向传播是各个神经元输出值的计算过程，基于提供的输入值经由神经元计算得到输出值。由于网络计算具有调整突触连接权值以适应环境变化的能力，尤其是在特定样本集环境中训练过的网络能够很容易地再训练以适应微小变化，使得具有良好的适应性。在同时进行反向和前向传播算法的过程更加速了网络再训练的这种适应性能，这种网络的拓扑结构的设计使性能得以很大提升。在充分考虑计算时长的问题上必须切入关键点，关键问题是我们的网络结构设计在反向传播算法依赖于正向传播步骤中单个神经元计算输出的数值，比如输出数值进入第一个线程的输入模式，在导致后续接受该数值的神经网络各输出层的神经元输出发生计算变化，在计算的同时反向传播阶段计算也随之开始，有一个公式用来计算在神经网络运算过程中出现的反向传播误差，反向传播过程误差的偏导数等于后一层网络实际输出值减去后一层网络目标输出值，我们将这一结果用于更新权重变化的数值，其中隐含层的误差信号要根据所有有隐藏层的神经元直接相连的神经元误差信号来向后递归计算决定。本发明专利提出的创新设计方法在反向传播训练的同时加入正向传播的计算过程，这样只有一个目的:加快其收敛到最优权重。
[0025]最后，为了加快收敛的速度，使用同时运行处理的机制。正因为反向传播和正向传播的学习过程是以一种串行方式并做大量有关权重更新的计算，期间过程涉及一个模式的计算接着一个模式的更新，借助于现在大型数据吞吐量的CPU或GPU的硬件环境下计算更快，特别是当训练数据集很大且训练样本高度冗余的情况下更是如此。在同时拥有计算能力对权重空间进行有效搜索的方面，在模式分类的卷积神经网络机构设计中使用反向传播和正向传播学习，在一个简单的多线程的情况下第一个线程前向传播输入模式，包括各层神经网络输出层神经元输出。反向传播阶段开始，方程是用来计算模式中的权值错误如何取决于输出层的输出。同时，由于多线程，一个线程选择快速收敛和前向传播，通过神经网络的反向传播阶段，有一个上下文切换回第一个线程，现在试图完成第一个模式的计算传播。此时计算数值依赖于神经元的数值输出，因为在第二线程的正向传播的作用下数值已经改变了，在多线程下如何解释这样的问题，解决方案是记忆所有的神经元的输出。换句话说当前向传播的一个输入模式下记忆所有可能数以千计个神经元的输出且被存储在不同的内存位置，这些记忆在输出反向传播阶段期间被使用。由于输出被存储，在不同的模式的另一个线程的正向传播不会影响反向传播计算。收敛取决于计算值的权重，而权重的值可能会在下一个线程被另一个线程的反向传播改变。继续上述的解释，第一个线程开始反向传播，这和变化的权重值在两个线程中同步。在这一点上，有一个上下文切换到第二个线程，并尝试计算新的权值，也同时试图根据方程变化的权重值前向传播。但由于网络接受最优最易收敛的权值结果，如果现在已经由第一个线程改变权重被接受，那么计算第二线程执行也就无效，我们只选择在线程更新中最优的数值。
[0026]在特定样本集数据良好且具有良好训练环境中，加上计算机硬件环境的改善，使用固有的多核处理器并行结构和并行处理的特性也大大提高卷积神经网络的计算速度，强大的运算速度加之同时进行反向传播和前向传播算法的网络拓扑结构的优化设计而使训练和计算过程发挥出良好效果。
【主权项】
1.一种新型网络拓扑结构的卷积神经网络的构造方法，其特征在于，包括如下步骤: 确定神经元节点间的互联结构，根据互联结构确定在神经元节点间的数值计算反馈和前向计算传递的相互关系； 使用反向传播神经网络创建多层感知机模型，所述反向传播神经网络结构中包含前向传播算法； 同时运行反向传播算法和前向传播算法，进行卷积神经网络的训练和计算。2.如权利要求1所述的新型网络拓扑结构的卷积神经网络的构造方法，其特征在于，反向传播算法进行迭代运算的具体方法包括如下重复过程:从下一层开始和计算权重的变化到后一层，然后再计算在前一层的输出误差。3.如权利要求1或2所述的新型网络拓扑结构的卷积神经网络的构造方法，其特征在于，反向传播算法运行过程中产生的反向传播误差的偏导数等于后一层网络实际输出值减去后一层网络目标输出值。4.如权利要求3所述的新型网络拓扑结构的卷积神经网络的构造方法，其特征在于，在同时运行反向传播算法和前向传播算法时，使用多核处理并行结构进行多线程并行处理。5.如权利要求4所述的新型网络拓扑结构的卷积神经网络的构造方法，其特征在于，在进行多线程并行处理时，通过神经网络的反向传播阶段，有一个上下文切换回第一个线程，切换过程中变换的权重值计算在各个线程中同步进行。
【专利摘要】本发明涉及卷积神经网络的构造，目的是为了解决现有的神经网络算法计算中对硬件的处理速递要求高，无法在家电中进行应用的问题。本发明提供一种新型网络拓扑结构的卷积神经网络的构造方法，该方法包括如下步骤：确定神经元节点间的互联结构，根据互联结构确定在神经元节点间的数值计算反馈和前向计算传递的相互关系；使用反向传播神经网络创建多层感知机模型，所述反向传播神经网络结构中包含前向传播算法；同时运行反向传播算法和前向传播算法，进行卷积神经网络的训练和计算。本发明适用于家电中模式识别。
【IPC分类】G06N3/08, G06N3/04
【公开号】CN105550749
【申请号】CN201510908355
【发明人】游萌
【申请人】四川长虹电器股份有限公司
【公开日】2016年5月4日
【申请日】2015年12月9日