一种新型网络拓扑结构的卷积神经网络的构造方法
【技术领域】
[0001]本发明涉及卷积神经网络的构造，特别涉及一种新型网络拓扑结构的卷积神经网络的构造方法。
【背景技术】
[0002]卷积神经网络是计算机视觉和模式识别一个重要的研究领域，它是指计算机仿照生物大脑思维启发进行类似人类对特定对象的信息处理系统。其应用广泛，快速而准确的对象检测与识别技术是现代信息处理技术中的重要组成部分。由于信息量近年来急剧地增长，我们也迫切的需要有合适的对象检测以及识别技术能够让人们从大量的信息中寻找出自己所需要的信息。图像检索及文字识别都属于这一类别，而文字的检测与识别系统则是进行信息检索的基本条件。检测与识别技术是计算机视觉和人机交互领域重要组成部分。
[0003]卷积神经网络是最近广泛应用于模式识别和计算机视觉等领域的一种算法模型，具有训练参数少，人工干预小和适应性强大的特点，但是由于训练速度慢，且算法计算复杂度，软件结构维护复杂等，在不同方面存在一定难度或缺陷。而且在卷积神经网络构造的基础设计方面存在很多不同的结构设计，训练样本集合也存在极大的变化，加上复杂的神经网络非线性信息处理能力等方面存在技术难点。在家电系统等嵌入式平台受存储空间资源限制的条件下，也不可能使用类似PC机或者服务器等强大CPU计算资源。所以有必要研究针对卷积神经网络快速处理数据的算法做必要的改进，以增加算法的适应性，进而对应用程序提出了更高的要求。
【发明内容】
[0004]本发明的目的是为了解决现有的神经网络算法在训练和计算过程中对硬件的处理速度要求高，无法在家电系统中进行样本训练和复杂应用的问题。
[0005]本发明解决其技术问题的技术方案是:一种新型网络拓扑结构的卷积神经网络的构造方法，其特征在于，包括如下步骤:
[0006]确定神经元节点间的互联结构，根据互联结构确定在神经元节点间的数值计算反馈和前向计算传递的相互关系；
[0007]使用反向传播神经网络创建多层感知机模型，所述反向传播神经网络结构中包含前向传播算法；
[0008]同时运行反向传播算法和前向传播算法，进行卷积神经网络的训练和计算。
[0009]具体地，反向传播算法进行迭代运算的具体方法包括如下重复过程:从下一层开始和计算权重的变化到后一层，然后再计算在前一层的输出误差。
[0010]具体地，反向传播算法运行过程中产生的反向传播误差的偏导数等于后一层网络实际输出值减去后一层网络目标输出值。
[0011]较佳地，在同时运行反向传播算法和前向传播算法时，使用多核处理并行结构进行多线程并行处理。
[0012]具体地，在进行多线程并行处理时，通过神经网络的反向传播阶段，有一个上下文切换回第一个线程，切换过程中变换的权重值计算在各个线程中同步进行。
[0013]本发明的有益效果是:通过本发明的方法，可以在不占用大量计算资源的情况下，最大程度上减少卷积神经网络的训练用时，在减少计算时间耗损的情况下可以在后续的实验和模拟中针对更为庞大的训练样本集做训练。而且在适应性能大幅提升的情况下，也可以促进更加广泛的模式识别和计算机视觉针对检测和识别对象的范围，基于改进网络拓扑结构的卷积神经网络构造的这种基础设计技术来提升智能家电产品的应用模型，提高了家电在视觉交互方面的分类和检测效果，在智能性和泛化性方面，以实际产品使用过程中获得更好的用户体验。
【具体实施方式】
[0014]以下对本发明的技术方案进行详细描述。
[0015]本发明为解决现有的神经网络算法计算中对硬件的处理速递要求高，无法在家电中进行应用的问题，提供一种新型网络拓扑结构的卷积神经网络的构造方法，该方法包括如下步骤:
[00? 6]确定神经元节点间的互联结构，根据互联结构确定在神经元节点间的数值计算反馈和前向计算传递的相互关系；
[0017]使用反向传播神经网络创建多层感知机模型，所述反向传播神经网络结构中包含前向传播算法；
[0018]同时运行反向传播算法和前向传播算法，进行卷积神经网络的训练和计算。
[0019]反向传播算法进行迭代运算的具体方法包括如下重复过程:从下一层开始和计算权重的变化到后一层，然后再计算在前一层的输出误差。反向传播算法运行过程中产生的反向传播误差的偏导数等于后一层网络实际输出值减去后一层网络目标输出值。在同时运行反向传播算法和前向传播算法时，使用多核处理并行结构进行多线程并行处理。在进行多线程并行处理时，通过神经网络的反向传播阶段，有一个上下文切换回第一个线程，切换过程中变换的权重值计算在各个线程中同步进行。
[0020]本发明提供一种新型网络拓扑结构的卷积神经网络构造，设计构造和算法模型包括如下步骤:
[0021]首先神经网络沿用一贯的设计方法，即创建多层感知机模型，该模型为解决非线性可分问题，但是由于感知机学习算法的限制，模式分类能力很有限，必须使用反向传播(BackPropagat1n)学习算法，该算法是影响最大的一种神经网络学习方法，以此为基础使用反向传播算法。本发明保护的就是改进这种算法的计算模式，为提高神经网络层内和节点互联的结构，增强隐含层神经元具有的学习能力而提出的一种新型的神经网络构造方法。从实验过程中我们看到即使提高神经网络层内和节点互联的结构仍然存在局限性的问题，这时我们改进既有的反向传播算法结构，在网络结构上引入前向传播(ForwardPropagat i on)的设计。专利中引用前向传播算法，该算法利用神经网络各层内神经元计算的并行性，每层使用一个核函数来并行计算该层神经元的值，每个核函数都根据神经网络的特性和整体架构的特点进行优化。
[0022]紧接着基于以上模型的概念，为得到更加优异的分类性能和设计特点，为改善神经网络的设计而改变网络拓扑结构。同时(S imu I taneous)运行反向传播和前向传播进行卷积神经网络的训练和计算，在这种技术中，实验过程中我们使用多个线程是用来加速计算一个epoch所需要的时间从而减少训练的总时长。
[0023]神经网络反向传播算法是一个迭代的过程，从最后一层开始向后移动通过中间层达到第一层。假定每一层我们知道在该层的输出误差，如果知道输出误差就不难计算权重的变化以减少误差。问题是我们只能观察误差在最后一层的输出，从而提出需要解决问题的关键。反向传播给出一个方法用来确定在