一种基于局部知识增强的深度集成方法

一种基于局部知识增强的深度集成方法
【技术领域】
1.本发明涉及深度学习及数据处理的技术领域，特别是一种基于局部知识增强的深度集成方法。


背景技术：

2.在大数据时代，深度学习由于具备强大的表征能力，在图像识别、自然语言处理等各个领域获得了蓬勃发展，基于深度学习的智能技术层出不穷。浅层模型如支持向量机等，由于自身的局限性，完全依赖于人工特征的提取，往往会导致原始信息下的隐含价值被忽略。而深度学习通过构建层次化的机器学习模型，将原始数据中的多维变量转变为更高层次的抽象表达。分层结构能够提取不同层级的特征，自下而上地逐级提炼信息。
3.除了通过深度学习不断添加网络单元、纵向地延展网络层级，还可以采用集成学习方法提升机器学习模型性能。目前，深度学习和集成学习的融合已经成为了机器学习的一个趋势。例如，现有文献提出的一种基于门控机制的堆叠目标相关自动编码器(gated stacked target related autoencoder,gstae)来提高深度学习的建模性能。在分层预训练过程中，通过在损失函数中加入目标值的预测误差，利用目标相关信息来引导特征学习过程。此外，利用门控神经元控制信息从不同层级流向最终的输出神经元，最终输出神经元充分利用不同层次的抽象表示并量化相应的贡献度。例如，现有文献提出的一种基于宽度增长的多层表示学习模型，先通过多模态方法将多源特征信息增强为一种超状态编码，然后利用子网节点的增长来获取最优特征空间。在先前栈式结构的研究工作当中，利用堆叠泛化原理实现知识增强时仅是以串行方式联结多模块，尚未能充分调动可利用的计算资源；传统的浅层学习方法作为基本构造模块，实施简单，但其自身的特征学习能力仍有所欠缺。


技术实现要素：

4.本发明的目的就是解决现有技术中的问题，提出一种基于局部知识增强的深度集成方法，有利于提高整体分类性能，充分调动可用计算资源，可适用于并行处理环境。
5.为实现上述目的，本发明提出了一种基于局部知识增强的深度集成方法，包括以下两个阶段：
6.s1.区域子集的知识扩展阶段：
7.s1.1通过fcm算法(fuzzy c-means,fcm)将原始数据集划分为多个区域子集；
8.s1.2在多个子集上训练局部分类模型dnn(deep neural network,dnn)，各个dnn负责学习相应的局部样本；
9.s1.3多重dnn以多机并行的方式执行，构成了栈式结构当中的一个层级，多层栈层的堆叠构建起深度集成模型(ph-e-dnn)；
10.s2.多模块的输出集成阶段：采用多数投票策略对全局分类模型dnn的全局输出进行组合，得到最终决策输出。
11.作为优选，步骤s1.1具体包括以下步骤：fcm通过优化目标函数获得各个样本对所有类中心的隶属度，该目标函数为：
[0012][0013]
上式中，c是划分数，n是样本数目，m是模糊指数，u
ij
∈[0,1]是样本xj属于第i簇的隶属程度，vi是聚类中心；
[0014]
通过优化代价函数，推导出对于隶属度矩阵和聚类中心的计算公式：
[0015][0016][0017]
当停止迭代后，得到空间划分后的矩阵。
[0018]
作为优选，步骤s1.2中以自动编码器为局部分类模型dnn，具体包括以下步骤：自动编码器的学习过程分为编码器和解码器两部分；编码过程表示为：
[0019]hi
＝s(w1xi+b1)
ꢀꢀꢀ
(4)
[0020]
其中，w1、b1分别表示输入层和隐层的权重矩阵，隐层偏置；s表示激活函数，选择的激活函数为sigmoid函数；为了实现对原始数据的重构，解码过程表示为：
[0021]
zi＝s(w2hi+b2)
ꢀꢀꢀ
(5)
[0022]
其中，w2、b2分别表示隐层和输出层的权重矩阵，隐层偏置；s表示激活函数，选择的激活函数为sigmoid函数；
[0023]
所有训练样本映射到隐层表示进行重构，使得重构误差最小化：
[0024]
l(x,z)＝||x-z||2ꢀꢀꢀ
(6)
[0025]
使得重构表示z尽可能地逼近原始训练样例x；
[0026]
降噪自编码器通过引入随机函数以一定概率将原始输入矩阵中的某些位置的元素置为零，得到被污染的数据；z表示降噪自编码器得到的重构数据，目标是最小化下面的代价函数：
[0027][0028]
向自编码器中添加稀疏性约束后的自编码器称为稀疏自编码器，在稀疏自编码器中部分的节点取值为零，处于抑制状态，部分节点则处于激活状态；表示对于网络的给定输入，其隐含层单元的激活值，平均激活值可表示成：
[0029][0030]
定义平均激活值后给定稀疏性约束，使得满足以下形式：
[0031][0032]
上式中，ρ为稀疏性参数，为正值，表示第j个隐层单元在整个训练数据上的平均
激活值；
[0033]
基于上述原理介绍，降噪稀疏自编码器的基本原理是通过对稀疏自编码器的输入执行降噪处理。根据公式(7)，降噪稀疏自编码器的重构误差可以表示如下：
[0034][0035]
其中，j(w,b)中前一项表示均方误差项，j(w,b)的后一项表示正则化项或权重衰减项；也称kl-散度，用于度量两者之间的不同程度：
[0036][0037]
完成样本空间的模糊划分。
[0038]
作为优选，步骤s1.3中，多重dnn针对区域子集进行学习，将局部分类模型dnn的决策信息转化为知识附加到原始特征空间中，继而形成局部的增强数据；将所有分区上的增强数据组合起来，生成新的全局输入数据集，具体包括以下步骤：
[0039]
假定d0表示给定的原始输入特征，经过模糊聚类后形成的多个区域子集分别表示为多个区域子集满足和且将大规模样本分解到多个分区上，多重dnn对局部样本进行针对性的学习，对于不同的模糊区域或模糊子空间，多重dnn以不同角度获取对区域子集的数据描述，组合所有局部样本中的增强特征形成一个全局性质的增强数据；
[0040]
同一栈层的多模块并行执行，得到的弱预测信息被整合起来，实现样本的知识增强；局部分类模型的输出表示为输出信息被视为分类知识，即作为增强特征供后续步骤使用；第一层的知识提取完成后，l个局部分类模型将局部样本的增强特征与原始数据空间一起合并为l个区域增强子集；最后，融合所有局部性质的区域增强子集，生成全局性质的增强数据。
[0041]
作为优选，第一层中局部增强数据的规则表示为：
[0042][0043]
其中，表示第一层栈层中的第l个局部分类模型所重构的区域增强子集；融合后的增强数据作为新的输入传递到后续栈层进行学习，相应的矩阵形式表示为
[0044]
作为优选，增强数据集d1将再次通过fcm进行模糊划分，可得到新的区域子集对所有局部分类模型执行并行学习，第二层中局部输出的预测结果作为新的知识被保存到输入中，传递到后续栈层，新的增强特征再次拼接到当前的增强数据上，实现原始样本的第二重知识增强，第三层以相同的方式，利用知识增强策略实现原始样本的第三重知识增强。
[0045]
本发明通过栈式结构重构数据空间，并且随着学习经验的逐层增加，整体分类性能逐渐改善。并行化训练所有子模块，并逐级扩展当前数据，以得到对样本更全面的一个理解。
[0046]
本发明的有益效果：
[0047]
(1)该模型作为一种特殊的层次化的集成架构，充分挖掘了样本中的有用信息，能够捕获到较原始样本而言更为全面、更为精确的数据表达。基于堆叠泛化理论，深度栈式结构模型能够通过先前的预测知识改善泛化性能。
[0048]
(2)基于区域子集的知识增强策略，采用轻量级的dnn作为基本构造模块，所有子模块中的参数设置均保持一致。局部区域的细节信息得以被捕获，将先前数据转变为增强数据，有助于更好地逼近学习样本。
[0049]
(3)由于处在同一级的所有学习器可以在多个cpu计算节点上同时执行训练，故而深度集成模型(ph-e-dnn)具有可并行性。
[0050]
本发明的特征及优点将通过实施例结合附图进行详细说明。
【附图说明】
[0051]
图1是本发明的ph-e-dnn网络架构示意图；
[0052]
图2是自编码器的结构框架；
[0053]
图3是基于局部知识增强的栈式结构框架；
[0054]
图4中的图(a)、图(b)是所有深度方法的执行时间对比图；
[0055]
图5是mnist数据集的样本示例；
[0056]
图6是fashion-mnist数据集的样本示例。
【具体实施方式】
[0057]
1.ph-e-dnn网络模型
[0058]
首先，ph-e-dnn通过fcm算法将原始数据集划分为多个区域子集，在多个子集上训练局部分类模型dnn，各个dnn仅负责学习相应的局部样本。多重dnn以多机并行的方式执行，构成了栈式结构当中的一个层级。而多层栈层的堆叠则构建起深度集成模型ph-e-dnn。ph-e-dnn被视为是一种利用模糊聚类fcm，从单一栈式结构过渡到并行化栈式结构的理想方法。
[0059]
基于栈式结构的深度集成学习框架如图1所示，其过程包含两阶段学习，分别是前三层中区域子集的知识扩展阶段以及最末层中多模块的输出集成阶段。具有相似性质的样本实例会被分到同一组中，输入到局部分类模型dnn中进行知识学习，生成增强数据。最后采用多数投票策略对全局分类模型dnn的全局输出进行组合，得到最终决策输出。其中，在区域子集的知识扩展阶段中，是利用fcm划分出多个子集，每个dnn针对一个区域子集进行学习，采用局部分类模型dnn；在输出集成阶段中，每个dnn是针对先前生成的全局增强数据集进行学习，采用全局分类模型dnn；局部分类模型dnn、全局分类模型dnn所采用的dnn模型是相同的，均可理解为是本发明的“基本构造模块”，但两者的训练分别是基于区域子集和全局数据集。
[0060]
2.算法实现过程
[0061]
下面将详细阐述ph-e-dnn的工作流程。在前一阶段，需要先使用fcm算法进行模糊聚类，将整个数据集划分到多个不相交的区域子集当中。fcm是一种软聚类算法，通过优化目标函数获得各个样本对所有类中心的隶属度。该目标函数为：
[0062][0063]
上式中，c是划分数，n是样本数目，m是模糊指数，u
ij
∈[0,1]是样本xj属于第i簇的隶属程度，vi是聚类中心。
[0064]
通过优化代价函数，可以推导出下面对于隶属度矩阵和聚类中心的计算公式：
[0065][0066][0067]
当停止迭代后，得到空间划分后的矩阵。fcm模糊划分有利于在使用dnn学习样本前对原始数据进行预处理，从而对局部样本中的细节有更好的逼近程度。
[0068]
深度集成模型以轻量级的堆叠自编码器sae为基本构造模块dnn，接下来对ph-e-dnn中选取的子模块dnn进行详述。
[0069]
参阅图2，自动编码器的本质是相似重构原始输入数据。自动编码器的学习过程分为编码器和解码器两部分。编码过程通常表示为：
[0070]hi
＝s(w1xi+b1)
ꢀꢀꢀ
(4)
[0071]
其中，w1、b1分别表示输入层和隐层的权重矩阵，隐层偏置。为了实现对原始数据的重构，解码过程可以表示为：
[0072]
zi＝s(w2hi+b2)
ꢀꢀꢀ
(5)
[0073]
w2、b2分别表示隐层和输出层的权重矩阵，隐层偏置。在此，s表示激活函数，选择的激活函数为sigmoid函数。所有训练样本会映射到隐层表示进行重构，目的是使得重构误差最小化：
[0074]
l(x,z)＝||x-z||2ꢀꢀꢀ
(6)
[0075]
使得重构表示z尽可能地逼近原始训练样例x。
[0076]
降噪自编码器是通过从受污染的原始数据中重构出纯净的输入，增强网络的鲁棒性。通过引入随机函数以一定概率将原始输入矩阵中的某些位置的元素置为零，得到被污染的数据。z表示降噪自编码器得到的重构数据。目标是最小化下面的代价函数：
[0077][0078]
向自编码器中添加额外约束来学习一个有意义的结构，添加稀疏性约束后的自编码器称为稀疏自编码器。在稀疏自编码器中大量的节点取值为零，处于抑制状态，小部分节点则处于激活状态。表示对于网络的给定输入，其隐含层单元的激活值。那么平均激活值就可表示成：
[0079][0080]
定义平均激活值后，就可以给定稀疏性约束，使得满足以下形式：
[0081][0082]
上式中，ρ又称稀疏性参数，为正值，表示第j个隐层单元在整个训练数据上的平均激活值。
[0083]
降噪稀疏自编码器的基本原理是通过对稀疏自编码器的输入执行降噪处理，根据公式(7)，降噪稀疏自编码器重构误差可以表示如下：
[0084][0085]
其中，j(w,b)中前一项表示均方误差项，j(w,b)的后一项表示正则化项或权重衰减项。也称kl-散度，用于度量两者之间的不同程度：
[0086][0087]
完成样本空间的模糊划分后，多重dnn针对区域子集进行学习，将局部分类模型的决策信息转化为知识附加到原始特征空间中，继而形成局部的增强数据。将所有分区上的增强数据组合起来，生成新的全局输入数据集。
[0088]
假定d0表示给定的原始输入特征，经过模糊聚类后形成的多个区域子集分别表示为多个区域子集满足和且将大规模样本分解到多个分区上，多重dnn对局部样本进行针对性的学习。对于不同的模糊区域或模糊子空间，多重dnn以不同角度来获取对区域子集的数据描述，组合所有局部样本中的增强特征来形成一个全局性质的增强数据。同一栈层的多模块并行执行，得到的弱预测信息被整合起来，实现样本的知识增强。局部分类模型的输出表示为输出信息被视为分类知识，即作为增强特征供后续步骤使用。第一层的知识提取完成后，l个局部分类模型将局部样本的增强特征与原始数据空间一起合并为l个区域增强子集。最后，融合所有局部性质的区域增强子集，生成全局性质的增强数据。
[0089]
三重知识增强会产生一个补充知识库，局部分类知识得到有效融合。第一层中，局部增强数据的规则表示为：
[0090][0091]
其中，表示第一层栈层中的第l个局部分类模型所重构的区域增强子集。通过这种知识增强的策略，前层的训练结果对后续分类起到良好的控制和指导作用。融合后的增强数据作为新的输入传递到后续栈层进行学习，相应的矩阵形式表示为
[0092]
为了更好地挖掘原始信息背后的隐含价值，增强数据集d1将再次通过fcm进行模糊划分，可得到新的区域子集第二层中的工作流程与第一层基本相同。对所有局部分类模型执行并行学习，第二层中局部输出的预测结果作为新的知识被保存到输入中，传递到后续栈层。此时，新的增强特征会再次拼接到当前的增强数据上，很明显，新产生的增强数据的构成涵盖了原始输入特征、第一层以及第二层生成的两重增强特征。在前一阶段的第三层中，以相同的方式，利用知识增强策略实现原始样本的第三重知识增强。
[0093]
第二阶段采用集成学习中的多数投票原则，将多个个体学习器的决策信息进行汇总。第二阶段中多模块的输入矩阵表示为与前一阶段不同的是，在三重知识增强和数据扩充后，不再使用fcm划分区域子集。该层的每个dnn子模块在这里使用的是全局性质的增强数据，汇总所有样本的分类结果以形成一个综合的决策。
[0094]
3.基于并行计算的栈式结构分析
[0095]
本章围绕并行化思想与栈式结构的融合。集成学习思想在ph-e-dnn中的体现包括：第一阶段栈式结构的集成和第二阶段多数投票策略。图3描述了本章栈式结构的框架。
[0096]
根据堆叠泛化原理，所有局部分类模型的输出被扩充到原始特征空间，不断地打开输入特征空间中的流形结构。本发明的方案是建立在并行计算的基础上，极大地加速了知识增强和特征扩展的过程。该方法通过堆叠多层的dnn子模块以生成全局增强数据，将实际的三重预测输出(即二分类或多分类的输出信息)投影至最初的源输入空间中。换句话说，源输入空间中所有样本的特征信息及前三层并行学习子系统的决策信息，共同为全局分类提供数据准备。新生成的知识在此充当分类中的指导规则，引导分类器的识别结果向样本的真实标签逼近。中间知识本质上就是局部分类模型的输出信息，因而，该大型分类器易于理解和实现。一方面，在学习潜在趋势的同时，可以完好地保留每个模块对于局部样本的输出结果。另一方面，区域子集的样本规模降低，可以缓解传统的单个深度模型由于网络过于复杂而产生的训练时间过长的问题，加速知识的学习和重用。
[0097]
4.ph-e-dnn基本算法
[0098]
[0099][0100]
5.实验及结果分析
[0101]
5.1实验数据和实验平台
[0102]
为了验证基于并行的深度集成方法的分类性能，本节在基准数据集上进行了实验。从uci和keel中选取了大量数据集来评估所提出的算法。数据集的详细信息均已在下表1中列出。
[0103]
表1所用数据集的详细信息
[0104][0105]
将ph-e-dnn在所有数据集上进行测试。所采用的数据集由二分类问题和多分类问题组成，这些问题具有不同数量的属性或样本。在实验中所用数据集涵盖了多种类型。其中，sat、opt和con等数据集具有相对多的特征数目。而shu、adu和con等数据集具有较大的样本容量。而另外一些数据集，如sat、pen和let是关于字符识别的数据集。在数据集当中，例如opt、pen和hars，这些初始数据集是划分完的，随机地合并样本并重新划分相应的训练集和测试集。
[0106]
在实验的组织中，对于归一化处理后的数据，从中随机抽取80％的样本作为训练集，剩余样本则被视为测试集。所基于的实验环境信息如下表2。
[0107]
表2实验平台信息
[0108][0109]
[0110]
5.2实验设置和对比算法
[0111]
使用平均测试准确率以及时间来验证算法的性能。ph-e-dnn在数据集上进行实验时，应充分考虑到所采用的数据集的样本数目、维度还有类别数目。对于不同数据集找到相对合适的参数。为了保证实验结果的公平性，将基本构造模块dnn(堆叠自编码器)也作为对比算法，与新模型进行比较。在新型层次化模型中，所有子模块的参数选择均与其完全一致。dnn的隐节点数在[10:10:50]区间内进行寻优，epoch和batchsize分别在[30:10:100]和[10:10:100]范围内进行搜索。在这里，隐层单元数和子模块数目并没有设置得非常大，保证dnn的网络结构简单且易于实施。同一栈层的dnn数目取l＝3和l＝5。
[0112]
为了评估ph-e-dnn的模型效果，选取集成方法adaboost、集成方法bagging、传统方法svm(libsvm)、基本构造模块sae以及深度方法dbn作为对比算法。其中，sae2代表结构稍复杂的自编码器网络。集成方法的子分类器数目在[5,20]的范围内进行确定。svm通过网格搜索从{2-2
,...,22}确定惩罚参数c和核函数参数g。dbn的隐节点数在[10:10:50]区间内搜索，epoch和batchsize分别在[30:10:60]和[10:10:100]区间上寻优。ph-dnn是ph-e-dnn前一阶段三重栈层构成的栈式结构分类模型，e-dnn是后一阶段多个基本构造模块多数投票所构成的集成分类模型，两者均作为对比方法在结果中进行展示。ph-dnn、e-dnn和ph-e-dnn中的参数设置均与基本构造模块dnn保持一致。另外，基于本发明所提的网络框架，基本构造模块由sae替换为dbn，将该算法命名为ph-e-dbn也作为对比算法进行展示，参数设置与对比方法dbn一致。
[0113]
5.3实验结果与分析
[0114]
根据度量指标在数据集上的平均结果，通过局部分类模型构建的深度集成模型往往具有更好的类间判别能力。训练l个局部分类模型，所有子模块彼此相互隔离、互不干扰。很明显，结合并行学习和知识增强策略，提高了计算资源的利用率。这是由于原始数据集被划分到多个不相交的子集上，大大降低样本规模。在并行计算的条件下，加速了前一阶段的知识提炼过程。在第二阶段，利用集成方法中的多数投票策略融合多模块的输出结果。并行计算有利于快速提炼局部样本中的细节信息，且栈层间所生成的全局增强数据均保持与源数据空间一致。随着分区数的增加，知识增强消耗的时间大大缩短。
[0115]
ph-e-dnn仍然是与堆叠泛化原理保持一致的，包括特征扩展和模式分类两个部分。在前一阶段中，ph-e-dnn更注重如何充分利用局部分类模型所学知识，即对网络输出标签的重用。ph-e-dnn对于dnn的深度集成方案一定程度上增加了模型的复杂程度，但其在引入并行化的同时也展现出了优异的分类性能。
[0116]
表3所有对比算法的测试准确率
[0117]
[0118][0119]
根据上表3展示的结果，明显可以看出，基于dnn的深度集成方法结果总是要比原始dnn要好，深度集成的优势显而易见。利用堆叠泛化原理提取隐含在区域子集中的知识，识别效果逐步改善。在部分数据集上，虽然准确率改善并不显著，但仍然是有所提升的。在分类精度方面，ph-e-dnn至少可以取得与常见深度算法相当的识别精度。
[0120]
ph-e-dnn在大多数数据集上优于其他对比方法。在pend和penb上，本发明的两阶段集成算法不如ph-dnn，这意味着在该数据集上多数投票策略不是一个明智的选择。在pag上，支持向量机的性能优于本发明的深度集成方法ph-e-dnn。此外在opt和let字符识别数据集上，ph-e-dnn的分类表现要比ph-e-dbn稍差一些。
[0121]
在执行时间方面，本发明所提出的模型可以与deeplearn toolbox中的深度学习算法相抗衡。对比方法的时间代价在图4中给出。ph-e-dnn-3和ph-e-dnn-5表示l＝3和l＝5情况下的新型栈式结构。分类精度的结果表明，与传统的集成学习方法相比，本发明的方法具有良好的优势。ph-e-dnn借鉴深度学习理论，堆叠网络栈层以实现深度表征学习，集成多个栈层之间的分类知识。特征空间的增强有利于解开原始数据中的流形结构，使得样本更加线性可分，大大提高了精度。深度集成模型会不可避免地增加网络模型的复杂性，所提出的模型在本质上仍然是不可解释的，但知识增强的过程揭示了识别结果的变化趋势。
[0122]
5.4mnist和fashion-mnist数据集实验
[0123]
将ph-e-dnn在mnist和fashion-mnist两个图像数据集上进行了实验和评估。
[0124]
mnist手写数字识别数据集是目前较为流行的图像数据集之一，常常用来检验机器学习模型的性能，部分样本示例如图5。该数据集是由手写数字图像0到9组成，包括60000个训练样本和10000个测试样本，每个数字图像均为由28x28个像素点构成。除了mnist数据集，ph-e-dnn也在fashion-mnist数据集上进行了实验与测试。fashion-mnist数据集是一个用于替代的mnist数据集的图像数据集。该数据集同样也是由10个类别，总共70000个样本构成(60000个训练样本和10000个测试样本)。图像涵盖了一些常见的时尚单品，包括t恤、裤子、套头衫、连衣裙、外套等。每个图像的规模与mnist相同，部分图像示例如图6所示。
[0125]
为了确保公平的实验对比，ph-e-dnn子模块的网络结构(784-100-10)仍然与sae完全相同。而对比算法sae2表示一个具有较大网络规模的深度网络。对比方法cnn(6-2-12-2)由两个卷积层和两个2x2的池化层组成。对比算法dbn，在mnist数据集上采用784-100-100-10的网络结构，而在fashion-mnist数据集上则是采用了784-200-10的网络结构。
[0126]
ph-e-dnn在mnist上有着良好的实验表现，但可能达不到该数据集的最佳效果。可以看出，ph-e-dnn与其他方案相比效果略好一些。在fashion-mnist上的实验结果证实了该方法的优越性，较基本构造模块取得了显著的改善效果。下表4和表5中给出了所有对比算
法的实验结果。需要说明的是，该实验是在未对原始图像进行特殊预处理的情况下来开展的，将本发明的深度集成模型ph-e-dnn与deeplearn工具箱中的深度算法进行比较。综合考虑模型性能和并行化的优势，本发明提出的方法会是一个具有竞争力的新型深度集成分类器。
[0127]
表4所有对比算法在mnist上的分类精度
[0128][0129]
表5所有对比算法在fashion-mnist上的分类精度
[0130][0131]
本发明结合栈式泛化原理和局部知识增强策略，提出了一种以dnn为基本构造模块的并行深度集成分类器，有利于提高整体分类性能，充分调动可用计算资源。在各栈层的多模块执行训练前，采用fcm对原始输入进行模糊聚类，将当前输入空间划分为多个模糊区域，构造多个区域子集并分配到多重dnn。基于三重的知识增强，生成全局增强数据。此外，ph-e-dnn由于知识增强中各模块的相互独立，可适用于并行处理环境，而传统的单个大规模dnn由于串行结构往往难以进行并行计算。后一阶段，利用增强数据进行多模块的学习，并将输出结果进行集成。从准确率和资源利用效率两方面考虑，该方法在众多方案中显示出了其优越性。
[0132]
上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。