一种基于自适应前馈神经网络的目标分类方法

1.本发明涉及人工智能领域，尤其是一种基于自适应前馈神经网络的目标分类方法。


背景技术：

2.目标分类能实现图像中的目标识别，为决策系统提供信息数据支持。近年来，目标分类广泛研究了深度学习方法，但是传统的目标分类算法在准确度和鲁棒性上不太理想，现有结果大多通过梯度算法来最小化输出误差，来导出经典的神经网络权值更新律，其缓慢收敛过程会导致神经网络大量数据和时间训练，增大神经网络学习的时间成本和消耗成本。需要一种新的方法来解决神经网络的问题。


技术实现要素：

3.本发明的发明目的在于：针对上述存在的问题，提供一种基于自适应前馈神经网络的目标分类方法，解决传统神经网络中存在的受限于传统梯度算法的收敛问题，以及大量数据训练和时间成本消耗的技术问题。
4.本发明采用的技术方案如下：
5.本发明一种基于自适应前馈神经网络的目标分类方法，包括以下步骤：
6.构造前馈神经网络模型：通过泰勒级数展开式，将非线性前馈神经网络系统重构成为线性权值化的非线性系统；
7.以权值估计误差为驱动，进行权值更新：根据构造辅助变量，提取权值估计误差信息变量，相应地设计出权值更新的自适应率；
8.目标分类：根据权值更新的前馈神经网络模型，对目标图像进行分类。
9.作为优选，所述构造前馈神经网络模型具体包括：
10.步骤s100：采集图像数据，对深度学习的训练数据打上标签，并对采集的图像数据进行归一化处理；
11.步骤s200：根据所要输入的图像数据和图像标签，设置前馈神经网络的输入层、隐藏层和输出层；
12.步骤s300：引入前馈神经网络的输入、输出和各层权值的梯度，重构自适应前馈神经网络模型：
[0013][0014]
其中，f(x,θ)∈r
t
为构造的前馈神经网络，x∈rn×n是前馈神经网络的输入矩阵，θ∈rr是前馈神经网络的权值矩阵展平后的向量，前馈神经网络在权值估计处的一阶泰勒级数展开式中，是前馈神经网络关于权值θ的一阶梯度，v是一阶泰勒展开式余
项。
[0015]
作为优选，所述步骤s200：根据所要输入的图像数据，确定神经网络所要输入矩阵的批量大小，设定图像数据作为神经网络输入的矩阵变换方法，选择前馈神经网络的输入层和隐藏层的节点数和激活函数；根据所要输入的图像标签，确定神经网络输出层的节点数和激活函数，初始化神经网络的权值。
[0016]
作为优选，所述步骤s200具体包括以下步骤：
[0017]
步骤s210：基于归一化处理后的图像数据，对图像矩阵进行矩阵变换，经过一维投影或者矩阵展平，转换为神经网络输入的一维向量；
[0018]
步骤s220：基于图像标签，设置神经网络的输出节点数，设计相应各层的权值矩阵，使得网络层的输出维数与下一个网络层输入的维数相等，并初始化各层权值的非零矩阵。
[0019]
作为优选，所述步骤s220后设计的前馈神经网络如下：
[0020][0021]
其中，是输出层的激活函数，是输出层的输入，w
t
是该层的权值矩阵，分别是隐藏层的激活函数和输入，g(x)是对图像矩阵进行矩阵变换，即一维投影或者矩阵展平，θ是神经网络权值，w1,w2,
…
,w
t
是展平后的向量。
[0022]
作为优选，以权值估计误差为驱动，进行权值更新的方法具体包括：
[0023]
步骤s410：根据步骤s300重构后的神经网络，构造如下辅助变量p∈rr×r,q∈rr：
[0024][0025]
其中，l》0为泄露项，κ》0为增益；
[0026]
步骤s420：根据步骤s410得到的辅助变量，构造变量w∈rr,h∈rr：
[0027][0028]
其中，w是权值估计误差变量，变量是有界的，即变量w的导数如下：
[0029][0030]
步骤s430：根据步骤s420得到的变量w、h，计算神经网络权值更新的自适应率其中γ》0，为学习增益。
[0031]
作为优选，所述目标分类方法包括：在达到测试精度的条件下，根据权值更新的自适应率，实现权值的稳定收敛，对后续的目标图像进行分类。
[0032]
作为优选，所述所述目标分类方法具体包括以下步骤：
[0033]
步骤s510：持续为自适应神经网络加载批量图像数据，在测试精度连续5次下降的条件下，停止图像数据加载，在最高测试精度条件下的权值为训练后的最优权值；
[0034]
步骤s520：基于李雅普诺夫稳定性理论，在自适应率的驱动下，神经网络权值更新，并在步骤s510测试停止条件下，稳定收敛，且权值估计误差为一致最终有界，得到神经网络权值，对后续的目标图像进行分类。
[0035]
作为优选，所述自适应前馈神经网络的数据分别存储和运行在cpu和gpu上，cpu内存有图像数据、标签数据、批量大小、权值、节点和网络层各权值的梯度；gpu内存有辅助变量p,q、权值估计误差变量w和权值θ。
[0036]
综上所述，由于采用了上述技术方案，本发明的有益效果是：
[0037]
1、解决了传统目标分类算法在准确度和鲁棒性上不太理想的问题，以及其神经网络需要大量数据和时间训练的问题，提高了目标分类算法的效率。
[0038]
2、实现了图像中的目标识别功能。开发一种新的权值更新自适应律，将提取的权值估计误差作为驱动，设计权值更新的自适应率，基于李雅普诺夫稳定性理论来保证前馈神经网络权值的收敛，用于解决神经网络中未知权值更新问题。
附图说明
[0039]
本发明将通过例子并参照附图的方式说明，其中：
[0040]
图1是本发明一种基于自适应前馈神经网络的目标分类方法的模型。
[0041]
图2是本发明中自适应前馈神经网络权值自适应更新的模型。
[0042]
图3是本发明自适应前馈神经网络搭建流程图。
具体实施方式
[0043]
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
[0044]
本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
[0045]
如图1，本发明提供一种基于自适应前馈神经网络的目标分类方法，包括以下步骤：
[0046]
步骤s100：在图像数据采集后，对深度学习的训练数据打上标签，并对采集的图像数据进行归一化处理；
[0047]
步骤s200：根据所要输入的图像数据，确定神经网络所要输入矩阵的批量大小，设计该数据作为神经网络输入的矩阵变换方法，并合理选择前馈神经网络的输入层和隐藏层的节点数和激活函数，根据所要输入的图像标签，确定神经网络输出层的节点数和激活函数，初始化神经网络的权值；
[0048]
所述步骤s200具体包括以下步骤：
[0049]
步骤s210：基于归一化处理后的图像数据，对图像矩阵进行矩阵变换，经过一维投影或者矩阵展平，转换为神经网络输入的一维向量。
[0050]
步骤s220：基于图像标签，设置神经网络的输出节点数，设计相应各层的权值矩
阵，使得网络层的输出维数与下一个网络层输入的维数相等，并初始化各层权值的非零矩阵，前馈神经网络设计如下：
[0051][0052]
式中是输出层的激活函数，是输出层的输入，w
t
是该层的权值矩阵，分别是隐藏层的激活函数和输入，g(x)是对图像矩阵进行矩阵变换，即一维投影或者矩阵展平，θ是对神经网络权值w1,w2,
…
,w
t
展平后的向量；
[0053]
步骤s300：通过引入神经网络的输入、输出和各层权值的梯度，重构如下式的自适应前馈神经网络模型：
[0054][0055]
式中f(x,θ)∈r
t
根据步骤s200设计的前馈神经网络，x∈rn×n是神经网络输入矩阵，θ∈rr是神经网络的权值矩阵展平后的向量；
[0056][0057]
前馈神经网络在权值估计处的一阶泰勒级数展开式中，是神经网络关于权值θ的一阶梯度，v是一阶泰勒展开式余项；
[0058]
步骤s400：根据重构后的神经网络，构造辅助变量，提取并表征出权值估计误差信息，设计基于权值估计误差的自适应率；
[0059]
所述步骤s400具体包括以下步骤：
[0060]
步骤s410：根据步骤s300重构后的神经网络，构造如下辅助变量p∈rr×r,q∈rr,h∈rr：
[0061][0062]
式中l》0为泄露项，κ》0为增益；
[0063]
步骤s420：根据步骤s410得到的辅助变量，构造变量w∈rr,h∈rr：
[0064][0065]
式中变量是有界的，即变量w的导数如
下：
[0066][0067]
步骤s430：根据步骤s420得到的辅助变量，设计神经网络权值更新的自适应率为式中γ》0为学习增益；
[0068]
步骤s500：在达到测试精度的条件下，根据权值更新的自适应率，实现权值的稳定收敛，对后续的目标图像进行分类。
[0069]
所述步骤s500具体包括以下步骤：
[0070]
步骤s510：持续性为自适应神经网络加载批量图像数据，在测试精度连续5次下降的条件下，即可停止图像数据加载，在最高测试精度条件下的权值为训练后的最优权值。
[0071]
步骤s520：基于李雅普诺夫稳定性理论，在自适应率的驱动下，取李雅普诺夫函数根据杨氏不等式，相应的导数可以如下表示：
[0072][0073]
式中μ＝2(σ-1/m)/λ
max
(γ-1
)是关于m》1/σ的正数，由于有界的项ρ也是正数。因此神经网络权值的更新图像为平滑曲线，并在步骤s510测试停止条件下，稳定收敛，且权值估计误差为一致最终有界，同时得到的神经网络权值，可对后续的目标图像进行分类。
[0074]
在一具体实施例中，本发明提供的基于自适应前馈神经网络的目标分类方法，自适应前馈神经网络的设计思路如下：
[0075]
如图2，该前馈神经网络持续地读取批量图像数据，输出目标图像的分类结果。与传统神经网络权值更新不同点在于，传统的神经网络权值更新算法以目标标签的误差为驱动，本发明提供的权值自适应估计方法，是以权值估计误差为驱动，即根据目标标签和前馈神经网络输出的图像分类标签，以及神经网络的梯度，来构造辅助变量p,q；然后根据构造的辅助变量，提取权值估计误差信息变量，相应地设计出权值更新的自适应率。
[0076]
如图3，搭建前馈神经网络，首先需要构建数据类，该数据类储存了图像和标签数据，定义了批量大小，以及包含了数据预处理的归一化函数。然后设计网络类，该类储存了各层神经网络的权值，节点的输出和激活函数。
[0077]
本发明的权值更新方法与传统权值梯度更新不同，需要构造辅助构造辅助变量p,q，复杂的神经网络会导致复杂的权值参数，因此在矩阵运算时，需要在gpu设备上进行并行运算。在神经网络搭建过程中，申请cpu内存的有数据类和网络类，具体为图像数据、标签数据、批量大小、权值、节点和网络层各权值的梯度。申请gpu内存的还有辅助变量p,q，权值估计误差变量w和权值θ。通过对图像数据的读取，以及cpu内存和gpu内存的互相访问，实现神经网络权值的自适应更新。
[0078]
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的
新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。