一种基于OLQR算法训练的极限学习机图像分类方法

本发明属于计算机视觉的图像分类，具体涉及一种基于olqr算法训练的极限学习机图像分类方法。

背景技术：

1、图像识别与分类是计算机视觉研究领域的重点以及热点问题，图像识别与分类在各个行业领域当中都有着广泛的应用，例如在医疗领域辅助进行疾病诊断，包括但不限于肿瘤检测、病变分析；在交通领域用于车牌识别、交通标志识别，以及安防领域进行人脸识别和行为分析等，总的来说，图像识别与分类技术的发展为许多领域带来了巨大的变革和机遇。随着算法和模型的不断进步，图像识别与分类将在更多领域发挥重要作用，为人们的生活带来更多的便利和创新。

2、图像识别与分类技术的核心是深度学习和神经网络。通过构建深度神经网络模型，利用大量的标注数据进行训练，可以使计算机具备从图像中提取特征、学习模式并做出准确预测的能力。常用的图像识别与分类算法包括卷积神经网络(cnn)、循环神经网络(rnn)等，但是，神经网络的训练过程使用误差反向传播算法，利用梯度下降的原理将模型的输出与实际标注之间的误差通过多轮迭代的学习不断缩小，从而完成模型的训练。而随着神经网络模型的网络层数的不断增加，需要调整的参数也呈现指数型增长的趋势，导致模型的参数训练不仅费时费力，而且也为研究者的模型验证调试过程带来了巨大困难，因为一旦对模型的设计做出改动，哪怕是极其微小的变化，也要通过长时间的训练才能看到最终的效果，无法做到立竿见影。为此，有部分学者考虑在深度学习的模型结构和训练方式层面做出改进，以解决当前所面临环境的困窘。

3、极限学习机(extreme learning machine，elm)就是其中一种解决方案，极限学习机是一种单隐藏层的前馈神经网络算法，由于其结构简单、训练时随机生成隐含层节点的权重和偏差以及通过求解线性方程组的最小二范数解来确定输出权重的特点，elm算法相较于许多传统的机器学习算法不仅可以获得成百上千倍的训练速度提升，而且可以在保证较高的学习准确率的基础上获得良好的泛化性能，被越来越多的应用于图像识别与分类领域。

4、然而，由于elm的训练过程需要已知全部训练数据，在实际应用过程中，训练数据集是逐步获取的，当训练数据集发生变更时，elm只能重新进行训练，这一方式极大地限制了降低了elm的效率，增加了资源消耗。为此，需要考虑使用在线学习的方法对模型的训练过程进行改进，在线学习是一种高效的模型训练机制，可以让模型摆脱训练时需要已知全部数据的限制，通过一个一个或者一批一批的方式将样本数据导入模型进行训练，当模型训练完成之后又产生了新的数据时，仅需根据当前数据对模型进行更新而不需要重新训练。

技术实现思路

1、有鉴于此，本发明提供了一种基于olqr算法训练的极限学习机图像分类方法，能够在现有elm的图像分类方法的基础上实现收敛速度更快、训练时间更少、泛化性能更强的图像分类。

2、本发明提供的一种基于olqr算法训练的极限学习机图像分类方法，具体包括以下步骤：

3、步骤1、采集图像数据并标注类别得到训练集和测试集，标准化处理图像的特征向量，样本集为{(xi,yi),i＝1,2,...,n}，其中，x为图像的特征向量，y为图像的标签，n为样本的总数量；

4、步骤2、采用在线二次规划控制器算法将极限学习机模型的权重训练过程转换为在线学习任务，建立基于在线二次规划控制器算法的在线学习极限学习机图像识别模型，如下式所示：

5、

6、其中，wi为连接第i个隐藏层节点与输入层节点的输入权重向量，βi为连接第i个隐藏层节点与输出层节点的输出权重矩阵，bi为第i个隐藏层节点的偏置，g(w,x,b)为激活函数，oj为输出矩阵，l为隐含层节点的个数；wi及bi均为随机生成；

7、步骤3、采用步骤1生成的训练集，使用在线二次规划控制器算法完成基于在olqr算法的在线学习极限学习机图像识别模型的训练；

8、步骤4、实际使用过程中，将待分类图像进行步骤1相同的标准化处理后，输入采用步骤3训练得到的基于olqr算法的在线学习极限学习机图像识别模型进行运算推理，得到待分类图像的类别输出完成图像分类。

9、进一步地，所述激活函数g(w,x,b)为sigmoid函数g(x)＝1/(1+e-x)。

10、进一步地，所述步骤3中所述使用在线二次规划控制器算法完成基于在olqr算法的在线学习极限学习机图像识别模型的训练，包括：

11、步骤3.1、采用在线二次规划控制器算法构建在线学习框架计算极限学习机的隐含层输出矩阵h，设计目标函数为：

12、

13、s.t.e＝hβ-y

14、其中，etqe用于衡量误差大小，γβtrβ用于惩罚权重向量，γ为平衡系数，q和r均为加权控制矩阵；

15、步骤3.2、初始化基于在线二次规划控制器算法的在线学习极限学习机图像识别模型，设置模型参数：平衡系数γ、每次导入模型的训练数据个数m及模型隐含层节点个数l，设定权重矩阵的初始值β0＝0，随机生成隐含层的权重wi和偏置bi，确定激活函数；

16、步骤3.3、导入m个训练的样本{(xi,yi),i＝t,2,...,m+t}作为本轮训练数据集，t为小于(n-m)的随机数，将本轮训练数据集输入基于在线二次规划控制器算法的在线学习极限学习机图像识别模型，采用计算得到隐含层输出矩阵h，将隐含层输出矩阵h作为在线二次规划控制器算法的输入矩阵x′，再采用线性回归模型拟合数据流将极限学习机的训练过程转换为在线学习任务：

17、yi＝(x′i)tβn*+εi

18、其中，d为样本特征的维度，εi为第i个训练数据样本中的噪声；

19、步骤3.4、以输入矩阵x′为输入采用在线二次规划控制器算法计算得到输出层权重系数β，完成基于在线二次规划控制器算法的在线学习极限学习机图像识别模型的训练。

20、进一步地，所述q和r均为单位阵。

21、进一步地，所述在线二次规划控制器算法中采用奇异值分解算法对矩阵g＝bbt进行特征值分解完成输出层权重系数β的求解，其中，b为某时刻的输入矩阵，g为某时刻输入矩阵及其转置的乘积，具体过程包括：

22、步骤5.1、设定循环变量r初始值为m；

23、步骤5.2、获取当前输入矩阵br＝[xr-m … xr]t及输出矩阵yr＝[yr-m … yr]t；

24、步骤5.3、计算

25、步骤5.4、使用奇异值分解计算得到vr和

26、步骤5.5、采用和计算得到pr；

27、步骤5.6、根据计算得到fr；

28、步骤5.7、计算当前误差er＝brβr-yr；

29、步骤5.8、更新βr+1＝βr+frer及r＝r+m；

30、步骤5.9、若r＞n，退出循环，完成输出层权重系数β的计算；若r≤n，则令r自加m执行步骤5.1；完成上述计算即可得到输出层权重系数β。

31、进一步地，所述步骤3中所述使用在线二次规划控制器算法完成基于在olqr算法的在线学习极限学习机图像识别模型的训练，包括：

32、步骤6.1、设定循环变量r＝m；

33、步骤6.2、计算br＝[hr-m … hr]t，其中

34、步骤6.3、计算yr＝[yr-m … yr]t及

35、步骤6.4、利用特征值分解计算得到vr、及pr；

36、步骤6.5、计算及er＝brβr-yr；

37、步骤6.6、更新βr+1＝βr+frer；

38、步骤6.7、令r＝r+m，若训练数据已遍历完全则跳出循环并输出权重矩阵βr+1作为输出权重矩阵β，否则执行步骤6.2。

39、有益效果：

40、本发明通过将最优控制的思想与机器学习模型训练有机结合，在保留极限学习机强大的特征提取能力的同时，使用olqr算法将elm输出权重的求解转换为一系列控制系统的状态反馈控制问题，充分利用最优控制技术的快速稳定的特性使得elm训练误差快速衰减，除此之外，通过在二次型目标函数中添加模型权重正则项，保证模型精度的同时有效抑制过拟合。与标准极限学习机相比，olqr算法通过最优控制使得每一步的迭代过程都是最优的，很大程度上缩短了elm的收敛过程，从而在训练速度上获得有效提升，进一步地，正则化技术的应用使得模型泛化性能提升的同时抑制了模型过拟合。这为机器学习算法以及图像分类的改进优化提供了新思路。