到测试用的训练好的ELM模型； 测试阶段同样首先提取出测试用交通标志的H0G特征，然后PCA降维得到测试样本特征矩 阵Z，最后用Z作为训练好的ELM模型的输入进而对测试图片进行识别。
[0043] 本发明中PCA的贡献率阈值选为0.99,即保留了 99%以上的H0G特征，PCA-ELM算 法降维前H0G特征为1764维，使用PCA降维后为441维，这样就大大减小了训练计算复杂 度，同时也提高了识别率。
[0044] 实验中所用的ELM模型是南洋理工大学的黄广斌教授最近提出的，其原理图如 图2所示。ELM算法是一种基于单隐层前向反馈神经网络（SingleHiddenLayerFeed ForwardNeuralNetworks，SLFNs)的监督型学习算法。假如输入为N个不同的训练样本 (Xp1:山i= 1，2,…，N，其中Xi=(xn,xi2，…，xin)TGRn为第i个样本的特征向量，ti= (tn，ti2,...，tim)TeRm为第i个样本的期望输出目标向量，n和m分别为输入和输出神经 元的个数。数学上，标准的SLFNs模型为
[0045]
⑴
[0046]其中力=(wn,wi2,. ..，win)T为第i个隐藏层神经元与输入神经元之间的权重向 量，13i= (0n,13i2, . . .，13im)T为第i个隐藏神经元与输出神经元之间的权重向量，w^Xj 为&和x」的内积，b凍i个隐藏神经元的阈值。激活方程可以有多种形式，本发明中选用 的是sigmoidal(S函数）函数
[0047] (2)
[0048] 标准的SLFNs模型能够做到零误差的逼近上述N个样本，即
[0049]
[0050]
[0051]
[0052] 上式可进一步简化为
[0053] H0 =T. (5)
[0054] 其中H为隐藏层神经元的输出矩阵，0为隐藏层与输出神经元之间的输出权重，T 为期望输出矩阵，如式（6)和（7)所示
[0055]
[0056] L* h」LXm V 1 /
[0057] 其中当w和0确定以后，H也就相应的确定了，因此训练SLFNs就转换成了求解 一个线性系统Hf3 =T，最终，最小范数二乘解0由下式确定
[0058]
[0059] 其中#为H的Moore-Penrose广义逆矩阵。训练后，可以计算出输入权重w和输 出权重0以及隐藏层神经元阈值匕，由此可以计算出H和目标输出向量〇1
[0060] 〇i=(on, . . . ,oim) (9)
[0061] 在ELM模型训练中，输出神经元的个数与交通标志的类别数一致，假定交通标志 共有m类，且第i个训练样本Xi属于第k类，则输出向量〇 ,是一个二进制目标向量，其中第 k个元素为1，其它的为0。然后，测试样本的类别可以通过对〇i取最大值得到，如果〇 ^勺 第k个元素为1，则说明测试样本属于第k类。
[0062] 对于PCA-ELM算法来说，隐元个数L是影响计算复杂度和分类识别率的一个非常 重要的参数。由ELM理论可知，当L等于N时，SLFNs模型能够零误差的逼近N个训练样本， 由于训练和测试样本的数目特别大，理论上隐元个数L应该逐渐增大以获得更小的估计误 差。从图3中可看出，随着隐元个数L的递增，分类识别率显著增加，当L大于7000时识别 率增加缓慢，当L为8000时甚至有一定程度的下降；由图4可知，随着L的增加，计算复杂 度也随着大大增加，特别是L大于7000时增加显著，例如当L从7000到9000时计算时间 几乎增加了一倍。综合考虑到识别率和计算时间，实验中我们选取L为7000,此时对12630 张测试用交通标志的总识别率能达到97. 69%，识别总时间为2. 016s，即对于一张交通标 志来说识别平均耗时0. 16毫秒，可以满足交通标志的实时识别需求。
[0063] 本发明中引入了PCA降维，为了与直接用提取出的H0G特征进行训练、识别的 ELM算法的性能进行对比，我们做了相关实验。图5中所示为在不同的L值下，ELM算法和PCA-ELM算法各自的分类识别率，可以看出PCA-ELM算法的识别率明显高于ELM，平均提升 了两个百分点左右。从图6可看出，PCA-ELM算法比ELM算法所用的计算时间略少，这是因 为计算复杂度主要是由训练、测试样本集中样本的个数决定的。综上可知，引入PCA降维方 案，不仅在一定程度上减少了计算复杂度而且显著提升了识别率。
[0064] GTSRB数据库可以进一步细分为六种类型，如图7所示。为了使试验更具针对 性，本发明又对GTSRB中的速度类、禁令类、危险类等不同种类的交通标志进行了分组试 验，试验的结果用来与现有的一些优良算法进行比较，比较结果如表1中所示，表中列出了 一些在IJCNN2011竞赛中表现优异的算法及其识别率，表格的最后一行是我们提出的用 PCA-ELM算法得到的识别率。
[0065] 表1PCA-ELM算法与其它优异算法分类识别率比较 「mfifil
[0067] 从表中可以看出，识别率达到99. 46%和98. 31%的两种CNNs算法比我们提出的 PCA-ELM算法得到的识别率高，但是对于CNNs，训练过程中需要设置很多的参数，如下采样 层的个数、卷积核函数的个数、下采样的频率等等，过多的设置参数使得计算复杂度很高。 而PCA-ELM算法只需要设置一个隐元个数L，在获得低计算复杂度的同时还可以得到一个 很高的识别率。综上，各种识别算法都有其优点和缺点，同时考虑到计算复杂度和识别率， 我们提出的PCA-ELM算法可以与现如今的一些优良算法相媲美。
[0068] 下面结合具体实例进一步详细说明本发明。
[0069] 首先，在训练阶段，提取出交通标志训练样本集中每一张交通标志的H0G特征，然 后使用PCA方法对提取出的H0G特征进行降维，降维后的特征X与样本的期望识别输出Y组成训练用特征[Y，X]，然后把[Y，X]作为ELM模型的输入进行训练，得到测试用的训练好 的ELM模型；测试阶段同样首先提取出测试用交通标志的H0G特征，然后PCA降维得到测试 样本特征矩阵Z，最后用Z作为训练好的ELM模型的输入进而对测试图片进行识别。
[0070] 在实际应用中，为了得到最佳识别效果，对本发明算法中涉及的参数进行如下设 置：PCA的贡献率阈值选为0. 99,即保留了 99%以上的H0G特征，使H0G特征由1764维降 到441维；综合考虑到识别率和计算时间，实验中我们选取隐元个数L为7000。
【主权项】
1. 一种基于极限学习机的交通标志识别方法，其特征是，采用德国交通标志数据 库（GermanTrafficSignRecognitionBenchmark，GTSRB)作为数据源；训练阶段首先 提取出GTSRB中训练样本集中每一张交通标志的基于梯度方向直方图（Histogramsof OrientedGradients，HOG)特征，然后使用基于主成分分析PCA方法对提取出的HOG特征 进行降维，降维后的特征X与样本的期望识别输出Y组成训练用特征[Y，X]，然后把[Y，X] 作为极限学习机（ExtremeLearningMachine，ELM)模型的输入进行训练，得到测试用的训 练好的ELM模型；测试阶段同样首先提取出测试用交通标志的HOG特征，然后PCA降维得到 测试样本特征矩阵Z，最后用Z作为训练好的ELM模型的输入进而对测试图片进行识别。2. 如权利要求1所述的基于极限学习机的交通标志识别方法，其特征是，PCA的贡献率 阈值选为〇. 99,即保留了 99%以上的HOG特征，PCA-ELM算法降维前HOG特征为1764维， 使用PCA降维后为441维。3. 如权利要求1所述的基于极限学习机的交通标志识别方法，其特征是，所用的 ELM模型是一种基于单隐层前向反馈神经网络（SingleHiddenLayerFeedForward NeuralNetworks，SLFNs)的监督型学习算法，假如输入为N个不同的训练样本（Xpt^i =1，2, . . .，N，其中Xi=(xn,xi2,…，xin)TGRn为第i个样本的特征向量，ti= (tn，ti2,...，tim)TeRm为第i个样本的期望输出目标向量，n和m分别为输入和输出神经 元的个数；标准的SLFNs模型为：其中Wi= (wn，wi2, . . .，win)T为第i个隐藏层神经元与输入神经元之间的权重向量，|3 i=(0ii，0i2, . . .，0im)T为第i个隐藏神经元与输出神经元之间的权重向量，wi*Xj为w 1和 Xj的内积，b篇i个隐藏神经元的阈值；选用sigmoidal函数激活方程：标准的SLFNs模型能够做到零误差的逼近上述N个样本，即上式可进一步简化为 H0 =T. (5) 其中H为隐藏层神经元的输出矩阵，0为隐藏层与输出神经元之间的输出权重，T为期 望输出矩阵，如式（6)和（7)所示其中当W和0确定以后，H也就相应的确定了，因此训练SLFNs就转换成了求解一个 线性系统H0 =T，最终，最小范数二乘解0由下式确定其中#为H的Moore-Penrose(彭罗斯穆尔）广义逆矩阵；训练后，计算出输入权重w和输出权重0以及隐藏层神经元阈值匕，由此计算出H和目标输出向量〇1 °i = (° il) ? ? ? ) °im) (9) 在ELM模型训练中，输出神经元的个数与交通标志的类别数一致，假定交通标志共有m类，且第i个训练样本Xi属于第k类，则输出向量〇 1是一个二进制目标向量，其中第k个元 素为1，其它的为0。然后，测试样本的类别可以通过对〇i取最大值得到，如果〇i的第k个 元素为1，则说明测试样本属于第k类。4.如权利要求1所述的基于极限学习机的交通标志识别方法，其特征是，PCA-ELM算法 中，隐元个数L选取为7000。
【专利摘要】本发明涉及图像处理，机器学习，计算机视觉技术领域。为提供一种使用简便的基于极限学习机的交通标志识别方法，能在很大程度上减少计算复杂度，还能获得较高识别率。为此，本发明采取的技术方案是，基于极限学习机的交通标志识别方法，采用德国交通标志数据库作为数据源；训练阶段首先提取出GTSRB中训练样本集中每一张交通标志的基于梯度方向直方图特征，然后使用基于主成分分析PCA方法对提取出的HOG特征进行降维，然后学习机训练，得到测试用的训练好的ELM模型；最后用PCA降维得到测试样本特征矩阵Z作为训练好的ELM模型的输入进而对测试图片进行识别。本发明主要应用于交通标志识别。
【IPC分类】G06K9/62, G06N3/08, G06K9/00
【公开号】CN104992165
【申请号】CN201510443087
【发明人】徐岩, 王权威, 韦镇余, 马硕
【申请人】天津大学
【公开日】2015年10月21日
【申请日】2015年7月24日