灰色关联分析法确定卷积神经网络隐层特征图个数的方法_3

文档序号:9766230阅读:来源:国知局
的个数越少,则训练批次越多,实验识别 率越高,相应时间越长;批量样本数的个数越多,则训练批次越少,实验识别率越低,相应时 间越短。结合识别率识别效率来选择批量样本数。
[0079] 4)迭代次数的设定:迭代次数是对整体训练图像样本的训练次数。训练的结束取 决于迭代次数的多少。
[0080] 迭代次数越少,识别率越低,相应需要的时间越短;迭代次数越多,识别率越高,相 应需要的时间越长,根据实验,当错误率曲线进入收敛区时,选择刚进入收敛区的迭代次数 作为未来实验的实验标准。
[0081] 5)隐层特征图个数:是隐层中卷积层和子采样层中包含的特征图个数。设置合适 的隐层特征图个数比选择合适的网络层数更适合提高效率,其训练过程更容易调整和改 进。
[0082] (3)训练卷积神经网络:
[0083] 1)正向传播:输入样本从输入层传入,经卷积核滤波器、Sigmoid函数和可加偏置 后产生Cl层特征映射图,该特征映射图中每组四个像素取平均值得到S2层特征映射图,运 些特征映射图再经过一次卷积和子采样得到C3层和S4层,最终将S4层的像素 W全连接的方 式传向输出层。若输出层的实际输出与期望的输出(标签)不符,则将得到的误差转入反向 传播阶段。
[0084] 2)反向传播:将输出误差通过反向隐藏层向输入层反向传播得到每层的误差,利 用每层误差和实际输出得到权值和偏置变化量,即该误差信号作为修改各单元权值的依 据。
[0085] 3)权值更新:利用误差反向传播所得到的权值和偏置变化量求得新的权值和偏 置,重新回到正向传播,再次得到输出,与期望输出相减再次得到误差,循环往复直到网络 达到一定精度或规定的训练时间为止。
[0086] (4)灰色关联分析法优化卷积神经网络隐层特征图个数:
[0087] 假设卷积神经网络除去输入层和输出层共有n层网络结构(C1,S2,C3,S4……Cn-1 ,Sn),子采样层的特征图个数与上一卷积层的特征图个数相等,所W想要确定隐层特征图 个数只需要确定卷积层特征图个数(或者子采样特征图个数)即可,W下W确定Sn层和Sn-I 特征图个数为例。
[0088] (5)利用最优的网络结构训练卷积神经网络,并对灰色关联分析法进行鲁棒性测 试。将交通标志数据库分为训练数据库和测试数据库。先用训练数据库对程序做仿真训练, 经过周而复始地正向传播,误差反向传播和权值更新过程直到得到最优的权值,得到代表 训练数据库的输出;再用测试数据库做测试,经过前向传播过程得到最终输出,输出最大值 即可确定类别。在交通标志数据库中,使用灰色关联分析法确定后的网络结构进行训练,错 误率为5.3%。
[0089] 步骤(4)中特征图个数的确定步骤如下:
[0090] 求Sn层与整个网络输出之间关联度排序:
[0091] 1)求关联系数
[0092] 首先利用灰色关联分析法计算出Sn层每个特征图的输出与整个网络输出之间的 关联系数;
[0093]设共有N个输入图像样本,整个网络的输出y=(yi,y2,…,yN)为参考序列,每个特 征图的输出ti=(ti(l),ti(2),…,ti(N))(i = l,2,…,nn)为比较序列,参考序列与比较序列 之间的关联系数公式如下:
(' 1)
[0095] 其中P为分辨系数,一般在0~1之间,通常取0.5;
[0096] 2)关联度计算
[0097] 由于关联系数是比较序列和参考序列在不同样本下的关联程度值,所W共有N个, 为了便于观察比较,将所有样本的关联系数集中为一个值,即关联度。可W通过求平均值的 方式计算。关联度公式如下:
(2)
[0099] 若输出为多个神经元时,要取得上一层特征图对输出每个神经元影响最大的特征 图,所W要求出上一层特征图对输出每个神经元关联度的均值;
[0100] 3)关联度排序
[0101] 对上一步取得的关联度从大到小排序,即得到灰关联度排序,而关联度排在尾部 的特征图对网络输出影响较小,可W认为该特征图是可W忽略的,此时给定一个e,此处的 阔值自定义,将不满足阔值的特征图删除再进行实验,直到后续实验的全部关联度满足阔 值则停止实验,范围在0~1之间。W此方法达到优化网络隐层特征图数、提高网络性能的效 果。
[0102] 求Sn-I层与化层之间之间关联度排序:
[0103] 1)求关联系数
[0104] 计算Sn-I层与化层之间的关联系数,首先将Sn-I层与Cn层特征图矩阵和它们之间 的权值矩阵提取出来,做成数据库。Cn层的特征图矩阵y=(yi,y2,…,yN)为参考序列,Sn-I 层特征图矩阵经过权值矩阵的输出ti=(ti(l),ti(2),…,ti(N))(i = l,2,…,nn)为比较序 列,它们之间的关联系数利用公式(1)计算得出Sn-I层与化层之间的关联系数。
[0105] 2)关联度计算
[0106] 将上述关联系数通过求平均值的方式计算出关联度。关联度如公式(2)计算可得。
[0107] 若化层为多个神经元时,要取得上一层特征图对输出每个神经元影响最大的特征 图,所W要求出上一层特征图对输出每个神经元关联度的均值;
[0108] 3)关联度排序
[0109] 对上一步取得的关联度从大到小排序,即得到灰关联度排序,而关联度排在尾部 的特征图对网络输出影响较小,可W认为该特征图是可W忽略的,此时给定一个e,小于e 的特征图即可省略。W此方法达到优化网络隐层特征图数、提高网络性能的效果。
[0110] W此类推,求出前面几层的特征图个数,直到网络达到最优。
[0111] 下面通过具体的实施例,对本发明的技术方案作进一步具体的说明。
[0112] 实施例:参照文件I~文件3、表1~表5,一种利用灰色关联分析法确定卷积神经网 络隐层特征图个数的方法,步骤如下:
[0113] (1)下载标准德国神经计算研究所收集的交通标志图像,选择图像较多的10类,如 文件1所示。
[0114] (2)将文件1的彩色图像转化为灰度图像,将交通标志图像做直方图均衡化处理, 归一化为28巧8大小,建立交通标志的灰度图像数据库,如文件2所示。
[0115] (3)然后将所有图像二值化,建立交通标志的二值图像库,如文件3所示。
[0116] (4)设定卷积神经网络的网络结构层数及其他相关参数:卷积核大小为5*5;卷积 神经网络层数共6层(一个输入层,两个卷积层,两个子采样层,一个输出层);批量样本数设 定为40;迭代次数设定为50。
[0117] (5)训练卷积神经网络,作为灰色关联分析法的输入数据库。
[0118] (6)灰色关联分析法优化卷积神经网络隐层特征图个数:
[0119] 设卷积神经网络的初始结构:输入层含有一个图像,由于子采样层的特征图数与 卷积层相同,所WCl、S2层含有n 1个特征图(设n 1 = 10),C3、別层含有n2个特征图(设n2 = 30 ),输出层的结点数为10,因此网络的初始结构为1 -10-30-10。
[0120] 1)S4层与输出之间关联度计算
[0121] 计算关联度时选取的分辨系数P = O.5,初始结构为1-10-30-10。首先用设好初始 结构的CNN训练测试数据库,训练结束后把最后一组批量样本训练得出的数据置成数据库。 通过上述基本步骤得到第一次C3、S4层关联度排序,如表1所示。
[0123] 表1 C3、S4层第一次关联度
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1