卷积神经网络优化方法、系统、设备及介质与流程

文档序号:15020764发布日期:2018-07-25 00:39阅读:来源:国知局

技术特征:

1.一种卷积神经网络优化方法,其特征在于,所述方法包括:

统计卷积神经网络的卷积层中各神经元对不同输入的响应输出值分布,并根据所述响应输出值分布确定每个所述神经元对应的激活阈值;

根据所述激活阈值,统计确定每个所述神经元被通用图像集激活的第一激活次数,以及被特定图像集激活的第二激活次数;

根据所述第一激活次数和所述第二激活次数,确定每个所述神经元对应的相关系数和识别系数;

根据所有所述神经元对应的相关系数和识别系数,以及根据识别目标的特定类型,筛选关键神经元;

保留所述关键神经元,且保留对应于所述关键神经元且满足预设规则的前置神经元,并删除其余神经元;

删除所述卷积层后的所有其它运算层,并按照设定规则构建新识别层,实现建立针对具体识别目标的新卷积神经网络。

2.根据权利要求1所述的卷积神经网络优化方法,其特征在于,所述统计卷积神经网络的卷积层中各神经元对不同输入的响应输出值分布,并根据所述响应输出值分布确定每个所述神经元对应的激活阈值,包括:

将通用图像集和特定图像集中的所有图像依次输入卷积神经网络,并记录每个所述神经元对应每一个图像的响应输出值;

统计每个所述神经元的响应输出值分布;

将响应输出值分布里,互补累积分布函数值等于第一阈值的响应输出值确定为对应神经元的激活阈值。

3.根据权利要求1所述的卷积神经网络优化方法,其特征在于,所述根据所述激活阈值,统计确定每个所述神经元被通用图像集激活的第一激活次数,以及被特定图像集激活的第二激活次数,包括:

选取所述通用图像集中的任一图像输入卷积神经网络,并获取所述卷积层中每个所述神经元对应输出的特征图,且对于任一神经元,在所述神经元对应的特征图中有至少一个像素的值大于激活阈值时,所述神经元的第一激活次数加1;

重复上述步骤,直至所述通用图像集的所有图像被选取完;

选取所述特定图像集中的任一图像输入卷积神经网络,并获取所述卷积层中每个所述神经元对应输出的特征图,且对于任一神经元,在所述神经元对应的特征图中有至少一个像素的值大于激活阈值时,所述神经元的第二激活次数加1;

重复上述步骤,直至所述特定图像集的所有图像被选取完;

输出每个所述神经元对应的第一激活次数和第二激活次数。

4.根据权利要求1所述的卷积神经网络优化方法,其特征在于,每个所述神经元对应的相关系数和识别系数的计算公式为:

其中,C为相关系数,D为识别系数,A为第一激活次数,B为第二激活次数,M为通用图像集中的图像个数;N为特定图像集中的图像个数。

5.根据权利要求1所述的卷积神经网络优化方法,其特征在于,所述根据所有所述神经元对应的相关系数和识别系数,以及根据识别目标的特定类型,筛选关键神经元,包括:

筛除识别系数小于第二阈值的神经元,并将剩下的神经元按相关系数值降序排序;

从所述特定图像集中任选设定数量的图像,且针对任一图像,计算排序第一的神经元对应所选定的图像的输出特征图,将特征图中小于激活阈值的像素置零,并使用八邻域最大值抑制算法将非最大值像素置零,在处理后的特征图中非零像素位置有半数以上在特定目标上时,将所述神经元判定为关键神经元;

按神经元排布顺序,逐个对神经元进行关键性判断,直至关键神经元的数量达到第三阈值。

6.根据权利要求1所述的卷积神经网络优化方法,其特征在于,所述保留所述关键神经元,且保留对应于所述关键神经元且满足预设规则的前置神经元,并删除其余神经元,包括:

判断卷积层最后一层的每个所述神经元是否为关键神经元,并将关键神经元保留,非关键神经元删除;

获取最后一层保留的神经元对倒数第二层的所有神经元的卷积权重,将权重绝对值小于权重阈值且不属于关键神经元的神经元删除;

重复上一步骤,依次从后向前进行神经元删除,直至对卷积层的所有层完成压缩。

7.根据权利要求1所述的卷积神经网络优化方法,其特征在于,所述删除所述卷积层后的所有其它运算层,并按照设定规则构建新识别层,实现建立针对具体识别目标的新卷积神经网络,包括:

删除卷积神经网络中卷积层之后的运算层,且删除所有平行于卷积层的结构;

计算每个关键神经元对应的特征图的最大值,并根据所有最大值的集合,构建新识别层的输入;

采用包含通用图像集和特定图像集的所有图像作为训练数据,采用支持向量机算法作为训练算法,确定新识别层对应的参数和判定阈值;

根据新识别层的输入、新识别层对应的层数和判定阈值,构建与新卷积层相连的新识别层,实现建立针对具体识别目标的新卷积神经网络。

8.一种卷积神经网络优化系统,其特征在于,所述系统包括:

第一确定单元,用于统计卷积神经网络的卷积层中各神经元对不同输入的响应输出值分布,并根据所述响应输出值分布确定每个所述神经元对应的激活阈值;

第二确定单元,用于根据所述激活阈值,统计确定每个所述神经元被通用图像集激活的第一激活次数,以及被特定图像集激活的第二激活次数;

第三确定单元,用于根据所述第一激活次数和所述第二激活次数,确定每个所述神经元对应的相关系数和识别系数;

第一筛选单元,用于根据所有所述神经元对应的相关系数和识别系数,以及根据识别目标的特定类型,筛选关键神经元;

第二筛选单元,用于保留所述关键神经元,且保留对应于所述关键神经元且满足预设规则的前置神经元,并删除其余神经元;

第三筛选单元,用于删除所述卷积层后的所有其它运算层,并按照设定规则构建新识别层,实现建立针对具体识别目标的新卷积神经网络。

9.一种计算机设备,其特征在于,包括:至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令,当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1