基于深度卷积神经网络的层内非均匀的K平均聚类定点量化方法与流程

文档序号:12734901阅读:来源:国知局

技术特征:

1.基于深度卷积神经网络的层内非均匀的K平均聚类定点量化方法,其特征在于,包括以下步骤:

步骤一,选取部分深度卷积神经网络的能够正确识别的图像,并提取识别过程中产生的特征映射;

步骤二,对卷积神经网络中的特征映射进行层间非规则量化,在保持模型精度情况下,确定每一层卷积网络的最大量化位数;

步骤三,对于模型中的每一卷积层,利用K平均聚类算法(K Means Clustering)确定满足特征映射分布的定点值,并使定点值的范围在最大量化位数能表示的范围内,用定点值代表特征映射中的值,并以索引的形式进行保存;

步骤四,利用神经网络模型微调方法(Fine Tuning Method)对模型进行微调,消除量化带来的误差。

2.所述步骤一包括以下步骤:

步骤(11),对已有深度卷积神经网络模型进行前向测试,并选取其中能够正确识别的图像;

步骤(12),提取选取图像在计算过程中产生的特征映射;

所述步骤二包括以下步骤:

步骤(21),在满足精度的前提下,对深度卷积神经网络所有卷积层进行统一量化位数的规则量化。

步骤(22),在不大于规则量化所确定的量化位数的前提下,通过层间非规则量化确定每一层卷积神经网络所满足的最大量化位数。

3.所述步骤三包括以下步骤:

步骤(31),确定最大能容忍的精度损失;

步骤(32),将0和每层卷积层的最大量化位数能达到的最大值分别设为定点值的区间的起点和终点;

步骤(33),利用K平均聚类方法对提取的特征映射进行聚类,将定点值设为将聚类中心点,并确保定点值的数量小于最大量化位数可以表示的数量;

步骤(34),将选取的定点值用对应的索引值来表示;

步骤(35),按向下取值的原则,将特征映射中的所有值分别替换为离其最近并小于自己的定点值并保证在小于能同人的最大精度损失的情况下尽可能减小定点值的数量;

步骤(36),存储时采用定点值对应的索引进行存储。

4.所述步骤四包括以下步骤:

步骤(41),在满足定点约束的条件下,对模型进行再训练,消除误差。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1