一种神经网络参数的存储方法及装置与流程

本申请涉及人工智能技术，主要涉及一种神经网络参数的存储方法，同时涉及一种神经网络参数的存储装置。
背景技术：
：在输变配电设备缺陷识别中，通过输电线路无人机、基建现场机动式布控球、检修人员移动作业终端、变电站巡检机器人、固定式双目摄像头等巡检装备获取设备运行过程中的可见光、红外光等多谱段光谱图像，通过人工智能深度学习算法对图像进行实时处理，可以有效地发现设备异常运行状态、外观缺陷，以及潜伏性故障。深度学习，是人工智能领域的重要分支，让计算机拥有不需要明确编程即可学习的能力。这意味着创建一个程序，这个程序可以被训练去学习如何去做一些智能的行为，然后这个程序就可以自己完成任务。高效的机器学习算法的优点是显而易见的。一个机器学习算法，只需通过训练，就可以解决某一领域中每一个新问题，而不是对每个新问题特定地进行编程。一个计算模型，要划分为神经网络，通常需要大量彼此连接的节点(也称‘神经元’，)，并且具备两个特性：每个神经元，通过某种特定的输出函数(也叫激励函数activationfunction)，计算处理来自其它相邻神经元的加权输入值。神经元之间的信息传递的强度，用所谓加权值来定义，算法会不断自我学习，调整这个加权值。经典的神经网络模型，占用内存数目需要几百mb。在芯片设计中，深度神经网络参数的存储需要占据大量的空间以及读取时间，需要根据神经网络参数的特点，减少参数的存储空间与读取时间，加快神经网络的计算速度，降低算法对于芯片的资源要求。技术实现要素：本申请提供一种神经网络参数的存储方法，解决现有技术对芯片的资源消耗过大的问题。本申请提供一种神经网络参数的存储方法，包括：优化神经网络的网络规模；将神经网络的参数采用缓存差值进行存储，提高神经网络的处理效率。优选的，所述优化神经网络的网络规模，包括：去除神经网络参数中的权重值小于预先设置的权重阈值的权重；剩余的参数作为神经网络的有效参数。优选的，将神经网络的参数采用缓存差值进行存储，具体的包括：在内存中增加一个前后两个系统之间的差值，用于存储神经网络的有效参数。优选的，所述差值，与缓存的连接读写长度有关；当存储的神经网络的有效参数个数超过缓存的连接读写长度时，所述差值从初始值开始。本申请同时提供一种神经网络参数的存储装置，其特征在于，包括：优化单元，用于优化神经网络的网络规模；存储单元，用于将神经网络的参数采用缓存差值进行存储，提高神经网络的参数的处理效率。优选的，所述优化单元，包括：去除子单元，用于去除神经网络参数中的权重值小于预先设置的权重阈值的权重；有效参数确定子单元，用于剩余的参数作为神经网络的有效参数。优选的，所述存储单元，包括：有效参数存储子单元，用于在内存中增加一个前后两个系统之间的差值，用于存储神经网络的有效参数。本申请提供一种神经网络参数的存储方法，通过优化神经网络的网络规模，将神经网络的参数采用缓存差值进行存储，解决现有技术对芯片的资源消耗过大的问题，提高神经网络的处理效率。附图说明图1是本申请提供的一种神经网络参数的存储方法的流程示意图；图2是本申请涉及的人工神经网络神经元结构示意图；图3是本申请涉及的神经网络轻量化示意图；图4是本申请涉及的神经网络数据筛选示意图；图5是本申请涉及诉的神经网络的参数存储方式示意图；图6是本申请提供的一种神经网络参数的存储装置示意图。具体实施方式在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。图1为提供的一种神经网络参数的存储方法的流程示意图，下面结合图1对本申请实施例提供的方法进行详细说明。步骤s101，优化神经网络的网络规模。一个计算模型，要划分为神经网络，通常需要大量彼此连接的节点(也称‘神经元’，如图2所示)，并且具备两个特性：每个神经元，通过某种特定的输出函数(也叫激励函数activationfunction)，计算处理来自其它相邻神经元的加权输入值。神经元之间的信息传递的强度，用所谓加权值来定义，算法会不断自我学习，调整这个加权值。在此基础上，神经网络的计算模型，依靠大量的数据来训练。图2中，a1,a2,…an为前一层输出的特征，w1,w2,…wn为特征权重，b为偏移，特征向量与权重向量做内积后经过非线性函数产生输出。alexnetvgg16inception-v3模型内存(mb)＞200＞50090-100参数(百万)6013823.2计算量(百万)720153005000经典的神经网络模型，占用内存数目需要几百mb。如上表所示，在芯片设计中，深度神经网络参数的存储需要占据大量的空间以及读取时间，需要根据神经网络参数的特点，减少参数的存储空间与读取时间，加快神经网络的计算速度。在深度神经网络中，产生的某些网络模型的权重系数尽管很多，但部分参数占比很小，在不损失精度的情况下，可以进行剪枝工作，优化网络规模，如图3所示，去除神经网络参数中的权重值小于预先设置的权重阈值的权重，剩余的参数作为神经网络的有效参数。步骤s102，将神经网络的参数采用缓存差值进行存储，提高神经网络的处理效率。图4是数据与权重的对象关系，传统的处理方式是顺序存储，依次读取。可以看出，如果采用寄存器进行数据存储，当网络参数达到几百万个的时候，采用寄存器存储会占用很大的面积，且对芯片时序影响过大，需要考虑新的存储方案，降低芯片的面积与功耗。在网络参数的存储中，改为图5的buf(缓冲)存储，在内存中增加一个前后两个系统之间的差值diff_buf，用于存储神经网络的有效参数。差值(diff_buf)，与缓存的连接读写长度(burst_length)有关；当存储的神经网络的有效参数个数超过缓存的连接读写长度(burst_length)时，所述差值从初始值开始。基于同一发明构思，本申请同时提代一种神经网络参数的存储装置600，如图6所示，包括：优化单元610，用于优化神经网络的网络规模；存储单元620，用于将神经网络的参数采用缓存差值进行存储，提高神经网络的参数的处理效率。所述优化单元，包括：去除子单元，用于去除神经网络参数中的权重值小于预先设置的权重阈值的权重；有效参数确定子单元，用于剩余的参数作为神经网络的有效参数。所述存储单元，包括：有效参数存储子单元，用于在内存中增加一个前后两个系统之间的差值，用于存储神经网络的有效参数。本申请提供一种神经网络参数的存储方法，通过优化神经网络的网络规模，将神经网络的参数采用缓存差值进行存储，解决现有技术对芯片的资源消耗过大的问题，提高神经网络的处理效率。最后应该说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替，其均应涵盖在本发明的权利要求范围当中。当前第1页12