本申请实施例涉及人工智能领域，特别涉及一种神经网络的激活方法、装置、npu、设备及存储介质。
背景技术：
：：1、随深度学习的发展，神经网络被广泛应用于各个领域，模型规模也向着更宽、更深的方向发展，为减少对计算资源和占用，拓宽神经网络的应用场景，相关技术通过量化在保留模型结构的同时，减小模型尺寸节省存储空间。2、为利用npu(neural-network processing units，神经网络处理器)完成神经网络计算，相关技术多采用lut表(look-up-table，查找表)简化计算过程，在利用自行优化的lut表进行激活计算时，相关技术中多需要对npu适应性重新编码，造成资源消耗。技术实现思路1、本申请实施例提供了一种神经网络的激活方法、装置、npu、设备及存储介质，实现了对量化计算模块的复用，在提高激活计算效果的同时，简化了改良过程。所述技术方案如下：2、一方面，本申请实施例提供了一种神经网络的激活方法，所述方法包括：3、从一级查找表中确定出输入值所属的目标一级区间，所述一级查找表中包含一级区间与区间参数之间的对应关系，所述一级区间通过对输入值范围进行划分得到，所述输入值为定点数，且所述输入值范围为定点数范围；4、基于所述目标一级区间的目标区间参数，从二级查找表中确定出所述输入值所属的目标二级区间的目标转换参数，所述目标二级区间属于所述目标一级区间，且各个所述一级区间被划分为至少一个二级区间，所述二级查找表中包含所述二级区间与转换参数之间的对应关系，所述转换参数由所述二级区间对应的激活函数的线性拟合的拟合参数转换得到；5、通过复用量化算法模块，基于所述目标转换参数和所述输入值，确定所述输入值对应的激活值，所述激活值为定点数，所述量化算法模块用于进行数据量化以及反量化处理。6、另一方面，本申请实施例提供了一种神经网络的激活装置，所述装置包括：7、第一查找表单元、第二查找表单元以及计算单元，所述计算单元分比与第一查找表单元和第二查找表单元相连：8、所述第一查找表单元，用于存储一级查找表，所述一级查找表中包含一级区间与区间参数之间的对应关系，所述一级区间通过对输入值范围进行划分得到，所述输入值为定点数，且所述输入值范围为定点数范围；9、所述第二查找表单元，用于存储第二查找表，所述二级查找表中包含所述二级区间与转换参数之间的对应关系，所述转换参数由所述二级区间对应的激活函数的线性拟合的拟合参数转换得到；10、所述计算单元，用于从一级查找表中确定出输入值所属的目标一级区间；基于所述目标一级区间的目标区间参数，从二级查找表中确定出所述输入值所属的目标二级区间的目标转换参数，所述目标二级区间属于所述目标一级区间；从所述二级查找表中获取所述目标二级区间对应的目标转换参数；通过复用量化算法模块，基于所述目标转换参数和所述输入值，确定所述输入值对应的激活值，所述激活值为定点数，所述量化算法模块用于进行数据量化以及反量化处理。11、另一方面，本申请实施例提供了一种npu，所述npu包括可编程逻辑电路和/或程序指令，当所述npu运行时用于实现如上述方面所述的神经网络的激活方法。12、另一方面，本申请实施例提供了一种npu，所述npu包括上述方面所述的神经网络的激活装置。13、另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如上述方面所述的神经网络的激活方法。14、另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如上述方面所述的神经网络的激活方法。15、另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面所述的神经网络的激活方法。16、本申请实施例中，计算机设备基于输入值确定目标一级区间，在目标一级区间中读取目标区间参数，并基于目标区间参数确定目标二级区间，进而确定目标二级区间中存储的目标转换参数，通过两级查表，在提高了激活计算精度的同时，保证了查找表仅需占用较少存储空间，提高了资源利用率。基于从全新构建的二级查找表中读取的目标转换参数和输入值，计算机设备通过复用量化算法模块进行激活计算，得到激活值，其中目标转换参数可以按照量化计算模块的固有计算逻辑完成激活计算，进而实现复用量化计算模块完成基于优化后lut表的激活计算，减少了利用全新lut表进行激活计算带来的优化成本。技术特征：1.一种神经网络的激活方法，其特征在于，所述方法包括：2.根据权利要求1所述的方法，其特征在于，所述拟合参数包括斜率参数和截距参数，所述二级查找表中包含所述二级区间、第一转换参数与第二转换参数之间的对应关系，所述第一转换参数为截距斜率比值的取整结果，所述第二转换参数为所述斜率参数的放大结果。3.根据权利要求2所述的方法，其特征在于，所述目标转换参数包括第一目标转换参数和第二目标转换参数；4.根据权利要求1所述的方法，其特征在于，所述拟合参数包括斜率参数和截距参数，所述二级查找表中包含所述二级区间、第一转换参数、第二转换参数与第三转换参数之间的对应关系，所述第一转换参数为截距斜率比值的取整结果，所述第二转换参数为所述斜率参数的放大结果，所述第三转换参数为所述斜率参数与误差参数乘积的取整结果，所述误差参数为截距斜率比值与所述第一转换参数的差值。5.根据权利要求4所述的方法，其特征在于，所述目标转换参数包括第一目标转换参数、第二目标转换参数和第三目标转换参数；6.根据权利要求1所述的方法，其特征在于，所述一级区间基于一级划分粒度对所述输入值范围均匀划分得到；7.根据权利要求6所述的方法，其特征在于，各个所述第一区间内的所述二级区间均匀划分，所述目标区间参数包含所述目标一级区间中所述二级区间的起始二级索引、所述目标一级区间的目标二级区间数量以及所述目标一级区间的区间起始值；8.根据权利要求7所述的方法，其特征在于，各个所述一级区间的二级区间数量与所述一级区间内所述激活函数的二阶导数变化率呈正相关关系。9.根据权利要求1所述的方法，其特征在于，所述拟合参数采用最小二乘法确定得到。10.一种神经网络的激活装置，其特征在于，所述装置包括：11.一种神经网络处理器npu，其特征在于，所述npu包括可编程逻辑电路和/或程序指令，当所述npu运行时用于实现如权利要求1至9任一所述的神经网络的激活方法。12.一种神经网络处理器npu，其特征在于，所述npu包括如权利要求10中所述的神经网络的激活装置。13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至9任一所述的神经网络的激活方法。14.一种计算机存储介质，其特征在于，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至9任一所述的神经网络的激活方法。15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行如权利要求1至9任一所述的神经网络的激活方法。技术总结本申请公开了一种神经网络的激活方法、装置、NPU、设备及存储介质，涉及人工智能领域。方法包括：从一级查找表中确定出输入值所属的目标一级区间，一级查找表中包含一级区间与区间参数之间的对应关系；基于目标一级区间的目标区间参数，从二级查找表中确定出输入值所属的目标二级区间的目标转换参数，二级查找表中包含二级区间与转换参数之间的对应关系，转换参数由二级区间对应的激活函数的线性拟合的拟合参数转换得到；通过复用量化算法模块，基于目标转换参数和输入值，确定激活值，量化算法模块用于进行数据量化以及反量化处理。本申请实施例复用量化计算模块进行激活计算，降低了激活方法改良成本。技术研发人员：罗杰,姜坤受保护的技术使用者：哲库科技（上海）有限公司技术研发日：技术公布日：2024/1/12