用于神经网络模型的组平衡式稀疏激活特征图的制作方法

本公开的实施例总体上涉及人工智能。更具体地说，本公开的实施例涉及用于深度神经网络模型的组平衡式稀疏激活特征图的方法和系统。

背景技术：

1、深度神经网络(dnn)已经成为人工智能(ai)中广泛使用的一种方法，用于从诸如图像、视频、音频和文本等低级数据中提取高级信息。然而，dnn昂贵的计算成本阻碍了它在能源消耗、存储空间或延迟容忍度方面预算较紧的应用中的使用，特别是阻碍了在诸如移动电话和监控摄像头等边缘设备上的使用。

2、dnn模型的计算成本来自于多个方面。首先，dnn模型参数可能是几百万或几千万的数量级，这导致了巨大的存储成本，并且会阻碍dnn模型参数在内存空间中的存储。第二，dnn模型中的神经元数量会消耗大量的内存空间，并且在运行时可能需要数十亿次的算术运算。第三，基于由神经网络生成的向量表征的搜索引擎、如人脸比较引擎，计算成本可能会很高，部分原因是dnn的高维密集向量表征(嵌入)。

技术实现思路

技术特征：

1.一种生成深度神经网络(dnn)模型的方法，包括：

2.根据权利要求1所述的方法，其中，生成所述第二dnn模型包括：

3.根据权利要求1所述的方法，其中，将所述激活特征图分组包括：

4.根据权利要求2所述的方法，其中，重新训练所述第二dnn模型包括：

5.根据权利要求1所述的方法，其中，所述第二dnn模型是组平衡式稀疏dnn模型。

6.根据权利要求1所述的方法，其中，所述第二dnn模型是动态dnn模型，其中，用于第一推理的所述第二dnn模型的权重参数与用于第二推理的权重参数不同。

7.根据权利要求1所述的方法，其中，每个激活特征图块的所述稀疏性通过保留每个组的最大前k个值并将所述组的其余值逐步调零来逐步增加，其中，k等于或大于1。

8.一种非暂时性机器可读介质，其中存储有指令，当所述指令由处理器执行时，导致所述处理器执行操作，所述操作包括：

9.根据权利要求8所述的非暂时性机器可读介质，其中，生成所述第二dnn模型包括：

10.根据权利要求8所述的非暂时性机器可读介质，其中，将所述激活特征图分组包括：

11.根据权利要求9所述的非暂时性机器可读介质，其中，重新训练所述第二dnn模型包括：

12.根据权利要求8所述的非暂时性机器可读介质，其中，所述第二dnn模型是组平衡式稀疏dnn模型。

13.根据权利要求8所述的非暂时性机器可读介质，其中，所述第二dnn模型是动态dnn模型，其中，用于第一推理的所述第二dnn模型的权重参数与用于第二推理的权重参数不同。

14.根据权利要求8所述的非暂时性机器可读介质，其中，每个激活特征图块的所述稀疏性通过保留每个组的最大前k个值和将所述组的剩余值逐步调零来逐步增加，其中，k等于或大于1。

15.一种组平衡式稀疏激活深度神经网络(dnn)模型，包括：

16.根据权利要求15所述的组平衡式稀疏dnn模型，其中，生成所述第二dnn模型包括：

17.根据权利要求15所述的组平衡式稀疏dnn模型，其中，将所述激活特征图分组包括：

18.根据权利要求16所述的组平衡式稀疏dnn模型，其中，重新训练所述第二dnn模型包括：

19.根据权利要求15所述的组平衡式稀疏dnn模型，其中，所述第二dnn模型是组平衡式稀疏dnn模型。

20.根据权利要求15所述的组平衡式稀疏dnn模型，其中，所述第二dnn模型是动态dnn模型，其中，用于第一推理的所述第二dnn模型的权重参数与用于第二推理的权重参数不同。

21.根据权利要求15所述的组平衡式稀疏dnn模型，其中，每个激活特征图块的所述稀疏性通过保留每个组的最大前k个值和将所述组的剩余值逐步调零来逐步增加，其中，k等于或大于1。

技术总结
实施例公开了组平衡式稀疏激活神经网络模型和生成组平衡式稀疏激活神经网络模型的方法。根据一个实施例，神经网络稀疏化引擎确定具有两个或更多个隐藏层的第一深度神经网络(DNN)模型。该引擎确定组大小、组布局和目标稀疏性。该引擎基于组大小和组布局将激活特征图分割成多个组。该引擎通过基于目标稀疏性增加每个激活特征图组的稀疏性来生成第二DNN模型，其中第二DNN模型被用于推理。

技术研发人员：严恩勖,胥栋宽,刘嘉超
受保护的技术使用者：墨芯国际有限公司
技术研发日：
技术公布日：2024/1/13