压缩神经网络的激活图的系统、方法及其解压缩方法与流程

文档序号:20705314发布日期:2020-05-12 16:20阅读:来源:国知局

技术特征:

1.一种用于压缩神经网络的层的激活图的系统,所述系统包括:

处理器,被编程为启动可执行的操作,所述可执行的操作包括:

使用处理器对激活图的若干个非零值进行稀疏化;

将稀疏化激活图配置为具有h×w×c的张量大小的张量,其中,h表示所述张量的高度,w表示所述张量的宽度,c表示所述张量的通道的数量;

将所述张量格式化为具有值的至少一个块;以及

使用至少一种无损压缩模式独立于所述张量的其他块对所述至少一个块进行编码。

2.根据权利要求1所述的系统,其中,所述至少一种无损压缩模式从包括以下项的组选择:指数哥伦布编码、稀疏指数哥伦布编码、稀疏指数哥伦布去除最小编码、哥伦布赖斯编码、指数尾数编码、零编码、固定长度编码和稀疏固定长度编码。

3.根据权利要求2所述的系统,其中,被选择用于对所述至少一个块进行编码的所述至少一种无损压缩模式不同于被选择用于对所述张量的另一个块进行编码的无损压缩模式。

4.根据权利要求1所述的系统,其中,对所述至少一个块进行编码的步骤包括使用多种无损压缩模式独立于所述张量的其他块对所述至少一个块进行编码。

5.根据权利要求1所述的系统,其中,所述至少一个块包括48比特。

6.根据权利要求1所述的系统,其中,所述可执行的操作还包括:输出被编码为比特流的所述至少一个块。

7.根据权利要求6所述的系统,其中,所述可执行的操作还包括:

使用与用于压缩所述至少一个块的所述至少一种压缩模式对应的至少一种解压缩模式,独立于所述张量的其他块对所述至少一个块进行解码;以及

将所述至少一个块解格式化为具有h×w×c的大小的张量。

8.根据权利要求1所述的系统,其中,稀疏化激活图包括浮点值,

其中,所述可执行的操作还包括:将激活图的浮点值量化为整数值。

9.一种用于压缩神经网络的激活图的方法,所述方法包括:

使用处理器对激活图的若干个非零值进行稀疏化;

将激活图配置为具有h×w×c的张量大小的张量,其中,h表示所述张量的高度,w表示所述张量的宽度,c表示所述张量的通道的数量;

将所述张量格式化为具有值的至少一个块;以及

使用至少一种无损压缩模式独立于所述张量的其他块对所述至少一个块进行编码。

10.根据权利要求9所述的方法,还包括:从包括以下项的组选择所述至少一种无损压缩模式:指数哥伦布编码、稀疏指数哥伦布编码、稀疏指数哥伦布去除最小编码、哥伦布赖斯编码、指数尾数编码、零编码、固定长度编码和稀疏固定长度编码。

11.根据权利要求10所述的方法,其中,被选择用于对所述至少一个块进行编码的所述至少一种无损压缩模式不同于被选择用于对所述张量的另一个块进行编码的无损压缩模式。

12.根据权利要求10所述的方法,其中,对所述至少一个块进行编码的步骤还包括使用多种无损压缩模式独立于所述张量的其他块对所述至少一个块进行编码。

13.根据权利要求10所述的方法,其中,所述至少一个块包括48比特。

14.根据权利要求9所述的方法,还包括:输出被编码为比特流的所述至少一个块。

15.根据权利要求14所述的方法,还包括:

使用处理器,使用与用于压缩所述至少一个块的所述至少一种压缩模式对应的至少一种解压缩模式,独立于所述张量的其他块对所述至少一个块进行解压缩;以及

将所述至少一个块解格式化为具有h×w×c的大小的张量。

16.根据权利要求9所述的方法,其中,稀疏化激活图包括浮点值,

所述方法还包括将稀疏化激活图的浮点值量化为整数值。

17.一种用于解压缩神经网络的稀疏化激活图的方法,所述方法包括:

使用处理器对表示稀疏化激活图的值的比特流的具有值的压缩块进行解压缩,以形成具有值的至少一个解压缩块,所述至少一个解压缩块使用与用于压缩所述至少一个块的至少一种无损压缩模式对应的至少一种解压缩模式独立于稀疏化激活图的其他块被解压缩;以及

将所述至少一个解压缩的块解格式化为具有h×w×c的大小的张量的部分,其中,h表示所述张量的高度,w表示所述张量的宽度,c表示所述张量的通道的数量,所述张量是解压缩的激活图。

18.根据权利要求17所述的方法,其中,所述至少一种无损压缩模式从包括以下项的组选择:指数哥伦布编码、稀疏指数哥伦布编码、稀疏指数哥伦布去除最小编码、哥伦布赖斯编码、指数尾数编码、零编码、固定长度编码和稀疏固定长度编码。

19.根据权利要求18所述的方法,还包括:

使用处理器对激活图的若干个非零值进行稀疏化;

将稀疏化激活图配置为具有h×w×c的张量大小的张量;

将所述张量格式化为具有值的至少一个块;以及

使用所述至少一种无损压缩模式独立于所述张量的其他块对所述至少一个块进行编码。

20.根据权利要求19所述的方法,其中,被选择用于压缩所述至少一个块的所述至少一种无损压缩模式不同于被选择用于压缩所述张量的另一个块的无损压缩模式,以及

其中,压缩所述至少一个块的步骤还包括:使用多种无损压缩模式独立于所述张量的其他块压缩所述至少一个块。


技术总结
公开一种压缩神经网络的激活图的系统、方法及其解压缩方法。系统和方法提供神经网络的层的激活图的压缩和解压缩。对于压缩,激活图的值被稀疏化,并且激活图被配置为具有H×W×C的张量大小的张量,其中,H表示所述张量的高度,W表示所述张量的宽度,C表示所述张量的通道的数量。所述张量被格式化为具有值的至少一个块。使用至少一种无损压缩模式独立于所述张量的其他块对每个块进行编码。对于解压缩,使用与用于压缩所述块的所述至少一种压缩模式对应的至少一种解压缩模式,独立于其他块对每个块进行解码;以及将每个块解格式化为具有H×W×C的大小的张量。

技术研发人员:乔治斯·乔治亚迪斯
受保护的技术使用者:三星电子株式会社
技术研发日:2019.10.29
技术公布日:2020.05.12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1