一种对数后训练量化的权重编解码方法与流程

本发明涉及编解码，特别是涉及一种对数后训练量化的权重编解码方法。

背景技术：

1、大多数后训练量化方法可以将卷积神经网络模型的权重数据量化到8比特精度并且准确率下降很小，许多量化方法将量化精度降低到4比特时，会出现很大的准确率下降；为了将后训练量化方法的精度降低到4位或更低，已经提出了各种技术，但这些技术都会伴随着大量额外的硬件开销，许多后训练量化技术并不适合硬件实现，这些后训练量化技术所引发的额外硬件开销会抵消比特宽度减少所带来的优势；编码是将权重数据经过量化后的结果映射到整数权重编码的过程，并生成一个在硬件计算时用于解码的码本；大多数量化方法采用的一般编码方案是将2^n个量化的权重值存储在码本中，并通过查找表在解码过程中实现一对一映射，其中n为量化比特数；但是在分段对数量化算法中，由于权重数据在做对数量化时会得较大的结果范围，若在硬件设计时采用查找表的形式实现会消耗大量的片上资源，效率很低；另外，分段对数量化算法包含以2为底数和以根号2为底数的计算结果，在编码过程中，如何区分这两种量化结果是一个具有挑战性的问题；在输入数据与权重编码计算过程中，输入数据与t3类别的权重编码计算时需要进行近似操作，如何在解码时判断某些权重编码是否属于t3类别也是一大难点。

2、在卷积神经网络模型量化中，在量化粒度上分为逐层量化和逐通道量化；在逐层量化方法中，每个卷积层的所有权重数据在量化时采用的配置是相同的，而在逐通道量化方法中，每个卷积输出通道的权重数据在量化时都采用不同的量化参数；与逐层量化方法相比，采用逐通道量化方法需要在编码中添加额外信息来映射量化值，每个通道的码本都是相互独立的；虽然采用逐通道量化技术可以增加模型量化后的推理准确率，但是会增加额外的硬件开销，这可能抵消由于减少量化比特位宽所带来的收益。因此，在对量化后权重数据进行编码和解码的设计中，需要充分考虑硬件开销的影响。

技术实现思路

1、本发明的目的在于提供一种对数后训练量化的权重编解码方法，从而利用分段量化的特点来提高编码效率和减小码本规模，充分考虑计算单元设计时的硬件开销。

2、一种对数后训练量化的权重编解码方法，包括自定义编码和自定义解码；自定义编码为4比特位宽，最高比特位表示权重数据的正负性，为0表示正数，为1表示负数，低三位用于表示权重值编码，码本中所有权重的量化结果都按照从小到大的顺序排列，并且一一映射到3比特位宽的整数编码，自定义解码是将4比特的权重值编码解码为1比特符号位、3比特的移位比特数和1比特的根号2近似计算标志位的过程。

3、进一步，在每个卷积计算的输出通道中，权重值编码共有n个(n＝n1+n2)，分别为n1个采用以根号2为底数的对数量化编码和n2个以2位底数的对数量化编码，量化后的权重分为三种类型：1)t1：以2为底数的对数量化，2)t2：以根号2为底数的对数量化，指数为偶数，3)t3：以根号2为底数的对数量化，指数为奇数。

4、进一步，权重值编码除了4比特权重编码外，每个卷积输出通道还配备一个9比特辅助码本，辅助码本包含1比特奇偶校验位chk_even，3比特的r，以及5比特的缩放因子，其中r＝r-1，r＝n2，r用于表示以2为底数的对数量化编码数量。

5、进一步，奇偶校验位chk_even由分段对数量化中基于根号2的最大量化指数的奇偶性决定。

6、进一步，5比特的缩放因子用于重新缩放每个输出通道的卷积计算结果。

7、进一步，根号2近似计算为输入数据与采用以根号2为底数的对数量化编码计算，当编码以根号2为底数的对数量化指数为奇数时，输入数据需要进行近似计算才能完成移位计算，近似计算方法如下，首先将根号2做级数展开，近似计算采用前两项，根号2被近似为1+1/2，权重和输入数据之间的乘法操作公式如下：

8、

9、

10、其中ax与aw为缩放因子，xq表示的是输入数据经过定点量化后的数值，表示的是xq经过近似计算后的结果，表示经过量化后的权重数据，wq表示的即为输入数据需要移位的比特数，wq由权重编码w_code、r和奇偶校验参数chk_even共同决定，其中w_code为权重数据经过分段对数量化后的权重编码。

11、根号2的近似计算采用二项级数展开式，原因是在神经网络量化推理中采用三项式和四项式相比于二项式带来的准确率提升并不高，但是采用二项式相比于三项式和四项式可以显著降低计算单元的硬件实现资源(如面积、功耗等)。这种近似方法的主要目的是在保证量化后模型准确率的前提下，减少计算单元的硬件开销。

12、进一步，所述的移位比特数shift_bits的计算公式如下：

13、

14、其中，//表示的是整除，用于获得除法的整数部分，权重编码小于等于r的部分是以2为底数的对数量化编码，大于r的部分是以根号2为底数的对数量化编码；

15、所述的移位比特数计算公式子中的计算公式如下：

16、

17、奇偶校验位chk_even是由以根号2为底数对数量化结果的最大量化指数的奇偶性决定，式中chk_even、w_code和r可以确定的数值为1还是0，进而确定移位比特数shift_bits。

18、量化后的权重分为三种类型：1)t1:以2为底数的对数量化，2)t2:以根号2为底数的对数量化，指数为偶数，3)t3:以根号2为底数的对数量化，指数为奇数。

19、进一步，所述的近似计算标志位approx_flag的计算公式如下：

20、

21、

22、公式approx_flag中，权重编码w_code小于等于r的部分是以2为底数进行对数量化，不涉及近似计算，approx_flag为0；当w_code大于r时，公式确定该w_code是否为t3类别，当chk_even＝0且w_code为奇数时，该w_code为t3类别；当chk_even＝1且w_code为偶数时，该w_code为t3类别；其余情况均为t2类别，只有当输入数据和t3类别的w_code计算时，需要进行近似计算操作，此时approx_flag为1。

23、进一步，单个通道的所有权重数据都采用相同的分段对数量化配置，计算时将输入数据左移shift_bits位，完成该通道所有数据的左移后，再统一将该通道所有数据进行缩放。

24、本发明的优点在于：在每个权重通道中，权重编码分为采用以2为底数的对数量化权重编码和以根号2为底数的对数量化权重编码，使其能够适应分段对数量化算法；辅助码本包含1比特奇偶校验位chk_even，3比特的r，可以在硬件计算时用于权重编码的解码与近似计算的判定，5比特的缩放因子可以用来对该通道中的所有移位计算结果进行缩放；对根号2的近似计算采用二项式，可以在保证量化后模型推理准确性的同时尽可能地减少硬件资源。

技术特征：

1.一种对数后训练量化的权重编解码方法，其特征在于：包括自定义编码和自定义解码；自定义编码为4比特位宽，最高比特位表示权重数据的正负性，为0表示正数，为1表示负数，低三位用于表示权重值编码，码本中所有权重的量化结果都按照从小到大的顺序排列，并且一一映射到3比特位宽的整数编码，自定义解码是将4比特的权重编码解码为1比特符号位、3比特的移位比特数和1比特的根号2近似计算标志位的过程。

2.根据权利要求1所述的一种对数后训练量化的权重编解码方法，其特征在于：所述的权重值编码共有n个(n＝n1+n2)，分别为n1个采用以根号2为底数的对数量化编码和n2个以2为底数的对数量化编码，量化后的权重分为三种类型：1)t1:以2为底数的对数量化，2)t2:以根号2为底数的对数量化，指数为偶数，3)t3:以根号2为底数的对数量化，指数为奇数。

3.根据权利要求1所述的一种对数后训练量化的权重编解码方法，其特征在于：所述的权重值编码除了4比特权重编码外，每个卷积输出通道还配备一个9比特辅助码本，辅助码本包含1比特奇偶校验位chk_even，3比特的r，以及5比特的缩放因子，其中r＝r-1，r＝n2,r用于表示以2为底数的对数量化编码数量。

4.根据权利要求3所述的一种对数后训练量化的权重编解码方法，其特征在于：所述的奇偶校验位chk_even由分段对数量化中基于根号2的最大量化指数的奇偶性决定。

5.根据权利要求3所述的一种对数后训练量化的权重编解码方法，其特征在于：所述的5比特的缩放因子用于重新缩放每个输出通道的卷积计算结果。

6.根据权利要求1所述的一种对数后训练量化的权重编解码方法，其特征在于：所述的根号2近似计算，包含输入数据与采用以根号2为底数的对数量化编码计算，当编码是以根号2为底数的对数量化且指数为奇数时，输入数据需要进行近似计算才能完成移位计算，近似计算方法如下，首先将根号2做级数展开，近似计算采用前两项，根号2被近似为1+1/2，权重和输入数据之间的乘法操作公式如下：

7.根据权利要求1所述的一种对数后训练量化的权重编解码方法，其特征在于：所述的移位比特数shift_bits的计算公式如下：

8.根据权利要求1所述的一种对数后训练量化的权重编解码方法，其特征在于：所述的近似计算标志位approx_flag的计算公式如下：

技术总结
本发明公开了一种对数后训练量化的权重编解码方法，自定义编码为4比特位宽，最高比特位表示权重数据的正负性，最高比特位为0表示正数，最高比特位为1表示负数，码本中所有权重的量化结果都按照从小到大的顺序排列，并且映射到3比特位宽的整数编码，自定义解码是将4比特的权重值编码解码为1比特符号位、3比特的移位比特数和1比特的根号2近似计算标志位的过程，本发明的权重编码分为采用以2为底数的对数量化权重编码和以根号2为底数的对数量化权重编码，使其能够适应分段对数量化算法，在硬件计算时对以根号2为底数的对数量化权重编码采取近似计算措施，保证量化后模型推理准确性的同时尽可能地减少硬件资源。

技术研发人员：徐佳唯,环宇翔,樊江山,马宁,郑立荣
受保护的技术使用者：广东省智能科学与技术研究院
技术研发日：
技术公布日：2024/1/16