信息处理设备和信息处理方法与流程

本公开涉及信息处理设备和信息处理方法。

背景技术：

最近，类似于神经系统的运作的被称为神经网络的数学模型正在受到关注。而且，正在提出用于减少神经网络中的计算的处理负荷的各种技术。例如，非专利文献1描述了通过使权重系数为二进制来减少处理负荷的技术。此外，非专利文献2描述了通过将输入信号转换到对数域来将乘法转换为加法的技术。

引文列表

非专利文献

非专利文献1：matthieucourbariaux等人的“二进制连接：在传播期间使用二进制权重训练深度神经网络”，[线上]，2015年11月11日，arxiv，[2017年3月22日检索]，因特网<url：https://arxiv.org/pdf/1511.00363.pdf>

非专利文献2：daisukemiyashita等人的“使用对数数据表示的卷积神经网络”，[线上]，2016年3月3日，arxiv，[2017年3月22日检索]，因特网<url：https://arxiv.org/pdf/1603.01025.pdf>

技术实现要素：

技术问题

然而，利用非专利文献1中描述的技术，由于执行使用+1或-1的二值化，所以随着权重系数的维度增加，量化粒度预计将变得更粗糙。此外，非专利文献2中描述的技术虽然在避免乘法方面具有预定的效果，但是预计在处理负荷的减小方面具有进一步改进的空间。

因此，本公开提出了一种新颖且改进的信息处理设备和信息处理方法，其能够进一步减少与内积运算相关联的处理负荷，同时也能够保证权重系数的量化粒度。

问题的解决方案

根据本公开，提供了一种信息处理设备，该设备包括：计算单元，其被配置成通过基于多个输入值和与输入值中的每个输入值对应的多个权重系数执行内积运算来计算输出值。计算单元根据权重系数来计算输出值，所述权重系数根据n维超球面上的向量方向的粒度而被量化。

此外，根据本公开，提供了一种信息处理设备，包括：乘法累加运算电路，其被配置成基于多个输入值和与输入值中的每个输入值对应的多个权重系数来执行乘法累加运算。乘法累加运算电路包括：存储器电路，其被配置成保存与按最小值的顺序重新排序的多个权重系数对应的输入值的地址信息，以及乘法电路，其被配置成基于通过地址信息获取的输入值和权重系数来执行运算。

此外，根据本公开，提供了一种由处理器执行的信息处理方法，包括：通过基于多个输入值和与输入值中的每个输入值对应的多个权重系数执行乘法累加运算来计算输出值。该计算另外地包括根据权重系数来计算输出值，所述权重系数根据n维超球表面上的向量方向的粒度而被量化。发明的有益效果

根据如上所述的本公开，可以进一步减少与内积运算相关联的处理负荷，同时也保证权重系数的量化粒度。

注意，上述效果不一定是限制性的。与上述效果一起或代替上述效果，可以实现本说明书中描述的任何一种效果或可以从本说明书中理解的其它效果。

附图说明

[图1]是用于说明根据本公开的相关技术的神经网络中的基本计算的概述的概念图。

[图2]是用于说明根据本公开的相关技术的输入向量和权向量的内积运算的概述图。

[图3]是用于说明根据本公开的相关技术的二维空间中的二进制量化权向量的图。

[图4]是用于说明根据本公开的相关技术的二维空间中的四进制量化权向量的图。

[图5]是用于说明根据本公开的相关技术的三维空间中的权向量的粒度的差异的图。

[图6]是用于说明根据本公开的相关技术的n维空间中的权向量的粒度的差异的图。

[图7]是根据本公开的一个实施方式的信息处理设备的功能框图的一个示例。

[图8]是根据实施方式的信息处理设备中设置的乘法累加运算电路的电路框图的一个示例。

[图9]是根据实施方式的存储在地址表中的地址信息的偏移表示法的一个示例。

[图10]是示出根据实施方式的信息处理方法的处理表示的图。

[图11]是用于说明根据实施方式的量化粒度δθ的图。

[图12]是示出根据实施方式的根据α的量化粒度δθ的最大值的曲线图。[图13]是用于说明根据实施方式的最大指数的图。

[图14]是示出根据实施方式的相对于输入的数量n的乘法次数的示例的图。

[图15]是示出根据实施方式的相对于输入的数量n的乘法次数的示例的图。

[图16]是示出根据本公开一个实施方式的示例性硬件配置的图。

具体实施方式

在下文中，将参照附图详细描述本发明的一个或多个优选实施方式。注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。

在下文中，将按以下顺序进行描述。

1.实施方式

1.1.背景

1.2.信息处理设备10的示例性功能配置

1.3.权向量量化

1.4.乘法累加运算电路的示例性配置

1.5.学习期间的量化

1.6.效果

2.示例性硬件配置

3.结论

<1.实施方式>

<<1.1.背景>>

最近，正在广泛研究利用神经网络的学习技术，诸如深度学习。尽管利用神经网络的学习技术高度精确，但由于与计算相关联的大处理负荷，因此需要有效降低处理负荷的计算方法。

为此，近年来，例如，也提出了旨在减少计算量和信息量的计算方法，例如二进制权重网络和xnmor网络。

这里，将描述典型神经网络中的基本计算的概述。图1是用于解释神经网络中的基本计算的概述的概念图。图1示出了形成神经网络的两层，以及属于两层中的每一层的单元c11至c1n和单元c21。

此时，输入到单元c21的输入信号(下文中也称为输入向量)是根据与属于下层的单元c11至c1n相关联的输入向量和权重系数(下文中也称为权向量)来确定的。更具体地，输入至单元c21的输入向量变为通过以下方式而获得的值：将偏置b与单元c11至c1n所关联的输入向量和权向量的内积运算结果相加，并且通过激活函数h另外地处理。

换句话说，在取x＝(x1，x2，x3，...xn)和w＝(w1，w2，w3，...wn)作为与单元c11至c1n相关联的输入向量和权向量中的每个的情况下，输入至单元c21的输入向量z由以下公式(1)定义。

[数学式.1]

z＝h(∑xiwi+b)···(1)

此时，假设超平面h的法线是权向量w，如图2所示，以n维表示的输入向量x和权向量w的内积可以表示为通过以下方式得到的值：将||w||乘以基于超平面h将输入向量x投影到权向量w上的投影距离d。在这里，上述||w||是向量w的范数(norm)。图2是用于说明输入向量x和权向量w的内积运算的概略图。

此时，在输入向量x和权向量w是二维的情况下，如果权向量w被量化为+1或-1的二进制值，如非专利文献1中那样，则权向量w可以表示为如图3中所示。图3是用于说明二维空间中的二进制量化权向量w的图。此时，权向量w的粒度可以由平面中的旋转角度θ表示，并且如图3所示，粒度变为90度。

接下来，考虑将权向量w量化为{0,1/4,1/2,1}的四进制值的情况。图4是用于说明二维空间中的四进制量化的权向量w的图。在这种情况下，权向量w的粒度，或者换言之，旋转角度θ变为大约15度，使得与二进制量化的情况相比可以保证更精细的粒度。

另一方面，随着维度增加，预计权向量w的粒度的差异变得更大。图5是用于说明三维空间中权向量w的粒度的差异的图。例如，如图5中所示，在由(1,1,0)和(0,0,1)限定的平面中考虑权向量w的量化的情况下，在(1,1,0)方向上的边长变为(0,0,1)方向上的边长乘以2的平方根，从而证明量化期间粒度的差异增加。

而且，随着维度的增加，如上所述的粒度的这些差异，或者换言之，非均匀性变得更加显著。图6是用于说明n维空间中的权向量w的粒度的差异的图。图6示出了在n维空间中由(1,1,...,1,0)和(0,0,...,0,1)限定的平面。在这种情况下，(1,1,...,1,0)方向上的边长可以由(0,0,...,0,1)方向上的边长乘以(n-1)的平方根来表示。例如，在n＝100的情况下，(1,1,1,...,1,0)方向上的边长变为(0,0,...,0,1)方向上的边长乘以99的平方根(≈10)。

由于如上所述与权向量w相关联的粒度的不均匀性可能是导致神经网络中的性能下降的因素，因此需要更精确的量化技术。通过着眼于上述观点构思了根据本公开的技术理念，并且使得可以有效地降低处理负荷，同时也可以保持在n维空间中权向量的近似的高精度。为此，根据本公开的一个实施方式的信息处理设备和信息处理方法的一个特征是使用根据n维超球平面中的向量方向的粒度而量化的权向量来执行内积运算。根据本公开的一个实施方式的信息处理设备和信息处理方法能够通过以不太细也不太粗的粒度量化权向量来实现高的近似精度以及减少处理负荷两者。更具体地，根据本公开的一个实施方式的信息处理设备和信息处理方法优选地使用由取幂(exponentiation)表示的权向量来执行内积运算。在下文中，将详细描述根据本公开的一个实施方式的信息处理设备和信息处理方法中包括的上述特征。

<<1.2.信息处理设备10的示例性功能配置>>

接下来，将描述实现根据本实施方式的信息处理方法的信息处理设备10的示例性功能配置。图7是根据本实施方式的信息处理设备10的功能框图的一个示例。参照图7，根据本实施方式的信息处理设备10设置有输入单元110、计算单元120、存储单元130和输出单元140。在下文中，对上述配置的描述将集中于该配置中包括的功能。

(输入单元110)

根据本实施方式的输入单元110具有检测操作者的各种类型的输入操作的功能。为此，根据本实施方式的输入单元110优选地包括用于检测操作者的输入操作的各种设备。例如，输入单元110可以通过各种类型的按钮、键盘、触摸板、鼠标、开关等中的任何一种来实现。

(计算单元120)

计算单元120具有基于多个输入值和与输入值中的每一个对应的多个权重系数来执行内积运算并计算输出值的功能。特别是，根据本实施方式的计算单元120执行与神经网络的前向传播相关联的内积运算。此时，根据本实施方式的计算单元120的一个特征是根据以下权重系数来计算输出值：该权重系数根据n维超球表面上的向量方向的粒度而被量化。更具体地，根据本实施方式的计算单元120优选地根据由取幂表示的权重系数来计算输出值。稍后将分别描述本实施方式中的内积运算的特征。

(存储单元130)

存储单元130具有存储由信息处理设备10中设置的每个配置元件使用的程序、数据等的功能。例如，根据本实施方式的存储单元130存储在神经网络中使用的各种参数等。

(输出单元140)

输出单元140具有向操作者输出各种信息的功能。为此，根据本实施方式的输出单元140可以包括输出视觉信息的显示设备。这里，上述显示设备可以通过例如阴极射线管(crt)显示设备、液晶显示(lcd)设备、有机发光二极管(oled)设备等来实现。

以上描述了根据本实施方式的信息处理设备10的示例性功能配置。注意，上述示例性功能配置仅是一个示例，并且根据本实施方式的信息处理设备10的示例性功能配置不限于这样的示例。根据本实施方式的信息处理设备10也可以另外地设置有除了图1中示出的配置元件之外的配置元件。例如，信息处理设备10可以另外地设置有与另一信息处理终端进行信息通信的通信单元等。可以在设计上灵活地改变根据本实施方式的信息处理设备10的功能配置。

<<1.3.权向量量化>>

接下来，将详细描述根据本实施方式的权向量的量化。如上所述，根据本实施方式的信息处理设备10能够通过利用由取幂表示的权向量w执行量化来保持高度均匀的粒度。此时，根据本实施方式的计算单元120的一个特征是按最小值的顺序对多个权向量wi重新排序，并且还通过具有最大值的权重系数wi来归一化多个权向量wi。此时，如果被重新排序和归一化的权向量作为wj，则权向量wj由以下公式(2)至(4)表示。

[数学式.2]

wn＝1···(3)

wj≤wj+1···(4)

然而，此时，在上述公式(2)中，α优选为0<α<1，sj优选为集合{-1,1}的元素，并且nj优选为集合{0,1,2,...}的元素。换句话说，根据本实施方式的计算单元120将nj视为整数来执行量化。在这种情况下，由计算单元120执行的内积运算由下面的公式(5)表示。注意，在下面的公式(5)中，k表示归一化常数。此外，即使在适当地变换下面的公式(5)的情况下，在内积运算中，上述α的值最终落在上述范围内就足够了。本公开中示出的公式仅是一个示例，并且可以被灵活地变换。

[数学式.3]

k∈r···(5)

为此，预期可以通过n次加法运算和大约-1/2log(n-1)/logα的次数的乘法来处理根据本实施方式的计算单元120的内积运算。

以这种方式，根据本实施方式的信息处理方法的一个特征是通过α的指数表示来近似权向量w，并且按最小值的顺序对权向量w进行重新排序。此时，在根据本实施方式的信息处理方法中，通过根据n将α的幂转换为k-ary值，量化权向量w。

例如，对于n＝100的情况，在根据本实施方式的信息处理方法中，可以采用k＝4(2比特)、8(3比特)、16(4比特)等。通过如上设置k，由于通过相同的值来量化，上面公式(5)中的n1-n2，n2-n3，n3-n4等中的大多数变为0，所以可以大大减少乘法的次数。为了给出更具体的示例，在相对于n＝100的k＝4的情况下，nj-1-nj仅有四次取非0值。因此，在该示例的情况下，与内积运算相关联的乘法次数仅为四次，而其余的变为加法，使得可以有效地减少处理负荷。

<<1.4.乘法累加运算电路的示例性配置>>

接下来，将描述实现根据本实施方式的计算方法的乘法累加运算电路。如上所述，在根据指数表示进行量化然后将权向量w重新排序的情况下，也必须相应地将对应于权向量w的输入向量x重新排序。

为此，根据本实施方式的信息处理设备10优选地设置有乘法累加运算电路，该乘法累加运算电路包括表，该表保存与按照最小值的顺序重新排序的多个权向量w对应的输入向量x的地址信息。

图8是根据本实施方式的信息处理设备10中设置的乘法累加运算电路200的电路框图的一个示例。如图8所示，根据本实施方式的乘法累加运算电路设置有存储电路、ram210、加法电路220、累加器230、执行与α相关的乘法的第一乘法电路240、以及执行与归一化常数相关的乘法的第二乘法电路250，其中该存储电路保存表wt，该表wt存储与权向量w对应的输入向量x的地址信息。

(地址表wt)

根据本实施方式的地址表wt保存与按照最小值的顺序重新排序的多个权向量w对应的输入向量x的地址信息、符号信息和乘法指令信息。注意，如图8所示，上述地址信息也可以包括空指针。在这种情况下，将0加到累加器230，使得可以简单地将累加器230的值乘以α。此外，上述符号信息是指示与上述公式(5)中的sj对应的值的信息。

此外，上述乘法指令信息是给出关于第一乘法电路240的处理内容的指令的信息。根据本实施方式的乘法指令信息优选地包括例如指定是否进行乘法的信息。图8示出了以下情况的一个示例：在乘法指令信息为0的情况下第一乘法电路240不进行乘法，并且在乘法指令信息是1的情况下第一乘法电路240乘以α。

注意，根据本实施方式的乘法指令信息不限于上述示例，并且可以包括指定各种类型的处理内容。例如，根据本实施方式的乘法指令信息可以包括指定乘法次数、移位操作等的信息。

(ram210)

根据本实施方式的ram210根据从地址表wt输入的地址信息，将对应于权向量w的输入向量x输出至加法电路220。

(加法电路220)

根据本实施方式的加法电路220基于从ram210输入的输入向量x和从第一乘法电路240输出的值来执行加法。此时，根据本实施方式的加法电路220根据地址表wt中保存的符号信息执行上述加法。

(累加器230)

根据本实施方式的累加器230对从加法电路220输出的计算结果进行累加。累加器230将累加值输出至第一乘法电路240和第二乘法电路250。此外，用于将累加值复位为0的复位信号在适当时被输入至累加器230。

(第一乘法电路240)

根据本实施方式的第一乘法电路240将累加器230所累加的值乘以α。此时，如上所述，第一乘法电路240根据地址表wt中保存的乘法指令信息执行上述乘法。第一乘法电路240将计算结果输出到加法电路220。

(第二乘法电路250)

根据本实施方式的第二乘法电路250将从累加器230输出的值乘以归一化常数k。

以上描述了根据本实施方式的乘法累加运算电路200的示例性配置。利用根据本实施方式的乘法累加运算电路200，可以有效地减少内积运算中的乘法次数，并减少处理负荷。

另一方面，由于保存输入向量x的地址信息，根据本实施方式的地址表wt的容量增加，所以预计功耗也增加。为此，如图9所示，地址表wt也可以包括指示地址之间的相对位置的偏移。图9是根据本实施方式的存储在地址表wt中的地址信息的偏移表示法的一个示例。

如图9所示，根据本实施方式的地址表wt可以按照地址顺序对上述公式(5)中的nj-1-nj的值连续为0的区段(或者换言之，不执行乘法的区段)中的地址进行排序，并且将地址之间的偏移作为地址信息来保存。利用根据本实施方式的上述地址表wt，大大减少了与地址信息相关联的信息量，使得可以有效地降低功耗。

注意，根据本实施方式的地址表wt可以采用除了图8和图9中示出的格式之外的各种模式。例如，根据本实施方式的地址表wt不必在两者之间有明确分隔的情况下保存符号信息和乘法指令信息，而也可以采用除上述之外的地址压缩方法。可以根据神经网络的配置和信息处理设备10的性能灵活地修改根据本实施方式的地址表wt。

<<1.5.学习期间的量化>>

接下来，将描述根据本实施方式的学习期间的权向量wi的量化。在根据本实施方式的信息处理方法中，可以根据下面的公式(6)计算学习期间的权向量wi的更新。

[数学式.4]

ni＝int(log|wi/wmax|logα)···(6)

然而，上面的公式(6)中的wmax表示wi的最大值。此外，整数函数int可以选择向上舍入或向下舍入，以较近者为准。在根据本实施方式的信息处理方法中，通过在最终学习期间重新排序ni，可以生成上述地址表wt。

注意，在将α设置为接近1的情况下，也可以采用以下技术：利用普通浮点算法使用根据深度神经网络(dnn)的学习算法执行计算，并且在学习结束之后量化wi。换句话说，在与权向量w相关联的小量化粒度的情况下，预期以下效果：即使不修改网络结构也不会降低识别精度。

<<1.6.效果>>

接下来，将详细描述根据本实施方式的权向量的量化所呈现的效果。如上所述，在根据本实施方式的信息处理方法中，通过按最小值的顺序对由指数表示量化的wi进行重新排序并进行归一化来定义wj。此时，如果重新排序的基向量被作为qj，则权向量w由下面的公式(7)表示。

[数学式.5]

换句话说，如图10所示，根据本实施方式的信息处理方法意味着在以下平面中创建向量，并且重复将向量乘以α^nj-nj+1的过程：所述平面由投影至q1，q2，...qj-1和qj所拉伸的空间上的权向量形成。图10是示出根据本实施方式的信息处理方法的处理表示的图。

因此，在根据本实施方式的信息处理方法中，在通过将权向量投影至q1，q2，...qj-1空间和qj而获得的轴所拉伸的平面中，如图11所示，权向量的量化粒度δθ可以通过以下公式(8)和(9)中的每一个表示为逆时针旋转和顺时针旋转。然而，此时，公式(8)和(9)中的l由式(10)定义。图11是用于说明根据本实施方式的量化粒度δθ的图。注意，在图11中，示出了投影到第一象限上的权向量。

[数学式.6]

此外，在通过l被微分时量化粒度δθ1和δθ2返回0的情况下，根据下面的公式(11)定义每个的最大值。

[数学式.7]

图12是示出根据本实施方式的、根据α的量化粒度δθ的最大值的曲线图。以这种方式，利用根据本实施方式的信息处理方法，在n维空间中，在所有正交旋转方向上保证量化粒度。

注意，在中途停止取幂运算的情况下，如图13所示，量化粒度δθ保持不变。图13是用于说明根据本实施方式的最大指数的图。注意，在图13中，示出了投影到第一象限上的权向量。此时，对于保证量化粒度δθ的最大指数而言，将下面的公式(13)与满足下面公式(12)的最小m相加就足够了。因此，可以通过下面的公式(14)计算根据本实施方式的信息处理设备10执行的乘法的次数。

[数学式.8]

例如，在α＝3/4的情况下，相对于输入数n的乘法次数被确定为类似于图14所示的曲线图。另外，例如，在α＝7/8的情况下，相对于输入数n的乘法次数被确定为类似于图15所示的曲线图。换句话说，在根据本实施方式的计算单元120的内积运算中，可以认为乘法的次数是根据权向量的基的值来确定的。图14和15是示出根据本实施方式的相对于输入数n的乘法次数的示例的图。

如上所述，利用实现根据本实施方式的信息处理方法的信息处理设备，在神经网络的前向传播中的内积运算中，可以大大减少乘法的次数，使得可以有效减少乘法累加运算电路200的功耗。另外，利用实现根据本实施方式的信息处理方法的信息处理设备，可以提高权向量的量化精度，并且与使用相同数量比特的相关技术的量化技术相比，预期获得通过神经网络提高识别精度和近似精度的效果。

<2.硬件配置示例>

现在描述根据本公开的实施方式的信息处理设备10共同的硬件配置的示例。图16是示出根据本公开的实施方式的信息处理设备10的硬件配置的示例的框图。参见图16，在一个示例中，信息处理设备10包括cpu871、rom872、ram873、主机总线874、桥接器875、外部总线876、接口877、输入设备878、输出设备879、存储器880、驱动器881、连接端口882和通信设备883。此外，这里示出的硬件配置是说明性的，并且可以省略一些部件。另外，可以进一步包括除此处所示部件之外的部件。

(cpu871)

在一个示例中，cpu871用作算术处理单元或控制设备，并且根据记录在rom872、ram873、存储器880或可移除记录介质901中的各种程序来控制每个部件的一些操作或全部操作。

(rom872和ram873)

rom872是用于存储加载到cpu871中的程序，用于操作的数据等的设备。在一个示例中，ram873临时或永久地存储要加载到cpu871中的程序，在执行程序时适当改变的各种参数等。

(主机总线874、桥接器875、外部总线876和接口877)

在一个示例中，cpu871、rom872和ram873通过能够进行高速数据传输的主机总线874相互连接。另一方面，在一个示例中，主机总线874经由桥接器875连接至具有相对低的数据传输速率的外部总线876。此外，外部总线876经由接口877连接至各种部件。

(输入设备878)

输入设备878的示例包括鼠标、键盘、触摸板、按钮、开关、控制杆等。此外，输入设备878的示例包括能够利用红外线或其它无线电波发送控制信号的远程控制器(下文中称为远程控制器)。另外，输入设备878包括诸如麦克风的语音输入设备。

(输出设备879)

输出设备879是能够在视觉上或听觉上向用户通知所获取的信息的设备，其包括诸如阴极射线管(crt)、lcd或有机el的显示设备，诸如扬声器或耳机的音频输出设备，打印机，移动电话，传真机等。另外，根据本公开的输出设备879包括能够输出触觉刺激的各种类型的振动设备中的任何一种。

(存储器880)

存储器880是用于存储各种类型的数据的设备。存储器880的示例包括诸如硬盘驱动器(hdd)的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等。

(驱动器881)

驱动器881是读取记录在可移除记录介质901(诸如磁盘、光盘、磁光盘或半导体存储器)上的信息或将信息写入可移除记录介质901的设备。

(可移除记录介质901)

可移除记录介质901的示例包括dvd介质、蓝光(注册商标)介质、hddvd介质，各种半导体存储介质等。当然，在一个示例中，可移除记录介质901优选地是ic卡或安装有非接触式ic芯片的电子设备。

(连接端口882)

连接端口882是用于与外部连接设备902连接的端口，例如通用串行总线(usb)端口、ieee1394端口、小型计算机系统接口(scsi)、rs-232c端口或光学音频端子。

(外部连接设备902)

外部连接设备902的示例包括打印机、便携式音乐播放器、数字相机、数字摄像机、ic记录器等。

(通信设备883)

通信设备883是用于与网络连接的通信设备，并且其示例包括用于有线或无线lan、蓝牙(注册商标)或无线usb(wusb)的通信卡，用于光通信的路由器，用于非对称数字用户线(adsl)的路由器，或用于各种通信的调制解调器。

<3.结论>

如上所述，根据本实施方式的信息处理设备的一个特征是使用根据n维超球表面上的向量方向的粒度而量化的权向量，以执行权向量和对应输入向量的内积运算。根据这样的配置，可以进一步减少与内积运算相关联的处理负荷，同时也保证权重系数的量化粒度。

以上已经参照附图描述了本公开的优选实施方式，而本公开不限于上述示例。本领域的技术人员可以在所附权利要求的范围内获得各种改变和修改，并且应当明白，它们将自然地落入本公开的技术范围内。

此外，本说明书中描述的效果仅仅是说明性的或示例性的效果，并不是限制性的。也就是说，与上述效果一起或代替上述效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述中明白的其它效果。

另外，本技术也可以配置如下。

(1)

一种信息处理设备，包括：

计算单元，其被配置成通过基于多个输入值和与输入值中的每个输入值对应对应的多个权重系数执行内积运算来计算输出值，其中，

计算单元根据权重系数来计算输出值，所述权重系数根据n维超球表面上的向量方向的粒度而被量化。

(2)

根据(1)所述的信息处理设备，其中

计算单元根据由取幂表示的权重系数来计算输出值。

(3)

根据(2)所述的信息处理设备，其中

在计算单元的内积运算中，权重系数的基数被确定为大于0但小于1的值。

(4)

根据(2)或(3)所述的信息处理设备，其中

内积运算中的乘法的次数是根据权重系数的基数的值确定的。

(5)

根据(1)至(4)中任一项所述的信息处理设备，其中，

计算单元根据按最小值的顺序重新排序的多个权重系数来执行内积运算。

(6)

根据(5)所述的信息处理设备，其中

计算单元根据由具有最大值的权重系数归一化的多个权重系数来执行内积运算。

(7)

根据(5)或(6)所述的信息处理设备，其中

计算单元通过根据表获取输入值来执行内积运算，该表保存与按最小值的顺序重新排序的多个权重系数对应的输入值的地址信息。

(8)

根据(7)所述的信息处理设备，其中

地址信息包括指示地址之间的相对位置的偏移。

(9)

根据(7)或(8)所述的信息处理设备，其中

该表另外地保存与地址信息相关联的乘法指令信息。

(10)

根据(9)所述的信息处理设备，其中

乘法指令信息至少包括指示是否进行乘法的信息。

(11)

根据(7)至(10)中任一项所述的信息处理设备，其中，

该表另外地保存与地址信息相关联的符号信息。

(12)

根据(1)至(11)中任一项所述的信息处理设备，其中，

计算单元执行与神经网络的前向传播相关联的内积运算。

(13)

一种信息处理设备，包括：

乘法累加运算电路，其被配置成基于多个输入值和与输入值中的每个输入值对应的多个权重系数来执行乘法累加运算，其中

乘法累加运算电路包括：

存储器电路，其被配置成保存与按最小值的顺序重新排序的多个权重系数对应的输入值的地址信息，

乘法电路，其被配置成基于通过地址信息获取的输入值和权重系数来执行运算。

(14)

一种由处理器执行的信息处理方法，包括：

通过基于多个输入值和与输入值中的每个输入值对应的多个权重系数执行乘法累加运算来计算输出值，其中

该计算另外地包括根据权重系数来计算输出值，所述权重系数根据n维超球表面上的向量方向的粒度而被量化。

参考标记列表

10信息处理设备

110输入单元

120计算单元

130存储单元

140输出单元

200乘法累加运算电路

210ram

220加法电路

230累加器

240第一乘法电路

250第二乘法电路

wt地址表