相关申请的交叉引用
本申请要求于2015年5月8日提交的题为“reducedcomputationalcomplexityforfixedpointneuralnetworks(定点神经网络的降低的计算复杂度)”的美国临时专利申请no.62/159,106的权益，其公开内容通过援引全部明确纳入于此。
背景
领域
本公开的某些方面一般涉及机器学习，尤其涉及降低在具有有限位宽的系统中进行操作的定点神经网络的计算复杂度的系统和方法。
背景
可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。
卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(cnn)具有众多应用。具体而言，cnn已被广泛使用于模式识别和分类领域。
深度学习架构(诸如深度置信网络和深度卷积网络)是分层神经网络架构，其中第一层神经元的输出变成第二层神经元的输入，第二层神经元的输出变成第三层神经元的输入，依此类推。深度神经网络可被训练以识别特征阶层并且因此它们已被越来越多地用于对象识别应用。类似于卷积神经网络，这些深度学习架构中的计算可分布在处理节点群体上，其可被配置在一个或多个计算链中。这些多层架构可每次训练一层并可使用后向传播微调。
其他模型也可用于对象识别。例如，支持向量机(svm)是可被应用于分类的学习工具。支持向量机包括对数据进行归类的分离超平面(例如，决策边界)。该超平面由监督式学习来定义。期望的超平面增加训练数据的裕量。换言之，超平面应该具有到训练示例的最大的最小距离。
尽管这些解决方案在数个分类基准上达到了优异的结果，但它们的计算复杂度可能极其高。另外，模型的训练可能是有挑战性的。
概述
在本公开的一方面，公开了一种降低在乘法器-累加器(mac)具有有限位宽的系统中进行操作的定点神经网络的计算复杂度的方法。所述方法包括：在计算所述定点神经网络中的激活时减少移位操作的数目。所述方法还包括：在计算所述定点神经网络中的激活时平衡量化误差的量和溢出误差。
本公开的另一方面涉及一种装备，所述装备包括：用于在计算定点神经网络中的激活时减少移位操作的数目的装置。所述装备还包括：用于在计算所述定点神经网络中的激活时平衡量化误差的量和溢出误差的装置。
在本公开的另一方面，公开了一种其上记录有非瞬态程序代码的非瞬态计算机可读介质。用于降低在乘法器-累加器具有有限带宽的系统中进行操作的定点神经网络的计算复杂度的程序代码由处理器执行并包括：用于在计算所述定点神经网络中的激活时减少移位操作的数目的程序代码。所述程序代码还包括：用于在计算所述定点神经网络中的激活时平衡量化误差的量和溢出误差的程序代码。
本公开的另一方面涉及一种用于降低在乘法器-累加器具有有限位宽的系统中进行操作的定点神经网络的计算复杂度的装置。所述装置具有存储器以及耦合到所述存储器的一个或多个处理器。(诸)处理器被配置成：在计算所述定点神经网络中的激活时减少移位操作的数目。(诸)处理器还被配置成：在计算所述定点神经网络中的激活时平衡量化误差的量和溢出误差。
本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。
附图简述
在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。
图1解说了根据本公开的某些方面的使用片上系统(soc)(包括通用处理器)来设计神经网络的示例实现。
图2解说了根据本公开的各方面的系统的示例实现。
图3a是解说了根据本公开的各方面的神经网络的图。
图3b是解说了根据本公开的各方面的示例性深度卷积网络(dcn)的框图。
图4和5解说了用于从常规系统中的乘法器-累加器输出中提取数个位的示例。
图6和7a-7c解说了根据本公开的各方面的用于从乘法器-累加器输出中提取数个位的示例。
图8和9解说了根据本公开的各方面的用于特征提取的方法。
详细描述
以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有的配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。
基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个要素来实施。
措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
在一些情形中，网络(诸如人工神经网络(ann))的定点表示在计算新的激活的中间步骤期间可能损失精度。当乘法器-累加器(mac)具有足够大的位宽从而无损失地执行计算以使得在计算完成时各个位可被舍入时，可缓解精度降级。
尽管如此，当乘法器-累加器的位宽高时，与存储和检索中间结果相关联的存储器使用会增加。由此，可能期望限制乘法器-累加器的位宽以简化硬件和/或软件实现。本公开的各方面涉及在乘法器-累加器位宽约束情况下改善定点计算。
图1解说了根据本公开的某些方面的、前述降低在使用片上系统(soc)100(其可包括通用处理器(cpu)或多核通用处理器(cpu)102)的乘法器-累加器具有有限位宽的系统中进行操作的定点神经网络的计算复杂度的示例实现。变量(例如，神经信号和突触权重)、与计算设备相关联的系统参数(例如，带有权重的神经网络)、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(npu)108相关联的存储器块中、与cpu102相关联的存储器块中、与图形处理单元(gpu)104相关联的存储器块中、与数字信号处理器(dsp)106相关联的存储器块中、专用存储器块118中，或可跨多个块分布。在通用处理器102处执行的指令可从与cpu102相关联的程序存储器加载或可从专用存储器块118加载。
soc100还可包括为特定功能定制的附加处理块(诸如gpu104、dsp106、连通性块110(其可包括第四代长期演进(4glte)连通性、无执照wi-fi连通性、usb连通性、蓝牙连通性等))以及例如可检测和识别姿势的多媒体处理器112。在一种实现中，npu实现在cpu、dsp、和/或gpu中。soc100还可包括传感器处理器114、图像信号处理器(isp)、和/或导航120(其可包括全球定位系统)。
soc100可基于arm指令集。在本公开的一方面，被加载到通用处理器102中的指令可包括用于在计算定点神经网络中的激活时减少移位操作的数目的代码。被加载到通用处理器102中的指令还可包括用于在计算定点神经网络中的激活时平衡量化误差的量和溢出误差的代码。
图2解说了根据本公开的某些方面的系统200的示例实现。如图2中所解说的，系统200可具有可执行本文所描述的方法的各种操作的多个局部处理单元202。每个局部处理单元202可包括局部状态存储器204和可存储神经网络的参数的局部参数存储器206。另外，局部处理单元202可具有用于存储局部模型程序的局部(神经元)模型程序(lmp)存储器208、用于存储局部学习程序的局部学习程序(llp)存储器210、以及局部连接存储器212。此外，如图2中所解说的，每个局部处理单元202可与用于为该局部处理单元的各局部存储器提供配置的配置处理器单元214对接，并且与提供各局部处理单元202之间的路由的路由连接处理单元216对接。
深度学习架构可通过学习在每一层中以逐次更高的抽象程度来表示输入、藉此构建输入数据的有用特征表示来执行对象识别任务。以此方式，深度学习解决了传统机器学习的主要瓶颈。在深度学习出现之前，用于对象识别问题的机器学习办法可能严重依赖人类工程设计的特征，或许与浅分类器相结合。浅分类器可以是两类线性分类器，例如，其中可将特征向量分量的加权和与阈值作比较以预测输入属于哪一类。人类工程设计的特征可以是由拥有领域专业知识的工程师针对特定问题领域定制的模板或内核。相反，深度学习架构可学习以表示与人类工程师可能会设计的相似的特征，但它是通过训练来学习的。此外，深度网络可以学习以表示和识别人类可能还没有考虑过的新类型的特征。
深度学习架构可以学习特征阶层。例如，如果向第一层呈递视觉数据，则第一层可学习以识别输入流中的相对简单的特征(诸如边)。在另一示例中，如果向第一层呈递听觉数据，则第一层可学习以识别特定频率中的频谱功率。取第一层的输出作为输入的第二层可以学习以识别特征组合，诸如对于视觉数据识别简单形状或对于听觉数据识别声音组合。例如，更高层可学习以表示视觉数据中的复杂形状或听觉数据中的词语。再高层可学习以识别常见视觉对象或口语短语。
深度学习架构在被应用于具有自然阶层结构的问题时可能表现特别好。例如，机动交通工具的分类可受益于首先学习以识别轮子、挡风玻璃、以及其他特征。这些特征可在更高层以不同方式被组合以识别轿车、卡车和飞机。
神经网络可被设计成具有各种连通性模式。在前馈网络中，信息从较低层被传递到较高层，其中给定层中的每个神经元向更高层中的神经元进行传达。如上所述，可在前馈网络的相继层中构建阶层式表示。神经网络还可具有回流或反馈(也被称为自顶向下(top-down))连接。在回流连接中，来自给定层中的神经元的输出可被传达给相同层中的另一神经元。回流架构可有助于识别跨越不止一个按顺序递送给该神经网络的输入数据组块的模式。从给定层中的神经元到较低层中的神经元的连接被称为反馈(或自顶向下)连接。当高层级概念的识别可辅助辨别输入的特定低层级特征时，具有许多反馈连接的网络可能是有助益的。
参照图3a，神经网络的各层之间的连接可以是全连通的(302)或局部连通的(304)。在全连通网络302中，第一层中的神经元可将它的输出传达给第二层中的每个神经元，从而第二层中的每个神经元将从第一层中的每个神经元接收输入。替换地，在局部连通网络304中，第一层中的神经元可连接至第二层中有限数目的神经元。卷积网络306可以是局部连通的，并且被进一步配置成使得与针对第二层中每个神经元的输入相关联的连接强度被共享(例如，308)。更一般化地，网络的局部连通层可被配置成使得一层中的每个神经元将具有相同或相似的连通性模式，但其连接强度可具有不同的值(例如，310、312、314和316)。局部连通的连通性模式可能在更高层中产生空间上相异的感受野，这是由于给定区域中的更高层神经元可接收到通过训练被调谐为到网络的总输入的受限部分的性质的输入。
局部连通的神经网络可能非常适合于其中输入的空间位置有意义的问题。例如，被设计成识别来自车载相机的视觉特征的网络300可发展具有不同性质的高层神经元，这取决于它们与图像下部关联还是与图像上部关联。例如，与图像下部相关联的神经元可学习以识别车道标记，而与图像上部相关联的神经元可学习以识别交通信号灯、交通标志等。
可以用受监督式学习来训练dcn。在训练期间，可向dcn呈递图像(诸如限速标志的经裁剪图像326)，并且可随后计算“前向传递(forwardpass)”以产生输出322。输出322可以是对应于特征(诸如“标志”、“60”、和“100”)的值向量。网络设计者可能希望dcn在输出特征向量中针对其中一些神经元输出高得分，例如与经训练的网络300的输出322中所示的“标志”和“60”对应的那些神经元。在训练之前，dcn产生的输出很可能是不正确的，并且由此可计算实际输出与目标输出之间的误差。dcn的权重可随后被调整以使得dcn的输出得分与目标更紧密地对准。
为了调整权重，学习算法可为权重计算梯度向量。该梯度可指示在权重被略微调整情况下误差将增加或减少的量。在顶层，该梯度可直接对应于连接倒数第二层中的活化神经元与输出层中的神经元的权重的值。在较低层中，该梯度可取决于权重的值以及所计算出的较高层的误差梯度。权重可随后被调整以减小误差。这种调整权重的方式可被称为“后向传播”，因为其涉及在神经网络中的“后向传递(backwardpass)”。
在实践中，权重的误差梯度可能是在少量示例上计算的，从而计算出的梯度近似于真实误差梯度。这种近似方法可被称为随机梯度下降法。随机梯度下降法可被重复，直到整个系统可达成的误差率已停止下降或直到误差率已达到目标水平。
在学习之后，可向dcn呈递新图像326并且在网络中的前向传递可产生输出322，其可被认为是该dcn的推断或预测。
深度置信网络(dbn)是包括多层隐藏节点的概率性模型。dbn可被用于提取训练数据集的阶层式表示。dbn可通过堆叠多层受限波尔兹曼机(rbm)来获得。rbm是一类可在输入集上学习概率分布的人工神经网络。由于rbm可在没有关于每个输入应该被分类到哪个类的信息的情况下学习概率分布，因此rbm经常被用于无监督式学习。使用混合无监督式和受监督式范式，dbn的底部rbm可按无监督方式被训练并且可以用作特征提取器，而顶部rbm可按受监督方式(在来自先前层的输入和目标类的联合分布上)被训练并且可用作分类器。
深度卷积网络(dcn)是卷积网络的网络，其配置有附加的池化和归一化层。dcn已在许多任务上达成现有最先进的性能。dcn可使用受监督式学习来训练，其中输入和输出目标两者对于许多典范是已知的并被用于通过使用梯度下降法来修改网络的权重。
dcn可以是前馈网络。另外，如上所述，从dcn的第一层中的神经元到下一更高层中的神经元群的连接跨第一层中的各神经元被共享。dcn的前馈和共享连接可被利用于进行快速处理。dcn的计算负担可比例如类似大小的包括回流或反馈连接的神经网络的计算负担小得多。
卷积网络的每一层的处理可被认为是空间不变模板或基础投影。如果输入首先被分解成多个通道，诸如彩色图像的红色、绿色和蓝色通道，那么在该输入上训练的卷积网络可被认为是三维的，其具有沿着该图像的轴的两个空间维度以及捕捉颜色信息的第三维度。卷积连接的输出可被认为在后续层318和320中形成特征图，该特征图(例如，320)的每个要素从先前层(例如，318)中一定范围的神经元以及从该多个通道中的每一个通道接收输入。特征图中的值可以用非线性(诸如矫正)max(0,x)进一步处理。来自毗邻神经元的值可被进一步池化(这对应于降采样)并可提供附加的局部不变性以及维度缩减。还可通过特征图中神经元之间的侧向抑制来应用归一化，其对应于白化。
深度学习架构的性能可随着有更多被标记的数据点变为可用或随着计算能力提高而提高。现代深度神经网络用比仅仅十五年前可供典型研究者使用的计算资源多数千倍的计算资源来例行地训练。新的架构和训练范式可进一步推升深度学习的性能。经矫正的线性单元可减少被称为消失梯度的训练问题。新的训练技术可减少过度拟合(over-fitting)并因此使更大的模型能够达成更好的普遍化。封装技术可抽象出给定的感受野中的数据并进一步提升总体性能。
图3b是解说示例性深度卷积网络350的框图。深度卷积网络350可包括多个基于连通性和权重共享的不同类型的层。如图3b所示，该示例性深度卷积网络350包括多个卷积块(例如，c1和c2)。每个卷积块可被配置有卷积层、归一化层(lnorm)、和池化层。卷积层可包括一个或多个卷积滤波器，其可被应用于输入数据以生成特征图。尽管仅示出了两个卷积块，但本公开不限于此，而是，根据设计偏好，任何数目的卷积块可被包括在深度卷积网络350中。归一化层可被用于对卷积滤波器的输出进行归一化。例如，归一化层可提供白化或侧向抑制。池化层可提供在空间上的降采样聚集以实现局部不变性和维度缩减。
例如，深度卷积网络的平行滤波器组可任选地基于arm指令集被加载到soc100的cpu102或gpu104上以达成高性能和低功耗。在替换实施例中，平行滤波器组可被加载到soc100的dsp106或isp116上。另外，dcn可访问其他可存在于soc上的处理块，诸如专用于传感器114和导航120的处理块。
深度卷积网络350还可包括一个或多个全连通层(例如，fc1和fc2)。深度卷积网络350可进一步包括逻辑回归(lr)层。深度卷积网络350的每一层之间是要被更新的权重(未示出)。每一层的输出可以用作深度卷积网络350中后续层的输入以从第一卷积块c1处提供的输入数据(例如，图像、音频、视频、传感器数据和/或其他输入数据)学习阶层式特征表示。
在一个配置中，机器学习模型(诸如神经模型)被配置用于在计算网络中的激活时减少移位操作的数目以及在计算网络中的激活时平衡量化误差和溢出误差。该模型包括减少装置和/或平衡装置。在一个方面，减少装置和/或平衡装置可以被是配置成执行所叙述功能的通用处理器102、与通用处理器102相关联的程序存储器、存储器块118、局部处理单元202、和/或路由连接处理单元216。在另一配置中，前述装置可以是被配置成执行由前述装置所叙述的功能的任何模块或任何装置。
根据本公开的某些方面，每个局部处理单元202可被配置成基于模型的一个或多个期望功能特征来确定模型的参数，以及随着所确定的参数被进一步适配、调谐和更新而使这一个或多个功能特征朝着期望的功能特征发展。
定点神经网络的降低的计算复杂度
在一些情形中，网络(诸如深度卷积网络(dcn)或人工神经网络(ann))的定点表示在计算新的激活的中间步骤期间可能损失精度。在常规系统中，可通过增加乘法器-累加器(诸如乘法器-累加器)的位宽以执行计算来缓解精度的损失。增加的位宽还可被指定成在执行计算之后舍入各个位。
尽管如此，增加乘法器-累加器的位宽会增加硬件和/或软件实现的复杂度。此外，增加的乘法器-累加器位宽会增加存储器使用，诸如用于存储和检索中间结果的存储器。因此，期望限制乘法器-累加器位宽的大小以降低硬件复杂度、降低软件复杂度、和/或减少存储器使用。因此，本公开的各方面涉及在乘法器-累加器位宽约束情况下改善定点计算。
本公开的各方面涉及使用q数格式。尽管如此，可考虑其他格式。q数格式被表示为qm.n，其中m是整数部分的位数，并且n是分数的位数。在一个配置中，m不包括符号位。每个qm.n格式可使用具有n个分数位的m+n+1位有符号整数容器。在一个配置中，范围是[-(2m),2m-2-n)]，并且分辨率是2-n。例如，q14.1格式数可使用十六位。在该示例中，范围是[-214,214-2-1](例如，[-16384.0,+16383.5])并且分辨率是2-1(例如，0.5)。
在一个配置中，q数格式的扩展被指定成支持分辨率大于一或者最大范围小于一的实例。在一些情形中，负数的分数位可被指定用于大于一的分辨率。另外，负数的整数位可被指定用于小于一的最大范围。
在具有多层的网络(诸如人工神经网络)中，对层l+1中的第i个激活
在式(1)中，(l)表示第l层，n表示相加的次数，wi,j表示层l中的神经元j与层l中的神经元i之间的权重，并且bi表示对层l中的神经元i的偏置。此外，
图4解说了从常规系统中的乘法器-累加器输出中提取16位的示例。如先前讨论的，可基于式1来确定层l+1中的第i个激活。如式1中所示，对于每个神经元j，通过将乘积wi,jaj与偏置bi相加来计算激活。
在一些情形中，可采用16位定点表示。在示例性乘法器-累加器实现中，n可被指定成等于1000并且可用32位(31位+符号位)来表示wi,jaj。由此，可用42位(例如，32+log2(1000))的乘法器-累加器位宽来实现滤波器输出的无损表示。
因此，在本示例中，如图4中所示，使用具有格式q8.23的32位来表示乘积wi,jaj402。即，八位被指定用于整数并且二十三位被指定用于分数，并且一位被指定用于符号。在本示例中，权重wi,j可具有格式q4.11并且输入激活aj可具有格式q3.12。
此外，在本示例中，乘法器-累加器404被指定成存储乘积wi,jaj从j＝1到1000(例如，n)的和。由此，如先前讨论的，为了在存储乘积和时的无损表示，乘法器-累加器被指定42位的位宽。乘法器-累加器的增加的位宽还缓解了溢出和/或量化误差。图4解说了42位乘法器-累加器404的示例。
另外，在常规系统中，在确定乘积和并将该和存储在增加位宽的乘法器-累加器中之后，移除数个位以用于该和的最终表示。例如，如图4中所示，在确定乘积和并将其存储在乘法器-累加器404中之后，通过基于预定的输出数格式舍入十七个最低有效位(lsb)并移除九个最高有效位(msb)来产生16位输出406。可通过饱和来移除最高有效位。在一个配置中，预定输出数的格式。
如先前讨论的，增加乘法器-累加器位宽会增加硬件和/或软件实现的复杂度。此外，增加的乘法器-累加器位宽还会增加存储器使用。由此，在一些情形中，通过在执行计算时舍入各个位(诸如最低有效位)来减小(例如，限制)乘法器-累加器的位宽。
在一个示例中，如图5中所示，可使用32位来表示乘积wi,jaj502。此外，在该示例中，乘法器-累加器被限制于32位，尽管如此，如先前讨论的，指定42位来确定乘积和。因此，在该示例中，为了缓解溢出，在框504处，从乘积wi,jaj的表示中舍入十个最低有效位。另外，如框504中所示，系统可向乘积wi,jaj的表示添加十个最高有效位。所添加的最高有效位可具有零值。此外，增加十个最高有效位类似于执行右移十位。
另外，在该示例中，通过移除十个最低有效位并添加十个最高有效位，可确定乘积wi,jaj的和并将其存储在32位乘法器-累加器506中。最后，在该示例中，在确定乘积和并将其存储在乘法器-累加器506中之后，通过舍入十七个最低有效位并移除九个最高有效位来产生16位输出508。
尽管如此，舍入数个最低有效位来容适有限位宽的乘法器-累加器会引起量化误差(例如，舍入误差)。由此，本公开的各方面涉及减少被移位的位数来缓解在有限位宽的乘法器-累加器情况下的溢出。即，本公开的各方面减少从乘积中移除的最低有效位的数目以及被添加到乘积的最高有效位的数目。
如先前讨论的，预定被指定用于输出的位数(例如，16位)。由此，基于预定的输出，系统确定应当被移位的位数以使得溢出的概率小于阈值。
如图6中所示，可使用32位来表示乘积wi,jaj602。此外，在一个配置中，基于预定的输出，系统确定应当移位四位以使得溢出的概率小于阈值。在一个示例中，如图6中所示，基于预定的输出，在框604处，为了缓解溢出，从乘积wi,jaj的表示中舍入四个最低有效位。另外，如框604中所示，向乘积wi,jaj的表示添加四个最高有效位。所添加的最高有效位可具有零值。
另外，如图6中所示，通过移除四个最低有效位并添加四个最高有效位，可确定乘积wi,jaj的和并将其存储在32位乘法器-累加器606中。最后，在该示例中，在确定乘积wi,jaj的和并将其存储在乘法器-累加器606中之后，通过舍入十三个最低有效位并移除三个最高有效位来产生q9.6的预定格式的16位输出608。
在另一配置中，可在执行位位置的移位之前将乘积wi,jaj的数个(k个)项相加。在该配置中，移位操作的数目将减小k倍。可在寄存器(诸如mac的寄存器)中执行k次相加，并且可在写入存储器之前执行移位操作。根据本公开的各方面，移位操作的数目是指用于定点数的位位置的移位的数目。此外，移位操作是指位位置的移位。
具体而言，在一个配置中，可在执行位位置的移位之前将k项相加。此外，可随后对k项的和执行位位置的移位。此外，在执行位位置的移位之后，可将另外的k项相加并且可执行位位置的另一移位。可执行将k项相加以及将位位置移位的步骤直至获得期望的输出。
可基于溢出(诸如乘法器-累加器溢出)的概率来确定k的值。即，k的值可被设置为特定值以使得溢出的概率小于或等于阈值。另外地或替换地，可基于性能和/或其他因素(诸如高速缓存的大小)来推导k的值。例如，k可基于减少移位操作的数目与防止溢出误差之间的平衡。在另一配置中，改变数格式以减少位位置的移位数目或避免位位置的移位。即，可修改输入激活的数格式和/或权重的数格式以减少位位置的移位数目或避免位位置的移位。在该配置中，当乘积
例如，权重wi,j可具有q4.11的格式，输入激活aj可具有q3.12的格式，并且输出可具有q9.6的格式。基于基线设计，乘积wi,jaj可具有q8.23的格式。在该示例中，未修改数格式。由此，由于八小于九(例如，q8.23<q9.6)，因此移位操作可被指定成产生格式q9.6的输出。
在另一示例中，输入激活aj的格式从q3.12改变到q5.10，以使得乘积wi,jaj可具有q10.21的格式。由此，由于十大于九(例如，q10.21>q9.6)，因此可避免位位置的移位以产生格式q9.6的输出。根据本公开的各方面，当溢出的概率等于或小于阈值时可修改数格式。当然，本公开的各方面不限于仅修改输入激活aj的格式，本公开的各方面还被构想用于修改权重wi,j、激活aj、和/或任何其它类型的数的格式。
图7a解说了在不修改数格式的情况下确定乘积和的示例。如图7a中所示，可使用32位来表示乘积wi,jaj702。此外，如先前讨论的，基于预定的输出，系统确定应当移位两位以使得溢出的概率小于阈值。在一个示例中，如图7a中所示，基于预定的输出，在框704处，为了缓解溢出，从乘积wi,jaj的表示中舍入两个最低有效位。另外，如框704中所示，向乘积wi,jaj的表示添加两个最高有效位。
另外，如图7a中所示，通过移除两个最低有效位并添加两个最高有效位，可确定乘积和并将其存储在32位乘法器-累加器706中。最后，在该示例中，在确定乘积wi,jaj的和并将其存储在乘法器-累加器706中之后，通过舍入十五个最低有效位并移除一个最高有效位来产生q9.6的预定格式的16位输出708。
图7b解说了通过修改数格式来确定乘积和的示例。如图7b中所示，可使用32位来表示乘积wi,jaj710。此外，如先前讨论的，可修改输入激活aj的数格式和/或权重wi,j的数格式以减少位位置的移位数目或避免位位置的移位。在本示例中，如图7b中所示，可修改输入激活aj的数格式和/或权重wi,j的数格式以使得乘积710具有q10.21的数格式。如先前讨论的，由于十大于九(例如，q10.21>q9.6)，因此可避免位位置的移位以产生具有q9.6的格式的输出。由此，在本示例中，可避免位位置的移位。因此，与图7a的示例形成对比，在本示例中，在框712处未指定移位操作。
此外，如图7b中所示，可确定乘积和并将其存储在32位乘法器-累加器714中，最后，在该示例中，在确定乘积wi,jaj的和并将其存储在乘法器-累加器714中之后，通过舍入十五个最低有效位并移除一个最高有效位来产生q9.6的预定格式的16位输出716。
在另一配置中，在修改数格式时，数格式被选择为使得不移除最高有效位来实现q9.6的预定格式。
图7c解说了通过修改数格式来确定乘积和的示例。如图7c中所示，可使用32位来表示乘积wi,jaj720。此外，如先前讨论的，可修改输入激活aj的数格式和/或权重wi,j的数格式以减少位位置的移位数目或避免位位置的移位。在本示例中，如图7c中所示，可修改输入激活aj的数格式和/或权重wi,j的数格式以使得乘积720具有q9.22的数格式。在本示例中，由于当前数格式(例如，q9.22)的整数数目等于预定输出(例如，q9.6)的整数数目，因此可避免位位置的移位以产生具有q9.6格式的输出。由此，与图7a的示例形成对比，在本示例中，在框722处未指定移位操作。
此外，如图7c中所示，可确定乘积wi,jaj的和并将其存储在32位乘法器-累加器724中，最后，在该示例中，在确定乘积wi,jaj的和并将其存储在乘法器-累加器724中之后，通过舍入十六个最低有效位来产生q9.6的预定格式的16位输出726。此外，在本示例中，由于当前数格式(例如，q9.22)的整数数目等于预定输出(例如，q9.6)的整数数目，因此不移除最高有效位。
如先前讨论的，可修改输入激活aj和/或权重wi,j的数格式以增加输入激活aj和/或权重wi,j的整数位数(例如，减少分数位数)。作为该修改的结果，增加了乘积wi,jaj的整数位数。
尽管如此，在一些情形中，减少分数位数会降低定点表示的分辨率并且会降低性能。由此，在一些情形中，可能期望测量因变于量化器分辨率变化的性能灵敏度，以确定要从输入激活aj和/或权重wi,j中移除的分数位数。
在示例性网络中，当输入激活aj和权重wi,j具有相同位宽时，系统性能可具有针对权重wi,j的分辨率变化的增加的灵敏度。此外，在一些情形中，当输入激活aj和权重wi,j具有相同位宽时，可能期望移除一个分数位。即，可从输入激活aj中移除一个分数位以降低对性能的影响。
在一个配置中，增加输入激活aj和/或权重wi,j的表示中的整数位数。此外，整数位数的增加可与在执行移位之前将wi,jaj的数个(k个)项相加相组合。在该配置中，增加了在移位操作之前可以执行的相加次数(k)。由此，增加输入激活aj和/或权重wi,j的整数位数可增加乘积wi,jaj的动态范围，并且由此可降低溢出的可能性。
图8解说了用于降低在乘法器-累加器具有有限位宽的系统中进行操作的定点机器学习网络(例如，神经网络)的计算复杂度的方法800。在框802中，指定有限位宽的乘法器-累加器。此外，在框804中，网络确定是否能够减少移位操作的数目同时使溢出的概率小于或等于阈值。如果不能够减少移位操作的数目，则在框806处，基于预期的相加次数来将乘积的位位置移位。在框806中，移位操作的数目是第一数目。在执行位位置的移位之后，确定乘积和并将其存储在乘法器-累加器中(框808)。最后，在框810处，舍入数个最低有效位并移除数个最高有效位以使得乘法器-累加器的输出是根据预定的输出数格式的。
替换地，如果能够减少移位操作的数目(804：是)，则在框814处，将乘积的位位置移位，其中，位位置的移位数目基于预定的输出数格式。在框814中，移位操作的数目是小于第一数目的第二数目。可任选地，在一个配置中，在执行位位置的移位之前，在框812处，将乘积的数个(k个)项相加。在一个配置(未示出)中，可连续地执行各项的相加(框812)和移位操作(框814)直至所有乘积被相加。
在执行位位置的移位之后，在框808处，确定乘积和并将其存储在乘法器-累加器中。最后，在框810处，舍入数个最低有效位并移除数个最高有效位以使得乘法器-累加器的输出是根据预定的输出数格式的。
图9解说了用于降低在乘法器-累加器具有有限位宽的系统中进行操作的定点机器学习网络(例如，神经网络)的计算复杂度的方法900。在框902中，网络在计算该网络中的激活时减少移位操作的数目。此外，在框904中，网络在计算该网络中的激活时平衡量化误差和溢出误差。
以上所描述的方法的各种操作可由能够执行对应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或(诸)软件组件和/或(诸)模块，包括但不限于电路、专用集成电路(asic)、或处理器。一般而言，在附图中有解说的操作的场合，那些操作可具有带相似编号的对应配对装置加功能组件。
如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或另一数据结构中查找)、探知及诸如此类。另外，“确定”可包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)、及类似动作。此外，“确定”可包括解析、选择、选取、确立及类似动作。
如本文所使用的，引述一列项目中的“至少一者”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。
结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文所描述功能的通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列信号(fpga)或其他可编程逻辑器件(pld)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如，dsp与微处理器的组合、多个微处理器、与dsp核心协同的一个或多个微处理器、或任何其它此类配置。
结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(ram)、只读存储器(rom)、闪存、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、寄存器、硬盘、可移动盘、cd-rom，等等。软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。
本文所公开的方法包括用于实现所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以修改而不会脱离权利要求的范围。
所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现，则示例硬件配置可包括设备中的处理系统。处理系统可以用总线架构来实现。取决于处理系统的具体应用和整体设计约束，总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接到处理系统。网络适配器可用于实现信号处理功能。对于某些方面，用户接口(例如，按键板、显示器、鼠标、操纵杆，等等)也可以被连接到总线。总线还可以链接各种其他电路，诸如定时源、外围设备、稳压器、功率管理电路以及类似电路，它们在本领域中是众所周知的，因此将不再进一步描述。
处理器可负责管理总线和一般处理，包括执行存储在机器可读介质上的软件。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、dsp处理器、以及其他能执行软件的电路系统。软件应当被宽泛地解释成意指指令、数据、或其任何组合，无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例，机器可读介质可包括随机存取存储器(ram)、闪存、只读存储器(rom)、可编程只读存储器(prom)、可擦式可编程只读存储器(eprom)、电可擦式可编程只读存储器(eeprom)、寄存器、磁盘、光盘、硬盘驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可以包括包装材料。
在硬件实现中，机器可读介质可以是处理系统中与处理器分开的一部分。然而，如本领域技术人员将容易领会的，机器可读介质或其任何部分可在处理系统外部。作为示例，机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品，所有这些都可由处理器通过总线接口来访问。替换地或补充地，机器可读介质或其任何部分可被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置，诸如局部组件，但它们也可按各种方式来配置，诸如某些组件被配置成分布式计算系统的一部分。
处理系统可以被配置为通用处理系统，该通用处理系统具有一个或多个提供处理器功能性的微处理器、以及提供至少一部分机器可读介质的外部存储器，它们都通过外部总线架构与其他支持电路系统链接在一起。替换地，该处理系统可以包括一个或多个神经元形态处理器以用于实现本文所述的神经元模型和神经系统模型。作为另一替换方案，处理系统可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路系统、和至少一部分机器可读介质的专用集成电路(asic)来实现，或者用一个或多个现场可编程门阵列(fpga)、可编程逻辑器件(pld)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路系统、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体系统上的总设计约束，本领域技术人员将认识到如何最佳地实现关于处理系统所描述的功能性。
机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理系统执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬驱动器中将软件模块加载到ram中。在软件模块执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。随后可将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时，将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。此外，应领会，本公开的各方面产生对处理器、计算机、机器或实现此类方面的其它系统的机能的改进。
如果在软件中实现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机存取的任何可用介质。作为示例而非限定，此类计算机可读介质可包括ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，任何连接被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)、或诸如红外(ir)、无线电、以及微波之类的无线技术从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、dsl、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(cd)、激光碟、光碟、数字多用碟(dvd)、软盘和
由此，某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如，此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包括包装材料。
此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合到服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文所描述的各种方法能经由存储装置(例如，ram、rom、诸如压缩碟(cd)或软盘等物理存储介质等)来提供，以使得一旦将该存储装置耦合至或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供本文所描述的方法和技术的任何其他合适的技术。
将理解，权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种修改、变更和变型而不会脱离权利要求的范围。