深度神经网络的运算系统及运算方法
【技术领域】
[0001]本发明涉及运算结构领域，特别是涉及一种深度神经网络的运算系统及运算方法。
【背景技术】
[0002]目前，业内进行广告投放时，广泛使用了基于广告点击率预估的方法对广告进行排序。具体方法为，首先通过深度神经网络预估候选广告的点击率，即广告点击率预估值(pCTR，predicted click-through rate)，然后基于 pCTR 计算广告的质量度(Quality)，最后将广告按照出价(Bid)*Quality逆序排列并展现，出价越高且质量度越高的广告排序越靠前。在排序时遵循普遍二级价格拍卖(GSP，Generalized SecondPrice Auct1n)机制，该机制可以最大化搜索引擎的收益，达到GSP均衡。因此一个较好的深度神经网络的运算系统可以较为快速以及较为准确的获取广告点击率预估值。
[0003]如图1所示，图1为现有的深度神经网络的运算系统的结构示意图。该深度神经网络的运算系统10包括主服务器101、多个中心参数服务器102以及多个计算单元103。其中主服务器101负责训练任务的下发以及调度。多个中心参数服务器102具有计算模型的不同分片，用于通过网络将计算模型传输给相应的计算单元103、接收计算单元103上报的计算梯度，并将该计算梯度与相应的计算模型进行合并操作。多个计算单元103从中心参数服务器102获取最近的计算模型，分批处理计算模型的训练计算过程，并将计算出来的计算梯度上报至相应的中心参数服务器102。
[0004]上述运算系统10进行计算模型的参数训练时，将耗费大量的时间以及通信能力在计算模型的拉取、计算梯度的接收以及计算模型与计算梯度的合并操作上，这样导致网络通信的开销巨大，且对中心参数服务器102的要求较高。
【发明内容】
[0005]本发明实施例提供一种计算效率较高且网络通信开销较小的深度神经网络的运算系统及运算方法；以解决现有的深度神经网络的运算系统及运算方法的计算效率较低以及网络通信开销较大的技术问题。
[0006]本发明实施例提供一种深度神经网络的运算系统，其包括:
[0007]主服务器，用于将训练任务的下发至计算模块以及中心参数服务器的逻辑控制；
[0008]多个中心参数服务器，用于根据所述计算模块的传输请求，将计算模型传输至相应的计算模块；以及接收所述计算模块上报的计算梯度，并根据所述计算梯度对相应的所述计算模型进行更新操作；以及
[0009]多个所述计算模块，包括:
[0010]本地参数服务器，用于按计算周期，从所述中心参数服务器下载相应的所述计算模型，并将所述计算模型分发至各个计算单元；以及按所述计算周期，接收所述计算单元上报的计算梯度，并对所述计算梯度进行累加，以将累加后的计算梯度上传至所述中心参数服务器；以及
[0011]多个所述计算单元，用于根据所述训练任务生成相应的所述传输请求；根据所述计算模型进行训练计算，以得到相应计算梯度；以及将所述计算梯度上报至所述本地参数服务器。
[0012]本发明实施例还提供一种用于深度神经网络的运算系统的运算方法，其中所述运算系统包括主服务器、多个中心参数服务器以及多个计算模块；每个所述计算模块包括本地参数服务器以及多个计算单元；其中所述运算方法包括:
[0013]所述主服务器将训练任务的下发至所述计算模块，所述计算模块根据所述训练任务生成传输请求；
[0014]所述中心参数服务器根据所述传输请求，将计算模型传输至相应的所述计算模块；
[0015]所述计算模块的所述本地参数服务器按计算周期，从所述中心参数服务器下载所述计算模型，并将所述计算模型分发至各个所述计算单元；
[0016]所述计算模块的所述计算单元根据所述计算模型进行训练计算，以得到相应的计算梯度，并将所述计算梯度上报至所述本地参数服务器；
[0017]所述本地参数服务器按所述计算周期，接收所述计算单元上报的计算梯度，并对所述计算梯度进行累加，以得到累加后的计算梯度；以及
[0018]所述中心参数服务器接收所述累加后的计算梯度，并根据所述累加后的计算梯度对相应的所述计算模型进行更新操作。
[0019]相较于现有技术的深度神经网络的运算系统及运算方法，本发明的深度神经网络的运算系统及运算方法通过设置本地参数服务器，提高了运算系统的计算效率，降低了运算系统的网络通信开销；解决了现有的深度神经网络的运算系统及运算方法的计算效率较低以及网络通信开销较大的技术问题。
【附图说明】
[0020]图1为现有的深度神经网络的运算系统的结构示意图。
[0021]图2为本发明的深度神经网络的运算系统的优选实施例的结构示意图；
[0022]图3为本发明的深度神经网络的运算系统的优选实施例的本地参数服务器的结构示意图；
[0023]图4为本发明的用于深度神经网络的运算系统的运算方法的优选实施例的流程图；
[0024]图5为本发明的深度神经网络的运算系统及运算方法中的计算模型的存储示意图；
[0025]图6为本发明的深度神经网络的运算系统及运算方法中的计算模型的分发示意图；
[0026]图7为本发明的深度神经网络的运算系统及运算方法中的计算梯度的累加示意图；
[0027]图8为本发明的深度神经网络的运算系统及运算方法中的计算模型的更新示意图；
[0028]图9为本发明的深度神经网络的运算系统所在的电子设备的工作环境结构示意图。
【具体实施方式】
[0029]请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。
[0030]在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
[0031]本发明的深度神经网络的运算系统可使用具有计算能力的电子设备进行实施，该电子设备包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。本发明的深度神经网络的运算系统通过设置本地参数服务器，提高了运算系统的计算效率，降低了运算系统的网络通信开销。
[0032]请参照图2，图2为本发明的深度神经网络的运算系统的优选实施例的结构示意图。本优选实施例的深度神经网络的运算系统20包括主服务器201、多个中心参数服务器202以及多个计算模块205。
[0033]主服务器201用于将训练任务的下发至计算模块205以及中心参数服务器202的逻辑控制；中心参数服务器202用于根据计算模块205的传输请求，将计算模型传输至相应的计算模块205 ;以及接收计算模块205上报的计算梯度，并根据计算梯度对相应的计算模型进行更新操作。
[0034]计算模块205包括本地参数服务器203以及多个计算单元204。本地参数服务器203用于按计算周期，从中心参数服务器202下载相应的计算模型，并将计算模型分发至各个计算单元204 ;以及按计算周期，接收计算单元204上报的计