一种数据处理系统及方法
【技术领域】
[0001]本发明涉及计算机领域，具体涉及数据处理方法及系统。
【背景技术】
[0002]2006年，加拿大多伦多大学教授、机器学习领域泰斗--Geoffrey Hinton和他的学生Ruslan Salakhutdinov在顶尖学术刊物《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。自2006年以来，深度学习在学术界持续升温。斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为研究深度学习的重镇。2010年，美国国防部DARPA计划首次资助深度学习项目，参与方有斯坦福大学、纽约大学和NEC美国研究院。支持深度学习的一个重要依据，就是脑神经系统的确具有丰富的层次结构。一个最著名的例子就是Hubel-ffiesel模型，由于揭示了视觉神经的机理而曾获得诺贝尔医学与生理学奖。除了仿生学的角度，目前深度学习的理论研究还基本处于起步阶段，但在应用领域已显现出巨大能量。2011年以来，微软研究院和Google的语音识别研究人员先后采用DNN技术降低语音识别错误率20%?30%，是语音识别领域十多年来最大的突破性进展。2012年，DNN技术在图像识别领域取得惊人的效果，在ImageNet评测上将错误率从26%降低到15%。在这一年，DNN还被应用于制药公司的Druge Activity预测问题，并获得世界最好成绩，这一重要成果被《纽约时报》报道。
[0003]如今Google、微软、百度等知名的拥有大数据的高科技公司争相投入资源，占领深度学习的技术制高点，正是因为它们都看到了在大数据时代，更加复杂且更加强大的深度模型能深刻揭示海量数据里所承载的复杂而丰富的信息，并对未来或未知事件做更精准的预测。
[0004]目前深度学习应用包括语音识别、图像识别、自然语言处理、搜索广告CTR预估等，这些应用的计算量十分巨大，其需要大规模计算，采用GPU高性能计算将进一步提升应用处理效率，基于GPU来设计深度学习系统是一个不错的选择。
【发明内容】
:
[0005]本发明提供一种数据处理系统及方法，提高了计算效率。
[0006]为解决上述技术问题，本发明提供一种数据处理系统，所述系统包括:一个主节点，多个从节点；
[0007]所述主节点用于分批读取待处理的数据；还用于每次读取后将待处理的数据分发到各从节点，根据各所述从节点返回的权重更新网络，将所述更新后的网络信息参数发送给各所述从节点后，读取下一批待处理的数据；
[0008]所述从节点用于对接收的所述主节点分发的数据进行前向后向计算后得出权重，返回给所述主节点。
[0009]优选地，
[0010]所述主节点包括两个CPU和一个GPU ；[0011 ]所述从节点包括两个CPU和两个GPU ；
[0012]所述主节点及所述各从节点采用CPU和GPU异构架构的混合集群系统模式。
[0013]优选地，
[0014]所述系统还包括并行分布式Lustre存储:
[0015]所述主节点用于分批读取待处理的数据具体是指:
[0016]所述主节点从所述Lustre存储中并行读取数据。
[0017]优选地，
[0018]所述Lustre存储支持多进行或多线程并行读写。
[0019]优选地，
[0020]所述主节点与所述各从节点之间采用远程直接数据存取RDMA方式接收/发送数据。
[0021]优选地，
[0022]所述从节点配置1块IB网卡，所述主节点和所述各从节点之间通过IB网络互连；
[0023]所述主节点及所述各节点内CPU与GPU之间通过PCIE 3.0标准。
[0024]优选地，
[0025]所述从节点的个数不大于8。
[0026]本发明还提供一种数据处理的方法，应用于如权利要求1至7任一所述的系统中，所述方法包括:
[0027]步骤S1、所述主节点读取待处理的数据分发到各从节点；
[0028]步骤S2、所述主节点接收所述各从节点返回的权重；
[0029]步骤S3、所述主节点根据所述各从节点返回的权重更新网络，并将所述更新后的网络信息参数发送给所述各从节点。
[0030]步骤S4、主节点发送更新后的网络后，检查是否还存在待处理的数据，如果存在，则返回S1。
[0031]优选地，
[0032]所述步骤S1后，步骤S2前，所述方法还包括:
[0033]步骤S11、所述各从节点的GPU根据所述网络信息参数对接收的所述主节点分发的数据进行前向后向计算后得出权重；
[0034]所述S2包括:
[0035]所述主节点的GPU接收所述各从节点发送的权重。
[0036]优选地，
[0037]所述步骤S1前，所述方法还包括:
[0038]步骤S0、所述主节点从并行分布式Lustre存储中并行读取数据。
[0039]上述方案采用主从计算模式，从而减少了深度学习应用处理时间，提升了计算效率。
【附图说明】
[0040]图1为实施例一中的数据处理系统的结构示意图；
[0041]图2为实施例一中的数据处理方法的流程图；
[0042]图3为实施例二中的数据处理系统的结构示意图；
[0043]图4为实施例二中的Lustre存储与主节点的连接示意图；
[0044]图5为实施例二中的数据处理系统的逻辑关系示意图。
【具体实施方式】
[0045]为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
[0046]实施例一
[0047]如图1所示，本发明提供一种数据处理系统，所述系统包括:一个主节点11，多个从节点12 ;
[0048]所述主节点11用于分批读取待处理的数据；还用于每次读取后将待处理的数据分发到各从节点，根据各所述从节点返回的权重更新网络，将所述更新后的网络信息参数发送给各所述从节点后，读取下一批待处理的数据；
[0049]所述从节点12用于对接收的所述主节点分发的数据进行前向后向计算后得出权重，返回给所述主节点。
[0050]在本实施例中，从节点的个数可以设置为不大于8。主节点11包括两个CPU121和一个GPU122 ;从节点12包括两个CPU121和两个GPU122 ;主节点及各从节点采用CPU和GPU异构架构的混合集群系统模式。
[0051]优选地，
[0052]所述系统还包括并行分布式Lustre存储13:Lustre存储13支持多进行或多线程并行读写。主节点11从Lustre存储中并行读取数据。
[0053]主节点与各从节点之间采用远程直接数据存取RDMA方式接收/发送数据。
[0054]优选地，
[0055]从节点12配置1块IB网卡，主节点11和各从节点12之间通过IB网络互连；主节点11及各节点内CPU与GPU之间通过PCIE 3.0标准。
[0056]如图2所示，本发明还提供一种数据处理的方法，应用于如权利要求1至7任一所述的系统中，所述方法包括:
[0