专利名称：一种分布式处理方法、系统及其装置的制作方法
技术领域：
本发明涉及数据处理领域，特别是涉及一种分布式数据的处理和实现。
技术背景随着互联网的高速发展，大量涉及海量数据分析，计算，统计的需求需要人们去解决，例如WEB访问日志的分析，特别是一些大型网站的每天的日 志量已经达到T级别，这些海量数据的处理任务是不可能依靠一台机器来完 成的。并且当系统处理能力不够需要升级的时候，也不能有效的实现平滑过 渡，而要撤换整台机器，造成资源浪费。因此人们提出了分布式计算的概念， 通过多台相对低性能的机器来分布式分析，计算和统计的话，可以大量的节 约成本和计算的时间。现有4支术对于分布式处理采用不同的分布式节点处理不同的业务类型的 方法，借此实现分布式数据的处理。例如对于日志分析，根据业务配置情况 分配不同的分布式节点来处理，例如某网站有以下几个业务类型，拍卖，"i仑 坛，新闻。在日志分析的时候，就将上述三项业务类型产生的日志分别指定 三个分布式节点来处理，各个分布式节点只处理一项业务类型，例如对于分 布式节点智能处理拍卖产生的日志，而对于论坛和新闻产生的日志则其无权 处理。现有技术的缺点是 一、原本有逻辑的访问日志被人为的切分开了，例 如某用户先访问论坛，再浏览新闻，这样的情况就不能在结果中体现。二、 分布式节点完全和业务类型相关，切分不灵活，如果新增加一分布式节点， 则必须根据业务类型对该分布式节点进行配置，不能有效的利用，并且各个业务类型的访问量可能有很大差别。三、配置复杂，每台机器的日志分析程 序都要进行配置。四、原来的分布式处理只是针对网站日志处理的，不能推 广到其他应用上面。
发明内容
本发明要解决的问题是提供一种分布式处理方法、系统及其装置以提高 编写分布式应用的效率。
为达到上述目的，本发明实施例的技术方案提出一种分布式数据处理方
法，包括以下步骤在分布式服务器上部署分布式应用文件；分布式服务器将 所述分布式应用文件下发给各个分布式节点；所述分布式节点执行所述分布
回。其中，在所述分布式节点将文件取回之后，还包括以下步骤所述分布 式节点将处理结果返回给所述分布式服务器。
其中，在所述分布式节点将处理结果返回给所述分布式服务器之后，还 包括以下步骤所述分布式服务器将各个分布式节点返回的处理结果合并。
其中，在所述分布式节点将处理结果返回给所述分布式服务器之后，还 包括以下步骤判断分配到所述分布式应用文件的分布式节点是否全部完成
理结果合并。
其中，所述分布式节点将所述分布式应用文件分配给所述分布式节点处 理的数据取回，具体包括以下步骤如果所述分布式应用文件分配给所述分 布式节点处理的数据在共享资源上，则所述分布式节点向所述分布式服务器 申请资源；所述分布式服务器将所述共享资源锁定，只能由所述申请的分布 式节点使用；所述分布式节点在将所述文件取回后通知所述分布式服务器释 放所述共享资源。
其中，在所述分布式节点将文件从所述共享资源取回前，还包括以下步 骤所述分布式服务器根据所述配置信息设置全局文件；在所述分布式节点 将文件从所述共享资源取回之后，还包括，所述分布式节点将从所述共享资所
述分布式节点向所述分布式服务器发送请求获取所述全局文件；根据所述全 局文件将所述全局文件包含的所有文件取回。
其中，在所述分布式节点将处理结果返回给所述分布式服务器之前，还
包括以下步骤所述分布式服务器建立与所述分布式应用文件对应的数据库 表。
其中，在所述分布式节点将处理结果返回给所述分布式服务器之后，还 包括以下步骤所述各个分布式节点完成分布式计算任务后自动将计算结果 信息插入所述数据库表；所述分布式服务器将所述数据库表中的数据合并。
为达到上述目的，本发明实施例的技术方案还提出一种分布式数据处理 系统，包括至少一个分布式节点和至少一个分布式服务器，所述分布式服务 器用于接受用户的分布式应用文件并对与所述分布式服务器连接的所述分布 式节点进行管理，所述分布式节点用于接收并执行所述分布式服务器下发的 分布式应用文件，并将所述分布式应用文件分配给所述分布式节点处理的数 据取回。其中，所述分布式服务器包括任务分配执行模块，用于将分布式应 用文件下发给各个分布式节点。
其中，所述分布式节点包括文件处理模块，用于执行所述分布式应用文 件，并将所述分布式应用文件分配给所述分布式节点处理的数据取回。
其中，所述任务分配执行模块还包括线程组管理子模块，用于管理所述 各个分布式节点的执行情况，判断分配到所述分布式应用文件的分布式节点 是否全部完成了处理任务。
其中，所述任务分配执行模块还包括多线程管理子模块，用于当所述分 布式系统同时处理多个所述分布式应用文件时，针对所述不同的分布式应用 文件管理所述各个分布式节点的执行情况，判断分配到同 一分布式应用文件 的分布式节点是否全部完成了处理任务。
其中，所述分布式服务器还包括资源锁管理模块，用于管理共享资源， 当所述分布式节点向所述分布式服务器申请资源时，将所述共享资源锁定只 能由所述申请的分布式节点使用；并在所述分布式节点将所述文件取回后释;故所述共享资源。
其中，所述分布式服务器还包括分布式文件处理模块，用于根据所述分 布式应用文件生成全局文件，所述全局文件由所述各个分布式节点上的本地 文件构成，所述分布式节点将所述分布式节点上的本地文件向所述分布式服 务器上的全局文件注册，并通过所述全局文件读写所述全局文件包含的所有 文件。
其中，所述分布式服务器还包括数据合并模块，用于建立与所述分布式 应用文件对应的数据库表，并在所述各个分布式节点自动将计算结果信息插 入所述数据库表后将所述数据库表中的数据合并。
本发明实施例的技术方案还提出一种分布式服务器，包括任务分配执行 -溪块，用于将分布式应用文件下发给各个分布式节点。
其中，所述任务分配执行模块还包括线程组管理子模块，用于管理所述 各个分布式节点的执行情况，判断分配到所述分布式应用文件的分布式节点 是否全部完成了处理任务。
其中，所述任务分配执行模块还包括多线程管理子模块，用于当所述分 布式系统同时处理多个所述分布式应用文件时，针对所述不同的分布式应用 文件管理所述各个分布式节点的执行情况，判断分配到同一分布式应用文件 的分布式节点是否全部完成了处理任务。
其中，分布式服务器还包括资源锁管理模块，用于管理共享资源，当所 述分布式节点向所述分布式服务器申请资源时，将所述共享资源锁定只能由 所述申请的分布式节点使用；并在所述分布式节点将所述文件取回后释放所 述共享资源。
其中，分布式服务器还包括分布式文件处理模块，用于根据所述分布式 应用文件生成全局文件，所述全局文件由所述各个分布式节点上的本地文件 构成，所述分布式节点将所述分布式节点上的本地文件向所述分布式服务器 上的全局文件注册，并通过所述全局文件读写所述全局文件包含的所有文件。
其中，分布式服务器还包括数据合并模块，用于建立与所述分布式应用 文件对应的数据库表，并在所述各个分布式节点自动将计算结果信息插入所述数据库表后将所述数据库表中的数据合并。本发明实施例的技术方案还提出一种分布式节点，包括文件处理模块， 用于执行所述分布式应用文件，并将所述分布式应用文件分配给所述分布式 节点处理的数据取回。通过本发明实施例，用户只需要编写分布式应用的代码，而不需要考虑 分布式应用的细节，因此用户编写分布式应用的效率大大提高。在用户编写 完分布式应用后，只需要在分布式服务器上就可完成部署和发布。
图1为本发明实施例分布式数据处理系统结构图； 图2为本发明实施例分布式数据处理方法流程图； 图3为本发明实施例另一种分布式数据处理方法流程图； 图4为本发明实施例的另一种分布式数据处理方法流程图； 图5为本发明实施例的在分布式服务器上设置全局文件的分布式数据 处理方法流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式
作进一步详细描述 如图l所示，为本发明实施例分布式数据处理系统结构图。 该分布式数据处理系统包括至少一个分布式服务器1和至少一个分布 式节点2,其中，分布式服务器1用于接受用户部署的分布式应用文件并 对与分布式服务器i连接的分布式节点2进行管理，该分布式应用文件包 括流程控制部分和逻辑计算部分，流程控制部分用于对分布式计算的流程 进行控制，例如开始分布式任务、执行逻辑计算部分中的一个或多个逻辑 计算任务、结束该分布式计算任务并根据分布式应用文件合并结果。分布式 节点2用于接收分布式服务器1下发的分布式应用文件并执行该分布式应用 文件，将该分布式应用文件分配给分布式节点2处理的数据取回，并将处理 结果返回给分布式服务器1;分布式服务器1在判断该分布式应用文件所分配的所有分布式节点2均完成处理任务后，执行数据合并操作，得到最终的处 理结果，并释放资源清除任务。其中，分布式服务器1包括任务分配执行模块13、资源锁管理才莫块ll、分布式文件处理模块12和数据合并模块14。任务分配执行模块13用于将用 户部署的分布式应用文件下发给各个分布式节点，并对各个分布式节点进行 管理；资源锁管理模块11用于管理共享资源，当分布式节点2向分布式服务 器1申请资源时，将共享资源锁定只能由申请的分布式节点2使用，并在分 布式节点2将文件取回后释放该共享资源；分布式文件处理模块12,用于根 据用户部署的分布式应用文件生成全局文件，该全局文件由各个分布式节点2 上的本地文件构成，分布式节点2将分布式节点2上的本地文件向分布式服 务器1上的全局文件注册，可以通过全局文件读写该全局文件包含的所有文 件；数据合并模块14，用于建立与用户部署的分布式应用文件对应的数据库 表，并在各个分布式节点2自动将计算结果信息插入该数据库表后将该数据 库表中的数据合并。其中，分布式节点2包括文件处理模块，用于执行分布式服务器1下发 的分布式应用文件，并将该分布式应用文件分配给分布式节点处理的数据取 回。其中，分布式服务器1中的任务分配执行模块13包括命令解析子模块 131、网络传输子模块132、线程组管理子模块133和多线程管理子模块134。 命令解析子沖莫块131用于将向分布式节点2发送的分布式应用文件进行打包， 生成可以在网络上传输的数据，交由网络传输子模块132通过TCP/IP协议发 送给分布式节点2,还可通过自定义的传输应用层协议，该协议包括字头+ 长度+地址+保留字+序列号+命令字+数据，其中数据采用了 Base64的编码； 线程组管理子模块133用于管理所述各个分布式节点的执行情况，判断分配子模块134用于当所述分布式系统同时处理多个所述分布式应用文件时，针 对不同的分布式应用文件管理所述各个分布式节点的执行情况，判断分配到 同一分布式应用文件的分布式节点是否全部完成了处理任务。其中，分布式服务器1还包括分布式应用文件模块15和日志管理模块16, 分布式应用文件模块15用于对分布式应用文件的读写，分布式服务器1中的 其它模块通过分布式应用文件模块15来得到本系统的配置信息，例如端口号； 日志管理模块16用于记录本系统运行的日志信息，并根据记录的日志信息分 析平台的运行情况。
如图2所示，为本发明实施例分布式数据处理方法流程图，包括以下步
骤
步骤201，在分布式服务器上部署分布式应用文件。该分布式应用文件 包括流程控制部分和逻辑计算部分，流程控制部分用于对分布式计算的流 程进行控制，例如开始分布式任务、执行逻辑计算部分中的一个或多个逻 辑计算任务、结束该分布式计算任务并根据分布式应用文件合并结果。通过 分布式应用文件的流程控制部分在分布式服务器上创建一个任务，并给该任 务分配任务号、网络连接等资源，以便该分布式服务器可以同时处理多个任 务，而保证这些任务之间不会相互冲突。分布式服务器初始化该任务的信息， 包括初始化该任务的工作目录，将部署的分布式应用文件存入该工作目泉中。
步骤202，分布式服务器将分布式应用文件下发给各个分布式节点。
点，分布式节点根据收到的分布式应用文件在该分布式节点上重建针对该任 务的工作目录。其中分布式节点接收到的分布式应用文件也包括流程控制部 分和逻辑计算部分，这样分布式节点就知道了自己分配的任务以及需要进行 的逻辑计算，因此该分布式节点就可以才艮据分布式应用文件进行分布式计算。 分布式服务器还将该系统内的分布式服务器及各个分布式节点的信息发送给 本系统的各个分布式节点，包括分布式节点的数量、编号等，分布式节点将 这些信息设置为环境变量。
步骤203，分布式节点执行分布式服务器下发的分布式应用文件，如果分 配给分布式节点处理的数据不在该分布式节点上，则该分布式节点需要从其 它分布式节点或系统的共享资源中将该文件取回，其中该共享资源包括凝:据将文件取回。步骤204,分布式节点将执行后的结果返回给分布式服务器。分布式服务 器在判断所有分配到分布式应用文件的分布式节点全部完成了处理任务后。 自动将各个分布式节点返回的执行结果合并，并释放资源，清除在分布式服 务器上创建的任务。如图3所示，为本发明实施例另一种分布式数据处理方法流程图，为了 实现任务之间的同步和互斥，分布式服务器对本系统的共享资源进行管理， 包括以下步骤步骤301,在分布式服务器上部署分布式应用文件。该分布式应用文件 包括流程控制部分和逻辑计算部分，流程控制部分用于对分布式计算的流 程进行控制，例如开始分布式任务、执行逻辑计算部分中的一个或多个逻 辑计算任务、结束该分布式计算任务并根据分布式应用文件合并结果。通过 分布式应用文件的流程控制部分在分布式服务器上创建一个任务，并给该任 务分配任务号、网络连接等资源，以便该分布式服务器可以同时处理多个任 务，而保证这些任务之间不会相互冲突。分布式服务器初始化该任务的信息， 包括初始化该任务的工作目录，将部署的分布式应用文件存入该工作目录中。步骤302，分布式服务器将分布式应用文件下发给各个分布式节点。分布式服务器将该工作目录中的分布式应用文件打包发送给分布式节 点，分布式节点根据收到的分布式应用文件在该分布式节点上重建针对该任 务的工作目录。其中分布式节点接收到的分布式应用文件也包括流程控制部 分和逻辑计算部分，这样分布式节点就知道了自己分配的任务以及需要进行 的逻辑计算，因此该分布式节点就可以自己根据分布式应用文件进行分布式 计算。分布式服务器还将该系统内的分布式服务器及各个分布式节点的信息 发送给本系统的各个分布式节点，包括分布式节点的数量、编号等，分布式 节点将这些信息设置为环境变量。步骤303,分布式节点执行分布式应用文件，并将分布式应用文件分配给 分布式节点处理的数据从共享资源中取回。分布式节点执行收到的分布式应用文件并根据该分布式应用文件分配的需要将由本分布式节点处理的数据从其它分布式节点或本系统的共享资源中
取回，其中，该共享资源包括数据库等；为了实现任务之间的同步和互斥， 因此分布式服务器需要对本系统的共享资源进行管理。如果该文件在本系统 的共享资源中，则分布式节点首先向分布式服务器申请资源，分布式服务器 就会给该任务的该分布式节点分配一个资源锁，将共享资源锁定，例如将数 据库锁定，不允许其它的分布式节点使用；当分布式节点使用完共享资源后 通知分布式服务器释放该共享资源，允许其它的分布式节点使用。
步骤304，分布式节点将执行后的结果返回给分布式服务器。分布式服务 器在判断所有分配到分布式应用文件的分布式节点全部完成了处理任务后。
自动将各个分布式节点返回的执行结果合并，并释放资源，清除在分布式服 务器上创建的任务。
如图4所示，为本发明实施例的另一种分布式数据处理方法流程图， 该实施例将各个分布式节点处理后代局部结果纟艮据配置信息合并成一个全局 结果，包括以下步骤
步骤401，在分布式服务器上部署分布式应用文件。该分布式应用文件 包括流程控制部分和逻辑计算部分，流程控制部分用于对分布式计算的流 程进行控制，例如开始分布式任务、执行逻辑计算部分中的一个或多个逻 辑计算任务、结束该分布式计算任务并根据分布式应用文件合并结果。通过 分布式应用文件的流程控制部分在分布式服务器上创建一个任务，并给该任 务分配任务号、网络连接等资源，以便该分布式服务器可以同时处理多个任 务，而保证这些任务之间不会相互冲突。分布式服务器初始化该任务的信息， 包括初始化该任务的工作目录，将部署的分布式应用文件存入该工作目录中。
步骤402,分布式服务器将分布式应用文件下发给各个分布式节点。
点，分布式节点根据收到的分布式应用文件在该分布式节点上重建针对该任 务的工作目录。其中分布式节点接收到的分布式应用文件也包括流程控制部 分和逻辑计算部分，这样分布式节点就知道了自己分配的任务以及需要进行 的逻辑计算，因此该分布式节点就可以自己才艮据分布式应用文件进行分布式计算。分布式服务器还将该系统内的分布式服务器及各个分布式节点的信息 发送给本系统的各个分布式节点，包括分布式节点的数量、编号等，分布式 节点将这些信息设置为环境变量。步骤403,分布式节点执行收到的分布式应用文件，并将分布式应用文件 分配给分布式节点处理的数据取回。分布式节点执行收到的分布式应用文件， 并根据该分布式应用文件分配的需要由本分布式节点处理的数据从其它分布 式节点或本系统的共享资源中取回，其中，该共享资源包括数据库等；为了 实现任务之间的同步和互斥，因此分布式服务器需要对本系统的共享资源进 行管理。如果该文件在本系统的共享资源中，则分布式节点首先向分布式服 务器申请资源，分布式服务器就会给该任务的该分布式节点分配一个资源锁， 将共享资源锁定，例如将数据库锁定，不允许其它的分布式节点使用；当分 布式节点使用完共享资源后通知分布式服务器释放该共享资源，允许其它的 分布式节点使用。步骤404，分布式服务器建立根据用户部署的分布式应用文件设置对应的 数据库表。步骤405,各个分布式节点在完成分布式计算任务后自动将计算结泉信息 插入该数据库表中；分布式服务器在判断所有分配到分布式应用文件的分布 式节点全部完成了处理任务后，自动将该数据库表中的数据合并，并释放资 源，清除在分布式服务器上创建的任务。这样本系统可以自动进行数据的合 并，隐藏了分布式计算中的数据合并细节，减轻了用户的工作量。如图5所示，为本发明实施例的在分布式服务器上设置全局文件的分 布式数据处理方法流程图，在分布式服务器上设置全局文件，各个分布式节 点自动将分布式节点上的本地文件向该全局文件注册，这样用户只需要知道 一个全局文件，而不需要知道这个全局文件由哪些文件构成，又保存在哪些 分布式节点上，降低了分布式计算的复杂度，减轻了用户的工作量。该实施 例包括以下步骤步骤501,在分布式服务器上部署分布式应用文件。该分布式应用文件 包括流程控制部分和逻辑计算部分，流程控制部分用于对分布式计算的流程进行控制，例如开始分布式任务、执行逻辑计算部分中的一个或多个逻 辑计算任务、结束该分布式计算任务并根据分布式应用文件合并结果。通过 分布式应用文件的流程控制部分在分布式服务器上创建一个任务，并给该任 务分配任务号、网络连接等资源，以便该分布式服务器可以同时处理多个任 务，而保证这些任务之间不会相互沖突。分布式服务器初始化该任务的信息， 包括初始化该任务的工作目录，将部署的分布式应用文件存入该工作目录中。步骤502,根据该分布式应用文件在分布式服务器上生成全局文件，该全局文件由分布在各个分布式节点上的本地文件构成。步骤503，分布式服务器将分布式应用文件下发给各个分布式节点。 分布式服务器将该工作目录中的分布式应用文件打包发送给分布式节 点，分布式节点根据收到的分布式应用文件在该分布式节点上重建针对该任 务的工作目录。其中分布式节点接收到的分布式应用文件也包括流程控制部 分和逻辑计算部分，以及在分布式服务器上生成的全局文件信息，这样分 布式节点就知道了自己分配的任务以及需要进行的逻辑计算，因此该分布式 节点就可以自己根据分布式应用文件进行分布式计算。分布式服务器还将该 系统内的分布式服务器及各个分布式节点的信息发送给本系统的各个分布式 节点，包括分布式节点的数量、编号等，分布式节点将这些信息设置为环境 变量。步骤504,分布式节点根据下发的全局文件的信息将分布式节点上的本地 文件向全局文件注册，分布式节点也可将从共享资源取回的文件作为本地文 件自动向分布式服务器上的全局文件注册。这样用户只需要知道一个全局文 件，而不需要知道这个全局文件由哪些文件构成，又保存在哪些分布式节点 上，降低了分布式计算的复杂度，减轻了用户的工作量。步骤505，分布式节点执行收到的分布式应用文件，并将分布式应用文件 分配给分布式节点处理的数据取回，其中分配给分布式节点处理的数据也包 括分布式服务器上的全局文件，因此分布式节点也需要将该全局文件从分布 式服务器上取回，并将该全局文件包括的其它文件从其它分布式节点或共享 资源中取回，为了实现任务之间的同步和互斥，分布式服务器需要对本系统的共享资源进行管理。如果该文件在本系统的共享资源中，则分布式节点首 先向分布式服务器申请资源，分布式服务器就会给该任务的该分布式节点分 配一个资源锁，将共享资源锁定，例如将数据库锁定，不允许其它的分布式
节点使用；当分布式节点使用完共享资源后通知分布式服务器释放该共享资 源，允许其它的分布式节点使用。
步骤506，分布式节点将执行后的结果返回给分布式服务器。分布式服务 器在判断所有分配到分布式应用文件的分布式节点全部完成了处理任务后。 自动将各个分布式节点返回的执行结果合并，并释放资源，清除在分布式服 务器上创建的任务。
通过本发明实施例，用户只需要编写分布式应用的代码，而不需要考虑 分布式应用的细节，因此用户编写分布式应用的效率大大提高。在用户编写 完分布式应用后，只需要在分布式服务器上就可完成部署和发布。特别是分 布式节点与业务类型完全不相关，解决了原本有逻辑的访问日志被人为的切 分开的问题，并且分布式节点可以随时增减而不影响整个系统的运行。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的 普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进 和润饰，这些改进和润饰也应3见为本发明的保护范围。
权利要求
1、一种分布式数据处理方法，其特征在于，包括以下步骤在分布式服务器上部署分布式应用文件；分布式服务器将所述分布式应用文件下发给各个分布式节点；所述分布式节点执行所述分布式应用文件并将所述分布式应用文件分配给所述分布式节点处理的数据取回。
2、 如权利要求l所述分布式数据处理方法，其特征在于，在所述分布式 节点将文件取回之后，还包括以下步骤所述分布式节点将处理结果返回给所述分布式服务器。
3、 如权利要求2所述分布式数据处理方法，其特征在于，在所述分布式 节点将处理结果返回给所述分布式服务器之后，还包括以下步骤所述分布式服务器将各个分布式节点返回的处理结果合并。
4、 如权利要求2所述分布式数据处理方法，其特征在于，在所述分布式 节点将处理结果返回给所述分布式服务器之后，还包括以下步骤判断分配到所述分布式应用文件的分布式节点是否全部完成了处理任务；如果全部完成则所述分布式服务器将各个分布式节点返回的处理结果合并。
5、 如权利要求1所述分布式数据处理方法，其特征在于，所述分布式节 点将所述分布式应用文件分配给所述分布式节点处理的数据取回，具体包括 以下步骤如果所述分布式应用文件分配给所述分布式节点处理的数据在共享资源 上，则所述分布式节点向所述分布式服务器申请资源；所述分布式服务器将所述共享资源锁定，只能由所述申请的分布式节点 使用；所述分布式节点在将所述文件取回后通知所述分布式服务器释放所述共 享资源。
6、 如权利要求5所述分布式数据处理方法，其特征在于，在所述分布式节点将文件从所述共享资源取回前，还包括以下步骤所述分布式服务器根据所述配置信息设置全局文件；在所述分布式节点将文件从所述共享资源取回之后，还包括，所述分布 式节点将从所述共享资源取回的文件作为本地文件向所述分布式服务器上的所述全局文件注册；所述分布式节点向所述分布式服务器发送请求获取所述全局文件； 根据所述全局文件将所述全局文件包含的所有文件取回。
7、 如权利要求2所述分布式数据处理方法，其特征在于，在所述分布式 节点将处理结果返回给所述分布式服务器之前，还包括以下步骤所述分布式服务器建立与所述分布式应用文件对应的数据库表。
8、 如权利要求2所述分布式数据处理方法，其特征在于，在所述分布式 节点将处理结果返回给所述分布式服务器之后，还包括以下步骤所述各个分布式节点完成分布式计算任务后自动将计算结果信息插入所 述数据库表；所述分布式服务器将所述数据库表中的数据合并。
9、 一种分布式数据处理系统，包括至少一个分布式节点和至少一个分布 式服务器，其特征在于，所述分布式服务器用于接受用户的分布式应用文件 并对与所述分布式服务器连接的所述分布式节点进行管理，所述分布式节点应用文件分配给所述分布式节点处理的数据取回。
10、 如权利要求9所述分布式数据处理系统，其特征在于，所述分布式 服务器包括任务分配执行模块，用于将分布式应用文件下发给各个分布式节 点。
11、 如权利要求9所述分布式数据处理系统，其特征在于，所述分布式 节点包括文件处理模块，用于执行所述分布式应用文件，并将所述分布式应 用文件分配给所述分布式节点处理的数据取回。
12、 如权利要求9所述分布式数据处理系统，其特征在于，所述任务分 配执行模块还包括线程组管理模块，用于管理所述各个分布式节点的执行情况，判断分配到所述分布式应用文件的分布式节点是否全部完成了处理任务。
13、 如权利要求12所述分布式数据处理系统，其特征在于，所述任务分 配执行模块还包括多线程管理子模块，用于当所述分布式系统同时处理多个 所述分布式应用文件时，针对所述不同的分布式应用文件管理所述各个分布 式节点的执行情况，判断分配到同一分布式应用文件的分布式节点是否全部 完成了处理任务。
14、 如权利要求9所述分布式数据处理系统，其特征在于，所述分布式 服务器还包括资源锁管理模块，用于管理共享资源，当所述分布式节点向所 述分布式服务器申请资源时，将所述共享资源锁定只能由所述申请的分布式 节点使用；并在所述分布式节点将所述文件取回后释放所述共享资源。
15、 如权利要求9所述分布式数据处理系统，其特征在于，所述分布式 服务器还包括分布式文件处理模块，用于根据所述分布式应用文件生成全局 文件，所述全局文件由所述各个分布式节点上的本地文件构成，所述分布式 节点将所述分布式节点上的本地文件向所述分布式服务器上的全局文件注 册，并通过所述全局文件读写所述全局文件包含的所有文件。
16、 如权利要求9所述分布式数据处理系统，其特征在于，所述分布式 服务器还包括数据合并模块，用于建立与所述分布式应用文件对应的数据库 表，并在所述各个分布式节点自动将计算结果信息插入所述数据库表后将所 述数据库表中的数据合并。
17、 一种分布式服务器，其特征在于，包括任务分配执行模块，用于将 分布式应用文件下发给各个分布式节点。
18、 如权利要求17所述分布式服务器，其特征在于，所述任务分配执行 模块还包括线程组管理子模块，用于管理所述各个分布式节点的执行情况， 判断分配到所述分布式应用文件的分布式节点是否全部完成了处理任务。
19、 如权利要求18所述分布式服务器，其特征在于，所述任务分配执行 模块还包括多线程管理子模块，用于当所述分布式系统同时处理多个所述分的执行情况，判断分配到同一分布式应用文件的分布式节点是否全部完成了处理任务。
20、 如权利要求17所述分布式服务器，其特征在于，还包括资源锁管理 模块，用于管理共享资源，当所述分布式节点向所述分布式服务器申请资源 时，将所述共享资源锁定只能由所述申请的分布式节点使用；并在所述分布 式节点将所述文件取回后释^:所述共享资源。
21、 如权利要求17所述分布式服务器，其特征在于，还包括分布式文件 处理模块，用于根据所述分布式应用文件生成全局文件，所述全局文件由所 述各个分布式节点上的本地文件构成，所述分布式节点将所述分布式节点上的本地文件向所述分布式服务器上的全局文件注册，并通过所述全局文件读 写所述全局文件包含的所有文件。
22、 如权利要求17所述分布式服务器，其特征在于，还包括数据合并模 块，用于建立与所述分布式应用文件对应的数据库表，并在所述各个分布式 节点自动将计算结果信息插入所述数据库表后将所述数据库表中的数据合 并。
23、 一种分布式节点，其特征在于，包括文件处理模块，用于执行所述 分布式应用文件，并将所述分布式应用文件分配给所述分布式节点处理的数 据取回。
全文摘要
本发明公开了一种分布式数据处理方法，包括以下步骤在分布式服务器上部署分布式应用文件；分布式服务器将所述分布式应用文件下发给各个分布式节点；所述分布式节点执行所述分布式应用文件，并将所述分布式应用文件分配给所述分布式节点处理的数据取回后计算，并将计算结果返回给分布式服务器，分布式服务器将返回结果合并成最终结果。通过本发明实施例，用户只需要编写分布式应用的代码，而不需要考虑分布式应用的细节，因此用户编写分布式应用的效率大大提高。在用户编写完分布式应用后，只需要在分布式服务器上就可完成部署和发布。
文档编号H04L12/24GK101291245SQ200710090149
公开日2008年10月22日 申请日期2007年4月16日 优先权日2007年4月16日
发明者吴伟勋, 李江华, 松 陈 申请人:阿里巴巴集团控股有限公司