布式处理设备包括:
[0173]模块加载器，其通过加载构成所述分布式批处理应用的各模块来执行初始化处理；
[0174]元数据管理单元，其从预先设置的存储模块或者从其他计算机获取包含各模块之间的初始化处理的命令的元数据；
[0175]文件管理单元，其读取所述存储模块或其他计算机中的文件/将文件写入所述存储模块或其他计算机中；
[0176]执行容器，其执行所述分布式批处理应用;其中，
[0177]所述文件管理单元包括以下功能:在所述模块加载器用所述元数据执行所述初始化处理之后，检查在所述存储模块中是否存在包含所述模块的执行代码的执行区域，并且当不存在所述执行区域时，从其他计算机加载所述执行代码并且将它作为所述执行区域写入。
[0178](补充注释6)
[0179]根据补充注释5中描绘的分布式处理系统，其中，
[0180]所述文件管理单元包括创建仅仅所述元数据的模块作为文件并且通过所述元数据管理单元与其他计算机共享所述模块的功能。
[0181](补充注释7)
[0182]根据补充注释5中描绘的分布式处理系统，其中，
[0183]所述元数据管理单元包括将被所述元数据参考的公共文件存储到可被所述计算机中的每个公共参考的分布式共享存储器中的功能。
[0184](补充注释8)
[0185]—种用于分布式处理系统的分布式处理方法，所述分布式处理系统包括以协作分布式方式执行分布式批处理应用的多个相互连接的计算机，其中:
[0186]元数据管理单元，其获取包含构成所述分布式批处理应用的各模块之间的初始化处理的命令的元数据；
[0187]模块加载器，其用所述元数据来执行初始化处理；
[0188]在所述初始化处理之后，文件管理单元检查在存储模块中是否存在包含所述模块的执行代码的执行区域；
[0189]当所述存储模块中不存在包含所述执行代码的所述执行区域时，所述文件管理单元从其他计算机加载所述执行代码并且将它作为所述执行区域写入;以及
[0190]执行容器，其执行包含所述执行代码的模块。
[0191](补充注释9)
[0192]根据补充注释8中描绘的分布式处理方法，其中，
[0193]在所述初始化处理之后，所述文件管理单元创建仅仅所述元数据的模块作为文件，并且通过所述元数据管理单元与其他计算机共享所述模块。
[0194](补充注释10)
[0195]根据补充注释9中描绘的分布式处理方法，其中:
[0196]所述多个计算机中的一个是管理所述分布式批处理应用的分布式执行的主节点，并且除了所述主节点外的计算机是从节点；以及
[0197]在所述初始化处理之后，所述主节点的所述文件管理单元创建仅仅所述元数据的模块作为文件并且将所述模块发送到所述从节点。
[0198](补充注释11)
[0199]根据补充注释8中描绘的分布式处理方法，所述分布式处理方法包括可被所述计算机中的每个公共参考的分布式共享存储器，其中，
[0200]所述元数据管理单元将被所述元数据参考的公共文件存储到所述分布式共享存储器。
[0201](补充注释12)
[0202]一种用于分布式处理系统的分布式处理程序，所述分布式处理系统包括以协作分布式方式执行分布式批处理应用的多个相互连接的计算机，所述程序致使所述计算机执行:
[0203]用于获取包含构成所述分布式批处理应用的各模块之间的初始化处理的命令的元数据的处理；
[0204]用于用所述元数据执行所述初始化处理的处理；
[0205]用于在所述初始化处理之后检查在存储模块中是否存在包含所述模块的执行代码的执行区域的处理；
[0206]用于当所述存储模块中不存在包含所述执行代码的所述执行区域时从其他计算机加载所述执行代码并且将它作为所述执行区域写入的处理；以及
[0207]用于执行包含所述执行代码的模块的处理。
[0208](补充注释I3)
[0209]根据补充注释12中描绘的分布式处理程序，所述分布式处理程序致使计算机进一步执行用于在所述初始化处理之后创建仅仅所述元数据的模块作为文件并且与其他计算机共享所述模块的处理。
[0210]工业可应用性
[0211]本申请要求基于2013年5月31日提交的日本专利申请N0.2013-115527的优先权权利并且本申请的公开的全部内容特此以引用方式并入。
[0212]本发明被广泛应用于执行分布式处理的计算机网络。实际上，本发明可提供随着分布处理的规模变大而减小通信量并且加速处理的优异效果。
[0213]参考标号
[0214]1、100、200分布式处理系统
[0215]2、2a、2b 计算机
[0216]3、112模块加载器
[0217]4、113元数据管理单元
[0218]5,114文件管理单元
[0219]6、111执行容器
[0220]10、210、210a、210b 主节点
[0221]11、21 处理器
[0222]12,22存储模块
[0223]13,23通信模块
[0224]20、20a、20b、220 从节点
[0225]30 网络
[0226]101 OS
[0227]110、310分布式处理中间件
[0228]111,311 执行容器
[0229]112、312模块加载器
[0230]113、313元数据管理单元
[0231]114、314文件管理单元
[0232]115、315元数据共享单元
[0233]116、316 文件夹
[0234]120、320、330分布式批处理应用
[0235]120a配置文件
[0236]121,321 第一步
[0237]121a,321a 第一主模块
[0238]122、322 第二步
[0239]122a、322a 第二主模块
[0240]122b、322b 从模块
[0241]122c、322c 共享模块
[0242]123、323 第三步
[0243]123a、323a第三主模块
[0244]230分布式共享存储器
【主权项】
1.一种分布式处理系统，所述分布式处理系统包括以协作和分布式方式执行分布式批处理应用的多个相互连接的计算机，其中: 所述计算机中的每一个包括模块加载器、元数据管理单元、文件管理单元和执行容器，所述模块加载器通过加载构成所述分布式批处理应用的每个模块来执行初始化处理，所述元数据管理单元从预先设置的存储模块或者从其他计算机获取包含各个所述模块之间的所述初始化处理的命令的元数据，所述文件管理单元读取所述存储模块或其他计算机中的文件/将文件写入所述存储模块或其他计算机中，所述执行容器执行所述分布式批处理应用；以及 所述文件管理单元包括下述功能:该功能在所述模块加载器通过所述元数据执行所述初始化处理之后，检查在所述存储模块中是否存在包含所述模块的执行代码的执行区域，并且当所述执行区域不存在时，从其他计算机加载所述执行代码，并且写入其作为所述执行区域。2.根据权利要求1所述的分布式处理系统，其中， 所述文件管理单元包括下述功能:该功能创建仅所述元数据的模块作为文件，并且通过所述元数据管理单元与其他计算机共享所述模块。3.根据权利要求2所述的分布式处理系统，其中: 所述多个计算机中的一个是主节点，所述主节点管理所述分布式批处理应用的分布式执行，并且除了所述主节点外的计算机是从节点;并且 所述主节点的文件管理单元包括下述功能:该功能创建仅所述元数据的模块作为文件，并且将所述模块发送到所述从节点。4.根据权利要求1所述的分布式处理系统，所述分布式处理系统包括能够从所述计算机中的每一个公共参考的分布式共享存储器，其中， 所述元数据管理单元包括下述功能:该功能将所述元数据所参考参考的公共文件存储到所述分布式共享存储器。5.—种分布式处理设备，多个所述分布式处理设备相互连接以构成以协作和分布式方式执行分布式批处理应用的分布式处理系统，所述分布式处理设备包括: 模块加载器，所述模块加载器通过加载构成所述分布式批处理应用的每个模块来执行初始化处理； 元数据管理单元，所述元数据管理单元从预先设置的存储模块或者从其他计算机获取包含各个模块之间的所述初始化处理的命令的元数据； 文件管理单元，所述文件管理单元读取所述存储模块或其他计算机中的文件/将文件写入所述存储模块或其他计算机中；以及 执行容器，所述执行容器执行所述分布式批处理应用;其中， 所述文件管理单元包括下述功能:该功能在所述模块加载器通过所述元数据执行所述初始化处理之后，检查在所述存储模块中是否存在包含所述模块的执行代码的执行区域，并且当所述执行区域不存在时，从其他计算机加载所述执行代码，并且写入其作为所述执行区域。6.根据权利要求5所述的分布式处理系统，其中， 所述文件管理单元包括下述功能:该功能创建仅所述元数据的模块作为文件，并且通过所述元数据管理单元与其他计算机共享所述模块。7.—种在分布式处理系统中使用的分布式处理方法，所述分布式处理系统包括以协作分和布式方式执行分布式批处理应用的多个相互连接的计算机，其中: 元数据管理单元获取包含构成所述分布式批处理应用的各个模块之间的初始化处理的命令的元数据； 模块加载器通过所述元数据来执行初始化处理； 在所述初始化处理之后，文件管理单元检查在存储模块中是否存在包含所述模块的执行代码的执行区域； 当所述存储模块中不存在包含所述执行代码的所述执行区域时，所述文件管理单元从其他计算机加载所述执行代码，并且写入其作为所述执行区域;兵器 执行容器执行包含所述执行代码的模块。8.根据权利要求7所述的分布式处理方法，其中， 在所述初始化处理之后，所述文件管理单元创建仅所述元数据的模块作为文件，并且通过所述元数据管理单元与其他计算机共享所述模块。9.根据权利要求8所述的分布式处理方法，其中: 所述多个计算机中的一个是管理所述分布式批处理应用的分布式执行的主节点，并且除了所述主节点外的计算机是从节点;并且 在所述初始化处理之后，所述主节点的所述文件管理单元创建仅所述元数据的模块作为文件，并且将所述模块发送到所述从节点。10.—种在分布式处理系统中使用的分布式处理程序，所述分布式处理系统包括以协作和分布式方式执行分布式批处理应用的多个相互连接的计算机，所述程序使得所述计算机执行: 用于获取包含构成所述分布式批处理应用的各模块之间的初始化处理的命令的元数据的过程； 用于用所述元数据执行所述初始化处理的过程； 用于在所述初始化处理之后检查在存储模块中是否存在包含所述模块的执行代码的执行区域的过程； 用于当所述存储模块中不存在包含所述执行代码的所述执行区域时从其他计算机加载所述执行代码并且将它作为所述执行区域写入的过程;以及 用于执行包含所述执行代码的模块的过程。
【专利摘要】为了提供能够减少要传输的数据容量并且以告诉开始分布式处理的分布式处理系统等。一种多个计算机(2a、2b、…)互连的分布式处理系统(1)，其中计算机(2)中的每一个设置有加载每个模块并且执行初始化处理的模块加载器(3)、从先前提供的存储装置或另一计算机获取包括用于初始化处理的命令的元数据的元数据管理单元(4)、读取并且写入存储装置或其他计算机内的文件的文件管理单元(5)、以及执行分布式批处理应用的执行容器(6)。文件管理单元(5)在所述初始化处理之后，检查在所述存储装置中是否存在包括相应模块的执行代码的执行区域，并且当执行区域不存在时，从其他计算机加载执行代码，并且写入所加载的执行代码作为执行区域。
【IPC分类】G06F9/54, G06F15/177
【公开号】CN105474177
【申请号】CN201480031306
【发明人】安田纯一
【申请人】日本电气株式会社
【公开日】2016年4月6日
【申请日】2014年5月29日
【公告号】US20160070591, WO2014192867A1