一种网络动态自组织的文件共享系统及实现方法
【技术领域】
[0001]本发明涉及文件共享技术领域的共享系统网络架构模型、系统节点管理和文件分发流程技术，具体为一种网络动态自组织的文件共享系统及实现方法。
【背景技术】
[0002]文件共享是一项应用广泛的综合性技术，目前，该项技术研究领域有两大技术体系被广泛应用，分别是基于P2P的共享技术和多中心多副本并行传输技术。其中的基于P2P共享技术优点是用户既是下载者也是上传者，这种双向传输突破了服务器带宽的限制，共享速度高，带宽要求低。缺点主要有两点，一是下载内容安全性难以得到保障，二是资源版权不可控，易于造成侵权。另外一种多中心多副本并行传输技术优点是系统具有经济和技术可控性，系统安全得以保障，缺点是系统建设成本高。
【发明内容】
[0003]本发明要解决的问题是:为了解决P2P和多中心多本副本两种传输技术各自存在的缺点，本发明综合多中心多副本并行传输方法和基于P2P共享的处理流程，提供了一种网络动态自组织的文件共享系统及实现方法，共享系统包含可扩展的文件服务器集群域，用户与集群域有固定所属关系，集群域动态构建，集群域内多个文件服务器并行分发共享文件。依据发明方法构建的共享系统在保证高分发速率低带宽需求同时，建设成本可控制，资源版权可控制。
[0004]本发明所采取的技术方案是:
[0005]—种网络动态自组织的文件共享系统，其特征在于包括:
[0006]全局簇服务器，用于管理集群簇的信息，在不同集群簇之间同步文件，在客户端与集群簇之间转达指令；
[0007]—个或多个集群簇，用于管理文件，接收客户端上传文件，向客户端分发文件;和
[0008]—个或多个客户端，用于向所属集群簇上传文件和下载文件。
[0009]其中，所述的集群簇包括:
[0010]簇首，用于管理所属集群簇内部所有节点信息，向其他节点传达全局簇服务指令；[0011 ]负载均衡代理，用于统计集群簇节点负载，择优选择执行分发文件任务节点；
[0012]—个或多个文件服务器，用于接收客户端上传文件、向客户端分发文件和存储共享文件。
[0013]其中，簇首、负载均衡代理和文件服务器之间使用UDP连接方式互相连接；多个文件服务器之间使用UDP连接方式互相连接。
[0014]—种网络动态自组织的文件共享实现方法，其特征在于包括以下步骤:
[0015](I)集群簇启动后，向全局簇服务器发起注册请求;全局簇服务器设定集群簇中的簇首、负载均衡代理和文件服务器，并记录集群簇的信息;簇首组织集群簇内文件服务器文件一致性，负载均衡代理轮询集群簇内的簇首、负载均衡代理和文件服务器的负载;簇首、文件服务器、负载均衡代理主动退出或意外宕机时，簇首和全局簇服务器更新集群簇信息；
[0016](2)如果客户端上传文件，则转入步骤(3);如果客户端下载文件，则转入步骤(6);
[0017](3)客户端向全局簇服务器发起上传文件请求，全局簇服务器指示客户端所属集群簇的簇首接收上传任务；
[0018](4)簇首根据负载均衡代理的轮询结果，选择负载轻的文件服务器接收客户端上传的文件;该负载轻的文件服务器接收上传文件后，簇首指示集群簇内其他文件服务器完成文件同步，并将上传文件发送至全局簇服务器；
[0019](5)全局簇服务器将上传文件发送至其他集群簇，完成集群簇之间文件同步，结束；
[0020](6)客户端向全局簇服务器发起下载文件请求，全局簇服务器指示客户端所属簇首接收下载任务；
[0021](7)簇首根据负载均衡代理的轮询结果，选择负载轻的一个或多个文件服务器进行文件分发;如果多个文件服务器执行文件分发任务，簇首根据执行分发任务的文件服务器数量将文件分割为多个文件片段，客户端接收多个文件片段后，进行文件组装得到整个文件。
[0022]其中，步骤(5)集群簇之间文件同步具体步骤为:
[0023](501)全局簇服务器指示其他集群簇的簇首接收文件同步任务；
[0024](502)其他集群簇的各自簇首根据本集群簇的负载均衡代理的轮询结果，选择本集群簇内负载轻的文件服务器接收全局簇服务器同步的文件，该负载轻的文件服务器接收同步文件后，本集群簇的簇首指示本集群簇内其他文件服务器完成文件同步。
[0025]其中，文件服务器和负载均衡代理主动退出时，向簇首发出退出请求，簇首、负载均衡代理和全局簇服务器更新簇信息，选举新负载均衡代理;簇首节点退出时，向全局簇服务器发出退出请求，全局簇服务器更新簇信息，选举新簇首。
[0026]其中，文件服务器和簇首宕机时，负载均衡代理不能获取其负载，全局簇服务器选举新簇首，更新文件服务器和簇首信息；负载均衡代理宕机时，簇首不能报知负载，全局簇服务器选举新负载均衡代理，更新负载均衡代理信息。
[0027]本发明的有益效果是:
[0028](I)共享系统具有抗毁和自愈性。本发明提供的集群簇包括簇首、文件服务器、负载均衡代理，其中簇首和负载均衡代理采用自举方式产生，其中文件服务器包含一个或多个。簇首、负载均衡代理和文件服务器都是动态生成，可主动或意外退出，随时加入，保证系统具有抗毁性和自愈性。
[0029](2)避免盗版和安全隐患。本发明提供的簇首、文件服务器、负载均衡代理既可以随时加入退出，也具有可控制性，因此不存在盗版和安全隐患。本发明提供的客户端只能把文件上传到所属集群簇，文件来源明确，可杜绝盗版和安全隐患。
[0030](3)文件下载速度高。本发明提供的方法和系统使用多文件服务器向客户端并行传输分发文件，可以实现文件高速下载。
【附图说明】
[0031]图1是本发明实施例的网络组织模型图。
[0032]图2是本发明实施例的操作流程图。
【具体实施方式】
[0033]下面，结合附图对本发明作进一步说明。为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的处理和描述。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0034]图1为本发明实施例的网络组织模型图，其特征在于包括:
[0035]全局簇服务器，用于管理集群簇的信息，在不同集群簇之间同步文件，在客户端与集群簇之间转达指令。
[0036]实施例中，全局簇服务器是共享系统中的核心。全局簇服务器具体功能包括:
[0037]a)管理全局的簇信息，记录所有簇的信息，包括ip地址、端口、簇数量、簇节点列表?目息O
[0038]b)管理全局负载状态，记录每个簇中节点的负载(cpu、mem、网络带宽)情况。
[0039]c)管理全局文件信息，在不同簇之间同步文件和文件一致性校验。
[0040]d)接受、转发客户端文件上传、下载请求。
[0041 ] e)接受、转发簇节点注册、退出、信息更新请求。
[0042]f)动态维护共享系统结构，确定簇首、负载均衡代理角色，启动相应角色服务。
[0043]一个或多个集群簇，用于管理文件，接收客户端上传文件，向客户端分发文件。共享系统包含至少I个集群簇。集群簇是逻辑性组织，由具体的实体构成，集群簇包含一个簇首、一个负载均衡代理、一个或多个文件服务器。
[0044]簇首，用于管理所属集群簇内部所有节点信息，向其他节点传达全局簇服务指令；
[0045]簇首是集群簇的核心，一个集群簇包含一个簇首，簇首动态生成，由全局簇服务器选择集群簇中性能较优的文件服务器兼任。簇首具体功能包括:
[0046]a)接受簇内节点的注册。
[0047]b)记录簇内节点(文件服务器、负载均衡代理)信息。
[0048]c)与全局簇服务器交互，同步簇内节点信息、同步文件、响应簇内文件一致性校验请求。
[0049]d)簇内文件管理，簇内文件一致性同步校验，处理所属集群簇客户端上传下载请求。
[0050]e)簇间文件一致性同步和文件共享。
[0051]负载均衡代理，用于统计集群簇节点负载，择优选择执行分发文件任务节点；
[0052]负载均衡代理是集群簇内保证文件服务器分发负载均衡的节点。负载均衡代理动态生成，由全局簇服务器选择集群簇中负载较小的文件服务器兼任。负载均衡代理具体功能包括:
[0053]a)统计每台文件服务器的10、CPU和内存负载。
[0054]b)统计该簇的网络负载。<