专利名称：支持分布式决策的大规模高并发访问i/o服务器负载均衡系统的制作方法
技术领域：
本发明公开了一种大规模IO服务器负载均衡系统，尤其涉及一种支持分布式决策的高性能计算机文件系统中大规模高并发访问I/o服务器间的负载均衡系统，I/O指输入/输出。属于计算机技术领域。
背景技术：
并行输入/输出(Input/Output)系统历来是计算机系统结构领域一个热点研究方向，其旨在内存和磁盘之间创建多个数据通路来缓解计算机系统的I/o性能瓶颈问题。并行文件系统作为并行输入/输出系统的核心软件之一，不仅提供了文件数据并行访问所需的语义和接口，而且能够通过文件的分条、文件的分配和数据服务器之间的动态负载均衡等手段来保证文件数据的聚合访问速度。其中，文件分条是文件数据并行访问的前提之一；有效的文件分配是发挥大规模存储设备性能的有力保障；数据服务器之间的动态负载均衡则保证了并行文件系统的高性能和高扩展性。本发明公开了一种涵盖上述三项关键技术的面向高性能计算机文件系统中大规模IO服务器的服务器负载均衡系统。现有主流的并行文件系统包括PVFS，Lustre和GPFS等。一般的文件数据负载均衡的完整流程可以抽象概括为三个关键步骤(如附
图1所示):第一步，对进入并行文件系统的文件进行分块(条)。第二步，分条文件的分配。第三步，并行文件系统中I/o服务器之间动态负载均衡。就文件分条而言，其中一个重要因素就是确定文件的分条宽度。下面我们将从本发明相关的学术研究及已发表论文分析、以及相关的专利分析两方面对本专利的创新性进行分析。(I)在支持分布式决策的高性能计算机文件系统中大规模高并发访问I/O服务器间的负载均衡方法的相关研究和已发表论文分析方面，和本专利相关的包括文件分体方法、分体文件的分配方法和负载均衡三方面:首先，在文件分条方法的相关研究和已发表论文分析，首先因为面向单一的检查点文件可以方便进程失效之后的重启；单一的结果文件可以使得计算结果良好的封装，单一的共享文件也会降低元数据压力等原因，传统的“单文件-多进程”的方式已被广泛采用，目前迫切需要一种文件级的分条粒度。其次，随着数据密集型，高性能计算机已进入P级，即将进入适于E级计算的高性能计算机研发，其文件系统中的文件请求具有更典型的大规模、高并发，高突发等特征，需要能够刻画该特征的分条模型。单一应用程序内部的计算阶段和I/o阶段相互交替(例如同步原语(MPI_File_sync、MPI_Barrier等)；访问多个文件的平稳请求流也可能转换成为访问单一文件的突发请求流(如Server-Si decoordination技术)。总体看来,如表I所示，传统利用实验统计和最优化的数学理论等方法，针对如何确定系统级或者目录级的文件分条宽度的问题已经进行了大量的研究。但是由于系统级和目录级的文件分条没有考虑单一文件的访问特性，在面对科学计算程序的I/O性能优化时并不能很好刻画文件级访问特征，特别是大规模高性能计算机当前(如P级)和未来(如E级)的大规模高并发等需求，具有一定的限制。与此相反，文件级别的分条方法能够很好考虑单一文件访问的特性，从而给出能够提高该文件访问性能的分条宽度。对于高性能计算机所使用的并行文件系统而言，由于其需要面对具有突发特性的科学计算程序的I/O请求、同时也得面对更高的文件访问并行度，因此现有研究总体仍然缺乏一种能够很好的应用于高性能计算中数据并发访问的文件级分条策略，尤其是该分条的策略需要满足能够根据每一个文件的自身的访问特点和整个系统的负载情况来确定文件的分条宽度，从而为高效的并行数据的访问提供保证。
权利要求
1.一种支持分布式决策的高性能计算机文件系统中大规模高并发访问I/o服务器负载均衡系统，其特征在于包括如下三个模块: (1)面向高并发文件访问请求的文件级分条，该模块能够根据文件的访问特点，如请求大小和文件并发访问度等，自动设置文件的分条大小，从而为高效的并行I/o提供有利保证，具有满足高并发和文件级分体实现的需求的技术特征； (2)最小化I/O访问冲突概率的文件分配，该模块主要完成最小化IO访问冲突的文件分配，该方法不仅充分考虑文件的分条策略，而且充分考虑文件访问的冲突概率，实现和保证了并行I/o性能，同时也是文件之间进行并行数据访问性能的有力根基； (3)基于分布式决策的动态负载均衡，该模块具有高扩展性、充分考虑决策延迟、迁移代价和迁移抖动的特征，可以有效的消除并行文件系统的性能瓶颈、保证并行文件数据访问的性能和扩展性；该模块包括四个子模块:1)基于时间序列分析的在线负载预测，用来估计这个数据服务器短期内的负载，这些预测的负载可以被其他服务器收集来进行负载决策，从而可以减少负载决策延迟；2)最小化IO访问冲突的文件分配，其用于负载收集的信息交换可能降低整个系统的性能；3)面向大规模服务器的分布式负载决策机制，基于整个系统的负载状况和本数据服务器自己的负载，该负载决策机制能够在分布式体系结构下决定是否需要触发动态文件迁移以平衡服务器间的负载；4)自适应的动态文件迁移，当服务器需要转移自己的负载时，其可以根据收集到的负载信息以及自己服务器上不同文件的负载状况来选择迁移的对象，以平衡动态文件迁移收益和副作用，用于把需要迁移的文件数据转移到选择的目标服务器上。
2.权利要求1所述的支持分布式决策的高性能计算机文件系统中大规模高并发访问I/O服务器负载均衡系统，其运行流程为: (1)调用并执行“面向高并发文件访问请求的文件级分条”; (2)调用并执行“最小化I/O访问冲突概率的文件分配”； (3)调用并执行“基于分布式决策的动态负载均衡”，具体包括，I)调用并执行“基于时间序列分析的在线负载预测”，2)调用并执行“最小化IO访问冲突的文件分配”，3)调用并执行“面向大规模服务器的分布式负载决策机制”，4)调用并执行“自适应的动态文件迁移”。
全文摘要
本发明针对高性能计算机中缺乏高数据并发访问的文件级别的文件分条，针对面向分条文件的、并且能够充分考虑动态文件访问特性的分配方法以及一种支持分布式决策的负载均衡等问题，公开了一种支持分布式决策的大规模高并发访问I/O服务器负载均衡系统，为高性能计算机提供了具有高扩展性、充分考虑网络延迟和迁移代价的新型动态负载均衡支持。在模块构成上主要包括面向高并发文件访问请求的文件级分条，最小化IO访问冲突的文件分配和基于分布式决策的负载均衡。本发明可以满足具有大规模高并发和分布式决策的高性能计算机的负载均衡系统应用需求。因此，本发明具有广阔的应用前景和可产生显著的经济效益等特色。
文档编号G06F9/50GK103188346SQ20131006992
公开日2013年7月3日 申请日期2013年3月5日 优先权日2013年3月5日
发明者阮利, 董斌, 肖利民, 祝明发 申请人:北京航空航天大学