专利名称：一种基于同步策略的集群存储系统性能调优方法
技术领域：
本发明涉及计算机应用技术领域，具体地说是一种基于同步策略的集群存储系统性能调优方法。本发明适用于目前业界流行的集群存储系统中。计算机集群简称集群是一种计算机系统它通过一组松散集成的计算机软件和硬件连接起来高度紧密地协作完成计算工作。目前，由于个人及企业数据的大量增长，集群存储系统发展迅速，但是目前对于集群存储系统的系能测试方面，基本还是延照单个节点性能测试的方法，然后将各个节点的性能测试结果累加的方法来衡量集群存储系统的性能。这种方法，虽然简单，但是不够严谨和科学。
背景技术：
目前，比较流行的性能测试工具，虽然能够多线程，多进程测试读写带宽，也提供了比较多的测试选项，可以测试随机读、随机写、顺序读、顺序写的性能指标，但是，这些工具只是针对单个节点的读写带宽做测试。如果需要测试整个集群系统的性能，如果只是简单的将多个节点的性能测试结果做一个累加，由于时间的不同步性并且各个节点的进程结束的不同步性，测试结果往往不够准确。因此，基于集群存储系统架构设计测试工具，就迫在眉睫。
发明内容
本发明的目的是提供一种基于同步策略的集群存储系统性能调优方法。本发明的目的是按以下方式实现的，系统包括数据节点模块组、控制模块组和客户端节点模块组，三个模块组相互配合和通信，以控制模块组为核心，共同完成系统测试和监控任务，其中，控制模块组负责负载调度和均衡所有模块，收集测试结果和同步所有模块的时间，数据节点模块组用于收集数据节点监控信息和时间同步，客户端节点模块组用于模拟读写操作、收集客户端节点的监控数据并实现时间同步，通过监控数据，找到系统的瓶颈，从而调整系统结构，优化系统性能，其中
数据节点模块组包含三个子模块数据性能监控模块、时间同步模块和通信控制模块，其中，数据性能监控模块用于收集数据节点的网络负载、CPU负载的信息，时间同步模块用于和控制模块组同步时间，数据性能监控模块和时间同步模块与控制模块组的信息交互是通过通信控制模块和控制模块组的通信控制模块来完成；
控制模块组包含负载调度模块、信息收集模块、结果计算模块、时间同步控制模块、通信控制模块和通信控制模块，负载调度模块和时间同步控制模块，能够使得各个节点上的读写操作更加均衡和更好的一致与同步性，负载调度模块在收到结果计算模块的结果时，调度和调整各个客户端的读写模拟模块，使得各个客户端节点读写操作更加均衡，这就是所谓的同步策略，保证各个节点时间和读写操作的同步性；
客户端节点模块组包含读写模拟模块、性能监控模块、时间同步模块和通信控制模块，读写模拟模块负责在客户端节点上模拟读写操作，并接受负载调度模块的调度，调整读写操作，性能监控模块负责收集客户端节点的性能、CPU负载、网络负载的信息。本发明的有益效果是这种模式下，由于测试工具对整个系统的所有节点都有流量监控，因此如果系统的性能出现问题的时候，很容易找到瓶颈，从而实现快速寻找故障，排除故障的目的。对于系统的调试和故障诊断以及优化，起到关键作用。本软件部署时，需要在集群存储系统的数据节点上部署数据节点模块组，在客户端节点上部署客户端节点模块组。控制模块组可以根据需要部署在集群内的任一节点上。本发明的方法适应集群存储系统的架构和测试需求，同时可以监控各个节点的读写性能，易于发现集群系统的性能瓶颈，并且由于引入了时间同步和负载调度的功能，使得各个节点上的测试可以同步完成，测试出的结果更可靠，更科学。
图I集群存储性能测试工作原理图；
图2集群存储系统架构图。
具体实施例方式参照说明书附图对本发明的作以下详细地说明。鉴于此，本发明提供一种基于同步策略的集群存储系统性能调优方法。这种方法适应集群存储系统的架构和测试需求，同时可以监控各个节点的读写性能，易于发现集群系统的性能瓶颈，并且由于引入了时间同步和负载调度的功能，使得各个节点上的测试可以同步完成，测试出的结果更可靠，更科学。本方法包含三大模块组数据节点模块组(101)、控制模块组(102)和客户端节点模块组(103)。三大模块组相互配合和通信，以控制模块组为核心，共同完成系统测试和监控任务。其中，控制模块组负责负载调度和均衡所有模块，收集测试结果和同步所有模块的时间。数据节点模块组用于收集数据节点监控信息和时间同步。客户端节点模块组用于模拟读写操作、收集客户端节点的监控数据并实现时间同步。数据节点模块组(101)包含三个子模块数据性能监控模块、时间同步模块和通信控制模块。其中，数据性能监控模块用于收集数据节点的网络负载、CPU负载等信息，时间同步模块用于和控制模块组同步时间。数据性能监控模块和时间同步模块与控制模块组的信息交互是通过通信控制模块和控制模块组的通信控制模块2完成的。控制模块组(102)包含负载调度模块，信息收集模块、结果计算模块、时间同步控制模块、通信控制模块I和通信控制模块2组成。其中，信息收集模块负责收集各个模块的监控信息，然后反馈给结果计算模块，然后由结果计算模块分别计算出所有客户端节点的性能累加和所有数据节点监控到的性能累加。同时，结果计算模块要计算出各个客户端节点之间的性能差异，此时，如果各个客户端节点性能差异超过一定值，就调用负载调度模块调度和均衡各个客户端节点的读写模拟模块，使得各个客户端节点性能均衡。其中，通信控制模块I负责和所有客户端节点模块组的通信。通信控制模块2负责和所有的数据节点模块组通信。时间同步控制模块负责同步整个系统的时间，保证测试的一致性和同步性。这就是本方法的核心，利用时间同步控制模块保证各个节点的时间的同步，利用负载调度模块保证各个节点的读写操作的同步性。
客户端节点模块组(103)包含读写模拟模块、性能监控模块、时间同步模块和通信控制模块。读写模拟模块负责在客户端节点上模拟读写操作，并接受负载调度模块的调度，调整读写操作。性能监控模块负责收集客户端节点的性能、CPU负载、网络负载等信息。 除说明书所述的技术特征外，均为本专业技术人员的已知技术。
权利要求
1.一种基于同步策略的集群存储系统性能调优方法，其特征在于系统包括数据节点模块组、控制模块组和客户端节点模块组，三个模块组相互配合和通信，以控制模块组为核心，共同完成系统测试和监控任务，其中，控制模块组负责负载调度和均衡所有模块，收集测试结果和同步所有模块的时间，数据节点模块组用于收集数据节点监控信息和时间同步，客户端节点模块组用于模拟读写操作、收集客户端节点的监控数据并实现时间同步，通过监控数据，找到系统的瓶颈，从而调整系统结构，优化系统性能，其中 数据节点模块组包含三个子模块数据性能监控模块、时间同步模块和通信控制模块，其中，数据性能监控模块用于收集数据节点的网络负载、CPU负载的信息，时间同步模块用于和控制模块组同步时间，数据性能监控模块和时间同步模块与控制模块组的信息交互是通过通信控制模块和控制模块组的通信控制模块来完成； 控制模块组包含负载调度模块、信息收集模块、结果计算模块、时间同步控制模块、通信控制模块和通信控制模块，负载调度模块和时间同步控制模块，能够使得各个节点上的读写操作更加均衡和更好的一致与同步性，负载调度模块在收到结果计算模块的结果时，调度和调整各个客户端的读写模拟模块，使得各个客户端节点读写操作更加均衡，这就是所谓的同步策略，保证各个节点时间和读写操作的同步性； 客户端节点模块组包含读写模拟模块、性能监控模块、时间同步模块和通信控制模块，读写模拟模块负责在客户端节点上模拟读写操作，并接受负载调度模块的调度，调整读写操作，性能监控模块负责收集客户端节点的性能、CPU负载、网络负载的信息。
全文摘要
本发明提供一种基于同步策略的集群存储系统性能调优方法，系统包括数据节点模块组、控制模块组和客户端节点模块组，三个模块组相互配合和通信，以控制模块组为核心，共同完成系统测试和监控任务，其中，控制模块组负责负载调度和均衡所有模块，收集测试结果和同步所有模块的时间，数据节点模块组用于收集数据节点监控信息和时间同步，客户端节点模块组用于模拟读写操作、收集客户端节点的监控数据并实现时间同步，通过监控数据，找到系统的瓶颈，从而调整系统结构，优化系统性能。
文档编号H04L12/24GK102710446SQ20121018496
公开日2012年10月3日 申请日期2012年6月7日 优先权日2012年6月7日
发明者张敬海 申请人:浪潮电子信息产业股份有限公司