一种基于云计算的nosql集群自动配置系统及自动配置方法
【技术领域】
[0001]本发明属于数据的管理与存储技术领域，涉及一种基于云计算的nosql集群自动配置系统，还涉及上述基于云计算的nosql集群的自动配置方法。
【背景技术】
[0002]随着云计算、新型互联网等技术的发展，对大数据的存储与管理提出了更高的要求。云计算作为一种新型的IT发布模式，催生出大量新型互联网服务的同时，对云数据的存储管理系统也提出了新的需求，如大容量、高并发、可扩展性强、动态可伸缩等特点。用户可以借助云平台提供的虚拟机资源部署自己的应用系统。目前，已有数据库系统支持动态增减云计算中虚拟机节点，从而满足大数据的可扩展性需求。随着云计算中数据资源规模的扩增，手动及人工管理数目庞大的资源集群已经变的非常不现实。如今，更需要一种自动化的资源管理技术，动态响应负载情况变化，并减轻管理人员的负担，提高系统资源的利用率。
【发明内容】
[0003]本发明的目的是提供一种基于云计算的nosql集群自动配置系统，解决了现有技术中大数据存储与管理时高并发、可扩展性、动态可伸缩性性能低下及管理人员负担重的技术问题。
[0004]本发明的另一目的是提供上述基于云计算的nosql集群自动配置系统的自动配置方法。
[0005]本发明所采用的第一技术方案是，一种基于云计算的nosql集群自动配置系统包括:云平台，集群监控模块，决策分析模块，云通信模块，nosql管理模块；
[0006]云平台用于创建虚拟机，并在虚拟机上部署nosql集群，来承载云计算中大数据的管理与存储服务；
[0007]决策分析模块用于决策分析，输出添加、删除或保持不变的nosql节点的命令；
[0008]云通信模块用于根据决策分析模块输出的添加、删除或保持不变的nosql节点的命令，向云平台申请或释放一定数量的虚拟机节点，并发出nosql集群同步配置命令；
[0009]nosql管理模块用于根据nosql集群同步配置命令，配置虚拟机节点，形成nosql集群，并发送对nosql集群进行集群监控同步配置命令；
[0010]集群监控模块用于根据集群监控同步配置命令对nosql集群进行监控配置，实时监控nosql集群的运行状态。
[0011]本发明所采用的另一技术方案是，一种基于云计算的nosql集群自动配置方法，采用基于云计算的nosql集群自动配置系统，其包括:云平台，集群监控模块，决策分析模块，云通信模块，nosql管理模块；
[0012]nosql集群自动配置方法包括以下步骤:
[0013]步骤1:启动基于云计算的nosql集群自动配置系统，根据用户设定的初始运行的nosql节点数量，决策分析模块向云通信模块发送添加初始数量的nosql节点命令；
[0014]步骤2:云通信模块收到添加初始数量的nosql节点命令后，采用云管理工具euca2ools向云平台申请一定数量的虚拟机节点，并向nosql管理模块发送集群同步配置命令；
[0015]步骤3:nosql管理模块收到云通信模块的集群同步配置命令后，对步骤2中的虚拟机节点进行nosql集群同步配置工作，配置完成后形成nosql集群，之后向集群监控模块发送集群监控同步配置命令；
[0016]步骤4:集群监控模块收到集群监控同步配置命令后对nosql集群进行集群监控同步配置工作；
[0017]步骤5:对nosql集群的监控同步配置工作完成后，集群监控模块开始实时监控nosql集群每个nosql节点的运行状态，得到实时的监控数据，并通过网络将实时的监控数据传送到决策分析模块；
[0018]步骤6:决策分析模块接收集群监控模块传递的监控数据，调用自动配置技术，决策分析监控数据，根据分析结果向云通信模块输出添加、删除或保持不变nosql节点的命令；
[0019]步骤7:云通信模块收到命令后，采用云管理工具euca2ools向云平台申请或释放一定数量的虚拟机资源，并向nosql管理模块发出nosql集群同步配置命令；
[0020]步骤8:nosql管理模块接收云通信模块的nosql集群同步配置命令，进行nosql集群同步配置，形成资源调整后的虚拟nosql集群，若是添加了 nosql节点，则在nosql集群同步配置后，向集群监控模块发送对添加nosql节点的集群监控同步配置命令，集群监控模块收到命令后对添加的nosql节点进行集群监控同步配置；
[0021]步骤9:至此，经过资源调整后的nosql虚拟集群继续为用户提供服务，返回步骤5循环执行，随着工作负载的不断变化，实现对nosql集群的自动配置。
[0022]本发明另一技术方案的特点还在于，
[0023]集群监控同步配置方法如下:采用脚本化的工作流方式把模板文件夹下客户端监控程序配置文件gmond.conf自动注入到nosql集群中的nosql节点。
[0024]步骤5中的集群监控模块得到实时的监控数据的具体过程如下:客户端进程gmond搜集nosql节点的运行状态参数，包括CPU利用率、内存利用率、磁盘利用率、网络带宽与用户负载请求，每隔一定时间向集群监控模块发送每个nosql节点的监控数据。
[0025]步骤6中的决策分析监控数据的具体步骤如下:首先设置每个nosql节点的CPU利用率、内存利用率、磁盘利用率、网络带宽与用户负载请求的性能指标相对应的阈值区间；当存在nosql节点的上述性能指标均超过了各自设置的阈值区间的上限时，就输出添加节点的命令，当所有nosql节点的上述性能指标都低于各自设置的阈值区间的下限时，就输出删除节点的命令，当不满足上述两种情况时，不输出命令，nosql集群中的nosql节点数量保持不变。
[0026]步骤7的具体步骤如下:云通信模块采用云管理工具euca2ools向云平台申请或释放一定数量的虚拟机资源:当收到添加虚拟机的命令后，云通信模块首先向云平台申请、创建并运行新虚拟机，再向nosql管理模块发送nosql节点添加同步配置命令；当收到删除nosql节点的命令后，云通信模块首先向nosql管理模块发送nosql节点删除同步配置命令，再向云平台申请终止并释放运行的虚拟机。
[0027]nosql集群同步配置的方法如下:对于添加的虚拟机，采用远程注入的方式自动把模板文件夹下的nosql数据库配置文件复制到每个虚拟机中，并启动nosql客户端进程；对于即将删除的nosql节点，根据每个nosql引擎设置的replicat1n值，自动把数据备份到其它nosql节点，并进行负载均衡，保证删除nosql节点后，集群正常向用户提供服务。
[0028]本发明的有益效果在于，本发明的基于云计算的nosql集群自动配置系统采用云计算中nosql集群的自动配置管理技术，可以随负载的动态变化以及虚拟机资源的资源运行状况，自动分析决策，动态扩展或释放nosql集群资源，有效满足用户负载需求，提高nosql数据库集群的整体资源利用率，减轻了管理人员的负担。另外，本发明的基于云计算的nosql集群自动配置系统能够与不同的nosql数据库系统以及云平台如openstack、eucalyptus、亚马逊EC2广泛集成，实现了从云平台中申请虚拟机到创建虚拟机，再到部署nosql数据库系统等一系列自动化工作流程，保证了 nosql数据库集群的自动扩展和动态可伸缩，提供了业务逻辑、通信、不同的nosql引擎、云平台接口等，有效降低开发成本，减小了编码工作量，节省开发时间。
【附图说明】
[0029]图1是本发明的基于云计算的nosql集群自