专利名称：一种应用于节能型集群系统的数据重新部署方法
技术领域：
本发明是一种按数据访问规律将数据、任务以及节点进行重新部署，以达到服务器能够波态运行，从而实现节能型数据中心集群系统的新型方法。属于分布式计算、计算机网络、信息系统等信息技术类应用领域。
背景技术：
集群系统的能耗问题目前引起了广泛的关注。Google的集群系统每年消耗的电能为1亿千瓦。一个集群系统的运维成本费用中，能耗占了 40%。IDC的统计数据显示，集群系统服务器电力消耗以每年16%的速度递增，亚太区集群系统的电力消耗增长速度为每年 23%。根据节能和平组织的报告2010年，由于集群系统和远程通信网络的快速增长，使得用电量激增，从而对气候变暖产生极大的负面影响；到2020年，集群系统将消耗的电力资源，比法国、德国、加拿大和巴西目前消耗的电力总量还要多。目前集群系统在节能优化、实现节能计算方面的研究和应用取得了一些成果，但仍有所不足。数据中心的集群系统的能源主要消耗在以下几个方面计算、存储、网络设备、电源系统等在工作过程中消耗的能源，这在集群系统能耗占据较大的比重；空调、通风等散热、制冷设备等在工作过程中消耗的能源，这在集群系统能耗有时占据的比重甚至超过了第一类，统计数据显示，有些集群系统的冷却成本竟占了能耗成本的60%到70%左右；其它诸如照明、门禁、办公设备等在工作过程中消耗的能源，由于集群系统常常采用先进的、 高度自动化的管理与控制软件，尽量减少人员的参与，这部分能耗占据的比重一般比较小。对于集群系统而言，目前的这些解决方案存在着以下一些问题1、粗粒度的能耗管理。目前对于集群系统的能耗管理粒度不够细致，导致对机房内部的温度调控由于不具有针对性，制冷系统不能按实际设备的需要进行分配，以及总体能源浪费高等问题；2、高能耗的任务调度与数据部署。数据部署方面大都关注效率、可靠性、一致性以及如何降低存储空间等问题，没有关注不同数据的访问规律，也不考虑能耗问题。事实上，集群系统中，在执行任务和提供服务时，存在着以下的一些值得关注的情况1、系统中不同的数据访问的时段和强度具有很大的差异。有些数据的访问集中在每天8:30 17:30之间，而有些数据则集中在晚上19:00 21:00 ；有些数据平时访问量很低，但在节假日访问量激增。2、处于待机状态的服务器的电力消耗常常达到满负荷峰值的60%左右；加上集群系统冷却设备的能耗，集群系统会无谓增加50% 100%的能耗。
发明内容
技术问题本发明提出一种应用于节能型集群系统的数据重新部署方法，目标是解决节点上部署的数据的不规律导致访问热点的散乱，系统中的大量计算节点利用率较低，特别是部分节点甚至长时间处于待机状态，不能关闭，仍然有能耗，并造成环境的热负荷，相应的制冷系统仍然需要为其降温而造成能耗浪费问题。技术方案本发明提出的数据重新部署方法是在环境、设备条件允许的情况下，按数据访问规律将数据、任务以及节点进行聚集，以达到服务器能够波态运行，与服务器协同工作的制冷设备可以精准的进行环境温度控制。集群系统为了能够承受尖峰时刻的负载，因此在设置时，一般留有空闲余量，并采用备份副本冗余设计策略。传统集群系统的资源平均利用率仅在20% 30%，服务器在 80%的时间里是空闲的。处于空闲的节点如果处于待机状态的话，会无谓地浪费能源。特别是集群系统中各个节点负载时空分布不均，造成温控难以精准掌握，热点与冷点区域分布是散乱，造成现有集群系统的制冷系统不得不基于热力学稳态系统工作，导致有效制冷量不足50%。本发明的主旨是在环境、设备条件允许的情况下，将散乱分布的数据与任务进行聚集，以达到集群系统中的部分服务器能够被充分利用，而部分服务器处于深度休眠状态甚至关闭状态，与服务器关联的制冷设备也处于待机或关闭状态，从而既保障服务质量，同时达到低能耗的节能目标；方法分为数据重新部署、节点聚集和性能增强三个部分，具体描述如下1)假设目前具有基本相似访问规律的数据Di和Dj分别存在于节点A和B上，系统试图将数据Di和Dj聚集在一个节点A或者节点B上；系统首先将所有数据归并入虚拟数据资源池中，并对所有数据的历史访问情况进行审计与比对，并由此按数据访问规律划分为若干个子集合，存在于节点A的Di和存在于节点B的Dj被归入一个子集合中；为每个节点设置资源访问量上限为β，节点A的资源访问量为VisitsA，节点B的资源访问量为VisitsB;为了降低数据迁移的开销，如果在大部分时段内，节点A的访问量大于节点B，则系统倾向于将Di和Dj聚集于节点A，如果Visiti^+Visiti^彡β，则将Dj将迁移至节点A ；否则如果ViSitSA+ViSitSi ^ β，则将数据Di将迁移至节点B ；如果上述两种情况均不满足，则数据Di和Dj在当前情况下不可聚集；2)系统试图将在不同的时段访问量均相同或相似的节点A和B聚集于集群系统一个区域内；经过上述的数据重新部署后，重新考察节点A和B的资源访问量，如果当前节点A 和B具有基本相似访问规律，即在不同的时段访问量均相同或相似，则将节点A和B重新设置于同一个区域中，以实现集中制冷；这样，集群系统不同的区域将呈现出波态运作情形；3)利用活动规律相反的节点进行互补以实现系统性能的进一步增强系统理想的目标是利用数据的访问规律来实现节点资源在某些时段中的充分利用，而在某些时段内能够实现深度休眠状态甚至关闭状态，利用活动规律相反的节点进行互补以实现系统性能的进一步增强，主要是基于数据副本机制假设节点A和B是活动规律基本相反的节点，假设将系统运行分为时段Δρ Δ2、Δ3、八4和Δ 5，节点A在时段Δ ρ Δ 3、Δ 5具有高访问量，而在时段Δ2、Δ 4具有低访问量，而节点B的访问规律与之基本相反；系统将节点A所有数据的备用副本存放于节点B， 节点B所有数据的备用副本存放于节点A ；这样在时段Δ2、Δ 4将节点A调至关闭状态，并将原本流向节点A的数据访问请求调整为流向节点B ；而在时段Δ ρ Δ 3、Δ 5将节点B调至关闭状态，并将原本流向节点B的数据访问请求调整为流向节点Α。有益效果本发明提出的应用于节能型集群系统的数据重新部署方法，可达到以下的有益效果(1)降低能耗。进行了数据重新部署和节点聚集后，系统消除了计算节点的待机空耗状态，即尽量使节点处于工作和关机这两种有效状态，部分区域的节点工作负荷明显增加，部分区域的计算节点处于关闭状态，对环境造成的热负荷很少，相应的制冷设备也无需为之降温，避免了不必的制冷能耗。(2)硬件设备稳定性提高。集群系统的设备如果不问断运行容易造成节点的损坏与故障。本发明使得集群系统计算节点可以波态运行，处于一种“轮休”的状态，这个优点是可让长期运行的设备本身的系统稳定性大大增强，增加设备的使用寿命。
图1是应用本发明的系统模型。
具体实施例方式应用本发明所描述的方法的系统模型如图1所示。计算设备上包含了主机资源管理模块、主机控制模块、数据迁移模块、系统日志管理模块、主机运行监测模块；制冷系统包含了环境温度监测模块、制冷设备控制模块。其中制冷系统与计算设备协同工作，特别根据主机运行监测模块和环境温度监测模块感知的情况，再利用制冷设备控制模块来决定制冷设备是否开启制冷设备以及释放的制冷量，使得制冷系统可以实现集群系统整体、区域局部的精准温度控制。本发明的基本思想是在环境、设备条件允许的情况下，将散乱分布的数据与任务进行聚集，以达到集群系统中的部分服务器能够被充分利用，而部分服务器处于深度休眠状态甚至关闭状态，与服务器关联的制冷设备也可以处于待机或关闭状态，从而既能够保障服务质量，同时达到低能耗的节能目标。整个系统在经过一段时间的运行后，已经可以基本掌握数据在不同时段的访问规律。方法分为数据重新部署、节点聚集和性能增强三个部分，具体描述如下(1)假设目前具有基本相似访问规律的数据Di和Dj分别存在于节点A和B上，系统试图将数据Di和聚集在一个节点(节点A或者节点B)上。系统首先将所有数据归并入虚拟数据资源池中，并对所有数据的历史访问情况进行审计与比对，并由此按数据访问规律划分为若干个子集合。存在于节点A的Di和存在于节点B的Dj被归入一个子集合中。为每个节点设置资源访问量上限为β。节点A的资源访问量为VisitsA，节点B的资源访问量为Visits。为了降低数据迁移的开销，如果在大部分时段内，节点A的访问量大于节点B，则系统倾向于将Di和Dj聚集于节点A，如果Visiti^+Visiti^彡β，则将Dj将迁移至节点Α;否则如果Visit%+Visitsi< β，则将数据Di将迁移至节点B。如果上述两种情况均不满足，则数据Di和Dj在当前情况下不可聚集。(2)系统试图将在不同的时段访问量均相同或相似的节点A和B聚集于集群系统一个区域内。经过上述的数据重新部署后，重新考察节点A和B的资源访问量，如果当前节点A 和B具有基本相似访问规律，即在不同的时段访问量均相同或相似，则将节点A和B重新设置于同一个区域中，以实现集中制冷。这样，一般情况下，集群系统不同的区域将呈现出波态运作情形。(3)利用活动规律相反的节点进行互补以实现系统性能的进一步增强。系统理想的目标是利用数据的访问规律来实现节点资源在某些时段中的充分利用，而在某些时段内能够实现深度休眠状态甚至关闭状态，但这将造成存在数据无法被访问的状态。利用活动规律相反的节点进行互补以实现系统性能的进一步增强，主要是基于数据副本机制假设节点A和B是活动规律基本相反的节点，假设将系统运行分为时段Δρ Δ2、Δ3、八4和Δ 5，节点A在时段Δ ρ Δ 3、Δ 5具有高访问量，而在时段Δ2、Δ 4具有低访问量，而节点B的访问规律与之基本相反；系统将节点A所有数据的备用副本存放于节点B， 节点B所有数据的备用副本存放于节点A ；这样在时段Δ2、Δ 4将节点A调至关闭状态，并将原本流向节点A的数据访问请求调整为流向节点B，而在时段Δρ Δ3、Δ 5将节点B调至关闭状态，并将原本流向节点B的数据访问请求调整为流向节点Α。
权利要求
1. 一种应用于节能型集群系统的数据重新部署方法，其特征在于将散乱分布的数据与任务进行聚集，以达到集群系统中的部分服务器能够被充分利用，而部分服务器处于深度休眠状态甚至关闭状态，与服务器关联的制冷设备也处于待机或关闭状态，从而既保障服务质量，同时达到低能耗的节能目标；方法分为数据重新部署、 节点聚集和性能增强三个部分，具体描述如下1)假设目前具有基本相似访问规律的数据Di和分别存在于节点A和B上，系统试图将数据Di和Α聚集在一个节点A或者节点B上；系统首先将所有数据归并入虚拟数据资源池中，并对所有数据的历史访问情况进行审计与比对，并由此按数据访问规律划分为若干个子集合，存在于节点A的Di和存在于节点B 的被归入一个子集合中；为每个节点设置资源访问量上限为β，节点A的资源访问量为VisitsA，节点B的资源访问量为VisitsB;为了降低数据迁移的开销，如果在大部分时段内，节点A的访问量大于节点B，则系统倾向于将Di和Dj聚集于节点A，如果Visiti^Visitiij彡β，则将Dj将迁移至节点A ；否则如果ViSikA+ViSitSi彡β，则将数据Di将迁移至节点B ；如果上述两种情况均不满足，则数据Di和Dj在当前情况下不可聚集；2)系统试图将在不同的时段访问量均相同或相似的节点A和B聚集于集群系统一个区域内；经过上述的数据重新部署后，重新考察节点A和B的资源访问量，如果当前节点A和B 具有基本相似访问规律，即在不同的时段访问量均相同或相似，则将节点A和B重新设置于同一个区域中，以实现集中制冷；这样，集群系统不同的区域将呈现出波态运作情形；3)利用活动规律相反的节点进行互补以实现系统性能的进一步增强系统理想的目标是利用数据的访问规律来实现节点资源在某些时段中的充分利用，而在某些时段内能够实现深度休眠状态甚至关闭状态，利用活动规律相反的节点进行互补以实现系统性能的进一步增强，主要是基于数据副本机制假设节点A和B是活动规律基本相反的节点，假设将系统运行分为时段Δρ Δ2、 Δ3> A4^P Δ 5，节点A在时段Δ^ Δ3、Δ 5具有高访问量，而在时段Δ2、Δ 4具有低访问量， 而节点B的访问规律与之基本相反；系统将节点A所有数据的备用副本存放于节点B，节点 B所有数据的备用副本存放于节点A ；这样在时段Δ2、Δ 4将节点A调至关闭状态，并将原本流向节点A的数据访问请求调整为流向节点B ；而在时段Δ ρ Δ 3、Δ 5将节点B调至关闭状态，并将原本流向节点B的数据访问请求调整为流向节点Α。
全文摘要
本发明提出一种应用于节能型集群系统的数据重新部署方法。集群系统的巨大能耗及其带来的环境问题引起了广泛的关注。目前的集群系统的节能措施主要依赖自然环境和硬件设备改进等方式，而没有考虑系统中的数据部署层面的细粒度节能技术，显然不够合理且具有较大的局限性。本发明的方法分为数据重新部署、节点聚集和性能增强三个方面，主旨是在环境、设备条件允许的情况下，按数据访问规律将数据、任务以及节点进行聚集，以达到服务器能够波态运行，与服务器协同工作的制冷设备可以精准的、具有较强针对性的环境温度控制。
文档编号H04L29/08GK102299964SQ201110252869
公开日2011年12月28日 申请日期2011年8月30日 优先权日2011年8月30日
发明者吴家兴, 周静岚, 徐小龙, 曹玲玲, 杨庚, 耿卫健, 鲁蔚锋 申请人:南京邮电大学