信息处理系统的运用管理装置的制作方法

专利名称：信息处理系统的运用管理装置的制作方法
技术领域：
本发明涉及由服务器、储存器(Storage)、网络等的信息处理装置群以及对其进行 供电或冷却的设备构成的信息处理系统的运用管理装置，特别涉及适合进行信息处理装置 群和设备总计的综合节电运用管理的方法。
背景技术：
例如，在日本特表2007-536657号公报(专利文献1)中，在由多个服务器和管理 服务器构成的系统中，通过虚拟化的联合(consolidation)来降低系统的消耗功率。管理 服务器通过监视单元检测表示服务器的工作负荷的资源使用率或消耗功率，当判断为某个 服务器的检测值小于阈值的情况下，使该服务器中的虚拟机动态地向其他服务器迁移，并 切断原服务器的电源。在阈值判断中使用检测出的瞬时值或平均值。对资源使用率使用处 理器及存储器等的使用率。日本特表2005-531047号公报(专利文献2)中，在对由多个服务器构成的服务 器池(server pool)的消耗功率进行管理的方法中，判断满足最临近的工作负荷的总需求 的服务器数量，进行服务器的通电或切断来管理消耗功率。对当前的工作负荷加上隆起值 (下限)或过剩值(上限)，当前的动作服务器所负担的工作负荷若小于下限值，则追加动 作服务器，若超出上限值，则减少动作服务器。各工作负荷以如电子商务及Web应用那样在 时间上足够短为前提，以使得能够通过服务器台数的增减来迎合工作负荷的总需求。在专利文献2中，对工作负荷的计量采用处理器使用率、存储器使用率、网络带宽 使用率、磁盘带宽使用率。对隆起值和过剩值分别使用在履历时间框内所观察到的工作负 荷的最小偏差和最大偏差，但对于工作负荷的履历规模、隆起值及过剩值的设定，还通过对 实际的工作负荷需求与消耗功率进行对照检索来找出最适当的设定。对于日单位或周单位 等的反复的、周期性的工作负荷的尖峰，对服务器池的工作调度设定标志而进行应对。此 外，根据服务器机箱的冷却风扇的位置及故障处来控制所工作的服务器。在美国专利申请公开第2006/0259621号说明书(专利文献3)中，在对位于数据 中心的多个服务器分配工作负荷的方法中，将被请求的工作负荷的分布(profile)和履历 分布进行比较，按照服务器和空调的功率最低的履历向服务器分配被请求的工作负荷，若 没有适当的履历，则随机进行分配。履历分布中包含服务器的位置及分类、工作负荷的类型 及使用率、进气排气温度、服务器和空调的功率。服务器和空调的功率可通过服务器的进气 排气温度、比热、和风量来求出，或通过功率计来测定。作为履历分布，除了以短间隔(1 10分钟)或长间隔(1 6个月)定期收集瞬时值以外，还有在1天中不定期地收集的情 况，以工作负荷的新分配及服务器配置的变更等事件为契机的情况，进行使工作负荷的分 配、类型、使用率等大幅改变的实验的情况。在日本特开2005-312142号公报(专利文献4)中，在对建筑物的消耗功率进行管 理的系统中，将建筑物及其中的设备划分而测量消耗功率，当某个区域的功率超出阈值时 发出警告并管理建筑物整体的功率，对节电化进行支援。建筑物按层单位、设备按信息设备或空调设备等的种类来划分。将每个区域的阈值考虑消耗功率的平均值及偏差值来设定。专利文献1 日本特表2007-536657号公报专利文献2 日本特表2005-531047号公报专利文献3 美国专利申请公开第2006/0259621号说明书专利文献4 日本特开2005-312142号公报发明的公开发明要解决的课题面向近年来的信息通信的飞速发展、以及广播与通信的融合时代，预想到信息处 理装置的急剧增加。另一方面，为了消减二氧化碳以防止地球温暖化，迫切需要大幅降低信 息处理装置的消耗功率。特别是在后端承担信息处理基础的数据中心中，除了信息处理装 置群所消耗的功率之外，进行其供电及冷却的设备所消耗的功率也占有较大的比例，从而 消减设备与装置群总计的综合功率成为重要的课题。面向数据中心的节电化，在服务器、储存器、网络等的信息处理装置、供电设备、冷 却设备、系统运用管理中开始做出各种努力。在信息处理装置中，基于低功率设备/电路的 单位消耗功率的性能的提高、及基于与工作负荷对应的工作/待机状态切换的节电功能的 采用得到发展。在供电设备中，开始了从变压器、无停电电源、配电盘、分组接线器等到装置 群电源的供电系统的损失降低及变换效率提高，在冷却设备中，开始了空调机自身的运转 效率提高及供排气口的气流设计的最佳化、以及局部冷却及液冷的导入。在运用管理中，运 行信息监视、工作调度、以及基于虚拟化的装置群的运用效率改善及联合被列举为主要对 策。为了以信息处理装置群为系统来实现节电化，需要管理装置群的工作负荷及消耗 功率，但这些不是固定的而是根据系统的处理方式及应用而表现各种特性。例如，根据批量 处理或实时处理、在线处理或离线处理、对话型处理或事务(transaction)处理或实时控 制处理、数据库处理或技术计算等，装置的工作负荷及消耗功率按时序复杂地变化。即使作 为时间波形捕捉，也存在脉冲状、突发状、尖峰状、振动状，以及规则性、周期性、随机性、1/f 起伏等各种形态。供电设备及冷却设备通常根据装置群的最大额定功率而设计，然而运用时的设备 的效率及功率很大程度上依赖于对设备的装置群的功率的分布或变动。例如，电源变换效 率依赖于功率负荷，所以供电损失根据装置的工作功率和供电系统而不同。此外，空调机的 效率依赖于装置的功率即发热、空调机与装置间的位置关系或距离、温度、风量、风向等，所 以冷却功率很大程度地受到装置的功率与配置的影响。今后，预想到基于数据中心的虚拟化的运用管理得到发展，为实现节电化而利用 统合及实时迁移(live migration)，因此，需要充分考虑装置群的工作负荷的时序变化及 对设备的装置群的功率分布变动、并适当地控制对装置群的工作负荷的分配及设备的运转 能力来降低装置群的功率及合计上设备的总功率的对策。以往，作为与服务器、计算机等的 装置群或空调设备有关的运用管理方法，已知有几个公知的例子，但对于上述时间变动，限 于固定的或局部时间的研究(approach)，对于装置群和设备的综合节电化，限于局部或逐 次的研究。例如，在专利文献1中，利用虚拟机的动态迁移来减少动作服务器，从而降低系统的消耗功率。虽然将工作负荷低的服务器提取为动作停止的对象，但在混合存在有性能或 功率利用系数不同的服务器的情况下，向对象服务器集中虚拟机能够消减系统整体的功 率。此外，在迁移的可否判断中采用工作负荷的瞬时值或平均值，但对于平均值，在起伏及 振动较大的情况下，在集中了虚拟机的服务器中，可能会导致工作负荷瞬时地超出处理性 能而引起性能劣化。此外，并不涉及关于对服务器的供电及冷却。在专利文献2中，通过使动作服务器的台数迎合工作负荷的总需求来节省服务器 池的消耗功率的浪费。以各工作负荷的寿命较短、各动作服务器的工作负荷变得足够高为 前提，而没有考虑到多个服务器存在差异的情况、各服务器中的工作负荷变动的情况、混合 存在有各种应用的工作负荷的情况等。在服务器台数的判断中采用工作负荷的当前值与履 历时间框内的峰值(最小偏差与最大偏差)，在特定的应用中，若工作负荷的变化缓慢或具 有周期性，则容易设定妥当的时间框及标志，但当服务器及应用多种多样、工作负荷的变动 较大时，最小值与最大值的差即判断条件的宽度过宽，最佳的服务器台数不定而无法有效 地集中。此外，根据服务器机箱内部的冷却风扇的配置及故障位置来选择进行动作的服务 器，但在跨越多个机箱的情况下进行随机选择，且未考虑包围机箱的空调环境，难以实现设 备层面的充分的节电化。在专利文献3中，根据使服务器和空调的功率最小的履历分布，对服务器分配所 请求的工作负荷，从而降低服务器和空调设备总计的功率。当对于请求在履历范围内没有 适合的履历时无法进行对应，或只能按照履历的累积而逐次改善。此外，在履历中包含服务 器位置及合计了空调的功率，但却没有考虑服务器位置对空调的影响等，向履历所表现出 的服务器分配工作负荷不一定使服务器群和空调设备的总功率最小化。利用瞬时值来对照 请求与履历，即使按照暂时适合的履历来分配工作负荷，若工作负荷时间上变动，则会引起 背离所参照履历的状况而导致功率增加。在专利文献4中，若信息设备或空调设备的测量出的消耗功率超出阈值，则发出 警告来管理功率。阈值是考虑功率的平均值和偏差值来设定的，但所谓偏差值，是表示对于 总体分布的数值的相对位置的无因次数，关于具有功率这一物理量的因次的阈值的设定方 法没有具体进行描述。此外，虽然通过警告对节电化进行支援，但却没有涉及对于信息设备 的工作负荷的分配方法、对于热负荷的空调设备的控制方法。如上所述，现有技术中，作为对象的信息处理装置群及工作负荷是限定的，并且在 对装置群的工作负荷分配中采用瞬时值、平均值、最小/最大偏差等，存在对于工作负荷的 时序变化只能在局部时间上降低装置群的消耗功率的问题。此外，关于装置群与设备共计 的总功率也只限于局部或逐次地改善。本发明的主要课题之一在于通过适当地控制对装 置群的工作负荷的分配及设备的运转能力，降低装置群的功率及进一步合计了设备后的总 功率，实现以数据中心为代表的信息处理系统的节电运用，以便能够适应于多样的装置群 及工作负荷的混合存在、装置群的工作负荷的时序变化、对于设备的装置群的功率分布变 动。此外，关于本发明的上述目的及其他目的和新特征，通过本说明书的记载及附图
将变得 更加明确。

发明内容
解决问题所采用的手段
对本申请所公开的发明中的代表性实施例的概要简单说明如下。本发明的代表实施例的特征在于由信息处理装置群构成的信息处理系统的运用 管理装置，对装置群的工作负荷的履历进行保存，根据包含履历的时序变化的代表值和分 散度的概要统计量来求出工作负荷的指标值，使指标值收纳于装置的规定阈值范围(指标 值用)，并且从装置性能的功率利用系数高的装置开始优先分配工作负荷，以降低装置群的 消耗功率总和。工作负荷的履历包含按照信息处理装置的种类来判断工作负荷分配所需的计量 信息。若为服务器则可列举出处理器使用率、存储器使用容量或使用率、盘传输速度或 带宽使用率、网络传输速度或带宽使用率等，若为储存器则可列举出I0PS(输入输出吞吐 量)、使用容量或使用率，若为网络则可列举出传输吞吐量、延迟时间等。履历是以充分掌握工作负荷的时序变化的方式来取得。在工作负荷比较固定的情 况下定期地取得，在变化的情况下与其相应地可变地取得。此外，存在如下情况按照工作 负荷的周期性及调度而有计划地取得的情况，以及以装置及工作负荷的追加或削减、装置 及设备的配置变更及故障等事件为契机而取得的情况。概要统计量包含根据履历计算出的代表值和分散度，表示工作负荷的动向。作为 代表值而采用移动平均值、移动中央值、移动最频值，作为分散度而采用标准偏差、四分位 偏差、平均偏差等。在设想工作负荷的变化接近于正态分布的情况下，主要采用移动平均与 标准偏差的组合，而在分布中存在偏态等情况下，有时根据需要而采用移动中央值与四分 位偏差的组合。概要统计量随着履历的更新而被随时计算并与履历一起被保存，或者根据按运用 策略(policy)对工作负荷分配进行变更的契机而被计算。在前者中存在如下情况为了压 缩履历的数据容量，取代工作负荷的原始数据而将概要统计量作为履历来保存。在后者中， 装置群整体及各装置的工作负荷的增减、工作负荷的调度、装置的故障等能够成为契机。可以说，指标值是这样一种预想值根据表示时序动向的代表值和分散度而被计 算、且具有考虑了工作负荷的变化幅度的统计概率。在概率上防止如专利文献1及专利文 献3那样采用瞬时值及平均值而工作负荷超出装置处理性能，来维持装置群整体的系统处 理性能，避免如专利文献2那样采用最小值和最大值而工作负荷分配的判断基准变宽，从 而能够有效集中工作负荷。装置的阈值范围(指标值用)是按照针对工作负荷的类型及处理形态等的运用策 略来设定的。例如，若为实时处理则降低阈值的上限，若为批量处理则提高阈值的上限，由 此在前者中能防止对工作负荷急增的处理性能劣化，在后者中能提高装置的运用效率。阈 值的下限根据需要来设定。此外，对各装置分别决定与阈值范围(指标用)相同、或比其范 围更宽的阈值范围(检测用)，能够将逐次算出的指标值脱离该阈值范围(检测用)的情况 作为变更工作负荷分配的契机来利用。装置性能的功率利用系数是将装置的性能除以消耗功率而得的值，根据工作负荷 的类型及处理性能来定义。关于性能、功率、功率利用系数的信息，作为系统管理信息的一 环而包含于规格信息、结构信息、工作监视信息等中。通过使工作负荷的指标值收纳于阈值 范围(指标值用)，并且从功率利用系数高的装置开始优先分配工作负荷，能够在维持工作 负荷的处理性能的同时有效地进行集中，并能够降低装置群整体的总消耗功率。未被分配
8工作负荷的装置根据运用策略来进行待机、暂停、电源切断等的节电。本发明的代表实施例的其他特征在于由信息处理装置群及进行供电或冷却的设 备构成的信息处理系统的运用管理装置，使工作负荷的指标值收纳于装置的阈值范围(指 标值用)，并且，除了装置的消耗功率、还根据考虑了设备供电损失或冷却功率的装置性能 的功率利用系数，来分配工作负荷。装置的消耗功率按照工作负荷的多少而变化，设备的供电损失依赖于对装置群的 供电系统与装置群的功率分布，冷却功率依赖于对装置群的冷却设备的配置与装置群的热 负荷分布(功率分布)、温度分布，因此，供电损失与冷却功率受装置群的物理配置和工作 负荷分配的影响。利用功率利用系数来分配工作负荷，从而能够降低装置群的功率消耗与 设备的供电损失或冷却功率的总和，其中，该功率利用系数基于将对各装置的供电损失或 冷却功率的局部灵敏度和对装置自身的消耗功率相加的功率。利用公式说明本发明实施例的进一步的特征。将代表工作负荷j(j = 1,2,……) 的计量变量集合设为Lj,则装置i(i = 1,2,……)的消耗功率pDi如公式1所示，装置群的 总功率Pd如公式2所示。[公式1]
权利要求
1.一种信息处理系统的运用管理装置，该信息处理系统包括多个信息处理装置，该信 息处理系统的运用管理装置的特征在于上述多个信息处理装置将多个工作负荷分散执行；上述运用管理装置具备第1单元，通过监视上述多个信息处理装置所具备的第1变量，取得并保存上述多个工 作负荷各自的处理量的时序变化的履历；第2单元，计算上述履历的包含时序变化的代表值和分散度的概要统计量，并根据该 概要统计量决定上述多个工作负荷各自的指标值；以及第3单元，对上述多个信息处理装置各自决定第1阈值范围，使上述指标值收纳于上述 第1阈值范围，并且使上述多个信息处理装置中的、对装置性能而言功率利用系数高的信 息处理装置优先而依次分配上述多个工作负荷的各个工作负荷。
2.如权利要求1所记载的信息处理系统的运用管理装置，其特征在于上述指标值为上述履历的移动平均值与规定倍的标准偏差的和或差。
3.如权利要求1所记载的信息处理系统的运用管理装置，其特征在于上述指标值为基于上述履历所包含的样本数的总体平均值与规定倍的总体标准偏差 的和或差。
4.如权利要求1所记载的信息处理系统的运用管理装置，其特征在于上述第3单元在对上述多个信息处理装置中的一个信息处理装置分配上述多个工作 负荷中的两个以上工作负荷的情况下，将上述指标值设为合成平均值与合成标准偏差的和 或差，该合成平均值和合成标准偏差是基于上述两个以上工作负荷的各个移动平均值与标 准偏差的值。
5.如权利要求1所记载的信息处理系统的运用管理装置，其特征在于上述第3单元在判断根据上述多个信息处理装置之一的第1信息处理装置的上述第 1变量决定的上述多个工作负荷中的某一个工作负荷的上述指标值是否收纳于上述多个信 息处理装置之一的第2信息处理装置的上述第1阈值范围时，根据上述第1信息处理装置 和上述第2信息处理装置的性能比来变换上述指标值。
6.如权利要求1所记载的信息处理系统的运用管理装置，其特征在于上述运用管理装置还具备第4单元，该第4单元控制上述多个信息处理装置的向启动 或待机状态的切换；上述第4单元将未由上述第3单元分配上述多个工作负荷中的任何一个工作负荷的、 上述多个信息处理装置的一部分设为待机状态或切断电源。
7.如权利要求6所记载的信息处理系统的运用管理装置，其特征在于上述第3单元对上述多个信息处理装置各自决定与上述第1阈值范围相同或更宽的范 围的第2阈值范围，以在上述多个信息处理装置中的某一个信息处理装置中伴随该信息处 理装置所执行的单个或多个工作负荷的上述指标值脱离上述第2阈值范围的情况为契机， 变更上述多个工作负荷的分配。
8.如权利要求7所记载的信息处理系统的运用管理装置，其特征在于上述第4单元从未被分配上述多个工作负荷中的任何一个工作负荷的上述多个信息 处理装置的一部分之中，将规定台数的信息处理装置设为待机状态，并切断剩余台数的信息处理装置的电源，以备上述指标值脱离上述第2阈值范围的情况。
9.如权利要求1所记载的信息处理系统的运用管理装置，其特征在于上述指标值为根据上述履历的概要统计量来预测的预测值的置信区间的上限值或下 限值。
10.一种信息处理系统的运用管理装置，该信息处理系统包括多个信息处理装置以及 对上述多个信息处理装置进行供电或冷却的设备，该信息处理系统的运用管理装置的特征 在于上述多个信息处理装置将多个工作负荷分散执行；上述运用管理装置具备第1单元，通过监视上述多个信息处理装置所具备的第1变量，取得并保存上述多个工 作负荷各自的处理量的时序变化的履历；第2单元，计算上述履历的包含时序变化的代表值和分散度的概要统计量，并根据该 概要统计量决定上述多个工作负荷各自的指标值；以及第3单元，对上述多个信息处理装置各自决定第1阈值范围，使上述指标值收纳于上述 第1阈值范围，并且使上述多个信息处理装置中的、对装置性能而言包括信息处理装置自 身的消耗功率以及上述设备的供电损失或冷却功率的功率利用系数高的信息处理装置优 先而依次分配上述多个工作负荷的各个工作负荷。
11.如权利要求10所记载的信息处理系统的运用管理装置，其特征在于上述指标值为上述履历的移动平均值与规定倍的标准偏差的和或差。
12.如权利要求10所记载的信息处理系统的运用管理装置，其特征在于上述指标值为基于上述履历所包含的样本数的总体平均值与规定倍的总体标准偏差 的和或差。
13.如权利要求10所记载的信息处理系统的运用管理装置，其特征在于上述第3单元在对上述多个信息处理装置中的一个信息处理装置分配上述多个工作 负荷中的两个以上工作负荷的情况下，将上述指标值设为合成平均值与合成标准偏差的和 或差，该合成平均值和合成标准偏差是基于上述两个以上工作负荷的各个移动平均值和标 准偏差的值。
14.如权利要求10所记载的信息处理系统的运用管理装置，其特征在于上述第3单元，在判断根据上述多个信息处理装置之一的第1信息处理装置的上述第 1变量决定的上述多个工作负荷中的某一个工作负荷的上述指标值是否收纳于上述多个信 息处理装置之一的第2信息处理装置的上述第1阈值范围时，根据上述第1信息处理装置 和上述第2信息处理装置的性能比来变换上述指标值。
15.如权利要求10所记载的信息处理系统的运用管理装置，其特征在于上述运用管理装置还具备第4单元，该第4单元控制上述多个信息处理装置的向启动 及待机状态的切换、以及上述设备的运转状态；上述第4单元将未由上述第3单元分配上述多个工作负荷中的任何一个工作负荷的、 上述多个信息处理装置的一部分设为待机状态或切断电源。
16.如权利要求15所记载的信息处理系统的运用管理装置，其特征在于上述第3单元对上述多个信息处理装置各自决定与上述第1阈值范围相同或更宽的范围的第2阈值范围，以在上述多个信息处理装置中的某一个信息处理装置中伴随该信息处 理装置所执行的单个或多个工作负荷的上述指标值脱离上述第2阈值范围的情况为契机， 变更上述多个工作负荷的分配。
17.如权利要求16所记载的信息处理系统的运用管理装置，其特征在于上述第4单元从未被分配上述多个工作负荷中的任何一个工作负荷的上述多个信息 处理装置的一部分之中，将规定台数的信息处理装置设为待机状态，并切断剩余台数的信 息处理装置的电源，以备上述指标值脱离上述第2阈值范围的情况。
18.如权利要求15所记载的信息处理系统的运用管理装置，其特征在于上述第4单元对于上述多个信息处理装置的当前的消耗功率和上述设备的当前的供 电能力或冷却能力，在由上述第3单元变更上述多个工作负荷的分配之后，先行运转控制 上述设备，以使得充分必要地满足上述供电能力及上述冷却能力。
19.如权利要求18所记载的信息处理系统的运用管理装置，其特征在于上述第4单元在先行运转控制进行上述冷却的设备时，反映上述指标值的与进行上述 冷却的设备的热时间常数相当的区间的移动平均值。
20.如权利要求16所记载的信息处理系统的运用管理装置，其特征在于上述第4单元以使上述设备的能力具有余量的方式对运转进行控制，以备上述指标值 脱离上述第2阈值范围的情况。
全文摘要
在包含多个装置群的信息处理系统中，能够不减低系统处理性能而实现合计了装置群及供电/冷却设备的节电运用。设置与装置群(201～20q)及设备(401～40u、501～50v)连接的运用管理装置(60)。运用管理装置(60)具备装置群(201～20q)及设备(401～40u、501～50v)的位置与运行信息61；将装置群(201～20q)的工作负荷(301～30r)的履历进行保存的数据库(64)；根据履历来计算工作负荷的指标值的单元(62)；向装置群(201～20q)分配工作负荷(301～30r)的单元(63)。并且，运用管理装置(60)将根据反映工作负荷(301～30r)的时序变化的概要统计量得到的指标值收纳于各装置的阈值范围，并且从装置性能的功率利用系数高的装置开始优先地分配工作负荷(301～30r)。
文档编号G06F9/50GK102099790SQ200980127680
公开日2011年6月15日 申请日期2009年3月5日 优先权日2008年10月30日
发明者冲津润, 加藤猛, 志贺阳子, 斋藤达也, 林真一 申请人:株式会社日立制作所