专利名称：一种云计算环境下中间数据的容错性优化方法
技术领域：
本发明设计一种云计算环境下中间数据的容错性优化方法，具体设计一种云计算 环境下中间数据采用选择存储的数据管理方法，进行后台复制和开销比较等，降低存储复 制开销，提升系统性能，属于计算机存储技术领域。
背景技术：
随着云计算的流行，云计算编程模型的重要性也日渐凸显，其中数据流编程 模型是一种主导编程模型。数据流编程模型在大规模数据处理中越来越流行，例如 MapReduce, Dryad和Pig。数据流程序是包括多个阶段的计算和将各个阶段连接在一起的 通信方式。中间数据是任务开始到结束之间，在各个阶段计算产生的数据，它是上个阶段的 输出数据和下个阶段的输入数据。在云计算规模日益增大的情况下，节点失效问题越发频 繁，并成为大家关注的焦点。而节点失效带来中间数据丢失，直接影响任务的执行，如何有 效管理中间数据，提高中间数据的容错性以保证任务的顺利完成成为当前云计算领域研究 白勺^^ ； ^^ ο除了从提高硬件稳定性等方面的考虑外，通过修改现有的存储系统对中间数据进 行存储是常用的方法之一，即利用现有存储系统通过增加备份数量以此来提高中间数据的 容错性。这种方式下存储中间数据不能根据系统中的任务运行情况，进行低开销、低干扰的 数据复制。这种方式实现简单，但未考虑到系统中负载、任务执行、所在位置等情况。此方 法在提高中间数据容错性的同时，会占用网络资源，影响任务完成时间，从而降低系统的整 体性能。如果采用选择存储技术，通过在线收集任务进度及所在位置，进行后台复制、任务 临近节点存储等方法，可以避免上述方法所带来的缺点，并且可以是使系统性能不下降的 情况下完成中间数据容错性优化的目的，在云计算中间数据领域具有很重要的意义。
发明内容
本发明的目的是提供一种云计算环境下中间数据的容错性优化方法，它首先考虑 网络的负载情况，在满足低干扰的情况下选择性的对中间数据进行备份，从而提高其容错 性、提高系统性能。如图1所示，本发明是一种云计算环境下中间数据的容错性优化方法，该方 法包括以下步骤。步骤101.计算节点动态统计网络负载，任务执行进度、位置等信息，以心跳信息 的形式报告给主控节点，以确定备份策略。步骤102.计算节点对任务输入数据进行判断和划分，以确定数据是否需要复制， 并向主控节点提出复制申请。步骤103.根据主控节点的复制命令的反馈，计算机节点利用空闲带宽，考虑比较 开销、复制时间等因素，进行数据复制。
步骤104.向主控节点反馈备份情况，更新数据备份信息。其中，步骤101所述的信息统计需满足快速、数据充足及实时的要求。网络负载信 息是主控节点和计算节点判断复制的重要数据依据。网络负载信息主要包括往返延迟和丢 包率，即在当前时段网络中以往返延迟增加和丢包率增加衡量网络负载情况，以避免因复 制占用网络资源过多而导致整体性能下降。所述的任务执行进度、位置，是根据当前正在执 行任务，收集任务的TaskID、任务执行节点位置、任务已执行时间、任务进度评分(在云计 算框架里，将任务评分分为0至1分，每个阶段为1/ 等信息，以预测任务完整执行所需的 最长时间和备份存储位置。信息统计周期以0. 5秒 1. 0秒之间为最佳，并封装为心跳信息 发送给主控节点。其中，步骤102所述的是任务输入数据，产生于本地节点或远程节点。该阶段需要 对输入数据的来源位置进行快速、准确的判断。在任务等待输入数据期间，本地节点以心跳 信息的方法发送给主控节点查询该任务输入数据的产生位置或本地节点通过执行线程查 询输入数据的产生位置，进而判断输入数据产生于本地节点或远程节点，如输入数据是本 地节点产生则需要进行备份，反之则不需要。在云计算环境下，本地产生的数据在任务使用 完后会自动删除，而远程节点产生数据在不同节点使用完后会自动保存。因此在任务开始 前判断数据情况以确定复制，能提高资源使用率，避免因重复复制而造成时间耗费、占用额 外资源而导致的性能下降。其中，步骤103所述的数据复制主要涉及利用空闲带宽复制，考虑开销比较和复 制时间比较等因素。根据步骤101收集到的网络负载信息，分析其历史网络负载规律，考虑 节点位置、资源使用状况，进一步计算出未来1800秒内网络空闲情况，并在此段时间进行 数据复制。复制时间比较是指数据备份复制时间需比任务执行时间短，即主控节点收到本 地节点的反馈信息来控制数据复制速率和计算节点监控任务执行进度两方面保证数据复 制时间，如果复制时间超过任务完成时间，则放弃复制。开销比较主要通过主控节点记录任 务实际执行的历史时间作为任务执行开销和以Map、Reduce数量相同的参数的中间数据的 复制时间作为复制开销进行比较，如执行开销大于复制开销，则放弃复制。其中，步骤104所述备份情况是指通过网络负载预测及备份策略成功备份后的信 息。计算节点在中间数据复制成功后，以心跳信息的形式发送给主控节点，通知主控节点该 数据备份成功和存储位置，以供节点失效后使用和判断输入数据位置节点的情况。主控节 点接收到计算节点的备份信息后，更新数据位置等信息。本发明一种云计算环境下中间数据的容错性优化方法，它与现有技术比，其主要 优点是(1)实现中间数据的备份，提高系统性能。原有的中间数据备份是利用已有的文件 系统和存储系统进行存储备份，备份开销大，造成任务完成时间的延长。本方法根据云计算 环境网络负载及任务执行情况，通过控制复制速度等方法保证了中间数据的复制，确保了 对任务的低干扰；(2)将统计方法和进度控制应用到中间数据复制过程中，构建新的架构 和方法以解决备份中网络资源争用、复制效率等问题。
图1中间数据复制控制流程示意图。图2根据统计网络负载、任务进度等状态的流程示意图。
具体实施例方式为使本发明的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体 实施例对本发明再作进一步详细的说明。本发明的主要思想是根据云计算环境下任务执行时网络负载、任务执行进度及资 源使用状况对中间数据的复制进行动态调整，通过结合统计网络负载及任务执行情况对中 间数据复制进行实时控制，以保证在不干扰前台任务执行的情况下实现中间数据的复制。首先对数据进行分类，减少复制开销。因本地产生的数据在下一阶段使用完后会 自动删除，而其他节点产生数据在不同节点使用完后会自动保存。收集到的信息包括网络 负载信息，以1800秒为周期，分析各个时间段(200秒)的负载情况；收集任务执行情况，如 执行完整时间，以此作为中间数据复制的衡量标准之一；收集中间数据备份复制时间，作为 参数相同数据的复制时间的参考。需要实时收集上述信息，及时更新数据，保证中间数据复 制的低干扰和效率。 下面以一实例进行说明，如图2所示，包括以下步骤。步骤201 实时统计网络负载信息，观察每个时间段QOO秒)网络的往返延迟和 丢包情况，以此为依据预测将来网络的情况。并实时监控任务执行进度，收集任务的集任务 的TaskID、任务执行节点位置、任务已执行时间、任务进度评分，并根据任务进度评分预测 任务完成时间，预测算法如下
Pr ogr essRat e= ； ProgressScore, /Ti, /h
ο
Time 二 I - Pro gr e ssSc ο re ι --‘' P rog ressR ate步骤202 :在等待输入数据传输过程中，实时统计任务的输入数据位置。计算节点 以心跳信息的方式发送给主控节点查询命令，查询该输入数据的产生位置或计算节点通过 当前执行线程查询输入数据的产生位置，得知信息后以此判断数据的来源，如输入数据来 自本地节点，任务执行完后会自动删除数据，因此该数据需要进行备份；而来自其他节点的 数据，数据将会保存。步骤203 当数据准备进行复制时，首先根据当时网络负载信息情况进行判断，如 网络负载高，则暂停复制等待网络空闲时刻；如网络负载低，则进入准备复制阶段。而在复 制过程中，仍在监控网络负载，当感知网络负载增加的时，降低复制速度或暂停复制并监测 网络负载情况，如网络负载降低则提高复制速度或恢复复制。复制开始前，先判断复制开 销，以收集到的任务完成时间和参数相同的中间数据备份时间为参考，对比任务重新执行 和数据复制的开销，如复制开销大，则放弃复制；如复制开销小，则根据监控任务执行情况 和预测公式进行时间判断，如复制时间小于任务完成时间，则开始复制，否则放弃复制。即 预测复制状况，节省系统资源开销，提高复制效率。步骤204:复制完成后，计算节点将数据存储位置、大小等信息反馈给主控节点。 主控节点接收到信息后更新存储数据信息。本实例中查看网络负载及任务执行进度等参数并进行相应的参数更新时在数据复制过程中依据任务执行周期循环执行的。采用上述中间数据复制方法可以做到尽量在对 前台任务低干扰的情况达到复制的高效，以满足容错的需求。 最后所应说明的是以上实施例仅用以说明而非限制本发明的技术方案，尽管参 照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解依然可以对本 发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均 应涵盖在本发明的权利要求范围当中。
权利要求
1.一种云计算环境下中间数据的容错性优化方法，其特征在于该方法包括以下步骤步骤101.计算节点动态统计网络负载，任务执行进度、位置信息，以心跳信息的形式 报告给主控节点，以确定备份策略；步骤102.计算节点对任务输入数据进行判断和划分，以确定数据是否需要复制，并向 主控节点提出复制申请；步骤103.根据主控节点的复制命令的反馈，计算机节点利用空闲带宽，考虑比较开 销、复制时间等因素，进行数据复制；步骤104.向主控节点反馈备份情况，更新数据备份信息；其中，步骤101所述的网络负载信息主要包括往返延迟和丢包率，即在当前时段网 络中以往返延迟增加和丢包率增加衡量网络负载情况，以避免因复制占用网络资源过多 而导致整体性能下降；所述的任务执行进度、位置是根据当前正在执行任务，收集任务的 TaskID、任务执行节点位置、任务已执行时间、任务进度评分信息，以预测任务完整执行所 需的最长时间和备份存储位置；其中，步骤102所述的是任务输入数据，产生于本地节点或远程节点；在任务等待输入 数据期间，本地节点以心跳信息的方法发送给主控节点查询该任务输入数据的产生位置或 本地节点通过执行线程查询输入数据的产生位置，进而判断输入数据产生于本地节点或远 程节点，如输入数据是本地节点产生则需要进行备份，反之则不需要；其中，步骤103所述的数据复制主要涉及利用空闲带宽复制，考虑开销比较和复制时 间比较因素；根据步骤101收集到的网络负载信息，分析其历史网络负载规律，考虑节点位 置、资源使用状况，进一步计算出未来1800秒内网络空闲情况，并在此段时间进行数据复 制；其中，步骤104所述备份情况是指通过网络负载预测及备份策略成功备份后的信息 计算节点在中间数据复制成功后，以心跳信息的形式发送给主控节点，通知主控节点该数 据备份成功和存储位置，以供节点失效后使用和判断输入数据位置节点的情况；主控节点 接收到计算节点的备份信息后，更新数据位置信息。
2.根据权利要求1所述的一种云计算环境下中间数据的容错性优化方法，其特征在 于所述步骤101中任务进度评分分为0至1分，每个阶段为1/3。
3.根据权利要求1所述的一种云计算环境下中间数据的容错性优化方法，其特征在 于所述步骤101计算节点动态统计网络负载，任务执行进度、位置信息，其统计周期以 0. 5秒 1. 0秒之间为最佳。
4.根据权利要求1所述的一种云计算环境下中间数据的容错性优化方法，其特征在 于所述步骤103中，复制时间比较是指数据备份复制时间需比任务执行时间短，即主控节 点收到本地节点的反馈信息来控制数据复制速率和计算节点监控任务执行进度两方面保 证数据复制时间，如果复制时间超过任务完成时间，则放弃复制；开销比较主要通过主控节 点记录任务实际执行的历史时间作为任务执行开销和以Map、Reduce数量相同的参数的中 间数据的复制时间作为复制开销进行比较，如执行开销大于复制开销，则放弃复制。
全文摘要
本发明一种云计算环境下中间数据的容错性优化方法，该方法有四大步骤步骤一收集网络负载、任务执行进度及位置信息；步骤二判断、分析任务输入数据，主要判断数据产生位置；步骤三根据当前环境对工作模式进行分类，根据控制参数对资源分配进行调整；步骤四反馈备份情况，更新数据备份信息。本发明首先考虑云计算环境下节点失效的频率，根据任务完成时间要求及资源使用情况对中间数据进行复制，对网络负载及任务执行进度进行实时监控及弹性管理，以保证系统在性能不受影响的情况下实现中间数据的复制。它在云计算数据管理领域具有广泛地实用价值和应用前景。
文档编号H04L29/08GK102104496SQ20101060225
公开日2011年6月22日 申请日期2010年12月23日 优先权日2010年12月23日
发明者毛宏, 祝明发, 肖利民, 胡声秋, 阮利 申请人:北京航空航天大学