专利名称：一种基于预测的快速数据复制方法
技术领域：
本发明涉及基于广域网络的分布式系统中的数据复制方法，尤其是对数据访问效率要求比较高，基于广域网络的分布式虚拟环境系统中的数据复制方法。
背景技术：
数据复制是分布式系统要解决的核心问题之一，数据复制方法的好坏直接影响到分布式系统的性能高低。目前，分布式系统中采用的复制方法都是基于数据对象的，即，在复制数据时，根据当前的网络状态，从多个可用的数据副本中选择访问开销最小的一个副本进行复制。在基于广域网络的分布式虚拟环境系统中，涉及许多大规模的海量数据对象，基于数据对象的复制方法主要是在网络带宽和存储空间之间进行权衡，难以充分利用网络带宽提高数据复制效率，从而影响数据访问效率的提高。因此，如何对海量数据对象进行快速复制是分布式虚拟环境研究人员急需解决的热点问题。
发明内容
本发明要解决的技术问题是针对现有的基于数据对象的数据复制方法难以有效提高海量数据对象的复制效率而提出的基于预测的快速数据复制方法，它将数据访问预测和并行复制相结合，利用数据访问预测来决定副本的增加和删除，在副本复制过程中采用并行复制策略，从副本放置和副本复制两个方面提高数据访问效率，满足分布式虚拟环境系统对数据访问效率的要求。
技术方案是本发明分为数据访问预测和并行数据复制两步首先，利用数据访问的历史记录预测未来某一时间间隔内的数据访问；然后，根据当前的网络状态选择访问开销最小的N个副本以及每个副本的数据访问量，从每个副本传输数据对象的不同部分，最后合并成完整的数据对象副本。
数据访问预测的方法是数据访问预测就是利用数据访问的历史记录来预测未来某一时间间隔内的数据访问。在分布式系统中，不同类型数据的访问模式表现出不同的局部性，即●空间局部性，就是被访问数据周围一定范围内的数据有可能在未来一定时间间隔内被访问；●时间局部性，就是最近被访问的数据有可能再次被访问；●无局部性，就是数据访问随机性很强。
分布式虚拟环境系统对地形、海图和地理三维模型等空间数据的访问请求都具有很大程度的空间局部性，而且这些数据对象体积都比较大，数据格式复杂多样，目前还没有统一有效的管理方法。因此，在分布式环境下，访问这些数据对象会带来很大的延迟，对分布式虚拟环境系统的性能带来直接的影响，本发明采用基于空间运动物理模型的预测方法来对空间数据的访问进行优化。
空间运动物理模型，就是利用物理的运动学原理来建立一个适合分布式虚拟环境中的数据访问的预测模型。空间运动基本要素就是时间和位置，利用运动学原理可以建立位置关于时间的函数，从而预测未来一定时间间隔内的运动位置。根据此位置可以计算出包含此位置的数据对象。
空间运动物理模型基于物理学中物体的运动方程创建，基本参数有时间t、位移s、速度v。基本方程为sρ=sρ0+∫t0tnvρdt;]]>从空间数据的访问请求序列中提取出请求数据的空间坐标序列A0，A1，ΛAn，同时记录请求发生的时间序列t0，t1Λtn；公式中 为请求序列的初始坐标A0，对A与T的序列使用Lagrange插值法得到●空间坐标关于时间的函数A=Σk=0n(Πi=0i≠knt-titk-ti)Ak,]]>●时间关于坐标的函数t=Σk=0n(Πi=0i≠knx-xixk-xi)tk]]>这两个函数描述了访问请求的空间运动趋势，是基本方程的另一种近似表达形式，由于空间坐标有二维、三维坐标，可以对坐标的每个维使用上述插值函数。由此得到以下两种形式设地理坐标为A，则有1、A＝f(t)，是地理坐标关于时间的函数；2、t＝f′(A)，是时间关于地理坐标的函数；假设当前的时间为tn，通过此函数可以得到tn+1时刻的空间坐标，做到了对未来一段时间内请求访问的预测。
经过多次模拟测试可以发现，当利用4次插值时就能达到很好的预测效果，利用更高次的插值公式能得到一定程度的改善，但是计算量比较大。为了达到计算简单快速的目的本发明推荐使用4次插值函数进行预测计算。
在实际系统中，创建空间运动物理模型获得参数和选择预测时刻的方法是获得参数。在分布式虚拟环境中，对空间数据的访问请求中都包含有该数据对象的地理位置信息，通过分析数据访问请求，可以记录数据访问请求的时间、地理位置等信息。基于这些历史信息，可以利用空间运动物理模型进行数据访问的预测。
选择预测时刻就是确定什么时候需要进行预测比较合适。预测时刻由空间运动模型表示的运动速度大小方向、空间数据块的大小、网络可用带宽等决定，这三个因素同时决定预测时刻，综合三个因素才能在不影响系统正常访问数据的情况下，利用网络空闲带宽在允许的时间内将数据传输到本地，隐藏数据访问延迟。空间运动模型表示的运动速度代表用户数据访问请求的趋势，就是在未来某一时刻用户可能访问那一块空间数据。
假设空间运动模型代表的速度为V，当前运动的位置为A(x，y)；一个空间数据块的大小为M，所代表地理位置范围为P(x0，y0，x1，y1)；网络的可用带宽为B；当前时刻为T0；则进行预测的最后时刻T＝min(f′(x0)，f′(x1)，f′(y0)，f′(y1))-M/B；当预测访问进行一段时间后，由于本地存储空间的限制，新来的数据可能找不到足够的空间来存储。这时就必须用新来的数据替换掉本地存储空间内的某一块数据，本发明提出了和基于空间运动模型相适应的替换策略，就是基于空间距离的替换策略，同样是针对具有空间地理位置信息的数据。
假设1)、当前时刻为T0；2)、一个空间数据块所代表地理位置范围为P(x0，y0，x1，y1)(一般是地理矩形范围左下角右上角的坐标)，则本地数据集合表示的范围为{P0，P1，P2Λ}；3)、有空间运动模型可以得到当前的运动坐标A＝f(T0)，用Si代表A和pi中心点的距离，则可以得到集合Ω＝{S0，S1，S2Λ}；
则替换掉数据块pi＝max(Ω)。
并行数据复制的方法是并行复制方法是同时从分布在不同节点的多个副本进行复制，利用底层网络的冗余通信链路来加速数据复制速度。为了使这种加速效果达到最优，本发明采用副本选择策略来进行副本选择，采用访问量分配策略进行数据访问量的分配。
数据对象在网络中往往存在大量的副本，如果同时访问所有的副本，那么，不仅会占用大量的网络资源，而且未必能够达到最佳的复制效率。副本选择策略主要解决两个问题，一是如何从众多的副本中选择多个副本；二是应该选择几个副本较为合适。在实际情况下，并不是选择的副本越多越好，因为当一个数据对象拥有很多副本时，如果从所有的副本同时进行复制，那么可能每个副本分配的数据访问量很小，甚至与建立网络连接的时间相比可以忽略不计，这时并行复制的时间就是复制节点和所有副本建立连接的最大延迟时间。在这种情况下，访问副本数目的增加不仅不能达到改善复制效率的效果，反而可能会增加复制的时间。副本选择策略从所有副本中选择访问效率最好的多个副本，由模拟测试可知，并行复制选择的最佳副本数目和底层网络节点的平均度数有着一定的关系，当并行复制选择的副本数目等于底层网络节点的平均节点度时，并行复制的效率最佳。
数据访问量的分配主要解决怎样从多个副本进行复制的问题，以便在最短的时间内完成复制。基本原则是从访问开销小的副本访问多一点的数据，从访问开销大的副本访问少一点的数据。若所有的副本同时将数据传输完毕，则可以达到最佳复制效率。
在传统的复制方法中，复制节点根据当前的网络状态选择访问开销最小的一个副本进行数据复制。假设当时所选副本节点与复制节点之间的网络带宽为B，数据大小为M，复制时间为M/B。
并行数据复制是根据当前的网络状态选择访问开销最小的N个副本，从每个副本传输数据对象的不同部分，然后合并成完整的数据对象。假设当前系统中可用副本数目为N，这些副本所在节点与复制节点之间的网络可用带宽为V＝{v1，v2，ΛvN}。那么，所有选择的副本的总带宽为SUM＝v1+v2+ΛvN，最大网络带宽为MAX＝max(V)。
并行数据复制就是要从所选择的副本同时复制数据，从不同的副本复制数据对象的一部分，本发明将从每个副本进行数据复制的过程称为复制子过程。理想情况下，所有的复制子过程同时开始并且同时结束，这样才能使并行复制的效率最高，为达到这个目的，本发明规定对每个副本的数据访问量和副本节点对应的网络带宽成正比，因此，各副本的数据访问量分配为Ω={Mv1SUM,Mv2SUM,ΛMvNSUM}.]]>由此可见，在传统复制算法中，数据复制时间为M/MAX；在并行复制算法中，数据复制时间为M/SUM。
在实际情况中，由于网络的动态性，并行数据复制的各个子复制过程即使同时开始，也可能不是同时结束，那么，数据复制时间D应该满足M/SUM≤D≤M/MAX。
本发明通过设计一个基于预测的快速数据复制系统实现，该系统由数据访问预测模块、并行复制模块、数据替换模块、数据访问记录模块、数据访问历史记录模块、本地数据空间组成。由数据访问预测模块根据数据访问的历史记录对下一步的数据访问进行预测，产生数据复制请求，将请求提交给并行复制模块；并行复制模块从数据访问预测模块接收到数据复制请求后，从网络中的多个副本同时进行数据复制，复制完成后，将数据副本提交给数据替换模块；数据替换模块根据基于空间运动模型相适应的替换策略，利用接收到的数据副本替换复制空间内需要替换的数据副本；数据访问记录模块记录数据访问的历史信息，包括数据访问的启动时间、地理位置信息等，这些历史信息是数据访问预测模块进行数据访问预测的依据。
基于预测的快速数据复制系统的基本工作过程是1.副本产生，分为两种情况a)在本地启动了一次数据访问请求，并且在本地可以找到需要访问的数据。根据访问预测策略推断下一步的数据访问，如果预测即将访问的数据不在本地，则查看本地网络是否空闲，如果空闲则启动并行数据传输过程，否则，等待本地网络空闲，且等待时间不超过时间T——根据空间物理运动预测方法中的规定，如果等待超过了时间T，则取消此次复制。
如果本地复制空间有足够的空间，则直接产生新的副本，否则利用数据替换策略决定需要替换的数据副本。
b)在本地启动了一次数据访问请求，并且在本地找不到需要访问的数据，则进行并行数据传输。
如果本地复制空间有足够的空间，则直接产生新的副本，否则针对即将访问的数据和复制空间内的数据一起，使用数据替换模块决定需要替换的数据副本。如果需要替换的数据就是即将访问的数据，则不产生新的副本，否则利用获取的数据替换复制空间内需要替换的数据。
2.副本传输，就是在访问远程数据和进行复制的时候采用并行复制策略将远程的数据复制到本地。
3.副本替换，就是根据替换策略决定需要将本地复制空间中的某块数据替换掉。
采用本发明可以达到以下的技术效果与传统的复制方法相比，一方面，本发明利用预测机制对未来的数据访问进行预测，利用网络的空闲带宽进行数据复制，提高了数据访问的本地命中率，也提高了应用程序的数据访问效率；另一方面，本发明通过并行复制，充分利用网络的冗余路径，提高了数据复制效率，也提高了应用程序的数据访问效率。
图1是实现本发明的基于预测的快速数据复制系统的基本原理图；图2是本发明的流程图；图3是本发明并行数据复制的示意图；图4是本发明多个节点并行复制时相互之间影响的示意图；图5是本发明性能测试的网络环境配置图；图6是本发明和基于经济学模型的复制方法的对比测试结果；图7是本发明的总任务执行时间和复制空间大小的关系；图8是本发明的网络边缘节点数据传输总量和复制空间大小的关系。
具体实施例方式
图1是实现本发明的基于预测的快速数据复制系统的基本结构图。基于预测的快速数据复制系统由数据访问预测模块、并行复制模块、数据替换模块、数据访问记录模块、数据访问历史记录模块、本地数据空间组成。
●数据访问预测模块实现数据访问预测，是本发明是否高效的关键，预测准确则数据访问的本地命中率就高，数据访问的效率就高。数据访问预测模块根据数据访问的历史记录对下一步的数据访问进行预测，产生数据复制请求，将请求提交给并行复制模块。
●并行复制模块从数据访问预测模块接收到数据复制请求后，从网络中的多个副本同时进行数据复制，复制完成后，将数据副本提交给数据替换模块。
●数据替换模块根据基于空间运动模型相适应的替换策略，利用接收到的数据副本替换复制空间内需要替换的数据副本。
●数据访问记录模块记录数据访问的历史信息，包括数据访问的启动时间、地理位置信息等。这些历史信息是数据访问预测模块进行数据访问预测的依据。
基于预测的快速数据复制系统的基本工作包括副本产生、副本传输、副本替换三个过程。
●副本产生过程分为两种情况c)在本地启动了一次数据访问请求，并且在本地可以找到需要访问的数据。根据访问预测策略推断下一步的数据访问，如果预测即将访问的数据不在本地，则查看本地网络是否空闲，如果空闲则启动并行数据传输过程，否则，等待本地网络空闲，且等待时间不超过时间T——根据空间物理运动预测方法中的规定，如果等待超过了时间T，则取消此次复制。
如果本地复制空间有足够的空间，则直接产生新的副本，否则利用数据替换策略决定需要替换的数据副本。
d)在本地启动了一次数据访问请求，并且在本地找不到需要访问的数据，则进行并行数据传输。
如果本地复制空间有足够的空间，则直接产生新的副本，否则针对即将访问的数据和复制空间内的数据一起，使用数据替换模块决定需要替换的数据副本。如果需要替换的数据就是即将访问的数据，则不产生新的副本，否则利用获取的数据替换复制空间内需要替换的数据。
●副本传输过程就是在访问远程数据和进行复制的时候利用并行复制过程将远程的数据复制到本地。
●副本替换过程就是根据替换策略决定需要将本地复制空间中的某块数据替换掉。
图2是本发明并行数据复制的流程图。节点接收数据访问请求时，首先在本地查找需要访问的数据对象；如果本地数据访问失败，则利用并行复制机制在本地建立数据对象的副本。另一方面，节点利用预测机制对未来的数据访问进行预测，在网络空闲时对未来要访问的数据对象进行并行复制；如果节点的空闲存储空间不足，则依据数据访问频度进行数据对象的替换。
本发明通过数据访问预测和并行数据复制，提高本地数据访问的命中率，减少了远程数据访问，提高了数据访问的效率。
图3说明的是采用本发明从三个节点同时复制数据的实施例。需要每个节点支持读取和传输数据对象的某个部分，而且从每个节点复制的数据量和当前网络状态下复制节点和副本节点之间可用带宽成正比。
图中所示是服务器节点3从服务器节点1、2、4进行数据复制。
若节点1，3之间、2，3之间、4，3之间的网络可用带宽比例为3∶1∶2，数据对象大小为M，则复制比例划分为Ω{M/2，M/6，M/3}；则节点3分别从节点1、2、4上复制数据对象的0～M/2、M/2～2M/3、2M/3～M部分；同时从3个节点进行复制，利用了网络的冗余路径和带宽，加速了复制过程，比从节点1单独进行复制速度快1倍，比从节点2单独进行复制速度快3倍，比从节点3单独进行复制速度快1.5倍。
图4举例说明当两个节点同时进行多副本并行复制时，网络上出现相互之间的影响，当网络上的节点越多，这种影响越大。
图中所示节点2和3同时进行并行复制，节点2同时从节点3、4、5进行复制数据，节点3同时从节点1、2、4进行复制数据。在网络上出现了正反两种不同的因素影响网络上的并行复制过程
不利因素在网络上出现了6处冲突，在这些冲突的地方，可能会出现两个并行复制过程相互影响，相互竞争使用网络带宽，这样就会使复制时间增加。
有利因素网络上还存在6个网段上没有受影响的数据传输，这些数据传输又加速了数据传输的过程。
因此，总的复制时间就是以上正反两方面共同作用的结果，当网络规模很大时，网络上存在成千上万的路由节点和服务器节点时，两个方面的作用就很难明显的区分开来，需要使用统计方法来进行分析，并通过模拟测试的方法对复制效果进行验证。
图5是对本发明进行性能测试的网络环境配置图，包括11个资源节点和7个路由节点，11个资源节点包括10个计算单元和11个存储单元，设定每个数据文件的大小为200MB，系统中总共有19.4GB的数据，每个处理单元处理一个数据对象的时间为100ms，底层网络的平均节点度数为3。任务类型配置、任务数据访问量和产生概率参数如下表所示。
图6是数据对象为97个，并行复制算法选择的副本数目为3，任务个数分别为100、300、500、700、1000和5000时，本发明和基于经济学模型的复制方法的对比测试结果。基于经济学模型的复制方法的基本思想是利用P2P网络模拟经济学中的投标竞标过程，使得数据副本在网络上合理分布，从而提高系统的数据访问效率。从图6可以看出，本发明在效果上明显好于基于经济学模型的复制算法，主要是因为并行复制算法充分的利用了网络的空闲带宽和冗余路径，大大降低了程序的远程数据访问延迟，所以总任务完成时间大大的缩短，提高了数据访问的效率。
图7是总任务数为500，总的数据文件大小为19.4GB，当每个处理节点的数据复制空间大小分别为1.94GB、3.88GB、5.82GB、7.76GB、9.7GB、11.64GB、13.58GB、15.52GB和17.46GB的情况下，总任务时间的变化情况。从图中可以看出总任务时间没什么明显的变化，主要是因为本发明通过预测访问增加了数据访问的本地命中率，因此采用本发明对每个处理节点的数据复制空间要求不高。
图8是总任务数为500，总的数据文件大小为19.4GB，当每个处理节点的数据复制空间大小分别为1.94GB、3.88GB、5.82GB、7.76GB、9.7GB、11.64GB、13.58GB、15.52GB和17.46GB的情况下，网络边缘节点数据传输总量的变化情况。从图中可以看出随着本地复制空间的增大，网络边缘节点数据传输总量有明显下降的趋势。因为增加本地复制空间，减少了数据访问预测利用网络将数据传输到本地的概率，所以降低了网络的负载。因此适当的设置复制空间的大小，可以很好地改善网络的负载情况。
权利要求
1.一种基于预测的快速数据复制方法，其特征在于采用数据访问预测和并行复制相结合的策略，利用数据访问预测决定副本的增加和删除，在副本复制过程中采用并行复制策略，从副本放置和副本复制两个方面提高数据访问效率，具体方案分为数据访问预测和并行数据复制两步首先，利用数据访问的历史记录预测未来某一时间间隔内的数据访问；然后，根据当前的网络状态选择访问开销最小的N个副本以及每个副本的数据访问量，从每个副本传输数据对象的不同部分，最后合并成完整的数据对象副本。
2.如权利要求1所述的基于预测的快速数据复制方法，其特征在于所述数据访问预测的方法是2.1采用基于空间运动物理模型的预测方法来对空间数据的访问进行优化空间运动物理模型基于物理学中物体的运动方程创建，基本参数有时间t、位移s、速度v，基本方程为sρ=sρ0+∫t0tnvρdt;]]>从空间数据的访问请求序列中提取出请求数据的空间坐标序列A0，A1，ΛAn，同时记录请求发生的时间序列t0，t1Λtn；公式中 为请求序列的初始坐标A0，对A与T的序列使用Lagrange插值法得到●空间坐标关于时间的函数A=Σk=0n(Πi=0i≠knt-titk-ti)Ak,]]>●时间关于坐标的函数t=Σk=0n(Πi=0i≠knx-xixk-xi)tk]]>由于空间坐标有二维、三维坐标，对坐标的每个维使用上述插值函数后得到以下两种形式设地理坐标为A，则有1)、A＝f(t)，是地理坐标关于时间的函数；2)、t＝f′(A)，是时间关于地理坐标的函数；假设当前的时间为tn，通过此函数得到tn+1时刻的空间坐标，以此对未来一段时间内进行请求访问的预测；经过多次模拟测试可以发现，当利用4次插值时就能达到很好的预测效果，为了达到计算简单快速的目的本发明推荐使用4次插值函数进行预测计算；2.2创建空间运动物理模型获得参数和选择预测时刻的方法是2.2.1获得参数的方法是在分布式虚拟环境中，对空间数据的访问请求中都包含有该数据对象的地理位置信息，通过分析数据访问请求，可以记录数据访问请求的时间、地理位置等信息，基于这些历史信息，可以利用空间运动物理模型进行数据访问的预测；2.2.2选择预测时刻就是确定什么时候需要进行预测比较合适，预测时刻由空间运动模型表示的运动速度大小方向、空间数据块的大小、网络可用带宽决定，这三个因素同时决定预测时刻，综合三个因素才能在不影响系统正常访问数据的情况下，利用网络空闲带宽在允许的时间内将数据传输到本地，隐藏数据访问延迟；空间运动模型表示的运动速度代表用户数据访问请求的趋势，就是在未来某一时刻用户可能访问那一块空间数据；假设空间运动模型代表的速度为V，当前运动的位置为A(x，y)；一个空间数据块的大小为M，所代表地理位置范围为P(x0，y0，x1，y1)；网络的可用带宽为B；当前时刻为T0；则进行预测的最后时刻T＝min(f′(x0)，f′(y0)，f′(y1))-M/B；2.3当预测访问进行一段时间后，由于本地存储空间的限制，新来的数据可能找不到足够的空间来存储，这时就必须用新来的数据替换掉本地存储空间内的某一块数据，本发明采用基于空间距离的替换策略进行替换假设1)、当前时刻为T0；2)、一个空间数据块所代表地理位置范围为P(x0，y0，x1，y1)，则本地数据集合表示的范围为{P0，P1，P2Λ}；3)、有空间运动模型可以得到当前的运动坐标A＝f(T0)，用Si代表A和pi中心点的距离，则可以得到集合Ω＝{S0，S1，S2Λ}；则替换掉数据块pi＝max(Ω)。
3.如权利要求1所述的基于预测的快速数据复制方法，其特征在于所述并行数据复制的方法是同时从分布在不同节点的多个副本进行复制，利用底层网络的冗余通信链路来加速数据复制速度，为了使这种加速效果达到最优，本发明采用副本选择策略来进行副本选择，采用访问量分配策略进行数据访问量的分配3.1副本选择策略主要解决两个问题，一是如何从众多的副本中选择多个副本，方法是从所有副本中选择访问效率最好的多个副本；二是应该选择几个副本较为合适，并行复制选择的最佳副本数目和底层网络节点的平均度数有着一定的关系，当并行复制选择的副本数目等于底层网络节点的平均节点度时，并行复制的效率最佳；3.2数据访问量的分配主要解决怎样从多个副本进行复制的问题，以便在最短的时间内完成复制，基本原则是从访问开销小的副本访问多一点的数据，从访问开销大的副本访问少一点的数据，若所有的副本同时将数据传输完毕，则可以达到最佳复制效率。
4.如权利要求1所述的基于预测的快速数据复制方法，其特征在于本发明通过设计一个基于预测的快速数据复制系统实现，该系统由数据访问预测模块、并行复制模块、数据替换模块、数据访问记录模块、数据访问历史记录模块、本地数据空间组成；数据访问预测模块根据数据访问的历史记录对下一步的数据访问进行预测，产生数据复制请求，将请求提交给并行复制模块；并行复制模块从数据访问预测模块接收到数据复制请求后，从网络中的多个副本同时进行数据复制，复制完成后，将数据副本提交给数据替换模块；数据替换模块根据基于空间运动模型相适应的替换策略，利用接收到的数据副本替换复制空间内需要替换的数据副本；数据访问记录模块记录数据访问的历史信息，包括数据访问的启动时间、地理位置信息，这些历史信息是数据访问预测模块进行数据访问预测的依据。
全文摘要
一种基于预测的快速数据复制方法，目的是解决现有数据复制方法难以有效提高海量数据对象的复制效率的问题。技术方案是采用数据访问预测和并行复制相结合的策略，利用数据访问预测决定副本的增加和删除，在副本复制过程中采用并行复制策略，从副本放置和副本复制两个方面提高数据访问效率，具体方案分为两步首先，利用数据访问的历史记录预测未来某一时间间隔内的数据访问；然后，根据当前的网络状态选择访问开销最小的N个副本以及每个副本的数据访问量，从每个副本传输数据对象的不同部分，最后合并成完整的数据对象副本。与传统的复制方法相比，本发明提高了数据访问的本地命中率，提高了数据复制效率，提高了应用程序的数据访问效率。
文档编号H04L12/00GK1658560SQ20051003128
公开日2005年8月24日 申请日期2005年2月28日 优先权日2005年2月28日
发明者王意洁, 李思昆, 秦永进, 周婧 申请人:中国人民解放军国防科学技术大学