专利名称：一种基于用户请求响应时间的副本创建方法
技术领域：
本发明属于分布式存储中的副本管理技术领域，更具体地，涉及一种基于用户请求响应时间的副本创建方法。
背景技术：
在现代科学研究和应用领域中，大量的数据是重要的资源，如高能物理和粒子物理、生物医学研究、航空航天、数字地球、大型武器模拟、大型数据库和数据仓库等的应用。其数据量将达到TB至PB的级别。同时，地理上广泛分布的科研工作者和用户都希望能访问和分析这些庞大的数据。为了解决上述应用面临的问题，分布式存储应运而生。分布式存储为各种应用提供了一个高性能、大容量、高速传输的并行分布广域计算平台。它是对广域范围内大规模的数据集进行分布式管理和分析及使用的一个综合的体系结构，实现网格环境中安全、可靠和有效的数据传输以及访问、复制等操作，并提供到不同存储系统的统一接口，较好地解决了上述问题，从而使得数据密集型的高性能计算和大量的共享数据密集型的事务处理及科学研究成为可能。数据副本(Data R印lica)机制是分布式存储领域的一个研究热点，副本机制通过在不同地点存放数据的多个副本可以降低远程访问该数据的网络延迟及带宽消耗，还可以提高网络的负载均衡，同时能够提高数据的安全性和可靠性以及系统的容错性等。良好的数据副本管理策略是提高数据网格服务质量的重要方面。作为副本管理策略的重要组成部分，目前的副本创建机制都是依据用户访问频率来判断“热点数据”。通过记录某个时间段(Time interval)内的用户对该文件的访问次数，如果超过了某个阈值，就认为该文件成为“热点数据”，为该文件创建新的副本。然而，目前的这种副本创建机制存在两个很明显的问题:(I)并不能在最恰当的时机为“热点数据”创建新的副本。目前的这种基于访问记录的副本创建方法，副本的创建一般发生在时间段的结尾，而用户请求在一个时间段内的分布是不均匀的，目前的副本创建策略并不能在用户并发请求最高的时刻，做出响应；(2)大大增加用户请求的响应时间。目前的这种基于访问记录的副本创建方法，会导致大量的用户请求处于等待状态，大大增加了用户请求的响应时间，降低了整个系统的性能。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种基于用户请求响应时间的副本创建方法，其综合考虑了系统并发数和用户响应时间，并在恰当的时机为热点数据创建新的副本，从而降低用户访问的响应时间，并提高整个系统的性能。为实现上述目的，本发明提供了一种基于用户请求响应时间的副本创建方法，包括以下步骤:(I)将分布式存储环境中的待测数据块复制η个副本，将η个副本分别分布在分布式存储环境中的η个存储节点上，每个副本的大小为Sb，并将这η个存储节点的信息存储在元数据服务器上；(2)获取η个存储节点的节点网络传输能力(NTC1, NTC2,..., NTCn).和节点并发访问数(Num1, Num2,..., Numn)；(3)根据η个节点的节点网络传输能力(NTC1, NTC2,…，NTCn)、节点并发访问数(Num1, Num2,..., Numn)和副本大小Sb获取η个存储节点的相关特征值；(4)根据η个存储节点的相关特征值，对待测数据块进行副本创建过程。存储节点的信息包括节点IP地址、网络带宽、磁盘利用率。副本大小Sb的取值范围是IOMb到120Mb，η是大于等于3的正整数。特征值包括每个存储节点的请求响应时间(MSRT1, MSRT2,…，MSRTn),以及分布式存储环境的请求平均响应时间MSRTavwage和请求最大响应时间MSRTmx。步骤(3)包括如下子步骤:(3-1)根据η个节点的节点网络传输能力(NTC1, NTC2,…，NTCn)、节点并发访问数(Num1, Num2,..., Numn)和副本大小Sb并采用以下公式获得η个存储节点的请求响应时间(MSRT1, MSRT2, —, MSRTn):
权利要求
1.一种基于用户请求响应时间的副本创建方法，其特征在于，包括以下步骤: (I)将分布式存储环境中的待测数据块复制η个副本，将η个副本分别分布在分布式存储环境中的η个存储节点上，每个副本的大小为Sb，并将这η个存储节点的信息存储在元数据服务器上； (2 )获取η个存储节点的节点网络传输能力(NTC1，NTC2，…，NTCn).和节点并发访问数(Num1, Num2,…，Numn)； (3 )根据η个节点的节点网络传输能力(NTC1，NTC2，…，NTCn)、节点并发访问数(Num1，Num2,..., Numn)和副本大小Sb获取η个存储节点的相关特征值； (4)根据η个存储节点的相关特征值，对待测数据块进行副本创建过程。
2.根据权利要求1所述的副本创建方法，其特征在于，存储节点的信息包括节点IP地址、网络带宽、磁盘利用率。
3.根据权利要求1所述的副本创建方法，其特征在于，副本大小Sb的取值范围是IOMb到120Mb，η是大于等于3的正整数。
4.根据权利要求1所述的副本创建方法，其特征在于，特征值包括每个存储节点的请求响应时间(MSRT1,MSRT2, -,MSRTn),以及分布式存储环境的请求平均响应时间MSRTaverage和请求最大响应时间MSRTmx。
5.根据权利要求4所述的副本创建方法，其特征在于，步骤(3)包括如下子步骤: (3-1)根据η个节 点 的节点网络传输能力(NTC1，NTC2，…，NTCn)、节点并发访问数(Num1，Num2,…，Numn)和副本大小Sb并采用以下公式获得η个存储节点的请求响应时间(MSRT1,MSRT2, —, MSRTn):
6.根据权利要求5所述的副本创建方法，其特征在于，步骤(4)包括如下子步骤: (4-1)判断平均请求响应时间MSRTaverage是否大于一阈值，如果是则进入步骤(4-2)，否则进入步骤(4-5)； (4-2)从分布式存储环境中选择除上述η个节点以外的一个新节点； (4-3)将待测数据块复制到该新节点上，并将该节点的信息保存到元数据服务器上； (4-4)对η个节点和新节点执行负载均衡； (4-5)判断最大请求响应时间MSRTmax是否大于步骤(4-1)中的阈值，如果是则进入步骤(4-6)，否则返回步骤(2)； (4-6)对η个节点执行负载均衡操作。
7.根据权利要求6所述的副本创建方法，其特征在于，阈值的取值范围是3秒到10秒。
全文摘要
本发明公开了一种基于用户请求响应时间的副本创建方法，包括将分布式存储环境中的待测数据块复制n个副本，将n个副本分别分布在分布式存储环境中的n个存储节点上，每个副本的大小为Sb，并将这n个存储节点的信息存储在元数据服务器上，获取n个存储节点的节点网络传输能力(NTC1，NTC2，…，NTCn).和节点并发访问数(Num1，Num2，…，Numn)，根据n个节点的节点网络传输能力(NTC1，NTC2，…，NTCn)、节点并发访问数(Num1，Num2，…，Numn)和副本大小Sb获取n个存储节点的相关特征值，根据n个存储节点的相关特征值，对待测数据块进行副本创建过程。本发明在恰当的时机为热点数据创建新的副本，从而降低用户访问的响应时间，并提高整个系统的性能。
文档编号H04L29/08GK103095812SQ201210589460
公开日2013年5月8日 申请日期2012年12月29日 优先权日2012年12月29日
发明者金海 , 邵志远, 柏小虎 申请人:华中科技大学