一种混合云结构中热度数据缓存的云存储方法与流程

文档序号:11960343阅读:492来源:国知局
本发明涉及一种混合云结构中热度数据缓存的云存储方法。
背景技术
:随着云存储、云计算的快速发展,国内外都涌现出了各式各样的云存储服务。公有云和私有云是云存储服务的两种方式。公有云可以通过Internet使用。企业保护自己的数据安全而构建自己的私有云服务。企业会将安全要求高的数据放在私有云,将一些公共数据放在公有云,这就是通常所说的混合云。传统的混合云结构中,用户要访问数据时需要先访问服务端的元数据数据库,该数据库中存放着数据文件生成的元数据。因此,得到了元数据就可以获取到文件存放的位置。当访问的文件在私有云时,用户就从私有云获取;访问文件在公有云时,用户根据系统算出速度最快的下载方案进行下载。在实际应用中,由于私有云和公有云在不同的网络上,而且系统在访问文档前并不会自主选择访问速度与成本最优的下载数据的方式,所以如果公有云上存放着内网用户经常访问的数据,则内网用户访问这部分数据会消耗大量不必要的时间。由此,开发一种更加优化的存储方式便成为一个重要的需求,特别是数据存储量极大的现代企业。技术实现要素:有鉴于此,本发明的目的在于提供一种混合云结构中热度数据缓存的云存储方法,以便用户快速高效地访问下载公有云中的常用数据。为实现上述目的,本发明采用如下技术方案:一种混合云结构中热度数据缓存的云存储方法,其特征在于,包括以下步骤:步骤S1:云存储代理系统在私有云中开辟了一个固定大小的数据交换区,用于存放公有云上内网用户访问的数据;步骤S2:在所述数据交换区中建立一张表,用于记录所述数据交换区中的文件被访问的频率即热度,并按照热度由高到低来排列文件,同样,公有云中数据也按热度排序;步骤S3:将公有云上的部分数据按热度由高到低依次拷贝到私有云的数据交换区中;步骤S4:按更新规则定期对数据交换区里的数据进行比较和替换,以此达到混合云环境中数据互动的目的;步骤S5:当用户申请访问或下载文件时,系统自动根据不同网络区域用户采取不同搜索数据的方式来访问文件。进一步的,所述步骤S4中,先计算获得私有云的数据交换区的中间热度,即取数据交换区中数据热度由大到小顺序排列的中位数;然后每隔t分钟,公有云最高数据热度与私有云的数据交换区的中间热度进行比较,如果公有云数据的最高热度超过所述中间热度,则对私有云中的数据进行维护,将公有云中数据热度高于交换区中间热度的数据替换进所述数据交换区。进一步的,所述数据交换区中数据热度的定义为私有云用户下载次数与该数据在数据交换区中存放天数的比值。进一步的,将私有云的数据交换区中数据热度低于中间热度的所有数据所占空间求和,获得私有云的数据交换区的中间热度以下的数据所占的空间总和设为S,即待替换空间大小;公有云中数据热度大于私有云的数据交换区中间热度的数据所占空间总量求和,其结果设为m,即用于替换的候选数据大小总和。进一步的,比较S与m的大小;如果m大于或等于S,则删除私有云的数据交换区中热度从低到高数据量总和等于S的全部数据,然后,将公有云中热度从高到低数据量总和小于或等于S的数据拷贝进来;如果m小于S,删除私有云数据交换区中热度从低到高数据量总和等于或刚好大于m的全部数据,然后,将公有云中热度从高到低数据量总和为m的数据拷贝过来。进一步的,所述步骤S5中,根据用户的请求,系统先判断用户是私有云网络区域用户还是公有云网络区域用户;若是私有云网络区域用户,则系统先在私有云的非数据交换区内匹配是否有用户请求的文件,若没有匹配到,则到数据交换区中查找,若仍没找到,最后再到公有云中查找;对于公有云用户来说,系统则直接在公有云上查询所需数据。本发明与现有技术相比具有以下有益效果:本发明在私有云中开辟一个数据交换区,存放公有云上的常用数据,并依据数据热度的变化对交换区的数据进行实时动态的更新,加快内网用户访问原先公有云上常用数据的速度,降低了公有云上常用数据丢失的风险,同时减少带宽和流量的访问成本,以便用户快递高效的访问下载公有云中的常用数据。附图说明图1是本发明的混合云中数据动态存储流程图。图2是本发明的数据交换具体流程图。图3是本发明一实施例的不同网络区域用于访问数据方式的示意图。具体实施方式下面结合附图及实施例对本发明做进一步说明。本发明提供一种混合云结构中热度数据缓存的云存储方法,其特征在于,包括以下步骤:步骤S1:基于云存储代理系统(私有云和公有云的空间大小各为1000G),在私有云中开辟了一个固定大小的数据交换区,用于存放公有云上内网用户访问的数据,开辟的数据交换区的容量大小定为占私有云固定阈值大小的容量,于本实施例中,阈值为30%;步骤S2:在所述数据交换区中建立一张表,用于记录所述数据交换区中的文件被访问的频率(下文称热度),并按照热度由高到低来排列文件,同样,公有云中数据也按热度排序;假设首次私有云中30%的容量可容纳10份数据量,数据热度不等,所占空间百分比不同,情况如下表1(交换区数据状况表)所示:表1:数据数据1数据4数据10数据2数据3数据8数据5数据6数据9数据7热度1223445668百分比17%12%7%8%2%24%14%8%3%5%将其热度由高到低进行排列得到下表2(交换区热度顺序数据状况表):表2:数据数据7数据6数据9数据5数据3数据8数据10数据2数据4数据1热度8665442321百分比5%8%3%14%2%24%7%8%12%17%步骤S3:请参照图1,将公有云上的部分数据按热度由高到低依次拷贝到私有云的数据交换区中;特别的,若该次访问为第一次访问数据,则以下载频率作为依据判断数据热度,下载频率越高的数据视为热度越高的数据,拷贝公有云热点数据到所述数据交换区,由于是第一次将公有云数据存入数据交换区,可将数据交换区填满。步骤S4:请继续参照图1,按更新规则定期对数据交换区里的数据进行比较和替换,以此达到混合云环境中数据互动的目的;将数据交换区中数据热度的定义为私有云用户下载次数与该数据在数据交换区中存放天数的比值。先计算获得私有云的数据交换区的中间热度,即取数据交换区中数据热度由大到小顺序排列的中位数设为a;然后每隔t分钟,公有云最高数据热度与私有云的数据交换区的中间热度进行比较,如果公有云数据的最高热度超过所述中间热度,则对私有云中的数据进行维护,将公有云中数据热度高于交换区中间热度的数据替换进所述数据交换区。下表3和下表4分别是一实施例的公有云数据状况表及公有云热度顺序数据状况表表3:数据数据1数据2数据3数据4数据5数据6数据7数据8数据9数据10热度761146106869百分比12%12%7%15%2%34%7%8%3%3%表4:数据数据3数据6数据10数据8数据1数据2数据7数据9数据5数据4热度111098766332百分比7%31%3%8%12%12%7%3%2%15%请参照图2,将私有云的数据交换区中数据热度低于中间热度的所有数据所占空间求和,获得私有云的数据交换区的中间热度以下的数据所占的空间总和设为S,即待替换空间大小;由表2可得出中间热度为4,中间热度以下所占热度为数据10,数据2,数据4和数据1,所占空间总和为1000G*44%=440G。公有云中数据热度大于私有云的数据交换区中间热度的数据所占空间总量求和,其结果设为m,即用于替换的候选数据大小总和。在此,公有云数据热度定义为:公有云用户访问量与首次访问该数据至本次更新时所经历时间(天)的比值。将公有云中热度超过私有云数据交换区中间热度的数据拷贝过来。拷贝的过程中采用以下方案:计算公有云中热度大于a的数据量总和,设为m。在步骤5表4中则表示为数据3,数据6,数据10,数据8,数据1,数据2,数据7等数据所占大小的容量之和,即m=1000G*80%=800G。·如果m大于S,剔除私有云交换区中热度从低到高数据量总和等于s的全部数据。然后,拷贝公有云中热度从高到低数据量总和等于或小于s的数据过来。·如果m小于S,剔除私有云交换区中热度从低到高数据量总和大于或等于m的全部数据。然后,将拷贝公有云中热度从高到低数据量总和为m的数据过来。具体过程可参考附图图1。本例为m>S,则按已有规则,将交换区中的数据10,数据2,数据4,数据1删除,而由公有云中的数据3,数据6,数据10进行替代。步骤S5:当用户申请访问或下载文件时,系统自动根据不同网络区域用户采取不同搜索数据的方式来访问文件。进一步的,所述步骤S5中,在用户登录的系统中设置获取用于IP功能,根据用户的请求的IP网段,系统先判断用户是私有云网络区域用户还是公有云网络区域用户;若是私有云网络区域用户,则系统先在私有云的非数据交换区内匹配是否有用户请求的文件,若没有匹配到,则到数据交换区中查找,若仍没找到,最后再到公有云中查找;对于公有云用户来说,系统则直接在公有云上查询所需数据,具体过程可参考附图3。以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1