一种数据存储系统及存储和访问方法

文档序号:7824452阅读:316来源:国知局
一种数据存储系统及存储和访问方法
【专利摘要】本发明实施例公开了一种数据存储系统及存储和访问方法,一种数据存储系统,包括:应用服务器、源存储服务器、数据缓存服务器、CDN缓存服务器、数据服务器;其中,应用服务器,用于根据存储请求,将目标数据存储到源存储服务器或数据缓存服务器;CDN缓存服务器,用于在存储有目标数据的情况下,返回给用户目标数据;在没有存储目标数据的情况下,将访问请求回源至数据服务器,接收并保存数据服务器返回的目标数据,并返回给用户;数据服务器,用于接收CDN缓存服务器回源的访问请求,从数据缓存服务器或源存储服务器读取目标数据,并返回给CDN缓存服务器。应用本发明实施例所提供的技术方案,可以减小源存储服务器的访问压力。
【专利说明】一种数据存储系统及存储和访问方法

【技术领域】
[0001]本发明涉及互联网【技术领域】,特别涉及一种数据存储系统及存储和访问方法。

【背景技术】
[0002]随着互联网技术的发展,很多大型网站越来越倾向于使用CDN技术进行网站内容的分发,以提高网站访问速度,提升用户体验。Q)N,全称Content Delivery Network,即内容分发网络,通过在互联网各处放置CDN缓存服务器所构成的在现有互联网基础之上的一层智能虚拟网络。
[0003]现有的CDN网络的数据存储过程为:网站编辑或者外部用户上传的源数据会经过一定的生产处理过程由应用服务器存储到源存储服务器,并在CDN缓存服务器中存储热数据,当一些数据很久不被访问时,CDN缓存服务器会删除该部分数据以释放存储空间。当CDN缓存服务器接收到用户的访问请求时,如果存储有用户所要访问的数据,则CDN缓存服务器直接将该数据返回给用户;如果没有存储用户所要访问的数据,则⑶N缓存服务器会将访问请求回源至数据服务器,以由数据服务器从源存储服务器中读取该数据并返回给CDN缓存服务器,CDN缓存服务器缓存该数据并返回给用户。
[0004]根据现有的这种数据存储和访问方法,源存储服务器存储网站全部数据,如果CDN缓存服务器中没有存储用户所要访问的数据,需要从源存储服务器中读取,增加了源存储服务器的访问压力。


【发明内容】

[0005]本发明实施例的目的在于提供一种数据存储系统及存储和访问方法,以降低源存储服务器的访问压力。技术方案如下:
[0006]一种数据存储系统,所述数据存储系统包括:应用服务器、源存储服务器、数据缓存服务器、CDN缓存服务器、数据服务器;其中,
[0007]所述应用服务器,用于接收针对目标数据的存储请求,根据所述存储请求,将所述目标数据存储到所述源存储服务器,并预判所述目标数据的访问频率,在预判的访问频率满足预设条件时,将所述目标数据存储到所述数据缓存服务器;
[0008]所述源存储服务器,用于从所述应用服务器接收并存储所述目标数据;
[0009]所述数据缓存服务器,用于从所述应用服务器接收并存储所述目标数据;
[0010]所述CDN缓存服务器,用于接收用户针对目标数据的访问请求,在所述CDN缓存服务器中存储有所述目标数据的情况下,返回给所述用户所述目标数据;在所述CDN缓存服务器中没有存储所述目标数据的情况下,将所述访问请求回源至所述数据服务器,接收并保存所述数据服务器返回的所述目标数据,并返回给所述用户所述目标数据;
[0011]所述数据服务器,用于接收所述CDN缓存服务器回源的针对所述目标数据的访问请求,预判所述目标数据的访问频率,如果预判的访问频率满足所述预设条件,则从所述数据缓存服务器读取所述目标数据,并返回给所述⑶N缓存服务器;否则,从所述源存储服务器读取所述目标数据,并返回给所述CDN缓存服务器。
[0012]一种数据存储方法,应用于数据存储系统,包括:
[0013]所述应用服务器接收针对目标数据的存储请求;
[0014]根据所述存储请求,所述应用服务器将所述目标数据存储到所述源存储服务器;
[0015]所述应用服务器预判所述目标数据的访问频率;
[0016]在预判的访问频率满足预设条件时,所述应用服务器将所述目标数据存储到所述数据缓存服务器。
[0017]在本发明的一种【具体实施方式】中,所述根据所述存储请求,所述应用服务器将所述目标数据存储到所述源存储服务器,包括:
[0018]根据所述存储请求,所述应用服务器对所述目标数据进行编辑处理;
[0019]所述应用服务器将进行编辑处理后的目标数据存储到所述源存储服务器;
[0020]所述在预判的访问频率满足预设条件时,所述应用服务器将所述目标数据存储到所述数据缓存服务器,包括:
[0021]在预判的访问频率满足预设条件时,所述应用服务器将进行编辑处理后的目标数据存储到所述数据缓存服务器。
[0022]在本发明的一种【具体实施方式】中,所述应用服务器预判所述目标数据的访问频率,包括:
[0023]所述应用服务器根据所述目标数据的使用场景,预判所述目标数据的访问频率。
[0024]在本发明的一种【具体实施方式】中,在所述目标数据为图片数据的情况下,
[0025]所述根据所述存储请求,所述应用服务器将所述目标数据存储到所述源存储服务器,包括:
[0026]所述应用服务器计算所述图片数据对应的多尺寸图片需要占用的存储空间与所述图片数据对应的原尺寸图片需要占用的存储空间的差值,其中,所述多尺寸图片为所述图片数据在实际应用中可使用的多个尺寸图片的集合;
[0027]如果所述差值大于预设第二阈值,则所述应用服务器将所述图片数据对应的原尺寸图片存储到源存储服务器;
[0028]否则,所述应用服务器将所述图片数据对应的多尺寸图片存储到源存储服务器。
[0029]在本发明的一种【具体实施方式】中,在所述目标数据为图片数据的情况下,
[0030]所述在预判的访问频率满足预设条件时,所述应用服务器将所述目标数据存储到所述数据缓存服务器,包括:
[0031]在预判的访问频率满足预设条件时,所述应用服务器计算所述图片数据对应的多尺寸图片需要占用的存储空间与所述图片数据对应的原尺寸图片需要占用的存储空间的差值,其中,所述多尺寸图片为所述图片数据在实际应用中可使用的多个尺寸图片的集合;
[0032]如果所述差值大于预设第二阈值,则所述应用服务器将所述图片数据对应的原尺寸图片存储到数据缓存服务器;
[0033]否则,所述应用服务器将所述图片数据对应的多尺寸图片存储到数据缓存服务器。
[0034]在本发明的一种【具体实施方式】中,所述预设条件为不低于预设第一阈值。
[0035]一种数据访问方法,应用于数据存储系统,包括:
[0036]所述CDN缓存服务器接收用户针对目标数据的访问请求;
[0037]在所述CDN缓存服务器中存储有所述目标数据的情况下,返回给所述用户所述目标数据;
[0038]在所述CDN缓存服务器中没有存储所述目标数据的情况下,将所述访问请求回源至所述数据服务器;
[0039]所述数据服务器接收所述CDN缓存服务器回源的针对所述目标数据的访问请求,并预判所述目标数据的访问频率;
[0040]如果预判的访问频率满足预设条件,则所述数据服务器从所述数据缓存服务器读取所述目标数据,并返回给所述CDN缓存服务器;
[0041 ] 否则,所述数据服务器从所述源存储服务器读取所述目标数据,并返回给所述CDN缓存服务器;
[0042]所述CDN缓存服务器接收并保存所述数据服务器返回的所述目标数据,并返回给所述用户所述目标数据。
[0043]在本发明的一种【具体实施方式】中,所述数据服务器预判所述目标数据的访问频率,包括:
[0044]所述数据服务器根据所述目标数据的使用场景,预判所述目标数据的访问频率。
[0045]在本发明的一种【具体实施方式】中,在所述目标数据为图片数据的情况下,在所述数据服务器从所述源存储服务器或所述数据缓存服务器读取所述目标数据的过程中,包括:
[0046]如果所述源存储服务器或所述数据缓存服务器中没有存储有与所述访问请求相对应尺寸的图片,则由所述数据服务器触发所述应用服务器根据预设的原图与多尺寸的关系生产与所述访问请求对应尺寸的图片,并存储到所述源存储服务器或所述数据缓存服务器,并由所述数据服务器读取后返回给所述CDN缓存服务器。
[0047]在本发明的一种【具体实施方式】中,所述预设条件为不低于预设第一阈值。
[0048]应用本发明实施例所提供的技术方案,通过预判目标数据的访问频率,将预判的访问频率满足预设条件的目标数据存储到数据缓存服务器中,当CDN缓存服务器接收到用户的访问请求,且其自身没有存储用户所要访问的数据时,可以通过数据服务器到数据缓存服务器中读取数据,缓存并返回给用户,经过CDN缓存服务器和数据缓存服务器两级缓存,会提高目标数据的命中率,在很多情况下不需要再到源存储服务器中读取数据,可以减小源存储服务器的访问压力。

【专利附图】

【附图说明】
[0049]为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0050]图1为本发明实施例中一种数据存储系统的结构示意图;
[0051]图2为本发明实施例中一种数据存储方法的实施流程图;
[0052]图3为本发明实施例中一种数据访问方法的实施流程图。

【具体实施方式】
[0053]为了使本领域技术人员更好地理解本发明实施例中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0054]参见图1所示,为本发明实施例提供的一种数据存储系统的结构示意图,该数据存储系统包括:应用服务器110、源存储服务器120、数据缓存服务器130、⑶N缓存服务器140、数据服务器150;其中,
[0055]应用服务器110,用于接收针对目标数据的存储请求,根据存储请求,将目标数据存储到源存储服务器120,并预判目标数据的访问频率,在预判的访问频率满足预设条件时,将目标数据存储到数据缓存服务器130 ;
[0056]源存储服务器120,用于从应用服务器110接收并存储目标数据;
[0057]数据缓存服务器130,用于从应用服务器110接收并存储目标数据;
[0058]⑶N缓存服务器140,用于接收用户针对目标数据的访问请求,在⑶N缓存服务器140中存储有目标数据的情况下,返回给用户目标数据;在CDN缓存服务器140中没有存储目标数据的情况下,将访问请求回源至数据服务器150,接收并保存数据服务器150返回的目标数据,并返回给用户目标数据;
[0059]数据服务器150,用于接收⑶N缓存服务器140回源的针对目标数据的访问请求,预判目标数据的访问频率,如果预判的访问频率满足预设条件,则从数据缓存服务器130读取目标数据,并返回给⑶N缓存服务器140 ;否则,从源存储服务器120读取目标数据,并返回给⑶N缓存服务器140。
[0060]在该数据存储系统中,具有存储逻辑和访问逻辑,对于存储逻辑来说,应用服务器110将目标数据存储到源存储服务器120中,并预判目标数据的访问频率,将预判的访问频率满足预设条件的目标数据存储到数据缓存服务器130中;对于访问逻辑来说,CDN缓存服务器140接收到用户针对目标数据的访问请求时,如果其自身存储有目标数据,则直接将目标数据返回给用户,如果其自身没有存储目标数据,则将访问请求回源至数据服务器150,数据服务器150预判目标数据的访问频率,如果预判的访问频率满足所述预设条件,则从数据缓存服务器130读取目标数据,并返回给⑶N缓存服务器140,否则,从源存储服务器120读取目标数据,并返回给⑶N缓存服务器140,⑶N缓存服务器140接收到数据服务器150返回的目标数据后,保存该目标数据并返回给用户。
[0061]需要说明的是,应用服务器110接收针对目标数据的存储请求,目标数据可以是网站编辑上传的数据,还可以是网站用户上传的数据。在实际应用中,网站编辑或网站用户上传的数据可以称之为数据素材,如图片素材、视频素材等,这些数据素材有些经过一系列编辑处理过程才能生成供用户浏览访问的数据,应用服务器110可以针对作为数据素材的目标数据进行相应的编辑处理,并将编辑处理后的目标数据存储到源存储服务器120或数据缓存服务器130。
[0062]应用本发明实施例所提供的数据存储系统,通过预判目标数据的访问频率,将预判的访问频率满足预设条件的目标数据存储到数据缓存服务器130中,当CDN缓存服务器140接收到用户的访问请求,且其自身没有存储用户所要访问的数据时,可以通过数据服务器150到数据缓存服务器130中读取数据,缓存并返回给用户,经过CDN缓存服务器140和数据缓存服务器130两级缓存,会提高目标数据的命中率,在很多情况下不需要再到源存储服务器120中读取数据,可以减小源存储服务器120的访问压力。
[0063]参见图2所示,为本发明实施例提供一种数据存储方法的实施流程图,应用于图1所示的数据存储系统,该方法可以包括以下步骤:
[0064]S210:应用服务器110接收针对目标数据的存储请求;
[0065]目标数据,可以是网站编辑上传的数据,还可以是网站用户上传的数据。在实际应用中,网站编辑或网站用户上传的数据可以称之为数据素材,如图片素材、视频素材等,这些数据素材有的可以直接供用户浏览访问,有的需要经过一系列编辑处理过程才能生成供用户浏览访问的数据。
[0066]存储请求的请求参数可以包括目标数据内容、目标数据的处理方式、不同处理方式对应的相关参数等信息。比如,当目标数据是图片数据时,目标数据内容可以是图片文件内容,还可以是可通过HTTP下载得到的图片;目标数据的处理方式可以包括对图片的缩放、中心裁剪、坐标裁剪等处理方式;对于图片的缩放处理,需要缩放后的图片尺寸参数,对于图片的中心裁剪处理,需要裁剪后的图片尺寸参数,对于图片的坐标裁剪处理,需要相对于该图片的左上角和右下角的坐标参数。
[0067]应用服务器110接收到针对目标数据的存储请求后,可以继续执行步骤S220及步骤S230的操作。
[0068]S220:根据所述存储请求,应用服务器110将所述目标数据存储到源存储服务器120 ;
[0069]在步骤S210应用服务器110接收到针对目标数据的存储请求,根据该存储请求,应用服务器110可以根据预先设置的命名规则为目标数据生成在该数据存储系统中的唯一文件名,并将目标数据存储到源存储服务器120中。
[0070]在实际应用中,应用服务器110接收到针对目标数据的存储请求之后,根据存储请求,可以先对请求参数做合法性验证,如果验证通过,则根据请求参数对目标数据进行编辑处理,并将进行编辑处理后的目标数据存储到源存储服务器120,如果验证不通过,则返回给存储请求发送者错误提示信息。
[0071]在本发明的一种实施例中,在所述目标数据为图片数据的情况下,该步骤可以包括以下步骤:
[0072]步骤一:应用服务器110计算所述图片数据对应的多尺寸图片需要占用的存储空间与所述图片数据对应的原尺寸图片需要占用的存储空间的差值,其中,所述多尺寸图片为所述图片数据在实际应用中可使用的多个尺寸图片的集合;
[0073]步骤二:如果所述差值大于预设第二阈值,则应用服务器110将所述图片数据对应的原尺寸图片存储到源存储服务器120 ;
[0074]步骤三:如果所述差值不大于预设第二阈值,则应用服务器110将所述图片数据对应的多尺寸图片存储到源存储服务器120。
[0075]为方便理解,将上述三个步骤结合起来进行说明。在实际应用中,相同内容的图片在不同的应用场景下可能需要不同的尺寸,如,某一图片应用于某一场景下,需要的尺寸长宽比例为16:9,应用于另一场景下,需要的该图片的尺寸长宽比例为9:16。对于一个图片数据来说,计算该图片数据对应的多尺寸图片需要占用的存储空间与该图片数据对应的原尺寸图片需要占用的存储空间的差值,如果该差值大于预设第二阈值,表明该图片数据对应的多尺寸图片需要占用的存储空间要远大于该图片数据对应的原尺寸图片需要占用的存储空间,为节省存储开销,应用服务器110直接将该图片数据对应的原尺寸图片存储到源存储服务器120,否则,将该图片数据对应的多尺寸图片存储到源存储服务器120。即使用“原图与多尺寸取小”的原则对图片数据进行相应存储。
[0076]S230:应用服务器110预判所述目标数据的访问频率;
[0077]在本发明的一种【具体实施方式】中,应用服务器110可以根据目标数据的使用场景,预判该目标数据的访问频率。
[0078]在实际应用中,有些数据会经常被访问,如,用户头像类的图片数据,只要用户以用户名方式登录到网站,其头像图片就会被访问。根据目标数据的实际使用场景,预判目标数据的访问频率,如对于用户头像类的图片数据,预判其访问频率为0.8,访问频率越高,说明其可能被访问的几率越大。当然,可以根据实际情况,预判目标数据的访问频率,访问频率的取值可以是不大于I的小数,还可以是大于O的整数。
[0079]S240:在预判的访问频率满足预设条件时,应用服务器110将所述目标数据存储到数据缓存服务器130。
[0080]步骤S230应用服务器110预判目标数据的访问频率后,如果预判的访问频率满足预设条件,则应用服务器I1可以将目标数据存储到数据缓存服务器130。当然,对于需要进行编辑处理的目标数据来说,应用服务器110可以将进行编辑处理后的目标数据存储到数据缓存服务器130。
[0081]在本发明的一种【具体实施方式】中,预设条件可以是不低于预设的第一阈值,即在预判的访问频率不低于预设的第一阈值的情况下,应用服务器110将目标数据存储到数据缓存服务器130中,这里,第一阈值可以根据实际情况进行设置,如预判的访问频率为不大于I的小数,第一阈值可以设置为0.6,或者,预判的访问频率为大于O的整数,第一阈值可以按照量级进行设定。
[0082]在实际应用中,当目标数据为图片数据时,数据缓存服务器130可以使用GridFS系统。GridFS建立在MongoDB基础之上,而MongoDB集群运维管理简便,其副本集特性能保证高可用,其自动水平分区特性又能满足容量增长的需要。
[0083]在本发明的一个实施例中,在所述目标数据为图片数据的情况下,该步骤可以包括以下步骤:
[0084]第一个步骤:在预判的访问频率满足预设条件时,应用服务器110计算所述图片数据对应的多尺寸图片需要占用的存储空间与所述图片数据对应的原尺寸图片需要占用的存储空间的差值,其中,所述多尺寸图片为所述图片数据在实际应用中可使用的多个尺寸图片的集合;
[0085]第二个步骤:如果所述差值大于预设第二阈值,则应用服务器110将所述图片数据对应的原尺寸图片存储到数据缓存服务器130 ;
[0086]第三个步骤:如果所述差值不大于预设第二阈值,则应用服务器110将所述图片数据对应的多尺寸图片存储到数据缓存服务器130。
[0087]为方便理解,将上述三个步骤结合起来进行说明。在实际应用中,相同内容的图片在不同的应用场景下可能需要不同的尺寸,如,某一图片应用于某一场景下,需要的尺寸长宽比例为16:9,应用于另一场景下,需要的该图片的尺寸长宽比例为9:16。对于一个图片数据来说,计算该图片数据对应的多尺寸图片需要占用的存储空间与该图片数据对应的原尺寸图片需要占用的存储空间的差值,如果该差值大于预设第二阈值,表明该图片数据对应的多尺寸图片需要占用的存储空间要远大于该图片数据对应的原尺寸图片需要占用的存储空间,为节省存储开销,应用服务器110直接将该图片数据对应的原尺寸图片存储到数据缓存服务器130,否则,将该图片数据对应的多尺寸图片存储到数据缓存服务器130。即使用“原图与多尺寸取小”的原则对图片数据进行相应存储。这里的存储原则与应用服务器110将目标数据存储到源存储服务器120中的存储原则相同。
[0088]需要说明的是,本发明实施例对步骤S220和步骤S230的执行顺序不做限制,执行步骤S210之后,可以先执行步骤S220,还可以先执行步骤S230,或者步骤S220和步骤S230同时执行。
[0089]参见图3所示,为本发明实施例提供了一种数据访问方法的实施流程图,该方法应用于图1所示的数据存储系统,可以包括以下步骤:
[0090]S310 ADN缓存服务器140接收用户针对目标数据的访问请求;
[0091]在实际应用中,当CDN缓存服务器140中的数据长时间不被用户访问时,会被删除,也就是说CDN缓存服务器140中只存储热数据。当接收到用户通过用户终端发送的针对目标数据的访问请求时,CDN缓存服务器140先查看自身是否存储有目标数据,如果有,则执行步骤S320的操作,否则,执行步骤S330的操作。
[0092]S320:⑶N缓存服务器140中存储有目标数据,将目标数据返回给用户;
[0093]在步骤S310CDN缓存服务器140接收到用户针对目标数据的访问请求后,如果其自身存储有目标数据,则将目标数据直接返回给用户。
[0094]S330:⑶N缓存服务器140中没有存储目标数据,将所述访问请求回源至数据服务器 150 ;
[0095]在步骤S310CDN缓存服务器140接收到用户针对目标数据的访问请求后,如果其自身没有存储目标数据,则将访问请求回源至数据服务器150,以由数据服务器150进行下一步的操作。
[0096]S340:数据服务器150接收⑶N缓存服务器140回源的针对目标数据的访问请求,并预判目标数据的访问频率;
[0097]数据服务器150预判目标数据的访问频率的方法可以参考应用服务器110预判目标数据的访问频率的方法。在本发明的一种【具体实施方式】中,数据服务器150可以根据目标数据的使用场景,预判该目标数据的访问频率。
[0098]S350:如果预判的访问频率满足预设条件,则数据服务器150从数据缓存服务器130读取目标数据;
[0099]S360:如果预判的访问频率不满足预设条件,则数据服务器150从源存储服务器120读取目标数据;
[0100]根据步骤S340预判的目标数据的访问频率,确定目标数据的实际存储位置,如果预判的访问频率满足预设条件,则可以确认目标数据存储于数据缓存服务器130中,否则,可以确认目标数据存储于源存储服务器120中。在本发明实施例提供的数据存储方法中,对于目标数据的存储,根据同样的方法进行预判,并将目标数据对应存储于数据缓存服务器130或源存储服务器120中,相应于数据存储方法,在对目标数据进行访问时,通过同样方法可以确定的目标数据的实际存储位置,从而进行目标数据的读取。同样,预设条件可以是不低于预设第一阈值。
[0101]S370:将读取到的目标数据返回给⑶N缓存服务器140 ;
[0102]数据服务器150从源存储服务器120或数据缓存服务器130读取到目标数据后,将读取到的目标数据返回给⑶N缓存服务器140。
[0103]S380:⑶N缓存服务器140接收并保存数据服务器150返回的目标数据,并返回给用户。
[0104]CDN缓存服务器140接收到数据服务器150返回的目标数据后,在本地保存并返回给用户。当再有用户针对该目标数据的访问请求时,CDN缓存服务器140可以直接将其自身存储的目标数据返回给用户,提高访问速度。
[0105]在本发明的一个实施例中,在所述目标数据为图片数据的情况下,在数据服务器150从源存储服务器120或数据缓存服务器130读取目标数据的过程中,可以包括以下步骤:
[0106]如果源存储服务器120或数据缓存服务器130中没有存储有与所述访问请求相对应尺寸的图片,则由数据服务器150触发应用服务器110根据预设的原图与多尺寸的关系生产与所述访问请求对应尺寸的图片,并存储到源存储服务器120或数据缓存服务器130,并由数据服务器150读取后返回给⑶N缓存服务器140。
[0107]在数据存储系统中,当使用“原图与多尺寸取小”的原则进行图片数据的存储时,会相应的设置原图与多尺寸的对应关系,在访问过程中,如果没有与访问请求对应尺寸的图片,则应用服务器110会根据预先设置的原图与多尺寸的关系生产出与访问请求对应尺寸的图片。即通过服务器的计算能力分担了源存储服务器和数据缓存服务器的存储压力。
[0108]应用本发明实施例所提供的技术方案,通过预判目标数据的访问频率,将预判的访问频率满足预设条件的目标数据存储到数据缓存服务器130中,当CDN缓存服务器140接收到用户的访问请求,且其自身没有存储用户所要访问的数据时,可以通过数据服务器150到数据缓存服务器130中读取数据,缓存并返回给用户,经过⑶N缓存服务器140和数据缓存服务器130两级缓存,会提高目标数据的命中率,在很多情况下不需要再到源存储服务器120中读取数据,可以减小源存储服务器120的访问压力。
[0109]需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0110]本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
[0111]本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
[0112]以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
【权利要求】
1.一种数据存储系统,其特征在于,所述数据存储系统包括:应用服务器、源存储服务器、数据缓存服务器、CDN缓存服务器、数据服务器;其中, 所述应用服务器,用于接收针对目标数据的存储请求,根据所述存储请求,将所述目标数据存储到所述源存储服务器,并预判所述目标数据的访问频率,在预判的访问频率满足预设条件时,将所述目标数据存储到所述数据缓存服务器; 所述源存储服务器,用于从所述应用服务器接收并存储所述目标数据; 所述数据缓存服务器,用于从所述应用服务器接收并存储所述目标数据; 所述CDN缓存服务器,用于接收用户针对目标数据的访问请求,在所述CDN缓存服务器中存储有所述目标数据的情况下,返回给所述用户所述目标数据;在所述CDN缓存服务器中没有存储所述目标数据的情况下,将所述访问请求回源至所述数据服务器,接收并保存所述数据服务器返回的所述目标数据,并返回给所述用户所述目标数据; 所述数据服务器,用于接收所述CDN缓存服务器回源的针对所述目标数据的访问请求,预判所述目标数据的访问频率,如果预判的访问频率满足所述预设条件,则从所述数据缓存服务器读取所述目标数据,并返回给所述CDN缓存服务器;否则,从所述源存储服务器读取所述目标数据,并返回给所述CDN缓存服务器。
2.一种数据存储方法,其特征在于,应用于权利要求1中的数据存储系统,包括: 所述应用服务器接收针对目标数据的存储请求; 根据所述存储请求,所述应用服务器将所述目标数据存储到所述源存储服务器; 所述应用服务器预判所述目标数据的访问频率; 在预判的访问频率满足预设条件时,所述应用服务器将所述目标数据存储到所述数据缓存服务器。
3.根据权利要求2所述的方法,其特征在于,所述根据所述存储请求,所述应用服务器将所述目标数据存储到所述源存储服务器,包括: 根据所述存储请求,所述应用服务器对所述目标数据进行编辑处理; 所述应用服务器将进行编辑处理后的目标数据存储到所述源存储服务器; 所述在预判的访问频率满足预设条件时,所述应用服务器将所述目标数据存储到所述数据缓存服务器,包括: 在预判的访问频率满足预设条件时,所述应用服务器将进行编辑处理后的目标数据存储到所述数据缓存服务器。
4.根据权利要求2所述的方法,其特征在于,所述应用服务器预判所述目标数据的访问频率,包括: 所述应用服务器根据所述目标数据的使用场景,预判所述目标数据的访问频率。
5.根据权利要求2所述的方法,其特征在于,在所述目标数据为图片数据的情况下, 所述根据所述存储请求,所述应用服务器将所述目标数据存储到所述源存储服务器,包括: 所述应用服务器计算所述图片数据对应的多尺寸图片需要占用的存储空间与所述图片数据对应的原尺寸图片需要占用的存储空间的差值,其中,所述多尺寸图片为所述图片数据在实际应用中可使用的多个尺寸图片的集合; 如果所述差值大于预设第二阈值,则所述应用服务器将所述图片数据对应的原尺寸图片存储到源存储服务器; 否则,所述应用服务器将所述图片数据对应的多尺寸图片存储到源存储服务器。
6.根据权利要求2所述的方法,其特征在于,在所述目标数据为图片数据的情况下, 所述在预判的访问频率满足预设条件时,所述应用服务器将所述目标数据存储到所述数据缓存服务器,包括: 在预判的访问频率满足预设条件时,所述应用服务器计算所述图片数据对应的多尺寸图片需要占用的存储空间与所述图片数据对应的原尺寸图片需要占用的存储空间的差值,其中,所述多尺寸图片为所述图片数据在实际应用中可使用的多个尺寸图片的集合; 如果所述差值大于预设第二阈值,则所述应用服务器将所述图片数据对应的原尺寸图片存储到数据缓存服务器; 否则,所述应用服务器将所述图片数据对应的多尺寸图片存储到数据缓存服务器。
7.根据权利要求2至6任一项所述的方法,其特征在于,所述预设条件为不低于预设第一阈值。
8.一种数据访问方法,其特征在于,应用于权利要求1中的数据存储系统,包括: 所述CDN缓存服务器接收用户针对目标数据的访问请求; 在所述CDN缓存服务器中存储有所述目标数据的情况下,返回给所述用户所述目标数据; 在所述CDN缓存服务器中没有存储所述目标数据的情况下,将所述访问请求回源至所述数据服务器; 所述数据服务器接收所述CDN缓存服务器回源的针对所述目标数据的访问请求,并预判所述目标数据的访问频率; 如果预判的访问频率满足预设条件,则所述数据服务器从所述数据缓存服务器读取所述目标数据,并返回给所述CDN缓存服务器; 否则,所述数据服务器从所述源存储服务器读取所述目标数据,并返回给所述CDN缓存服务器; 所述CDN缓存服务器接收并保存所述数据服务器返回的所述目标数据,并返回给所述用户所述目标数据。
9.根据权利要求8所述的方法,其特征在于,所述数据服务器预判所述目标数据的访问频率,包括: 所述数据服务器根据所述目标数据的使用场景,预判所述目标数据的访问频率。
10.根据权利要求8所述的方法,其特征在于,在所述目标数据为图片数据的情况下,在所述数据服务器从所述源存储服务器或所述数据缓存服务器读取所述目标数据的过程中,包括: 如果所述源存储服务器或所述数据缓存服务器中没有存储有与所述访问请求相对应尺寸的图片,则由所述数据服务器触发所述应用服务器根据预设的原图与多尺寸的关系生产与所述访问请求对应尺寸的图片,并存储到所述源存储服务器或所述数据缓存服务器,并由所述数据服务器读取后返回给所述CDN缓存服务器。
11.根据权利要求8至10任一项所述的方法,其特征在于,所述预设条件为不低于预设第一阈值。
【文档编号】H04L29/06GK104506647SQ201410853974
【公开日】2015年4月8日 申请日期:2014年12月31日 优先权日:2014年12月31日
【发明者】刘熊, 陈赫 申请人:北京奇艺世纪科技有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1