资源处理方法、装置、存储介质和缓存服务器与流程

文档序号:24120852发布日期:2021-03-02 11:18阅读:56来源:国知局
资源处理方法、装置、存储介质和缓存服务器与流程

[0001]
本公开涉及计算机技术领域,尤其涉及一种资源处理方法、装置、存储介质和缓存服务器。


背景技术:

[0002]
随着社会的发展,大多数地域都接入了互联网,但是不同地域的用户访问同一网站的响应速度是不同的。为了提高网站对用户访问的响应速度,出现了内容分发网络(content delivery network,cdn)。cdn是构建在现有网络基础之上的智能虚拟网络,它借助于各种缓存服务器,使得用户能以最快的速度,从最接近用户的地方获得所需的信息,很大程度上降低网络拥塞,提高用户访问的响应速度和命中率。
[0003]
cdn中很重要的一个部分是缓存服务器从cdn源站拉取资源并缓存。当用户访问时,便可以从缓存服务器中读取并处理资源进行反馈。目前,缓存服务器对拉取的资源的处理方式是按照资源分片的方式,即缓存服务器先按照一定的固定大小将资源分片,然后对各分片进行压缩等处理后存储至缓存服务器的串口硬盘(serial ata,sata)的各个单位中。并随着分片的访问热度(如次数)的增加,将对应分片从sata硬盘存储至缓存服务器中的固态硬盘(solid state disk,ssd)或者内存中。
[0004]
但是,用户的每一次访问,缓存服务器都需要读取访问内容对应的资源的第一个分片(简称首分片)的信息,再读取用户所需内容的分片(称为内容分片)。按照上述缓存服务器的资源处理方式,首分片的处理效率低,会相应降低缓存服务器对用户访问的响应速度,影响用户体验。


技术实现要素:

[0005]
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种资源处理方法、装置、存储介质和缓存服务器。
[0006]
第一方面,本公开提供了一种资源处理方法,包括:
[0007]
获取待处理分片资源的资源信息;
[0008]
基于所述分片资源的资源信息,确定所述分片资源的分片类型,所述分片类型包括首分片或内容分片,所述首分片为包含所述分片资源对应的整个资源的资源总述性信息的分片,所述内容分片为包含所述整个资源的资源内容的分片;
[0009]
基于所述分片类型,确定所述分片资源的存储参考信息,所述存储参考信息包括存储位置、压缩方式和存储位置变更阈值中的至少一种,所述存储位置变更阈值用于确定所述分片资源是否由串口硬盘存储至固定硬盘或内存中;
[0010]
基于所述存储参考信息,存储所述分片资源。
[0011]
在一些实施例中,当所述存储参考信息包括所述存储位置时,所述基于所述分片类型,确定所述分片资源的存储参考信息包括:
[0012]
若所述分片类型为所述首分片,则确定所述分片资源的存储位置为固态硬盘或内
存;
[0013]
若所述分片类型为所述内容分片,则确定所述分片资源的存储位置为串口硬盘。
[0014]
在一些实施例中,当所述存储参考信息包括所述存储位置变更阈值时,所述基于所述分片类型,确定所述分片资源的存储参考信息包括:
[0015]
若所述分片类型为所述首分片,则为所述分片资源确定第一存储位置变更阈值;
[0016]
若所述分片类型为所述内容分片,则为所述分片资源确定第二存储位置变更阈值;
[0017]
其中,所述第一存储位置变更阈值小于所述第二存储位置变更阈值。
[0018]
在一些实施例中,当所述存储参考信息包括所述压缩方式时,所述基于所述分片类型,确定所述分片资源的存储参考信息包括:
[0019]
若所述分片类型为所述首分片,则确定所述分片资源的压缩方式为不压缩或具有第一数据压缩比的压缩方式;
[0020]
若所述分片类型为所述内容分片,则确定所述分片资源的压缩方式为具有第二数据压缩比的压缩方式;
[0021]
其中,所述第二数据压缩比大于所述第一数据压缩比。
[0022]
在一些实施例中,所述基于所述分片资源的资源信息,确定所述分片资源的分片类型包括:
[0023]
若所述资源信息对应于http头信息,则确定所述分片资源的分片类型为所述首分片。
[0024]
在一些实施例中,所述存储位置变更阈值基于资源归属方优先级和所述分片资源对应的资源类型确定。
[0025]
在一些实施例中,所述方法还包括:
[0026]
基于所述分片类型,删除所述分片资源,所述内容分片的资源删除优先级高于所述首分片的资源删除优先级。
[0027]
在一些实施例中,所述基于所述分片类型,删除所述分片资源包括:
[0028]
若所述分片类型为所述首分片,则为所述分片资源确定第一资源删除初始值;
[0029]
若所述分片类型为所述内容分片,则为所述分片资源确定第二资源删除初始值;所述第二资源删除初始值小于所述第一资源删除初始值;
[0030]
基于所述第一资源删除初始值或所述第二资源删除初始值,对所述分片资源执行资源删除操作。
[0031]
第二方面,本公开提供了一种资源处理装置,该装置包括:
[0032]
资源信息获取模块,用于获取待处理的分片资源,并确定所述分片资源的资源信息;
[0033]
分片类型确定模块,用于基于所述分片资源的资源信息,确定所述分片资源的分片类型,所述分片类型包括首分片或内容分片,所述首分片为包含所述分片资源对应的整个资源的资源总述性信息的分片,所述内容分片为包含所述整个资源的资源内容的分片;
[0034]
存储参考信息确定模块,用于基于所述分片类型,确定所述分片资源的存储位置、压缩方式和存储位置变更阈值中的至少一种,所述存储位置变更阈值用于确定所述分片资源是否由串口硬盘存储至固定硬盘或内存中;
[0035]
存储模块,用于基于确定的所述存储位置、所述压缩方式和所述存储位置变更阈值,存储所述分片资源。
[0036]
在一些实施例中,存储参考信息确定模块具体用于:
[0037]
当所述存储参考信息包括所述存储位置时,若所述分片类型为所述首分片,则确定所述分片资源的存储位置为固态硬盘或内存;
[0038]
若所述分片类型为所述内容分片,则确定所述分片资源的存储位置为串口硬盘。
[0039]
在一些实施例中,存储参考信息确定模块具体用于:
[0040]
当所述存储参考信息包括所述存储位置变更阈值时,若所述分片类型为所述首分片,则为所述分片资源确定第一存储位置变更阈值;
[0041]
若所述分片类型为所述内容分片,则为所述分片资源确定第二存储位置变更阈值;
[0042]
其中,所述第一存储位置变更阈值小于所述第二存储位置变更阈值。
[0043]
在一些实施例中,存储参考信息确定模块具体用于:
[0044]
当所述存储参考信息包括所述压缩方式时,若所述分片类型为所述首分片,则确定所述分片资源的压缩方式为不压缩或具有第一数据压缩比的压缩方式;
[0045]
若所述分片类型为所述内容分片,则确定所述分片资源的压缩方式为具有第二数据压缩比的压缩方式;
[0046]
其中,所述第二数据压缩比大于所述第一数据压缩比。
[0047]
在一些实施例中,分片类型确定模块具体用于:
[0048]
若所述资源信息对应于http头信息,则确定所述分片资源的分片类型为所述首分片。
[0049]
在一些实施例中,所述存储位置变更阈值基于资源归属方优先级和所述分片资源对应的资源类型确定。
[0050]
在一些实施例中,该装置还包括资源删除模块,用于:
[0051]
基于所述分片类型,删除所述分片资源,所述内容分片的资源删除优先级高于所述首分片的资源删除优先级。
[0052]
在一些实施例中,资源删除模块具体用于:
[0053]
若所述分片类型为所述首分片,则为所述分片资源确定第一资源删除初始值;
[0054]
若所述分片类型为所述内容分片,则为所述分片资源确定第二资源删除初始值;所述第二资源删除初始值小于所述第一资源删除初始值;
[0055]
基于所述第一资源删除初始值或所述第二资源删除初始值,对所述分片资源执行资源删除操作。
[0056]
第三方面,本公开提供了一种的缓存服务器,该缓存服务器包括:
[0057]
一个或多个处理器;
[0058]
存储装置,用于存储一个或多个程序,
[0059]
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述的资源处理方法中的任一实施例。
[0060]
第四方面,本公开提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的资源处理方法中的任一实施例。
[0061]
本公开实施例提供的技术方案与现有技术相比具有如下优点:
[0062]
在内容分发网络中,缓存服务器区分分片资源的分片类型进行资源的存储,针对首分片和内容分片两种分片类型的分片资源,在存储位置、压缩方式和存储位置变更阈值设置中的至少一个方面进行差异性处理,提高缓存服务器对每次访问必会处理的首分片的分片资源的处理效率,从而提高缓存服务器对用户访问的响应速度。
附图说明
[0063]
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
[0064]
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0065]
图1是本公开实施例提供的一种基于内容分发网络的网络架构的资源访问信息流图;
[0066]
图2是本公开实施例提供的内容分发网络中任一节点的节点架构框图;
[0067]
图3是本公开实施例提供的一种资源处理方法的流程图;
[0068]
图4是本公开实施例提供的又一种资源处理方法的流程图;
[0069]
图5是本公开实施例提供的一种资源处理装置的结构示意图;
[0070]
图6是本公开实施例提供的一种缓存服务器的结构示意图。
具体实施方式
[0071]
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步的详细描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
[0072]
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
[0073]
本公开实施例提供的资源处理方案,可应用于内容分发网络(content delivery network,cdn)中,具体应用于cdn的缓存服务器中。
[0074]
图1为本公开实施例提供的一种基于内容分发网络的网络架构的资源访问信息流图。如图1所示,内容分发网络110包括源站111、上层节点112、中层节点113和边缘节点114,其中,源站111的数量最少,上层节点112的数量大于源站111的数量但少于中层节点113的数量,中层节点113的数量少于边缘节点114的数量。边缘节点113直接与访问资源的用户端120通信,用于接收用户的访问请求并向用户反馈所请求的资源。中层节点113不直接服务于用户,其与边缘节点112通信,用于汇聚边缘节点114向源站111请求资源的回源请求,并对其进行反馈;且中层节点113与上层节点112通信,用于从上层节点112中拉取其内未存储的资源。上层节点112不直接服务于用户,其与中层节点113通信,用于汇聚中层节点113的回源请求,并对其进行反馈;且上层节点112与源站111通信,用于从源站111中拉取其内未存储的资源。
[0075]
上层节点112、中层节点113和边缘节点114的节点架构相同。图2是本公开实施例提供的内容分发网络中任一节点的节点架构框图。节点包括负载均衡服务器、多个缓存服务器以及与每个缓存服务器对应的http和反向代理web服务器(如nginx)。负载均衡服务器用于将节点的外部请求均衡式地分发至http和反向代理web服务器。http和反向代理web服务器用于根据缓存服务器中的资源存储情况,将外部请求导向至合适的缓存服务器。缓存服务器用于处理外部请求,并进行资源反馈。
[0076]
结合图1和图2,用户通过内容分发网络110访问网站资源的信息流为:用户通过用户端120输入访问的域名。用户端120按照信息流1向域名解析服务器130发送域名解析请求。域名解析服务器130通过对域名解析请求的处理,按照信息流2向用户端120反馈最适合的边缘节点114的ip地址。用户端120基于所得的边缘节点114的ip地址,按照信息流3访问边缘节点114。如果边缘节点114的缓存服务器中存储有用户访问的资源,则从其缓存服务器中读取资源并按照信息流10向用户端120反馈资源。如果边缘节点114的缓存服务器中未存储相应资源,则从中层节点113的缓存服务器中拉取。具体为按照信息流4向中层节点113发送回源请求,中层节点113则根据回源请求从其缓存服务器中读取资源并按照信息流10反馈至边缘节点114。同样地,若中层节点113未存储相应资源,则按照信息流5、8从上层节点112中拉取。若上层节点112中未存储相应资源,则按照信息流6、7从源站111中拉取。需要说明的是,任一节点向上一层节点拉取资源后,除了反馈至下一层节点外,还需将拉取的资源存储至该节点的缓存服务器中。上述过程中,缓存服务器存储拉取的资源,以及节点从缓存服务器中读取资源均属于缓存服务器的资源处理过程。
[0077]
目前缓存服务器中按照资源分片方式存储和处理资源。当缓存服务器处理用户访问资源的外部请求时,必须读取和处理用户所需资源对应的首分片的分片资源,再读取和处理用户所需的内容分片,而不读取其他的内容分片。如此,用户访问资源的过程中,缓存服务器对首分片的分片资源的处理效率对访问响应速度的影响更大。但是,目前的缓存服务器存储或处理分片资源时,不区分首分片和内容分片,对所有的分片资源均采用统一的处理方式,如存储位置的变更规则、压缩方式等均相同。这样就导致缓存服务器中首分片的分片资源的处理效率不高,进而降低网站对用户访问的响应速度。针对该问题,本公开提供了一种资源处理方案,实现了针对首分片和内容分片两种分片类型的分片资源,在存储位置、压缩方式和存储位置变更阈值设置中的至少一个方面进行差异性处理,例如将首分片的分片资源直接存储至高速缓存设备中、或者为其设置解压速度更快的压缩方式、或者为其设置更小的存储位置变更阈值以加快分片资源迁移至高速缓存设备等,提高缓存服务器对首分片的分片资源的存储效率和处理效率,从而提高缓存服务器对用户访问的响应速度。
[0078]
图3是本公开实施例提供的一种资源处理方法的流程图。该方法可以由资源处理装置来执行,该装置可以由软件和/或硬件的方式实现,该装置可以集成在cdn的缓存服务器中。参见图3,该资源处理方法具体包括如下步骤:
[0079]
s310、获取待处理分片资源的资源信息。
[0080]
其中,分片资源是指整个资源按照固定大小拆分所得的部分资源。这里的资源是指内容分发网络cdn中存储的资源,例如可以是图片、音频、视频、文字资源,或者其他可以在计算机中展示的内容等。资源信息是指资源的属性信息,例如资源的大小、内容简述、时
间等信息。
[0081]
cdn中,如果缓存服务器所在节点接收到其下一层节点或用户端发送的资源请求,但是该缓存服务器中并未存储所请求的资源,那么该节点会向其上一层节点或源站发送回源请求,以分片形式拉取所请求的资源,即缓存服务器获取待处理分片资源。并且,缓存服务器从该获取的分片资源中获取其资源信息。
[0082]
s320、基于分片资源的资源信息,确定分片资源的分片类型。
[0083]
其中,分片资源的类型是指从分片资源的不同维度,对分片资源进行类别划分所得结果。本公开实施例中,按照资源内容及其重要程度,将分片资源划分为首分片和内容分片。首分片是指分片中包含整个资源的总述性信息的分片资源,其在每次用户访问中都会被读取,是整个资源中最为重要的一部分。内容分片是指分片中包含具体的资源内容的分片资源。在一些实施例中,由于cdn是基于http的访问,其所有的资源都会在最靠前位置增加http头信息,而http头信息包含了整个资源的总述性信息,例如资源大小、分片个数和过期时间等,所以,首分片也是整个资源的第一个分片,而内容分片则是整个资源的后续各个分片。
[0084]
相关技术中,缓存服务器存储分片资源时,对所有的分片资源采用统一的处理方式。但是,本公开实施例在发现首分片的处理效率对用户访问的响应速度影响更大的基础上,采用了区分分片资源的分片类型进行差异化存储和处理的方式。具体实施时,缓存服务器根据获取的分片资源的资源信息来判断该分片资源的分片类型为首分片或内容分片。
[0085]
在一些实施例中,基于分片资源的资源信息,确定分片资源的分片类型包括:若资源信息对应于http头信息,则确定分片资源的分片类型为首分片。相关技术中的http头信息用于判断数据传输过程中需要接收的数据量大小,而本公开实施例将http头信息应用于资源存储时的分片资源的分片类型判断过程。具体为:cdn中首分片的分片资源中必然包含http头信息。所以,如果分片资源的资源信息能够反映出该分片资源中包含http头信息,那么就可以确定该获取的分片资源的分片类型为首分片。反之,如果分片资源的资源信息表明该分片资源中未包含http头信息,则确定该分片资源的分片类型为内容分片。这样可以更加快捷地确定分片资源的分片类型,从而进一步提高分片资源的存储效率。
[0086]
s330、基于分片类型,确定分片资源的存储参考信息,该存储参考信息包括存储位置、压缩方式和存储位置变更阈值中的至少一种。
[0087]
其中,存储参考信息是指资源存储过程中的相关信息。存储位置是指缓存服务器中存储资源的位置,例如可以是内存、固态硬盘或串口sata硬盘。压缩方式是指对资源进行压缩的算法,不同的压缩方式的数据压缩比不同,数据压缩比越大,压缩后的资源的数据量越小,解压耗时越长。存储位置变更阈值是用于确定分片资源是否由串口硬盘存储至固定硬盘或内存中。相关技术中,分片资源存储至缓存服务器的sata硬盘中,随着其访问热度(如以访问次数表征)达到存储位置变更阈值,将其从sata硬盘迁移至内存或固态硬盘等高速缓存设备中。在一些实施例中,存储位置变更阈值基于资源归属方优先级和分片资源对应的资源类型确定。例如,对于资源归属方(使用cdn存储其资源的客户)优先级高的资源,其要优先被存储至高速缓存设备中,故其存储位置变更阈值较小。又如,对于资源类型为视频的资源,其要优先被存储至高速缓存设备中,故其存储位置变更阈值较小。而对于资源类型为应用程序的资源,其重要性不如视频,故其存储位置变更阈值较大。这样能够确保更加
重要的资源先被存储至高速缓存设备。
[0088]
本公开实施例对于不同分片类型的分片资源,在存储位置、压缩方式和存储位置变更阈值设置中的至少一方面进行差异化处理,以便通过不同的处理方式来相对提高各分片资源中首分片的分片资源的处理效率。
[0089]
在一些实施例中,当存储参考信息包括存储位置时,基于分片类型,确定分片资源的存储参考信息包括:若分片类型为首分片,则确定分片资源的存储位置为固态硬盘或内存;若分片类型为内容分片,则确定分片资源的存储位置为串口硬盘。本实施例中,从存储位置方面来差异化处理首分片和内容分片的分片资源。如果上述确定的分片资源的分片类型为内容分片,则确定其存储位置为sata硬盘。如果确定的分片类型为首分片,则为其确定存储位置为内存或固态硬盘的高速缓存设备。这样,缓存服务器可以直接将获取的分片资源存储至高速缓存设备,其存储和读取的效率,相对于存储至sata硬盘会有很大程度的提高。本实施例中,在压缩方式和存储位置变更阈值设置两方面,可以做差异化处理,也可以不做差异化处理。
[0090]
在一些实施例中,当存储参考信息包括压缩方式时,基于分片类型,确定分片资源的存储参考信息包括:若分片类型为首分片,则确定分片资源的压缩方式为不压缩或具有第一数据压缩比的压缩方式;若分片类型为内容分片,则确定分片资源的压缩方式为具有第二数据压缩比的压缩方式;其中,第二数据压缩比大于第一数据压缩比。本实施例中,从压缩方式方面来差异化处理首分片和内容分片的分片资源。如果上述确定的分片资源的分片类型为内容分片,则确定其压缩方式为数据压缩比较大的压缩方式,即采用具有第二数据压缩比的压缩方式,以确保存储空间的高效利用。如果确定的分片类型为首分片,则确定其压缩方式为不压缩,或者数据压缩比较小的压缩方式,即采用具有第一数据压缩比的压缩方式。第一数据压缩比需根据解压耗时和带宽是否空闲的状态来确定。例如,第一数据压缩比对应的解压耗时要使得带宽处于非空闲状态,或者处于更短时间的空闲状态,以确保较好的用户体验。通过这样的设置,缓存服务器在存储和读取首分片的分片资源时,压缩过程所占用的时间均相对缩短,一定程度上提高首分片的分片资源的处理效率。本实施例中,在存储位置和存储位置变更阈值设置两方面,可以做差异化处理,也可以不做差异化处理。
[0091]
在一些实施例中,当存储参考信息包括存储位置变更阈值时,基于分片类型,确定分片资源的存储参考信息包括:若分片类型为首分片,则为分片资源确定第一存储位置变更阈值;若分片类型为内容分片,则为分片资源确定第二存储位置变更阈值;其中,第一存储位置变更阈值小于第二存储位置变更阈值。本实施例中,从存储位置变更阈值设置方面来差异化处理首分片和内容分片的分片资源。如果上述确定的分片资源的分片类型为内容分片,则为其确定数值较大的第二存储位置变更阈值,例如访问次数50次。如果确定的分片类型为首分片,则为其确定数值较小的第一存储位置变更阈值,例如访问次数25次。这样,首分片的分片资源的访问次数会较快地达到第一存储位置变更阈值,从而其较快地由sata硬盘存储至高速缓存设备中,而高速缓存设备的资源存储和读取效率都很高,从而一定程度上提高首分片的分片资源的处理效率。本实施例中,两种分片类型的分片资源的初始的存储位置均为sata硬盘。而压缩方式方面可以做差异化处理,也可以不做差异化处理。
[0092]
s340、基于存储参考信息,存储分片资源。
[0093]
缓存服务器按照s330中确定的存储参考信息(存储位置、压缩方式和存储位置变
更阈值中的至少一种)存储分片资源。例如,若s330中仅确定了存储位置,那么就将分片资源存储至该存储位置;若s330中确定了压缩方式和存储位置变更阈值,则按照该压缩方式对分片资源进行处理,并为分片资源设定确定的存储位置变更阈值,之后,将处理后的分片资源存储至合适的存储位置。
[0094]
上述技术方案,通过分片资源的资源信息确定分片资源的分片类型;基于分片类型确定分片资源的存储参考信息,该存储参考信息包括存储位置、压缩方式和存储位置变更阈值中的至少一种;基于确定的存储参考信息存储分片资源。实现了针对首分片和内容分片两种分片类型的分片资源,在存储位置、压缩方式和存储位置变更阈值设置中的至少一个方面进行差异性处理,例如将首分片的分片资源直接存储至高速缓存设备中、或者为其设置解压速度更快的压缩方式、或者为其设置更小的存储位置变更阈值以加快分片资源迁移至高速缓存设备等,提高缓存服务器对首分片的分片资源的存储效率和处理效率,从而提高缓存服务器对用户访问的响应速度。
[0095]
图4是本公开实施例提供的又一种资源处理方法的流程图。其中与上述技术方案相同或相应的术语的解释在此不再赘述。参见图4,该资源处理方法包括如下步骤:
[0096]
s410、获取待处理分片资源的资源信息。
[0097]
s420、基于分片资源的资源信息,确定分片资源的分片类型。
[0098]
s430、基于分片类型,确定分片资源的存储参考信息,该存储参考信息包括存储位置、压缩方式和存储位置变更阈值。
[0099]
在一些实施例中,若分片类型为首分片,则为该分片资源确定存储位置为sata硬盘,并确定压缩方式为不压缩或者具有第一数据压缩比的压缩方式,且为其确定数值较小的第一存储位置变更阈值。若分片类型为内容分片,则为该分片资源确定存储位置为sata硬盘,并确定压缩方式为具有第二数据压缩比的压缩方式,且为其确定数值较大的第二存储位置变更阈值。
[0100]
s440、基于确定的存储参考信息,存储分片资源。
[0101]
本实施例中,同时考虑了分片资源的资源内容的重要程度和热度,更适用于对缓存服务器中热度相同或相近的多个分片资源的优化处理。
[0102]
例如,假设某一缓存服务器的内存和固态硬盘中可容纳10个分片资源,该缓存服务器需要存储10个整个资源,其中1个整个资源的热度为5,共分为10个分片资源,剩余9个整个资源的热度均为4。相关技术中会将热度为5的整个资源全部存储至内存和固态硬盘中,而剩余9个整个资源全部存储于sata硬盘中。这样只能确保热度为5的资源被快速访问,剩余资源的访问响应速度均较慢。而采用本实施例的资源处理方案,经过一段时间的处理,内存和固态硬盘中存储10个整个资源的首分片的分片资源,而所有的内容分片的分片资源存储于sata硬盘中,并且首分片的分片资源无需解压或解压耗时很短,这样可确保所有资源的首分片的分片资源具有较快的响应速度,从而很大程度上提高该缓存服务器对用户访问的响应速度。
[0103]
s450、基于分片类型,删除分片资源;其中,内容分片的资源删除优先级高于首分片的资源删除优先级。
[0104]
其中,资源删除优先级是指删除分片资源时的删除优先级,删除优先级越高,其对应的分片资源越先被删除。
[0105]
缓存服务器的存储空间是有限的,当其存储空间被占满时,就需要删除其中的一些分片资源。本公开实施例中,在删除资源时,通过为首分片和内容分片两种分片类型的分片资源设置不同的资源删除优先级,来达到优先删除内容分片的分片资源,而降低删除的首分片的分片资源数量的目的。在一些实施例中,可以为两种分片类型分别设置各自的删除参数,且两种删除参数独立维护,以便独立进行两种分片类型的分片资源的删除。
[0106]
在一些实施例中,基于分片类型,删除分片资源包括:若分片类型为首分片,则为分片资源确定第一资源删除初始值;若分片类型为内容分片,则为分片资源确定第二资源删除初始值;第二资源删除初始值小于第一资源删除初始值;基于第一资源删除初始值或第二资源删除初始值,对分片资源执行资源删除操作。其中,资源删除初始值是设定的、用于控制资源删除的初始值。例如,资源删除初始值为访问次数初始值,第一资源删除初始值可以设置为25次,第二资源删除初始值可以设置为50次。具体实施时,缓存服务器根据分片类型为分片资源设置第一资源删除初始值或第二资源删除初始值。然后,随着用户访问来增减第一资源删除初始值或第二资源删除初始值。例如,用户访问一次,则第一资源删除初始值或第二资源删除初始值增加1,而无用户访问,则第一资源删除初始值或第二资源删除初始值减少1。若分片资源对应的资源删除初始值降为0,则删除该分片资源。这样可以综合分片资源的资源内容重要程度和热度,同时控制两种分片类型的分片资源的删除过程,提高各分片资源删除的合理性。
[0107]
上述技术方案,在内容分片的资源删除优先级高于首分片的资源删除优先级的资源删除策略的前提下,基于分片类型删除分片资源,实现了优先删除内容分片的分片资源,而降低删除的首分片的分片资源数量,从而减少首分片的分片资源的重新拉取过程,进一步提高首分片的分片资源的处理效率。
[0108]
图5是本公开实施例提供的一种资源处理装置的结构示意图。在一些实施例中,资源处理装置可实现为图2中缓存服务器或缓存服务器的一部分。参见图5,资源处理装置500包括:
[0109]
资源信息获取模块510,用于获取待处理分片资源的资源信息;
[0110]
分片类型确定模块520,用于基于分片资源的资源信息,确定分片资源的分片类型,分片类型包括首分片或内容分片,首分片为包含分片资源对应的整个资源的资源总述性信息的分片,内容分片为包含整个资源的资源内容的分片;
[0111]
存储参考信息确定模块530,用于基于分片类型,确定分片资源的存储参考信息,存储参考信息包括存储位置、压缩方式和存储位置变更阈值中的至少一种,存储位置变更阈值用于确定分片资源是否由串口硬盘存储至固定硬盘或内存中;
[0112]
存储模块540,用于基于存储参考信息,存储分片资源。
[0113]
在一些实施例中,存储参考信息确定模块530具体用于:
[0114]
当存储参考信息包括存储位置时,若分片类型为首分片,则确定分片资源的存储位置为固态硬盘或内存;
[0115]
若分片类型为内容分片,则确定分片资源的存储位置为串口硬盘。
[0116]
在一些实施例中,存储参考信息确定模块530具体用于:
[0117]
当存储参考信息包括存储位置变更阈值时,若分片类型为首分片,则为分片资源确定第一存储位置变更阈值;
[0118]
若分片类型为内容分片,则为分片资源确定第二存储位置变更阈值;
[0119]
其中,第一存储位置变更阈值小于第二存储位置变更阈值。
[0120]
在一些实施例中,存储参考信息确定模块530具体用于:
[0121]
当存储参考信息包括压缩方式时,若分片类型为首分片,则确定分片资源的压缩方式为不压缩或具有第一数据压缩比的压缩方式;
[0122]
若分片类型为内容分片,则确定分片资源的压缩方式为具有第二数据压缩比的压缩方式;
[0123]
其中,第二数据压缩比大于第一数据压缩比。
[0124]
在一些实施例中,分片类型确定模块520具体用于:
[0125]
若资源信息对应于http头信息,则确定分片资源的分片类型为首分片。
[0126]
在一些实施例中,存储位置变更阈值基于资源归属方优先级和分片资源对应的资源类型确定。
[0127]
在一些实施例中,资源处理装置500还包括资源删除模块,用于:
[0128]
基于分片类型,删除分片资源,内容分片的资源删除优先级高于首分片的资源删除优先级。
[0129]
在一些实施例中,资源删除模块具体用于:
[0130]
若分片类型为首分片,则为分片资源确定第一资源删除初始值;
[0131]
若分片类型为内容分片,则为分片资源确定第二资源删除初始值;第二资源删除初始值小于第一资源删除初始值;
[0132]
基于第一资源删除初始值或第二资源删除初始值,对分片资源执行资源删除操作。
[0133]
通过本公开实施例提供的一种资源处理装置,实现了针对首分片和内容分片两种分片类型的分片资源,在存储位置、压缩方式和存储位置变更阈值设置中的至少一个方面进行差异性处理,提高缓存服务器对首分片的分片资源的存储效率和处理效率,从而提高缓存服务器对用户访问的响应速度。
[0134]
本公开实施例所提供的资源处理装置可执行本公开任意实施例所提供的资源处理方法,具备执行方法相应的功能模块和有益效果。
[0135]
值得注意的是,上述资源处理装置的实施例中,所包括的各个模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能模块的具体名称也只是为了便于相互区分,并不用于限制本公开的保护范围。
[0136]
图6是本公开实施例提供的一种缓存服务器的结构示意图。参见图6,缓存服务器600包括:一个或多个处理器620;存储装置610,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器620执行,使得一个或多个处理器620实现本公开实施例所提供的资源处理方法,包括:
[0137]
获取待处理分片资源的资源信息;
[0138]
基于分片资源的资源信息,确定分片资源的分片类型,分片类型包括首分片或内容分片,首分片为包含分片资源对应的整个资源的资源总述性信息的分片,内容分片为包含整个资源的资源内容的分片;
[0139]
基于分片类型,确定分片资源的存储参考信息,该存储参考信息包括存储位置、压
缩方式和存储位置变更阈值中的至少一种,存储位置变更阈值用于确定分片资源是否由串口硬盘存储至固定硬盘或内存中;
[0140]
基于存储参考信息,存储分片资源。
[0141]
当然,本领域技术人员可以理解,处理器620还可以实现本公开任意实施例所提供的资源处理方法的技术方案。
[0142]
图6显示的缓存服务器600仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
[0143]
如图6所示,缓存服务器600以通用计算设备的形式表现。缓存服务器600的组件可以包括但不限于:一个或者多个处理器620,存储装置610,连接不同系统组件(包括存储装置610和处理器620)的总线650。
[0144]
总线650表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(isa)总线,微通道体系结构(mac)总线,增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0145]
缓存服务器600典型地包括多种计算机系统可读介质。这些介质可以是任何能够被缓存服务器600访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
[0146]
存储装置610可以包括易失性存储器形式的计算机系统可读介质,例如高速缓存存储器611(如内存和/或固态硬盘)和/或串口硬盘(sata硬盘)612。缓存服务器600可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统613可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,缓存服务器600可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线650相连。存储装置610可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本公开各实施例的功能。
[0147]
具有一组(至少一个)程序模块615的程序/实用工具614,可以存储在例如存储装置610中,这样的程序模块615包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块615通常执行本公开所描述的任意实施例中的功能和/或方法。
[0148]
缓存服务器600也可以与一个或多个外部设备660(例如键盘、指向设备、显示器670等)通信,还可与一个或者多个使得用户能与该缓存服务器600交互的设备通信,和/或与使得该缓存服务器600能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出接口(i/o接口)630进行。并且,缓存服务器600还可以通过网络适配器640与一个或者多个网络(例如局域网(lan),广域网(wan)和/或公共网络,例如因特网)通信。如图6所示,网络适配器640通过总线650与缓存服务器600的其它模块通信。应当明白,尽管图中未示出,可以结合缓存服务器600使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
和/或“该”等词并非特指单数,也可包括复数。术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“装置”和/或“模块”,是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而,如果其他表达式可以实现相同的目的,这些术语可以被其他表达式替换。
[0160]
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1