文件部署方法、云服务器、系统及存储介质与流程

文档序号:17442065发布日期:2019-04-17 04:53阅读:175来源:国知局
文件部署方法、云服务器、系统及存储介质与流程

本发明涉及通信技术领域,尤其涉及一种文件部署方法、云服务器、系统及存储介质。



背景技术:

当前,基于存储节点设备的文件部署的调度方案是:从数据平台或其他平台获取用户请求文件的频率,根据单位时间内热度文件的请求数量和文件大小,来决策该文件需要的部署份数,然后通过云服务器将部署任务下发至存储节点设备,以增加热度文件部署到存储节点设备上的数量,使存储节点设备的服务处于一个合理的负载范围。

然而,上述调度方案完全是以请求的文件为维度来展开实施的,比如以单位时间内请求的文件数量和文件大小。这个决策算法,更多的是通过对存储节点设备历史服务能力的经验计算得来的,考虑到线上存储节点设备不同版本的性能有所差别,外接存储设备也各不相同,所以,相同的请求文件和请求频率在不同的存储节点设备上可能产生不同的负载情况,仅仅通过请求文件的频率和属性来计算和调整该文件的部署份数,并不能形成一个统一有效的调度策略。

此外,增量部署的存储节点设备,可能由于其他文件的访问也处于高负载状态。

可见,上述调度方案并没有很好的减轻存储节点设备的服务压力。



技术实现要素:

本发明的主要目的在于提供一种文件部署方法、云服务器、系统及存储介质,旨在解决如何更好地减轻存储节点设备的服务压力的技术问题。

为实现上述目的,本发明提供一种文件部署方法,应用于云服务器中,所述方法包括:

接收存储节点设备上报的资源文件信息,所述资源文件信息包括所述存储节点设备的资源使用率和所述存储节点设备接收到的文件请求信息;

判断所述资源使用率是否在预设的资源合理使用范围内;

若所述资源使用率超过所述资源合理使用范围的最大值,确定当前可部署的目标存储节点设备;

根据所述文件请求信息,确定目标文件;

将所述目标文件部署至所述目标存储节点设备上,其中,所述目标存储节点设备部署所述目标文件后,所述目标存储节点设备的资源使用率在所述资源合理使用范围内。

可选地,所述确定当前可部署的目标存储节点设备包括:

从所有存储节点设备中去掉资源使用率超过所述最大值的存储节点设备,确定剩余存储节点设备;

对所述剩余存储节点设备的存储空间及资源使用率进行加权,获得加权分值;

按照加权分值从高到低的顺序,对所述剩余存储节点设备进行排序;

将排名靠前的第一预设数量的存储节点设备确定为当前可部署的目标存储节点设备。

可选地,所述确定当前可部署的目标存储节点设备包括:

从所有存储节点设备中去掉所述资源使用率超过所述资源合理使用范围的最大值的存储节点设备,确定剩余存储节点设备;

获取所述剩余存储节点设备的资源使用率;

将资源使用率低于预设资源使用率阈值的剩余存储节点设备确定为当前可部署的目标存储节点设备。

可选地,所述根据所述文件请求信息,确定目标文件包括:

从所述文件请求信息中获取预设时间内所请求的文件列表;

统计所述文件列表中每个文件的请求次数;

按照请求次数从高到低的顺序,对所述文件列表中的所有文件进行排序;

将排名靠前的第二预设数量的文件确定为当前请求较频繁的目标文件。

可选地,所述方法还包括:

若所述资源使用率低于所述资源合理使用范围的最小值,删除所述存储节点设备中存储的冷文件,其中,所述冷文件的请求频率低于预设频率阈值。

可选地,所述接收存储节点设备上报的资源文件信息之前,所述方法还包括:

接收客户端发送的文件请求;

响应所述文件请求,向所述客户端返回所述文件请求对应的文件所在的存储节点设备。

为实现上述目的,本发明进一步提供一种云服务器,所述云服务器包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的文件部署程序,所述文件部署程序被所述处理器执行时实现所述的文件部署方法。

可选地,所述云服务器为组成内容分发网络或者区块链网络的节点。

为实现上述目的,本发明进一步提供一种文件部署系统,包括:

接收单元,用于接收存储节点设备上报的资源文件信息,所述资源文件信息包括所述存储节点设备的资源使用率和所述存储节点设备接收到的文件请求信息;

判断单元,用于判断所述资源使用率是否在预设的资源合理使用范围内;

第一确定单元,用于若所述资源使用率超过所述资源合理使用范围的最大值,确定当前可部署的目标存储节点设备;

第二确定单元,用于根据所述文件请求信息,确定目标文件;

部署单元,用于将所述目标文件部署至所述目标存储节点设备上,其中,所述目标存储节点设备部署所述目标文件后,所述目标存储节点设备的资源使用率在所述资源合理使用范围内。

为实现上述目的,本发明进一步提供一种计算机可读存储介质,所述计算机可读存储介质上存储有文件部署程序,所述文件部署程序可被一个或者多个处理器执行,以实现所述的文件部署方法。

为实现上述目的,本发明进一步提供一种计算机程序产品,包括计算机指令,当其在计算机上运行时,使得计算机可以执行所述的文件部署方法。

本发明所实现的有益效果:

本发明中,可以接收存储节点设备上报的资源文件信息,所述资源文件信息包括所述存储节点设备的资源使用率和所述存储节点设备接收到的文件请求信息;进一步地,可以判断所述资源使用率是否在预设的资源合理使用范围内;若所述资源使用率超过所述资源合理使用范围的最大值,确定当前可部署的目标存储节点设备;根据所述文件请求信息,确定目标文件;最后,即可将所述目标文件部署至所述目标存储节点设备上,其中,所述目标存储节点设备部署所述目标文件后,所述目标存储节点设备的资源使用率在所述资源合理使用范围内。可见,本发明中,主要是以存储节点设备为维度,通过存储节点设备本身的实时负载情况(如资源使用率),动态调整部署份数,将请求较频繁的文件部署至当前可部署的目标存储节点设备上,从而能够更好地减轻存储节点设备的服务压力。

附图说明

图1为本发明一实施例公开的一种文件部署方法的流程示意图;

图2为本发明一实施例公开的另一种文件部署方法的流程示意图;

图3为本发明一实施例公开的一种云服务器的内部结构示意图;

图4为本发明一实施例公开的一种文件部署系统的功能模块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。

本发明提供一种文件部署方法,能够以存储节点设备为维度,通过存储节点设备本身的实时负载情况(如资源使用率),动态调整部署份数,将请求较频繁的文件部署至当前可部署的目标存储节点设备上,从而能够更好地减轻存储节点设备的服务压力。

其中,所述云服务器可以是指能对网络中其它设备(如客户端)提供服务的计算机系统。如果一个个人电脑能够对外提供文件传输协议(filetransferprotocol,简称ftp)服务,也可以叫云服务器。从狭义范围上讲,云服务器专指某些高性能计算机,能通过网络,对外提供服务,其相对于普通的个人电脑来说,稳定性、安全性、性能等方面都要求更高,因此在cpu、芯片组、内存、磁盘系统、网络等硬件和普通的个人电脑有所不同。所述云服务器用于向客户端提供服务(例如数据传输服务)。所述云服务器可以包括但不限于pc(personalcomputer,个人电脑)、智能手机、平板电脑、掌上电脑、便携计算机、智能路由器、网络存储设备等。

其中,存储节点设备即小矿机(miningmachine),为家庭网络中的小型计算机设备,如玩客云,赚钱宝。小矿机上会安装部署文件和请求文件的插件,其中,部署文件的插件可以用于存储数据,请求文件的插件可以用于对外提供数据请求的服务,进而提供计算、存储和带宽资源。

其中,客户端是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(applicationspecificintegratedcircuit,asic)、可编程门阵列(field-programmablegatearray,fpga)、数字处理器(digitalsignalprocessor,dsp)、嵌入式设备等。所述客户端包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(personaldigitalassistant,pda)、交互式网络电视(internetprotocoltelevision,iptv)、智能式穿戴式设备等。

参照图1,图1为本发明一实施例公开的一种文件部署方法的流程示意图。如图1所示,该方法包括:

s101,云服务器接收存储节点设备上报的资源文件信息。

其中,所述资源文件信息包括所述存储节点设备的资源使用率和所述存储节点设备接收到的文件请求信息。

所述资源使用率可以为存储节点设备运行时所消耗的cpu(centralprocessingunit,中央处理器)资源。

所述文件请求信息可以包括但不限于所请求文件的文件列表以及每个文件的请求次数。

本发明实施例中,当存储节点设备接收到客户端发送的文件请求时,存储节点设备可以使用内置的小插件来监控并获取所述存储节点设备的资源使用情况,比如资源使用率的情况,同时,还可以从最近一段时间内(如最近1min)接收到的文件请求中获取文件列表和每个文件的请求次数等。

进一步地,存储节点设备即可将包括所述存储节点设备的资源使用率和所述存储节点设备接收到的文件请求信息的资源文件信息发送至云服务器。

s102,云服务器判断所述资源使用率是否在预设的资源合理使用范围内,若否,执行步骤s103,若是,结束本流程。

其中,云服务器预先可以根据经验设置一个资源合理使用范围,比如[30,80],在该资源合理使用范围内,存储节点设备处于负载均衡状态。

在接收到存储节点设备上报的资源使用率后,可以判断所述资源使用率是否在预设的资源合理使用范围内,如果所述资源使用率不属于预设的资源合理使用范围,表明当前存储节点设备的负载并不均衡,可能超出负载能力,也可能资源空余,得不到合理利用,为了让存储节点设备的负载均衡,云服务器需要执行下一步的操作,如果所述资源使用率属于预设的资源合理使用范围,表明当前存储节点设备的负载均衡,云服务器不需要执行任何操作。

s103,若所述资源使用率超过所述资源合理使用范围的最大值,云服务器确定当前可部署的目标存储节点设备。

本发明实施例中,云服务器判断所述资源使用率不属于预设的资源合理使用范围,具体的,云服务器判断所述资源使用率超过所述资源合理使用范围的最大值,表明当前存储节点设备的负载并不均衡,超出负载能力,为了让存储节点设备的负载均衡,减轻存储节点设备的服务压力,云服务器需要增加其他的存储节点设备,即查询当前可部署的目标存储节点设备。

具体的,所述确定当前可部署的目标存储节点设备包括:

从所有存储节点设备中去掉资源使用率超过所述最大值的存储节点设备,确定剩余存储节点设备;

对所述剩余存储节点设备的存储空间及资源使用率进行加权,获得加权分值;

按照加权分值从高到低的顺序,对所述剩余存储节点设备进行排序;

将排名靠前的第一预设数量的存储节点设备确定为当前可部署的目标存储节点设备。

在该可选的实施方式中,需要先从所有存储节点设备中去掉资源使用率超过所述最大值的存储节点设备,确定剩余存储节点设备,这样,剩余存储节点设备都是负载较轻的存储节点设备,资源使用率较低,能够有多余的资源供使用。

进一步地,可以对对所述剩余存储节点设备的存储空间及资源使用率进行加权,获得加权分值;比如:设置存储空间的加权百分比为80%,资源使用率的加权百分比为20%,存储空间的大小为a,资源使用率为b,则针对每个剩余存储节点设备,将存储空间及资源使用率进行加权,获得加权分值为80%a+20%b。之后,即可按照加权分值从高到低的顺序,对所述剩余存储节点设备进行排序;加权分值越高,表明所述剩余存储节点设备的存储空间越大,资源使用率越低,加权分值越低,表明所述剩余存储节点设备的存储空间越小,资源使用率越高。云服务器将排名靠前的第一预设数量(比如10个)的存储节点设备确定为当前可部署的目标存储节点设备。这样,确定的目标存储节点设备都是存储空间较大,而资源使用率较低的存储节点设备,能够有多余的存储空间及资源来供使用。

具体的,所述确定当前可部署的目标存储节点设备包括:

从所有存储节点设备中去掉所述资源使用率超过所述资源合理使用范围的最大值的存储节点设备,确定剩余存储节点设备;

获取所述剩余存储节点设备的资源使用率;

将资源使用率低于预设资源使用率阈值的剩余存储节点设备确定为当前可部署的目标存储节点设备。

在该可选的实施方式中,需要先从所有存储节点设备中去掉资源使用率超过所述最大值的存储节点设备,确定剩余存储节点设备,这样,剩余存储节点设备都是负载较轻的存储节点设备,资源使用率较低,能够有多余的资源供使用。

其中,可以预先设置预设资源使用率阈值,比如50%,在确定剩余存储节点设备之后,即可获取所述剩余存储节点设备的资源使用率;进一步地,从所述剩余存储节点设备中,将资源使用率低于预设资源使用率阈值的剩余存储节点设备确定为当前可部署的目标存储节点设备。这样,确定的目标存储节点设备均为资源使用率较低的存储节点设备,能够有多余的资源供使用。

具体的,所述确定当前可部署的目标存储节点设备包括:

从所有存储节点设备中去掉所述资源使用率超过所述资源合理使用范围的最大值的存储节点设备,确定剩余存储节点设备;

从所述剩余存储节点设备中随机选择第一预设数量的存储节点设备,并将选择的存储节点设备确定为当前可部署的目标存储节点设备。

在该可选的实施方式中,需要先从所有存储节点设备中去掉资源使用率超过所述最大值的存储节点设备,确定剩余存储节点设备,这样,剩余存储节点设备都是负载较轻的存储节点设备,资源使用率较低,能够有多余的资源供使用。

进一步地,可以从所述剩余存储节点设备中随机选择第一预设数量的存储节点设备,并将选择的存储节点设备确定为当前可部署的目标存储节点设备。这种随机选择方式,可以节省云服务器的计算资源。

s104,云服务器根据所述文件请求信息,确定目标文件。

具体的,所述根据所述文件请求信息,确定目标文件包括:

从所述文件请求信息中获取预设时间内所请求的文件列表;

统计所述文件列表中每个文件的请求次数;

按照请求次数从高到低的顺序,对所述文件列表中的所有文件进行排序。

将排名靠前的第二预设数量的文件确定为当前请求较频繁的目标文件。

其中,文件请求信息中包括客户端所请求的文件列表以及每个文件的请求次数,根据这些信息,云服务器可以统计所述文件列表中每个文件的请求次数;按照请求次数从高到低的顺序,对所述文件列表中的所有文件进行排序,并将排名靠前的第二预设数量的文件确定为当前请求较频繁的目标文件。

其中,可以预先设置第二预设数量,比如3个。

s105,云服务器将所述目标文件部署至所述目标存储节点设备上。

其中,所述目标存储节点设备部署所述目标文件后,所述目标存储节点设备的资源使用率在所述资源合理使用范围内。

其中,云服务器可以预先设置目标存储节点设备的数量,比如10个,将所述目标文件部署至所述目标存储节点设备上之后,如果所述目标存储节点设备上报的资源使用率属于所述资源合理使用范围,云服务器不再进行调度部署,反之,如果所述目标存储节点设备上报的资源使用率超出所述资源合理使用范围的最大值,云服务器还需要进一步增加目标存储节点设备的数量,直到所有目标存储节点设备的资源使用率属于所述资源合理使用范围。

在图1所描述的方法流程中,可以接收存储节点设备上报的资源文件信息,所述资源文件信息包括所述存储节点设备的资源使用率和所述存储节点设备接收到的文件请求信息;进一步地,可以判断所述资源使用率是否在预设的资源合理使用范围内;若所述资源使用率超过所述资源合理使用范围的最大值,确定当前可部署的目标存储节点设备;根据所述文件请求信息,确定目标文件;最后,即可将所述目标文件部署至所述目标存储节点设备上,其中,所述目标存储节点设备部署所述目标文件后,所述目标存储节点设备的资源使用率在所述资源合理使用范围内。可见,本发明中,主要是以存储节点设备为维度,通过存储节点设备本身的实时负载情况(如资源使用率),动态调整部署份数,将请求较频繁的文件部署至当前可部署的目标存储节点设备上,从而能够更好地减轻存储节点设备的服务压力。

参照图2,图2为本发明一实施例公开的另一种文件部署方法的流程示意图。如图2所示,该方法包括:

s201,云服务器接收客户端发送的文件请求。

本发明实施例中,当客户端所属的用户需要请求文件时,可以通过客户端先向云服务器发送文件请求,该文件请求用于请求文件所在的存储位置。

s202,云服务器响应所述文件请求,向所述客户端返回所述文件请求对应的文件所在的存储节点设备。

其中,云服务器可以预先将各个文件下发至存储节点设备,由存储节点设备存储供客户端使用。

s203,云服务器接收存储节点设备上报的资源文件信息。

其中,所述资源文件信息包括所述存储节点设备的资源使用率和所述存储节点设备接收到的文件请求信息。

所述资源使用率通常是读文件所消耗的存储节点设备的cpu(centralprocessingunit,中央处理器)。

所述文件请求信息可以包括但不限于所请求文件的文件列表以及每个文件的请求次数。

本发明实施例中,当存储节点设备接收到客户端发送的文件请求时,存储节点设备可以使用内置的小插件来监控并获取所述存储节点设备的资源使用情况,比如资源使用率的情况,同时,还可以从最近一段时间内(如最近1min)接收到的文件请求中获取文件列表和每个文件的请求次数等。

进一步地,存储节点设备即可将包括所述存储节点设备的资源使用率和所述存储节点设备接收到的文件请求信息的资源文件信息发送至云服务器。

s204,云服务器判断所述资源使用率是否在预设的资源合理使用范围内,若所述资源使用率超过所述资源合理使用范围的最大值,执行步骤s205~s207;若所述资源使用率低于所述资源合理使用范围的最小值,执行步骤s208。

其中,云服务器预先可以根据经验设置一个资源合理使用范围,比如[30,80],在该资源合理使用范围内,存储节点设备处于负载均衡状态。

在接收到存储节点设备上报的资源使用率后,可以判断所述资源使用率是否在预设的资源合理使用范围内,如果所述资源使用率不属于预设的资源合理使用范围,具体的,如果所述资源使用率超过所述资源合理使用范围的最大值,表明当前存储节点设备的负载并不均衡,超出负载能力,如果所述资源使用率低于所述资源合理使用范围的最小值,表明存储节点设备的资源有空余,得不到合理利用,为了让存储节点设备的负载均衡,云服务器需要执行下一步的操作,如果所述资源使用率属于预设的资源合理使用范围,表明当前存储节点设备的负载均衡,云服务器不需要执行任何操作。

s205,云服务器确定当前可部署的目标存储节点设备。

具体的,所述确定当前可部署的目标存储节点设备包括:

从所有存储节点设备中去掉资源使用率超过所述最大值的存储节点设备,确定剩余存储节点设备;

对所述剩余存储节点设备的存储空间及资源使用率进行加权,获得加权分值;

按照加权分值从高到低的顺序,对所述剩余存储节点设备进行排序;

将排名靠前的第一预设数量的存储节点设备确定为当前可部署的目标存储节点设备。

具体的,所述确定当前可部署的目标存储节点设备包括:

从所有存储节点设备中去掉所述资源使用率超过所述资源合理使用范围的最大值的存储节点设备,确定剩余存储节点设备;

获取所述剩余存储节点设备的资源使用率;

将资源使用率低于预设资源使用率阈值的剩余存储节点设备确定为当前可部署的目标存储节点设备。

具体的,所述确定当前可部署的目标存储节点设备包括:

从所有存储节点设备中去掉所述资源使用率超过所述资源合理使用范围的最大值的存储节点设备,确定剩余存储节点设备;

从所述剩余存储节点设备中随机选择第一预设数量的存储节点设备,并将选择的存储节点设备确定为当前可部署的目标存储节点设备;

s206,云服务器根据所述文件请求信息,确定目标文件。

具体的,所述根据所述文件请求信息,确定目标文件包括:

从所述文件请求信息中获取预设时间内所请求的文件列表;

统计所述文件列表中每个文件的请求次数;

按照请求次数从高到低的顺序,对所述文件列表中的所有文件进行排序;

将排名靠前的第二预设数量的文件确定为当前请求较频繁的目标文件。

s207,云服务器将所述目标文件部署至所述目标存储节点设备上,并结束本流程。

其中,所述目标存储节点设备部署所述目标文件后,所述目标存储节点设备的资源使用率在所述资源合理使用范围内。

s208,云服务器删除所述存储节点设备中存储的冷文件。

其中,可以设定预设频率阈值,所述预设频率阈值用于衡量文件请求是否频繁的最低限值。可以每隔预设时间周期(比如一周)来统计存储节点设备中存储的每个文件的请求频率,针对每个文件,若所述文件的请求频率低于预设频率阈值,表明所述文件请求不频繁,即所述文件请求的用户比较少,则可以确定所述文件为冷文件,换句话说,所述冷文件为请求频率低于预设频率阈值的文件。

当云服务器判断所述资源使用率低于所述资源合理使用范围的最小值时,表明存储节点设备的资源有空余,资源得不到合理利用,为了节省存储空间,可以删除所述存储节点设备中存储的冷文件。

在图2所描述的方法流程中,可以接收客户端发送的文件请求,并响应所述文件请求,向所述客户端返回所述文件请求对应的文件所在的存储节点设备。进一步地,在接收存储节点设备上报的资源文件信息后,可以判断所述资源使用率是否在预设的资源合理使用范围内;若所述资源使用率超过所述资源合理使用范围的最大值,可以确定当前可部署的目标存储节点设备;根据所述文件请求信息,确定目标文件,并将所述目标文件部署至所述目标存储节点设备上,若所述资源使用率低于所述资源合理使用范围的最小值,可以删除所述存储节点设备中存储的冷文件。可见,本发明实施例,主要是以存储节点设备为维度,通过存储节点设备本身的实时负载情况(如资源使用率),动态调整部署份数,将请求较频繁的文件部署至当前可部署的目标存储节点设备上,将请求较少的冷文件进行删除,从而不仅能够更好地减轻存储节点设备的服务压力,还可以节省存储节点设备的存储空间。

参照图3,图3为本发明一实施例公开的一种云服务器的内部结构示意图,如图3所示,所述云服务器1可以包括存储器11、处理器12和总线13。

在本实施例中,所述云服务器1可以是指能对网络中其它设备(如客户端)提供服务的计算机系统。如果一个个人电脑能够对外提供文件传输协议(filetransferprotocol,简称ftp)服务,也可以叫云服务器。从狭义范围上讲,云服务器专指某些高性能计算机,能通过网络,对外提供服务,其相对于普通的个人电脑来说,稳定性、安全性、性能等方面都要求更高,因此在cpu、芯片组、内存、磁盘系统、网络等硬件和普通的个人电脑有所不同。所述服务器用于向客户端提供服务(例如数据传输服务)。所述云服务器可以包括但不限于pc(personalcomputer,个人电脑)、智能手机、平板电脑、掌上电脑、便携计算机、智能路由器、网络存储设备等。

该云服务器1可以是组成内容分发网络或者区块链网络的节点。

该所述云服务器1可以包括存储器11、处理器12和总线13。

其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,sd或dx存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是云服务器1的内部存储单元,例如该云服务器1的硬盘。存储器11在另一些实施例中也可以是云服务器1的外部存储设备,例如云服务器1上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。进一步地,存储器11还可以既包括云服务器1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于云服务器1的应用软件及各类数据,例如文件部署程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(centralprocessingunit,cpu)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行文件部署程序等。

该总线13可以是外设部件互连标准(peripheralcomponentinterconnect,简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture,简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。进一步地,服务器还可以包括网络接口,网络接口可选的可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等),通常用于在该云服务器1与其他服务器之间建立通信连接。

可选地,该云服务器1还可以包括用户接口,用户接口可以包括显示器(display)、输入单元比如键盘(keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organiclight-emittingdiode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在云服务器1中处理的信息以及用于显示可视化的用户界面。

图3仅示出了具有组件11至13以及文件部署程序的云服务器1,本领域技术人员可以理解的是,图3示出的结构并不构成对云服务器1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。

结合图1或图2,所述云服务器1中的所述存储器11存储多个指令以实现一种文件部署方法,所述处理器12可执行所述多个指令从而实现:

接收存储节点设备上报的资源文件信息,所述资源文件信息包括所述存储节点设备的资源使用率和所述存储节点设备接收到的文件请求信息;

判断所述资源使用率是否在预设的资源合理使用范围内;

若所述资源使用率超过所述资源合理使用范围的最大值,确定当前可部署的目标存储节点设备;

根据所述文件请求信息,确定目标文件;

将所述目标文件部署至所述目标存储节点设备上,其中,所述目标存储节点设备部署所述目标文件后,所述目标存储节点设备的资源使用率在所述资源合理使用范围内。

在一种可选的实施方式中,所述确定当前可部署的目标存储节点设备包括:

从所有存储节点设备中去掉资源使用率超过所述最大值的存储节点设备,确定剩余存储节点设备;

对所述剩余存储节点设备的存储空间及资源使用率进行加权,获得加权分值;

按照加权分值从高到低的顺序,对所述剩余存储节点设备进行排序;

将排名靠前的第一预设数量的存储节点设备确定为当前可部署的目标存储节点设备。

在一种可选的实施方式中,所述确定当前可部署的目标存储节点设备包括:

从所有存储节点设备中去掉所述资源使用率超过所述资源合理使用范围的最大值的存储节点设备,确定剩余存储节点设备;

获取所述剩余存储节点设备的资源使用率;

将资源使用率低于预设资源使用率阈值的剩余存储节点设备确定为当前可部署的目标存储节点设备。

在一种可选的实施方式中,所述根据所述文件请求信息,确定目标文件包括:

从所述文件请求信息中获取预设时间内所请求的文件列表;

统计所述文件列表中每个文件的请求次数;

按照请求次数从高到低的顺序,对所述文件列表中的所有文件进行排序;

将排名靠前的第二预设数量的文件确定为当前请求较频繁的目标文件。

在一种可选的实施方式中,所述处理器12可执行所述存储器11存储的多个指令以实现:

若所述资源使用率低于所述资源合理使用范围的最小值,删除所述存储节点设备中存储的冷文件,其中,所述冷文件的请求频率低于预设频率阈值。

在一种可选的实施方式中,所述接收存储节点设备上报的资源文件信息之前,所述处理器12可执行所述存储器11存储的多个指令以实现:

接收客户端发送的文件请求;

响应所述文件请求,向所述客户端返回所述文件请求对应的文件所在的存储节点设备。

具体地,所述处理器12对上述指令的具体实现方法可参考图1或图2对应实施例中相关步骤的描述,在此不赘述。

在图3所描述的云服务器中,可以接收存储节点设备上报的资源文件信息,所述资源文件信息包括所述存储节点设备的资源使用率和所述存储节点设备接收到的文件请求信息;进一步地,可以判断所述资源使用率是否在预设的资源合理使用范围内;若所述资源使用率超过所述资源合理使用范围的最大值,确定当前可部署的目标存储节点设备;根据所述文件请求信息,确定目标文件;最后,即可将所述目标文件部署至所述目标存储节点设备上,其中,所述目标存储节点设备部署所述目标文件后,所述目标存储节点设备的资源使用率在所述资源合理使用范围内。可见,本发明中,主要是以存储节点设备为维度,通过存储节点设备本身的实时负载情况(如资源使用率),动态调整部署份数,将请求较频繁的文件部署至当前可部署的目标存储节点设备上,从而能够更好地减轻存储节点设备的服务压力。

参照图4,图4为本发明一实施例公开的一种文件部署系统的功能模块示意图。其中,图4描述的文件部署系统用于执行图1或图2所描述的文件部署方法中的部分或全部步骤,具体请参见图1或图2中的相关描述,在此不再赘述。本发明所称的单元是指一种能够被处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在本实施例中,关于各单元的功能将在后续的实施例中详述。

图4描述的文件部署系统包括:

接收单元401,用于接收存储节点设备上报的资源文件信息,所述资源文件信息包括所述存储节点设备的资源使用率和所述存储节点设备接收到的文件请求信息;

判断单元402,用于判断所述资源使用率是否在预设的资源合理使用范围内;

第一确定单元403,用于若所述资源使用率超过所述资源合理使用范围的最大值,确定当前可部署的目标存储节点设备;

具体的,所述第一确定单元403确定当前可部署的目标存储节点设备包括:

从所有存储节点设备中去掉资源使用率超过所述最大值的存储节点设备,确定剩余存储节点设备;

对所述剩余存储节点设备的存储空间及资源使用率进行加权,获得加权分值;

按照加权分值从高到低的顺序,对所述剩余存储节点设备进行排序;

将排名靠前的第一预设数量的存储节点设备确定为当前可部署的目标存储节点设备。

具体的,所述第一确定单元403确定当前可部署的目标存储节点设备包括:

从所有存储节点设备中去掉所述资源使用率超过所述资源合理使用范围的最大值的存储节点设备,确定剩余存储节点设备;

获取所述剩余存储节点设备的资源使用率;

将资源使用率低于预设资源使用率阈值的剩余存储节点设备确定为当前可部署的目标存储节点设备。

第二确定单元404,用于根据所述文件请求信息,确定目标文件;

具体的,第二确定单元404根据所述文件请求信息,确定目标文件包括:

从所述文件请求信息中获取预设时间内所请求的文件列表;

统计所述文件列表中每个文件的请求次数;

按照请求次数从高到低的顺序,对所述文件列表中的所有文件进行排序;

将排名靠前的第二预设数量的文件确定为当前请求较频繁的目标文件。

部署单元405,用于将所述目标文件部署至所述目标存储节点设备上,其中,所述目标存储节点设备部署所述目标文件后,所述目标存储节点设备的资源使用率在所述资源合理使用范围内。

可选的,图4所述的文件部署系统还可以包括:

删除单元,用于若所述资源使用率低于所述资源合理使用范围的最小值,删除所述存储节点设备中存储的冷文件,其中,所述冷文件的请求频率低于预设频率阈值。

所述接收单元401,还用于接收客户端发送的文件请求;

发送单元,用于响应所述文件请求,向所述客户端返回所述文件请求对应的文件所在的存储节点设备。

在图4所描述的文件部署系统中,可以接收存储节点设备上报的资源文件信息,所述资源文件信息包括所述存储节点设备的资源使用率和所述存储节点设备接收到的文件请求信息;进一步地,可以判断所述资源使用率是否在预设的资源合理使用范围内;若所述资源使用率超过所述资源合理使用范围的最大值,确定当前可部署的目标存储节点设备;根据所述文件请求信息,确定目标文件;最后,即可将所述目标文件部署至所述目标存储节点设备上,其中,所述目标存储节点设备部署所述目标文件后,所述目标存储节点设备的资源使用率在所述资源合理使用范围内。可见,本发明中,主要是以存储节点设备为维度,通过存储节点设备本身的实时负载情况(如资源使用率),动态调整部署份数,将请求较频繁的文件部署至当前可部署的目标存储节点设备上,从而能够更好地减轻存储节点设备的服务压力。

上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读存储介质中。其中,该计算机可读存储介质可以存储计算机程序,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1