一种服务器数据分配系统的制作方法

文档序号:11590464阅读:295来源:国知局

本发明涉及服务器领域,尤其涉及一种服务器数据分配系统。



背景技术:

随着网络技术的发展数据量也产生了突飞猛进的增长。在当前的数据量形式下,用户使用了服务器群,但是对数据量的利用率还是不够充分,一般路由协议只是按照设定的路径进行转发,当设定的流量满负荷时仍然将新的流量导入,而不会进行分流操作,所以会导致服务器过载,无法正常工作。

在大数据情况下,单台服务器会导致无法提供服务,通常的方式是增加服务器来满足访问需求,在这种场景下如何将大量用户的访问流量分担到不同的服务器上成为决定系统业务量处理的指标。



技术实现要素:

为了克服上述现有技术中的不足,本发明提供一种服务器数据分配系统,包括:数据分配子系统,数据处理子系统,数据库;

数据分配子系统包括:数据分配模块,网络通信处理模块,网络拓扑设置模块;数据处理子系统包括:多个数据处理器;

数据分配器用于查找处理数据资源量最少的数据处理器,并将待处理数据信息发送给所述数据处理器进行处理数据,当当前数据处理器为非处理数据资源量最少的数据处理器时,查找下一个处理数据资源量最少的数据处理器,并将待处理数据信息发送给所述数据处理器进行处理数据,依次类推;

网络通信处理模块用于对服务器集群网络进行数据交换,对网络终端设备进行监控,在每个数据处理器上维护数据交换的信息,以及维护每个数据处理器的端口、工作模式、网速,使每个数据处理器与物理数据交换对应同步状态,网络通信处理模块采用mac地址区分不同的数据处理器;

网络拓扑设置模块用于对服务器集群网络中的数据处理器之间建立网络拓扑连接,当数据处理器之间连接之后,向上层服务器上报每个数据处理器的物理端口信息;网络拓扑设置模块通过链路层协议收集每个数据处理器的连接状况,形成整个网络的拓扑结构,通过周期性的发送数据连接报文,网络拓扑设置模块及时获取网络拓扑变化,当新的数据处理器加入到网络中,或者数据处理器出现故障时,重新更新网络拓扑信息并且通知上层服务器;

数据库用来存储全局网络拓扑信息,网络拓扑设置模块将获取到的网络信息发送到数据库中存储,当有请求到达时,通过数据库的信息学习全网拓扑;当某个区域的网络发生变化时,及时将信息更新到数据库中。

优选地,数据分配子系统还包括:统计管理模块:

统计管理模块用于对每个数据处理器处理的数据信息量进行收集,统计和储存,并且向上层服务器提供统计信息。

优选地,数据分配子系统还包括:系统资源折算模块;

系统资源折算模块用于通过比较每个数据处理器与系统平均数据处理量的方差d来衡量当前系统中分配的数据处理资源量是否平衡,通过公式1.1计算来该平衡度;n为系统设有n个数据处理器,pave表示系统平均数据处理量,pi表示第i个控制数据处理器的数据处理量;

优选地,数据分配子系统还包括:数据传输量设置模块,数据传输调度模块;

数据传输量设置模块用于设置网络拓扑中传输线路的第一流量阈值,第二流量阈值,第一流量阈值大于第二流量阈值,第一流量阈值为网络拓扑中传输线路承受数据传输的上限值,第二流量阈值为传输线路的预设值,数据传输量处理模块获取网络拓扑中各个传输线路的数据量信息;

数据传输调度模块用于获取网络拓扑中各个传输线路的传输量,当识别网络拓扑中某一传输线路中传输量超过第一流量阈值时,将该传输线路的传输数据量分配至传输线路中传输数据量低于第二流量阈值的传输线路传输。

优选地,数据分配子系统还包括:数据传输线路选定模块;

数据传输线路选定模块用于查找每个传输线路的源地址和目的地址,确定端到端的数据信息,基于路由算法计算数据传输在网络拓扑中的最短传输线路和所有可行的传输线路。

优选地,数据分配子系统与数据处理子系统之间采用tcp/ip协议通信。

优选地,数据分配器还用于获取各个数据处理器的数据处理量上限值及数据处理器的缓存数据量,根据各个数据处理器的数据处理量上限值及数据处理器的缓存数据量进行资源分配。

优选地,数据分配子系统还包括:数据处理器处理量获取模块;

数据处理器处理量获取模块用于实时获取各个数据处理器的数据处理量,根据各个数据处理器的数据处理量以及各个数据处理器的可处理量进行数据分配。

优选地,数据分配子系统还包括:qci数据传输模块,

qci数据传输模块用于实时获取网络拓扑中各个传输线路的传输量,基于non-gbr承载当前网络拓扑中各个传输线路的数据传输,并对网络拓扑中所有传输线路的数据传输量进行累计,根据累计数据量计算网络拓扑中传输线路的平均速率;

设置网络拓扑中各个传输线路的预设传输量的sbr值,获取网络拓扑中各个传输线路的下行聚合最大比特速率ambr值及各个传输线路上数据处理器收发数据量,当传输线路的sbr值大于平均速率,则根据所述sbr值及平均速率计算所述传输线路的最大可承受传输数据量,当超过所述传输线路的最大可承受传输数据量时,将该传输线路的传输数据量分配至传输线路中传输线路的sbr值小于平均速率传输线路传输;

当传输线路的sbr值小于平均速率,实时比对ambr值、传输线路的传输数据量及平均速率之间的关系。

从以上技术方案可以看出,本发明具有以下优点:

数据分配器查找处理数据资源量最少的数据处理器,并将待处理数据信息发送给所述数据处理器进行处理数据,当当前数据处理器为非处理数据资源量最少的数据处理器时,查找下一个处理数据资源量最少的数据处理器,并将待处理数据信息发送给所述数据处理器进行处理数据,依次类推;数据得到了合理的分配提高了系统的数据处理效率。

网络拓扑设置模块对服务器集群网络中的数据处理器之间建立网络拓扑连接,当数据处理器之间连接之后,向上层服务器上报每个数据处理器的物理端口信息;网络拓扑设置模块通过链路层协议收集每个数据处理器的连接状况,形成整个网络的拓扑结构,通过周期性的发送数据连接报文,网络拓扑设置模块及时获取网络拓扑变化,当新的数据处理器加入到网络中,或者数据处理器出现故障时,重新更新网络拓扑信息并且通知上层服务器;实现了系统网络传输的流畅,使得系统技能实现处理效率的提升还能实现网络传输效率的提升。

附图说明

为了更清楚地说明本发明的技术方案,下面将对描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为服务器数据分配系统示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将运用具体的实施例及附图,对本发明保护的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本专利中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本专利保护的范围。

本实施例提供一种服务器数据分配系统,如图1所示,包括:数据分配子系统1,数据处理子系统2,数据库3;

数据分配子系统1包括:数据分配模块,网络通信处理模块,网络拓扑设置模块;数据处理子系统包括:多个数据处理器;

数据分配器用于查找处理数据资源量最少的数据处理器,并将待处理数据信息发送给所述数据处理器进行处理数据,当当前数据处理器为非处理数据资源量最少的数据处理器时,查找下一个处理数据资源量最少的数据处理器,并将待处理数据信息发送给所述数据处理器进行处理数据,依次类推;网络通信处理模块用于对服务器集群网络进行数据交换,对网络终端设备进行监控,在每个数据处理器上维护数据交换的信息,以及维护每个数据处理器的端口、工作模式、网速,使每个数据处理器与物理数据交换对应同步状态,网络通信处理模块采用mac地址区分不同的数据处理器;网络拓扑设置模块用于对服务器集群网络中的数据处理器之间建立网络拓扑连接,当数据处理器之间连接之后,向上层服务器上报每个数据处理器的物理端口信息;网络拓扑设置模块通过链路层协议收集每个数据处理器的连接状况,形成整个网络的拓扑结构,通过周期性的发送数据连接报文,网络拓扑设置模块及时获取网络拓扑变化,当新的数据处理器加入到网络中,或者数据处理器出现故障时,重新更新网络拓扑信息并且通知上层服务器;

数据库用来存储全局网络拓扑信息,网络拓扑设置模块将获取到的网络信息发送到数据库中存储,当有请求到达时,通过数据库的信息学习全网拓扑;当某个区域的网络发生变化时,及时将信息更新到数据库中。

本实施例中,数据分配子系统1还包括:统计管理模块:

统计管理模块用于对每个数据处理器处理的数据信息量进行收集,统计和储存,并且向上层服务器提供统计信息。

本实施例中,数据分配子系统还包括:系统资源折算模块;系统资源折算模块用于通过比较每个数据处理器与系统平均数据处理量的方差d来衡量当前系统中分配的数据处理资源量是否平衡,通过公式1.1计算来该平衡度;n为系统设有n个数据处理器,pave表示系统平均数据处理量,pi表示第i个控制数据处理器的数据处理量;

这样通过系统资源折算模块可以实现对每个数据处理器进行资源的合理分配。

本实施例中,数据分配子系统1还包括:数据传输量设置模块,数据传输调度模块;

数据传输量设置模块用于设置网络拓扑中传输线路的第一流量阈值,第二流量阈值,第一流量阈值大于第二流量阈值,第一流量阈值为网络拓扑中传输线路承受数据传输的上限值,第二流量阈值为传输线路的预设值,数据传输量处理模块获取网络拓扑中各个传输线路的数据量信息;数据传输调度模块用于获取网络拓扑中各个传输线路的传输量,当识别网络拓扑中某一传输线路中传输量超过第一流量阈值时,将该传输线路的传输数据量分配至传输线路中传输数据量低于第二流量阈值的传输线路传输,避免拥塞和提高网络的利用率。

本实施例中,数据分配子系统还包括:数据传输线路选定模块;

数据传输线路选定模块用于查找每个传输线路的源地址和目的地址,确定端到端的数据信息,基于路由算法计算数据传输在网络拓扑中的最短传输线路和所有可行的传输线路。

本实施例中,数据分配子系统1与数据处理子系统2之间采用tcp/ip协议通信。

本实施例中,数据分配器还用于获取各个数据处理器的数据处理量上限值及数据处理器的缓存数据量,根据各个数据处理器的数据处理量上限值及数据处理器的缓存数据量进行资源分配。

数据分配子系统1还包括:数据处理器处理量获取模块;

数据处理器处理量获取模块用于实时获取各个数据处理器的数据处理量,根据各个数据处理器的数据处理量以及各个数据处理器的可处理量进行数据分配。

本实施例中,还包括一种数据的分配方式,具体的数据分配子系统还包括:qci数据传输模块,

qci数据传输模块用于实时获取网络拓扑中各个传输线路的传输量,基于non-gbr承载当前网络拓扑中各个传输线路的数据传输,并对网络拓扑中所有传输线路的数据传输量进行累计,根据累计数据量计算网络拓扑中传输线路的平均速率;

设置网络拓扑中各个传输线路的预设传输量的sbr值,获取网络拓扑中各个传输线路的下行聚合最大比特速率ambr值及各个传输线路上数据处理器收发数据量,当传输线路的sbr值大于平均速率,则根据所述sbr值及平均速率计算所述传输线路的最大可承受传输数据量,当超过所述传输线路的最大可承受传输数据量时,将该传输线路的传输数据量分配至传输线路中传输线路的sbr值小于平均速率传输线路传输;当传输线路的sbr值小于平均速率,实时比对ambr值、传输线路的传输数据量及平均速率之间的关系。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1