一种新型无线电监测大数据并发处理系统的制作方法

文档序号:15420495发布日期:2018-09-11 23:16阅读:385来源:国知局

本实用新型涉及网络大数据处理技术领域,具体指一种新型无线电监测大数据并发处理系统。



背景技术:

传统的无线电监测系统主要通过单台传感器控制服务器来控制多个同构节点执行无线电监测任务,Web服务器负责提供用户数据的呈现,并将传感器采集的数据实时存储在数据库服务器中。

传统的部署方式在系统中传感器的数量较少时,这种部署方式可以正常处理用户的监测请求。不过随着无线电监测网络部署的深入,网络中接入的传感器的数量不断的增加并且类型也更多样化,在大量传感器同时执行任务时可能会造成传感器控制服务满负载运行甚至是过负载运行,另外一旦传感器控制服务器出现故障,将会导致所有的传感器无法正常进行任务的执行和数据采集。因此,有必要引入多台传感器控制服务器来分担多传感器任务执行和采集数据的压力。



技术实现要素:

本实用新型克服现有技术存在的不足,所要解决的技术问题为:提供一种大数据并发处理的负载均衡方法。

为了解决上述技术问题,本实用新型采用的技术方案为:一种新型无线电监测大数据并发处理系统,包括:

用户:传感器任务的派发者和采集数据的观察者;采用台式电脑,便携式电脑、平板电脑、便携终端设备通过Internet接入无线电监测系统;

传感器:异构节点,由同一设备厂家不同型号的传感器,或者不同设备厂家的传感器构成;

防火墙:作为外部网络和内部网络之间的安全屏障;

服务器交换机:连通不同的服务器;

传感器控制服务器:采用多台传感器控制服务器分别控制传感器的数据收发,具体的传感器由哪台传感器控制服务器来进行控制,是由负载均衡服务器在传感器任务派发时采用负载均衡的算法动态分配的;

负载均衡服务器:负责将传感器的执行任务均衡分配到各传感器控制服务器上,提升传感器控制服务器对于大数据并发处理的执行效率和系统的响应能力;同时提供灾难保障处理,一旦某传感器控制服务器出现故障,可以将该传感器控制服务器正在执行的监测任务动态分配到其它传感器控制服务器来执行。对于更加复杂的监测系统,可以提供备用负载均衡服务器,在主负载均衡服务器出现故障时,可以启用备用负载均衡服务器实现对传感器控制服务器的任务监控和分配;

Web服务器:提供Web客户端网上信息的浏览服务,由于现有的监测用户数有限,采用一台Web服务器来接收用户下发的任务清单,并将传感器采集的数据呈现给用户,随着将来用户数的增多,可以扩展为多台Web服务器和Web负载均衡器;

数据库服务器:实时存储传感器采集的数据,由于数据量较大,采用数据库集群的方式实现。

本实用新型与现有技术相比具有以下有益效果:本实用新型引入多台传感器控制服务来减轻传感器控制服务的压力。同时,增加一台负载均衡服务器,用于将传感器执行任务的请求均衡的分配到各个传感器控制服务器上,从而提升各传感器控制服务器的执行效率和系统的响应能力。

附图说明

下面结合附图对本实用新型做进一步详细的说明。

图1是本实用新型的无线电监测系统的拓扑图。

图2是本实用新型的系统任务分配流程图。

图3是本实用新型的负载均衡子流程图。

具体实施方式

为使本实用新型实施例的目的、技术方案和优点更加清楚,下面将结合本实用新型实施例中的附图,对本实用新型实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本实用新型的一部分实施例,而不是全部的实施例;基于本实用新型中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本实用新型保护的范围。

如图1所示,本实用新型一种新型无线电监测大数据并发处理系统,包括:

用户:传感器任务的派发者和采集数据的观察者。可以采用台式电脑,便携式电脑、平板电脑、便携终端等设备通过Internet接入无线电监测系统

传感器:异构节点。由同一设备厂家不同型号的传感器,或者不同设备厂家的传感器构成

防火墙:作为外部网络和内部网络之间的安全屏障,强化网络安全策略,并防止内部信息的外泄

服务器交换机:连通不同的服务器,提高网络数据传输的效率

传感器控制服务器:采用多台传感器控制服务器分别控制传感器的数据收发,具体的传感器由哪台传感器控制服务器来进行控制,是由负载均衡服务器在传感器任务派发时采用负载均衡的算法动态分配的

负载均衡服务器:负责将传感器的执行任务均衡分配到各传感器控制服务器上,提升传感器控制服务器对于大数据并发处理的执行效率和系统的响应能力。同时提供灾难保障处理,一旦某传感器控制服务器出现故障,可以将该传感器控制服务器正在执行的监测任务动态分配到其它传感器控制服务器来执行。对于更加复杂的监测系统,可以提供备用负载均衡服务器,在主负载均衡服务器出现故障时,可以启用备用负载均衡服务器实现对传感器控制服务器的任务监控和分配

Web服务器:提供Web客户端网上信息的浏览服务,由于现有的监测用户数有限,采用一台Web服务器来接收用户下发的任务清单,并将传感器采集的数据呈现给用户。随着将来用户数的增多,可以扩展为多台Web服务器和Web负载均衡器。Web负载均衡不在本文档的描述范围内。

数据库服务器:实时存储传感器采集的数据,由于数据量较大,采用数据库集群的方式实现。

如图2所示,本实用新型一种新型无线电监测大数据并发处理方法流程,包括如下步骤:

(1)请求

Web服务器接收客户端发送的数据采集请求。

(2)解析请求

将客户端请求解析为不同传感器的任务。

(3)负载均衡

由负载均衡服务器根据传感器的类型与任务类型计算任务的负载。

将任务依次分配给合适的传感器控制服务器。

首先,搜索是否已经存在传感器控制服务器管理该任务相关的传感器。如果不存在,则直接将任务分配到负载最小的传感器控制服务器。

其次,如果已经存在,则判断该传感器控制服务器是否能够接受新的任务负载。如果能,则将任务分配给该传感器控制服务器。如果不能,则直接将任务分配到其他服务器中负载最小的传感器控制服务器。

最后,负载均衡服务器维护一张负载指数表来记录各个传感器控制服务器的负载。当传感器控制服务器的任务执行完毕的时候,也会请求负载均衡服务器更新此负载指数表。因此,根据这张负载指数表,可以获得负载相对较小的传感器控制服务器。

将一项新任务分配给某传感器控制服务器的时候,其负载指数也将发生变化。该传感器控制服务器也就可能不再保持负载最小。

(4)反馈结果

负载均衡服务器负责接收各传感器控制服务器的任务执行结果,合并处理之后通过Web服务器反馈给客户端。

任务分配原则:

(1)尽量不变更传感器与控制服务器之间的现有关系;切换管理传感器的控制服务器会影响任务的执行效率。

(2)尽量分配给当前负载量相对较小的控制服务器;在管理新的传感器之前,控制服务器可能已经存在要管理的传感器。

如图3所示,本实用新型中负载均衡子流程,传感器控制服务器负责管理传感器进行任务的执行。从传感器的角度来看,传感器控制服务器管理的传感器数量越多,负载也就越大。从任务的角度来看,传感器控制服务器管理的任务数量越多,负载也就越大。

另外,传感器的类型与任务的内容也是影响传感器控制服务器负载的两个非常重要的因素。

(1)相同的传感器,不同的任务。对同一类型的传感器下发不同类型的任务,传感器所上报的数据量是不同的。例如,传感器的状态信息与传感器所采集的业务数据之间数据量是有非常明显的差异的。

(2)不同的传感器,相同的任务。一般来说,不同的传感器来源于不同的制造厂家。相同的任务,不同制造商有不同的实现方式。

(3)不同的传感器,不同的任务

由于系统中异构节点的存在,其传感器控制服务器负载的极限是由传感器任务所产生的负载决定,而不是由传感器的类型来决定。因此,传感器控制服务器的负载指数能够更加精确地反应服务器所接受的负载。

负载的计算方式:

(1)负载指数

负载指数,用于指示传感器控制服务器的负载。一个传感器控制服务器的负载等于其所管理的任务的负载的总和。计算负载指数的公式如下。其中y表示负载指数,i表示第几项任务,n表示传感器控制服务器所承载的任务数,x表示任务负载指数。

(2)任务负载指数

任务负载指数,用于指示一种任务所产生的负载。即,传感器控制服务器添加一项任务所增加的负载。指数越大,增加的负载越大。计算任务负载指数的函数式如下。其中x表示任务负载指数,x1表示传感器类型,x2表示传感器执行的任务类型。

x=F(x1,x2)

一般情况下,通过具体的传感器与任务的组合来测算任务负载指数。

任务的分配原则

(1)尽量不变更传感器与控制服务器之间的现有关系;切换管理传感器的控制服务器会影响任务的执行效率。

(2)尽量分配给当前负载量相对较小的控制服务器;在管理新的传感器之前,控制服务器可能已经存在要管理的传感。

最后应说明的是:以上各实施例仅用以说明本实用新型的技术方案,而非对其限制;尽管参照前述各实施例对本实用新型进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本实用新型各实施例技术方案的范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1