一种分布式在线流处理服务系统的制作方法

技术特征：

1.一种分布式在线流处理服务系统，其用于流式处理在线数据，其特征在于包括：

流处理请求接收服务器，其通过网络接收流处理请求方发送的流处理请求；

许可与分发服务器，其与流处理请求接收服务器连接，对所述接收的流处理请求是否发出许可响应，如果许可，则向请求方发送许可的响应消息，并将所述流处理请求发送给分布式流处理服务器群，如果不允许，则向所述请求方发送拒绝的响应消息；

分布式流处理服务器群，其与许可与分发服务器连接，接收到所述许可与分发服务器发送的流处理请求，处理数据流，并将处理完成的数据流通过网络发送给所述请求方；

监视服务器，其与分布式流处理服务器群连接，监视分布式流处理服务器群的工作状态；

信息展示服务器，其与监视服务器连接，用于将所述监视服务器获取的信息予以展示；

其中，

所述流处理请求服务器接收到所述流处理请求时，根据请求的参数确定所述流处理请求的优先级，并将所述流处理器请求及其优先级发送给所述许可与分发服务器；

所述分布式流处理器服务器群至少包括二台独立的流处理服务器，所述分布式流处理器服务器群将每台流处理服务器的处理能力等级定期反馈给所述许可与分发服务器；

所述许可与分发服务器接收到所述流处理请求的优先级，基于所述优先级和所述流处理服务器的处理能力等级将所述流处理请求发送给所述分布式流处理器服务器群中的相应流处理服务器。

2.如权利要求1所述的分布式在线流处理服务系统，其特征在于：所述分布式流处理器服务器群中每一台流处理服务器的所述处理能力等级根据其处理数据流的负荷情况动态变化，其特征在于：

当所述流处理服务器负荷低于或者等于第一预定值n1时，其处理能力等级上升二级；

当所述流处理服务器负荷大于第一预定值n1时，但小于或者等于第二预定值n2时，其处理能力等级上升一级；

当所述流处理服务器负荷大于第三预定值n3，但小于或者等于第四预定值n4时，其处理能力等级下降一级；

当所述流处理服务器负荷大于第四预定值n4时，其处理能力等级下降二级；

其中，n1＜n2＜n3＜n4，所述处理能力等级的取值范围在0-5之间，0为最低等级，5为最高等级，如果取值范围超过上限时，则取上限5，如果低于下限时，则取下限0。

3.根据权利要求2所述的分布式在线流处理服务系统，其特征在于：所述流处理服务器的负荷P按照如下公式计算：

P＝流处理服务器接收的需要处理的数据的输入速度S2/流处理服务器处理数据的速度S1。

4.根据权利要求3所述的分布式在线流处理服务系统，其特征在于：当所述分布式流处理服务器群中存在至少一个重负荷流处理服务器时，所述许可与分发服务器则不再许可新的流处理请求，并通过监视服务器监视分布式流处理服务器群中的每一台流处理服务器，如果存在轻负荷流处理服务器时，则将重负荷流处理服务器处理的数据流通过拆分的方式分发给至少一台轻负荷流处理器服务器；如果不存在轻负荷流处理服务器，所述许可与分发服务器通知所述流处理请求接收服务器停止接收流处理请求，并将所述重负荷流处理服务器处理的数据流通过拆分的方式分发给流处理请求接收服务器，由流处理请求接收服务器执行流处理任务；其中，流处理服务器的流处理负荷大于第五预定值n5时，则被称为重负荷流处理服务器，流处理负荷小于等于第一预定值n1时，且处理能力等级大于3的流处理服务器，则被称为轻负荷流处理服务器；

当监视服务器监视分布式流处理服务器群中的每一台流处理服务器都为轻负荷流处理服务器时，如果所述流处理请求接收服务器处于执行流处理任务的作状态时，则通知所述流处理请求接收服务器恢复接收流处理请求，并将其承担的但未完成的流处理任务转发给分布式流处理服务器群中的负荷最轻的流处理服务器。

5.根据权利要求4所述的分布式在线流处理服务系统，其特征在于：所述流处理请求服务器接收到流处理请求时，根据请求的参数确定所述流处理请求的优先级，其中，所述请求的参数包括数据流的类型和长度，确定优先级Sp包括：

步骤(1)：计算分布式流处理服务器群的处理负荷PT，其中，M为分布式流处理服务器群中流处理服务器的总数，P_i为编号为i的流处理服务器的负荷；根据流处理服务器群的处理负荷PT确定优先级等级基数K：

K＝PT+m；其中，m为调整系数；

步骤(2)：根据所述类型确定基数A,其中，当为视频数据类型时，A＝1,当为音频数据类型时，A＝2，其他数据类型，A＝3；

步骤(3)：根据所述长度确定调整系数B，其中B＝1/L；

则优先级Sp为：

Sp＝Round(A×K+B)，其中，Round为按照四舍五入的方式取整的函数。

6.根据权利要求5所述的分布式在线流处理服务系统，其特征在于：所述许可与分发服务器接收到所述流处理请求的优先级，计算所述优先级与各流处理服务器的流处理能力等级的差值，并以所述差值的最小绝对值所对应的流处理服务器作为所述许可与分发服务器发送所述流处理请求的目标。

7.根据权利要求6所述的分布式在线流处理服务系统，其特征在于：所述n1、n2、n3、n4、n5分别为：0.2、0.5、0.7、1、1.3。

8.根据权利要求7所述的分布式在线流处理服务系统，其特征在于：所述在线数据为下述类型的任一种：视频、音频。