基于流式计算的移动终端流量分发系统及方法
【专利摘要】本发明涉及基于流式计算的移动终端流量分发系统及方法，流量分发系统包括流量下发任务管理模块、用于综合分析通道质量的分析模型模块以及计算框架模块，计算框架模块包括通道质量实时计算子系统，采用park Stream+Spark SQL+Hadoop框架，分析模型模块包括流量通道分析子系统；流量下发任务管理模块分别与通道质量实时计算子系统以及流量通道分析子系统连接。本发明通过对各个流量分发通道(含电信运营商、第三方平台)进行监控、数据采集，并根据多维模型算法，动态计算，得出各个通道的质量综合评分；根据质量综合评分，用于来调度或优化流量分发通道选择，并支持流量分发负载均衡以及自动容错重发，确保流量分发的成功率和及时性。
【专利说明】
基于流式计算的移动终端流量分发系统及方法
技术领域
[0001]本发明涉及移动终端流量分发方法，更具体地说是指基于流式计算的移动终端流量分发系统及该移动终端流量分发方法。【背景技术】
[0002]随着4G网络的迅猛发展，电信运营商流量后向经营已经成为趋势，同时第三方手机流量分发平台也蓬勃发展，成为电信运营商流量分发的有益补充。
[0003]目前电信运营商流量商及第三方分发平台涉及众多环节(运营商总部、分省、第三方、第三方上游等)，作为手机流量后向运营企业，对流量分发通道的管理基本上是无序的， 无法及时掌握各个流量分发通道的可用性、成功率等信息，导致流量分发成功率低、到达及时性慢，导致众多用户投诉。
[0004]目前的解决方案基本上为基于静态的调度以及人工设定流量下发通道，无法做到动态调度;并且，无法对众多流量通道进行综合评估，单一地以价格为主要衡量和使用标准，无法满足企业的特定需求。
【发明内容】
[0005]本发明的目的在于克服现有技术的缺陷，提供基于流式计算的移动终端流量分发系统及方法。
[0006]为实现上述目的，本发明采用以下技术方案:基于流式计算的移动终端流量分发系统，包括流量下发任务管理模块、分析模型模块以及计算框架模块；
[0007]所述流量下发任务管理模块用于调用所述流量下发任务管理模块内的数据的计算能力开放AP1、汇集历史数据以及下发通道；
[0008]所述分析模型模块包括流量通道分析子系统，用于管理通道质量模型、设定通道阈值、分析成功率与及时率的趋势、通道下发请求、管理通道组、管理流量下发通道管理、管理通道供应商、综合分析通道质量以及维护通道信息，所述流量通道分析子系与所述流量下发任务管理模块连接；
[0009]所述计算框架模块包括通道质量实时计算子系统，采用park Stream+Spark SQL+ Hadoop框架，所述通道质量实时计算子系统与所述流量下发任务管理模块连接。
[0010]其进一步技术方案为:还包括与所述流量下发任务管理模块连接的数据服务模块，所述数据服务模块用于处理历史流量分发记录以及通道质量数据。[〇〇11]本发明还提供了基于流式计算的移动终端流量分发方法，包括以下具体步骤:
[0012]步骤1.业务运营人员设定基础信息；
[0013]步骤2.流量下发任务管理模块可定时调度通道分析模型，进行计算准实时模型， 并保存计算结果；
[0014]步骤3.流量下发网关接收到流量下发请求后，向流量下发任务管理请求最优通道；
[0015]步骤4.流量下发任务管理模块先从本地缓存获取是否有合适的通道，如有，则进行步骤8;如无合适通道，流量下发任务管理向通道质量实时计算子系统发起实时质量模型计算请求，进行下一步骤；[0〇16] 步骤5.Kafka接收后做相应的处理后，再通过Spark Streaming分发至分布式计算；[0〇17]步骤6.Spark Streaming按预先设定的数据模型进行计算，并把计算结果保存，返回实时计算结果给流量下发任务管理模块；[〇〇18]步骤7.流量下发任务管理模块同时查询通道历史分析结果，与实时计算结果汇总后，得出最优通道；
[0019]步骤8.返回最优通道信息给流量下发网关；
[0020]步骤9.流量下发网关调度该通道，通过通道下发流量；
[0021]步骤10.流量下发网关返回流量下发结果。
[0022]其进一步技术方案为:在所述步骤1中，业务运营人员针对以往的每个流量下发通道，按多个维度和相应权重进行质量模型的重新建模，同时结合每个通道在各个维度的历史趋势，预测实时下发的可能成功率，根据通道实时综合得分=通道质量分+可能成功率， 按照通道实时综合得分从高到底，进行排序，优先选择通道实时综合得分高的通道进行流量下发，并将该信息发送到流量下发任务管理模块。
[0023]其进一步技术方案为:在所述步骤1中，根据各个流量分发上游通道的综合质量评分的同时，对通道的特征进行动态标签标示，企业在流量分发时可根据这些标签，选择合适的流量分发通道。
[0024]其进一步技术方案为:所述质量模型包括通道成功率、通道及时性、通道价格、通道稳定性等多个维度，业务运营人员对建立多个所述维度后，并设定不同的权重。
[0025]其进一步技术方案为:所述步骤2中，流量下发任务管理模块根据业务运营人员发送的质量模型，触发计算或分析请求，向流量通道分析子系统请求准实时模型分析，流量通道分析子系统根据质量模型预处理历史数据，并进行准实时模型分析，将该计算结构保存在流量通道分析子系统内。
[0026]其进一步技术方案为:所述步骤3中，流量下发网关接收到CP流量下发请求后，发送下发通道选择请求到流量下发任务管理模块。
[0027]其进一步技术方案为:在所述步骤4中，流量下发任务管理模块接收到下发通道选择请求后，利用最新本地缓存或最近使用原则进行通道预处理，若有合适的通道，则返回最优通道到流量下发网关，流量下发网关调度该通道，调度该通道，通过通道下发流量，并且返回下发结果。
[0028]其进一步技术方案为:所述步骤7中，流量下发任务管理模块向流量通道分析子系统提出获取通道历史分析及趋势的请求，流量通道分析子系统将最新的通道历史分析及趋势发送到流量下发任务管理模块，流量下发任务管理模块将该通道历史分析及趋势结构与通道质量实时计算子系统发送的实时质量模型计算结果汇总后，得出最优通道。
[0029]本发明与现有技术相比的有益效果是:本发明的基于流式计算的移动终端流量分发系统，通过设置流量通道分析子系统以及通道质量实时计算子系统，通道质量实时计算子系统采用park Stream+Spark SQL+Hadoop框架，对各个流量分发通道(含电信运营商、第三方平台)进行监控、数据采集，并根据多维模型算法，动态计算，得出各个通道的质量综合评分;根据质量综合评分，用于来调度或优化流量分发通道选择，并支持流量分发负载均衡以及自动容错重发，确保流量分发的成功率和及时性。
[0030]下面结合附图和具体实施例对本发明作进一步描述。【附图说明】[0031 ]图1为本发明具体实施例提供的质量模型的结构示意图；[0〇32]图2为本发明具体实施例提供的基于Spark Stream流式计算流程框图；
[0033]图3为本发明具体实施例提供的基于流式计算的移动终端流量分发方法的模块框图；
[0034]图4为为本发明具体实施例提供的基于流式计算的移动终端流量分发方法的流程框图。
[0035]附图标记[〇〇36]10流量下发任务管理模块20分析模型模块[〇〇37] 30计算框架模块40数据服务模块【具体实施方式】
[0038]为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。
[0039]如图1?4所示的具体实施例，本实施例提供的基于流式计算的移动终端流量分发系统，可以运用在电信运营商流量分发过程中，实现对手机流量分发的动态调度。
[0040]基于流式计算的移动终端流量分发系统，包括流量下发任务管理模块10、分析模型模块20以及计算框架模块30;其中，流量下发任务管理模块10用于计算能力开放AP1、汇集历史数据以及下发通道，计算能力开放API有利于调用流量下发任务管理模块10内的数据;分析模型模块20包括流量通道分析子系统，用于管理通道质量模型、设定通道阈值、分析成功率与及时率的趋势、通道下发请求、管理通道组、管理流量下发通道管理、管理通道供应商、综合分析通道质量以及维护通道信息;计算框架模块30包括通道质量实时计算子系统，采用park Stream+Spark SQL+Hadoop框架，即流式计算、通道历史分析以及实时消息系统的计算;流量下发任务管理模块10分别与通道质量实时计算子系统以及流量通道分析子系统连接。
[0041]业务运营人员针对每个流量下发通道，进行通道质量模型的建模，流量下发任务管理模块10接收到该通道质量模型后，缓存该模型，并根据该模型，触发计算/分析请求，请求流量通道分析子系统进行对应处理，且保存准实时模型分析后的结果；当CP流量下发请求，流量下发任务管理模块10接收到下发通道选择请求后，进行通道预处理，如果有对应地通道，即返回最优通道；如果没有，流量下发任务管理模块10会发送实时质量模型计算请求，通道质量实时计算子系统接收该请求后由Kafka处理计算请求，并通过Spark Streaming分发至分布式计算，该实时计算结构返回到流量下发任务管理模块10,流量下发任务管理模块10发送信号到流量通道分析子系统处获取最近保存的准实时模型分析结构， 即获取通道历史分析结构以及趋势，汇总实时计算结构以及历史分析结果，得出最优通道后返回，通过通道下发流量。
[0042]上述的基于流式计算的移动终端流量分发系统，通过设置流量通道分析子系统以及通道质量实时计算子系统，通道质量实时计算子系统采用park Stream+Spark SQL+ Hadoop框架，对各个流量分发通道(含电信运营商、第三方平台)进行监控、数据采集，并根据多维模型算法，动态计算，得出各个通道的质量综合评分;根据质量综合评分，用于来调度或优化流量分发通道选择，并支持流量分发负载均衡以及自动容错重发，确保流量分发的成功率和及时性。[〇〇43]在本实施例中，基于流式计算的移动终端流量分发系统还包括数据服务模块40， 上述的数据服务模块40用于处理历史流量分发记录以及通道质量数据，数据服务模块40与流量下发任务管理模块10连接。
[0044]本发明还提供了基于流式计算的移动终端流量分发方法，包括以下具体步骤:
[0045]步骤1.业务运营人员设定基础信息；
[0046]步骤2.流量下发任务管理模块10可定时调度通道分析模型，进行计算准实时模型，并保存计算结果；
[0047]步骤3.流量下发网关(FSCG)接收到流量下发请求后，向流量下发任务管理请求最优通道；[〇〇48]步骤4.流量下发任务管理模块先从本地缓存获取是否有合适的通道，如有，则进行步骤8;如无合适通道，流量下发任务管理向通道质量实时计算子系统发起实时质量模型计算请求，进行下一步骤；[0〇49] 步骤5.Kafka接收后做相应的处理后，再通过Spark Streaming分发至分布式计算；[0〇5〇] 步骤6.Spark Streaming按预先设定的数据模型进行计算，并把计算结果保存，返回实时计算结果给流量下发任务管理模块10;[〇〇51]步骤7.流量下发任务管理模块10同时查询通道历史分析结果，与实时计算结果汇总后，得出最优通道；
[0052]步骤8.返回最优通道信息给流量下发网关；[〇〇53]步骤9.流量下发网关调度该通道，通过通道下发流量；
[0054] 步骤10.流量下发网关返回流量下发结果。
[0055]在本实施例中，上述步骤1中的基础信息包括质量模型、通道组划分、阈值等。
[0056]更进一步的，在步骤1中，业务运营人员针对以往的每个流量下发通道，按多个维度和相应权重进行质量模型的重新建模，同时结合每个通道在各个维度的历史趋势，预测实时下发的可能成功率，根据通道实时综合得分=通道质量分+可能成功率，按照通道实时综合得分从高到底，进行排序，优先选择通道实时综合得分高的通道进行流量下发，并将该信息发送到流量下发任务管理模块10。
[0057]具体地，在步骤1中，根据各个流量分发上游通道的综合质量评分的同时，对通道的特征进行动态标签标示(打标)，比如:成功率高、到达快等特征标签，企业在流量分发时， 可根据这些标签，选择合适的流量分发通道。
[0058]另外，上述的质量模型包括通道成功率(总体成功率、最近10分钟、30分钟、1小时、 3小时成功率)、通道及时性(最近1个小时内，15分钟完成回调的记录占比)、通道价格、通道稳定性(当月维护时长、次数总体占比)等多个维度，业务运营人员对建立上述多个维度后， 并设定不同的权重。
[0059]更进一步的，步骤2中，流量下发任务管理模块10根据业务运营人员发送的质量模型，触发计算或分析请求，向流量通道分析子系统请求准实时模型分析，流量通道分析子系统根据质量模型预处理历史数据，并进行准实时模型分析，将该计算结构保存在流量通道分析子系统内。
[0060]具体地，步骤3中，流量下发网关接收到CP流量下发请求后，发送下发通道选择请求到流量下发任务管理模块10。
[0061]在步骤4中，流量下发任务管理模块10接收到下发通道选择请求后，利用最新本地缓存或最近使用原则进行通道预处理，若有合适的通道，则返回最优通道到流量下发网关， 流量下发网关调度该通道，调度该通道，通过通道下发流量，并且返回下发结果。[〇〇62]更进一步的，步骤7中，流量下发任务管理模块10向流量通道分析子系统提出获取通道历史分析及趋势的请求，流量通道分析子系统将最新的通道历史分析及趋势发送到流量下发任务管理模块10,流量下发任务管理模块10将该通道历史分析及趋势结构与通道质量实时计算子系统发送的实时质量模型计算结果汇总后，得出最优通道。
[0063]基于历史数据分析的计算可准实时(比如:每个一小时、每天)，实时计算需要在1 秒之内完成计算，并结合历史数据，得出最优下发通道。采用基于Spark Stream大数据技术，结合准实时和实时数据，实时对每一条下发记录进行动态路由选择。[〇〇64]当每个流量下发均有一定的峰值，在业务量突然大增，突破流量分发通道处理峰值的情况下，本发明采用相似的通道质量评分的多个通道，同步下发，流量分发支持负载均衡和容错(HA)。[〇〇65]由于流量下发任务管理模块10内的最优通道数据会不断被更新，因此，对于质量模型是处于动态状态的。
[0066]本发明根据相应的质量模型，对流量分发上游通道(含运营商、第三方平台)，定期按照成本价格、省份归属、成功率、及时性(分30秒、3/15/30分钟、3/8/24小时几档)、稳定性 (维护时长)等多个维度，结合相应的权重，采用多维模型算法，综合得出各个流量分发上游通道的质量评分。进行分类分级管理。通道质量评分作为流量分发时，通道选择的重要依据。同时，在流量下发的过程中，也同步地根据质量模型，动态计算对应通道的综合质量评分。
[0067]上述仅以实施例来进一步说明本发明的技术内容，以便于读者更容易理解，但不代表本发明的实施方式仅限于此，任何依本发明所做的技术延伸或再创造，均受本发明的保护。本发明的保护范围以权利要求书为准。
【主权项】
1.基于流式计算的移动终端流量分发系统，其特征在于，包括流量下发任务管理模块、 分析模型模块以及计算框架模块；所述流量下发任务管理模块用于调用所述流量下发任务管理模块内的数据的计算能 力开放AP1、汇集历史数据以及下发通道；所述分析模型模块包括流量通道分析子系统，用于管理通道质量模型、设定通道阈值、 分析成功率与及时率的趋势、通道下发请求、管理通道组、管理流量下发通道管理、管理通 道供应商、综合分析通道质量以及维护通道信息，所述流量通道分析子系与所述流量下发 任务管理模块连接；所述计算框架模块包括通道质量实时计算子系统，采用park Stream+Spark SQL+ Hadoop框架，所述通道质量实时计算子系统与所述流量下发任务管理模块连接。2.根据权利要求1所述的基于流式计算的移动终端流量分发系统，其特征在于，还包括 与所述流量下发任务管理模块连接的数据服务模块，所述数据服务模块用于处理历史流量 分发记录以及通道质量数据。3.基于流式计算动态质量模型的手机流量分发方法，其特征在于，包括以下具体步骤:步骤1.业务运营人员设定基础信息；步骤2.流量下发任务管理模块可定时调度通道分析模型，进行计算准实时模型，并保 存计算结果；步骤3.流量下发网关接收到流量下发请求后，向流量下发任务管理请求最优通道；步骤4.流量下发任务管理模块先从本地缓存获取是否有合适的通道，如有，则进行步 骤8;如无合适通道，流量下发任务管理向通道质量实时计算子系统发起实时质量模型计算 请求，进行下一步骤；步骤5.Kafka接收后做相应的处理后，再通过Spark Streaming分发至分布式计算；步骤6.Spark Streaming按预先设定的数据模型进行计算，并把计算结果保存，返回实 时计算结果给流量下发任务管理模块；步骤7.流量下发任务管理模块同时查询通道历史分析结果，与实时计算结果汇总后， 得出最优通道；步骤8.返回最优通道信息给流量下发网关；步骤9.流量下发网关调度该通道，通过通道下发流量；步骤10.流量下发网关返回流量下发结果。4.根据权利要求3所述的基于流式计算动态质量模型的手机流量分发方法，其特征在 于，在所述步骤1中，业务运营人员针对以往的每个流量下发通道，按多个维度和相应权重 进行质量模型的重新建模，同时结合每个通道在各个维度的历史趋势，预测实时下发的可 能成功率，根据通道实时综合得分=通道质量分+可能成功率，按照通道实时综合得分从高 到底，进行排序，优先选择通道实时综合得分高的通道进行流量下发，并将该信息发送到流 量下发任务管理模块。5.根据权利要求4所述的基于流式计算动态质量模型的手机流量分发方法，其特征在 于，在所述步骤1中，根据各个流量分发上游通道的综合质量评分的同时，对通道的特征进 行动态标签标示，企业在流量分发时可根据这些标签，选择合适的流量分发通道。6.根据权利要求4所述的基于流式计算动态质量模型的手机流量分发方法，其特征在于，所述质量模型包括通道成功率、通道及时性、通道价格、通道稳定性等多个维度，业务运 营人员对建立多个所述维度后，并设定不同的权重。7.根据权利要求3所述的基于流式计算动态质量模型的手机流量分发方法，其特征在 于，所述步骤2中，流量下发任务管理模块根据业务运营人员发送的质量模型，触发计算或 分析请求，向流量通道分析子系统请求准实时模型分析，流量通道分析子系统根据质量模 型预处理历史数据，并进行准实时模型分析，将该计算结构保存在流量通道分析子系统内。8.根据权利要求3所述的基于流式计算动态质量模型的手机流量分发方法，其特征在 于，所述步骤3中，流量下发网关接收到CP流量下发请求后，发送下发通道选择请求到流量 下发任务管理模块。9.根据权利要求3所述的基于流式计算动态质量模型的手机流量分发方法，其特征在 于，在所述步骤4中，流量下发任务管理模块接收到下发通道选择请求后，利用最新本地缓 存或最近使用原则进行通道预处理，若有合适的通道，则返回最优通道到流量下发网关，流 量下发网关调度该通道，调度该通道，通过通道下发流量，并且返回下发结果。10.根据权利要求3至9任一项所述的基于流式计算动态质量模型的手机流量分发方 法，其特征在于，所述步骤7中，流量下发任务管理模块向流量通道分析子系统提出获取通 道历史分析及趋势的请求，流量通道分析子系统将最新的通道历史分析及趋势发送到流量 下发任务管理模块，流量下发任务管理模块将该通道历史分析及趋势结构与通道质量实时 计算子系统发送的实时质量模型计算结果汇总后，得出最优通道。
【文档编号】H04L12/803GK105959233SQ201610260270
【公开日】2016年9月21日
【申请日】2016年4月25日
【发明人】王巍, 陈华权, 陈珑, 庄儒海
【申请人】深圳市威宇智通科技有限公司