一种基于大数据的数据流量管控方法及系统与流程

本发明涉及流量管控，具体是一种基于大数据的数据流量管控方法及系统。

背景技术：

1、设备在运行过程中需要利用网络来传输数据，网络拥塞这一异常情况是引发流量管控的主要原因之一，出现网络拥塞的原因可能是大量设备同时连接了同一个网络节点，即大量设备使用网络，会导致数据传输十分拥挤，从而容易造成数据传输的延迟和丢失，除此之外，若部分设备出现运行同一程序且在程序运行过程中传输大数据量的数据，也会容易造成网络拥塞，因此，在未判断网络拥塞原因的前提下随机选择不当的流量管控方式来进行数据流量管控，可能会使得与造成网络拥塞无关的设备传输数据时受到无端影响，不利于减少数据流量管控造成的负面影响。

2、所以，人们急需一种基于大数据的数据流量管控方法及系统来解决上述技术问题。

技术实现思路

1、本发明的目的在于提供一种基于大数据的数据流量管控方法及系统，以解决现有技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于大数据的数据流量管控系统，包括：流量参数采集模块、流量参数分析模块、参考模型建立模块和数据流量管控模块；

3、所述流量参数采集模块的输出端连接所述流量参数分析模块的输入端，所述流量参数分析模块的输出端连接所述参考模型建立模块的输入端，所述参考模型建立模块的输出端连接所述数据流量管控模块的输入端；

4、所述流量参数采集模块用于采集设备连接历史信息、设备运行历史信息以及设备传输数据时的历史异常数据；

5、所述流量参数分析模块用于分析以往需要选择不同管控方式进行数据流量管控时的参考样本数据；

6、所述参考模型建立模块用于依据参考样本数据建立需要选择不同管控方式进行数据流量管控的选择参考模型；

7、所述数据流量管控模块用于代入当前设备数据至模型中，依据输出结果选择不同的管控方式进行当前的数据流量管控。

8、进一步的，所述流量参数采集模块包括连接数据采集单元、运行数据采集单元和历史异常数据采集单元；

9、所述连接数据采集单元用于采集以往出现过同时连接同一网络节点的设备数量信息；

10、所述运行数据采集单元用于采集以往同时运行同一程序的设备数量以及运行数据量信息；

11、所述历史异常数据采集单元用于采集以往相同数量的设备同时连接同一网络节点时，出现网络拥堵的次数；

12、所述历史异常数据采集单元还用于采集以往出现不同运行情况时网络拥堵的次数，不同运行情况表示同时运行同一程序的设备数量不同且运行数据量不同的情况。

13、进一步的，所述流量参数分析模块包括第一概率分析单元、负载系数分析单元和第二概率分析单元；

14、所述第一概率分析单元的输入端连接所述连接数据采集单元和历史异常数据采集单元的输出端，所述负载系数分析单元的输入端连接所述运行数据采集单元的输出端，所述第二概率分析单元的输入端连接所述负载系数分析单元和历史异常数据采集单元的输出端；

15、所述第一概率分析单元用于将以往相同数量的设备同时连接同一网络节点时出现网络拥堵的次数除以相同数量的设备同时连接同一网络节点的总次数，得到因设备同时连接同一网络节点导致数据传输异常的第一概率；

16、所述负载系数分析单元用于依据以往同时运行同一程序的设备数量以及运行数据量信息分析设备传输数据时的负载系数；

17、所述第二概率分析单元用于分析不同负载系数下对应的因设备同时运行同一程序导致数据传输异常的第二概率。

18、进一步的，所述参考模型建立模块包括第一模型建立单元和第二模型建立单元；

19、所述第一模型建立单元的输入端连接所述第一概率分析单元的输出端，所述第二模型建立单元的输入端连接所述第二概率分析单元的输出端；

20、所述第一模型建立单元用于建立因设备同时连接同一网络节点导致数据传输异常的概率分析第一模型；

21、所述第二模型建立单元用于建立用于因设备同时运行同一程序导致数据传输异常的概率分析第二模型。

22、进一步的，所述数据流量管控模块包括数据输入单元和管控方式选择单元；

23、所述数据输入单元连接所述第一模型建立单元和第二模型建立单元的输出端，所述数据输入单元的输出端连接所述管控方式选择单元的输入端；

24、所述数据输入单元用于获取当前情况下同时连接同一网络节点的设备数量，将设备数量代入概率分析第一模型后预测当前因设备同时连接同一网络节点导致数据传输异常的第一概率，获取当前情况下运行同一程序的设备传输数据时的负载系数，将负载系数代入概率分析第二模型后预测当前因设备同时运行同一程序导致数据传输异常的第二概率；

25、所述管控方式选择单元用于比较预测得到的第一概率和第二概率：若第一概率大于第二概率，选择整体管控方式来进行数据流量管控：限制当前同时连接同一网络节点的设备传输数据的带宽；若第一概率小于第二概率，选择局部管控方式来进行数据流量管控：对当前运行同一程序的设备传输数据的流量进行限制；若第一概率等于第二概率，任意选择一种管控方式来进行数据流量管控。

26、一种基于大数据的数据流量管控方法，包括以下步骤：

27、s1：采集设备连接历史信息、设备运行历史信息以及设备传输数据时的历史异常数据；

28、s2：分析以往需要选择不同管控方式进行数据流量管控时的参考样本数据；

29、s3：依据参考样本数据建立需要选择不同管控方式进行数据流量管控的选择参考模型；

30、s4：代入当前设备数据至模型中，依据输出结果选择不同的管控方式进行当前的数据流量管控。

31、进一步的，在s1中：采集到以往出现过同时连接同一网络节点的设备数量集合为j={j1，j2，…，jm}，其中，m表示以往出现过设备同时连接同一网络节点的次数，采集到以往同时运行同一程序的设备数量集合为k={k1，k2，…，kf}，其中，f表示以往出现设备同时运行同一程序的次数，获取到随机一次出现设备同时运行同一程序时，每个设备在运行程序过程中传输的数据量集合为b={b1，b2，…，bn}，采集到以往共有r次同时连接同一网络节点的设备数量为j1，同时连接同一网络节点的设备数量为j1时出现网络拥堵的次数为r，根据公式得到随机一次出现设备同时运行同一程序时的运行数据量bi，通过相同计算方式得到以往f次出现设备同时运行同一程序时的运行数据量集合为b={b1，b2，…，bi，…，bf}，其中，bj表示随机一次出现设备同时运行同一程序时，第j个设备在运行程序过程中传输的数据量，n表示随机一次出现设备同时运行同一程序时，运行同一程序的设备数量，采集到同时运行同一程序的设备数量为k1且运行数据量为b1时网络拥堵的次数为n1，得到以往出现不同运行情况时网络拥堵的次数集合为n={n1，n2，…，nf}；

32、通过大数据技术采集以往数据传输异常，即网络拥堵时的历史数据，网络拥堵的原因可能是多个设备同时连接了同一网络节点，也可能是部分设备同时运行了同一个程序使得传输的数据量过大，若网络拥堵的原因是部分设备同时运行了同一个程序使得传输的数据量过大，那么采取整体管控方式，即对所有设备传输数据的带宽进行限制显然是不当的，会导致除部分因运行大数据量程序导致网络拥堵的设备外的其余设备数据传输无故受到影响，通过采集历史数据来判断以往因不同原因导致网络拥堵的概率数据，将其作为判断数据，有利于为后续结合实际情况选择恰当的流量管控方式提供更加准确的参考依据。

33、进一步的，在s2中：得到同时连接同一网络节点的设备数量为j1时，因设备同时连接同一网络节点导致数据传输异常的第一概率为p1，，通过相同计算方式计算得到同时连接同一网络节点的设备数量为集合j中的不同设备数量时，因设备同时连接同一网络节点导致数据传输异常的第一概率集合为p={p1，p2，…，pm}，根据公式计算得到在同时运行同一程序的设备数量k1且运行数据量b1的运行情况下，设备传输数据时的负载系数为w1，通过相同方式计算得到不同运行情况下设备传输数据时的负载系数集合为w={w1，w2，…，wf}，得到不同负载系数下对应的因设备同时运行同一程序导致数据传输异常的第二概率集合为p={p1，p2，…，pf}，其中，，p1表示负载系数w1对应的因设备同时运行同一程序导致数据传输异常的第二概率，即运行情况为同时运行同一程序的设备数量k1且运行数据量b1时对应的因设备同时运行同一程序导致数据传输异常的第二概率，，生成第一参考样本为{（j1，p1），（j2，p2），…，（jm，pm）}，第二参考样本为{（w1，p1），（w2，p2），…，（wf，pf）}。

34、进一步的，在s3中：分别对第一参考样本和第二参考样本进行数据拟合，建立因设备同时连接同一网络节点导致数据传输异常的概率分析第一模型：，建立因设备同时运行同一程序导致数据传输异常的概率分析第二模型：，其中，和表示概率分析第一模型的拟合系数，和表示概率分析第二模型的拟合系数，根据下列公式分别求解和：

35、；

36、；

37、其中，je表示集合j内的第e项元素，pe表示同时连接同一网络节点的设备数量为je时因设备同时连接同一网络节点导致数据传输异常的第一概率，和的求解方式分别与和的求解方式相同：，。

38、进一步的，在s4中：获取到当前同时连接同一网络节点的设备数量为l，当前运行同一程序的设备传输数据时的负载系数g，将l和g分别代入概率分析第一模型和概率分析第二模型中：令x=l、x=g，预测得到当前因设备同时连接同一网络节点导致数据传输异常的第一概率为：，预测得到当前因设备同时运行同一程序导致数据传输异常的第二概率为：，比较和：若，选择整体管控方式来进行数据流量管控：限制当前同时连接同一网络节点的设备传输数据的带宽；若，选择局部管控方式来进行数据流量管控：对当前运行同一程序的设备传输数据的流量进行限制；若，从整体管控方式和局部管控方式中任意选择一种管控方式来进行数据流量管控；

39、依据采集到的历史数据生成不同原因导致网络拥堵这一异常情况的参考样本数据，通过将参考样本进行数据拟合的方式建立不同原因导致网络拥堵异常情况的概率分析模型，将当前的实际数据代入两个概率分析模块中，预测当前出现网络拥堵的原因，从而有利于帮助选择恰当的流量管控方式进行数据流量管控，选择恰当的流量管控方式既能够有效地解决网络拥堵的问题，同时也能减少因不当管控方式造成对其余与造成网络拥堵异常情况无关的设备无故受到影响的概率，在利用数据流量管控解决异常情况的前提下降低了数据流量管控的牵连影响效应。

40、与现有技术相比，本发明的有益效果是：

41、通过大数据技术采集以往数据传输异常，即网络拥堵时的历史数据，依据历史数据来判断以往因不同原因导致网络拥堵的概率数据，将其作为判断数据，有利于为后续结合实际情况选择恰当的流量管控方式提供更加准确的参考依据；

42、依据采集到的历史数据生成不同原因导致网络拥堵这一异常情况的参考样本数据，通过将参考样本进行数据拟合的方式建立不同原因导致网络拥堵异常情况的概率分析模型，将当前的实际数据代入两个概率分析模块中，预测当前出现网络拥堵的原因，从而有利于帮助选择恰当的流量管控方式进行数据流量管控，选择恰当的流量管控方式既能够有效地解决网络拥堵的问题，同时也能减少因不当管控方式造成对其余与造成网络拥堵异常情况无关的设备无故受到影响的概率，在利用数据流量管控解决异常情况的前提下降低了数据流量管控的牵连影响效应。