一种大数据实时监控系统及方法与流程

本发明涉及数据分析，尤其是一种大数据实时监控系统及方法。

背景技术：

1、大数据需要新处理模式才能具有更强的洞察发现力、决策力和流程优化能力，以此来适应高增长率、海量和多样化的信息资产。大数据具有数据规模巨大、数据类型多样、数据流转快速和价值密度低四大特征。在大数据监控分析方面已经有许多可以利用的算法。目前在大数据监控系统使用时，运用fnn神经网络算法能够较好地克服主观性对评价结果的影响，因为fnn神经网络本身具有非线性变换和自我调节学习的能力，但fnn神经网络算法容易出现局部极小值的问题，以遗传算法(ga)优化fnn神经网络参数，可以提高fnn神经网络的精度，但会出现在最优解附近摇摆不定的现象；用粒子群优化fnn神经网络权值和阈值，可以较准确地找到全局最优值，但在数据量庞大的情况下又难以满足高效运算的要求。

技术实现思路

1、本发明的目的是通过提出一种大数据实时监控系统及方法，以解决上述背景技术中提出的缺陷。故本发明将大数据监控系统与神经网络相结合，通过优化蜻蜒算法优化fnn神经网络的参数，能够快速处理大量数据，满足全局和局部的同时优化，实现对大数据实时监控结果更加准确，进而提升系统性能。

2、本发明采用的技术方案如下：

3、提供一种大数据实时监控系统，包括：

4、监控采集处理模块：用于实时监控和采集大数据，并对采集的大数据进行处理；

5、处理模型搭建模块：用于搭建大数据运行系统的fnn神经网络并进行参数寻优；

6、大数据检测模块：用于通过参数优化后的fnn神经网络对大数据特征数据进行检测；

7、异常告警模块：用于根据所述大数据检测模块检测出现异常的大数据特征数据进行告警。

8、作为本发明的一种优选技术方案：所述模型搭建模块基于获取的大数据特征数据搭建fnn神经网络并基于优化蜻蜒算法对fnn神经网络中的输入层、隐藏层和输出层之间的权重和阈值进行寻优。

9、作为本发明的一种优选技术方案：所述优化蜻蜒算法如下：

10、xi(t+1)＝xi(t)+δxi(t+1)

11、δxi(t+1)＝[aai(t)+bbi(t)+cci(t)+ddi(t)+eei(t)]+αδxi(t)

12、其中，xi(t+1)表示第t+1次迭代蜻蜒i的位置，xi(t)表示第t次迭代蜻蜒i的位置，δxi(t+1)表示第t+1次迭代蜻蜒i的移动步长，α表示惯性权重系数，δxi(t)表示第t次迭代蜻蜒i的移动步长，ai(t)表示第t次迭代蜻蜒i分离度，bi(t)表示第t次迭代蜻蜒i对齐速度，ci(t)表示第t次迭代蜻蜒i聚拢度，di(t)表示第t次迭代蜻蜒i觅食能力，ei(t)表示第t次迭代蜻蜒i避敌能力，a、b、c、d、e分别为对应五种行为的权重；

13、ai(t)、bi(t)、ci(t)、di(t)、ei(t)满足：

14、

15、

16、

17、di(t)＝x+(t)-xi(t)

18、ei(t)＝x-(t)-xi(t)

19、其中，xj(t)表示第t次迭代蜻蜒i的相邻蜻蜓j的位置，n表示蜻蜒总数；vj(t)表示第t次迭代蜻蜒i的相邻蜻蜓j的速度；x+(t)表示第t次迭代食物的位置；x-(t)表示第t次迭代天敌的位置；

20、当xi(t)周围没有临近个体时，xi(t)采用随机游走行为进行更新：

21、

22、其中，r1、r2为(0，1)之间的随机数，f为常数，σ为阶乘函数，且σ(f)＝f！，

23、作为本发明的一种优选技术方案：所述监控采集处理模块还对采集的大数据进行数据清洗和数据归一化处理，以及对处理后的大数据进行特征提取。

24、作为本发明的一种优选技术方案：所述优化蜻蜒算法中，设定权重b＝c，对权重b和c进行如下的动态调整：

25、

26、

27、

28、

29、其中，b′和c′表示权重b和权重c动态调整前对应的权重，β1、β2和β3表示控制系数，bmax和bmin表示权重b′最大值和最小值，cmax和cmin示权重c′最大值和最小值，t表示最大迭代次数。

30、作为本发明的一种优选技术方案：所述处理模型搭建模块中，对大数据运行系统中的各节点均建立fnn神经网络结构，并采用优化蜻蜒算法对各节点的fnn神经网络结构进行优化。

31、作为本发明的一种优选技术方案：所述大数据检测模块基于fnn神经网络的检测函数g(x)对输入的大数据特征神经进行检测：

32、

33、其中，qi表示与第k层节点相连接的第k-1层节点的集合，j表示与第k层节点相连接的第k-1层节点，表示输入层的第i个点的第j个输入的大数据特征数据，表示第k层高斯隶属函数的均值和方差。

34、作为本发明的一种优选技术方案：所述异常告警模块根据所述大数据检测模块的检测函数的检测值划分一级警戒阈值、二级警戒阈值和三级警戒阈值。

35、作为本发明的一种优选技术方案：所述异常告警模块还根据所述大数据检测模块中的实际检测函数的检测值与划分一级警戒阈值、二级警戒阈值和三级警戒阈值的大小关系发出告警或发出不同级别告警。

36、提供一种大数据实时监控方法，包括如下步骤：

37、s1：实时监控采集大数据；

38、s2：对采集的大数据进行预处理；

39、s3：对预处理后的大数据进行特征提取；

40、s4：搭建大数据运行系统的fnn神经网络并进行参数寻优；

41、s5：通过参数优化后的fnn神经网络对大数据特征数据进行检测；

42、s6：根据检测出现的异常的大数据特征数据进行告警。

43、本发明提供的一种大数据实时监控系统及方法，与现有技术相比，其有益效果有：

44、本发明通过搭建大数据的fnn神经网络，通过优化蜻蜒算法对fnn神经网络的参数进行寻优，能够满足全局和局部同时优化的要求，基于对蜻蜒算法的部分权重因子进行动态调整以提升算法收敛性能，能够提高参数寻优效率，还能够快速处理大量数据，提高运算速度，为检修人员争取最佳检修时间，降低大数据运行系统的受损程度。

技术特征：

1.一种大数据实时监控系统，其特征在于：包括：

2.根据权利要求1所述的一种大数据实时监控系统，其特征在于：所述监控采集处理模块(100)还对采集的大数据进行数据清洗和数据归一化处理，以及对处理后的大数据进行特征提取。

3.根据权利要求1所述的一种大数据实时监控系统，其特征在于：所述优化蜻蜓算法中，设定权重b＝c，对权重b和c进行如下的动态调整：

4.根据权利要求3所述的一种大数据实时监控系统，其特征在于：所述处理模型搭建模块(200)中，对大数据运行系统中的各节点均建立fnn神经网络结构，并采用优化蜻蜓算法对各节点的fnn神经网络结构进行优化。

5.根据权利要求1所述的一种大数据实时监控系统，其特征在于：所述大数据检测模块(300)基于fnn神经网络的检测函数g(x)对输入的大数据特征数据进行检测：

6.根据权利要求5所述的一种大数据实时监控系统，其特征在于：所述异常告警模块(400)根据所述大数据检测模块(300)的检测函数的检测值划分一级警戒阈值、二级警戒阈值和三级警戒阈值。

7.根据权利要求6所述的一种大数据实时监控系统，其特征在于：所述异常告警模块(400)还根据所述大数据检测模块(300)中的实际检测函数的检测值与划分一级警戒阈值、二级警戒阈值和三级警戒阈值的大小关系发出告警或发出不同级别告警。

8.一种大数据实时监控方法，基于权利要求1-7任意一项所述的一种大数据实时监控系统，其特征在于：包括如下步骤：

技术总结
本发明涉及数据分析技术领域，尤其为一种大数据实时监控系统及方法，包括：监控采集处理模块：用于实时监控和采集大数据，并对采集的大数据进行处理；处理模型搭建模块：用于搭建大数据运行系统的FNN神经网络并进行参数寻优；大数据检测模块：用于通过参数优化后的FNN神经网络对大数据特征数据进行检测；异常告警模块：用于根据所述大数据检测模块检测出现异常的大数据特征数据进行告警。本发明通过搭建大数据的FNN神经网络，通过优化蜻蜓算法对其参数进行寻优，基于对蜻蜓算法的部分权重因子进行动态调整，提高参数寻优效率，为检修人员争取最佳检修时间，降低大数据运行系统的受损程度。

技术研发人员：陈鹏,花强,孙轩晖
受保护的技术使用者：常州易宝网络服务有限公司
技术研发日：
技术公布日：2024/1/14