一种基于人工智能的数据传输异常监管系统及方法与流程

本发明涉及网络数据检测，具体为一种基于人工智能的数据传输异常监管系统及方法。

背景技术：

1、数据传输就是按照一定的规程，通过一条或者多条数据链路，将数据从数据源传输到数据终端，它的主要作用就是实现点与点之间的信息传输与交换。网络节点是指有独立地址和具有传送或接收数据功能的网络相连。网络节点可以是工作站、客户、网络用户或个人计算机，还可以是服务器、打印机和其他网络连接的设备。随着互联网技术，物联网技术等网络技术的飞速发展，网络节点不仅数量不断增多，而且承载的业务趋于多样化。在一个通信网络中，某个网络节点检测出异常数据，产生异常数据的源节点可能不是当前节点，这种异常数据的产生有一定隐蔽性，需要管理人员对节点进行深入排查。在通信网络的实际运行过程中，网络节点产生同一异常数据的原因也可能不同。因此，网络节点出现异常数据后，管理人员排查产生异常数据的原因的难度也越来越大。

2、公开号cn104993960a名称为一种网络节点故障的定位方法的中国专利提供了一种网络节点故障的定位方法。该方法采用遍历计算机网络中所有产生告警节点的方法，筛选出故障节点。若计算机网络中同时产生大量告警信息，对监管系统造成运算负担，导致排查故障节点的效率降低，大量用于遍历计算的数据进入计算机网络也会降低计算机网络的运行效率，对计算机网络造成二次破坏。

技术实现思路

1、本发明的目的在于提供一种基于人工智能的数据传输异常监管系统及方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：一种基于人工智能的数据传输异常监管方法，方法包括：

3、步骤s100：从通信网络的历史运行日志中采集各个数据传输节点的历史运行记录，将存在数据传输异常的历史运行记录记为异常传输记录，每条异常传输记录包括若干个运行参数项，将异常传输记录中各运行参数项的值归一化处理后，记入异常运传输记录集b；

4、步骤s200：对异常运传输记录集b中异常传输记录进行分类，得到若干个异常数据传输类型，提取各个异常数据传输类型影响范围的特征，得到每种异常数据传输类型影响范围的特征向量；

5、步骤s300：检测当前通信网络中的异常数据传输信息，将检测到异常传输数据的数据传输节点设置为目标节点，采集目标节点的运行数据，对所述运行数据进行分析，得到目标节点的运行数据与异常数据传输类型影响范围的对应关系，进一步得到目标节点的第一关联节点，设置各个第一关联节点的第一权重值；

6、步骤s400：提取目标节点出现异常传输数据前t时间段内的连接内容数据流信息，计算连接内容数据流的信息熵，设置节点影响阈值，计算分离信息熵，分离信息熵对应的节点设置为第二关联节点，根据与目标节点通信的信息熵大小，设置各个第二关联节点的第二权重值；

7、步骤s500：汇集第一关联节点和第二关联节点中所有节点，组成目标排查节点集合，设置风险值评估函数，计算节点风险值，给管理人员排查建议，若管理人员在目标排查节点集合中未检出产生异常数据的节点，则设置与目标节点逻辑距离最长的节点作为新目标节点，返回步骤s300中进行循环，再次给出新的排查建议。

8、进一步的，步骤s200包括：

9、步骤s201：将异常传输记录投影为空间中的点，异常传输记录中运行参数项个数对应空间维度，计算各个异常传输记录对应点之间的欧式距离；

10、步骤s202：在所述异常传输记录中评选核心数据，设置核心数据评价阈值α，核心数据评价半径r1，在异常传输记录投影的空间中，用x表示某条异常传输记录，当距x欧式距离小于r1的异常传输记录个数大于α，则设置x为核心数据，在以x为中心r1为半径的范围中所有异常传输记录构成一个异常数据传输类型；

11、在一定的范围内，出现若干个异常传输记录，说明这个范围是产生异常数据传输时，节点异常传输记录分布可能性较大的范围，比起传统对运行参数值一一对应的监管方式，通过总结历史数据的分布规律，用数据范围替代数据本身的值，可以比对出符合历史数据分布规律但与历史数据中不完全一致的数据，进一步提高监管效果；

12、步骤s203：设置核心数据影响半径r2，以核心数据为中心，r2为半径的范围设置为核心数据影响范围；

13、可以通过设置核心数据影响半径不同数值划定不同的核心数据影响范围，可以部署不同的核心数据管理策略，对异常数据传输的管理方法更加灵活；

14、步骤s204：从通信网络的运维记录中，提取发生异常数据传输后，检查出的产生异常数据的节点，所述产生异常数据的节点与所述历史运行日志对应，提取产生异常数据的节点与异常传输记录对应关系，提取核心数据对应的一个节点或多个产生异常数据节点的组合；

15、步骤s205：设置历史运行日志中一种异常数据的节点组合形式为一种异常事件，其中一个异常事件中包括k个核心数据；

16、在通信网络中一个节点或多个产生异常数据节点产生的异常数据，会对若干个数据传输节点造成影响，提取的若干种核心数据代表一个节点或多个产生异常数据节点对通信网络造成的影响；

17、步骤s206：计算所述异常事件的异常事件影响范围d，其中d＝c1∪c2∪c3∪…∪ck，分别用c1，c2，c3，…ck表示所述事件影响范围d包括的第1，第2，第3，……第k个核心数据影响范围；

18、步骤s207：汇集所有异常事件的异常影响范围，记为第一异常影响范围，计算第一异常影响范围中各个异常事件影响范围的特征向量；

19、所述特征向量为表示出各个异常事件影响范围特征的向量。

20、进一步的，步骤s300包括：

21、步骤s301：将当前检测到异常传输数据的数据传输节点设置为目标节点，采集目标节点出现异常数据传输时的运行数据，采集的运行数据至少包括一个运行参数项；

22、步骤s302：将采集到的告警运行数据归一化处理后，设置为异常传输状态向量；

23、步骤s303：将异常传输状态向量和第一异常影响总范围特征向量投影到同一维度空间，计算异常传输状态向量和第一异常影响总范围特征向量的夹角θ；

24、步骤s304：计算异常传输状态向量和第一异常影响总范围特征向量夹角的余弦函数值gcos；

25、步骤s305：提取gcos中大于0的值，记gcos中大于0的个数有u个，根据异常事件与一组产生异常数据节点的对应关系，提取所有u种异常事件对应的产生异常数据节点，记入第一关联节点v1；

26、步骤s306：设置第一关联节点v1中各个节点的第一权重值p，第一权重值为改节点所在第一异常影响总范围特征向量与运行数据向量夹角的余弦值；

27、通过计算告警运行数据向量与第一异常影响总范围特征向量夹角的余弦值可以得出运行数据向量与各个造成数据异常传输时运行参数的接近程度，向量夹角越小说明运行数据向量与对应异常事件时的运行状态约接近，通信网络中发生的该异常原因的可能性越大；

28、在向量夹角范围[0，2π]的范围内，余弦函数值单调递减，计算结果在[-1,1]的范围内，提取计算结果中大于0的部分，即提取[0,1]范围内的计算结果，这些计算结果具有归一性，有利于后续步骤中的运算，向量夹角的余弦值大于0说明运行数据向量与对应第一异常影响总范围特征向量具有一致性。

29、进一步的，步骤s400包括：

30、步骤s401：提取目标节点在产生异常传输数据告警前t时间段内的连接内容数据流信息，连接内容数据流信息包括目标节点连接内容的传输路径信息，且连接内容数据流信息包括m个参数项，其中m≥1；

31、步骤s402：设置t时间段内有向目标节点发送数据行为的节点为发送数据节点，选取连接内容数据流信息参数项中其中一个参数项，计算该项的目标节点连接内容数据流信息联合熵和各个发送数据节点的信息熵，用h(x)表示目标节点连接内容数据流中所述参数项的信息联合熵；

32、随机变量x的连续熵定义为h(x)＝-∫xf(x)lnf(x)dx，其中f(x)是随机变量x的概率密度函数，随机变量x和随机变量y的联合熵定义为h(x,y)＝-∫∫x,yf(x,y)lnf(x,y)dxdt，其中f(x,y)是随机变量x和随机变量y的联合概率密度，将与目标节点在t时间段内有过通信记录的节点作为随机变量节点，为了计算简便，认为各个随机变量节点在t时间段内与目标节点的通信行为是相互独立的，那么联合熵不小于其中任意变量的熵，h(x1,x2,x3,…,xn)≥max(h(x1),h(x2),h(x3),……h(xn))，其中用x1,x2,x3,…,xn，分别表示第1，第2，第3，……，第n个随机变量节点，h(x1),h(x2),h(x3),……h(xn)，分别表示第1，第2，第3，……，第n个随机变量节点t时间段内的信息熵；

33、步骤s403：设置节点影响阈值ω，分离出n个信息熵大于阈值ω的分离信息熵，分别用h(x1),h(x2),h(x3),……h(xn)表示第1，第2，第3，……，第n个发送数据节点发送所述参数项的分离信息熵，每个分离信息熵对应一个分离数据传输节点；

34、步骤s404：计算该连接内容数据流信息参数项的第二权重影响值f，其中其中fs表示n个发送数据节点中第s个节点的第二权重影响值，h(xs)表示第s个分离信息熵，minh(x)表示n个分离信息熵中的最小值，用maxh(x)表示n个分离信息熵中的最大值；

35、步骤s405：计算有连接内容数据流信息参数项的第二权重影响值，汇集各个分离数据传输节点的第二权重影响值，将所有存在第二权重影响值的节点汇入第二关联节点v2，将第二关联节点中各个节点的第二权重影响值归一化，得到各个第二关联节点的第二权重值q。

36、进一步的，步骤s500包括：

37、步骤s501：汇集第一关联节点v1和第二关联节点v2中各个节点，组成目标排查节点集合w，其中w＝v1∪v2，目标排查节点集合中每个目标节点对应有第一权重值，第二权重值或第一权重值和第二权重值的组合；

38、步骤s502：设置第一目标排查系数λ和第二目标排查系数μ，计算目标排查节点集合各个节点的风险值γ，其中γ＝λpw+μqw，pw为w中一个目标排查节点w对应的第一权重值，qw为w对应的第二权重值；

39、当标排查节点集合w中存在节点没有第一权重值时，将pw＝0带入公式＝λpw+μqw进行运算，当标排查节点集合w中存在节点没有第二权重值时，将qw＝0带入公式＝λpw+μqw进行运算；

40、步骤s503：设置通信网络中产生异常数据的节点为异常数据源节点，将w中各个节点风险值γ从高到低排列，根据风险值由高至低的顺序，给节点管理人员排查建议，经对应节点管理人员检查后，反馈异常数据源节点；

41、步骤s504：设置通信网络中各个节点间的逻辑距离dl，其中dl＝lmin+1，lmin表示两个节点间路径上最少节点的个数，节点与自身的逻辑距离dl＝0；

42、步骤s505：若管理人员在目标排查节点集合中未检出出现异常的源节点，则设置与目标节点逻辑距离最长的节点作为新目标节点，进入步骤s301开始循环，再次计算得到目标排查节点集合。

43、为更好实现上述方法，还提出一种基于人工智能的数据异常传输系统包括：历史运行数据预处理模块、权重值计算模块和异常的源节点排查模块，历史运行数据预处理模块用于从历史运行日志中采集各个数据传输节点历史运行数据，计算出各个异常影响范围对应的特征向量，权重值计算模块用于计算第权重值和第二权重值，数据传输节点管理模块用于对节点的风险值进行评估与排查反馈异常数据源节点。

44、进一步的，历史运行数据预处理模块包括：异常传输记录提取单元、异常数据的节点提取单元、异常传输记录分类单元、核心数据提取单元、核心数据影响范围计算单元、异常影响范围计算单元和异常影响范围特征向量计算单元，异常传输记录提取单元用于提取异常传输记录，异常数据的节点提取单元用于提取产生异常数据的节点，异常传输记录分类单元用于根据不同的异常事件对异常传输记录进行分类，核心数据提取单元用于提取核心数据，异常影响范围计算单元用于计算核心数据的异常影响范围，异常影响范围特征向量计算单元用于计算异常影响范围的特征向量。

45、进一步的，权重值计算模块包括：异常传输状态向量提取单元、向量夹夹角余弦值计算单元，第一关联节点提取单元、第一权重值计算单元、连接内容数据流信息提取单元、信息联合熵计算单元、信息熵分离单元、源节点影响阈值判定单元和第二权重值计算单元，异常传输状态向量提取单元用于生成异常传输状态向量，向量夹夹角余弦值计算单元用于计算异常传输状态向量和第一异常影响总范围特征向量夹角的余弦值，第一关联节点提取单元用于提取第一关联节点，第一权重值计算单元用于计算第一权重值，连接内容数据流信息提取单元用于提取目标节点在产生异常传输数据告警前t时间段内的连接内容数据流信息，信息联合熵计算单元用于计算连接内容数据流信息参数项的信息联合熵，信息熵分离单元用于计算发送数据节点发送参数项的分离信息熵，源节点影响阈值判定单元用于判定第二关联节点，第二权重值计算单元用于计算第二权重值。

46、进一步的，数据传输节点管理模块包括：目标排查节点提取单元、节点风险值计算单元、节点风险值排序单元、逻辑距离计算单元和异常数据源节点输出单元，目标排查节点提取单元用于提取目标排查节点，节点风险值计算单元用于计算目标排查节点的风险值，节点风险值排序单元用于对目标排查节点的风险值排序，逻辑距离计算单元用于计算数据传输节点间的逻辑距离，异常数据源节点输出单元用于输出异常数据源节点信息。

47、与现有技术相比，本发明所达到的有益效果是：本发明通过分析异常数据对通信网络各个节点造成的影响，结合产生异常数据传输前，目标节点的通信连接内容数据流信息的信息熵分量，有方向性地给产生异常数据的节点进行定位，为管理人员提供排查产生异常数据节点的参考信息，提高管理人员对通信网络运行维护的效率。