基于镜像转发的流量数据处理方法及系统与流程

本发明涉及流量数据处理，尤其涉及一种基于镜像转发的流量数据处理方法及系统。

背景技术：

1、随着对网络安全合法要求的重视，越来越多的流量审计场景开始出现，如何实现对流量数据进行高效的合法审计成为了重要的技术难题。现有技术中，为了实现流量信息的审计，一般会把业务流量通过本地通信链路传输至本地的审计设备进行分析审计。由于部分流量审计设备成本过高，大部分企业资金只能采购少量审计设备进行审计，因此本地部署审计系统比较合理。

2、但目前存在需要统一对多个区域的流量进行统一审计管理的需求，现有技术中本地部署审计系统的思路显然不理想，而若做多重镜像转发到异地区域，则会加重交换机压力，存在路由配置难度大的问题，因此显然现有技术实现的流量数据审计方案的效果和扩展性有所欠缺。可见，现有技术存在缺陷，亟需解决。

技术实现思路

1、本发明所要解决的技术问题在于，提供一种基于镜像转发的流量数据处理方法及系统，能够实现基于镜像复制和异地打包传输来对实时流量进行异地的合法审计，在保证本地实时流量的传输不受影响的情况下提高异地审计的效率和充分程度。

2、为了解决上述技术问题，本发明第一方面公开了一种基于镜像转发的流量数据处理方法，应用于流量数据处理系统，所述流量数据处理系统包括处于第一区域内的源数据系统和处于第二区域内的审计端系统；所述源数据系统包括通过交换机连接的网络设备和流量打包服务器；所述审计端系统包括相互连接的流量解包服务器和审计设备；所述流量打包服务器和所述流量解包服务器通信连接；所述方法包括：

3、所述交换机获取所述网络设备发送的待审计流量数据，对所述待审计流量数据进行镜像复制，得到镜像数据，将所述镜像数据发送至所述流量打包服务器；

4、所述流量打包服务器根据预设的流量封装加密规则，对所述镜像数据进行封装加密，得到封装数据，将所述封装设备发送至所述流量解包服务器；

5、所述流量解包服务器根据预设的流量解包规则，对所述封装数据进行解包，得到所述镜像数据，将所述镜像数据发送至所述审计设备；

6、所述审计设备根据预设的审计规则，对所述镜像数据进行审计，以得到所述待审计流量数据对应的审计分析结果。

7、作为一种可选的实施方式，在本发明第一方面中，所述源数据系统还包括分别与所述交换机和所述流量打包服务器连接的虚拟交换机；所述交换机将所述镜像数据发送至所述流量打包服务器的具体方式，包括：

8、所述交换机将所述镜像数据发送至所述虚拟交换机；

9、所述虚拟交换机基于acl技术和预设的数据匹配规则，对所述镜像数据中的非法数据进行剔除，将剔除后的所述镜像数据发送至所述流量打包服务器。

10、作为一种可选的实施方式，在本发明第一方面中，所述流量打包服务器根据预设的流量封装加密规则，对所述镜像数据进行封装加密，得到封装数据的具体方式，包括：

11、根据预设的分段规则，对所述镜像数据进行分段切片处理，得到多个切片数据；所述分段规则为序列分段规则或数据包数量分段规则；

12、基于tcp协议对应的嵌套规则，对每一所述切片数据进行标签封装处理以及加密处理，得到封装数据；所述标签封装处理为打vlan标签处理；

13、以及，所述流量打包服务器是基于vs/tun技术实现对所述镜像数据的封装加密；

14、以及，所述流量解包服务器根据预设的流量解包规则，对所述封装数据进行解包，得到所述镜像数据的具体方式，包括：

15、基于预设的解密算法，将所述封装数据进行解密，以得到解密后封装数据；

16、基于预设的解包算法和去标签规则，对所述解密后封装数据进行解包和去标签，以得到所述镜像数据。

17、作为一种可选的实施方式，在本发明第一方面中，所述数据匹配规则包括数据内容匹配规则和数据来源匹配规则；所述虚拟交换机基于acl技术和预设的数据匹配规则，对所述镜像数据中的非法数据进行剔除的具体方式，包括：

18、基于acl技术，以及所述数据内容匹配规则，对所述镜像数据进行匹配，以得到所述镜像数据对应的多个内容不匹配数据；

19、基于acl技术，以及所述数据来源匹配规则，对所述镜像数据进行匹配，以得到所述镜像数据对应的多个非法来源数据；

20、计算所述多个内容不匹配数据和所述多个非法来源数据之间的交集数据，对所述交集数据进行剔除；

21、将所述多个内容不匹配数据和所述多个非法来源数据中不属于所述交集数据的每一数据，输入至训练好的危害数据识别神经网络中，以得到每一数据对应的危害性概率；所述危害数据识别神经网络通过包括有多个训练数据和对应的危害性标注的训练数据集训练得到；

22、将所述危害性概率大于预设的概率阈值的所有数据进行剔除。

23、作为一种可选的实施方式，在本发明第一方面中，所述镜像数据中包括有所述镜像数据以及其在数据传输过程中的传输记录数据；所述审计设备根据预设的审计规则，对所述镜像数据进行审计，以得到所述待审计流量数据对应的审计分析结果的具体方式，包括：

24、根据所述镜像数据对应的传输记录数据，确定所述镜像数据对应的多个传输中间设备和多个传输中间处理操作；

25、根据所述多个传输中间设备，以及预设的设备安全规则，确定所述镜像数据对应的设备安全参数；

26、根据所述多个传输中间处理操作，以及预设的操作安全规则，确定所述镜像数据对应的操作安全参数；

27、根据预设的内容审计规则，对所述镜像数据的内容进行审计，以得到所述镜像数据对应的内容安全参数；

28、根据所述设备安全参数、所述操作安全参数和所述内容安全参数，确定所述待审计流量数据对应的审计分析结果。

29、作为一种可选的实施方式，在本发明第一方面中，所述审计设备根据所述多个传输中间设备，以及预设的设备安全规则，确定所述镜像数据对应的设备安全参数的具体方式，包括：

30、向所述源数据系统和所述审计端系统发送请求以获取所述源数据系统和所述审计端系统中处理过所述镜像数据的多个系统处理设备；

31、筛选出所述多个传输中间设备中不是任一所述系统处理设备的至少一个非法设备；

32、对于每一所述非法设备，获取该非法设备对应的设备信息和设备历史数据处理记录；

33、根据所述设备信息，判断该非法设备是否在预设的安全数据处理系统内，得到第一判断结果；

34、判断所述设备历史数据处理记录中所处理数据不属于所述安全数据处理系统中的传输数据的记录的占比是否超过预设的占比阈值，得到第二判断结果；

35、计算该非法设备对应的设备非法参数；所述设备非法参数等于第一参数和第二参数的和；所述第一参数在所述第一判断结果为是时等于第一数值；所述第一参数在所述第一判断结果为否时等于第二数值；所述第二数值大于所述第一数值；所述第二参数在所述第二判断结果为是时等于第三数值；所述第二参数在所述第二判断结果为否时等于第四数值；所述第四数值小于所述第三数值；

36、计算所有所述非法设备对应的所述设备非法参数的总和的倒数，得到所述镜像数据对应的设备安全参数。

37、作为一种可选的实施方式，在本发明第一方面中，所述审计设备根据所述多个传输中间处理操作，以及预设的操作安全规则，确定所述镜像数据对应的操作安全参数的具体方式，包括：

38、对于每一所述传输中间处理操作，将该传输中间操作对应的操作记录数据输入至操作分析神经网络中，以得到该传输中间操作对应的操作类型和操作对象；所述操作分析神经网络通过包括有多个训练操作记录数据和对应的操作类型标注和操作对象标注的训练数据集训练得到；

39、判断所述操作类型是否属于预设的合法操作类型集合，得到第三判断结果；

40、判断所述操作对象是否为所述镜像数据对应的数据内容部分，得到第四判断结果；

41、计算该传输中间处理操作对应的操作非法参数；所述操作非法参数等于第三参数和第四参数的和；所述第三参数在所述第三判断结果为是时等于第五数值；所述第三参数在所述第三判断结果为否时等于第六数值；所述第六数值大于所述第五数值；所述第四参数在所述第四判断结果为是时等于第七数值；所述第四参数在所述第四判断结果为否时等于第八数值；所述第八数值小于所述第七数值；

42、计算所有所述传输中间处理操作对应的所述操作非法参数的总和的倒数，得到所述镜像数据对应的操作安全参数。

43、作为一种可选的实施方式，在本发明第一方面中，所述审计设备根据预设的内容审计规则，对所述镜像数据的内容进行审计，以得到所述镜像数据对应的内容安全参数的具体方式，包括：

44、确定所述镜像数据所对应的流量场景；

45、将所述镜像数据的数据内容部分，输入至对应的流量场景对应的内容审计神经网络中，以得到所述镜像数据对应的内容安全参数；所述内容审计神经网络通过包括有对应的流量场景的多个训练数据内容和对应的内容安全标注的训练数据集训练得到。

46、作为一种可选的实施方式，在本发明第一方面中，所述审计设备根据所述设备安全参数、所述操作安全参数和所述内容安全参数，确定所述待审计流量数据对应的审计分析结果的具体方式，包括：

47、判断所述设备安全参数是否低于预设的设备参数阈值，得到第五判断结果；

48、判断所述操作安全参数是否低于预设的操作参数阈值，得到第六判断结果；

49、判断所述内容安全参数是否高于预设的第一内容参数阈值，得到第七判断结果；

50、判断所述内容安全参数是否高于预设的第二内容参数阈值，得到第八判断结果；所述第二内容参数阈值低于所述第一内容参数阈值；

51、当所述第五判断结果、所述第六判断结果和所述第七判断结果均为是时，确定所述待审计流量数据对应的审计分析结果为经过篡改；

52、当所述第五判断结果和所述第六判断结果均为否，且所述第七判断结果或所述第八判断结果为是时，确定所述待审计流量数据对应的审计分析结果为合法；

53、当所述第五判断结果和所述第六判断结果均为否，且所述第八判断结果为否时，确定所述待审计流量数据对应的审计分析结果为非法；

54、当无法确定所述待审计流量数据对应的审计分析结果为经过篡改、非法或合法时，将所述镜像数据发送至人工审计端设备。

55、本发明第二方面公开了一种基于镜像转发的流量数据处理系统，所述系统包括处于第一区域内的源数据系统和处于第二区域内的审计端系统；所述源数据系统包括通过交换机连接的网络设备和流量打包服务器；所述审计端系统包括相互连接的流量解包服务器和审计设备；所述流量打包服务器和所述流量解包服务器通信连接；

56、所述交换机用于获取所述网络设备发送的待审计流量数据，对所述待审计流量数据进行镜像复制，得到镜像数据，将所述镜像数据发送至所述流量打包服务器；

57、所述流量打包服务器用于根据预设的流量封装加密规则，对所述镜像数据进行封装加密，得到封装数据，将所述封装设备发送至所述流量解包服务器；

58、所述流量解包服务器用于根据预设的流量解包规则，对所述封装数据进行解包，得到所述镜像数据，将所述镜像数据发送至所述审计设备；

59、所述审计设备用于根据预设的审计规则，对所述镜像数据进行审计，以得到所述待审计流量数据对应的审计分析结果。

60、作为一种可选的实施方式，在本发明第二方面中，所述源数据系统还包括分别与所述交换机和所述流量打包服务器连接的虚拟交换机；所述交换机将所述镜像数据发送至所述流量打包服务器的具体方式，包括：

61、所述交换机将所述镜像数据发送至所述虚拟交换机；

62、所述虚拟交换机基于acl技术和预设的数据匹配规则，对所述镜像数据中的非法数据进行剔除，将剔除后的所述镜像数据发送至所述流量打包服务器。

63、作为一种可选的实施方式，在本发明第二方面中，所述流量打包服务器根据预设的流量封装加密规则，对所述镜像数据进行封装加密，得到封装数据的具体方式，包括：

64、根据预设的分段规则，对所述镜像数据进行分段切片处理，得到多个切片数据；所述分段规则为序列分段规则或数据包数量分段规则；

65、基于tcp协议对应的嵌套规则，对每一所述切片数据进行标签封装处理以及加密处理，得到封装数据；所述标签封装处理为打vlan标签处理；

66、以及，所述流量打包服务器是基于vs/tun技术实现对所述镜像数据的封装加密；

67、以及，所述流量解包服务器根据预设的流量解包规则，对所述封装数据进行解包，得到所述镜像数据的具体方式，包括：

68、基于预设的解密算法，将所述封装数据进行解密，以得到解密后封装数据；

69、基于预设的解包算法和去标签规则，对所述解密后封装数据进行解包和去标签，以得到所述镜像数据。

70、作为一种可选的实施方式，在本发明第二方面中，所述数据匹配规则包括数据内容匹配规则和数据来源匹配规则；所述虚拟交换机基于acl技术和预设的数据匹配规则，对所述镜像数据中的非法数据进行剔除的具体方式，包括：

71、基于acl技术，以及所述数据内容匹配规则，对所述镜像数据进行匹配，以得到所述镜像数据对应的多个内容不匹配数据；

72、基于acl技术，以及所述数据来源匹配规则，对所述镜像数据进行匹配，以得到所述镜像数据对应的多个非法来源数据；

73、计算所述多个内容不匹配数据和所述多个非法来源数据之间的交集数据，对所述交集数据进行剔除；

74、将所述多个内容不匹配数据和所述多个非法来源数据中不属于所述交集数据的每一数据，输入至训练好的危害数据识别神经网络中，以得到每一数据对应的危害性概率；所述危害数据识别神经网络通过包括有多个训练数据和对应的危害性标注的训练数据集训练得到；

75、将所述危害性概率大于预设的概率阈值的所有数据进行剔除。

76、作为一种可选的实施方式，在本发明第二方面中，所述镜像数据中包括有所述镜像数据以及其在数据传输过程中的传输记录数据；所述审计设备根据预设的审计规则，对所述镜像数据进行审计，以得到所述待审计流量数据对应的审计分析结果的具体方式，包括：

77、根据所述镜像数据对应的传输记录数据，确定所述镜像数据对应的多个传输中间设备和多个传输中间处理操作；

78、根据所述多个传输中间设备，以及预设的设备安全规则，确定所述镜像数据对应的设备安全参数；

79、根据所述多个传输中间处理操作，以及预设的操作安全规则，确定所述镜像数据对应的操作安全参数；

80、根据预设的内容审计规则，对所述镜像数据的内容进行审计，以得到所述镜像数据对应的内容安全参数；

81、根据所述设备安全参数、所述操作安全参数和所述内容安全参数，确定所述待审计流量数据对应的审计分析结果。

82、作为一种可选的实施方式，在本发明第二方面中，所述审计设备根据所述多个传输中间设备，以及预设的设备安全规则，确定所述镜像数据对应的设备安全参数的具体方式，包括：

83、向所述源数据系统和所述审计端系统发送请求以获取所述源数据系统和所述审计端系统中处理过所述镜像数据的多个系统处理设备；

84、筛选出所述多个传输中间设备中不是任一所述系统处理设备的至少一个非法设备；

85、对于每一所述非法设备，获取该非法设备对应的设备信息和设备历史数据处理记录；

86、根据所述设备信息，判断该非法设备是否在预设的安全数据处理系统内，得到第一判断结果；

87、判断所述设备历史数据处理记录中所处理数据不属于所述安全数据处理系统中的传输数据的记录的占比是否超过预设的占比阈值，得到第二判断结果；

88、计算该非法设备对应的设备非法参数；所述设备非法参数等于第一参数和第二参数的和；所述第一参数在所述第一判断结果为是时等于第一数值；所述第一参数在所述第一判断结果为否时等于第二数值；所述第二数值大于所述第一数值；所述第二参数在所述第二判断结果为是时等于第三数值；所述第二参数在所述第二判断结果为否时等于第四数值；所述第四数值小于所述第三数值；

89、计算所有所述非法设备对应的所述设备非法参数的总和的倒数，得到所述镜像数据对应的设备安全参数。

90、作为一种可选的实施方式，在本发明第二方面中，所述审计设备根据所述多个传输中间处理操作，以及预设的操作安全规则，确定所述镜像数据对应的操作安全参数的具体方式，包括：

91、对于每一所述传输中间处理操作，将该传输中间操作对应的操作记录数据输入至操作分析神经网络中，以得到该传输中间操作对应的操作类型和操作对象；所述操作分析神经网络通过包括有多个训练操作记录数据和对应的操作类型标注和操作对象标注的训练数据集训练得到；

92、判断所述操作类型是否属于预设的合法操作类型集合，得到第三判断结果；

93、判断所述操作对象是否为所述镜像数据对应的数据内容部分，得到第四判断结果；

94、计算该传输中间处理操作对应的操作非法参数；所述操作非法参数等于第三参数和第四参数的和；所述第三参数在所述第三判断结果为是时等于第五数值；所述第三参数在所述第三判断结果为否时等于第六数值；所述第六数值大于所述第五数值；所述第四参数在所述第四判断结果为是时等于第七数值；所述第四参数在所述第四判断结果为否时等于第八数值；所述第八数值小于所述第七数值；

95、计算所有所述传输中间处理操作对应的所述操作非法参数的总和的倒数，得到所述镜像数据对应的操作安全参数。

96、作为一种可选的实施方式，在本发明第二方面中，所述审计设备根据预设的内容审计规则，对所述镜像数据的内容进行审计，以得到所述镜像数据对应的内容安全参数的具体方式，包括：

97、确定所述镜像数据所对应的流量场景；

98、将所述镜像数据的数据内容部分，输入至对应的流量场景对应的内容审计神经网络中，以得到所述镜像数据对应的内容安全参数；所述内容审计神经网络通过包括有对应的流量场景的多个训练数据内容和对应的内容安全标注的训练数据集训练得到。

99、作为一种可选的实施方式，在本发明第二方面中，所述审计设备根据所述设备安全参数、所述操作安全参数和所述内容安全参数，确定所述待审计流量数据对应的审计分析结果的具体方式，包括：

100、判断所述设备安全参数是否低于预设的设备参数阈值，得到第五判断结果；

101、判断所述操作安全参数是否低于预设的操作参数阈值，得到第六判断结果；

102、判断所述内容安全参数是否高于预设的第一内容参数阈值，得到第七判断结果；

103、判断所述内容安全参数是否高于预设的第二内容参数阈值，得到第八判断结果；所述第二内容参数阈值低于所述第一内容参数阈值；

104、当所述第五判断结果、所述第六判断结果和所述第七判断结果均为是时，确定所述待审计流量数据对应的审计分析结果为经过篡改；

105、当所述第五判断结果和所述第六判断结果均为否，且所述第七判断结果或所述第八判断结果为是时，确定所述待审计流量数据对应的审计分析结果为合法；

106、当所述第五判断结果和所述第六判断结果均为否，且所述第八判断结果为否时，确定所述待审计流量数据对应的审计分析结果为非法；

107、当无法确定所述待审计流量数据对应的审计分析结果为经过篡改、非法或合法时，将所述镜像数据发送至人工审计端设备。

108、与现有技术相比，本发明具有以下有益效果：

109、本发明能够对待审计流量进行镜像复制后对镜像数据进行封装加密以传输至异地的审计系统，并进行解包和审计，从而能够实现基于镜像复制和异地打包传输来对实时流量进行异地的合法审计，在保证本地实时流量的传输不受影响的情况下提高异地审计的效率和充分程度。