用于自动评估网络流量签名的质量的系统和方法与流程

本发明涉及用于自动评估网络流量签名的质量的系统和方法。本发明是网络流量过滤系统的反馈系统，其根据特征签名对网络流量进行分组，然后基于网络流量的统计分析评估每个分组中自动化和非自动化的活动的份额，使得可以检测网络流量中恶意活动的存在。

背景技术：

1、用于评估网络流量签名(signature)的质量和检测网络流量中恶意活动的系统通常由包含在服务器上的若干个模块组成，如数据收集模块、数据库模块、签名标识符模块和数据聚合模块。这些系统是非自动化的，这是因为它们没有提供能够根据收集到的网络流量数据的统计分析自动生成附加签名的模块。

2、自动化的系统也是已知的，其不仅包括上述模块或其类似物，还包括附加模块，负责用于收集的数据的统计分析、签名生成和签名存储。这些附加模块使得系统自动化成为可能，从而更有效地检测自动化的活动。这些自动化的系统也称为反馈系统。

3、专利ru2740027c1(2020年12月30日公布；ipc:g06f 21/50；g06f 21/60；h04l 29/06)描述了一种与防止自动恶意攻击的方法和系统有关的发明。其技术成果是确保预防恶意攻击。在该方法中，根据收到的计算机系统会话请求对用户进行评估，收集该请求的数值和统计指标，根据用户与资源进行通信的统计来计算表征用户的指标，根据关于资源的总体统计确定指标，显示用户会话与中位数和平均会话的偏差，根据这些数据，通过统计模型对请求的合法性进行评估，基于该模型将用户确定为合法、可疑或机器人的类别之一，针对合法用户提供对资源的访问权限，针对机器人阻止对资源的访问权限，对可疑用户进行附加检查，同时根据对其行为的分析，向其提供使用非对称加密的加密算法的任务，如果没有正确的解决方案，将其定义为机器人并阻止对资源的访问权限，在正确的解决方案的情况下，将其定义为合法用户并提供访问权限。该系统的第一个缺点是其非自动性。该系统和方法通过预定义的签名检测恶意活动，不需要额外的签名生成。此外，该系统和方法缺少对网络流量进行统计分析的步骤，其允许更有效地检测网络流量中的恶意自动化活动。该系统和方法的另一个缺点是缺少原始数据和最资源密集型计算的预先聚合，因此缺少执行原始数据和最资源密集型计算的预先聚合的数据预先聚合模块。本系统和方法提供了由预先聚合模块执行的步骤，在该步骤中，基于一连串物化视图连续执行原始数据和最资源密集型计算的预先聚合，使得依据聚合的类型，对于最终数据聚合的计算能力的需求降低了2-3个量级。

4、专利ru253829292c1(2015年1月27日公布；ipc：g06f 21/55)描述了一种与计算机技术有关的发明。其技术效果在于检测不同类型的计算机攻击、不同类型的联合同时攻击，并确定攻击的类型。一种用于对网络计算机系统的计算机攻击进行检测的方法，该系统包括至少一台连接到网络的计算机，该计算机安装了操作系统和包括流量分析系统的应用程序，其中，选择特定参数以分析从网络接收到的数据包并计算其值，然后将其与参考值进行比较，并通过参数的设置条件的组合，确定是否存在单独或联合同时攻击以及攻击类型。系统用于处理从网络流量分析接收到的数据包，其使得可以实时计算流量参数。这种方法的第一个缺点是，恶意自动化活动的检测是根据预定义的签名进行的，因此系统是非自动化的，检测恶意自动化活动的效率不如自动化活动，这是因为它只能检测网络流量中恶意自动化活动落入预先定义的签名内的固定部分。第二个缺点与第一个缺点有关，即该方法不允许生成新的签名。最后一个缺点为缺少原始数据和资源密集型计算的预先聚合，因此缺少执行原始数据和最资源密集型计算的预先聚合的数据预先聚合模块。本系统和方法提供了由预先聚合模块执行的步骤，在该步骤中，基于一连串物化视图连续执行原始数据和最资源密集型计算的预先聚合，使得依据聚合的类型，对于最终数据聚合的计算能力的需求降低了2-3个量级。

5、专利ru2722693c1(2020年6月3日公布；ipc:g06f 21/56)提供了一种计算机可实现的方法，用于检测恶意软件或网络入侵者的基础设施，其中：接收包含基础设施元素(infrastructure element)的请求，并标记该元素是否属于恶意软件或网络入侵者；从数据库提取所接收基础设施元素的参数、与接收到的基础设施元素相同的恶意程序使用的附加基础设施元素以及附加基础设施元素的参数；分析接收到的基础设施元素和其相关参数以及附加基础设施元素和其相关参数；在分析的基础上，识别接收到的基础设施元素的参数与附加基础设施元素的参数之间的统计关系；基于已识别的统计关系生成用于搜索新的基础设施元素的规则，并从数据库中提取新的基础设施元素；为与特定恶意软件或网络攻击者对应的新元素分配标签，并将结果存储在数据库中。其技术效果在于提高了检测计算机攻击的效率。该系统和方法的缺点在于缺少原始数据和资源密集型计算的预先聚合，因此缺少执行原始数据和最资源密集型计算的预先聚合的数据预先聚合模块。本系统和方法提供了由预先聚合模块执行的步骤，在该步骤中，基于一连串物化视图连续执行原始数据和最资源密集型计算的预先聚合，使得依据聚合的类型，对于最终数据聚合的计算能力的需求降低了2-3个量级。

6、专利us756569693b2(2009年7月21日公布；ipc：g06f 11/00)描述了一种与网络入侵检测和预防系统有关的发明。该系统包括：基于签名的检测设备、异常行为检测设备、设置在基于签名的检测设备和异常行为检测设备之间的新签名生成验证设备，其中，如果异常行为检测设备检测到疑似网络攻击的数据包，则新签名生成验证设备进行收集和搜索，检测可疑数据包以获取公共信息，然后根据找到的公共信息生成新签名，同时检查生成的新签名是否适用于基于签名的检测设备，在确定生成的新签名适用的情况下，将生成的新签名记入到基于签名的检测设备。该系统和方法的缺点是，由相应的模块执行基于流量中异常行为的检测来检测自动化活动。这使入侵检测和预防系统能够预先识别关于正常用户的正常行为的信息和监控异常网络操作，以便在基于关于正常行为的信息生成与正常行为相悖的异常网络操作的情况下搜索网络入侵等。然而，基于异常行为的检测方法的缺点在于正常用户会被误认为是网络入侵者。此外，不像基于签名的检测方法，异常行为检测方法的缺点还在于检测网络入侵需要很长时间，因此无法保护网络免于被入侵。在所研究的方法中，通过统计分析计算出每组签名的流量的特征份额的边界值。每个签名组可以出现在多个子网络服务对中。该方法计算每个组在每个此类对中的流量的份额，即第25和第75个百分位数。这些数据使得可以计算每个组的预期流量份额。然后将可疑活动与统计上发现的平均用户活动进行比较。这种方法可以更准确、更快速地检测到新的自动化攻击，这些新的自动攻击因为与先前攻击没有联系而没有被该系统和方法在先前检测到。该系统和方法的第二个缺点在于缺少原始数据和资源密集型计算的预先聚合，因此缺少执行原始数据和最资源密集型计算的预先聚合的数据预先聚合模块。本系统和方法提供了由预先聚合模块执行的步骤，在该步骤中，基于一连串物化视图连续执行原始数据和最资源密集型计算的预先聚合，使得依据聚合的类型，对于最终数据聚合的计算能力的需求降低了2-3个量级。

7、最接近的专利是ru2634209c1(2017年10月24日公布；ipc：g06f 21/35)，其描述了一种与检测计算机攻击的领域有关的发明。其技术效果在于提高了检测计算机攻击的效率。一种在服务器上执行的自动生成反馈入侵检测系统的决策规则的方法至少包括以下步骤：从由至少一个传感器接收的数据形成的事件数据库中接收至少一个事件；分析接收到的至少一个事件是否属于与恶意软件控制中心交互的类别；从与恶意软件控制中心交互的类别有关的至少一个上述事件中提取至少一个用于生成决策规则的特征；使用至少一个上述提取出的特征生成决策规则；存储生成的决策规则，并针对至少一个传感器获得决策规则的更新；传感器循环检查中心节点上的更新的可用性，如果更新是可用的，则接收更新以供使用；在这种情况下，如果在传感器上接收到更新，则触发器将触发重新加载决策规则。该系统和方法的不同和缺点在于缺少原始数据和资源密集型计算的预先聚合，因此缺少执行原始数据和最资源密集型计算的预先聚合的数据预先聚合模块。本系统和方法提供了由预先聚合模块执行的步骤，在该步骤中，基于一连串物化视图连续执行原始数据和最资源密集型计算的预先聚合，使得依据聚合的类型，对于最终数据聚合的计算能力的需求降低了2-3个量级。

技术实现思路

1、本发明的目的在于提供并开发一种用于自动评估网络流量签名的质量的系统和方法，提供网络流量中自动化活动的高效检测，并减少最终数据聚合所需的计算能力。

2、所述目的，例如实现自动化活动的高效率检测、反馈的可能性以及确保减少数据的最终聚合所需的计算能力，通过以下技术效果实现：

3、利用统计分析实现系统的自动化；

4、利用统计分析检测网络中是否存在恶意自动化活动；

5、利用统计分析生成和更新决策签名；

6、使用原始数据和最资源密集型计算的连续不断预先聚合；

7、存在数据的最终聚合的步骤，对自动化和非自动化的活动进行分组和份额评估。

8、该技术效果通过一种用于自动评估网络流量签名的质量的系统实现，所述系统包括事件收集模块、决策签名列表、分析模块和最终聚合模块，其特征在于，所述系统包括被配置为对原始数据和资源密集型计算进行连续处理的预先聚合模块。而且，所述事件收集模块连接预先聚合模块，预先聚合模块连接分析模块和/或最终聚合模块，并且，分析模块还连接最终聚合模块，决策签名列表连接事件收集模块和最终聚合模块。

9、在这种情况下，需要事件收集模块用于收集网络流量中的事件，并按签名将事件进行分组。决策签名列表对于存储用于检测网络流量中的自动化活动的决策签名是必需的。分析模块对于计算网络流量中自动化和非自动化的活动的特征份额并使用统计分析方法生成边界值和决策签名是必需的。最终聚合模块对于评估例如子-网源、接收器-服务、tcp/ip签名、ssl/tls签名、http签名之类的每组参数的流量的质量是必需的。数据预先聚合模块对于形成原始数据和最资源密集型计算的连续预先聚合是必需的，其可以极大提高系统性能，并减少最终数据聚合所需的计算能力。

10、此外，事件收集模块可以被配置为从具有网络能力的至少一台计算机、计算机系统和/或服务器所发送的网络流量中收集事件。

11、事件收集模块还可以进一步包括分组模块，用于根据一组签名对事件进行分组。

12、分析模块可进一步包括边界值列表和边界值存储模块，边界值存储模块配置为根据连续不断的新数据自动更新边界值列表。

13、此外，分析模块可以进一步包括评估模块，其评估是否存在统计异常值。这使得可以在考虑到计算误差的情况下更准确地确定所有事件的边界值。

14、最终聚合模块可以包括被配置为更新决策签名列表的签名存储模块。由于根据不断更新的数据统计评估未知和正式合法的签名，这使得可以更准确地识别网络上的自动恶意活动。

15、此外，技术效果是通过服务器上用软件和循环方式实现的自动评估网络流量签名的质量的方法而取得，其使用事件收集模块收集网络流量中的事件，使用预先聚合模块对原始数据和最资源密集型计算进行预先聚合，基于收集的事件使用分析模块计算每个事件在网络流量中自动化和非自动化的活动的特征份额的边界值，并使用最终聚合模块对网络流量中收集的所有事件进行最终聚合。

16、同时，收集网络流量中事件的步骤是形成网络流量事件的检查自动恶意活动的数据库所必需的。对原始数据和最资源密集型计算进行预先聚合的步骤对于提高所述方法的速度并减少最终数据聚合阶段所需的计算能力是必需的。计算网络流量中自动和非自动的活动的特征份额的边界值的步骤是使用统计分析方法生成边界值和确定网络流量中恶意自动活动的份额所必需的。执行所有事件的最终聚合的步骤是形成决策签名所必需的。

17、此外，在网络流量中收集事件的步骤之后，可以执行按签名对事件进行分组的步骤。这使得更容易将签名与决策签名列表进行比较，并生成新的决策签名。

18、此外，在根据收集到的事件计算网络流量中自动化和非自动化的活动的特征份额的边界值的步骤之后，可使用边界值存储模块自动更新每个事件的边界值列表。这使得系统更有效地检测和识别恶意自动化活动。

19、此外，在计算收集到的事件的步骤之后，网络流量中自动化和非自动化的活动的特征份额的边界值可以使用评估模块估计每个事件的统计异常值的存在。这使得可以在考虑到计算误差的情况下更精确地确定每个事件的边界值。

20、在使用预先聚合模块对原始数据进行预先聚合的步骤，可以进一步记录原始数据，并对记录的原始数据执行资源密集型计算，这提高了该方法的速度，并且还降低了最终数据聚合步骤需要的计算能力。

21、在将原始数据进行预先聚合的步骤，在对记录的原始数据执行资源密集型计算的步骤之后，可以另外使用预先聚合模块至少将预先处理的数据发送到分析模块和/或将预先处理的数据发送到最终聚合模块，其提高了方法的效率，还减少了数据最终聚合的阶段和统计分析的阶段所需的计算能力。

22、此外，在执行所有事件的最终聚合的步骤，可以比较计算出的网络流量中自动化和非自动化的活动的特征份额的边界值。这使得可以评估网络流量中潜在恶意活动的存在。

23、此外，在执行所有事件的最终聚合的步骤，可以将计算出的网络流量中自动化和非自动化的活动的特征份额的边界值与针对至少一个先前周期计算出的网络流量中自动化和非自动化的活动的特征份额的边界值进行比较。这使得可以将新接收到的数据与之前周期接收到的数据进行比较，进而提供有关网络流量中存在或不存在恶意活动的更准确信息。

24、此外，在执行所有事件的最终聚合的步骤，可以根据计算出的网络流量中自动化和非自动化的活动的特征份额的边界值，评估网络流量中自动化和非自动化的活动的比率。该评估使得可以了解网络流量中自动化活动的份额，并检查其是否超出标准，这同样使得可以跟踪网络流量中恶意活动的存在或不存在。

25、此外，在执行所有事件的最终聚合的步骤，可以执行决策签名的生成。这使得可以标记所检测到的恶意网络活动。

26、此外，在执行所有事件的最终聚合的步骤，可以将生成的决策签名保存到决策签名列表，使得可以存储所发现的恶意网络活动。

27、此外，在执行所有事件的最终聚合的步骤，可以使用包含在最终聚合模块中的签名存储模块，用生成的决策签名更新决策签名列表。这使得可以自动删除和存储新生成的决策签名，其可在以后用于检测恶意网络活动。

28、此外，最终聚合处理可以按照步骤执行如下。首先，可以比较计算出的网络流量中自动化和非自动化的活动的特征份额的边界值，然后，将计算出的网络流量中自动化和非自动化的活动的特征份额的边界值与至少一个先前周期计算出的网络流量中自动化和非自动化的活动的特征份额的边界值进行比较。之后，可以根据计算出的网络流量中自动化和非自动化的活动的特征份额的边界值，评估网络流量中自动化和非自动化的活动的比率。根据该评估，可以生成决策签名，将决策签名存储在决策签名列表，和/或使用签名存储模块以生成的决策签名更新决策签名列表。

29、此外，为了便于将签名与决策签名列表进行比较并生成新的决策签名，针对按照签名生成的事件分组中的每一个，可以单独执行以上步骤中的任何一个。