一种基于AI驱动的数据传输威胁检测方法和系统与流程

本发明涉及数据传输威胁检测，具体为一种基于ai驱动的数据传输威胁检测方法和系统。

背景技术：

1、传统的数据传输威胁检测系统主要依靠静态的手段进行安全防护。通常，这些系统会有一个规则库，其中包含了各种已知威胁的特征和签名。这样，当网络流量通过监控点时，系统会检查每一个数据包是否与规则库中的某条规则相匹配。如果发现匹配，系统便认为检测到了潜在威胁，并会触发报警。此外，某些传统方法也会利用预定义的阈值来判断网络行为是否异常，比如流量突然增加可能表明了拒绝服务攻击的发生。

2、然而，传统方法的一大劣势在于缺乏灵活性和适应性。随着网络环境的快速发展和攻击手法的不断演变，新型的威胁很难被静态规则库及时捕获。这就使得传统系统缺少面对未知攻击的防御能力。而一旦规则库需要更新，这通常也需要人工介入，不仅耗时耗力，而且很难做到实时反应。

3、此外，由于依靠固定规则或阈值，传统方法容易产生较高的误报率。这是因为规则可能会误将合法的网络行为标记为威胁，导致大量的误报警，从而增加了安全团队的负担。同时，严格的匹配规则也会导致漏报，一些巧妙的攻击可能会设计成避开这些规则，从而在不触发警报的情况下成功执行。

技术实现思路

1、本发明的目的在于提供一种基于ai驱动的数据传输威胁检测方法和系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明目的之一在于，一种基于ai驱动的数据传输威胁检测系统，其包括规则匹配模块、近邻算法模型模块和结果分析模块，其中：

3、所述规则匹配模块通过网络监控设备收集数据包信息，对收集的数据进行过滤无关信息、会话重构和结构化的转换，并与数据规则库中的签名和规则进行比对，匹配成功的数据标记为异常，并将结构化的数据和匹配结果进行输出；

4、所述近邻算法模型模块从数据包信息中提取数据特征，利用近邻算法进行异常检测，通过计算待分析样本与训练集中样本的欧几里得距离，找出k个最近邻居并应用多数表决原则来判断样本是否异常和置信度的预测，其中k表示在进行分类和回归时考虑的最近邻居的数量，将置信度和是否异常结果进行输出；

5、所述结果分析模块比较规则匹配模块和近邻算法模型模块中的输出结果，比较一致时，确定预测结果为最终结果；

6、比较不一致时，将规则匹配模块中的结构化的数据和近邻算法模型模块中的置信度与原始输入数据进行整合，所述结果分析模块利用决策树算法进行结果是否异常的预测，并将该预测结果分别与规则匹配模块和近邻算法模型模块中的输出结果进行比较，根据比较结果分别对规则匹配模块和近邻算法模型模块进行优化处理，优化处理之后，按照之前的逻辑进行再次的结果预测和比较，直到确定最终结果。

7、作为本技术方案的进一步改进，所述规则匹配模块包括传输数据采集单元和传输数据分析单元，所述传输数据采集单元通过网络监控设备收集数据包信息；所述传输数据分析单元对收集的数据进行过滤无关信息、会话重构和结构化的转换，并与数据规则库中的签名和规则进行比对，匹配成功的数据标记为异常，并将结构化的数据和匹配结果进行输出。

8、作为本技术方案的进一步改进，所述近邻算法模型模块包括传输数据处理单元和近邻算法分析单元，所述传输数据处理单元从数据包信息中提取数据特征；所述近邻算法分析单元利用近邻算法进行异常检测，通过计算待分析样本与训练集中样本的欧几里得距离，找出k个最近邻居并应用多数表决原则来判断样本是否异常和置信度的预测，其中k表示在进行分类和回归时考虑的最近邻居的数量，将置信度和是否异常结果进行输出。

9、作为本技术方案的进一步改进，所述结果分析模块包括结果比对单元、结果确定单元和反馈优化单元，所述结果比对单元比较传输数据分析单元和近邻算法分析单元中的预测结果，比较一致时，则确定预测结果为最终结果；比较不一致时，将比较传输数据分析单元中的结构化的数据和近邻算法分析单元中的置信度与原始输入数据进行整合，并将整合数据发送给结果确定单元；所述结果确定单元利用决策树算法进行数据状态的结果预测，将预测的结果与比较传输数据分析单元和近邻算法分析单元中的预测结果分别进行比较，根据比较结果启动反馈优化单元进行优化处理。

10、作为本技术方案的进一步改进，所述近邻算法分析单元利用近邻算法进行异常检测，具体包括：

11、计算提取的数据特征与训练数据集中所有样本的距离，计算公式包括欧几里得距离；根据计算得到的距离，选出距离最近的k个邻居，查看邻居的标签，并基于多数表决原则确定新样本的分类；多数邻居属于异常数据时，提取的数据特征被标记为异常，其中k表示在进行分类和回归时考虑的最近邻居的数量。

12、作为本技术方案的进一步改进，所述结果确定单元利用决策树算法进行数据状态的结果预测，具体包括：

13、计算整个数据集的熵，熵表示数据不纯度的度量，决定了数据中存在多少随机性，对于数据集中的每一类都计算出现概率和这个概率的对数的乘积，将所有这些乘积相加并取负值；

14、对于数据集中的每个特征，按照该特征的不同值将数据集划分为几个子集，并计算每个子集的熵，用每个子集的大小加权求和，得到按此特征划分数据集后的总体熵；

15、信息增益等于数据集原始熵与按照特征划分后的条件熵之间的差异，差值表明了通过考虑这个特征后数据随机性减少的程度；

16、比较所有特征的信息增益，选择信息增益最大的特征作为分割点；

17、用选定的特征分割数据集，对每个子集重复上述过程，直到达到所有的实例都属于同一个类别。

18、作为本技术方案的进一步改进，所述结果确定单元根据比较结果启动反馈优化单元进行优化处理，具体包括：

19、结果确定单元的预测结果与比较传输数据分析单元不一样时，反馈优化单元对传输数据分析单元中的数据进行优化处理，通过标准化数据、计算协方差矩阵、求解特征值和特征向量，选特征向量组成新的特征空间，并通过这些向量将原始数据变换到一个低维空间中，保持了最大程度的数据方差，简化数据集的复杂度并突出数据的主要结构进行优化处理；

20、结果确定单元的预测结果与近邻算法分析单元不一样时，反馈优化单元对近邻算法分析单元中的k值进行调整，通过将k值进行增加来对模型进行优化处理，k值大小决定了模型对噪声敏感程度对异常值是否过于鲁棒。

21、本发明目的之二在于，提供了一种基于ai驱动的数据传输威胁检测系统的方法，包括如下方法步骤：

22、s1、规则匹配模块通过网络监控设备收集数据包信息，对收集的数据进行过滤无关信息、会话重构和结构化的转换，并与数据规则库中的签名和规则进行比对，匹配成功的数据标记为异常，并将结构化的数据和匹配结果进行输出；

23、s2、近邻算法模型模块从数据包信息中提取数据特征，利用近邻算法进行异常检测，通过计算待分析样本与训练集中样本的欧几里得距离，找出k个最近邻居并应用多数表决原则来判断样本是否异常和置信度的预测，其中k表示在进行分类和回归时考虑的最近邻居的数量，将置信度和是否异常结果进行输出；

24、s3、结果分析模块比较规则匹配模块和近邻算法模型模块中的输出结果，比较一致时，确定预测结果为最终结果；

25、比较不一致时，将规则匹配模块中的结构化的数据和近邻算法模型模块中的置信度与原始输入数据进行整合，结果分析模块利用决策树算法进行结果是否异常的预测，并将该预测结果分别与规则匹配模块和近邻算法模型模块中的输出结果进行比较，根据比较结果分别对规则匹配模块和近邻算法模型模块进行优化处理，优化处理之后，按照之前的逻辑进行再次的结果预测和比较，直到确定最终结果。

26、与现有技术相比，本发明的有益效果是：

27、1、该一种基于ai驱动的数据传输威胁检测方法和系统通过网络监控设备收集数据包信息，对收集的数据进行过滤无关信息、会话重构和结构化的转换，并与数据规则库中的签名和规则进行比对，匹配成功的数据标记为异常，并将结构化的数据和匹配结果进行输出，从数据包信息中提取数据特征，利用近邻算法进行异常检测，通过计算待分析样本与训练集中样本的欧几里得距离，找出k个最近邻居并应用多数表决原则来判断样本是否异常和置信度的预测，其中k表示在进行分类和回归时考虑的最近邻居的数量，将置信度和是否异常结果进行输出，比较两者中的输出结果，比较一致时，确定预测结果为最终结果，结合两者，可以更全面地检测各种类型的网络威胁，提高了整体的检测效率和准确性；

28、2、该一种基于ai驱动的数据传输威胁检测方法和系统比较不一致时，将结构化的数据和置信度与原始输入数据进行整合，利用决策树算法进行结果是否异常的预测，并将该预测结果分别与两者的输出结果进行比较，根据比较结果分别对两者进行优化处理，优化处理之后，按照之前的逻辑进行再次的结果预测和比较，直到确定最终结果，能够不断学习和调整自身的检测逻辑，以便更好地识别威胁，减少误报和漏报。