智能学习的数据库入侵检测与响应系统的制作方法

本发明涉及数据库安全监测，尤其涉及智能学习的数据库入侵检测与响应系统。

背景技术：

1、随着信息技术的飞速发展和互联网的广泛应用，数据库已经成为各类组织和企业存储、管理和分析数据的核心工具。但同时，数据库也面临着来自各种来源的安全威胁，特别是外部入侵者和恶意用户的攻击。传统的数据库入侵检测方法主要依赖预先定义的规则和模式匹配，但这些方法往往在面对复杂和未知的攻击行为时显得力不从心。

2、另外，传统方法中对异常行为的定义常常过于僵化，难以适应数据库操作模式的变化，并且，这些方法对于大量的正常操作和少量的异常操作之间的区分常常缺乏精确性，导致大量的误报或漏报。为了应对这些挑战，需要一种更加智能、自适应和实时的方法来检测和响应潜在的数据库入侵行为。

3、近年来，深度学习、时间序列分析和注意力机制等技术在各种领域都表现出了出色的性能，但将它们应用到数据库入侵检测和响应中，仍然是一个待探索的领域，如何有效地利用这些先进技术，结合数据库的特性和需求，设计一种高效、准确和自适应的入侵检测与响应系统，是当前研究的重要方向。

技术实现思路

1、基于上述目的，本发明提供了智能学习的数据库入侵检测与响应系统。

2、智能学习的数据库入侵检测与响应系统，该系统包括数据收集模块、特征提取模块、数据关联分析模块、行为建模模块、智能学习模块以及响应模块，其中，

3、数据收集模块用于收集数据库操作的相关数据，并输出原始数据流；

4、特征提取模块接收来自数据收集模块的原始数据流，用于从中提取关键操作特征，并输出特征数据流；

5、数据关联分析模块接收特征提取模块的特征数据流，并分析数据库内外部操作的关联性，产生关联数据流；

6、行为建模模块接收关联数据流，并根据长时间的数据采集建立一个正常数据库访问行为的模型，输出行为模型数据流；

7、智能学习模块接收行为建模模块的行为模型数据流，结合实时数据进行模型训练并对新数据进行预测，判断是否存在偏离正常模型的行为，从而判断是否存在入侵行为；

8、响应模块基于智能学习模块的预测结果对潜在的入侵行为进行应对。

9、进一步的，所述数据收集模块通过直接监控数据库的访问请求、响应和异常事件，实时捕获每个数据库事务的细节信息，细节信息包括访问者ip、访问时间、执行的sql语句、返回的数据量，并将该细节信息整合为连续的原始数据流，输出至特征提取模块。

10、进一步的，所述特征提取模块接收来自数据收集模块的原始数据流，并对原始数据流进行预处理，剔除无关数据项，无关数据项包括冗余的请求头、空白字符，随后通过预定义sql指令词汇表，解析每个sql语句，识别其基本结构，基本结构包括选择语句、插入语句、删除语句或更新语句，并对每种类型的sql语句进行统计，所述特征提取模块还针对指定风险因子进行识别和统计，指定风险因子包括短时间内大量相同的请求、来自不常见地理位置的访问或在非工作时间的大量请求，提取出关键操作特征，所述关键操作特征包括：sql语句的类型和频率、sql语句的深度解析、异常访问频率、非常规访问时段、数据返回量以及来源ip的异常性。

11、进一步的，所述数据关联分析模块接收来自特征提取模块的特征数据流，并执行以下操作：

12、时间窗口分析：将特征数据流按时间段进行分割，以确定在某时间窗口内发生的数据库操作模式；

13、操作序列化：根据sql语句的类型、来源ip、访问频率特征，为每个数据库操作分配一个唯一标识符，并建立一个数据库操作序列，具体包括：标识符分配，为每个数据库操作生成一个唯一标识符，该标识符基于sql语句的类型、来源ip及访问频率的哈希组合，使相同类型的sql操作、相同的来源ip以及相似的访问频率在不同情境下都获得相同的标识符，随着数据库操作的发生，系统实时记录每个操作的标识符，时间戳，以及与其相关的特征，在给定的时间窗口内，系统将该段时间窗口内的所有操作标识符按照其发生的先后顺序线性排列，形成一个操作序列：[id1，id2，id3，id1，id4...]，其中每个idx代表一个唯一的数据库操作标识符；

14、关联规则挖掘：应用关联规则挖掘技术，发现不同数据库操作之间的关联性，对比正常的关联模式和当前操作的关联模式，识别那些与常规操作模式不符的关联模式；

15、生成关联数据流：将识别出的异常关联模式和其他相关信息整合，并产生关联数据流，用于描述数据库内外部操作之间的关联性。

16、进一步的，所述行为建模模块接收关联数据流，并建立正常数据库访问行为的模型，具体如下：

17、行为建模模块采用自适应策略，根据数据的变化情况动态调整学习率，当检测到新的、未见过的行为模式，模块提高学习率以快速适应新环境，在数据相对稳定的时段，降低学习率以稳定模型；

18、多模态特征融合，结合数据库操作的上下文信息，操作前后的数据库状态、与其他系统问的交互模式，来捕捉复杂的行为模式。

19、时间序列分解，使用时间序列分解技术，将数据库操作序列分解为季节性、趋势和随机部分，从而理解其内在模式；

20、深度学习优化，引入基于注意力机制的深度网络结构，使模型在学习数据库操作序列时，能够自动关注到关键操作，提高建模的准确性。

21、进一步的，所述时间序列分解基于stl(seasonal and trend decompositionusing loess)方法，对数据库操作序列进行分解，具体如下：

22、标准化数据库操作序列，确保每个时间点的数据在相同的尺度上，准备好进行时间序列分解。

23、趋势成分提取，使用loess平滑法，根据操作序列的局部加权回归，提取出长期的变化趋势，反映数据库操作的总体发展或变化模式，loess平滑法基于局部加权回归，对于每个时间点t，趋势成分tt计算为：其中，wi是权重，取决于时间点t与t+i之间的距离，k是局部窗口的大小；

24、季节性成分提取：在去除趋势成分后，从残差数据中，再次利用loess平滑法，识别和提取出周期性的重复模式，揭示出如每日、每周或每月的重复访问模式，在去除趋势成分tt后，得到去趋势序列：

25、dt＝yt-tt，应用loess方法于dt，在一个固定的季节周期内，季节性成分为：其中，wi′是基于季节周期的权重，p表示每日的周期；

26、随机成分提取：通过从原始操作序列中减去趋势和季节性成分，得到随机或噪声成分，展现了不规律的、无法通过趋势和季节性来解释的数据库操作行为，通过从原始操作序列中减去趋势和季节性成分，随机成分计算为：rt＝yt-tt-st；

27、模式分析：通过对趋势、季节性和随机成分的分析，了解数据库的操作模式，识别出哪些行为是常规的、哪些是异常的，并在长期趋势中观察到行为变化。

28、进一步的，基于注意力机制的深度网络结构处理和学习数据库操作序列，具体如下：

29、输入为经过时间序列分解的数据库操作序列的趋势、季节性和随机成分：tt，st和rt，嵌入层将tt，st和rt转化为稠密的向量表示；

30、在深度网络中引入注意力层，使模型能够自动加权数据库操作序列中的各个部分，对于序列中的每个操作oi，其权重αi计算为：其中，ei是当前操作的能量值，通过神经网络计算得到；

31、使用上述权重计算加权的上下文向量c：向量c即表达整个序列中关键操作，将加权的上下文向量c输入到后续的深度网络层中的卷积层、循环层，使模型捕获深层次的特征，经过多个深度网络层后，模型输出一个结果，即为当前数据库操作序列的正常性或异常性。

32、进一步的，所述智能学习模块接收来自行为建模模块的行为模型数据流，包括经过时间序列分解与注意力机制处理的数据库操作特征数据，利用接收到的行为模型数据流，智能学习模块采用在线学习策略不断更新并调整其内部的模型参数，对于实时流入的新的数据库操作数据，基于训练好的模型进行预测，输出一个预测值，该值表示该操作与正常模型的偏离程度；

33、通过预设的异常度量机制量化该偏离程度，生成一个异常度量值e，通过与预定的阈值进行比较，判断该数据库操作是否偏离正常模型，设阈值为θ，则判断逻辑为：

34、若e＞θ，则判断存在偏离正常模型的行为，判定存在潜在的入侵行为；

35、若e≤θ，则判断该操作符合正常模型，无入侵行为；

36、当发现潜在的入侵行为时，智能学习模块将预测结果、异常度量值反馈给响应模块。

37、进一步的，所述异常度量机制具体包括：

38、差异向量计算：预测值与实际的数据库操作特征形成一个差异向量d，设实际特征为向量f，且预测特征为向量p，差异向量为：d＝f-p；

39、差异加权：基于不同的特征对于数据库的重要性不同，引入一个权重向量w，对差异向量进行加权处理，加权后的差异向量为：dw＝w×d；

40、度量值计算：利用加权后的差异向量，计算一个单一的标量作为异常度量值，该值表示实际数据库操作与预测模型间的整体偏差，异常度量值e通过以下计算得到：该计算使用l2范数，表示加权差异向量的欧几里得长度，捕获总体偏差的大小。

41、进一步的，所述响应模块接收来自智能学习模块的预测结果，并基于该预测结果对入侵行为进行应对，其中：

42、当智能学习模块的预测结果显示数据库操作与正常模型的偏离程度较小，且异常度量值低于预设阈值，响应模块将此操作标记为正常操作，系统继续执行不作额外处理；

43、当智能学习模块的预测结果显示数据库操作与正常模型的偏离程度在中等范围，且异常度量值处于预设阈值和警告阈值之间，响应模块会发出警告通知给管理员，建议检查或监视此操作；

44、当智能学习模块的预测结果显示数据库操作与正常模型的偏离程度较大，且异常度量值超过警告阈值，响应模块会自动隔离该操作，暂停执行，并通知管理员进行手动审核和处理。

45、本发明的有益效果：

46、本发明，有效整合了数据收集、特征提取、关联分析、行为建模、智能学习和响应等多个模块，确保了从原始数据库操作到潜在的入侵行为识别和响应的全流程自动化，行为建模模块采用多模态特征融合和先进的时间序列分解技术，为数据库操作序列揭示了更为深入的内在模式。

47、本发明，通过结合注意力机制的深度网络结构，系统在学习数据库操作序列时能够自动关注关键操作，显著提高了建模的准确性和异常检测的敏感性，此外，异常度量机制为系统提供了一个量化的方式来评估实时数据库操作与正常模型之间的偏离程度，使得对潜在的入侵行为的识别更加精确和及时。

48、本发明，响应模块的设计使得系统能够自动并实时地对潜在入侵行为作出反应，从简单的警告通知到自动隔离异常操作，为管理员提供了多种干预选项，并且，通过反馈机制，系统可以持续从实际的数据库环境中学习和适应，进一步优化预测和响应策略，实现了对数据库的长期和持续的保护。