一种网络恶意数据检测方法、装置及系统与流程

本发明涉及网络入侵检测(NIDS)
技术领域：
，具体涉及一种网络恶意数据检测方法、装置及系统。
背景技术：
：NIDS是网络入侵检测系统(NetworkIntrusionDetectionSystem)的简称，是网络安全的重要发展方向，它利用最先进的数据抓取和协议分析技术，监听网络中的所有原始流量，对获取到的数据进行流量和协议的分析处理，根据与已有的事件和行为特征库进行模式匹配，识别网络攻击事件并提供事件响应，实现对网络数据的监听、过滤甚至阻断，保障网络环境的安全。目前已有的网络入侵检测系统所采用的检测方法主要有两种：基于特征的检测(Signature-basedDetection)和基于异常的检测(Anomaly-baseddetection)。特征检测方法主要是将网络数据或行为与系统已有的恶意数据特征库进行匹配，但这种方式很容易造成误报和漏报，并且无法检测到未知的入侵；异常检测方法则是基于构建网络正常特征基础上定义“异常”的特征量和阙值，一旦超过阙值则被认定为异常而报警，并且如果阈值设置不合理，也很容易导致误报和漏报。技术实现要素：因此，本发明实施例要解决的技术问题在于克服现有技术中的网络入侵检测方法误报、漏报率高的缺陷。为此，本发明实施例提供了如下技术方案：本发明实施例提供了一种网络恶意数据检测方法，包括：采集网络数据；提取所述网络数据中的数据特征值；获取每个所述数据特征值与预先存储的恶意特征值集合中的恶意数据特征值之间的关联程度；若某个所述数据特征值与所述恶意数据特征值之间的关联程度超出预设关联程度阙值，根据该数据特征值对所述恶意数据特征值集合进行扩充。本发明实施例所述的方法还包括：若所述数据特征值与所述恶意数据特征值之间的关联程度超出预设关联程度阙值，判断该数据特征值为恶意数据特征值，该数据特征值对应的网络数据为网络恶意数据；统计预设时长内出现所述网络恶意数据的次数；若所述次数超出预设安全阙值，判断出现网络异常，并根据所述网络异常的异常程度采取对应的安全措施。本发明实施例所述的方法还包括：根据预设时长内出现所述网络恶意数据的次数和同时期内的网络环境动态调整所述预设安全阙值。本发明实施例所述的方法，所述采集网络数据包括：捕获网络数据；根据当前网络环境和存储压力将所述网络数据分流存储至对应的环形缓存区。本发明实施例所述的方法，所述采集网络数据还包括：读取网络数据时，将对应的所述环形缓存区中存储的网络数据直接映射到用户层。本发明实施例所述的方法，所述提取所述网络数据中的数据特征值包括：采用事件分析引擎过滤分析所述网络数据中的具体协议和由此产生的网络事件；采用策略解释引擎监控并分析每个所述网络事件的行为特征；将所述网络事件和其对应的行为特征作为所述网络数据的数据特征值。本发明实施例所述的方法，所述事件分析引擎和所述策略解释引擎的规则编写基于脚本语言。本发明实施例所述的方法，所述获取每个所述数据特征值与所述恶意数据特征值之间的关联程度包括：预测任意一个所述数据特征值为任意一个所述恶意数据特征值的可能性；若某个所述数据特征值为某个所述恶意数据特征值的可能性低于预设数值时，预测该数据特征值和该恶意数据特征值间存在关联的可能性；预测该恶意数据特征值出现的可能性；根据该数据特征值和该恶意数据特征值间存在关联的可能性以及该恶意数据特征值出现的可能性预测该数据特征值演变为该恶意数据特征值的可能性；根据该数据特征值为该恶意数据特征值的可能性或者该数据特征值演变为该恶意数据特征值的可能性确定该数据特征值与该恶意数据特征值之间的关联程度。本发明实施例还提供了一种网络恶意数据检测装置，包括：数据采集单元，用于采集网络数据；数据处理单元，用于提取所述网络数据中的数据特征值；数据分析单元，用于获取每个所述数据特征值与预先存储的恶意特征值集合中的恶意数据特征值之间的关联程度；若某个所述数据特征值与所述恶意数据特征值之间的关联程度超出预设关联程度阙值，根据该数据特征值对所述恶意数据特征值集合进行扩充。本发明实施例还提供了一种网络恶意数据检测系统，包括上述网络恶意数据检测装置和显示装置；所述显示装置，用于接收并显示所述网络恶意数据检测装置传输的数据。本发明实施例技术方案，具有如下优点：本实施例提供了一种网络恶意数据检测方法及装置，先采集网络数据，并提取网络数据中的数据特征值，之后获取每个数据特征值与预先存储的恶意特征值集合中的恶意数据特征值之间的关联程度，在某个数据特征值与恶意数据特征值之间的关联程度超出预设关联程度阙值时，根据该数据特征值对恶意数据特征值集合进行扩充。能够不断地修正和优化恶意数据特征值集合，实现了对未知网络威胁的预测判断，以及对网络安全的主动防御，降低了网络恶意数据入侵检测的的误报、漏报率。附图说明为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明实施例1中网络恶意数据检测方法的一个具体实例的流程图；图2为本发明实施例1网络恶意数据检测方法中部署架构的一个具体实例的示意图；图3为本发明实施例1网络恶意数据检测方法中采集网络数据的一个具体实例的流程图；图4为本发明实施例1网络恶意数据检测方法中网络数据采集技术实现方式的一个具体实例的示意图；图5为本发明实施例1网络恶意数据检测方法中提取网络数据中的数据特征值的一个具体实例的流程图；图6为本发明实施例1网络恶意数据检测方法中获取关联程度的一个具体实例的流程图；图7为本发明实施例2中网络恶意数据检测装置的一个具体实例的原理框图。附图标记：1-数据采集单元；2-数据处理单元；3-数据分析单元；4-反馈调节单元；11-捕获子单元；12-存储子单元；13-映射子单元；21-事件分析子单元；22-策略解释子单元；23-提取子单元；31-第一预测子单元；32-第二预测子单元；33-第三预测子单元；34-第四预测子单元；35-关联分析子单元。具体实施方式下面将结合附图对本发明实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在本发明实施例的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。实施例1本实施例提供了一种网络恶意数据检测方法，如图1所示，包括：S1.采集网络数据。具体地，可以持续的采集需要监测的局域网或者互联网的网络数据；也可以每隔预设时间，比如5s中采集需要监测的局域网或者互联网的网络数据。具体可以根据需要监测的局域网或者互联网的网络环境或者安全级别要求等选择适用的采集方式。S2.提取网络数据中的数据特征值。具体地，可以选用现有技术中任意一种数据分析方法来提取网络数据中的数据特征值以获取当前监测的局域网或者互联网的网络环境态势。S3.获取每个数据特征值与预先存储的恶意特征值集合中的恶意数据特征值之间的关联程度。具体地，恶意特征值集合中的恶意数据特征值可以从对一个或者多个监测样本长期监测得到的网络数据中获取。通过获取每个数据特征值与恶意数据特征值之间的关联程度，即使该数据特征值未能与恶意数据特征值匹配成功，属于未知数据特征值，也可以通过其与某个恶意数据特征值间的关联程度判断该数据特征值为该恶意数据特征值的可能性或者演变为该恶意数据特征值的态势。S4.修正恶意数据特征值。其进一步包括：S41.判断某个数据特征值与恶意数据特征值之间的关联程度是否超出预设关联程度阙值。若超出，进入步骤S42；若未超出，返回步骤S1。具体地，关联程度阙值可以根据具体监测的网络环境或者网络环境安全等级的要求来设定，安全等级高，则可以将关联程度阙值调整地比较低，哪怕存在不是特别严重的安全威胁也会将该数据特征值划分至潜在的恶意数据特征值。S42.根据该数据特征值对恶意数据特征值集合进行扩充。具体地，如果采集的网络数据中存在某个数据特征值与恶意数据特征值之间的关联程度超出预设关联程度阙值，说明该数据特征值即使当前还不是恶意数据特征值，但是未来演变为该恶意数据特征值的可能性很高。通过将该数据特征值扩充至恶意数据特征值集合，能够不断地修正和优化恶意数据特征值集合，实现了对未知网络威胁的预测判断，以及对网络安全的主动防御，降低了网络恶意数据入侵检测的的误报、漏报率。优选地，本实施例还提供了另一种网络恶意数据检测方法，除了包括上述步骤S1至S4之外，还包括如下步骤S5至S7：S5.若数据特征值与恶意数据特征值之间的关联程度超出预设关联程度阙值，判断该数据特征值为恶意数据特征值，该数据特征值对应的网络数据为网络恶意数据。S6.统计预设时长内出现网络恶意数据的次数。具体地，预设时长可以根据网络环境或者网络安全等级等情况进行设定，比如可以为1分钟。S7.安全防御。其进一步包括：S71.判断次数是否超出预设安全阙值。若超出，进入步骤S72，若未超出，进入步骤S73。S72.判断出现网络异常，并根据网络异常的异常程度采取对应的安全措施。具体地，对不同异常程度的网络异常采取不同的安全措施，更为符合网络实际环境。比如如果网络异常程度比较小，有可能无需任何动作，如果网络异常程度比较大，有可能就需要执行警报通知了等等。S73.判断网络环境安全。优选地，本实施例还提供了另一种网络恶意数据检测方法，除了包括上述步骤S1至S4或者S1至S7之外，还包括如下步骤S8：S8.根据预设时长内出现网络恶意数据的次数和同时期内的网络环境动态调整预设安全阙值。具体地，通过反馈回的预设时长内出现网络恶意数据的次数以及同时期内的网络环境来动态调整预设安全阈值，能够进一步降低网络恶意数据入侵检测的漏报、误报率。具体地，如图2所示，可以将执行上述步骤S1至S4或者S1至S7的应用程序划分为数据采集层、数据处理层和数据分析层。数据采集层可以选用TAP组件和FRONTEND组件作为采集设备，将采集到的网络数据传输至数据处理层的多个检测子节点，进行数据特征值的提取；之后检测子节点将提取的数据特征值传输至数据分析层的分析服务器，分析服务器中预先存储有恶意特征值集合，该集合包含多个恶意数据特征值，分析服务器接收到数据特征值后，会获取每个数据特征值与恶意数据特征值之间的关联程度，若关联程度超出预设关联程度阙值，会将该数据特征值扩充至恶意数据特征值集合，对恶意数据特征值集合进行更新和修正。之后数据分析层的管理服务器会将分析的网络恶意数据反馈回数据处理层的检测子节点，检测子节点会统计预设时长内出现上述网络恶意数据的次数，并在次数超出预设安全阙值时根据网络异常的程度采取对应的日志记录、执行邮件通知、执行警报通知等安全措施以保障网路环境安全。同时检测子节点还会根据统计的预设时长内出现恶意网络数据的次数以及网络环境对预设安全阈值进行动态调整，以进一步降低网络恶意数据检测的误报、漏报率。优选地，分析服务器还可以将分析得到的各类网络恶意数据等数据进行统计和汇总，采用B/S等可视化架构将统计和汇总后的图表以网页元素的形式在浏览器中进行绘制，并通过显示器等显示装置呈现，实现了数据的可视化，呈现的形式可以有面积图、数据表格、折线图、饼状图、柱形图等，直观明了。优选地，如图3所示，上述各个实施例中，步骤S1包括：S11.捕获网络数据。S12.根据当前网络环境和存储压力将网络数据分流存储至对应的环形缓存区。具体地，捕获的网络数据写入环形缓存区前，需要定位写索引，在写入网络数据后，移动写索引到数据队列的末尾，由于环形缓存区的结构为环形，不需要频繁的进行缓存区的分配和释放，降低了性能损耗。S13.读取网络数据时，将对应的环形缓存区中存储的网络数据直接映射到用户层。具体地，如图4所示，可以采用TAP组件和FRONTEND组件来执行步骤S11至S13。TAP组件可以旁路接入需要采集网络数据的网络环境(包括局域网或互联网)，数据采集功能由TAP组件中的HIGHCAP模块来实现，该模块支持多个10Gb/s网卡的数据采集，并且可以实现最大1Gb/s的网络数据分流，可以为后端的分布式节点提供多路的数据源支持，同时减轻后端数据处理的成本和压力。HIGHCAP模块旁路接入网络环境(包括局域网和互联网)后，会捕获链路层的数据帧并将帧头的目的MAC地址修改为监控端的MAC地址，复制该数据帧并发送到指定的监控端。之后在监控端捕获网络数据后做均衡负载，根据网络环境和后端的处理压力进行分流，将网络数据写入到环形缓存区。FRONTEND组件中的RING-SOCK模块利用环形缓存区和直接内存访问(DirectMemoryAccess，简称DMA)的方式来实现，保证了数据的存取效率，降低了丢包率和性能损耗。优选地，因为检测子节点在读取数据时，需要从用户层获取环形缓存区的网络数据，为了避免网络数据从环形缓存区向用户层内存空间的复制过程，可以使用直接内存访问技术(DirectMemoryAccess，简称DMA技术)将网络数据直接映射到用户层，可以进一步提升网络数据的读取效率，同时降低性能损耗。优选地，如图5所示，上述各个实施例中，步骤S2包括：S21.采用事件分析引擎过滤分析网络数据中的具体协议和由此产生的网络事件。S22.采用策略解释引擎监控并分析每个网络事件的行为特征。S23.将网络事件和其对应的行为特征作为网络数据的数据特征值。优选地，事件分析引擎和策略解释引擎的规则编写基于脚本语言。具体地，事件分析引擎和策略解释引擎的规则编写可以基于Bro语言的脚本，该脚本语言采用事件驱动机制，针对目前主流的网络协议和应用协议预设多种事件处理函数，包括协议通信过程中连接、请求、应答等各个阶段，以及数据传输过程中的状态、包头解析和数据分析等，可以自定义组合实现多种协议的混合分析，应对目前复杂多变的网络环境。表1：事件处理引擎分析记录的http请求信息(示例请求地址www.baidu.com)如表1所示，在策略解释引擎中指定一条策略，包含三个属性(1)www.baidu.com域名对应的IP地址resp_host＝61.135.169.125(2)请求方法method＝GET(3)响应内容属性resp_mime_type＝text/html,若返回响应数据满足该条策略的三个属性，则说明访问正常。若返回响应发现IP地址被篡改，或者响应内容属性与策略规定不一致，说明DNS或者流量遭到了劫持，需要进一步的进行分析。表2：安全措施类型ACTION_NONE无执行动作ACTION_LOG执行日志记录ACTION_EMAIL执行邮件通知ACTION_ALARM执行警报通知如表2所示，可以按照异常程度由低到高的顺序将采取的安全措施依次设置为：无执行动作、执行日志记录、执行邮件通知和执行警报通知。实现了安全保护措施的分级处理。本实施例中的网络恶意数据检测方法，事件分析引擎和策略解释引擎的规则编写基于脚本语言，可以从动态和静态两个方面有效检测和记录各个网络事件及其对应的行为特征，且因为修改和添加均基于脚本语言，易于操作，使得用户和运营商维护人员只需懂得基本的开发知识就可以根据实际的网络情况进行规则的添加，不必等待或者购买来自厂商的升级，确保了及时修补网络环境的监控漏洞，同时也降低了运维的成本。优选地，如图6所示，上述各个实施例中，步骤S32包括：S321.预测任意一个数据特征值为任意一个恶意数据特征值的可能性。S322.关联可能性预测。其进一步包括：S3221.判断某个数据特征值为某个恶意数据特征值的可能性是否低于预设数值。若低于，进入步骤S3222，若不低于，进入步骤S325。S3222.预测该数据特征值和该恶意数据特征值间存在关联的可能性。S323.预测该恶意数据特征值出现的可能性。S324.根据该数据特征值和该恶意数据特征值间存在关联的可能性以及该恶意数据特征值出现的可能性预测该数据特征值演变为该恶意数据特征值的可能性。S325.根据该数据特征值为该恶意数据特征值的可能性或者该数据特征值演变为该恶意数据特征值的可能性确定该数据特征值与该恶意数据特征值之间的关联程度。具体地，可以采用关联算法(比如Apriori算法、FP-Tree算法等)和预测算法(比如Logistic回归算法、岭回归算法和CART树回归算法等)来对数据特征值为任意一个恶意数据特征值的可能性、数据特征值和该恶意数据特征值间存在关联的可能性、恶意数据特征值出现的可能性等进行关联预测，进而获取该数据特征值与恶意数据特征值的关联程度，对未知网络威胁进行预测判断，实现网络安全的主动防御。例如对域名www.baidu.com发起的http连接请求，返回的网络数据中包含了被篡改的响应主机IP地址resp_host和携带的部分异常网页内容等数据特征值，这里定义为X。采用关联算法和预测算法获取数据特征值X与预先存储的恶意数据特征值Y的关联程度，发现X与恶意数据特征值Y的关联程度高达90％，但与恶意数据特征值Y中的特征resp_host关联度不大，有可能是恶意数据特征值Y的一个变种，则此时数据特征值X也被视为一个恶意数据特征值扩充入恶意数据特征值集合，并关联数据特征值X中的resp_host，若X和Y的特征resp_host之间处于同一个网段或者极其类似，可以根据该特征预测来自该网段的网络数据为网络恶意数据并直接阻断或者进行分析处理。实施例2本实施例提供了一种网络恶意数据检测装置，如图7所示，包括：数据采集单元1，用于采集网络数据。数据处理单元2，用于提取网络数据中的数据特征值。数据分析单元3，用于获取每个数据特征值与预先存储的恶意特征值集合中的恶意数据特征值之间的关联程度；若某个数据特征值与恶意数据特征值之间的关联程度超出预设关联程度阙值，根据该数据特征值对恶意数据特征值集合进行扩充。具体地，如果采集的网络数据中存在某个数据特征值与恶意数据特征值之间的关联程度超出预设关联程度阙值，说明该数据特征值即使当前还不是恶意数据特征值，但是未来演变为该恶意数据特征值的可能性很高。通过将该数据特征值扩充至恶意数据特征值集合，能够不断地修正和优化恶意数据特征值集合，实现了对未知网络威胁的预测判断，以及对网络安全的主动防御，降低了网络恶意数据入侵检测的的误报、漏报率。优选地，本实施例提供了另一种网络恶意数据检测装置，在上述实施例的基础上，数据分析单元3，还用于在数据特征值与恶意数据特征值之间的关联程度超出预设关联程度阙值时，判断该数据特征值为恶意数据特征值，该数据特征值对应的网络数据为网络恶意数据。数据处理单元2，还用于统计预设时长内出现网络恶意数据的次数，并在次数超出预设安全阙值时，判断出现网络异常，并根据网络异常的异常程度采取对应的安全措施。具体地，对不同异常程度的网络异常采取不同的安全措施，更为符合网络实际环境。比如如果网络异常程度比较小，有可能无需任何动作，如果网络异常程度比较大，有可能就需要执行警报通知了等等。优选地，本实施例还提供了另一种网络恶意数据检测装置，在上述实施例的基础上，还包括反馈调节单元4，用于根据预设时长内出现网络恶意数据的次数和同时期内的网络环境动态调整预设安全阙值。具体地，通过反馈回的预设时长内出现网络恶意数据的次数以及同时期内的网络环境来动态调整预设安全阈值，能够进一步降低网络恶意数据入侵检测的漏报、误报率。优选地，本实施例中的网络恶意数据检测装置，其数据采集单元1包括：捕获子单元11，用于捕获网络数据。存储子单元12，用于根据当前网络环境和存储压力将网络数据分流存储至对应的环形缓存区。优选地，数据采集单元1还包括：映射子单元13，用于在读取网络数据时，将对应的环形缓存区中存储的网络数据直接映射到用户层。优选地，本实施例中的网络恶意数据检测装置，其数据处理单元2包括：事件分析子单元21，用于采用事件分析引擎过滤分析网络数据中的具体协议和由此产生的网络事件。策略解释子单元22，用于采用策略解释引擎监控并分析每个网络事件的行为特征。提取子单元23，用于将网络事件和其对应的行为特征作为网络数据的数据特征值。优选地，事件分析引擎和策略解释引擎的规则编写基于脚本语言。优选地，本实施例中的网络恶意数据检测装置，其数据分析单元3包括：第一预测子单元31，用于预测任意一个数据特征值为任意一个恶意数据特征值的可能性。第二预测子单元32，用于在第一预设子单元31预测某个数据特征值为某个恶意数据特征值的可能性低于预设数值时，预测该数据特征值和该恶意数据特征值间存在关联的可能性。第三预测子单元33，用于预测该恶意数据特征值出现的可能性。第四预测子单元34，用于根据该数据特征值和该恶意数据特征值间存在关联的可能性以及该恶意数据特征值出现的可能性预测该数据特征值演变为该恶意数据特征值的可能性。关联分析子单元35，用于根据该数据特征值为该恶意数据特征值的可能性或者该数据特征值演变为该恶意数据特征值的可能性确定该数据特征值与该恶意数据特征值之间的关联程度。实施例3本实施例提供了一种网络恶意数据检测系统，包括实施例2中的网络恶意数据检测装置和显示装置。显示装置，用于接收并显示网络恶意数据检测装置传输的数据。具体地，显示装置可以为显示屏。本实施例中的恶意数据检测系统，其网络恶意数据检测装置在某个数据特征值与恶意数据特征值之间的关联程度超出预设关联程度阙值时，根据该数据特征值对恶意数据特征值集合进行扩充。能够不断地修正和优化恶意数据特征值集合，实现了对未知网络威胁的预测判断，以及对网络安全的主动防御，降低了网络恶意数据入侵检测的的误报、漏报率。本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。当前第1页1 2 3