用于收集进入到网络威胁检测装置的含有入侵行为的数据块以及日志文件；
[0029]入侵迹象分析引擎模块，用于对信息收集模块手机的数据块进行分析，并且与日志文件进行文联，确定数据块是否存在入侵行为，若是存在，则进行报警；
[0030]主动协同学习功能模块，与其他安全软件平台或系统协同工作，获得病毒信息以及网络威胁等安全信息数据，以更新自身信息库。
[0031]本实施例可扩展接口模块用于与第三方网络设备或4A系统连接，使得网络病毒和威胁监测系统能够配合第三方网络设备或4A系统实现联动处理网络病毒和威胁的功能。其中包含设备接口控制协议，传输速率等。本实施例中可扩展接口模块包括防火墙、交换机、流量控制设备和防DDos设备接口 ；本实施例中第三方网络设备为防火墙、交换机、流量控制设备或防DDos设备中的其中一种或多种，通过第三方网络设备实现对电信级别的海量数据环境下的网络病和毒威胁做到了精确定位。
[0032]在本实施例为基于云环境Hadoop架构下的网络病毒和威胁监测系统。其中Hadoop为一个多系统节点的架构，多个系统节点构成了一个集群，且集群中的系统节点可无限扩展，同一集群可实现并行处理同一个任务，大大提高了海量数据的处理能力和效率，可满足电信级别链路的网络病毒及威胁的监测要求，并可平滑扩展到更高带宽的链路环境。在云环境下采用虚拟化架构，大大节省了由于要处理海量信息所待的成本，同时也避免了由于单系统节点处理信息遗漏的问题。
[0033]本实施例Hadoop架构的网络病毒和威胁监测系统的工作过程如下:
[0034](I)病毒及威胁统计分析模块采用云计算环境下Hadoop架构中的MapReduce技术，利用分光器将网络海量数据包分光复制出一份，再将海量数据包自动分割成成Map函数能够完全并行处理的独立数据块并且分配到计算机集群的各个节点中进行数据特征分析，分析出含有网络病毒特征和含有入侵行为的数据块；其中每个独立的数据块相对于一个Map任务，这些Map任务被分配到计算机集群的各个节点中进行分布式执行。
[0035](2)病毒检测模块对分配到计算机集群各个节点中含有网络病毒特征的数据块进行病毒扫描、分类和查杀；具体过程为:
[0036]首先，病毒扫描(Virus scan)模块米用启发式代码扫描方法结合传统知识库即病毒特征库对分配到计算机集群各个节点中含有网络病毒特征的数据块进行病毒扫描，检测出数据块中是否存在木马、蠕虫、间谍程序等潜在的可疑信息。本实施例中在采用启发式代码扫描方法后，再利用传统知识库即病毒特征库实现病毒扫描，其中传统知识库即病毒特征库扫描方法具体过程如下:
[0037]网络病毒及威胁监测引擎VEngine遍历目录，生成被扫描对象AScanObj，并生成的将扫描对象AScanObj传递到病毒特征库m_pcVDB ；
[0038]病毒特征库m_pcVDB搜索自身的记录，并调用被扫描对象的Compaare O ID,将被扫描对象与病毒特征库中的信息进行匹配；
[0039]返回被扫描对象匹配结果，根据匹配结果判断被扫描对象是否为病毒身份，以得出计算机集群各节点含有网络病毒特征的数据块是否存在网络病毒潜在的可疑信息。
[0040]然后，信息分类(INFO classify)模块对可疑信息进行分类并且上传，管理员根据上传的分类可疑信息判断对应数据块是否感染病毒；
[0041]最后，病毒查杀(Kill virus)模块针对存在病毒感染的数据块进行病毒查杀，同时通过病毒特征更新(Live update)模块对病毒特征库进行更新。
[0042](3)、网络威胁检测模块采用入侵检测方法对分配到计算机集群各个节点中含有入侵行为的数据块进行入侵检测，通过信息收集模块收集进入到网络威胁检测模块的含有入侵行为的数据块以及日志文件，在发现有入侵迹象时，入侵迹象分析引擎模块对其入侵迹象分析模式匹配性，确认是否为入侵行为，在进行数据完整性分析，确认数据块是否已经被串改，在确认入侵行为时，进行报警并且对入侵行为进行阻截，并记录入侵行为来源，将来源进行封堵；管理人员在接收到报警后，及时进行相关处理。
[0043](4)、采用云计算环境下Hadoop架构中MapReduce技术的Reduce函数对计算机集群节点上被感染网络病毒的各数据块以及获取的计算机集群节点上存在网络入侵行为的各数据块进行信息统计汇总，其中计算机集群节点上被感染网络病毒的各数据块以及计算机集群节点上存在网络入侵行为的各数据块为Map任务完成时声称的中间文件，这些中间文件作为Reduce任务的输入数据，输出网络病毒和网络威胁的分析汇总信息。
[0044]本实施例病毒检测模块中病毒扫描模块采用启发式代码扫描方法结合传统知识库即病毒特征库对分配到计算机集群各个节点中含有网络病毒特征的数据块进行病毒扫描。当然本实施例也可以采用检查常规内存数法、系统数据对比法、实时检测法或软件模拟法结合传统知识库即病毒特征库对分配到计算机集群各个节点中含有网络病毒特征的数据块进行病毒扫描。
[0045]其中启发式代码扫描方法利用自主的查杀功能对病毒进行处理，其中包含原始代码分析、特征代码标示和人工分析，当启发式代码扫描完成后，将启用传统的特征病毒库扫描，双层对比扫描，将病毒完全阻截出来。启发式代码扫描方法是把程序员对病毒与程序的区别的这种经验和知识移植到一个防病毒产品中。所谓启发式指“自我发现的能力”或“运用某种方式或方法去判定事物的知识和技能”。一个运用启发式代码扫描方法的病毒检测产品，实际上就是以特定方式实现的动态反编译器，通过对有关指令序列的反编译足部理解和去顶其蕴藏的真正动机。
[0046]上述实施例为本实用新型较佳的实施方式，但本实用新型的实施方式并不受上述实施例的限制，其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本实用新型的保护范围之内。
【主权项】
1.一种基于Hadoop架构的网络病毒和威胁监测系统，其特征在于，包括:病毒及威胁统计分析装置、病毒检测装置和网络威胁检测装置，所述病毒检测装置和网络威胁检测装置分别与病毒及威胁统计分析装置连接。2.根据权利要求1所述的基于Hadoop架构的网络病毒和威胁监测系统，其特征在于，还包括与病毒及威胁统计分析装置连接的可扩展接口模块，用于与第三方网络设备或4A系统连接，使得网络病毒和威胁监测系统配合第三方网络设备或4A系统联动处理网络病毒和威胁。3.根据权利要求2所述的基于Hadoop架构的网络病毒和威胁监测系统，其特征在于，所述可扩展接口模块包括防火墙、交换机、流量控制设备和防DDos设备接口。4.根据权利要求3所述的基于Hadoop架构的网络病毒和威胁监测系统，其特征在于，与可扩展接口模块连接的第三方网络设备为防火墙、交换机、流量控制设备或防DDos设备中的其中一种或多种。5.根据权利要求1所述的基于Hadoop架构的网络病毒和威胁监测系统，其特征在于，所述病毒及威胁统计分析装置包括数据分割模块和数据分析模块，数据分割模块的输出端和数据分析模块的输入端连接。6.根据权利要求1所述的基于Hadoop架构的网络病毒和威胁监测系统，其特征在于，所述病毒检测装置包括依次连接的病毒扫描模块、信息分类模块、病毒查杀模块以及病毒特征更新模块，其中病毒扫描模块的输入端连接病毒及威胁统计分析装置的输出端。7.根据权利要求1所述的基于Hadoop架构的网络病毒和威胁监测系统，其特征在于，所述网络威胁检测装置包括依次连接的信息收集模块、入侵迹象分析引擎模块以及主动协同学习功能模块，信息收集模块的输入端连接病毒及威胁统计分析装置的输出端。
【专利摘要】本实用新型公开了一种基于Hadoop架构的网络病毒和威胁监测系统，包括：病毒及威胁统计分析装置，将网络中海量数据包自动分割成数据块，并且分配到计算机集群的各个节点中进行数据特征分析，分析出含有网络病毒特征和含有入侵行为的数据块；病毒检测装置，对接收的含有网络病毒特征的数据块进行病毒扫描、分类以及查杀；网络威胁检测装置，对接收的含有入侵行为的数据块进行检测，检测到含有入侵行为时报警。病毒检测装置和网络威胁检测装置分别与病毒及威胁统计分析装置连接；通过本实用新型实现在高带宽、大容量数据环境下对网络上的病毒和威胁进行监测，提升海量数据的处理能力和效率，满足电信级别骨干网络病毒和威胁的实时监测。
【IPC分类】H04L29/06, H04L29/08
【公开号】CN204669399
【申请号】CN201520256639
【发明人】刘伟雄, 郑东曦, 蒋昆池
【申请人】广州万方计算机科技有限公司
【公开日】2015年9月23日
【申请日】2015年4月23日