专利名称：高性能日志及行为审计系统的制作方法
技术领域：
本发明属于日志及行为审计领域，具体是涉及一种高性能日志及行为审 计系统。
背景技术：
目前的日志和行为审计系统在釆集数据、分析数据和存储数据时，主要是利用limix/unix或者Windows服务器，采用通用的关系数据库来构建系统平 台，在此平台上进一步开发对数据采集和分析存储的应用。然而对于日志和 行为这样的大数据量的环境来讲，应用这样的平台往往在采集、分析和检索 上无法满足性能的要求。原因在于1、对于服务器而言，为了满足业务和稳 定性的需要，.运行了很多的服务和守护进程，但这些服务和守护进程大多数 对于审计应用而言是没有必要的；2、对于通用的关系数据库而言，除了提供 数据存储和査询之外，还需要提供很多数据关联性的功能，因此无法满足审 计中数据关.系单一但同时数据量巨大的快速检索；3、往往开发出来的应用， 采集、分析和存储不能完全独立，导致一旦有某个模块上产生瓶颈就很难应 用。发明内容本发明主要是解决上述现有技术所存在的技术问题，提供一种高性能曰 志及行为审计系统。本发明的上述技术问题主要是通过下述技术方案得以解决的本发明系 统主体采用数据采集层、数据分析层和数据存储检索层三层设计，各层之间 采用TCP加密传输，各层均可以单独扩展，从而提高单层的性能。其中数据采集层采用PCI-E网络接口工控板，配置INTEL双核CPU、 DDRII内存和DOM盘。裁剪Linux内核，只菌下必要的驱动和模块。制作启 动镜像，并且使系统启动以后完全运行在内存中，以加快系统运行速度。采集程序工作在该层中并采用零拷贝技术，在数据采集的初期，完成大部分无 用数据的过滤，减少分析和拷贝的压力。采集到的数据格式化为统一的结构体，通过TCP加密传输至数据分析层。数据分析层采用服务器主板，配置AMD ATHLON 64位双核CPU和SATA 硬盘RAID5。裁剪Linux内核，只留下必要的驱动和模块。制作启动镜像， 并且使系统启动以后完全运行在内存中，以加快系统运行速度。数据分析模 块工作在该层中并接收来自采集层的数据，采用树型规则库分析每条数据， 采取相应的动作，然后将数据通过TCP加密传输至数据存储检索层。数据存储检索层采用服务器主板，配置AMD ATHLON 64位双核CPU和 SATA硬盘RAID5。裁剪Linux内核，只留下必要的驱动和模块。制作启动镜 像，并且使系统启动以后完全运行在内存中，以加快系统运行速度。数据存 储检索层工作在此系统中，接收来自数据分析层的数据，接收到的数据首先 存储于ramdisk中，到一定量了之后，批量写入硬盘。在写入时，首先将结构 体转为二进制流，然后将结构体中唯一的序号和二进制流一一对应写入原始 数据文件。写入硬盘之后，为了能高效地检索，为统一结构体的每个字段建 立索引文件。结构体分为数字型和字符串型两种数据，往往对于这两种数据， 不仅计算机处理方式不同，而且需要检索的方式也不同(例如，数字型通常 为大于、小于和等于，而字符串型为包含或不包含)。因此，建立索引文件时 根据类型不同，所建立的索引文件也不同。数字型索引文件通过二进制的方 式来建立，文件中包含两种信息 一是结构体中对应字段的数值，二是对应 的结构体索引编号(对于每条数据而言，序号是唯一的> 在检索时，通过对对 应索引文件的检索，可以检索出符合条件的序号集合，通过这个集合，可以 在原始数据文件中获取数据。字符串索引文件首先计算字符串hash值，文件 中包含三种信息 一是结构体中对应字段的原始字符串，二是字符串对应的 hash值，三是对应的结构体索引编号(对于每条数据而言，序号是唯一的)。在 检索时，通过对对应索引文件的检索，可以检索出符合条件的序号集合，通 过这个集合，可以在原始数据文件中获取数据。本发明高性能日志及行为审计系统的设计完全基于嵌入式系统，并且在 采集上对软硬件进行针对性优化，在日志和行为型数据的存储和检索上采用 专用的软硬件接口和算法，在模块的设计上保持独立性，便于扩展，不会在 单一模块上造成瓶颈。
图1是本发明的一种结构示意图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。实施例参看图l，本发明系统主体采用数据采集层、数据分析层和数据 存储检索层三层设计，各层之间采用TCP加密传输，各层均可以单独扩展，从而提高单层的性能。其中数据采集层采用PCI-E网络接口工控板，配置INTEL双核CPU、 DDRII内存和DOM盘。裁剪Linux内核，只留下必要的驱动和模块。制作启 动镜像，并且使系统启动以后完全运行在内存中，以加快系统运行速度。釆 集程序工作在该层中并采用零拷贝技术，在数据采集的初期，完成大部分无 用数据的过滤，减少分析和拷贝的压力。采集到的数据格式化为统一的结构 体，通过TCP加密传输至数据分析层。数据分析层采用服务器主板，配置AMD ATHLON 64位双核CPU和SATA 硬盘RAID5。裁剪Li皿x内核，只留下必要的驱动和模块。制作启动镜像， 并且使系统启动以后完全运行在内存中，以加快系统运行速度。数据分析模 块工作耷该层中并接收来自采集层的数据，采用树型规则库分析每条数据， 采取相应的动作，然后将数据通过TCP加密传输至数据存储检索层。.数据存储检索层采用服务器主板，配置AMD ATHLON 64位双核CPU和 SATA硬盘RAID5。裁剪Linux内核，只留下必要的驱动和模块。伟i作启动镜 像，并且使系统启动以后完全运行在内存中，以加快系统运行速度。数据存储检索层工作在此系统中，接收来自数据分析层的数据，接收到的数据首先存储于ramdisk中，到一定量了之后，批量写入硬盘。在写入时，首先将结构 体转为二进制流，然后将结构体中唯一的序号和二进制流一一对应写入原始 数据文件。写入硬盘之后，为了能高效地检索，为统一结构体的每个字段建 立索引文件。结构体分为数字型和字符串型两种数据，往往对于这两种数据， 不仅计算机处理方式不同，而且需要检索的方式也不同(例如，数字型通常 为大于、小于和等于，而字符串型为包含或不包含)。因此，建立索引文件时 根据类型不同，所建立的索引文件也不同。数字型索引文件通过二进制的方 式来建立，文件中包含两种信息 一是结构体中对应字段的数值，二是对应 的结构体索引编号(对于每条数据而言，序号是唯一的)。在检索时，通过对对应索引文件的检索，可以检索出符合条件的序号集合，通过这个集合，可以 在原始数据文件中获取数据。'字符串索引文件首先计算字符串hash值，文件 中包含三种信息 一是结构体中对应字段的原始字符串，二是字符串对应的 hash值，三是对应的结构体索引编号(对于每条数据而言，序号是唯一的)。在 检索时，通过对对应索引文件的检索，可以检索出符合条件的序号集合，通 过这个集合，可以在原始数据文件中获取数据。在这一系列的过程中，性能消耗最大同时也是对性能要求最高的地方， 就在于存储和检索这一步。在存储和检索上，硬^:会产生频繁的读写，为了 提高这一性能，系统使用了软件配合硬件的设计。首先，软件上尽量保证批 量写入磁盘；然后，在批量写入的同时，按照DMA写入块大小分割写入数据; 最后，在读写硬盘时，用合理的算法尽量减小磁盘寻道次数。由于在这些读 写设计时与硬件和操作系统内核的关系紧密，因此只能采用定制内核和硬件 的方法来保障效率。最后，应当指出，以上实施例仅是本发明较有代表性的例子。显然，本 发明的技术方案并不限于上述实施例，还可以有许多变形。本领域的普通技 术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本 发明的保护范围。
权利要求
1. 一种高性能日志及行为审计系统，其特征是在所述系统主体采用数据采集层、数据分析层和数据存储检索层三层设计，各层之间采用TCP加密传输，各层均可以单独扩展，从而提高单层的性能；其中数据采集层采用PCI-E网络接口工控板，配置INTEL双核CPU、DDRII内存和DOM盘，裁剪Linux内核，只留下必要的驱动和模块，制作启动镜像，并且使系统启动以后完全运行在内存中，以加快系统运行速度；采集程序工作在该层中并采用零拷贝技术，在数据采集的初期，完成大部分无用数据的过滤，减少分析和拷贝的压力，采集到的数据格式化为统一的结构体，通过TCP加密传输至数据分析层；数据分析层采用服务器主板，配置AMD ATHLON 64位双核CPU和SATA硬盘RAID5，裁剪Linux内核，只留下必要的驱动和模块，制作启动镜像，并且使系统启动以后完全运行在内存中，以加快系统运行速度；数据分析模块工作在该层中并接收来自采集层的数据，采用树型规则库分析每条数据，采取相应的动作，然后将数据通过TCP加密传输至数据存储检索层；数据存储检索层采用服务器主板，配置AMD ATHLON 64位双核CPU和SATA硬盘RAID5，裁剪Linux内核，只留下必要的驱动和模块，制作启动镜像，并且使系统启动以后完全运行在内存中，以加快系统运行速度；数据存储检索层工作在该层中并接收来自数据分析层的数据，接收到的数据首先存储于ramdisk中，到一定量了之后，批量写入硬盘；在写入时，首先将结构体转为二进制流，然后将结构体中唯一的序号和二进制流一一对应写入原始数据文件。
2. 根据权利要求1所述的高性能日志及行为审计系统，其特征是在所述数 据存储检索层中，接收来自数据分析层的数据并批量写入硬盘之后> 为了能 高效地检索，为统一结构体的每个字段建立索引文件；结构体分为数字型和字符串型两种数据，数字型索引文件通过二进制的方式来建立，文件中包含 结构体中对应字段的数值和对应的结构体索引编号两种信息，在检索时通过 对对应索引文件的检索，可以检索出符合条件的序号集合，通过这个集合，可以在原始数据文件中获取数据；字符串索引文件首先计算字符串hash值， 文件中包含结构体中对应字段的原始字符串、字符串对应的hash值和对应的 结构体索引编号三种信息，在检索时通过对对应索引文件的检索，可以检索 出符合条件的序号集合，通过这个集合可以在原始数据文件中获取数据。
全文摘要
本发明公开了一种高性能日志及行为审计系统，系统主体采用数据采集层、数据分析层和数据存储检索层三层设计，各层之间采用TCP加密传输，各层均可以单独扩展，从而提高单层的性能。本发明完全基于嵌入式系统，并且在采集上对软硬件进行针对性优化，在日志和行为型数据的存储和检索上采用专用的软硬件接口和算法，在模块的设计上保持独立性，便于扩展，不会在单一模块上造成瓶颈。
文档编号G06F17/30GK101267338SQ20081006048
公开日2008年9月17日 申请日期2008年4月23日 优先权日2008年4月23日
发明者黄艺海 申请人:杭州思福迪信息技术有限公司