基于配置的数据归并方法
【技术领域】
[0001] 本发明涉及电子信息技术领域，尤其是一种基于配置的数据归并方法。
【背景技术】
[0002] 安全信息管理技术用于搜集、分析和关联来自于整个企业的安全事件信息，安全 信息管理技术具体是指搜集和分析安全事件信息，及时地检测到安全事件，并采取相应的 网络安全管理措施。安全信息管理系统需要收集各类安全设备、网络设备、主机W及应用系 统的日志和告警数据等多种类型的数据，各种数据的类型不尽相同。目前，数据归并主要采 用的方法是将多种数据类型采用硬编码的方式预先定义在程序中，由程序对各种类型的数 据分别进行归并。
[0003] 采用上述方式的主要缺点在于，数据类型定义好之后便很难再进行修改，此外，由 于网络产品的日益增多，系统需要处理的数据类型也在不断的增加，现有的数据类型也会 不断的更新，采用硬编码的方式预先定义数据类型，不利于系统的扩展，大大降低了系统的 可维护性。
【发明内容】
[0004] 本发明的目的是；提供一种基于配置的数据归并方法，它解决硬编码方式无法进 行数据类型修改与扩展的问题，实现一种对各种类型的数据进行归并的通用方法，W克服 现有技术的不足。
[0005] 本发明是该样实现的：基于配置的数据归并方法，按照数据的类型将数据的结构 信息、归并规则存储在对应的配置文件中；接收到数据后，根据所接收的数据的类型读取出 对应的配置文件，根据所读取的配置文件中的结构信息和归并规则滤除或保留该数据；若 保留该数据，则根据所读取的配置文件中的结构信息和归并规则将该数据与相应数据进行 合并。
[0006] 优选的方案是，数据的结构信息包括数据的各字段的偏移量，过滤规则下包含过 滤规则策略，过滤规则策略下包含数据中每个字段的字段过滤策略；根据过滤规则下的字 段过滤策略查找过滤字段W及过滤条件；从数据结构信息中查找过滤字段的偏移量，根据 接收的数据在内存中存储的首地址W及过滤字段的偏移量，在内存中查找到该过滤字段的 字段值。
[0007] 进一步地，根据所读取的配置文件中的结构信息和合并规则将该数据与相应数据 进行合并的过程包括： 从数据结构信息中查找接收的数据的每个字段的偏移量，根据该接收的数据在内存中 存储的首地址W及每个字段的偏移量，在内存中查找到每个字段的字段值； 判断合并队列中是否存在与接收的数据合并规则策略相同的数据，如果存在，则将接 收的数据的每个字段的字段值，按照每个字段的字段合并策略中的合并方式属性，合并入 合并队列中合并规则策略相同的数据中；否则，将该接收的数据加入合并队列中。
[000引进一步地，字段过滤策略包含使能属性，该使能属性标识过滤字段，字段过滤策略 还包含过滤判断操作、操作数1和操作数2属性，该过滤判断操作、操作数1和操作数2属 性表示过滤条件。
[0009] 进一步地，在进行合并的过程中，从数据结构信息中查找接收的数据的每个字段 的偏移量前，还包括： 根据合并规则的字段合并策略的使能属性查找合并过滤字段W及获取字段合并策略 的过滤判断操作、操作数1和操作数2属性作为合并过滤条件； 从数据结构信息中查找合并过滤字段的偏移量，根据接收的数据在内存中存储的首地 址W及合并过滤字段的偏移量，在内存中查找到该合并过滤字段的字段值； 判断合并过滤字段的字段值是否满足合并过滤条件，并根据合并规则策略的合并过滤 模式属性选择滤除或保留所接收的数据，如果保留所接收的数据，则进一步执行从数据结 构信息中查找接收的数据的每个字段的偏移量。
[0010] 进一步地，将数据加入合并队列中后，记录数据加入合并队列的时长W及数据队 列中的数据个数； 当合并队列中的某个数据加入合并队列的时长等于合并规则中的合并时间间隔时，将 该数据存入发送队列； 当合并队列中的数据个数满足合并规则的合并队列的限制长度后，将合并队列中的数 据存入发送队列。
[0011] 进一步地，一种数据过滤的方法，包括： 按照数据的类型将数据的结构信息和过滤规则存储在对应的配置文件中； 接收到数据后，接收到数据后，根据所接收的数据的类型读取出对应的配置文件，根据 所读取的配置文件中的结构信息和过滤规则滤除或保留该数据。
[0012] 进一步地，数据的结构信息包括；数据的各字段的偏移量； 过滤规则下包含过滤规则策略，过滤规则策略下包含数据中每个字段的字段过滤策 略； 根据所读取的配置文件中的结构信息和过滤规则滤除或保留该数据的过程包括： 根据过滤规则的字段过滤策略查找过滤字段W及过滤条件； 从数据结构信息中查找过滤字段的偏移量，根据接收的数据在内存中存储的首地址W及过滤字段的偏移量，在内存中查找到过滤字段的字段值； 判断过滤字段的字段值是否满足过滤条件，并根据过滤规则策略的过滤模式属性选择 滤除或保留所接收的数据。
[0013] 进一步地，一种数据合并的方法，包括： 按照数据的类型将数据的结构信息和合并规则存储在对应的配置文件中； 接收到数据后，根据所接收的数据的类型读取出对应的配置文件，根据读取的配置文 件中的结构信息和合并规则将该数据与相应数据进行合并。
[0014] 进一步地，数据的结构信息包括；数据的各字段的偏移量； 合并规则下包含合并规则策略，合并规则策略下包含数据中每个字段的字段合并策 略； 根据读取的配置文件中的结构信息和合并规则将该数据与相应数据进行合并的过程 包括： 从数据结构信息中查找接收的数据的每个字段的偏移量，根据该接收的数据在内存中 存储的首地址W及每个字段的偏移量，在内存中查找到每个字段的字段值； 判断合并队列中是否存在与接收的数据合并规则策略相同的数据，如果存在，则将接 收的数据的每个字段的字段值，按照每个字段的字段合并策略终端的合并方式属性，合并 入合并队列中合并规则策略相同的数据中；否则，将该接收的数据加入合并队列中。
[0015] 由于采用了上述技术方案，与现有技术相比，本发明采用配置文件存储各种不同 类型数据的结构信息、过滤规则和合并规则，通过字段的偏移量W及数据在内存中的起始 位置读取相应的字段值，从而进行数据的归并，增加系统的灵活性，当系统中新增数据类型 时，只需要将新增类型的数据的结构信息、过滤规则和合并规则存入配置文件中，即可完成 该类数据的归并，为各种类型的数据的归并提供了简易的接口，增强了可扩充性W及灵活 性。
【附图说明】
[0016] 图1为本发明的工作流程图。
【具体实施方式】
[0017] 本发明的实施例：基于配置的数据归并方法，按照数据的类型将数据的结构信 息、归并规则存储在对应的配置文件中；接收到数据后，根据所接收的数据的类型读取出对 应的配置文件，根据所读取的配置文件中的结构信息和归并规则滤除或保留该数据；若保 留该数据，则根据所读取的配置文件中的结构信息和归并规则将该数据与相应数据进行合 并；数据的结构信息包括数据的各字段的偏移量，过滤规则下包含过滤规则策略，过滤规则 策略下包含数据中每个字段的字段过滤策略；根据过滤规则下的字段过滤策略查找过滤字 段W及过滤条件；从数据结构信息中查找过滤字段的偏移量，根据接收的数据在内存中存 储的首地址W及过滤字段的偏移量，在内存中查找到该过滤字段的字段值。
[0018] 本实施例采用xml配置文件存储数据的结构信息、过滤规则和合并规则，在数据 的结构信息中，对数据的每个字段除了设置字段类型、名称和大小等属性外，还需要设置一 个偏移量（offset)属性，用W表明字段相对于其所属数据在内存中的起始位置的偏移量， 通过数据在内存中的起始位置W及该数据某一字段的偏移量来获取字段值，W进行数据的 归并。
[0019] 下面结合附图对本发明的【具体实施方式】进行说明。
[0020] 为实现数据的归并，需要为各种类型的数据定义数据结构、过滤规则和合并规则， 并将同种类型数据的结构信息、过滤规则和合并规则存储在一配置文件中。
[0021]1、数据的结构说明。
[0022] 数据的结构（Struct)具有的属性包括；名称（Name)、结构体说明（Text)、结构体 类型（Type)、结构体大小（Size)和过滤合并（FilterMerge)等，表1为对结构属性的说明。
【主权项】
1. 一种基于配置的数据归并方法，其特征在于：按照数据的类型将数据的结构信息、 归并规则存储在对应的配置文件中；接收到数据后，根据所接收的数据的类型读取出对应 的配置文件，根据所读取的配置文件中的结构信息和归并规则滤除或保留该数据；若保留 该数据，则根据所读取的配置文件中的结构信息和归并规则将该数据与相应数据进行合 并。
2. 根据权利要求1所述的基于配置的数据归并方法，其特征在于：数据的结构信息包 括数据的各字段的偏移量，过滤规则下包含过滤规则策略，过滤规则策略下包含数据中每 个字段的字段过滤策略；根据过滤规则下的字段过滤策略查找过滤字段W及过滤条件；从 数据结构信息中查找过滤字段的偏移量，根据接收的数据在内存中存储的首地址W及过滤 字段的偏移量，在内存中查找到该过滤字段的字段值。
【专利摘要】本发明公开了一种基于配置的数据归并方法，它采用配置文件存储各种不同类型数据的结构信息、过滤规则和合并规则，通过字段的偏移量以及数据在内存中的起始位置读取相应的字段值，从而进行数据的归并，增加系统的灵活性，当系统中新增数据类型时，只需要将新增类型的数据的结构信息、过滤规则和合并规则存入配置文件中，即可完成该类数据的归并，为各种类型的数据的归并提供了简易的接口，增强了可扩充性以及灵活性。
【IPC分类】H04L12-24
【公开号】CN104717078
【申请号】CN201310677447
【发明人】王皓然, 文才豪
【申请人】贵州电网公司信息通信分公司
【公开日】2015年6月17日
【申请日】2013年12月13日