专利名称：基于相似数据集的网络监测数据压缩存储和联合检测方法
技术领域：
本发明涉及数据的压缩存储和联合检测方法，尤其是具有相似数据集的海量网络监测数据的压缩存储和联合检测方法。
背景技术：
最近几年，随着信息技术的发展，特别是Intemet技术的发展，世界各国的信息量都呈爆炸性增长趋势，高于1012字节的海量数据库已成为常见的数据库。例如，美国NASA发射的人造卫星每年要向地面返回1015字节的观测数据。美国劳伦斯国家实验室的高能物理实验数据高达每年3×1014字节。
网络安全监测同样要存储和处理大量的数据。网络安全监测保存的数据可以是路由表、路由报文和IP报文等类型的信息。BGP(边界网关协议)是骨干网络最重要的路由协议，对BGP路由表进行监测可以发现路由异常和路由攻击行为，为路由系统与基础网络的安全保证和健康运行提供早期预警。核心网络BGP转发表的数目已经从2002年的130 000条增长到2006年5月份的245 000条左右，由于到一个目标网络的路由不止一条，BGP路由表的数目更是达到674000条(根据Telstra公司编号为1221的自治系统的数据)，并且BGP路由表的大小仍然呈现出指数增长的趋势。如果要对某些路由系统进行长期监测，并对历史信息作分析统计，不断采集到的路由表将会使存储的数据量线性膨胀，变得非常庞大。
对路由报文和IP报文等一般进行实时捕获和实时检测，但是为了对潜在的网络安全威胁进行更深入的数据挖掘，往往需要把不同地点或不同时间采集的数据保存下来，进行联合的分析和检测，这样需要存储的报文数据会非常多。就BGP路由报文而言，每天一个路由器的路由更新信息有数百兆字节，往往要对多个时间多个路由器的路由更新进行分析才能发现一些隐蔽的路由攻击行为。对于IP数据报文，由于骨干网络的带宽已经达到10Gbps以上，即使进行预处理和过滤操作，需要保存的用于安全检测的数据量仍然非常巨大。
为了便于组织和处理，网络监测数据可以采用数据库存储。数据库常用的数据模型主要有关系模型、层次模型、面向对象模型和基于逻辑的模型等。关系数据库采用关系模型作为数据的组织方式。关系数据库因其严格的数学理论、使用简单灵活、数据独立性强等特点，被公认为最有前途的一种数据库管理系统。它的发展十分迅速，目前已成为占据主导地位的数据库管理系统。
信息量的这种爆炸式增长给当前的数据库管理技术带来了挑战。从硬件的角度看，目前对于这种海量数据进行存储与管理的主要方法是三级存储和并行存储。三级存储方法的硬件开销比较大，主要是通过扩充硬件设备来获取更大的存储空间，加大存储容量的同时也大大增加了查询的处理时间，降低了数据库的效率。并行数据库技术也是通过增加硬件开销来获取高速的处理，但是硬件处理能力的增长速度远远跟不上信息爆炸的速度。因此，当前对海量数据库更加经济的一种存储方法是对数据库里需要存储的数据进行压缩，于是人们提出了数据压缩方法。数据压缩可以提高海量数据的存储效率，也可提高数据库性能。
数据压缩的根据是数据本身存在冗余，方法是根据数据的存储模式，对于特定模式的数据进行特定形式的压缩。
从压缩效果来看，压缩方法分为有损压缩和无损压缩；从压缩的对象来看，压缩方法主要分为通用数据压缩和多媒体数据压缩。多媒体数据压缩方法主要用于视频和音频信号的压缩传输；通用数据压缩方法包括基于统计模型的压缩方法和基于字典模型的压缩方法；增量压缩是利用两个文件之间的内容差异来进行编码压缩；把数据压缩应用到数据库的存储中，在访问时通常都要为数据解压缩耗费很大的时间开销。
但现有的这些压缩方法都没有充分利用网络监测数据的一些固有特性。网络监测数据是一类特殊的数据集，不同的数据集之间存在大量相同的记录，这些相同记录使得各个数据集之间存在极大的数据冗余。具有这种特性的数据集称为相似数据集。以域间路由协议BGP的路由表为例，对某个路由器的路由状态进行监测，定期采集并保存该路由器在不同时刻的路由状态。路由的相对稳定性使得同一个路由器的路由状态的改变符合时间局部性原理，两个相邻时间采集的路由表中存在大量的相同路由表项，因而各个数据表之间也存在着大量的数据冗余。相关的压缩存储方法多是对单个数据文件在更大的时间粒度上聚合或实现文件内部的压缩，没有针对多个数据集合数据文件之间的相似性提出有效的存储方案。
网络监测数据可以从不同地点采集或者在同一地点不同时刻采集，除了对单个数据集进行检测之外，往往需要对多个数据集进行联合检测，例如发现不同采集点数据项的差异，获知某个数据项在多个采集点的稳定情况，通过对不同采集点的数据互相参照发现更加隐蔽的网络安全问题或者一个采集点发现的异常需要通过其他的采集点进行确认。已有方法多是对单个数据集进行分析，发现其中的特征序列，然后对其他数据集进行匹配；或者对多个原始数据集逐个进行分析，再汇总处理。当数据集比较多时，这样进行联合检测的效率比较低。
发明内容
本发明要解决的技术问题是针对网络监测数据等一类存在较多相同数据项的多个数据集，提出一种基于表的关系数据库压缩存储方法，把同一个关系框架上的多个相似数据集压缩在数据库的同一个表中，并且基于压缩的数据表实现对多个原始数据集之间的联合检测。
技术方案是采用关系模型对数据建模，利用关系数据库对数据进行存储和管理，采用基于状态标记序列的压缩方法对同一关系框架下的多个相似数据集进行压缩存储；使用简单的查询语句快速无损地恢复出原始的数据集；通过直接对压缩后的数据表进行查询，便能实现对多个原始数据集的多种类型的联合检测。
设R<X1，X2，…，Xn>是一个n元的关系框架，其中Xi标识R的第i个属性。令r和r′为框架R上的两条具体记录，其中r＝<x1，x2，…，xn>，r′＝<y1，y2，…，yn>，r′＝r当且仅当对于i∈{1，2，…，n}都有xi＝yi。
定义1.若集合A和集合B是同一个关系框架R上的两个具体关系，则A和B互为R上的相似数据集。
定义2.A和B为两个非空相似数据集，B所包含的元素个数#B＝k，A∩B所包含的元素个数#(A∩B)＝k′，令βB→A＝k′/k，称βB→A为集合B对集合A的冗余度。
由定义2知，βB→A∈
，当A∩B＝φ时，βB→A＝0；当A∩B＝B时，βB→A＝1，此时，B的数据相对A是完全冗余的。βB→A越大，表示B对A的冗余性越大。
对于K个相似数据集，根据数据集的属性构造关系数据模型，定义关系框架R<X1，X2，…，Xn>，其中Xi标识R的第i个属性。原来的K个相似数据集变成了关系框架R上的K个具体关系S1、S2、…、SK，分别为每一个数据集指派一个状态标识STAMP[1]＝″1″、STAMP[2]＝″2″、…、STAMP[K]＝“K”。为每条记录增加一个状态标记序列字段stamp，用来标记该条记录在哪些数据集中存在，以此来记录该条记录的活跃状态，将S1、S2、…、SK逐个压缩到数据库的同一个表中。利用stamp包含的信息，可以无损地恢复出原始的数据集。由于只是通过扩展字段stamp将多个数据集映射到同一个压缩数据集，使那些在多个不同数据集中有重复出现的的记录只在压缩数据集中出现一次，从而实现了多个数据集之间的压缩；由于单条记录的内容并没有变化，因而访问单条记录时不需要解压，在访问单个数据集时也只需根据每条记录的stamp来提取；同时，还可以基于压缩数据集对各个原始数据集进行联合检测，并在此基础上完成更复杂的联合检测功能根据记录的状态标记序列stamp中是否同时含有STAMP[i]与STAMP[j]来判断该数据项在数据集Si与Sj中是否一致，找出不含有STAMP[i]或STAMP[j]的记录获得数据集Si与Sj的差异，根据stamp中是否包含所有数据集对应的状态标识来判断该数据项的稳定性，找出没有包含所有状态标识的记录得到在全过程发生变化的所有数据项，等等。
1.对多个相似数据集进行压缩存储的方法令R1＝<X1，X2，…，Xn>，R2＝<stamp>，stamp是一个字符串，R＝R1×R2。S1、S2、…、SK互为关系框架R1上的相似数据集。S0是关系框架R上的具体关系，作为S1、S2、…、SK的压缩集，用来记录压缩之后的数据集，其初始值为空集。结合状态标记序列，先后将S1、S2、…、SK逐个压缩存入数据库，压缩存储过程是输入关系框架R1上的K个相似数据集S1、S2、…、SK，数据集的状态标记标识STAMP[1]＝″1″、STAMP[2]＝″2″、…、STAMP[K]＝“K”。
输出带状态标记序列的压缩数据集S0，S0是关系框架R上的具体关系。
1)S0初始时是一个空集；
2)i＝1，2，…，K，重复执行以下步骤3)j＝1，2，…，#Si(数据集Si的元素个数)，重复执行以下步骤4)从数据集Si中任取一个元素r，并将r从Si去除；5)如果存在r′∈S0使得它的各个属性值都和r相同，即r′.x1＝r.x1、r′.x2＝r.x2、…、r′.xn＝r.xn，则修改r′对应的状态标记序列r′.stamp＝r′.stamp+STAMP[i]；6)否则，构造一个新的stamp，stamp＝STAMP[i]，把<r，stamp>作为一条新的记录添加到S0中。
2.对压缩数据的恢复方法对压缩数据库使用简单的查询语句，从数据库中选出所有的stamp属性值中包含STAMP[i]的记录，便可恢复出初始的所有数据集Si(1≤i≤K)，无需额外的解压开销，因而实现了对压缩数据的无损解压。
3.对多个相似数据集联合检测的方法基于压缩数据集可实现对各个原始数据集的联合检测功能。利用状态标记序列stamp中记录的历史状态信息，对多个相似数据集可有效实现以下四种基本的联合检测(设压缩数据集为S0)1)判断某个数据项在二个数据集Si和Sj内是否一致的方法是在压缩数据库中采用关键字查询找到满足某种属性特征的记录，如果其stamp中同时包含STAMP[i]和STAMP[j]，则该数据项在二个数据集内一致；否则，该数据项在二个数据集内不一致。
2)获得二个数据集Si和Sj数据项差异的方法是将S0中所有stamp只包含STAMP[i]或者STAMP[j]的记录取出来，记为S′，则S′中包含的每条记录都只在Si或Sj中单独出现，显然，S′就是Si和Sj的数据项差异。
3)判断某个数据项r′在全过程的稳定性的方法是将r′.stamp取出，如果r′.stamp包含了所有数据集的状态标识，说明r′在每个数据集里都有出现，则r′在全过程是稳定的；如果r′.stamp包含了部分数据集的状态标识，说明r′只在部分数据集里有出现，则r′在全过程是不稳定的。
4)得出全过程发生变化的数据项的方法是如果一条记录在全过程都是稳定的，则该条记录对应的状态标记序列必然包含所有数据集对应的状态标识。将S0中所有stamp中没有全部包含所有数据集的状态标识的记录取出来，记为S′，S′就是所有在全过程发生变化的数据项。
以上四种基本的检测方法，既能通过数据集之间的比较对数据集的相似性和稳定性进行分析，又能根据状态标记序列对单条记录进行稳定性分析。例如，将以上方法应用到路由表的压缩数据库中，可以对路由表的变化、路由表的稳定性、单条路由的稳定性等进行联合分析与比较。
基于这四种基本的检测方法，可以实现更加复杂的联合检测功能。例如，通过对不同数据集的互相参照发现更加隐蔽的网络安全问题，或者一个数据集中发现的异常通过其他的数据集进一步确认，以提高网络安全检测的准确性，降低漏报率和误报率。
采用本发明能达到以下有益效果本发明充分利用了大量数据集之间的相似性，将多个数据集增量式地压缩到数据库的同一个表中，可以应用于多种类型网络监测数据的压缩存储，包括路由表、路由报文、IP报文等；也可用于存储其他类型的网络历史数据，或者存在较多数据项相同的相似数据集。采用本发明可以取得以下效果1)压缩存储通过为每条记录增加一个新的状态标记字段来标记该条记录在各个数据集是否存在，实现了将多个数据集压缩到单个数据集。由于网络监测数据的各数据集之间存在较大的冗余，因而能够实现非常高的压缩效率；2)联合检测采用本发明将多个数据集进行压缩后，利用状态标记字段将多个数据集映射到一个数据集，增强了各数据集之间的耦合度，如果多个数据集采自不同时间点，则便于时域分析；如果采自不同的地点，则便于空域分析；如果基于其它标度采集，则便于在该标度空间进行分析。采用本发明基于压缩数据集的联合检测方法，不但不需要直接保存各个原始数据集，而且能够以更高的效率实现多种类型的联合检测。
3)高效查询采用本发明可实现多种粒度的高效查询。因为本发明对记录本身并没有压缩，因而在查询的时候并不需要额外的解压过程，数据库的查询效率基本没有降低。
图1是本发明多数据集压缩入库及其处理流程；图2是K个原始的相似数据集S1、S2、…、SK；图3是采用本发明的压缩方法对图2数据集增量入库后得到的数据库表；图4是某路由器在三个不同时刻路由表的前四条记录；图5是采用本发明的压缩方法对图4数据压缩之后的数据库表；图6是编号为1221的自治系统10个时刻路由表项的数目和压缩前后的累积记录数；图7是编号为1221的自治系统路由表项记录数目压缩前后的对比图。
具体实施例方式
图1是本发明多数据集压缩入库及其处理流程示意图。从不同地点或者从同一地点在不同时刻采集原始数据，存入不同的数据文件；对原始的数据文件采用关系模型进行数据建模，得到多个具有某些相同数据项的相似数据集S1、S2、…、SK。采用本发明的压缩方法增量式入库，得到压缩数据集S0。基于S0通过简单的查询操作可以恢复出相似数据集Si(1≤i≤K)，可以高效实现多个粒度的查询操作，可以对原始数据集合实现高效的联合检测。
图2是K个相似数据集的一个一般性的例子，其中Si(1≤i≤K)对应的列为该数据集包含的记录。图3是应用本发明对图2所示的多个相似数据集进行压缩存储之后得到的结果。对各个原始数据集内相同的记录只存储一次，从而节省了空间。
本发明现已应用在国防科学技术大学研发的域间路由安全监测系统ISP-HEALTH中。下面以路由监测系统大量路由数据的压缩存储为例，进一步说明本发明。
1.原始数据采集以实际获取的路由监测数据为例，从http://www.routeviews.org/获取实验数据。RouteViews项目是美国Oregon大学高级网络中心的一个项目，其主要目标是从多个不同自治系统的角度来获取全球Internet的路由系统视图，它定期采集全球Internet的BGP路由数据并将数据定时发布。下面用的是编号为1221的自治系统在2006年1月份内的连续10个时间点的BGP路由表。
2.数据建模采用关系数据模型对数据建模，对于采集到的K个原始的相似数据集，根据数据集的属性构造关系数据模型，定义关系框架R<X1，X2，…，Xn>。原来的K个相似数据集变成了关系框架R上的K个具体关系S1、S2、…、SK。一个自治系统的BGP路由表中可能包含数十万条路由表项，一条BGP路由表项包括目的网络地址network、下一跳next_hop、AS路径as_path等多个属性，提取几个关键属性构造关系数据库的表结构关系R＝<Network，Next_hop，AS_path>。为了便于说明，取出路由器在三个不同时刻的部分路由表项作为例子，如图4。这时原始数据集是三个，每个数据集四条记录。其中t1时刻包含数据项r1、r2、r3和r4，t2时刻包含数据项r1、r2、r3和r5，t3时刻包含数据项r1、r3、r4和r6。
3.压缩存储过程采用本发明的压缩存储方法依次对编号为1221的自治系统的不同时刻的路由表进行压缩存储。每条路由记录对应的状态标记序列记录了该条路由在各个时刻的存在情况。例如，图5是对图4数据集压缩之后得到的数据库表，数据库中只有6条记录，每条记录的stamp属性表明该数据项在哪些原始数据集内出现。
4.数据恢复采用本发明根据状态标记序列可以完整地恢复出任一数据集。例如在图5中，第1、2、3、5条记录对应的stamp包含了“2”，由此可以得到该路由器在t2时刻的路由表所包含的路由全集，即为图5中的第1、2、3、5条记录。
5.查询对数据进行压缩存储后，可以对关系数据库从属性值、单条记录、某个数据集和所有记录等多个粒度进行查询，具体方法是1)根据属性值“x”对Xi进行查询从数据库中选出所有Xi属性值为“x”的记录；2)对单条记录r′的查询从数据库中选出与r′属性完全相匹配的记录；3)对某个数据集Si(1≤i≤K)的查询从数据库中选出所有的stamp属性值中包含STAMP[i]的记录；4)对所有记录的查询在不给定任何查询条件的情况下，可以获取数据库中全部的记录。
对路由表的例子而言，具体要查询的就是满足属性条件的路由项、查找某条路由的完整信息、恢复出某个时间的路由表、获知监测时间内出现的所有路由项。
由于只是通过扩展字段实现多个数据集之间的压缩，单条记录并没有经过压缩，所以以上列举的四类数据库查询的效率在数据库压缩之后并没有明显的降低，查询的准确性和直接查询原始数据集没有差别。
6.联合检测6.1联合检测方法利用状态标记字段将多个数据集映射到一个数据集，增强了各数据集之间的耦合度，方便了对数据集之间的联合检测、交叉分析与处理，使用压缩数据集比直接使用原始数据集更有利于时域、空域或者其他标度的分析。下面参照图5具体说明。
(1)判断某个数据项在二个数据集Si和Sj内是否一致例如，要判断到网络1.0.0.0的路由在t1、t2时刻是否发生变化，不用直接对原始数据集S1和S2分析，而能够从压缩数据库中快速得到。到网络1.0.0.0的路由在压缩数据集中对应的数据项是r1，r1.stamp同时包含S1和S2的状态标识，因此这条到网络1.0.0.0的路由在t1和t2时刻没有发生变化。
(2)获得二个数据集Si和Si数据项差异例如，要得到t1和t2时刻路由的差异，可以基于stamp对压缩数据集进行查询。stamp中只包含“1”不包含“2”的路由为<6.1.0.0，202.12.6.2，4538 9407 668>，只包含“2”不包含“1”的路由为<6.1.0.0，202.12.6.4，4538 9407668>。由此可以断定t2时刻相对t1时刻只有到网络6.1.0.0的路由发生了变化，变化的只是其next-hop属性。
(3)判断某个数据项r′在全过程的稳定性例如，到网络1.0.0.0的路由对应的数据项r1，r1.stamp包含了所有数据集的状态标识，因此r1在全过程中是稳定的；而到网络3.0.0.0的路由对应的数据项r2，由于r2.stamp只包含数据集S1和S2的状态标识，没有包含数据集S3的状态标识，因此r2在全过程中不稳定。
(4)得出全过程发生变化的数据项r2、r4、r5和r6的状态标记序列没有包含所有数据集对应的状态标识，因此全过程发生变化的是到3.0.0.0、6.1.0.0和6.2.0.0的路由。
6.2联合检测性能以数据项的稳定性分析为例，如果采用传统方法，要在多个数据集中查找，然后汇总查找结果。而采用本发明的联合检测方法，只要对压缩数据集查询一次即可。不但减少查询次数，而且免去了汇总操作。
7.压缩率计算对所有的数据集S1、S2、…、SK压缩之后，数据库中的记录数为n′=#(Ui=1KSi),]]>而压缩前的记录总数n=Σi=1K#Si,]]>压缩率为β＝n′/n。针对图4和图5的例子，压缩前的表项数为12，压缩后的表项数为6，那么压缩率为6/12＝50％。
若#S1＝#S2＝…＝#SK＝N，且对Si，Sj∈{S1，S2，…，SK}都有βSi→∪m=1KSm=βSj→∪m=1KSm=β]]>则压缩前的记录个数n＝K·N，压缩后的记录个数n′＝N+N(1-β)(K-1)。当K足够大时，压缩率为μ=n′n≈1-β.]]>从编号为1221的自治系统中采集的10个时间点的路由数据情况如图6所示，每个时刻的路由表都包含了超过17万条的路由记录，路由的相对稳定性使得同一个路由器的路由状态的改变符合时间局部性原理，两个相邻时刻对应的路由表中存在大量的相同路由表项，各个路由表之间的冗余度β≥0.99，压缩率的计算结果为 压缩后的表项数仅为压缩前的1/10，而且，随着K的增大，压缩率会越来越小，并最终接近1-β。其压缩前后的对比如图7。
本发明不但能够用于BGP路由监测，也可以用到基于路由报文和IP报文的安全监测与入侵检测。既能够对同一数据采集点在多个时间点的数据进行压缩存储和联合检测，也能够对不同采集点的相似数据集进行处理。不但可用于网络监测领域，还可用于其他类型的海量历史信息的存储或者数据分析领域。
权利要求
1.一种基于相似数据集的网络监测数据压缩存储和联合检测方法，其特征在于采用关系模型对数据建模，利用关系数据库对数据进行存储和管理，采用基于状态标记序列的压缩方法对同一关系框架下的多个相似数据集进行压缩存储，使用查询语句恢复出原始的数据集，通过对压缩后的数据表进行查询实现对多个原始数据集的多种类型的联合检测；基于状态标记序列的压缩方法的过程是令R1＝<X1，X2，…，Xn>，R2＝<stamp>，stamp是一个字符串，R＝R1×R2；S1、S2、…、SK互为关系框架R1上的相似数据集；S0是关系框架R上的具体关系，作为S1、S2、…、SK的压缩集，用来记录压缩之后的数据集，其初始值为空集；结合状态标记序列，先后将S1、S2、…、SK逐个压缩存入数据库，压缩存储过程是输入关系框架R1上的K个相似数据集S1、S2、…、SK，数据集的状态标记标识STAMP[1]＝″1″、STAMP[2]＝″2″、…、STAMP[K]＝“K”；输出带状态标记序列的压缩数据集S0，S0是关系框架R上的具体关系；1)S0初始时是一个空集；2)i＝1，2，…，K，重复执行以下步骤3)j＝1，2，…，#Si(数据集Si的元素个数)，重复执行以下步骤4)从数据集Si中任取一个元素r，并将r从Si去除；5)如果存在r′∈S0使得它的各个属性值都和r相同，即r′.x1＝r.x1、r′.x2＝r.x2、…、r′.xn＝r.xn，则修改r′对应的状态标记序列r′.stamp＝r′.stamp+STAMP[i]；6)否则，构造一个新的stamp，stamp＝STAMP[i]，把<r，stamp>作为一条新的记录添加到S0中。
2.如权利要求1所述的基于相似数据集的网络监测数据压缩存储和联合检测方法，其特征在于使用查询语句恢复原始数据集的方法是使用查询语句，从数据库中选出所有的stamp属性值中包含STAMP[i]的记录，便恢复出初始的所有数据集Si(1≤i≤K)。
3.如权利要求1所述的基于相似数据集的网络监测数据压缩存储和联合检测方法，其特征在于对多个相似数据集联合检测的方法是3.1判断某个数据项在二个数据集Si和Sj内是否一致的方法是在压缩数据库中采用关键字查询找到满足某种属性特征的记录，如果其stamp中同时包含STAMP[i]和STAMP[j]，则该数据项在二个数据集内一致；否则，该数据项在二个数据集内不一致；3.2获得二个数据集Si和Sj数据项差异的方法是将S0中所有stamp只包含STAMP[i]或者STAMP[j]的记录取出来，记为S′，则S′中包含的每条记录都只在Si或Sj中单独出现，S′就是Si和Sj的数据项差异；3.3判断某个数据项r′在全过程的稳定性的方法是将r′.stamp取出，如果r′.stamp包含了所有数据集的状态标识，说明r′在每个数据集里都有出现，则r′在全过程是稳定的；如果r′.stamp包含了部分数据集的状态标识，说明r′只在部分数据集里有出现，则r′在全过程是不稳定的；3.4得出全过程发生变化的数据项的方法是如果一条记录在全过程都是稳定的，则该条记录对应的状态标记序列必然包含所有数据集对应的状态标识，将S0中所有stamp中没有全部包含所有数据集的状态标识的记录取出来，记为S′，S′就是所有在全过程发生变化的数据项。
全文摘要
本发明公开了一种基于相似数据集的网络监测数据压缩存储和联合检测方法，要解决的技术问题是针对存在较多相同数据项的多个数据集提出一种基于表的关系数据库压缩存储和联合检测方法。技术方案是采用关系模型对数据建模，利用关系数据库对数据进行存储和管理，采用基于状态标记序列的压缩方法对同一关系框架下的多个相似数据集进行压缩存储；使用查询语句恢复出原始的数据集；通过对压缩后的数据表进行查询实现对多个原始数据集的多种类型的联合检测。本发明利用大量数据集之间的相似性，将多个数据集增量式地压缩到数据库的同一个表中，可以应用于多种类型网络监测数据的压缩存储，也可用于存储其他类型的网络历史数据或相似数据集。
文档编号H04L9/28GK1866821SQ20061003176
公开日2006年11月22日 申请日期2006年6月5日 优先权日2006年6月5日
发明者朱培栋, 宁洪, 邓文平, 蔡开裕, 赵建强, 周丽涛 申请人:中国人民解放军国防科学技术大学