基于后验特征的流识别方法
【专利摘要】本发明涉及一种基于后验特征的流识别方法，含有下列步骤：1：设置后验策略；2：设置派生策略及老化时间Tr；3：构建派生流表；4：构建回溯数据池；5：对报文分组进行后验策略的匹配；6：提取出命中后验策略的报文分组所含的流特征信息，建立派生流表的表项，在表项中存储完整的流特征信息和匹配发生时的时间戳Tm；7：将进入的报文分组写入回溯数据池进行延时处理，读出延时后的报文分组并提取流特征信息，根据该流特征信息的hash值检索派生流表，并记录当前时间为Tn，如果派生流表中流特征信息与延时后的报文分组的流特征信息匹配，且满足Tn-Tm<Tr，则标记当前的报文分组为命中报文分组；本发明实现简单、可靠性高。
【专利说明】基于后验特征的流识别方法
[0001](一 )、【技术领域】:本发明涉及一种流识别方法，特别是涉及一种基于后验特征的流识别方法。
[0002]( 二)、【背景技术】:利用业务流识别与分类技术实现对不同业务流的分类处理在现有网络设备中有着非常普遍的应用。当前网络设备中，实时的流识别与分类技术的实现均基于特定的先验策略进行，即，策略匹配发生后，提取流量特征，再对随后的流量进行处理。
[0003]这种先验策略的处理逻辑，在需要提取完整的流数据时，对于策略匹配发生前已经到达的流内分组无法进行有效的识别与分类。从而无法获取完整的流数据或无法对完整的流数据采取动作。
(三)、
【发明内容】
:
[0004]本发明要解决的技术问题是:提供一种基于后验特征的流识别方法，该方法可实现对数据流的完整报文分组进行回溯处理，且实现简单、可靠性高。
[0005]本发明的技术方案:
[0006]一种基于后验特征的流识别方法，含有下列步骤:
[0007]步骤1:设置后验策略；
[0008]步骤2:设置派生策略及老化时间?；，老化时间I；对应派生策略的有效作用时间；
[0009]步骤3:构建派生流表；
[0010]步骤4:构建回溯数据池；
[0011]步骤5:对进入识别系统的报文分组进行后验策略的匹配，如果有一个报文分组P匹配命中，则表明此时的数据流符合后验策略条件，标记并输出该数据流的所有报文分组；
[0012]步骤6:提取出命中后验策略的报文分组所含的流特征信息，对流特征信息进行hash运算，将hash值设置为检索关键字并建立派生流表的表项，在表项中存储完整的流特征信息和匹配发生时的时间戳Tm，将表项写入派生流表；
[0013]步骤7:将进入识别系统的报文分组写入回溯数据池，在回溯数据池的存储器内进行时长为Td的延时处理，然后读出延时后的报文分组Pd，提取延时后的报文分组Pd的流特征信息，根据该流特征信息的hash值检索派生流表，并记录当前时间为Tn，如果派生流表中流特征信息与延时后的报文分组的流特征信息匹配，则比较时间戳Tm，若满足Τη-ΤΠ〈?；，则标记当前的报文分组为命中报文分组。
[0014]后验策略有如下特征:数据流持续周期内的一个时刻，一个报文分组与该后验策略的特征匹配时，匹配成功后的处理动作要求是对该数据流之前到达的分组进行回溯；
[0015]派生策略是由命中后验策略的报文分组提取并派生出来的，派生策略对应一条唯一的数据流以及数据流内任意报文分组；
[0016]派生流表中含有N个派生策略，N为大于等于I的自然数，派生流表的索引项为派生流特征信息的hash值，派生流表中含有派生流的完整特征信息和派生策略的生成时间；
[0017]回溯数据池采用双存储器乒乓方式分别存储和读取报文分组。[0018]步骤5中的所有报文分组含有匹配命中前进入识别系统的报文分组。
[0019]步骤6中的流特征信息含有五元组。
[0020]步骤7中的时长Td根据识别系统的设计能力、数据流的平均时长、数据输入速率大小这些指标动态确定，或者指定为固定值，该固定值小于识别系统的设计能力能承受的时长。延时处理是实现后验的关键手段，保证了在报文分组到达前先行生成派生策略。
[0021 ] 为解决hash冲突问题，可设置hash桶深度大于2，当有冲突产生时，通过比较不同表项的时间戳Tm来确定对较早的表项进行覆盖。
[0022]一种基于后验特征的流识别系统，该系统基于FPGA/CAM/SRAM/DDR-1I实现，其中CAM为内容可寻址存储器的简称。该系统包括:
[0023]预筛选引擎:该模块采用基于CAM的查表逻辑实现，用于根据已知条件对特定流进行预筛选，降低进入后验策略流识别系统的数据流量，从而为系统提供更长的特定时长Td;
[0024]后验策略匹配引擎:该模块采用基于CAM的查表逻辑实现，用于进行后验策略的匹配；
[0025]派生流表维护模块:该模块用于后验策略匹配后生成的派生流表项的维护，并将流表项写入SRAM进行存储；
[0026]回溯数据池模块:该模块基于双DDR-1I存储/读取切换的方式实现对报文分组的延时，为系统提供回溯能力；
[0027]派生流表搜索引擎:该模块用于对延时后的报文分组进行流表项匹配，并根据匹配结果队报文进行标记。
[0028]本发明的有益效果:
[0029]1、本发明可以在数据流的任意报文分组中进行后验策略匹配，后验策略匹配发生后提取出流的特征信息，并将提取出的特征作用于之前一段时间内到达的流内报文分组，实现对数据流的完整报文分组进行回溯处理，该回溯处理可以利用后验策略对之前到达的报文进行识别分类，较大程度上确保命中流的完整程度。
[0030]2、本发明实现简单，不需要大规模的外部存储设备，所有功能可在单电路板上实现，因此，可靠性高。
[0031]3、本发明灵活性好,通过动态调整预筛选策略以及策略老化时间等参数,可以动态调整对流回溯时间的支持能力。
(四)、【专利附图】
【附图说明】:
[0032]图1为基于后验特征的流识别系统的结构不意图；
[0033]图2为基于后验特征的流识别系统中后验策略匹配的关键字提取示意图；
[0034]图3为基于后验特征的流识别系统中后验策略关键字的表项内容不意图；
[0035]图4为基于后验特征的流识别系统中后验策略匹配引擎生成的流表内容示意图；
[0036]图5为基于后验特征的流识别系统中采用双存储器乒乓延时结构的回溯数据池示意图。
(五)、【具体实施方式】:[0037]基于后验特征的流识别方法含有下列步骤:
[0038]步骤1:设置后验策略；
[0039]步骤2:设置派生策略及老化时间?；，老化时间I；对应派生策略的有效作用时间；
[0040]步骤3:构建派生流表；
[0041]步骤4:构建回溯数据池；
[0042]步骤5:对进入识 别系统的报文分组进行后验策略的匹配，如果有一个报文分组P匹配命中，则表明此时的数据流符合后验策略条件，标记并输出该数据流的所有报文分组；
[0043]步骤6:提取出命中后验策略的报文分组所含的流特征信息，对流特征信息进行hash运算，将hash值设置为检索关键字并建立派生流表的表项，在表项中存储完整的流特征信息和匹配发生时的时间戳Tm，将表项写入派生流表；
[0044]步骤7:将进入识别系统的报文分组写入回溯数据池，在回溯数据池的存储器内进行时长为Td的延时处理，然后读出延时后的报文分组Pd，提取延时后的报文分组Pd的流特征信息，根据该流特征信息的hash值检索派生流表，并记录当前时间为Tn，如果派生流表中流特征信息与延时后的报文分组的流特征信息匹配，则比较时间戳Tm，若满足Τη-ΤΠ〈?；，则标记当前的报文分组为命中报文分组。
[0045]后验策略有如下特征:数据流持续周期内的一个时刻，一个报文分组与该后验策略的特征匹配时，匹配成功后的处理动作要求是对该数据流之前到达的分组进行回溯；
[0046]派生策略是由命中后验策略的报文分组提取并派生出来的，派生策略对应一条唯一的数据流以及数据流内任意报文分组；
[0047]派生流表中含有N个派生策略，N为大于等于I的自然数，派生流表的索引项为派生流特征信息的hash值，派生流表中含有派生流的完整特征信息和派生策略的生成时间；
[0048]回溯数据池采用双存储器乒乓方式分别存储和读取报文分组。
[0049]步骤5中的所有报文分组含有匹配命中前进入识别系统的报文分组。
[0050]步骤6中的流特征信息含有五元组。
[0051]步骤7中的时长Td根据识别系统的设计能力、数据流的平均时长、数据输入速率大小这些指标动态确定，或者指定为固定值，该固定值小于识别系统的设计能力能承受的时长。延时处理是实现后验的关键手段，保证了在报文分组到达前先行生成派生策略。
[0052]为解决hash冲突问题，可设置hash桶深度大于2，当有冲突产生时，通过比较不同表项的时间戳Tm来确定对较早的表项进行覆盖。
[0053]一种基于后验特征的流识别系统，该系统基于FPGA/CAM/SRAM/DDR-1I实现，其中CAM为内容可寻址存储器的简称。该系统包括:
[0054]预筛选引擎:该模块采用基于CAM的查表逻辑实现，用于根据已知条件对特定流进行预筛选，降低进入后验策略流识别系统的数据流量，从而为系统提供更长的特定时长Td;
[0055]后验策略匹配引擎:该模块采用基于CAM的查表逻辑实现，用于进行后验策略的匹配；
[0056]派生流表维护模块:该模块用于后验策略匹配后生成的派生流表项的维护，并将流表项写入SRAM进行存储；[0057]回溯数据池模块:该模炔基于双DDR-1I存储/读取切换的方式实现对报文分组的延时，为系统提供回溯能力；
[0058]派生流表搜索引擎:该模块用于对延时后的报文分组进行流表项匹配，并根据匹配结果队报文进行标记。
[0059]为了更好地理解本发明，下面结合本发明所提出的基于后验特征的流识别系统，对本发明的技术方案作具体说明。
[0060]如图1所示，进入系统的报文首先经过预筛选引擎进行过滤。预筛选的目的是减少进入系统的数据流量大小，从而利用有限的存储器提供更长的回溯时间。预筛选可以通过存放在CAM中的流特征关键字进行，也可以通过直接指定原始数据中某个接口 /支路或者符合某种特征的数据来进行。
[0061]预筛选模块送出的数据分别送入报文延时模块进行延时，送入后验特征匹配引擎进行匹配。[0062]后验特征匹配引擎完成数据流的后验策略匹配。
[0063]后验策略通常是数据流正文中的敏感字，多以字符串的形式出现。本系统采用CAM芯片来实现报文分组中敏感字的查找。如图2所示，设支持的敏感字宽度为CL字节，表项宽度为PL字节，则从数据报文的正文开始，间隔PL-CL+1字节进行查表关键字提取并送至CAM芯片进行查找。针对一个敏感字，根据其在查表关键字中可能出现的偏移位置，在CAM芯片中应该派生出PL-CL条带掩码表项。如图3所示。
[0064]后验特征匹配引擎将当前正在查表处理的数据分组的流特征信息进行HASH。当检测到报文中含有后验策略的敏感子后，CAM芯片返回命中指不以及命中的策略ID。后验特征匹配引擎根据命中指示，以HASH值为索引读取流表，流表的结构如图4所示。流表中存有完整的流特征信息，以及上次匹配命中时的时间戳。设HASH桶深度为2的话，从流表的两个表项中寻找到一个空表项并将本数据分组的流特征信息和命中时间写入表项；如果没有空表项，则选取两个表项中最先生成的表项进行覆盖。随后进行流表更新。
[0065]报文延时模块完成对数据报文分组进行延时的功能。本系统采用双存储器乒乓方式分别存储/读取报文。如图5所示，设数据报文注入至单存储器为满的时间为h，系统可接受的最大报文输出延时为t2，则当计时到Min(Lt2)时，对存储器进行读写切换。假设数据满速注入时，单存储器最多能存储Ttl时间，并且&>!；，则显然，Min (t1； t2) >T0O即，系统最少可以提供Ttl时间的延时。事实上，由于前端预筛选引擎的作用，系统可以提供的延时时长远大于I；。系统可以提供的延时时长对应于对数据分组的回溯支持能力。
[0066]流表检索引擎负责基于流表对延时后的报文分组进行基于流的匹配。将延时后的报文分组按照同前所述一致的HASH算法进行计算，随后在根据HASH之读出流表，并与表项中存储的流特征信息进行精确比对。如果一致，取出对应表项的生成时间Tm，以当前时间为Tn,派生策略老化时间为?；，则如果满足Tn - Tffl<Tr,即判定该数据分组命中流表，并进行相应标记后输出。
【权利要求】
1.一种基于后验特征的流识别方法，其特征是:含有下列步骤: 步骤1:设置后验策略； 步骤2:设置派生策略及老化时间?；，老化时间I；对应派生策略的有效作用时间； 步骤3:构建派生流表； 步骤4:构建回溯数据池； 步骤5:对进入的报文分组进行后验策略的匹配，如果有一个报文分组匹配命中，则表明此时的数据流符合后验策略条件，标记并输出该数据流的所有报文分组； 步骤6:提取出命中后验策略的报文分组所含的流特征信息，对流特征信息进行hash运算，将hash值设置为检索关键字并建立派生流表的表项，在表项中存储完整的流特征信息和匹配发生时的时间戳Tm，将表项写入派生流表； 步骤7:将进入的报文分组写入回溯数据池，在回溯数据池的存储器内进行时长为Td的延时处理，然后读出延时后的报文分组，提取延时后的报文分组的流特征信息，根据该流特征信息的hash值检索派生流表,并记录当前时间为Tn,如果派生流表中流特征信息与延时后的报文分组的流特征信息匹配，则比较时间戳Tm，若满MTn-Tm〈I；，则标记当前的报文分组为命中报文分组。
2.根据权利要求1所述的基于后验特征的流识别方法，其特征是:所述后验策略有如下特征:数据流持续 周期内的一个时刻，一个报文分组与该后验策略的特征匹配时，匹配成功后的处理动作要求是对该数据流之前到达的分组进行回溯； 所述派生策略是由命中后验策略的报文分组提取并派生出来的，派生策略对应一条唯一的数据流以及数据流内任意报文分组； 所述派生流表中含有N个派生策略，N为大于等于I的自然数，派生流表的索引项为派生流特征信息的hash值，派生流表中含有派生流的完整特征信息和派生策略的生成时间；所述回溯数据池采用双存储器乒乓方式分别存储和读取报文分组。
3.根据权利要求1所述的基于后验特征的流识别方法，其特征是:所述步骤5中的所有报文分组含有匹配命中前进入的报文分组。
4.根据权利要求1所述的基于后验特征的流识别方法，其特征是:所述步骤6中的流特征信息含有五元组。
5.根据权利要求1所述的基于后验特征的流识别方法，其特征是:所述步骤7中的时长Td根据识别设计能力、数据流的平均时长、数据输入速率大小这些指标动态确定，或者指定为固定值，该固定值小于识别设计能力能承受的时长。
【文档编号】H04L12/26GK103944783SQ201410165425
【公开日】2014年7月23日 申请日期:2014年4月23日 优先权日:2014年4月23日
【发明者】王雨, 张风雨, 赵靓, 申娟, 李玉峰, 姜鲲鹏, 朱圣平, 周锟 申请人:中国人民解放军信息工程大学