基于状态融合的协议状态机自动推断方法
基于状态融合的协议状态机自动推断方法
【专利摘要】本发明提供一种基于状态融合的协议状态机自动推断方法，包括以下步骤：报文格式提取与报文分类、会话抽象与初始状态机构建、以及基于输出报文的状态融合。本发明的协议状态机自动推断方法采用增强前缀树转换器EPTT描述协议实体的会话过程，着眼于协议的输出报文，对状态机中的同类状态进行融合，并通过与协议实体进行测试性交互验证协议状态融合的可行性，确保了协议状态机推断的自动化，提高了推断结果的准确度。
【专利说明】基于状态融合的协议状态机自动推断方法
【技术领域】
[0001]本发明涉及网络【技术领域】，具体而言涉及一种依据协议实体程序接收及发送的网络报文，自动化推断相应网络协议的协议状态机的方法。
【背景技术】
[0002]网络协议是网络通信功能实现的支撑要素，也是网络安全领域的重点研究对象。入侵检测、模糊测试、协议重用、协议脆弱性分析等大量网络安全技术都以详尽的协议规范信息为基础。
[0003]网络中使用了大量缺乏描述文档的私有协议，这使得各类依赖于信息规范的网络安全技术在应用范围上受到极大限制。为了解决协议信息未知的问题，研究人员开始采用协议逆向的方法获取未知的协议规范。协议逆向是指在不依赖于协议描述的情况下，通过对协议实体的网络输入输出、系统行为和指令执行流程进行监控和分析，提取网络协议具体规范信息的过程。
[0004]网络协议规范主要包括协议格式和协议状态机两部分。协议格式关注的是通信报文中各协议域的组成和结构。协议状态机关注的是协议系统中的协议状态数量以及协议系统在接收不同输入的情况下从一个协议状态向另外一个协议状态迁移的规则。
[0005]传统的协议逆向采用人工方式，过程冗长耗时，准确度依赖于分析人员的技术水平和实践经验。随着网络规模的扩大和协议种类的增多，对逆向分析准确度和时效性的要求越来越高，传统人工方式的协议逆向分析已不能满足实际应用的需要。协议自动逆向可以显著减少人工分析，提高私有协议的分析效率，获得了越来越多的重视。
[0006]目前大部分协议自动逆向研究集中于协议格式的提取，分析结果中缺乏协议状态机信息，制约了协议逆向结果的实际应用。近年来，随着协议格式提取技术的相对成熟，一些研究人员开始尝试对协议状态机进行逆向分析。目前的协议状态机推断主要存在以下问题:(1)已有的状态融合方法(如Prospex系统)出于简单性的考虑，针对的状态机模型是无输出的有限状态机。这种有限状态机中，只存在报文输入，而不考虑报文输出，忽视了协议系统输入输出报文之间的内在联系。协议系统是带输出的状态迁移系统，这种简单化的处理使得状态融合得到的状态机与实际协议系统存在较大差异。(2)为了解决样本集不完备的问题，在协议状态机推断过程中往往需要不断产生新样本，并根据新样本是否隶属于协议状态机，实施进一步推断。新样本对于协议状态机而言是正例还是反例，依赖于人工判定。人工判定的处理方式一方面难以保证准确度，另一方面，这种处理方式自动化程度低，制约了逆向分析的效率。
【发明内容】
[0007]针对现有技术中存在的问题，本发明旨在提供一种基于状态融合的协议状态机自动推断方法，针对未知协议的协议状态机推断问题，在已有的报文协议格式推断技术的基础上，依据收集的报文样本构造增强前缀树转换器EPTT (Extended Prefix TreeTransducer)描述协议实体在会话过程涉及的输入、输出报文组成的抽象符号串，并通过与协议实体的测试性交互判定状态融合的可行性，确保了状态机推断的自动化，提高了推断结果的准确度。
[0008]为达成上述目的，本发明所采用的技术方案如下:
[0009]一种基于状态融合的协议状态机自动推断方法，包括以下步骤:
[0010](I)报文格式提取与报文分类:获取协议实体程序相关的输入、输出报文的具体格式信息，并依据报文格式分别对输入、输出报文分类，将结构相同的报文样本归为一类，以抽象符号表示分类的类别信息；
[0011](2)会话抽象与初始状态机构建:基于抽象符号表示的分类类别，以会话为单位，对网络通信行为进行抽象，将会话过程中的输入输出报文序列描述为抽象的输入输出符号串，进而依据会话样本集，构建与输入输出符号串集合一致的初始状态机；
[0012](3)基于输出报文的状态融合:依据相似度高低对候选状态进行融合，并生成测试符号串，再通过自动化的测试，比较协议实体与融合后的状态机在接收到测试符号串后做出的输出响应，验证状态融合的可行性；
[0013](4)重复上述步骤(3)直到状态机中不再有符合融合条件的状态；
[0014]前述会话抽象与初始状态机构建阶段的工作流程如下:状态机的推断以会话样本集为基础构建，将会话中输入、输出报文以其所在类别对应的抽象符号表示，从而把完整会话的输入输出报文序列转化为抽象的输入输出符号串；在此基础上，依据会话样本集，采用增强前缀树转换器EPTT的形式构造初始状态机，初始状态机中包含了所有作为会话样本的输入输出符号串；
[0015]前述基于输出报文的状态融合阶段的工作流程如下:在初始状态机的基础上，依据相似度的高低每次对两个相似状态进行状态融合，相似状态的选择以Blue Fringe算法为基础，选择相似度最高的两个状态作为待融合的候选状态；候选状态的融合是否可行，将依据生成的测试字符串进行判定，判断两个候选状态是否能够融合，其中:测试字符串基于原始状态机中到达两个候选状态的字符串前缀和字符串后缀构建，通过交叉拼接的方式，将到达某一个候选状态的所有字符串前缀与另外一个候选状态的所有字符串后缀依次拼接，生成的字符串组成测试字符串集合，如果判定所有输出字符串均与融合后的协议状态机一致，则认为状态融合是可行的，否则判断状态融合不可行；将测试结果作为新样本加入会话样本集并扩展协议状态机，并继续尝试对其他状态进行融合。
[0016]进一步，前述方法中，在协议状态机中选择待融合的候选状态时，以Blue Fringe算法为基础，相似度的计算依据协议状态的公共输入字符串后缀，公共输入字符串后缀反映协议实体在处于两个不同协议状态时，接收到相同输入报文时的状态转换和输出响应情况，其中:输入字符串后缀是指协议实体从某一协议状态开始，接收到一系列的输入报文，这些输入报文在状态机中被表示为输入字符串后缀；公共输入字符串后缀是指两个不同状态接收到相同的一系列输入报文；相似度的计算将考虑协议状态的公共输入字符串后缀的长短，以及对于接收到相同输入时协议实体是否产生相同的输出结果，如果两个协议状态，它们公共输入字符串后缀的长度最长，且对于相同输入有相同的输出，这样的两个协议状态将优先尝试融合。
[0017]进一步，前述方法中，利用测试字符串集合进行状态融合与可行性判定的过程，包括以下步骤:首先依据测试字符串和已知的报文协议格式，生成作为测试用例的输入报文序列；将输入报文序列发向协议实体程序，获取作为响应的输出报文序列；对输出报文序列进行抽象，将其表示为输出字符串序列；针对候选状态融合后的协议状态机，判断输出字符串序列中的输出字符是否都存在于协议状态机对应状态的输出符号集中:如果所有输出字符串均与融合后的协议状态机一致，则认为状态融合是可行的，否则判断状态融合不可行。
[0018]由以上本发明的技术方案可知，本发明的有益效果在于将协议系统视为带输出的状态迁移系统，着眼于协议系统中输入输出报文之间的内在联系对协议状态机中的状态实施融合，通过采用增强前缀树转换器EPTT (Extended Prefix Tree Transducer)描述协议实体在会话过程涉及的输入、输出报文组成的抽象符号串，并通过与协议实体的测试性交互判定状态融合的可行性，有助于确保构建的协议状态机与实际协议系统高度吻合，确保了状态机推断的自动化，提高推断结果的准确度；而且针对待融合的候选状态自动化产生辅助判定的输入样本，进而通过协议实体程序的自动化运行掌握协议实体对于输入样本的输出响应，避免了人工判定的低效，提高了状态机逆向推断的准确度和整体效率。
【专利附图】
【附图说明】
[0019]图1为本发明的自动推断方法的整体实现流程示意图。
[0020]图2是本发明中基于抽象字符串序列构建EPTT状态机的示例。
[0021]图3是本发明中对候选状态进行融合的示例。
【具体实施方式】
[0022]为了更了解本发明的技术内容，特举具体实施例并配合【专利附图】
【附图说明】如下。
[0023]如图1所示，根据本发明的较优实施例，基于状态融合的协议状态机自动推断方法，包括以下步骤:
[0024](I)报文格式提取与报文分类:首先大量收集输入输出报文序列，进而采用现有的报文格式提取方法，获取协议实体程序相关的输入、输出报文的具体格式信息，在此基础上，依据报文格式分别对输入、输出报文分类，将结构相同的报文样本归为一类，以抽象符号表示分类的类别信息；
[0025](2)会话抽象与初始状态机构建:在报文分类的基础上，以会话为单位，对网络通信行为进行抽象，将会话过程中的输入输出报文序列描述为抽象的输入输出符号串，进而依据会话样本集，构建与输入输出符号串集合一致的初始状态机；
[0026](3)基于输出报文的状态融合:依据相似度高低对候选状态进行融合，并生成测试符号串，再通过自动化的测试，比较协议实体与融合后的状态机在接收到测试符号串后做出的输出响应，验证状态融合的可行性；
[0027](4)重复上述步骤(3)直到状态机中不再有符合融合条件的状态。
[0028]其中，前述会话抽象与初始状态机构建阶段的工作流程如下:状态机的推断以会话样本集为基础构建，将会话中输入、输出报文以其所在类别对应的抽象符号表示，从而把完整会话的输入输出报文序列转化为抽象的输入输出符号串；在此基础上，依据会话样本集，采用增强前缀树转换器EPTT的形式构造初始状态机，初始状态机中包含了所有作为会话样本的输入输出符号串；
[0029]前述基于输出报文的状态融合阶段的工作流程如下:在初始状态机的基础上，依据相似度的高低每次对两个相似状态进行状态融合，相似状态的选择以Blue Fringe算法为基础，选择相似度最高的两个状态作为待融合的候选状态；候选状态的融合是否可行，将依据生成的测试字符串进行判定，判断两个候选状态是否能够融合，其中:测试字符串基于原始状态机中到达两个候选状态的字符串前缀和字符串后缀构建，通过交叉拼接的方式，将到达某一个候选状态的所有字符串前缀与另外一个候选状态的所有字符串后缀依次拼接，生成的字符串组成测试字符串集合，如果判定所有输出字符串均与融合后的协议状态机一致，则认为状态融合是可行的，否则判断状态融合不可行；将测试结果作为新样本加入会话样本集并扩展协议状态机，并继续尝试对其他状态进行融合。
[0030]参考图1所示的整体实现流程并结合图2、3所示，本实施例的协议状态机自动推断方法包括报文格式提取与报文分类、会话抽象与初始状态机构建以及基于输出报文的状态融合三个部分，具体的实施方式以下分别说明。
[0031 ] (I)报文格式提取与报文分类
[0032]本发明实施例首先大量收集协议实体程序网络通信产生的输入输出报文序列，并采用PI项目(Protocol Information Pro ject)的报文格式提取方法获取输入输出报文的具体格式信息。在此基础上，依据报文格式分别对输入报文和输出报文进行分类，如果几个报文样本具有相同的报文结构，则将它们归为一类。对于每一类别，使用唯一的阿拉伯数字(如1、2、3)进行标识。
[0033](2)会话抽象与初始状态机构建
[0034]在报文分类的基础上，以会话为单位，对网络通信行为进行抽象。
[0035]会话表示通信参与者之间进行的一次完整数据交换，能够反映在通信过程中协议状态的迁移情况。网络协议研究领域，已经有不少成熟的识别网络会话的方法。上层应用使用下层协议提供的服务。如果是基于TCP协议的网络应用，一次会话往往由TCP协议的三次握手开始，当TCP连接中断时停止；如果是基于UDP协议的网络应用，一次会话往往由通信的间隔时间来区分，如果通信双方停止通信的时间超过特定时长，则推断一次会话已经完成。
[0036]在会话抽象的过程中，采用输入和输出报文类别代替具体的报文信息，并依据报文出现的时序构建字符串序列。
[0037]例如，某一次会话被表示为字符串序列(〈1，2，5>，〈1，3，6>)，其中〈1，2，5>表示输入字符串序列，该序列中的阿拉伯数字I的意思是第一个输入报文属于输入报文类别1，数字2的意思是第二个输入报文属于输入报文类别2 ;〈1,3,6>表不输出字符串序列,其中数字I的意思是第一个输出报文属于输出报文类别I，数字3的意思是第二个输出报文属于输出报文类别3，以此类推。该会话的含义是协议实体接收到某一个类别(输入报文类别)为I的报文时，输出了某一个类别(输出报文类别)为I的报文，同时进入一个新的协议状态；在处于新的协议状态时，协议实体接收到某一个类别(输入报文类别)为2的报文，输出了某一个类别(输出报文类别)为3的报文，进入了另外一个协议状态；在此协议状态，协议实体又接收到某一个类别(输入报文类别)为5的报文,输出了某一个类别(输出报文类别)为6的报文，再次进行了状态转换。[0038]在将输入输出报文样本进行会话抽象，转化为字符串序列集合后，开始构建初始的协议状态机。本发明采用增强前缀树转换器EPTT的形式构造状态机，其优势在于能够准确描述协议实体的状态输出信息，所构造的带输出的协议状态机与实际网络协议情况更为贴近。
[0039]EPTT形式的协议状态机被定义为6元组(Qe，I，0，δ Ε，λ Ε, qA )，其中Qe代表状态集合，I代表输入符号集合，O代表输出符号集合，δΕ代表状态转移函数，λΕ代表输出函数，代表初始的协议状态。
[0040]构造EPTT协议状态机时，依次将会话样本加入状态机。图2为本发明中基于抽象字符串序列构建EPTT状态机的一个示例。对于某一会话的字符串序列，采用遍历的形式，将输入字符串序列和输出字符串序列结合在一起分析。例如，对于图2中第一个会话样本，输入字符串序列〈1，2，5>和输出字符串序列〈1，3，6>将结合在一起同步分析，反映出输入字符与输出字符的对应关系。
[0041]遍历的过程中将基于输入字符串序列构造前缀符号串，描述已经遍历过的输入字符。初始状态设置为状态0，协议状态机由初始状态开始接收输入。前缀符号串在初始时被设置为λ，表示前缀符号串目前为空。输入字符串序列中的字符依次加入前缀符号串。如果前缀符号串所到达的状态在原状态机中没有，则创建一个新状态，以阿拉伯数字唯一标识。如果相应的状态转移信息在原状态机中不存在，则扩充状态转移函数和输出函数；如果原状态机中已包含相应的状态转移信息，将进一步判断是否需要扩充输出信息。
[0042]例如，对于图2中第一个会话样本，遍历过程遇到的第一个输入字符为1，形成前缀符号串λ 1，需要创建一个新的协议状态，以数字I标识此状态。同时扩充状态转移函数(协议实体在处于状态O时，接收到输入字符1，转移到状态1)，以及输出函数(协议实体在处于状态O时，接收到输入字符1，产生输出字符I)。遍历过程遇到的第二个输入字符为2，形成前缀符号串λ 12，创建一个以数字2标识的新状态，同时扩充状态转移函数(协议实体在处于状态I时，接收到输入字符2，转移到状态2)，以及输出函数(协议实体在处于状态I时，接收到输入字符2，产生输出字符3)。对于图2中第二个会话样本，由于涉及的状态转移与第一个会话样本相同，因此不会产生新状态。但是依据第二个会话样本，协议实体在处于状态I时接收到输入字符2,产生的输出字符为4。该输出信息将扩充到原协议状态机中，即协议实体在处于状态I时接收到输入字符2,产生的输出字符隶属于输出字符集合{3,4}。
[0043]在遍历完所有会话样本后，将得到初始的协议状态机。初始协议状态机的构建方法是将所有会话样本直接加入，没有进行任何区分和甄别，因此，构建得到的状态机结果往往包含了大量的冗余状态，需要通过融合同类状态的方法加以化简，得到的协议状态机才更具实用价值。
[0044](3)基于输出报文的状态融合
[0045]在构建完初始状态机以后，将依据相似度的高低，尝试对状态机中的相似状态进行状态融合。本实施例中相似状态的选择以Blue Fringe算法为基础，但对其中相似度的计算方法进行了改进。评价两个协议状态的相似度，采用的依据是公共输入字符串后缀。输入字符串后缀指的是协议实体从某一协议状态开始，接收到一系列的输入报文，这些输入报文在状态机中被表示为输入字符串后缀。公共输入字符串后缀中的“公共”强调的是两个不同协议状态接收到相同的一系列输入报文。公共输入字符串后缀能够反映协议实体在处于两个不同协议状态时，接收到相同输入报文时的状态转换和输出响应情况。在对相似度进行计算时，将考虑协议状态的公共输入字符串后缀的长短，以及对于接收到的相同输入，协议实体是否有相同的输出结果。如果两个协议状态，它们公共输入字符串后缀的长度最长，且对于相同输入有相同的输出，这样的两个协议状态将作为候选状态优先尝试融合。
[0046]两个候选状态是否能够融合，需要进行进一步的判定。因为协议状态机是基于训练样本构建的，而训练样本难以保证全面，这使得推断产生的协议状态机与真实的协议状态机可能存在差异。为了判断两个候选状态的融合是否可行，需要进一步有针对性的生成测试字符串进行测试，通过协议实体程序对于测试字符串的表现来肯定或者否定候选状态的融合，从而保证推断的协议状态机结果与真实的协议状态机高度吻合。
[0047]参考图3，测试字符串基于候选状态融合前的状态机产生，主要依据是状态机中两个候选状态的字符串前缀和字符串后缀。测试字符串的产生通过交叉拼接的方式，将到达某一个候选状态的所有字符串前缀与另外一个候选状态的所有字符串后缀依次拼接，生成的字符串组成测试字符串集合。例如，对于图3中状态融合前的状态机，状态I和状态3的相似度最高，将优先尝试融合。在构造测试字符串时，通过分析可知，状态I的字符串前缀集合为{〈1>}，状态3的字符串前缀集合{〈1，7>}。由于字符串前缀〈1，7>包含了〈1>，在融合过程中，将着眼于状态I的后缀集合{〈7，2，5，14>}和状态3的后缀集合{〈2，5，14>}，生成的测试字符串集合包含2个元素{〈1，2，5，14>，〈1，7，7，2，5，14>}。
[0048]利用测试字符串进行测试的过程中，首先依据测试字符串和已知的报文协议格式，将测试字符串实例化为输入报文序列。将输入报文序列发向协议实体程序，获取作为响应的输出报文序列。对输出报文序列进行抽象，将其表示为输出字符串序列。针对候选状态融合后的协议状态机，判断输出字符串序列中的输出字符，是否都存在于协议状态机对应状态的输出符号集中。如果所有输出字符串均与状态机中的一致，则认为状态融合是可行的，否则判断状态融合不可行，将测试结果作为新样本加入样本集并扩展协议状态机，继续在状态机中选择其他候选状态实施融合。
[0049]状态的融合操作将反复进行，直到状态机中没有可融合的状态为止。
[0050]由以上本发明的技术方案可知，本发明的基于状态融合的协议状态机自动推断方法，在已有的报文协议格式推断技术的基础上，依据收集的报文样本构造增强前缀树转换器，通过对增强前缀树转换器中的同类状态进行融合，得到精简的协议状态机。采用此方法需要获得协议实体程序，并能够根据需要运行实体程序，向其发送特定的报文序列，并观察相应的报文输出，以此作为协议状态机推断的基础。
[0051]综上所述，本发明的基于状态融合的协议状态机自动推断方法将协议系统视为带输出的状态迁移系统，着眼于协议系统中输入输出报文之间的内在联系对协议状态机中的状态实施融合，通过采用增强前缀树转换器EPTT描述协议实体在会话过程涉及的输入、输出报文组成的抽象符号串，并通过与协议实体的测试性交互判定状态融合的可行性，有助于确保构建的协议状态机与实际协议系统高度吻合，确保了状态机推断的自动化，提高推断结果的准确度；而且针对待融合的候选状态自动化产生辅助判定的输入样本，进而通过协议实体程序的自动化运行掌握协议实体对于输入样本的输出响应，避免了人工判定的低效，提高了状态机逆向推断的准确度和整体效率。
[0052]虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属【技术领域】中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。
【权利要求】
1.一种基于状态融合的协议状态机自动推断方法，其特征在于，包括以下步骤: (1)报文格式提取与报文分类:获取协议实体程序相关的输入、输出报文的具体格式信息，并依据报文格式分别对输入、输出报文分类，将结构相同的报文样本归为一类，以抽象符号表示分类的类别信息； (2)会话抽象与初始状态机构建:基于抽象符号表示的分类类别，以会话为单位，对网络通信行为进行抽象，将会话过程中的输入输出报文序列描述为抽象的输入输出符号串，进而依据会话样本集，构建与输入输出符号串集合一致的初始状态机； (3)基于输出报文的状态融合:依据相似度高低对候选状态进行融合，并生成测试符号串，再通过自动化的测试，比较协议实体与融合后的状态机在接收到测试符号串后做出的输出响应，验证状态融合的可行性； (4)重复上述步骤(3)直到状态机中不再有符合融合条件的状态； 前述会话抽象与初始状态机构建阶段的工作流程如下:状态机的推断以会话样本集为基础构建，将会话 中输入、输出报文以其所在类别对应的抽象符号表示，从而把完整会话的输入输出报文序列转化为抽象的输入输出符号串；在此基础上，依据会话样本集，采用增强前缀树转换器EPTT的形式构造初始状态机，初始状态机中包含了所有作为会话样本的输入输出符号串； 前述基于输出报文的状态融合阶段的工作流程如下:在初始状态机的基础上，依据相似度的高低每次对两个相似状态进行状态融合，相似状态的选择以Blue Fringe算法为基础，选择相似度最高的两个状态作为待融合的候选状态；候选状态的融合是否可行，将依据生成的测试字符串进行判定，判断两个候选状态是否能够融合，其中:测试字符串基于原始状态机中到达两个候选状态的字符串前缀和字符串后缀构建，通过交叉拼接的方式，将到达某一个候选状态的所有字符串前缀与另外一个候选状态的所有字符串后缀依次拼接，生成的字符串组成测试字符串集合，如果判定所有输出字符串均与融合后的协议状态机一致，则认为状态融合是可行的，否则判断状态融合不可行；将测试结果作为新样本加入会话样本集并扩展协议状态机，并继续尝试对其他状态进行融合。
2.根据权利要求1所述的方法，其特征在于，前述方法中，在协议状态机中选择待融合的候选状态时，以Blue Fringe算法为基础，相似度的计算依据协议状态的公共输入字符串后缀，公共输入字符串后缀反映协议实体在处于两个不同协议状态时，接收到相同输入报文时的状态转换和输出响应情况，其中:输入字符串后缀是指协议实体从某一协议状态开始，接收到一系列的输入报文，这些输入报文在状态机中被表不为输入字符串后缀；公共输入字符串后缀是指两个不同状态接收到相同的一系列输入报文；相似度的计算将考虑协议状态的公共输入字符串后缀的长短，以及对于接收到相同输入时协议实体是否产生相同的输出结果，如果两个协议状态，它们公共输入字符串后缀的长度最长，且对于相同输入有相同的输出，这样的两个协议状态将优先尝试融合。
3.根据权利要求1所述的方法，其特征在于，前述方法中，利用测试字符串集合进行状态融合与可行性判定的过程，包括以下步骤:首先依据测试字符串和已知的报文协议格式，生成作为测试用例的输入报文序列；将输入报文序列发向协议实体程序，获取作为响应的输出报文序列；对输出报文序列进行抽象，将其表不为输出字符串序列；针对候选状态融合后的协议状态机，判断输出字符串序列中的输出字符是否都存在于协议状态机对应状态的输出符号集中:如果所有输出字符串均与融合后的协议状态机一致，则认为状态融合是可行的，否则判断状态融合 不可行。
【文档编号】H04L29/06GK103441990SQ201310348136
【公开日】2013年12月11日 申请日期:2013年8月9日 优先权日:2013年8月9日
【发明者】洪征, 吴礼发, 郑成辉, 潘璠, 赖海光, 李华波, 周振吉 申请人:中国人民解放军理工大学
【专利摘要】本发明提供一种基于状态融合的协议状态机自动推断方法，包括以下步骤：报文格式提取与报文分类、会话抽象与初始状态机构建、以及基于输出报文的状态融合。本发明的协议状态机自动推断方法采用增强前缀树转换器EPTT描述协议实体的会话过程，着眼于协议的输出报文，对状态机中的同类状态进行融合，并通过与协议实体进行测试性交互验证协议状态融合的可行性，确保了协议状态机推断的自动化，提高了推断结果的准确度。
【专利说明】基于状态融合的协议状态机自动推断方法
【技术领域】
[0001]本发明涉及网络【技术领域】，具体而言涉及一种依据协议实体程序接收及发送的网络报文，自动化推断相应网络协议的协议状态机的方法。
【背景技术】
[0002]网络协议是网络通信功能实现的支撑要素，也是网络安全领域的重点研究对象。入侵检测、模糊测试、协议重用、协议脆弱性分析等大量网络安全技术都以详尽的协议规范信息为基础。
[0003]网络中使用了大量缺乏描述文档的私有协议，这使得各类依赖于信息规范的网络安全技术在应用范围上受到极大限制。为了解决协议信息未知的问题，研究人员开始采用协议逆向的方法获取未知的协议规范。协议逆向是指在不依赖于协议描述的情况下，通过对协议实体的网络输入输出、系统行为和指令执行流程进行监控和分析，提取网络协议具体规范信息的过程。
[0004]网络协议规范主要包括协议格式和协议状态机两部分。协议格式关注的是通信报文中各协议域的组成和结构。协议状态机关注的是协议系统中的协议状态数量以及协议系统在接收不同输入的情况下从一个协议状态向另外一个协议状态迁移的规则。
[0005]传统的协议逆向采用人工方式，过程冗长耗时，准确度依赖于分析人员的技术水平和实践经验。随着网络规模的扩大和协议种类的增多，对逆向分析准确度和时效性的要求越来越高，传统人工方式的协议逆向分析已不能满足实际应用的需要。协议自动逆向可以显著减少人工分析，提高私有协议的分析效率，获得了越来越多的重视。
[0006]目前大部分协议自动逆向研究集中于协议格式的提取，分析结果中缺乏协议状态机信息，制约了协议逆向结果的实际应用。近年来，随着协议格式提取技术的相对成熟，一些研究人员开始尝试对协议状态机进行逆向分析。目前的协议状态机推断主要存在以下问题:(1)已有的状态融合方法(如Prospex系统)出于简单性的考虑，针对的状态机模型是无输出的有限状态机。这种有限状态机中，只存在报文输入，而不考虑报文输出，忽视了协议系统输入输出报文之间的内在联系。协议系统是带输出的状态迁移系统，这种简单化的处理使得状态融合得到的状态机与实际协议系统存在较大差异。(2)为了解决样本集不完备的问题，在协议状态机推断过程中往往需要不断产生新样本，并根据新样本是否隶属于协议状态机，实施进一步推断。新样本对于协议状态机而言是正例还是反例，依赖于人工判定。人工判定的处理方式一方面难以保证准确度，另一方面，这种处理方式自动化程度低，制约了逆向分析的效率。
【发明内容】
[0007]针对现有技术中存在的问题，本发明旨在提供一种基于状态融合的协议状态机自动推断方法，针对未知协议的协议状态机推断问题，在已有的报文协议格式推断技术的基础上，依据收集的报文样本构造增强前缀树转换器EPTT (Extended Prefix TreeTransducer)描述协议实体在会话过程涉及的输入、输出报文组成的抽象符号串，并通过与协议实体的测试性交互判定状态融合的可行性，确保了状态机推断的自动化，提高了推断结果的准确度。
[0008]为达成上述目的，本发明所采用的技术方案如下:
[0009]一种基于状态融合的协议状态机自动推断方法，包括以下步骤:
[0010](I)报文格式提取与报文分类:获取协议实体程序相关的输入、输出报文的具体格式信息，并依据报文格式分别对输入、输出报文分类，将结构相同的报文样本归为一类，以抽象符号表示分类的类别信息；
[0011](2)会话抽象与初始状态机构建:基于抽象符号表示的分类类别，以会话为单位，对网络通信行为进行抽象，将会话过程中的输入输出报文序列描述为抽象的输入输出符号串，进而依据会话样本集，构建与输入输出符号串集合一致的初始状态机；
[0012](3)基于输出报文的状态融合:依据相似度高低对候选状态进行融合，并生成测试符号串，再通过自动化的测试，比较协议实体与融合后的状态机在接收到测试符号串后做出的输出响应，验证状态融合的可行性；
[0013](4)重复上述步骤(3)直到状态机中不再有符合融合条件的状态；
[0014]前述会话抽象与初始状态机构建阶段的工作流程如下:状态机的推断以会话样本集为基础构建，将会话中输入、输出报文以其所在类别对应的抽象符号表示，从而把完整会话的输入输出报文序列转化为抽象的输入输出符号串；在此基础上，依据会话样本集，采用增强前缀树转换器EPTT的形式构造初始状态机，初始状态机中包含了所有作为会话样本的输入输出符号串；
[0015]前述基于输出报文的状态融合阶段的工作流程如下:在初始状态机的基础上，依据相似度的高低每次对两个相似状态进行状态融合，相似状态的选择以Blue Fringe算法为基础，选择相似度最高的两个状态作为待融合的候选状态；候选状态的融合是否可行，将依据生成的测试字符串进行判定，判断两个候选状态是否能够融合，其中:测试字符串基于原始状态机中到达两个候选状态的字符串前缀和字符串后缀构建，通过交叉拼接的方式，将到达某一个候选状态的所有字符串前缀与另外一个候选状态的所有字符串后缀依次拼接，生成的字符串组成测试字符串集合，如果判定所有输出字符串均与融合后的协议状态机一致，则认为状态融合是可行的，否则判断状态融合不可行；将测试结果作为新样本加入会话样本集并扩展协议状态机，并继续尝试对其他状态进行融合。
[0016]进一步，前述方法中，在协议状态机中选择待融合的候选状态时，以Blue Fringe算法为基础，相似度的计算依据协议状态的公共输入字符串后缀，公共输入字符串后缀反映协议实体在处于两个不同协议状态时，接收到相同输入报文时的状态转换和输出响应情况，其中:输入字符串后缀是指协议实体从某一协议状态开始，接收到一系列的输入报文，这些输入报文在状态机中被表示为输入字符串后缀；公共输入字符串后缀是指两个不同状态接收到相同的一系列输入报文；相似度的计算将考虑协议状态的公共输入字符串后缀的长短，以及对于接收到相同输入时协议实体是否产生相同的输出结果，如果两个协议状态，它们公共输入字符串后缀的长度最长，且对于相同输入有相同的输出，这样的两个协议状态将优先尝试融合。
[0017]进一步，前述方法中，利用测试字符串集合进行状态融合与可行性判定的过程，包括以下步骤:首先依据测试字符串和已知的报文协议格式，生成作为测试用例的输入报文序列；将输入报文序列发向协议实体程序，获取作为响应的输出报文序列；对输出报文序列进行抽象，将其表示为输出字符串序列；针对候选状态融合后的协议状态机，判断输出字符串序列中的输出字符是否都存在于协议状态机对应状态的输出符号集中:如果所有输出字符串均与融合后的协议状态机一致，则认为状态融合是可行的，否则判断状态融合不可行。
[0018]由以上本发明的技术方案可知，本发明的有益效果在于将协议系统视为带输出的状态迁移系统，着眼于协议系统中输入输出报文之间的内在联系对协议状态机中的状态实施融合，通过采用增强前缀树转换器EPTT (Extended Prefix Tree Transducer)描述协议实体在会话过程涉及的输入、输出报文组成的抽象符号串，并通过与协议实体的测试性交互判定状态融合的可行性，有助于确保构建的协议状态机与实际协议系统高度吻合，确保了状态机推断的自动化，提高推断结果的准确度；而且针对待融合的候选状态自动化产生辅助判定的输入样本，进而通过协议实体程序的自动化运行掌握协议实体对于输入样本的输出响应，避免了人工判定的低效，提高了状态机逆向推断的准确度和整体效率。
【专利附图】
【附图说明】
[0019]图1为本发明的自动推断方法的整体实现流程示意图。
[0020]图2是本发明中基于抽象字符串序列构建EPTT状态机的示例。
[0021]图3是本发明中对候选状态进行融合的示例。
【具体实施方式】
[0022]为了更了解本发明的技术内容，特举具体实施例并配合【专利附图】
【附图说明】如下。
[0023]如图1所示，根据本发明的较优实施例，基于状态融合的协议状态机自动推断方法，包括以下步骤:
[0024](I)报文格式提取与报文分类:首先大量收集输入输出报文序列，进而采用现有的报文格式提取方法，获取协议实体程序相关的输入、输出报文的具体格式信息，在此基础上，依据报文格式分别对输入、输出报文分类，将结构相同的报文样本归为一类，以抽象符号表示分类的类别信息；
[0025](2)会话抽象与初始状态机构建:在报文分类的基础上，以会话为单位，对网络通信行为进行抽象，将会话过程中的输入输出报文序列描述为抽象的输入输出符号串，进而依据会话样本集，构建与输入输出符号串集合一致的初始状态机；
[0026](3)基于输出报文的状态融合:依据相似度高低对候选状态进行融合，并生成测试符号串，再通过自动化的测试，比较协议实体与融合后的状态机在接收到测试符号串后做出的输出响应，验证状态融合的可行性；
[0027](4)重复上述步骤(3)直到状态机中不再有符合融合条件的状态。
[0028]其中，前述会话抽象与初始状态机构建阶段的工作流程如下:状态机的推断以会话样本集为基础构建，将会话中输入、输出报文以其所在类别对应的抽象符号表示，从而把完整会话的输入输出报文序列转化为抽象的输入输出符号串；在此基础上，依据会话样本集，采用增强前缀树转换器EPTT的形式构造初始状态机，初始状态机中包含了所有作为会话样本的输入输出符号串；
[0029]前述基于输出报文的状态融合阶段的工作流程如下:在初始状态机的基础上，依据相似度的高低每次对两个相似状态进行状态融合，相似状态的选择以Blue Fringe算法为基础，选择相似度最高的两个状态作为待融合的候选状态；候选状态的融合是否可行，将依据生成的测试字符串进行判定，判断两个候选状态是否能够融合，其中:测试字符串基于原始状态机中到达两个候选状态的字符串前缀和字符串后缀构建，通过交叉拼接的方式，将到达某一个候选状态的所有字符串前缀与另外一个候选状态的所有字符串后缀依次拼接，生成的字符串组成测试字符串集合，如果判定所有输出字符串均与融合后的协议状态机一致，则认为状态融合是可行的，否则判断状态融合不可行；将测试结果作为新样本加入会话样本集并扩展协议状态机，并继续尝试对其他状态进行融合。
[0030]参考图1所示的整体实现流程并结合图2、3所示，本实施例的协议状态机自动推断方法包括报文格式提取与报文分类、会话抽象与初始状态机构建以及基于输出报文的状态融合三个部分，具体的实施方式以下分别说明。
[0031 ] (I)报文格式提取与报文分类
[0032]本发明实施例首先大量收集协议实体程序网络通信产生的输入输出报文序列，并采用PI项目(Protocol Information Pro ject)的报文格式提取方法获取输入输出报文的具体格式信息。在此基础上，依据报文格式分别对输入报文和输出报文进行分类，如果几个报文样本具有相同的报文结构，则将它们归为一类。对于每一类别，使用唯一的阿拉伯数字(如1、2、3)进行标识。
[0033](2)会话抽象与初始状态机构建
[0034]在报文分类的基础上，以会话为单位，对网络通信行为进行抽象。
[0035]会话表示通信参与者之间进行的一次完整数据交换，能够反映在通信过程中协议状态的迁移情况。网络协议研究领域，已经有不少成熟的识别网络会话的方法。上层应用使用下层协议提供的服务。如果是基于TCP协议的网络应用，一次会话往往由TCP协议的三次握手开始，当TCP连接中断时停止；如果是基于UDP协议的网络应用，一次会话往往由通信的间隔时间来区分，如果通信双方停止通信的时间超过特定时长，则推断一次会话已经完成。
[0036]在会话抽象的过程中，采用输入和输出报文类别代替具体的报文信息，并依据报文出现的时序构建字符串序列。
[0037]例如，某一次会话被表示为字符串序列(〈1，2，5>，〈1，3，6>)，其中〈1，2，5>表示输入字符串序列，该序列中的阿拉伯数字I的意思是第一个输入报文属于输入报文类别1，数字2的意思是第二个输入报文属于输入报文类别2 ;〈1,3,6>表不输出字符串序列,其中数字I的意思是第一个输出报文属于输出报文类别I，数字3的意思是第二个输出报文属于输出报文类别3，以此类推。该会话的含义是协议实体接收到某一个类别(输入报文类别)为I的报文时，输出了某一个类别(输出报文类别)为I的报文，同时进入一个新的协议状态；在处于新的协议状态时，协议实体接收到某一个类别(输入报文类别)为2的报文，输出了某一个类别(输出报文类别)为3的报文，进入了另外一个协议状态；在此协议状态，协议实体又接收到某一个类别(输入报文类别)为5的报文,输出了某一个类别(输出报文类别)为6的报文，再次进行了状态转换。[0038]在将输入输出报文样本进行会话抽象，转化为字符串序列集合后，开始构建初始的协议状态机。本发明采用增强前缀树转换器EPTT的形式构造状态机，其优势在于能够准确描述协议实体的状态输出信息，所构造的带输出的协议状态机与实际网络协议情况更为贴近。
[0039]EPTT形式的协议状态机被定义为6元组(Qe，I，0，δ Ε，λ Ε, qA )，其中Qe代表状态集合，I代表输入符号集合，O代表输出符号集合，δΕ代表状态转移函数，λΕ代表输出函数，代表初始的协议状态。
[0040]构造EPTT协议状态机时，依次将会话样本加入状态机。图2为本发明中基于抽象字符串序列构建EPTT状态机的一个示例。对于某一会话的字符串序列，采用遍历的形式，将输入字符串序列和输出字符串序列结合在一起分析。例如，对于图2中第一个会话样本，输入字符串序列〈1，2，5>和输出字符串序列〈1，3，6>将结合在一起同步分析，反映出输入字符与输出字符的对应关系。
[0041]遍历的过程中将基于输入字符串序列构造前缀符号串，描述已经遍历过的输入字符。初始状态设置为状态0，协议状态机由初始状态开始接收输入。前缀符号串在初始时被设置为λ，表示前缀符号串目前为空。输入字符串序列中的字符依次加入前缀符号串。如果前缀符号串所到达的状态在原状态机中没有，则创建一个新状态，以阿拉伯数字唯一标识。如果相应的状态转移信息在原状态机中不存在，则扩充状态转移函数和输出函数；如果原状态机中已包含相应的状态转移信息，将进一步判断是否需要扩充输出信息。
[0042]例如，对于图2中第一个会话样本，遍历过程遇到的第一个输入字符为1，形成前缀符号串λ 1，需要创建一个新的协议状态，以数字I标识此状态。同时扩充状态转移函数(协议实体在处于状态O时，接收到输入字符1，转移到状态1)，以及输出函数(协议实体在处于状态O时，接收到输入字符1，产生输出字符I)。遍历过程遇到的第二个输入字符为2，形成前缀符号串λ 12，创建一个以数字2标识的新状态，同时扩充状态转移函数(协议实体在处于状态I时，接收到输入字符2，转移到状态2)，以及输出函数(协议实体在处于状态I时，接收到输入字符2，产生输出字符3)。对于图2中第二个会话样本，由于涉及的状态转移与第一个会话样本相同，因此不会产生新状态。但是依据第二个会话样本，协议实体在处于状态I时接收到输入字符2,产生的输出字符为4。该输出信息将扩充到原协议状态机中，即协议实体在处于状态I时接收到输入字符2,产生的输出字符隶属于输出字符集合{3,4}。
[0043]在遍历完所有会话样本后，将得到初始的协议状态机。初始协议状态机的构建方法是将所有会话样本直接加入，没有进行任何区分和甄别，因此，构建得到的状态机结果往往包含了大量的冗余状态，需要通过融合同类状态的方法加以化简，得到的协议状态机才更具实用价值。
[0044](3)基于输出报文的状态融合
[0045]在构建完初始状态机以后，将依据相似度的高低，尝试对状态机中的相似状态进行状态融合。本实施例中相似状态的选择以Blue Fringe算法为基础，但对其中相似度的计算方法进行了改进。评价两个协议状态的相似度，采用的依据是公共输入字符串后缀。输入字符串后缀指的是协议实体从某一协议状态开始，接收到一系列的输入报文，这些输入报文在状态机中被表示为输入字符串后缀。公共输入字符串后缀中的“公共”强调的是两个不同协议状态接收到相同的一系列输入报文。公共输入字符串后缀能够反映协议实体在处于两个不同协议状态时，接收到相同输入报文时的状态转换和输出响应情况。在对相似度进行计算时，将考虑协议状态的公共输入字符串后缀的长短，以及对于接收到的相同输入，协议实体是否有相同的输出结果。如果两个协议状态，它们公共输入字符串后缀的长度最长，且对于相同输入有相同的输出，这样的两个协议状态将作为候选状态优先尝试融合。
[0046]两个候选状态是否能够融合，需要进行进一步的判定。因为协议状态机是基于训练样本构建的，而训练样本难以保证全面，这使得推断产生的协议状态机与真实的协议状态机可能存在差异。为了判断两个候选状态的融合是否可行，需要进一步有针对性的生成测试字符串进行测试，通过协议实体程序对于测试字符串的表现来肯定或者否定候选状态的融合，从而保证推断的协议状态机结果与真实的协议状态机高度吻合。
[0047]参考图3，测试字符串基于候选状态融合前的状态机产生，主要依据是状态机中两个候选状态的字符串前缀和字符串后缀。测试字符串的产生通过交叉拼接的方式，将到达某一个候选状态的所有字符串前缀与另外一个候选状态的所有字符串后缀依次拼接，生成的字符串组成测试字符串集合。例如，对于图3中状态融合前的状态机，状态I和状态3的相似度最高，将优先尝试融合。在构造测试字符串时，通过分析可知，状态I的字符串前缀集合为{〈1>}，状态3的字符串前缀集合{〈1，7>}。由于字符串前缀〈1，7>包含了〈1>，在融合过程中，将着眼于状态I的后缀集合{〈7，2，5，14>}和状态3的后缀集合{〈2，5，14>}，生成的测试字符串集合包含2个元素{〈1，2，5，14>，〈1，7，7，2，5，14>}。
[0048]利用测试字符串进行测试的过程中，首先依据测试字符串和已知的报文协议格式，将测试字符串实例化为输入报文序列。将输入报文序列发向协议实体程序，获取作为响应的输出报文序列。对输出报文序列进行抽象，将其表示为输出字符串序列。针对候选状态融合后的协议状态机，判断输出字符串序列中的输出字符，是否都存在于协议状态机对应状态的输出符号集中。如果所有输出字符串均与状态机中的一致，则认为状态融合是可行的，否则判断状态融合不可行，将测试结果作为新样本加入样本集并扩展协议状态机，继续在状态机中选择其他候选状态实施融合。
[0049]状态的融合操作将反复进行，直到状态机中没有可融合的状态为止。
[0050]由以上本发明的技术方案可知，本发明的基于状态融合的协议状态机自动推断方法，在已有的报文协议格式推断技术的基础上，依据收集的报文样本构造增强前缀树转换器，通过对增强前缀树转换器中的同类状态进行融合，得到精简的协议状态机。采用此方法需要获得协议实体程序，并能够根据需要运行实体程序，向其发送特定的报文序列，并观察相应的报文输出，以此作为协议状态机推断的基础。
[0051]综上所述，本发明的基于状态融合的协议状态机自动推断方法将协议系统视为带输出的状态迁移系统，着眼于协议系统中输入输出报文之间的内在联系对协议状态机中的状态实施融合，通过采用增强前缀树转换器EPTT描述协议实体在会话过程涉及的输入、输出报文组成的抽象符号串，并通过与协议实体的测试性交互判定状态融合的可行性，有助于确保构建的协议状态机与实际协议系统高度吻合，确保了状态机推断的自动化，提高推断结果的准确度；而且针对待融合的候选状态自动化产生辅助判定的输入样本，进而通过协议实体程序的自动化运行掌握协议实体对于输入样本的输出响应，避免了人工判定的低效，提高了状态机逆向推断的准确度和整体效率。
[0052]虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属【技术领域】中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。
【权利要求】
1.一种基于状态融合的协议状态机自动推断方法，其特征在于，包括以下步骤: (1)报文格式提取与报文分类:获取协议实体程序相关的输入、输出报文的具体格式信息，并依据报文格式分别对输入、输出报文分类，将结构相同的报文样本归为一类，以抽象符号表示分类的类别信息； (2)会话抽象与初始状态机构建:基于抽象符号表示的分类类别，以会话为单位，对网络通信行为进行抽象，将会话过程中的输入输出报文序列描述为抽象的输入输出符号串，进而依据会话样本集，构建与输入输出符号串集合一致的初始状态机； (3)基于输出报文的状态融合:依据相似度高低对候选状态进行融合，并生成测试符号串，再通过自动化的测试，比较协议实体与融合后的状态机在接收到测试符号串后做出的输出响应，验证状态融合的可行性； (4)重复上述步骤(3)直到状态机中不再有符合融合条件的状态； 前述会话抽象与初始状态机构建阶段的工作流程如下:状态机的推断以会话样本集为基础构建，将会话 中输入、输出报文以其所在类别对应的抽象符号表示，从而把完整会话的输入输出报文序列转化为抽象的输入输出符号串；在此基础上，依据会话样本集，采用增强前缀树转换器EPTT的形式构造初始状态机，初始状态机中包含了所有作为会话样本的输入输出符号串； 前述基于输出报文的状态融合阶段的工作流程如下:在初始状态机的基础上，依据相似度的高低每次对两个相似状态进行状态融合，相似状态的选择以Blue Fringe算法为基础，选择相似度最高的两个状态作为待融合的候选状态；候选状态的融合是否可行，将依据生成的测试字符串进行判定，判断两个候选状态是否能够融合，其中:测试字符串基于原始状态机中到达两个候选状态的字符串前缀和字符串后缀构建，通过交叉拼接的方式，将到达某一个候选状态的所有字符串前缀与另外一个候选状态的所有字符串后缀依次拼接，生成的字符串组成测试字符串集合，如果判定所有输出字符串均与融合后的协议状态机一致，则认为状态融合是可行的，否则判断状态融合不可行；将测试结果作为新样本加入会话样本集并扩展协议状态机，并继续尝试对其他状态进行融合。
2.根据权利要求1所述的方法，其特征在于，前述方法中，在协议状态机中选择待融合的候选状态时，以Blue Fringe算法为基础，相似度的计算依据协议状态的公共输入字符串后缀，公共输入字符串后缀反映协议实体在处于两个不同协议状态时，接收到相同输入报文时的状态转换和输出响应情况，其中:输入字符串后缀是指协议实体从某一协议状态开始，接收到一系列的输入报文，这些输入报文在状态机中被表不为输入字符串后缀；公共输入字符串后缀是指两个不同状态接收到相同的一系列输入报文；相似度的计算将考虑协议状态的公共输入字符串后缀的长短，以及对于接收到相同输入时协议实体是否产生相同的输出结果，如果两个协议状态，它们公共输入字符串后缀的长度最长，且对于相同输入有相同的输出，这样的两个协议状态将优先尝试融合。
3.根据权利要求1所述的方法，其特征在于，前述方法中，利用测试字符串集合进行状态融合与可行性判定的过程，包括以下步骤:首先依据测试字符串和已知的报文协议格式，生成作为测试用例的输入报文序列；将输入报文序列发向协议实体程序，获取作为响应的输出报文序列；对输出报文序列进行抽象，将其表不为输出字符串序列；针对候选状态融合后的协议状态机，判断输出字符串序列中的输出字符是否都存在于协议状态机对应状态的输出符号集中:如果所有输出字符串均与融合后的协议状态机一致，则认为状态融合是可行的，否则判断状态融合 不可行。
【文档编号】H04L29/06GK103441990SQ201310348136
【公开日】2013年12月11日 申请日期:2013年8月9日 优先权日:2013年8月9日
【发明者】洪征, 吴礼发, 郑成辉, 潘璠, 赖海光, 李华波, 周振吉 申请人:中国人民解放军理工大学
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1