专利名称：一种网络审计领域提高会话完整性的方法
技术领域：
本发明涉及一种网络审计领域的会话方法，尤其涉及一种网络审计领域提高会话完整 性的方法，属于网络审计领域。
背景技术：
随着互联网的飞速发展，人们对它的使用变得越来越多。与前些年相比，很多企业对 数据审计方面提出了更高的要求。数据审计领域正向着行为分析与更大的分析容量等方向 发展，在识别复杂协议与吞吐量等关键技术点上满足市场对该类产品的需求。
常见的网络数据审计系统可以完成海量数据捕获、应用层协议数据识别、敏感关键字 匹配等动作来对出口数据进行完整内容过滤。在基础协议分析上，主要对人们经常使用的 TCP、 UDP所承载的内容进行识别。
网络数据内容的审计关键在于对无法识别的"连接"进行审计，从而提高了海量数据 的处理速度。前者所遇到的难题是会话双方在通信过程中经常会"衍生"出另外的数据连 接，而该数据连接的端口及特征码是不确定的，无法在审计设备中进行有效识别，如FTP 数据传输阶段以及MSN聊天阶段都是这种现象产生的例子。而后者的瓶颈主要来自庞大 的协议特征码匹配表搜索压力与数据内容关键字过滤的压力。
目前的审计产品大多还依靠静态协议特征码对截获的内外网数据进行识别。在特征码 中没有记录的数据将被"放行"，对于企业管理者来说不能不算做一个损失。
发明内容
针对以上审计系统的不足之处，本发明提出了一种网络审计领域提高会话完整性的方 法，可以明显改善该类产品对于应用协议数据识别的效率。
审计系统收到数据帧后进行底层解码将应用层数据向上提交至应用层，各个应用层协 议处理模块选出自身的数据流并对其进行解析，过滤等操作，最终得到匹配关键字的审记 数据。
处理双方底层数据链路的基本单位是四元组(源ip地址、源端口、目的ip地址、目的 端口)之上的多个网络数据包。在这一系列的数据包组成的会话过程中交互着如"发送的电子邮件"、"好友之间的聊天文本"等实质性的内容信息，但也存在着大量的控制信令 数据，衍生新的会话过程就是其中非常流行的一种。
进一步的，我们可以分析该控制信令的内容，提取出将要产生的新会话的关键信息， 如要新产生连接的IP， PORT, PASSPORT等，这些信息均是应用层会话数据。通常，提 取的内容并不是完整的，在由服务器端指示客户端进行会话派生的过程中客户端的本地端 口一般是不确定的，它将在生成该会话时动态产生。这也就是"预测"这两个字的含义。
进一步的，将提取出的这些预测信息加入预测连接池中，该预测连接池可以理解为一 个集中存储的数据区域，并提供网络审计系统进行访问的接口。
进一步的，对于不同的使用系统，获取预测连接池中的内容对其处理的方式将是不同 的。他们以相同的一组接口对连接池进行操作。审计系统在随后的一段时间内会截获到我 们之前在预测连接池内生成的匹配数据包，使用快速匹配技术(如HASH査找)将其找到并 补充其不完整的地址信息。补充完整的四元组连接将进入正式的数据审计阶段。 为实现上述目的，本发明采取的技术方案为
一种网络审计领域提高会话完整性的方法，其步骤为
1) 审计系统对流经的数据包进行解析，提取该数据包的四元组信息；
2) 审计系统判断该四元组是否在于连接管理器中，如果存在则进行正常的数据提取 审计操作；如果不存在则进行下述操作；
3) 将提取的四元组信息与预测连接池中存储的预测信息条目进行匹配，如果存在该 条目则补充完整之前预测时缺少的信息，然后将其加入连接管理器中；如果不存在 该条目则生成该连接对象进行管理。
所述四元组信息包括源ip地址、源端口、目的ip地址、目的端口。 所述正常的数据提取审计操作的方法为
1) 提取应用层协议的连接双方衍生会话信息；
2) 通过添加接口向预测连接池提交添加预测连接信息；
3) 预测连接池记录该预测连接信息。 所述匹配方法为HASH査找匹配方法。
所述预测连接池包括查询接口和添加接口 。所述预测连接池内包含一预测连接哈西表，用于存储己经被预测的连接信息。
所述预测连接哈西表内每条信息使用将会出现连接的交叉二元组(对端IP及己端端口) 作为哈西关键字对数据进行匹配。
所述预测连接哈西表具有一超时管理机制，其方法为在设定时间内，预测连接哈西 表对没有预测数据到达的相关维护元素进行删除并对该次失败的动作进行数据库的记录 工作；对有预测成功的的连接进行相关的记录动作。
所述预测连接池的数据映射在后台数据库中，采用准实时策略分批保存所述预测连接 表及预测结果信息表。
所述后台数据库的工作方法为所述预测连接池启动时读入常用协议的保存预测数 据，将不常用的协议保存数据只做映射在内存中，之后如有需要再进行分批加载。
本发明的积极效果本发明可以有效的解决在实际通讯过程中双方动态协商产生的数据连接无法识别的问 题，通过预先记录关键指导信息而进行的特别处理可以将静态协议码表中没有记录的协议 内容记录下来。是目前主流审计系统非常好的改进措施。
图l为本发明的结构示意图； 图2为本发明的流程图3现有技术中审计领域会话的处理方法流程图；
具体实施例方式
如图1所示，本发明涉及预测连接池模块、审计系统模块、添加及査询接口。这两个 接口作为连接池与外界通讯的唯一途径。
在实现上，预测连接池可作为独立应用程序或审计系统的进程内模块方式存在，不论 怎样都应使其保持低偶合、高内聚的设计原则。
审计系统对流经的数据包进行解析，提取必要的四元组信息(源ip地址、源端口、目的 ip地址、目的端口)，首先判断该四元组是否存在于连接管理器中，如果存在则进行正常的 数据提取审计动作，该审计处理动作即普通的对连接通讯数据进行抓取。在数据提取过程 中，对于某种应用层协议的连接双方衍生会话信息会被提取，提取完成后则通过添加接口
5可以进行向预测连接池提交添加预测连接信息的动作。
如果该四元组不在连接管理器中，则审计系统通过査询接口使用快速匹配技术(如 HASH査找)将提取的四元组信息与预测连接池中存储的条目进行匹配，该条目即之前提到 的新会话的关键信息(有可能是三元或两元组)。如果存在这个条目则审计系统在随后的一 段时间内会截获到我们之前在预测连接池内生成该条目的匹配数据包，使用快速匹配技术 (如HASH査找)将其找到并提取当前数据包的四元组信息来补充完整之前预测时缺少的1 元信息即一方port或ip，然后加入连接管理器中。如果条目不存在则要依靠静态协议特征 码表判断出具体数据协议并生成该连接对象进行管理(连接管理器即审计系统基础的连接 监视器，为目前所有审计系统都具备的)。这样通过动态补充预测连接池中新产生的会话 数据的四元组信息，来不断补充完善预测连接池。
预测连接池内部包含一预测连接哈西表，内部存储着已经被预测的连接信息，这些信 息都由应用层模块解析相关协议得到，即审计系统收到数据帧后进行底层解码将应用层数 据向上提交至应用层，各个应用层协议处理模块选出自身的数据流并对其进行解析、过滤 等操作，最终得到匹配关键字的审记数据。每条信息使用将会出现连接的交叉二元组(对端 IP及己端端口)作为哈西关键字对数据进行匹配。当从外部接口传递过来的添加数据或査询 请求到达时对哈西表进行相关的添加或査询数据操作。预测连接池内部具备超时管理机 制，在系统可配置的时间超时过后没有相应的预测数据包到达时将对维护的相关元素进行 删除并对该次失败的动作进行数据库的记录工作。同样，对预测成功的的连接也进行相关 的记录动作。
后台数据库是预测连接池的数据全息映像，采用准实时策略分批保存预测连接表及预 测结果信息表等动作。连接池启动时会读入常用协议的保存预测数据，将不常用的协议保 存数据只做映射在内存中，之后如有需要再进行分批加载。该系统工作模式在效率及安全 性上满足断电及系统硬问题导致的故障。后台数据库可进行数据挖掘工作，定期产生某些 协议预测连接命中情况及用户IP分布图等内容的分析报表，可对该系统协议预测改进提供 基础数据。
预测连接池对外提供添加规则及查询规则的操作接口。为使多种系统对其进行使用， 可定制接口中间程序(翻译程序，对不同系统可以做单独开发定制)对其输入输出数据进 行规范化。对于不具备此条件的应用系统可以使用其数据库表做为接口。
在实际应用中，作为审计系统进程外组件，特别应该注意的是在海量数据处理方面对于预测连接池的进出数据将可能会产生瓶颈。应该尽量以信号量及内存消息方式进行进程 间通讯，减少以文件作为纽带所带来的磁盘10开销。如预测连接池组件是独立的一台服 务器则应使用Socket方式直接进行数据传输而避免使用NFS。如果确定是在内网使用并可 保证其链路间无路由器中转，则可使用UDP作为基础协议来适应海量数据请求时的响应 速度°
预测连接数据从审计系统的各个应用层协议解析模块内得到。在需要产生预测数据的 模块需要进行特别协议提取(特别协议指已经掌握协议格式并可以对其进行正确解析的协 议)并对其做相应抛出动作。对于多种应用协议的新会话信令提取动作以模板的形式进行 提供，以审计数据库内的描述脚本作为数据源对系统内的多种应用协议予以支持。预测连 接池本身数据是不断完善的。
本发明可以做为较为独立的处理模块来应对多种需要该技术的产品，在提取预测数据 地址、特定值以及査询数据处理上对外提供接口，使模块具备低偶合高内聚的设计特点， 具有很强的适应性。本发明可有效的改善静态协议码的内容局限性以及节省海量数据处理 时协议判断所带来的性能开销。
权利要求
1. 一种网络审计领域提高会话完整性的方法，其步骤为1)审计系统对流经的数据包进行解析，提取该数据包的四元组信息；2)审计系统判断该四元组是否在于连接管理器中，如果存在则进行正常的数据提取审计操作；如果不存在则进行下述操作；3)将提取的四元组信息与预测连接池中存储的预测信息条目进行匹配，如果存在该条目则补充完整之前预测时缺少的信息，然后将其加入连接管理器中；如果不存在该条目则生成该连接对象进行管理。
2. 如权利要求l所述的方法，其特征在于所述四元组信息包括源ip地址、源端口、目 的ip地址、目的端口。
3. 如权利要求l所述的方法，其特征在于所述正常的数据提取审计操作的方法为1) 提取应用层协议的连接双方衍生会话信息；2) 通过添加接口向预测连接池提交添加预测连接信息；3) 预测连接池记录该预测连接信息。
4. 如权利要求l所述的方法，其特征在于所述匹配方法为HASH査找匹配方法。
5. 如权利要求l所述的方法，其特征在于所述预测连接池包括查询接口和添加接口。
6. 如权利要求5所述的方法，其特征在于所述预测连接池内包含一预测连接哈西表，用 于存储已经被预测的连接信息。
7. 如权利要求6所述的方法，其特征在于所述预测连接哈西表内每条信息使用将会出现 连接的交叉二元组(对端IP及己端端口)作为哈西关键字对数据进行匹配。
8. 如权利要求6所述的方法，其特征在于所述预测连接哈西表具有一超时管理机制，其 方法为在设定时间内，预测连接哈西表对没有预测数据到达的相关维护元素进行删 除并对该次失败的动作进行数据库的记录工作；对有预测成功的的连接进行相关的记 录动作。
9. 如权利要求6所述的方法，其特征在于所述预测连接池的数据映射在后台数据库中， 采用准实时策略分批保存所述预测连接表及预测结果信息表。
10. 如权利要求9所述的方法，其特征在于所述后台数据库的工作方法为所述预测连接 池启动时读入常用协议的保存预测数据，将不常用的协议保存数据只做映射在内存中，之 后如有需要再进行分批加载。
全文摘要
本发明公开了一种网络审计领域提高会话完整性的方法，属于网络审计领域。本发明的方法为审计系统通过对流经的数据包进行解析，提取该数据包的四元组信息，然后将此四元组信息与预测连接池中存储的预测信息条目进行匹配，如果存在该条目则补充完整之前预测时缺少的信息并将其加入连接管理器中；如果不存在该条目则生成该连接对象进行管理。本发明可以有效的解决在实际通讯过程中双方动态协商产生的数据连接无法识别的问题，通过预先记录关键指导信息而进行的特别处理可以将静态协议码表中没有记录的协议内容记录下来，大大改进了目前主流审计系统。
文档编号H04L12/26GK101286903SQ20081010594
公开日2008年10月15日 申请日期2008年5月6日 优先权日2008年5月6日
发明者崔荣杰 申请人:北京锐安科技有限公司