递进来的某个元素一致，则针对 每条流记录，输出4个〈key，Vlue〉对，格式分别为：r流量方向时间片源Ip地址协议号TCP控 制位"，"源Ip地址"〉、〈"流量方向时间片源Ip地址协议号TCP控制位"，"源端口地址"〉、〈"流 量方向时间片源Ip地址协议号TCP控制位"，"目的Ip地址"〉、〈"流量方向时间片源Ip地址协 议号TCP控制位"，"目的端口地址"〉。
[0153] Reduce 阶段：
[0154] 步骤1:建立4个格式为<5*'111旨，Integer〉的二维表，分别对应源Ip地址、源端口 号、目的Ip地址、目的端口号，其中String类型部分存储value对应的不重复的字符串（Ip地 址转换成整型值），Integer用来存储该字符串在运个k巧对应的value迭代器中出现的次 数，处理key对应的所有value值，形成最终的4个二维表；
[0巧日]步骤2:依次遍历每个二维表，得到K巧的个数后求得不重复元素出现概率= 1/Key 的个数，若此值大于某个阔值(如1/10)，则判断元素分布"集中"；若小于此阔值，则将所有 的K巧看作二维空间上的点，横坐标为二维表中K巧的序号，纵坐标为K巧的值，形成一条折 线图，最后判断运条折线是否具有"人为特征"，如折线上的某一段占据了整个折线的很大 比例算做此折线具有"人为特征"，或者具有相同斜率的折线段占据了整个折线的很大比例 算做此折线具有"人为特征"；
[0156] 步骤3:除了集中点外，而且此集中点对应的其它域出现"集中"或者"人为特征"的 分布，则判断发生了与此集中点相关的异常，若不能判断的集中点，则输出到指定文件，由 人工判断。
[0157] 6、检测结果显示模块
[0158] 检测结果显示模块完成离线异常检测结果和在线异常检测结果的显示。检测结果 显示模块的工作流程如图10所示，包括离线异常检测结果显示和在线异常检测结果显示， 具体实施步骤如下：
[0159] 离线异常检测结果：
[0160] 步骤1:按照时间顺序查询数据库中记录的正常和异常信息；
[0161] 步骤2:将查询到的正常和异常时间片对应的信息，对应所发生的时间有区别的显 示在离线检测显示界面上。
[0162] 在线异常检测结果：
[0163] 步骤1:定时查询数据库更新；
[0164] 步骤2:将查询到的更新信息，按照时间顺序将正常时间片和异常时间片区别显 示，并追加到在线监测显示界面上。
[0165]本发明基于化doop的网络流量异常检测系统，物理上是由一个化doop集群或者由 一个化doop集群加一台独立主机构成，逻辑上包括流量采集存储模块、训练模块、离线检测 模块、在线监测模块、微观分析模块、检测结果显示模块。在线采集存储模块为训练模块、离 线检测模块、微观分析模块提供流记录数据;训练模块为离线检测和在线检测模块提供异 常检测阔值;微观分析模块可对离线检测模块的运行结果进行进一步的验证;检测结果显 示模块负责显示离线检测、在线检测及微观分析等模块的运行结果。
[0166] 所述系统通过网络与边界路由器连接，边界路由器主动发送流记录数据到指定的 接收主机，整个系统被动接收数据，不向边界路由器发送任何数据，由于检测工作都在系统 内部完成，不需要关屯、自治域内的网络拓扑结果，不会对边界路由器产生主动的影响，独立 性强。
[0167] 流量采集存储模块完成IPFIX网络流量的采集存储工作，需要依次完成流数据的 采集、解码W及存储到集群的皿FS文件系统等工作。
[0168] 训练模块完成检测阔值的获取工作，需要在MapReduce框架下依次完成赌值计算、 模糊C均值聚类(FCM)等工作。
[0169] 离线检测模块完成海量流数据的离线异常检测工作，需要完成离线流量数据对应 的所有时间片的赌值计算及网络流量异常时间片的判断工作。
[0170] 在线监测模块完成当前时间片的在线异常检测工作，需要完成当前时间片的赌值 计算及当前时间片流量是否异常的判断工作。
[0171] 微观分析模块负责再次验证异常时间片是否发生异常，需要提取与集中点（时间 片内出现次数较多的元素)有关的元素，并判断元素的分布是否出现了"人为特征"。
[0172] 检测结果显示模块完成离线异常检测结果和在线异常检测结果的显示，对不同的 流量类型的数据进行分别的显示。
[0173] 本发明基于化doop的网络流量异常检测系统，所述系统按照流量方向将流量分成 外部流量、流入流量、流出流量和内部流量4种类型，并采用了宏观赌值检测和微观集中点 半自动分析的方法进行网络流量异常检测。
[0174] 本发明基于化doop的网络流量异常检测系统，在数据分析上提供了对IPFIX流数 据的支持，且在赌值计算过程中采用了源Ip地址、源端口号、目的Ip地址、目的端口号与协 议号、TCP控制位相结合的方式，对其组成的新的元素计算Tsallis赌值。
[0175] W上，仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，任何熟悉本 技术领域的技术人员在本发明掲露的技术范围内，可轻易想到的变化或替换，都应涵盖在 本发明的保护范围之内。因此，本发明的保护范围应该W权利要求所界定的保护范围为准。
【主权项】
1. 一种基于化doop的边缘网出口网络流量异常检测方法，其特征在于:所述方法包括： 对训练数据流进行训练，得到异常数据流的检测阔值； 接收AS边界路由器输出的在线流数据流； 基于所述检测阔值分别判断在线流数据和离线流数据的异常时间片是否超过阔值； 记录并显示检测结果。2. 根据权利要求1所述的基于化doop的网络流量异常检测方法，其特征在于:对训练数 据流进行数据训练的方法，具体包括如下步骤： 根据源As号和目的As号划分所述的训练数据流为4个流量方向，所述4个流量方向分别 为:外部流量、外部流入流量、内部流出流量、内部流量； 在MapReduce框架下，对所有训练数据流进行离线赌值计算，分别计算4个流量方向所 有时间片的赌值； 对经过MapReduce得到的赌值文件进行处理，将4种不同方向的流量分别写入4个不同 的文件； W得到的赌值文件为输入，利用FCM聚类算法进行聚类，得到4种不同流量分别对应的 正常类和异常类的中屯、点C和半径r，并将正常类对应的c+a村作为上阔值，将c-a村作为下 阔值，a为大于0的实数，将阔值分别写入4种流量对应的检测阔值文件。3. 根据权利要求1所述的基于Hadoop的网络流量异常检测方法，其特征在于:在线数据 数据采集方法，具体包括如下步骤： 从网络中抓取由As边界路由器主动发送来的IPFIX流数据； 根据IPFIX模版进行解码，并转换成对应的文本格式； 将转换后的文本文件保存到化doop集群皿FS文件系统下指定的目录。4. 根据权利要求1所述的基于化doop的网络流量异常检测方法，其特征在于:离线数据 检测方法，具体包括如下步骤： 根据源As号和目的As号划分所述的被检测离线流记录数据为4个流量方向，所述4个流 量方向分别为:外部流量、外部流入流量、内部流出流量、内部流量； 在MapReduce框架下，对所有的被检测离线流记录数据进行离线赌值计算，计算所有时 间片对应的4个不同流量方向的赌值； 依次将每个时间片得到的4个赌值和所对应流量类型的训练得到的赌值阔值进行比 较； 若超过阔值，则将此时间片划归为异常时间片，未超过阔值，则将此时间片划归为正常 时间片； 将检测结果存储到数据库中； 离线赌值计算Tsai 1 i S赌值公式为：其中，k、q为公式的参数； Pi为时间片内第i个不重复的元素出现的概率，5. 根据权利要求1所述的基于化doop的边缘网出口网络流量异常检测方法，其特征在 于:在线数据检测方法，具体包括如下步骤： 接收As边缘路由器发送的流数据按照IPFIX模版格式解码； 对上个时间片截止时间到当前时间片截止时间收到的流记录进行处理，根据源As号和 目的As号将所述流数据划分为4个方向的流量:外部流量、外部流入流量、内部流出流量、内 部流量，计算分别计算4各流量方向当前时间片对应的4个赌值； 依次将每个时间片得到的4个赌值和所对应的通过训练得到的赌值阔值进行比较； 若超过阔值，则将此时间片划归为异常时间片，未超过阔值，则将此时间片划归为正常 时间片； 将检测结果存储到数据库中。6. 根