] 步骤103;在Apache化doop集群构架的Mapre化Ce计算框架中，采用深度包检测 技术值eepPacketInspection,DPI)将所述全量用户数据生成为原始呼叫直接记录（Call DirectRecord,CDR)话单；
[0067] 步骤104;将所述原始呼叫直接记录话单合成为重要维度字段话单；
[0068] 步骤105;分析所述重要维度字段话单确定互联网真实质量；其中，所述全量用户 数据指用户使用网络时产生的数据流。
[0069] 从上面所述可W看出，本发明采集互联网出口的全量用户数据，利用深度包检测 结合Apache化doop集群构架对所述全量用户数据进行分布式运算和处理，获得反映全量 用户网络使用状况的重要维度字段话单，该重要维度字段话单由全量用户数据分析获得， 可W准确地反映全量用户使用互联网的真实质量，通过一些统计分析或其它方式，可W从 所述重要维度字段话单中获取反映互联网真实质量的信息，例如：将用户使用网络的速率 作为重要维度字段，则可在所述重要维度字段话单中直观监测出互联网真实速率信息；进 而通过所述重要维度字段话单获得的网络真实质量监测也能够贴近实际情况。
[0070] 所述步骤105中，可采用统计分析或其它分析方式对所述重要维度字段话单进行 分析，也可W通过比较等方式获得互联网相对真实质量情况。
[007。 实际情况下，全量用户数据需要占用极大量的内存，W广州某城域网出n为例，出 口有8个IOG链路，一天的总流量达到440TB，即使汇聚为流记录，每天也要产生几个TB的 记录和HTTP访问记录，传统的数据库技术难W处理如此规模的数据。本发明采用Apache 化doop集群架构作为基础，可处理海量的全量用户数据，因而可W完成基于全量用户数据 的原始CDR话单生成，并可进一步将原始呼叫直接记录CDR话单合成为重要维度字段话单。
[0072] 在本发明的一些实施例中，在Apache化doop集群构架的Mapre化Ce计算框架中， 采用DPI将全量用户数据生成为原始CDR话单时，采用4~7层的深度报文检测，通过分析 报文中特征指纹（Signature)W及不同业务流的流量统计规律和连接规律进行业务识别 和分析。
[0073] 在具体实施例中，所述全量用户数据包括用户使用网络的网络流（NetFlow)。所 述网络流记录由流记录顿（FlowRecord化ame)构成，所述流记录顿记录有ht化报文。所 述网络流为FIFO(先入先出，FirstInFirstOut)流，在网络流中，所述ht化报文为镜像 报文。
[0074] 在具体实施例中，所述重要维度字段话单存储至皿FS的数据库服务器皿ase中。 [00巧]在本发明的一些实施例中，采用深度包检测技术DPI将所述全量用户数据生成为 原始CDR话单之后，还将所述原始CDR话单存储到分析服务器。
[0076] 所述原始CDR话单定时传送到分析服务器中。所述分析服务器主要保存原始CDR 话单，为该服务器配置大容量的存储，基于DPI主要采用离线方式，利用高性能服务器加大 容量存储，每天需要存储和处理几个T的原始话单。
[0077] 在具体实施例中，所述全量用户数据主要通过前置采集服务器收集，所述前置采 集服务器W化doop客户端模式安装，可实时接收流记录顿和ht化报文，并能够对指定链路 的出入双方向流量进行1:1的线速采集和流量分析，通过协议+端口号、协议指纹、业务特 征、流量行为等进行业务的在线识别、标记和统计分析。所述原始CDR话单包括不同的网络 业务话单，进一步包括ht化业务话单。
[0078] 在本发明的一些实施例中，所述全量用户数据包括网络监控设备发出的流记录 顿；所述采集经过互联网出口的全量用户数据的步骤具体包括：
[0079] 通过采集服务器接收网络监控设备发出的流记录顿Flow Record化ame。
[0080] 在本发明的一些实施例中，所述重要维度字段话单包括ht化业务话单。
[0081] 在其它实施例中，所述重要维度字段话单还包括其它业务话单，如f化业务话单、 网络协议业务话单等。
[0082] 由于http业务是用户使用最多的一种业务，因而对ht化业务话单进行分析所得 到的结果相比于其它业务话单更具有代表性。
[0083] 在本发明的一些实施例中，将所述全量用户数据生成为原始呼叫直接记录话单的 步骤具体包括：
[0084] 步骤1031 ;将所述流记录顿Flow Record化ame和ht化报文分别转换为Rawflow 文件和ht化记录文件；
[0085] 步骤1032 ;将所述Rawflow文件和ht化记录文件进行精简和预处理；
[008引步骤1033 ;将精简和预处理后的Rawflow文件和ht化记录文件上传到化doop集 群架构中的化doop分布式文件系统皿FS。
[0087] 在本发明一些实施例中，将所述原始呼叫直接记录话单合成为重要维度字段话单 的步骤包括：
[0088] 从所述全量用户数据中提取重要维度字段的数据；
[0089] 将所述重要维度字段的数据合成业务话单。
[0090] 在本发明的一些实施例中，所述重要维度包括：业务维度、用户群维度、流向维度、 指标维度、时间维度。
[0091] 具体的，基于深度包检测，所述业务维度数据根据网络流数据包中的数据进行识 别和监测，例如：协议类型和端口号字段、协议特征和业务指纹（signature)、数据传输特 征和流量特征。
[0092] 所述用户群维度数据可通过下述方式进行挖掘和监测：
[0093]WIP地址段定义用户或用户群；按主机地址、地址+掩码、地址范围和文件导入方 式定义用户或用户群，每个用户群组支持多个地址项，支持地址合并和交叉；
[0094] 针对用户和用户群进行分类定义；每一种类别刻画用户的一维特征，比如可W 按地域划分；广东、江苏、四川、湖北、河南……；也可W按用户类型划分；AAA客户、AA客 户……；或是按接入类型划分；家庭宽带、WLAN、专线……等等。
[0095] 所述流向维度，包括移动、电信、联通等各流向。每一次用户访问，均有对端IP地 址，从数据包中挖掘出对端IP存储在话单中，再从话单中获取对端IP地址字段，根据各个 运营商的IP地址范围情况找出该对端IP的运营商归属情况，作为流向维度。
[0096] 所述指标维度，包括TCP连接成功率，TCP连接时延，HTTP下载速率（下行流量/ 时长，单位为肺PS)等维度。
[0097] 所述时间维度，包括每日质量（日闲时、日忙时），每周质量（周闲日、周忙日）等。
[0098] 从上面所述可W看出，本发明所提供的互联网真实质量监测方法，不仅可W替代 传统的拨测模拟监测方法，且基于全量用户数据进行质量分析，能够得到真实度更高的质 量分析结果。且现有技术进行互联网质量监测时，不能根据海量数据生成深度挖掘的话单， 而本发明实施例所提供的方法，采用Apache化doop对海量数据生成的话单进行不同维度 的挖掘，可得到多方面多维度的全量用户数据所体现的互联网真实质量。
[0099] 在一种具体实施例中，所述重要维度字段数据包括；时间字段数据、用户账号字段 数据、用户IP字段数据、远端IP字段数据、上行流量字段数据、下行流量字段数据、连接时 长字段数据、时延字段数据、成功率字段数据中的至少一种。
[0100] 在本发明的一些实施例中，所述重要维度字段至少包括连接时长、时延、速率、成 功率；
[0101] 所述连接时长为报文接收时间减去报文开始时间；
[0102] 所述时延为连接H次握手成功的时间至接收到第一个get报文之间的时间差；
[0103] 所述速率为单位时间的网络流量；
[0104] 所述成功率为根据IP报文返回码所获知的识别成功次数占总次数的比例。
[0105] 在一种具体实施例中，通过前置采集服务器可采集经监控设备预处理过的网络流 和镜像http报文。所述网络流为FIFO流，每条流记录包括了网内IP、网外IP、上下行字 节数、上下行报文数等字段，前置采集服务器接收flowrecord化ame后，通过其上设置的 Importer(读入）工具定期读取rawflow文件、ht化报文，每个rawflow文件对应了一条流 记录，前置采集服务器上的Importer工具将所有rawflow文件、ht化报文经清洗、预处理后 上传到化doop集群架构中的皿FS成为原始CDR话单并定时传给分析服务器，再由化doop 集群中的Analyzer将皿FS中的原始数据经过统计分析压缩为相对较小的各种数据，也即 将流记录和镜像报文合成为重要维度字段业务话单和HTTP访问话单，同时将重要缔度的 数据处理后入库，数据保存至数据库服务器。
[0106] 当所述重要维度字段数据包括上述时间字段数据、用户账号字段数据、用户IP字 段数据、远端IP字段数据、上行流量字段数据、下行流量字段数据、连接时长字段数据、时 延字段数据、和成功率字段数据时，重要维度字段