的话单存储格式如下表1 ;
[0107]
阳10引 表1
[0109] 上述各重要维度字段的数据生成方法为：
[0110] 实时记录的报文中包含时间点的字段信息，该字段信息可直接作为用户质量的时 间字段数据；
[01U] 实时记录的报文有多种不同类型协议报文，提取其中相应时间点的radius报文， 找到radius报文中的user信息得到的字段为用户账号字段数据；
[0112] 根据IP报文五元组可找出报文中包含的用户IP字段数据和远端IP字段数据；
[0113] 网络流的FIFO原始流记录中包含了流量信息，可根据流量字段区分得出上行流 量字段数据和下行流量字段数据；
[0114] 每个报文都有其开始的时间节点和接收的时间节点，二者之差则为该用户某次访 问的连接时长字段，若无接收时间节点的话可判断该报文超时，则无连接时长字段数据；
[0115] 根据前面判断的上下行流量可获取总流量数据，再除W前面获取的时长字段数 据，得到的为该次访问的速率字段数据；
[0116] 每个IP报文都有其返回码，不同的返回码代表不同的返回结果，用返回码识别出 成功的次数除W所有返回码的总次数获得的成功率字段数据。
[0117] 上述重要维度字段数据生成方法可W通过下表2体现出来：
[011引
[0119] 表 2
[0120] 经过深度包检测技术预处理后生成内容详尽的原始CDR话单，对话单数据按照不 同的重要维度字段做分类整合生成业务话单，再根据业务话单所记录的数据可进一步进行 统计分析，得到互联网真实质量信息。例如，按时延字段划分区间范围做分类看用户感知情 况，生成时延质量区间分布图和分布表如表3,按速率字段划分区间范围做分类看用户感知 情况，生成质量区间分布图和分布表如表4。再结合不同的维度，实现多维护的全量用户真 实质量情况。
[0121]
阳 122]
阳123] 表3
[0124] 表3中的加权访问数，指的是分布在各个时延时段内的访问数。通过上述表3中 的数据，可进一步进行分析，得知互联网用户的时延质量，例如时延分别为20msW内、30ms W内、40msW内、50msW内、60msW内、70msW内、80msW内、90msW内、IOOmsW内、200ms W内、500msW内、1000msW内、IlOOmsW内所对应的用户访问数。根据越小的时延值对应 的访问数越多、则互联网在时延方面的用户质量越高的原则，即可得知互联网关于时延方 面的全量用户真实质量。
[0125]
阳126]
阳127]表4
[0128] 根据表4中反映的不同速率对应的访问数，即可得知互联网速率的基本状况，即 不同速率段对应的访问比例。根据诸如表4中的速率字段数据，即可得知互联网关于速率 的全量用户真实质量
[0129] 根据获取的数据包中IP地址字段归属情况区分不同的运营商，例如移动、联通、 电信，最终可生成的不同运营商的互联网真实质量对比的数据图。W运营商移动和总体质 量进行对比、重要维度字段数据为平均时延字段数据为例，对比数据图参照图2。
[0130] 本发明实施例所提供的方法，不仅可W解决用户使用网络的海量数据的处理问 题，从互联网全量用户真实的互联网使用数据中提前发现质量问题点，针对性地进行优化， 消除可能发生的网络故障隐患，达到网络故障率下降至少50%的效果；该方法还可W实现 从全网用户真实质量的互联网使用数据中挖掘定位故障点，使故障处理及时率提升至少 50% ;同时，可W根据该方法可获得不同维度的全量用户使用网络的真实质量，允许运营商 根据质量监测结果有针对性地挖掘提升业务质量，100%针对性地提升网络和业务质量。
[0131] 在本发明的一些实施例中，从所述全量用户数据中提取重要维度字段的数据的步 骤包括：
[0132]按照协议和访问类型对于所述全量用户数据中对应的字段进行识别；
[0133]按照预先设定的MapRe化Ce模型中的规律将所述识别后的全量用户数据分发到 化doop中的数据分析模块；
[0134] 通过所述数据分析模块从所述识别后的全量用户数据中提取重要维度字段的话 单。
[0135]在本发明的一些实施例中，所述数据分析模块包括Pig数据分析模块，和/或化ve 数据分析模块。
[0136] 较佳的，所述数据分析模块为Pig数据分析模块。
[0137]Pig数据分析模块可针对采集服务器传输的数据包做深度分析处理，其核必Pig Latin语言是面向关系型的流式数据处理语言，PigLatin更适合构建数据流，它是面向过 程的语言，允许自定义处理流程中检查点的位置和逻辑，还允许直接选择特定的操作实现 方式而不是依赖于优化器，同时，Pig还支持在处理流程中出现分支并控制分支的发展，另 一方面，Pig对大数据集的迭代式处理支持较好，可W对不断到达的数据进行增量处理。送 些特性均决定了Pig在数据准备阶段具有更好的效果。
[0138] 通过所述Pig数据分析模块，可从数据包中包含的各类信息和字段中分析挖掘出 所需要的重要维度字段数据。例如，通过Pig数据分析模块读取数据包的时间节点作为时 间字段数据、通过分析IP报文五元组获取上下行流量字段数据等。采用现有技术的深度 包检测技术难W实现海量大数据的迅速运算、处理和存储，而应用化doop分布式处理与运 算的深度包检测技术可解决海量大数据问题，达到实时高效地对互联网质量进行监测的目 的。
[0139] 进一步，本发明还提供一种互联网真实质量监测装置，结构如图3所示，包括：
[0140] 数据采集模块：用于采集经过互联网出口的全量用户数据；
[0141] 数据上传模块：用于将所述全量用户数据上传到Apache化doop集群架构中的 化doop分布式文件系统皿FS ;
[0142] 原始呼叫直接记录CDR话单生成模块；用于在Apache化doop集群构架的 Mapre化Ce计算框架中，采用深度包检测技术DPI将所述全量用户数据生成为原始呼叫直 接记录CDR话单；
[0143] 重要维度字段话单生成模块：用于将所述原始呼叫直接记录CDR话单合成为重要 维度子段话单；
[0144] 互联网真实质量获取模块；用于分析所述重要维度字段话单确定互联网真实质 量；其中，所述全量用户数据指用户使用网络时产生的数据流。
[0145] 从上面所述可W看出，本发明提供的互联网真实质量检测装置，替代了现有的互 联网之恋拨测模拟监测装置，实现了海量数据的检测，可通过全量用户使用互联网的数据 监测到互联网真实质量。
[0146] 在一些实施例中，所述装置还包括原始呼叫直接记录话单存储模块；用于在采用 深度包检测技术DPI将所述全量用户数据生成为原始呼叫直接记录CDR话单之后，还将所 述原始呼叫直接记录CDR话单存储到分析服务器。
[0147] 在一些实施例中，所述全量用户数据包括网络监控设备发出的流记录顿Flow Record化ame;所述数据采集模块具体包括：
[014引流记录顿接收单元；用于通过采集服务器接收网络监控设备发出的流记录顿Flow民ecordFrame。
[0149] 在具体实施例中，所述流记录顿接收单元可W为软件模块，也可W为硬件。
[0150] 例如，在一种具体实施例中，所述流记录顿接收单元可W为光分路合路器，该光分 路合路器接入互联网的物理线路。通过在出口路由器和交换机的链路上串接入光分路合路 器，其上行接口连接互联运营商对端路由器，其下行接口连接出口路由器端口，与采集设备 连接为外馈电方式，可将整个链路的网络流导入Apache化doop。当光分路合路器或与光分 路合路器连接的物理线路或采集设备在断电、启动、故障或接口告警时会自动切换到光路 直通模式保障上下游路由设备的可靠连接，光开关的切换时间<2ms。
[0151] 在一些实施例中，所述重要维度字段话单包括ht化业务话单。
[0152] 在一些实施例中，所述原始呼叫直接记录CDR话单生成模块具体包括：
[0153] 数据转换单元；用于将所述流记录顿Flow Record化ame和ht化报文分别转换为 Rawf low文件和ht化记录文件；
[0154] 精简和预处理单元；用于将所述Rawflow文件和ht化记录文件进行精简和预处 理；
[01巧]上传单元；用于将精简和预处理后的Rawflow文件和ht化记录文件上传到 化doop集群架构中的化doop分布式文件系统皿FS。
[0156] 在一些实施例中，重要维度字段话单生成模块包括：
[0157] 重要维度字段数据提取单元：用于从所述全量用户数据中提取重要维度字段的数 据；
[015引业务话单合成单元；用于将所述重要维度字段的数据合成业务话单。
[0159] 在一些实施例中，所述重要维度字段至少包括连接时长、时延、速率、成功率；
[0160] 所述连接时长为