报文接收时间减去报文开始时间；
[0161] 所述时延为连接H次握手成功的时间至接收到第一个get报文之间的时间差；
[0162] 所述速率为单位时间的网络流量；
[0163] 所述成功率为根据IP报文返回码所获知的识别成功次数占总次数的比例。
[0164] 在一些实施例中，重要维度字段数据提取单元包括：
[0165] 数据识别子单元；用于按照协议和访问类型对于所述全量用户数据中对应的字段 进行识别；
[0166] 数据发送子单元；用于按照预先设定的MapRe化Ce模型中的规律将所述识别后的 全量用户数据分发到Hadoop中的数据分析模块；
[0167] 重要维度字段话单提取子单元；通过所述数据分析模块从所述识别后的全量用户 数据中提取重要维度字段的话单。
[0168] 在一些实施例中，所述数据分析模块包括Pig数据分析模块，和/或化ve数据分 析模块。
[0169] 从上面所述可W看出，本发明及其实施例提供的互联网真实质量监测方法和装 置，可基于全量用户使用互联网的数据对互联网真实质量进行检测，同时可W解决海量的 全量用户数据处理分析的问题，提高故障发现、处理、消除的效率。同时，本发明实施例可从 多维度深层次挖掘数据生成话单，有助于掌握互联网多方面的真实质量，允许互联网质量 监测方针对不同维度的质量问题提高互联网质量。
[0170] 应当理解，本说明书所描述的多个实施例仅用于说明和解释本发明，并不用于限 定本发明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可W相互组合。
[0171] 显然，本领域的技术人员可W对本发明进行各种改动和变型而不脱离本发明的精 神和范围。送样，倘若本发明的送些修改和变型属于本发明权利要求及其等同技术的范围 之内，则本发明也意图包含送些改动和变型在内。
【主权项】
1. 一种互联网真实质量监测方法，其特征在于，包括如下步骤： 采集经过互联网出口的全量用户数据； 将所述全量用户数据上传到ApacheHadoop集群架构中的Hadoop分布式文件系统HDFS； 在ApacheHadoop集群构架的Mapreduce计算框架中，采用深度包检测技术DPI将所 述全量用户数据生成为原始呼叫直接记录CDR话单； 将所述原始呼叫直接记录CDR话单合成为重要维度字段话单； 分析所述重要维度字段话单确定互联网真实质量；其中，所述全量用户数据指用户使 用网络时产生的数据流。2. 根据权利要求1所述的方法，其特征在于，采用深度包检测技术DPI将所述全量用户 数据生成为原始呼叫直接记录CDR话单之后，还将所述原始呼叫直接记录CDR话单存储到 分析服务器。3. 根据权利要求1所述的方法，其特征在于，所述全量用户数据包括网络监控设备发 出的流记录帧FlowRecordFrame;所述采集经过互联网出口的全量用户数据的步骤具体 包括： 通过采集服务器接收网络监控设备发出的流记录帧FlowRecordFrame。4. 根据权利要求3所述的方法，其特征在于，所述重要维度字段话单包括http业务话 单。5. 根据权利要求4所述的方法，其特征在于，采用深度包检测技术DPI将所述全量用户 数据生成为原始呼叫直接记录CDR话单的步骤具体包括： 将所述流记录帧FlowRecordFrame和http报文分别转换为Rawflow文件和http记 录文件； 将所述Rawflow文件和http记录文件进行精简和预处理； 将精简和预处理后的Rawflow文件和http记录文件上传到Hadoop集群架构中的Hadoop分布式文件系统HDFS。6. 根据权利要求1所述的方法，其特征在于，将所述原始呼叫直接记录CDR话单合成为 重要维度字段话单的步骤包括： 从所述全量用户数据中提取重要维度字段的数据； 将所述重要维度字段的数据合成业务话单。7. 根据权利要求6所述的方法，其特征在于，所述重要维度字段至少包括连接时长、时 延、速率、成功率； 所述连接时长为报文接收时间减去报文开始时间； 所述时延为连接三次握手成功的时间至接收到第一个get报文之间的时间差； 所述速率为单位时间的网络流量； 所述成功率为根据IP报文返回码所获知的识别成功次数占总次数的比例。8. 根据权利要求6所述的方法，其特征在于，从所述全量用户数据中提取重要维度字 段的数据的步骤包括： 按照协议和访问类型对于所述全量用户数据中对应的字段进行识别； 按照预先设定的MapReduce模型中的规律将所述识别后的全量用户数据分发到 Hadoop中的数据分析模块； 通过所述数据分析模块从所述识别后的全量用户数据中提取重要维度字段的话单。9. 根据权利要求8所述的方法，其特征在于，所述数据分析模块包括Pig数据分析模 块，和/或Hive数据分析模块。10. -种互联网真实质量监测装置，其特征在于，包括： 数据采集模块：用于采集经过互联网出口的全量用户数据； 数据上传模块：用于将所述全量用户数据上传到ApacheHadoop集群架构中的Hadoop分布式文件系统HDFS; 原始呼叫直接记录CDR话单生成模块：用于在ApacheHadoop集群构架的Mapreduce计算框架中，采用深度包检测技术DPI将所述全量用户数据生成为原始呼叫直接记录CDR 话单； 重要维度字段话单生成模块：用于将所述原始呼叫直接记录CDR话单合成为重要维度 字段话单； 互联网真实质量获取模块：用于分析所述重要维度字段话单确定互联网真实质量；其 中，所述全量用户数据指用户使用网络时产生的数据流。11. 根据权利要求10所述的装置，其特征在于，还包括原始呼叫直接记录话单存储模 块：用于在采用深度包检测技术DPI将所述全量用户数据生成为原始呼叫直接记录⑶R话 单之后，还将所述原始呼叫直接记录CDR话单存储到分析服务器。12. 根据权利要求10所述的装置，其特征在于，所述全量用户数据包括网络监控设备 发出的流记录帧FlowRecordFrame;所述数据采集模块具体包括： 流记录帧接收单元：用于通过采集服务器接收网络监控设备发出的流记录帧Flow RecordFrame。13. 根据权利要求12所述的装置，其特征在于，所述重要维度字段话单包括http业务 话单。14. 根据权利要求13所述的方法，其特征在于，所述原始呼叫直接记录CDR话单生成模 块具体包括： 数据转换单元：用于将所述流记录帧FlowRecordFrame和http报文分别转换为Rawflow文件和http记录文件； 精简和预处理单元：用于将所述Rawflow文件和http记录文件进行精简和预处理； 上传单元：用于将精简和预处理后的Rawflow文件和http记录文件上传到Hadoop集 群架构中的Hadoop分布式文件系统HDFS。15. 根据权利要求10所述的装置，其特征在于，重要维度字段话单生成模块包括： 重要维度字段数据提取单元：用于从所述全量用户数据中提取重要维度字段的数据； 业务话单合成单元：用于将所述重要维度字段的数据合成业务话单。16. 根据权利要求15所述的装置，其特征在于，所述重要维度字段至少包括连接时长、 时延、速率、成功率； 所述连接时长为报文接收时间减去报文开始时间； 所述时延为连接三次握手成功的时间至接收到第一个get报文之间的时间差； 所述速率为单位时间的网络流量； 所述成功率为根据IP报文返回码所获知的识别成功次数占总次数的比例。17. 根据权利要求15所述的装置，其特征在于，重要维度字段数据提取单元包括： 数据识别子单元：用于按照协议和访问类型对于所述全量用户数据中对应的字段进行 识别； 数据发送子单元：用于按照预先设定的MapReduce模型中的规律将所述识别后的全量 用户数据分发到Hadoop中的数据分析模块； 重要维度字段话单提取子单元：通过所述数据分析模块从所述识别后的全量用户数据 中提取重要维度字段的话单。18. 根据权利要求17所述的装置，其特征在于，所述数据分析模块包括Pig数据分析模 块，和/或Hive数据分析模块。
【专利摘要】本发明提供一种互联网真实质量监测方法及装置。所述方法包括：采集经过互联网出口的全量用户数据；将全量用户数据上传到Apache？Hadoop集群架构中的Hadoop分布式文件系统HDFS；在Apache？Hadoop集群构架的Mapreduce计算框架中，采用深度包检测技术DPI将全量用户数据生成为原始呼叫直接记录CDR话单；将原始呼叫直接记录CDR话单合成为重要维度字段话单；分析所述重要维度字段话单确定互联网真实质量；其中，所述全量用户数据指用户使用网络时产生的数据流。所述装置包括：数据采集模块、数据上传模块、原始呼叫直接记录CDR话单生成模块、重要维度字段话单生成模块、互联网真实质量获取模块。所述方法及装置能够对互联网真实质量进行分析和监测。
【IPC分类】H04L12/24, H04L12/26
【公开号】CN105337753
【申请号】CN201410383832
【发明人】杭星
【申请人】中国移动通信集团广东有限公司
【公开日】2016年2月17日
【申请日】2014年8月6日