一种移动互联网流量统计方法和系统的制作方法
【专利摘要】本发明提供了一种移动互联网流量统计方法和系统，其中，所述方法包括：获取包含应用端信息的用户流量访问详单；根据获取的用户流量访问详单进行流量统计。上述技术方案可以针对应用进行流量统计。
【专利说明】一种移动互联网流量统计方法和系统
【技术领域】
[0001] 本发明涉及移动互联网的流量统计，尤其涉及一种移动互联网的流量统计方法和 系统。
【背景技术】
[0002] 通过对移动互联网的流量进行统计，能够获取移动互联网中的流量走向、流量走 势、流量热点、应用热点，以便对用户上网行为进行掌握。
[0003] 所述流量走向指的是：流量来自或到达哪个IP地址；或者流量来自何种类型的终 端，如iphone终端、an droid终端；或流量来自或到达哪个省、地市、国家、运营商、服务提供 商（SP)等。
[0004] 所述流量走势指的是：下一个时间单位的流量相对上一个时间单位流量的变化情 况，如，流量走势走高、流量走势走低；所述时间单位可以是小时、天、月、年等。
[0005] 所述流量热点指的是：产生最大流量的IP地址。
[0006] 所述应用热点指的是：产生最大流量的应用。
[0007] 现有的对移动互联网的流量统计基于网络中的流量计费话单（G-CDR)，在省份级 别根据统计条件进行统计：对G-CDR进行简单处理（如格式校验、剔重）后存储在Oracle 数据库中，输入以SQL语句描述的统计条件，获取统计结果。
[0008] 现有的统计方法存在以下问题：
[0009] 第一，流量计费话单G-CDR记录的信息项不包含用户访问的应用端信息，如统一 资源定位器（URL)、应用类型等，只包含用户手机号码、用户IP、上网开始时间、上网结束时 间和访问流量，因此一般根据G-CDR仅能针对时段统计流量，不能针对应用统计流量。
[0010] 第二，现有的流量计费话单G-CDR存储在Oracle数据库，流量计费话单数目庞大 并且存储无序，受到Oracle数据库技术本身的限制，当数据库容量超过100G后，执行SQL 语句进行统计分析速度极其缓慢，比如为统计一个省的移动用户一个月的访问总流量，通 常需要执行几个小时以上。
【发明内容】
[0011] 本发明提供了一种移动互联网的流量统计方法和系统，以解决针对应用统计流量 的技术问题。
[0012] 为解决上述技术问题，本发明提供了一种移动互联网的流量统计方法，所述方法 包括：
[0013] 获取包含应用端信息的用户流量访问详单；
[0014] 根据获取的用户流量访问详单进行流量统计。
[0015] 可选地，所述获取包含应用端信息的用户流量访问详单，包括：
[0016] 对服务GPRS支持节点（SGSN)和网关GPRS支持节点（GGSN)之间的数据包进行 深度报文检测（DPI)，根据检测得到的数据获取应用端信息，所述应用端信息包括：应用类 型、业务类型、网址信息；
[0017] 建立用户上网记录信息，所述用户上网记录信息包括对数据包进行DPI检测后的 数据、应用端信息；
[0018] 将在预设时间段内建立的多条用户上网记录信息组成一条用户流量访问详单。
[0019] 可选地，根据获取的用户流量访问详单进行流量统计，包括：
[0020] 对获取的用户流量访问详单进行两级流量统计：
[0021] 第一级统计，针对每个号码，将第一时间间隔内相同应用类型、相同业务类型的用 户上网记录进行汇总；
[0022] 第二级统计，将第二时间间隔内每个号码的第一级统计结果针对应用类型和业务 类型分别进行汇总；
[0023] 所述第二时间间隔包含多个第一时间间隔。
[0024] 可选地，所述方法还包括：
[0025] 将上述经过两级统计后的结果在不同条件下使用多级分布式进行存储，所述不同 条件包括：地域、应用和终端。
[0026] 可选地，所述方法还包括：
[0027] 按照上述在不同条件下使用多级分布式对统计结果进行存储后，建立分布式存储 的目录，每一级目录存储的信息包括该级首条统计结果的物理存储地址。
[0028] 为解决上述技术问题，本发明还提供了一种移动互联网的流量统计系统，所述系 统包括：
[0029] 数据获取模块，用于获取包含应用端信息的用户流量访问详单；
[0030] 流量统计模块，用于根据获取的用户流量访问详单进行流量统计。
[0031] 可选地，所述数据获取模块，用于获取包含应用端信息的用户流量访问详单，包 括：
[0032] 对服务GPRS支持节点（SGSN)和网关GPRS支持节点（GGSN)之间的数据包进行 深度报文检测（DPI)，根据检测得到的数据获取应用端信息，所述应用端信息包括：应用类 型、业务类型、网址信息；建立用户上网记录信息，所述用户上网记录信息包括对数据包进 行DPI检测后的数据、应用端信息；将在预设时间段内建立的多条用户上网记录信息组成 一条用户流量访问详单。
[0033] 可选地，流量统计模块，用于根据获取的用户流量访问详单进行流量统计，包括：
[0034] 对获取的用户流量访问详单进行两级流量统计：第一级统计，针对每个号码，将第 一时间间隔内相同应用类型、相同业务类型的用户上网记录进行汇总；第二级统计，将第二 时间间隔内每个号码的第一级统计结果针对应用类型和业务类型分别进行汇总；所述第二 时间间隔包含多个第一时间间隔。
[0035] 可选地，
[0036] 所述流量统计模块，还用于将上述经过两级统计后的结果在不同条件下使用多级 分布式进行存储，所述不同条件包括：地域、应用和终端。
[0037] 可选地，
[0038] 所述流量统计模块，还用于按照上述在不同条件下使用多级分布式对统计结果进 行存储后，为每一级建立分布式存储目录，每一级目录存储的信息包括该级首条统计结果 的物理存储地址。
[0039] 上述技术方案获取用户流量访问数据时，获取用户的应用端信息，使得针对应用 统计流量成为可能。
【专利附图】
【附图说明】
[0040] 图1为本实施例的移动互联网的流量统计方法流程图；
[0041] 图2为本实施例的移动互联网的流量统计系统组成图。
【具体实施方式】
[0042] 为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明 的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中 的特征可以相互任意组合。
[0043] 图1为本实施例的移动互联网的流量统计方法流程图。
[0044] S101获取包含应用端信息的用户流量访问详单；
[0045] 为获取所述用户流量访问详单，可在移动网络的服务GPRS支持节点（SGSN)和网 关GPRS支持节点（GGSN)之间的Gn 口建设分光器、分流器，通过分光器和分流器对在SGSN 和GGSN之间传输的数据包进行复制，并将复制后的数据包进行深度报文检测（DPI)，根据 检测得到的数据获取应用端信息，所述应用端信息包括：应用类型、业务类型、网址信息； 其中，所述业务类型和网址信息可直接由DPI解析数据包得到，应用类型可将由DPI解析数 据包得出的数据包源IP地址以及URL信息匹配搭建的应用IP地址和URL库得到；
[0046] 建立用户上网记录信息，所述用户上网记录信息包括对数据包进行DPI检测后的 数据、应用端信息；每条用户上网记录信息包括的内容如表1所示；
[0047] 将在预设时间段内建立的多条用户上网记录信息组成一条用户流量访问详单。
[0048] 一个用户流量访问详单的数据量非常庞大，如一个月的用户流量访问详单可包含 逾万亿条用户上网记录。
[0049] 表 1
[0050]
【权利要求】
1. 一种移动互联网的流量统计方法，其特征在于，所述方法包括： 获取包含应用端信息的用户流量访问详单； 根据获取的用户流量访问详单进行流量统计。
2. 如权利要求1所述的方法，其特征在于，所述获取包含应用端信息的用户流量访问 详单，包括： 对服务GPRS支持节点（SGSN)和网关GPRS支持节点（GGSN)之间的数据包进行深度报 文检测（DPI)，根据检测得到的数据获取应用端信息，所述应用端信息包括：应用类型、业 务类型、网址信息； 建立用户上网记录信息，所述用户上网记录信息包括对数据包进行DPI检测后的数 据、应用端信息； 将在预设时间段内建立的多条用户上网记录信息组成一条用户流量访问详单。
3. 如权利要求2所述的方法，其特征在于，根据获取的用户流量访问详单进行流量统 计，包括： 对获取的用户流量访问详单进行两级流量统计： 第一级统计，针对每个号码，将第一时间间隔内相同应用类型、相同业务类型的用户上 网记录进行汇总； 第二级统计，将第二时间间隔内每个号码的第一级统计结果针对应用类型和业务类型 分别进行汇总； 所述第二时间间隔包含多个第一时间间隔。
4. 如权利要求3所述的方法，其特征在于，所述方法还包括： 将上述经过两级统计后的结果在不同条件下使用多级分布式进行存储，所述不同条件 包括：地域、应用和终端。
5. 如权利要求4所述的方法，其特征在于，所述方法还包括： 按照上述在不同条件下使用多级分布式对统计结果进行存储后，建立分布式存储的目 录，每一级目录存储的信息包括该级首条统计结果的物理存储地址。
6. -种移动互联网的流量统计系统，其特征在于，所述系统包括： 数据获取模块，用于获取包含应用端信息的用户流量访问详单； 流量统计模块，用于根据获取的用户流量访问详单进行流量统计。
7. 如权利要求6所述的系统，其特征在于，所述数据获取模块，用于获取包含应用端信 息的用户流量访问详单，包括： 对服务GPRS支持节点（SGSN)和网关GPRS支持节点（GGSN)之间的数据包进行深度报 文检测（DPI)，根据检测得到的数据获取应用端信息，所述应用端信息包括：应用类型、业 务类型、网址信息；建立用户上网记录信息，所述用户上网记录信息包括对数据包进行DPI 检测后的数据、应用端信息；将在预设时间段内建立的多条用户上网记录信息组成一条用 户流量访问详单。
8. 如权利要求7所述的系统，其特征在于，流量统计模块，用于根据获取的用户流量访 问详单进行流量统计，包括： 对获取的用户流量访问详单进行两级流量统计：第一级统计，针对每个号码，将第一时 间间隔内相同应用类型、相同业务类型的用户上网记录进行汇总；第二级统计，将第二时间 间隔内每个号码的第一级统计结果针对应用类型和业务类型分别进行汇总；所述第二时间 间隔包含多个第一时间间隔。
9. 如权利要求8所述的系统，其特征在于， 所述流量统计模块，还用于将上述经过两级统计后的结果在不同条件下使用多级分布 式进行存储，所述不同条件包括：地域、应用和终端。
10. 如权利要求9所述的系统，其特征在于， 所述流量统计模块，还用于按照上述在不同条件下使用多级分布式对统计结果进行存 储后，为每一级建立分布式存储目录，每一级目录存储的信息包括该级首条统计结果的物 理存储地址。
【文档编号】H04L12/26GK104506394SQ201510009336
【公开日】2015年4月8日 申请日期:2015年1月8日 优先权日:2015年1月8日
【发明者】王蓉, 张第, 张鹏 申请人:中国联合网络通信集团有限公司