基于shell脚本的流量日志统计方法及统计系统的制作方法
【专利摘要】本发明公开了一种基于SHELL脚本的流量日志统计方法及统计系统。其中，该基于SHELL脚本的流量日志统计方法，包括如下步骤：实时采集平台的所有上网记录作为原始上网记录数据，即原始话单数据。每一个原始话单数据按照预设规则进行预处理后得到话单统计初始数据，话单统计初始数据包括访问时间，访问时间包括日期、时和秒。所有的原始话单数据预处理完成后，根据日期、时和秒对话单统计初始数据进行统计得到第一话单。对第一话单进行多维度话务统计以生成统计报表。输出统计报表至外部。本发明无需构建新的平台，因此降低了成本。此外，对预处理后的话单统计初始数据进行统计，以致提升了统计效率。此外，采用多维度统计，以致统计分析更加全面。
【专利说明】
基于SHELL脚本的流量日志统计方法及统计系统
技术领域
[0001]本发明涉及通信技术领域，尤其涉及一种基于SHELL脚本的流量日志统计方法及统计系统。
【背景技术】
[0002]现有的话务统计采用集虚拟化技术、云存储技术和大数据处理技术等技术于一身的云计算平台来实现。但是该云计算平台与传统平台有所区分且一般专用。因此，该云计算平台的应用范围比较窄且成本比较高。
[0003]综上所述，一种应用范围广且成本比较低，同时，统计效率高且统计分析全面的话务统计系统，是当前亟待解决的技术问题。
【发明内容】
[0004]有鉴于此，实有必要提供一种应用范围广且成本比较低，同时，统计效率高且统计分析全面的基于SHELL脚本的流量日志统计系统，以及该基于SHELL脚本的流量日志统计系统应用的基于SHELL脚本的流量日志统计方法。
[0005]—种基于SHELL脚本的流量日志统计方法，包括如下步骤:
[0006]实时采集平台的所有上网记录作为原始上网记录数据，即原始话单数据。
[0007]每一个原始话单数据按照预设规则进行预处理后得到话单统计初始数据，话单统计初始数据包括访问时间，访问时间包括日期、时和秒。
[0008]所有的原始话单数据预处理完成后，根据日期、时和秒对话单统计初始数据进行统计得到第一话单。
[0009]对第一话单进行多维度话务统计以生成统计报表。
[0010]输出统计报表至外部。
[0011]优选地，原始话单数据包括多个字段。每一个原始话单数据按照预设规则进行预处理后得到话单统计初始数据的步骤，包括:
[0012]过滤满足错误条件的原始话单数据，错误条件为字段的数量与预设数量不一致或字段的格式与预设格式不一致。
[0013]过滤所有的原始话单数据完成后，去除每一个过滤后得到的原始话单数据中满足第一预设去除条件的多个字段得到话单统计初始数据。
[0014]优选地，每一个所述原始话单数据按照预设规则进行预处理后得到话单统计初始数据的步骤之后，还包括:
[0015]去除每一个话单统计初始数据中满足第二预设去除条件的多个字段得到话务统计数据，话务统计数据包括访问时间和手机号码，访问时间包括日期和时。
[0016]根据日期和时对话务统计数据进行统计得到第二话单。
[0017]根据日期和时、以及手机号码的后三位对第二话单进行统计得到第三话单。
[0018]对第三话单进行单维度话务统计以生成统计报表。
[0019]输出统计报表至外部。
[0020]优选地，根据日期和时、以及手机号码的后三位对第二话单进行统计得到第三话单的步骤之后，还包括:
[0021 ]对第三话单进行多维度话务统计以生成统计报表。
[0022]输出统计报表至外部。
[0023]优选地，去除每一个话单统计初始数据中满足第二预设去除条件的多个字段得到话务统计数据的步骤之后，还包括:
[0024]根据日期对话务统计数据进行统计得到第四话单。
[0025]对第四话单进行多维度话务统计以生成统计报表。
[0026]输出统计报表至外部。
[0027]一种基于SHELL脚本的流量日志统计系统，包括:
[0028]采集模块，用于实时采集平台的所有上网记录作为原始上网记录数据，即原始话单数据。
[0029]预处理模块，用于每一个原始话单数据按照预设规则进行预处理后得到话单统计初始数据，话单统计初始数据包括访问时间，访问时间包括日期、时和秒。
[0030]第一话单生成模块，用于所有的原始话单数据预处理完成后，根据日期、时和秒对话单统计初始数据进行统计得到第一话单。
[0031]第一统计模块，用于对第一话单进行多维度话务统计以生成统计报表。
[0032]输出模块，用于输出统计报表至外部。
[0033]优选地，预处理模块包括:
[0034]过滤单元，用于过滤满足错误条件的原始话单数据，错误条件为字段的数量与预设数量不一致或字段的格式与预设格式不一致。
[0035]去除单元，用于过滤所有的原始话单数据完成后，去除每一个过滤后得到的原始话单数据中满足第一预设去除条件的多个字段得到话单统计初始数据。
[0036]优选地，基于SHELL脚本的流量日志统计系统还包括:
[0037]去除模块，用于去除每一个话单统计初始数据中满足第二预设去除条件的多个字段得到话务统计数据，话务统计数据包括访问时间和手机号码，访问时间包括日期和时。
[0038]第二话单生成模块，用于根据日期和时对话务统计数据进行统计得到第二话单。
[0039]第三话单生成模块，用于根据日期和时、以及手机号码的后三位对第二话单进行统计得到第三话单。
[0040]第二统计模块，用于对第三话单进行单维度话务统计以生成统计报表。
[0041]输出模块，用于输出统计报表至外部。
[0042]优选地，第二统计模块，用于对第三话单进行多维度话务统计以生成统计报表。输出模块，用于输出统计报表至外部。
[0043]优选地，基于SHELL脚本的流量日志统计系统还包括:
[0044]第四话单生成模块，用于根据日期对话务统计数据进行统计得到第四话单。
[0045]第三统计模块，用于对第四话单进行多维度话务统计以生成统计报表。
[0046]输出模块，用于输出统计报表至外部。
[0047]本发明为基于SHELL脚本的流量日志统计系统，以致应用本发明时，无需构建新的平台。因此，降低了成本。此外，本发明对预处理后的话单统计初始数据进行统计，以致提升了统计效率。此外，本发明采用多维度统计，以致统计分析更加全面。
【附图说明】
[0048]图1为本发明基于SHELL脚本的流量日志统计系统一种实施例的功能模块示意图。
[0049]图2为本发明基于SHELL脚本的流量日志统计方法一种实施例的流程示意图。
[0050]图3为本发明基于SHELL脚本的流量日志统计方法另一种实施例的流程示意图。[0051 ]图4为本发明基于SHELL脚本的流量日志统计方法另一种实施例的流程示意图。
[0052]图5为本发明基于SHELL脚本的流量日志统计方法另一种实施例的流程示意图。
[0053]图6为每一个原始话单数据按照预设规则进行预处理后得到话单统计初始数据一种实施例的流程示意图。
【具体实施方式】
[0054]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用来限定本发明。
[0055]图1展示了本发明基于SHELL脚本的流量日志统计系统的一种实施例。在本实施例中，该基于SHELL脚本的流量日志统计系统包括采集模块10、预处理模块11、第一话单生成模块12、第一统计模块13和输出模块20。
[0056]其中，采集模块10，用于实时采集平台的所有上网记录作为原始上网记录数据，SP原始话单数据。预处理模块11，用于每一个原始话单数据按照预设规则进行预处理后得到话单统计初始数据，话单统计初始数据包括访问时间，访问时间包括日期、时和秒。第一话单生成模块12，用于所有的原始话单数据预处理完成后，根据日期、时和秒对话单统计初始数据进行统计得到第一话单。第一统计模块13，用于对第一话单进行多维度话务统计以生成统计报表。输出模块20，用于输出统计报表至外部。
[0057]本实施例为基于SHELL脚本的流量日志统计系统，以致应用本发明时，无需构建新的平台。因此，降低了成本。此外，本发明对预处理后的话单统计初始数据进行统计，以致提升了统计效率。此外，本发明采用多维度统计，以致统计分析更加全面。此外，本发明根据日期、时和秒对话单统计初始数据进行统计，达到了按秒统计的技术效果。
[0058]在某些实施例中，例如本实施例中，预处理模块11包括过滤单元111和去除单元112。
[0059]过滤单元111，用于过滤满足错误条件的原始话单数据，错误条件为字段的数量与预设数量不一致或字段的格式与预设格式不一致。去除单元112，用于过滤所有的原始话单数据完成后，去除每一个过滤后得到的原始话单数据中满足第一预设去除条件的多个字段得到话单统计初始数据。
[0060]譬如:原始话单数据中的手机IMS1、承载类型、SP企业代码、用户类型、折扣率、业务属性、归属省省代码、接入地的省代码、WAP信息计费类别、业务访问信息费、流量费、计费ID、服务质量、承载协议类型、事务ID、WEB方式、网关标识、目标端口、业务类型名、模块编号、注册标志、NAS的IP地址、NAS的ID、请求的方法类型、用户位置信息、位置区号码、小区ID等为多余字段信息。
[0061]此外，话单统计初始数据包括的字段信息包括访问时间、手机号码、城市编号、网站、网站内容、状态码、网关状态码、话单类型、终端类型、浏览器型号、请求时间、响应时间、访问IP、模块所在的主机IP、NAS IP、页面大小、上行流量、下行流量、请求时延、应答时延、处理时延。
[0062]本实施例通过过滤掉错误的原始话单数据，减少了所需处理的数据量，提升了统计效率。此外，本实施例通过去除原始话单数据中对统计没有用处的字段，减小了所需处理的原始话单数据的大小，进一步地提升了统计效率。
[0063]在某些实施例中，例如本实施例中，基于SHELL脚本的流量日志统计系统还包括去除模块14、第二话单生成模块15、第三话单生成模块16和第二统计模块17。
[0064]去除模块14，用于去除每一个话单统计初始数据中满足第二预设去除条件的多个字段得到话务统计数据，话务统计数据包括访问时间和手机号码，访问时间包括日期和时。
[0065]譬如:话务统计数据的字段信息包括访问时间(只包括日期和时)、手机号码、城市编号、网站、网站内容、状态码、网关状态码、终端型号、浏览器型号、总次数、总时长、上行流量、下行流量、请求时延、应答时延、处理时延。
[0066]第二话单生成模块15，用于根据日期和时对话务统计数据进行统计得到第二话单。第三话单生成模块16，用于根据日期和时、以及手机号码的后三位对第二话单进行统计得到第三话单。第二统计模块17，用于对第三话单进行单维度话务统计以生成统计报表。输出模块20，用于输出统计报表至外部。
[0067]本实施例对话单统计初始数据进一步地去除多余字段的操作，进一步地提升了统计效率。此外，本实施例根据日期和时对话务统计数据进行统计，以致达到按小时统计的技术效果。
[0068]需要说明的是:单维度话务统计包括按网站名称、终端型号、浏览器型号、地市名称中任一一项进行数据统计汇总。例如:按照该网站名称进行单维度话务统计时，统计的结果包括网站名称、访问次数、成功数、总时延、总流量、访问用户数等信息。
[0069]在某些实施例中，例如本实施例中，第二统计模块17，用于对第三话单进行多维度话务统计以生成统计报表，多维度包括对象维度和指标维度。输出模块20，用于输出统计报表至外部。
[0070]需要说明的是:多维度话务统计包括按网站分类+网站内容、网站名称+网站内容、网站名称+错误码、终端型号+错误码等字段信息之间的组合进行进行数据统计汇总。例如:按照网站分类+网站内容进行多维度话务统计时，统计的结果包括网站分类、网站内容、访问次数、成功数、总时延、总流量、访问用户数。
[0071]在某些实施例中，例如本实施例中，基于SHELL脚本的流量日志统计系统还包括:第四话单生成模块18和第三统计模块19。
[0072]第四话单生成模块18，用于根据日期对话务统计数据进行统计得到第四话单。第三统计模块19，用于对第四话单进行多维度话务统计以生成统计报表，多维度包括对象维度和指标维度。输出模块20，用于输出统计报表至外部。
[0073]本实施例根据日期对话务统计数据进行统计，以致达到按天统计的技术效果。
[0074]图2展示了本发明基于SHELL脚本的流量日志统计方法的一种实施例。在本实施例中，该基于SHELL脚本的流量日志统计方法包括如下步骤:
[0075]步骤SI，实时采集平台的所有上网记录作为原始上网记录数据，即原始话单数据。
[0076]步骤S2，每一个原始话单数据按照预设规则进行预处理后得到话单统计初始数据，话单统计初始数据包括访问时间，访问时间包括日期、时和秒。
[0077]步骤S3，所有的原始话单数据预处理完成后，根据日期、时和秒对话单统计初始数据进行统计得到第一话单。
[0078]步骤S4，对第一话单进行多维度话务统计以生成统计报表。
[0079]步骤S5，输出统计报表至外部。
[0080]图3展示了本发明基于SHELL脚本的流量日志统计方法的另一种实施例。在本实施例中，该基于SHELL脚本的流量日志统计方法包括如下步骤:
[0081]步骤S10，实时采集平台的所有上网记录作为原始上网记录数据，即原始话单数据。
[0082]步骤Sll，每一个原始话单数据按照预设规则进行预处理后得到话单统计初始数据，话单统计初始数据包括访问时间，访问时间包括日期、时和秒。
[0083]步骤S12，去除每一个话单统计初始数据中满足第二预设去除条件的多个字段得到话务统计数据，话务统计数据包括访问时间和手机号码，访问时间包括日期和时。
[0084]步骤S13，根据日期和时对话务统计数据进行统计得到第二话单。
[0085]步骤S14，根据日期和时、以及手机号码的后三位对第二话单进行统计得到第三话单。
[0086]步骤S15，对第三话单进行单维度话务统计以生成统计报表。
[0087]步骤S16，输出统计报表至外部。
[0088]图4展示了本发明基于SHELL脚本的流量日志统计方法的另一种实施例。在本实施例中，该基于SHELL脚本的流量日志统计方法包括如下步骤:
[0089]步骤S20，实时采集平台的所有上网记录作为原始上网记录数据，即原始话单数据。
[0090]步骤S21，每一个原始话单数据按照预设规则进行预处理后得到话单统计初始数据，话单统计初始数据包括访问时间，访问时间包括日期、时和秒。
[0091]步骤S22，去除每一个话单统计初始数据中满足第二预设去除条件的多个字段得到话务统计数据，话务统计数据包括访问时间和手机号码，访问时间包括日期和时。
[0092]步骤S23，根据日期和时对话务统计数据进行统计得到第二话单。
[0093]步骤S24，根据日期和时、以及手机号码的后三位对第二话单进行统计得到第三话单。
[0094]步骤S25，对第三话单进行多维度话务统计以生成统计报表。
[0095]步骤S26，输出统计报表至外部。
[0096]图5展示了本发明基于SHELL脚本的流量日志统计方法的另一种实施例。在本实施例中，该基于SHELL脚本的流量日志统计方法包括如下步骤:
[0097]步骤S30，实时采集平台的所有上网记录作为原始上网记录数据，即原始话单数据。
[0098]步骤S31，每一个原始话单数据按照预设规则进行预处理后得到话单统计初始数据，话单统计初始数据包括访问时间，访问时间包括日期、时和秒。
[0099]步骤S32，去除每一个话单统计初始数据中满足第二预设去除条件的多个字段得到话务统计数据，话务统计数据包括访问时间和手机号码，访问时间包括日期。
[0100]步骤S33，根据日期对话务统计数据进行统计得到第四话单。
[0101]步骤S34，对第四话单进行多维度话务统计以生成统计报表。
[0102]步骤S35，输出统计报表至外部。
[0103]图6展示了本发明基于SHELL脚本的流量日志统计方法中每一个原始话单数据按照预设规则进行预处理后得到话单统计初始数据的一种实施例。在本实施例中，该每一个原始话单数据按照预设规则进行预处理后得到话单统计初始数据包括:
[0104]步骤S40，过滤满足错误条件的原始话单数据，错误条件为字段的数量与预设数量不一致或字段的格式与预设格式不一致。
[0105]步骤S41，过滤所有的原始话单数据完成后，去除每一个过滤后得到的原始话单数据中满足第一预设去除条件的多个字段得到话单统计初始数据。
[0106]以上对发明的【具体实施方式】进行了详细说明，但其只作为范例，本发明并不限制与以上描述的【具体实施方式】。对于本领域的技术人员而言，任何对该发明进行的等同修改或替代也都在本发明的范畴之中，因此，在不脱离本发明的精神和原则范围下所作的均等变换和修改、改进等，都应涵盖在本发明的范围内。
【主权项】
1.一种基于SHELL脚本的流量日志统计方法，其特征在于，包括如下步骤: 实时采集平台的所有上网记录作为原始上网记录数据，即原始话单数据； 每一个所述原始话单按照预设规则进行预处理后得到话单统计初始数据，所述话单统计初始数据包括访问时间，所述访问时间包括日期、时和秒； 所有的原始话单数据预处理完成后，根据所述日期、时和秒对所述话单统计初始数据进行统计得到第一话单； 对所述第一话单进行多维度话务统计以生成统计报表； 输出所述统计报表至外部。2.根据权利要求1所述的基于SHELL脚本的流量日志统计方法，其特征在于，所述原始话单数据包括多个字段;每一个所述原始话单数据按照预设规则进行预处理后得到话单统计初始数据的步骤，包括: 过滤满足错误条件的所述原始话单数据，所述错误条件为所述字段的数量与预设数量不一致或所述字段的格式与预设格式不一致； 过滤所有的原始话单数据完成后，去除每一个过滤后得到的原始话单数据中满足第一预设去除条件的多个字段得到话单统计初始数据。3.根据权利要求1所述的基于SHELL脚本的流量日志统计方法，其特征在于，每一个所述原始话单数据按照预设规则进行预处理后得到话单统计初始数据的步骤之后，还包括: 去除每一个所述话单统计初始数据中满足第二预设去除条件的多个字段得到话务统计数据，所述话务统计数据包括访问时间和手机号码，所述访问时间包括日期和时； 根据所述日期和时对所述话务统计数据进行统计得到第二话单； 根据所述日期和时、以及所述手机号码的后三位对所述第二话单进行统计得到第三话单； 对所述第三话单进行单维度话务统计以生成统计报表； 输出所述统计报表至外部。4.根据权利要求3所述的基于SHELL脚本的流量日志统计方法，其特征在于，根据所述日期和时、以及所述手机号码的后三位对所述第二话单进行统计得到第三话单的步骤之后，还包括: 对所述第三话单进行多维度话务统计以生成统计报表； 输出所述统计报表至外部。5.根据权利要求3所述的基于SHELL脚本的流量日志统计方法，其特征在于，去除每一个所述上话单统计初始数据中满足第二预设去除条件的多个字段得到话务统计数据的步骤之后，还包括: 根据所述日期对所述话务统计数据进行统计得到第四话单； 对所述第四话单进行多维度话务统计以生成统计报表； 输出所述统计报表至外部。6.一种基于SHELL脚本的流量日志统计系统，其特征在于，包括: 采集模块，用于实时采集平台的所有上网记录作为原始上网记录数据，即原始话单数据； 预处理模块，用于每一个所述原始话单数据按照预设规则进行预处理后得到话单统计初始数据，所述话单统计初始数据包括访问时间，所述访问时间包括日期、时和秒； 第一话单生成模块，用于所有的原始话单数据预处理完成后，根据所述日期、时和秒对所述话单统计初始数据进行统计得到第一话单； 第一统计模块，用于对所述第一话单进行多维度话务统计以生成统计报表； 输出模块，用于输出所述统计报表至外部。7.根据权利要求6所述的基于SHELL脚本的流量日志统计系统，其特征在于，所述预处理模块包括: 过滤单元，用于过滤满足错误条件的所述原始话单数据，所述错误条件为所述字段的数量与预设数量不一致或所述字段的格式与预设格式不一致； 去除单元，用于过滤所有的原始话单数据完成后，去除每一个过滤后得到的原始话单数据中满足第一预设去除条件的多个字段得到话单统计初始数据。8.根据权利要求6所述的基于SHELL脚本的流量日志统计系统，其特征在于，所述基于SHELL脚本的流量日志统计系统还包括: 去除模块，用于去除每一个所述话单统计初始数据中满足第二预设去除条件的多个字段得到话务统计数据，所述话务统计数据包括访问时间和手机号码，所述访问时间包括日期和时； 第二话单生成模块，用于根据所述日期和时对所述话务统计数据进行统计得到第二话单； 第三话单生成模块，用于根据所述日期和时、以及所述手机号码的后三位对所述第二话单进行统计得到第三话单； 第二统计模块，用于对所述第三话单进行单维度话务统计以生成统计报表； 所述输出模块，用于输出所述统计报表至外部。9.根据权利要求8所述的基于SHELL脚本的流量日志统计系统，其特征在于， 所述第二统计模块，用于对所述第三话单进行多维度话务统计以生成统计报表； 所述输出模块，用于输出所述统计报表至外部。10.根据权利要求6所述的基于SHELL脚本的流量日志统计系统，其特征在于，所述基于SHELL脚本的流量日志统计系统还包括: 第四话单生成模块，用于根据所述日期对所述话务统计数据进行统计得到第四话单； 第三统计模块，用于对所述第四话单进行多维度话务统计以生成统计报表； 所述输出模块，用于输出所述统计报表至外部。
【文档编号】H04L12/24GK105827432SQ201511023584
【公开日】2016年8月3日
【申请日】2015年12月29日
【发明人】李幼庭, 曹荡荡, 刘锦添, 陈俊文, 陈泽鑫
【申请人】广东亿迅科技有限公司