本发明涉及互联网技术领域，具体涉及一种基于xdr的互联网业务质量分析方法及系统。
背景技术：
在移动互联网时代，互联网业务质量越来越受到关注。互联网业务质量主要包括用户使用4g手机体验时的视频业务速率、浏览业务速率、即时通信业务成功率和游戏业务成功率等。
目前各地市公司互联网考核指标的分析数据多数是在4a安全管控平台的服务操作中心上获取，对于省级的4a安全管控平台每天的数据量可达到200t以上，数据量非常大，在4a安全管控平台遇上使用高峰时间，会运行的非常缓慢，从4a安全管控平台筛选数据耗时会比较长。4a安全管控平台数据呈现时效性差，平台最新数据延后1天，数据的提取、整理分析需全程人工操作，例如采用excel工具进行整理分析，这个整理分析过程需要2个小时以上，数据下钻粒度不够，例如用户维度数据与其他维度数据无关联，工作效率较低。外部数据表示(externaldatarepresentation，以下简称xdr)数据源的信息十分丰富，但对其利用率不到10％，大部分停留在基础的统计分析。
因此，如何提出一种方法，能够利用xdr数据，提高对互联网业务质量的分析效率，成为业界亟待解决的重要课题。
技术实现要素：
针对现有技术中的缺陷，本发明提供一种基于xdr的互联网业务质量分析方法及系统。
一方面，本发明提出一种基于xdr的互联网业务质量分析方法，包括：
存储转换服务器获取xdr数据，并将所述xdr数据发送至集群服务器；
集群服务器根据预设字段对所述xdr数据进行筛选，并对筛选后的所述xdr数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表；
应用服务器根据所述汇聚表对互联网业务质量进行分析。
另一方面，本发明提供一种基于xdr的互联网业务质量分析系统，包括：
存储转换服务器，用于获取xdr数据，并将所述xdr数据发送至集群服务器；
集群服务器，用于根据预设字段对所述xdr数据进行筛选，并对筛选后的所述xdr数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表；
应用服务器，用于根据所述汇聚表对互联网业务质量进行分析。
本发明提供的基于xdr的互联网业务质量分析方法及系统，由于能够对筛选后的xdr数据进行处理获得文本数据，并根据文本数据生成预设类型的汇聚表，根据所述汇聚表对互联网业务质量进行分析，从而提高了对互联网业务质量的分析效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例基于xdr的互联网业务质量分析方法的流程示意图；
图2为本发明一实施例互联网业务质量分析系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一实施例基于xdr的互联网业务质量分析方法的流程示意图，如图1所示，本发明提供的基于xdr的互联网业务质量分析方法，包括：
s101、存储转换服务器获取xdr数据，并将所述xdr数据发送至集群服务器；
具体地，储存转换服务器可以获取xdr数据，所述xdr数据可以来源于数据采集服务器获得的底层信令解码；所述储存转换服务器然后将获取到的所述xdr数据发送至集群服务器进行后续处理。
例如，所述xdr数据来源于博瑞德数据采集服务器的底层信令解码，而这些底层信令解码则是从s1-u和s1-mme网络接口采集获得的。所述博瑞德数据采集服务器获得的数据通过诺基亚kafka集群服务器进行数据共享。所述储存转换服务器通过所述诺基亚kafka集群服务器获得所述xdr数据。
s102、所述集群服务器根据预设字段对所述xdr数据进行筛选，并对筛选后的所述xdr数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表；
具体地，所述集群服务器根据预设字段，例如ip地址、网元名称等，对获取的xdr数据进行筛选，其中，所述预设字段可以来自于设定的字段规范。所述集群服务器然后对筛选后的所述xdr数据进行处理获得文本数据，再根据所述文本数据生成汇聚表。其中，所述汇聚表是根据实际需求预先定义的，所述汇聚表可以是业务维度表、网元维度表、url维度表、用户数据维度表。
例如，所述用户数据维度表可以包括用户号码、sgw、app小类、上行包数、下行包数、tcp上行丢包数、tcp下行丢包数、访问次数、成功次数、访问成功率、流量、下载速率、时长和时延。所述用户数据维度表包括的内容可以根据实际需要进行设置，本发明实施例不做限定。
例如，所述集群服务器可以采用hadoop集群服务器，所述hadoop集群是指由apache基金会所开发的分布式系统基础架构及建立在此架构上的一系列软件生态圈，例如storm和分布式文件系统(hadoopdistributedfilesystem，以下简称hdfs)。对筛选后的所述xdr数据进行处理可以采用storm，storm是一个分布式的、容错的实时计算系统，保证每个消息都会得到处理，而且速度很快，每秒可以处理数以百万计的消息。storm可以将处理后的xdr数据整合成所述文本数据。所述文本数据经过压缩后通过hadoop集群服务器的i/o工具上传到hdfs进行存储，供后期处理生成所述汇聚表。storm可以将所述文本数据先储存在所述hadoop集群服务器数据缓存中，一方面可加快接收所述文本数据的速度，有利于对xdr数据进行实时处理，另一方面避免接收到的所述文本数据量过大，直接上传到hdfs导致hdfs客户端不稳定。
s103、应用服务器根据所述汇聚表对互联网业务质量进行分析。
具体地，应用服务器可以根据所述汇聚表对互联网业务质量信息分析。例如，以所述汇聚表作为数据源开发出应用程序如网络性能实时监控程序，能够通过对监控对象的网络性能实时监控指标进行对比分析，及时获得异常的指标数据。可理解的是，所述应用服务器可以查询所述汇聚表。
本发明提供的基于xdr的互联网业务质量分析方法，由于能够对筛选后的xdr数据进行处理获得文本数据，并根据文本数据生成预设类型的汇聚表，根据所述汇聚表对互联网业务质量进行分析，从而提高了对互联网业务质量的分析效率。
在上述实施例的基础上，进一步地，所述集群服务器对筛选后的所述xdr数据进行处理获得文本数据包括：
所述集群服务器对筛选后的所述xdr数据进行数据回填和/或转换，以获得所述文本数据。
具体地，所述集群服务器在接收到筛选后的所述xdr数据后，可以对所述xdr数据进行数据回填和/或转换。所述数据回填包括所述集群服务器查找出与所述预设字段相关的数据，例如筛选后的所述xdr数据中包括ip地址，但没有ip地址对应的ip地址归属地，所述集群服务器储存有全部的ip地址及其对应的ip地址归属地，所述集群服务器可以根据所述ip地址在查找出所述ip地址对应的ip地址归属地，然后将所述ip地址以及对应的ip地址归属地相关联，经过所述数据回填xdr数据中就包括有ip地址归属地信息。所述数据转换包括所述集群服务器将所述预设字段进行转换后在输出，例如，某些预设字段是十进制的纯数字格式，而实际需要输出的是十六进制的，所述集群服务器可以将所述预设字段对应的十进制数据转换成十六进制数据。所述集群服务器将经过数据回填和/或转换后的数据整合成文本数据，并储存到所述集群服务器数据缓存中，供后续处理。可理解的是，为了节约存储空间，可将所述文本数据压缩后再存储。
例如，hadoop集群服务器可以利用storm接收数据，并进行数据的回填和/或转换。storm进行数据回填和/或转换过程中需要频繁读取与所述预设字段相关的数据，上述与所述预设字段相关的数据可以储存在redis中，redis用于系统数据字典和频繁使用数据的缓存，如手机终端类型数据、enb名称等，redis是一个高性能的key-value数据库，数据读写性能非常高。
本发明提供的基于xdr的互联网业务质量分析方法，由于能够对筛选后的xdr数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表，根据所述汇聚表对互联网业务质量进行分析，从而提高了对互联网业务质量的分析效率。将筛选后的xdr数据进行数据回填和/或转换，获得所述文本数据，有利于提高后续对数据的处理效率。
在上述各实施例的基础上，进一步地，所述根据所述文本数据生成预设类型的汇聚表包括：
所述集群服务器根据所述文本数据实时生成所述汇聚表或者根据所述文本数据离线生成所述汇聚表。
具体地，所述集群服务器根据进行互联网业务质量的分析所需数据的时间粒度，基于所述文本数据实时生成所述汇聚表或者离线生成所述汇聚表。例如，对于5分钟监控数据，所述集群服务器需要实时生成所述汇聚表；对于以小时、天、周进行统计的数据，所述集群服务器可以离线生成所述汇聚表。
例如，hadoop集群服务器可以利用storm对所述文本数据进行实时处理，生成所述预设类型的汇聚表，storm主要针对小粒度的kpi统计，例如5分钟监控数据。所述hadoop集群服务器可以利用spark对hdfs存储的文件进行查询和处理，生成预设类型的汇聚表，并将生成的所述汇聚表导入到oracle数据库。spark是一个先进的dag执行引擎，支持循环数据流和内存计算，可高效、快速地查询所述文本数据。spark主要针对小时粒度统计。所述hadoop集群服务器可以利用hive对hdfs存储的文本数据进行非实时查询与处理，生成所述汇聚表，所述汇聚表可以直接输出显示或者导入到oracle数据库。hive是基于hadoop集群的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，还可以将sql语句转换为mapreduce任务进行运行。hive针对计算时间长、资源消耗大的计算，如天、周粒度统计。hive相对于spark处理的数据量较大且查询时间相对较长。
本发明提供的基于xdr的互联网业务质量分析方法，由于能够对筛选后的xdr数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表，根据所述汇聚表对互联网业务质量进行分析，从而提高了对互联网业务质量的分析效率。对文本数据按时间粒度区分为实时处理和离线处理，进一步提高互联网业务质量的分析效率。
在上述各实施例的基础上，进一步地，所述应用服务器根据所述汇聚表对互联网业务质量进行分析包括：
所述应用服务器根据监控对象获取与所述监控对象对应的所述汇聚表，基于所述监控对象的网络性能实时监控指标在所述汇聚表中获得网络性能实时监控指标数据，并根据所述网络性能实时监控指标数据对所述监控对象进行网络性能实时分析；其中，所述网络性能实时监控指标是根据所述监控对象预先定义的。
具体地，所述应用服务器根据监控对象，例如小区或核心网sgw，获取与所述监控对象对应的所述汇聚表，在所述汇聚表中包括有网络性能实时监控指标数据，所述应用服务器根据所述网络实时性能监控指标在所述汇聚表中获得到网络性能实时监控指标数据，并根据所述网络实时性能监控指标数据对监控对象进行网络性能实时分析。其中，所述网络实时性能监控指标是根据所述监控对象预先定义的。所述网络实时性能监控指标可以根据实际需要进行设置，本实施例不做限制。
例如，对a小区进行网络性能实时分析，所述网络实时性能监控指标可以包括5分钟内的dns成功率、dns时延、tcp成功率、tcp时延、get成功率、get流量、get速率、get时延、post成功率、post流量、post速率、post时延，并可以设定上述各个监控指标的正常阈值范围。对a小区定制与所述a小区对应的所述汇聚表，所述汇聚表中包括上述各个监控指标。所述集群服务器对xdr数据进行处理后实时生成包括网络性能实时监控指标数据的所述汇聚表。所述应用服务器根据所述网络实时性能监控指标在所述汇聚表中查找所述到各个监控指标数据，并判断所述各个监控指标数据是否在正常的阈值范围内，如果某个监控指标超出正常的阈值范围，可以发送告警信息。
本发明提供的基于xdr的互联网业务质量分析方法，由于能够对筛选后的xdr数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表，根据所述汇聚表对互联网业务质量进行分析，从而提高了对互联网业务质量的分析效率。对于监控对象进行网络性能实时分析，有利于及时发现网络异常。
在上述各实施例的基础上，进一步地，所述应用服务器根据所述汇聚表对互联网业务质量进行分析包括：
所述应用服务器根据业务类型获取与所述业务类型对应的所述汇聚表，基于所述业务类型的互联网指标在所述汇聚表中获得互联网指标数据，并根据所述互联网指标数据对所述业务类型进行实时分析；其中，所述互联网指标是根据所述业务类型预先定义的。
具体地，所述应用服务器根据业务类型，例如视频业务或浏览业务，获取与所述业务类型对应的所述汇聚表，在所述汇聚表中包括有与所述业务类型的互联网指标数据，所述应用服务器根据所述互联网指标在所述汇聚表中获得到互联网指标数据，并所述互联网指标数据对所述业务类型进行实时分析。其中，所述互联网指标是根据所述业务类型预先定义的。所述互联网指标可以根据实际需要进行设置，本实施例不做限制。
例如，对视频业务进行实时分析，所述视频业务的互联网指标可以包括5分钟内的流量、下载速率和访问成功率。对视频业务定制与所述视频业务对应的汇聚表，所述汇聚表中包括上述各个互联网指标。所述集群服务器对xdr数据进行处理后实时生成包括互联网指标数据的所述汇聚表。所述应用服务器根据互联网指标在所述汇聚表中查找到所述各个互联网指标数据，并判断所述各个互联网指标数据是否在正常的阈值范围，如果某个互联网指标超出正常的阈值范围，可以发送告警信息；或者所述应用服务器将获得的所述各个互联网指标数据分别与同期历史互联网指标数据进行环比或同比分析，例如所述环比可以是当前互联网指标数据与前一天的所述互联网指标数据进行对比，所述同比可以是当前互联网指标数据与一星期前的所述互联网指标数据进行对比，如果某个互联网指标的变化超出设定阈值范围，可以发送告警信息。所述设定阈值根据实际情况进行设置，本发明实施例不做限定。
本发明提供的基于xdr的互联网业务质量分析方法，由于能够对筛选后的xdr数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表，根据所述汇聚表对互联网业务质量进行分析，从而提高了对互联网业务质量的分析效率。对于业务类型进行实时分析，有利于及时发现业务类型的异常。
在上述各实施例的基础上，进一步地，所述应用服务器根据所述汇聚表对互联网业务质量进行分析包括：
所述应用服务器获取用户投诉信息，所述用户投诉信息包括用户号码和投诉时间；
所述应用服务器根据所述用户号码获取与所述用户号码对应的所述汇聚表，基于所述投诉时间在所述汇聚表中查找异常的信令内容；
所述应用服务器根据所述异常的信令内容以及预设投诉类型分析用户投诉的原因。
具体地，所述应用服务器可以获取到用户投诉信息，所述用户投诉信息包括用户号码和投诉时间。所述用户投诉信息可以由客服部门提供，然后后台人员将所述投诉信息批量导入所述应用服务器。所述应用服务器根据所述用户号码获取与所述用户号码对应的所述汇聚表，所述汇聚表中包括所述用户号码对应的信令内容，例如用户ip地址，最近欠费时间，然后根据所述投诉时间回溯预设时间，在所述汇聚表中查找异常的信令内容。如果查找到所述异常的信令内容，所述应用服务器根据所述异常的信令内容在预设投诉类型里匹配用户投诉的原因。其中，所述类型为预先设定的，每个投诉类型对应至少一个所述用户投诉的原因。其中，所述预设时间根据实际情况进行设置，本发明实施例不做限定。
例如，用户甲投诉上不了网，投诉号码为13510061008，投诉时间为2017.1.2，9:05:00，所述应用服务器根据13510061008查找对应的所述汇聚表，根据所述投诉时间回溯2分钟，在所述汇聚表中获得所述用户甲的在2017.1.2，9:03:00时13510061008的信令内容，假设所述应用服务器判断获知用户的ip地址为欠费ip地址，并且最近欠费时间为2017.1.2，9:03:17，则可以在预设的投诉类型-欠费问题里匹配用户的投诉原因：欠费用户。可理解的是所述应用服务器可以对用户投诉进行批量处理，并输出处理结果。
图2为本发明一实施例互联网业务质量分析系统的结构示意图，如图2所示，本发明提供的基于xdr的互联网业务质量分析系统包括存储转换服务器201、集群服务器202和应用服务器203，其中：
存储转换服务器201用于获取xdr数据，并将所述xdr数据发送至集群服务器；集群服务器202用于根据预设字段对所述xdr数据进行筛选，并对筛选后的所述xdr数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表；应用服务器203用于根据所述汇聚表对互联网业务质量进行分析。
具体地，储存转换服务器201可以获取xdr数据，所述xdr数据可以来源于数据采集服务器的底层信令解码；所述储存转换服务器201然后将获取到的所述xdr数据发送至集群服务器202进行后续处理。
集群服务器202根据预设字段，例如ip地址、网元名称等，对获取的xdr数据进行筛选，其中，所述预设字段可以来自于设定的字段规范。集群服务器202然后对筛选后的所述xdr数据进行处理获得文本数据，再根据所述文本数据生成汇聚表。其中，所述汇聚表是根据实际需求预先定义的，所述汇聚表可以是业务维度表、网元维度表、url维度表、用户数据维度表。
应用服务器203可以根据所述汇聚表对互联网业务质量信息分析。例如，以所述汇聚表作为数据源开发出应用程序如网络性能实时监控程序，能够通过对监控对象的网络性能实时监控指标进行对比分析，及时获得异常的指标数据。可理解的是，所述应用服务器可以查询所述汇聚表。
本发明提供的基于xdr的互联网业务质量分析系统，由于能够对筛选后的xdr数据进行处理获得文本数据，并根据文本数据生成预设类型的汇聚表，根据所述汇聚表对互联网业务质量进行分析，从而提高了对互联网业务质量的分析效率。
在上述实施例的基础上，进一步地，集群服务器202包括数据清洗模块，其中：
所述数据清洗模块用于对筛选后的所述xdr数据进行数据回填和/或转换，以获得所述文本数据。
具体地，所述数据清洗模块在接收到筛选后的所述xdr数据后，可以对所述xdr数据进行数据回填和/或转换。所述数据回填包括数据清洗模块2021查找出与所述预设字段相关的数据，例如筛选后的所述xdr数据中包括ip地址，但没有ip地址对应的ip地址归属地，所述数据清洗模块储存有全部的ip地址及其对应的ip地址归属地，所述数据清洗模块可以根据所述ip地址在查找出所述ip地址对应的ip地址归属地，然后将所述ip地址以及对应的ip地址归属地相关联，经过所述数据回填xdr数据中就包括有ip地址归属地信息。所述数据转换包括所述数据清洗模块将所述预设字段进行转换后在输出，例如，某些预设字段是十进制的纯数字格式，而实际需要输出的是十六进制的，所述数据清洗模块可以将所述预设字段对应的十进制数据转换成十六进制数据。所述数据清洗模块将经过数据回填和/或转换后的数据整合成文本数据，并储存到所述集群服务器数据缓存中，供后续处理。可理解的是，为了节约存储空间，可将所述文本数据压缩后再存储。
本发明提供的基于xdr的互联网业务质量分析系统，由于能够对筛选后的xdr数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表，根据所述汇聚表对互联网业务质量进行分析，从而提高了对互联网业务质量的分析效率。将筛选后的xdr数据进行数据回填和/或转换，获得所述文本数据，有利于提高后续对数据的处理效率。
在上述各实施例的基础上，进一步地，集群服务器202包括实时处理模块和离线处理模块，其中：
所述实时处理模块用于根据所述文本数据实时生成所述汇聚表；所述离线处理模块用于根据存储的所述文本数据离线生成所述汇聚表。
具体地，根据进行互联网业务质量的分析所需数据的时间粒度的不同，所述实时处理模块基于所述文本数据实时生成所述汇聚表或者所述离线处理模块离线生成所述汇聚表。例如，对于5分钟监控数据，所述实时处理模块实时生成所述汇聚表；对于以小时、天、周进行统计的数据，所述离线处理模块可以离线生成所述汇聚表。
本发明提供的基于xdr的互联网业务质量分析系统，由于能够对筛选后的xdr数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表，根据所述汇聚表对互联网业务质量进行分析，从而提高了对互联网业务质量的分析效率。对文本数据按时间粒度区分为实时处理和离线处理，进一步提高互联网业务质量的分析效率。
在上述各实施例的基础上，进一步地，所述应用服务器203包括网络性能实时监控模块，其中：
网络性能实时监控模块用于根据监控对象获取与所述监控对象对应的所述汇聚表，基于所述监控对象的网络性能实时监控指标在所述汇聚表中获得网络性能实时监控指标数据，并根据所述网络性能实时监控指标数据对所述监控对象进行网络性能实时分析；其中，所述网络性能实时监控指标是根据所述监控对象预先定义的。
具体地，所述网络性能实时监控模块根据监控对象，例如小区或核心网sgw，获取与所述监控对象对应的所述汇聚表，在所述汇聚表中包括有网络性能实时监控指标数据，所述网络性能实时监控模块根据所述网络实时性能监控指标在所述汇聚表中获得到网络性能实时监控指标数据，并根据所述网络实时性能监控指标数据对监控对象进行网络性能实时分析。其中，所述网络实时性能监控指标是根据所述监控对象预先定义的。所述网络实时性能监控指标可以根据实际需要进行设置，本实施例不做限制。
本发明提供的基于xdr的互联网业务质量分析系统，由于能够对筛选后的xdr数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表，根据所述汇聚表对互联网业务质量进行分析，从而提高了对互联网业务质量的分析效率。对于监控对象进行网络性能实时分析，有利于及时发现网络异常。
本发明提供的互联网业务质量分析系统的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。