端到端网络感知评估方法和系统与流程

本发明涉及信息技术领域，尤其涉及一种端到端网络感知评估方法和系统。

背景技术：

随着社会经济与技术的飞速发展，网络感知评估作为网络健康的一种重要手段越来越受到运营商重视，在社会各个领域也得到了许多应用。而网络分析系统中基础监控网元监控是目前最常见的监控方法，然而运营商基础网络设备分多层次、多厂家、多型号，每个设备监控手段局限于设备厂家提供的单网元监控方法，有些甚至还停留于手工巡检方式，容易造成各种网络故障无法及时发现，引起用户投诉等问题。

长期以来，运营商的网络优化工作都是以提升网络KPI(Key Performance Indicator，关键绩效指标)为核心，传统的基于网元的KPI与真正的用户感知存在不小的差异。很多情况下，基于不完整甚至不科学指标的保障和提升，无法直击要害解决问题。运营商的网络优化体系建设正在向以用户感知为中心转变，从更多地关注网络设备性能、网络性能，转移到端到端的业务性能，从而提高用户的感知。

运营商端到端网络包含终端、网络、业务，而网络侧又包含无线网、核心网、电路域等等，每天产生的日志量级以万亿计，使用传统的数据分析方法无法对这些海量大数据进行及时处理分析。

技术实现要素：

本发明要解决的一个技术问题是提供一种端到端网络感知评估方法和系统，能够及时感知网络是否处于健康状态。

根据本发明一方面，提出一种端到端网络感知评估方法，包括：采集日志文件数据；利用大数据处理技术对日志文件数据进行处理，获取日志文件数据对应的关键质量指标KQI数据或关键绩效指标KPI数据；将日志文件数据对应的KQI数据和KPI数据与基础阈值进行关联比对，确定网络健康评估结果。

进一步地，采集日志文件数据包括：通过定制终端的客户端软件采集终端的相关状态数据；采集无线专业网管相关无线性能指标数据；采集无线话单中其他无线性能指标数据；采集核心网外置DPI数据包日志；和/或采集电路域信令日志。

进一步地，将日志文件数据对应的KQI数据和KPI数据与基础阈值进行关联比对，确定网络健康评估结果包括：若日志文件数据对应的KQI数据大于KQI阈值和/或日志文件数据对应的KPI数据大于KPI阈值，则确定网络状态异常。

进一步地，该方法还包括：若日志文件数据对应的KQI数据大于KQI阈值和/或日志文件数据对应的KPI数据大于KPI阈值，则判断网络设置是否处于特殊场景应用时间段；若网络设置处于非特殊场景应用时间段，则确定网络状态异常。

进一步地，该方法还包括：确定KQI数据与KPI数据的映射关系；根据KQI数据与KPI数据的映射关系定位网络异常原因。

进一步地，确定KQI数据与KPI数据的映射关系包括：对KPI数据进行归一化处理；将归一化处理后的KPI数据进行求和并取平均值，确定KQI数据。

进一步地，该方法还包括：根据网络健康评估结果调整基础阈值。

根据本发明的另一方面，还提出一种端到端网络感知评估系统，包括：数据采集单元，用于采集日志文件数据；数据处理单元，用于利用大数据处理技术对日志文件数据进行处理，获取日志文件数据对应的关键质量指标KQI数据或关键绩效指标KPI数据；网络评估单元，用于将日志文件数据对应的KQI数据和KPI数据与基础阈值进行关联比对，确定网络健康评估结果。

进一步地，数据采集单元用于通过定制终端的客户端软件采集终端的相关状态数据；采集无线专业网管相关无线性能指标数据；采集无线话单中其他无线性能指标数据；采集核心网外置DPI数据包日志；和/或采集电路域信令日志。

进一步地，网络评估单元用于若日志文件数据对应的KQI数据大于KQI阈值和/或日志文件数据对应的KPI数据大于KPI阈值，则确定网络状态异常。

进一步地，该系统还包括运维事件判断单元；运维事件判断单元用于若日志文件数据对应的KQI数据大于KQI阈值和/或日志文件数据对应的KPI数据大于KPI阈值，则判断网络设置是否处于特殊场景应用时间段；网络评估单元用于若网络设置处于非特殊场景应用时间段，则确定网络状态异常。

进一步地，该系统还包括指标映射单元和网络异常定位单元；指标映射单元用于确定KQI数据与KPI数据的映射关系；网络异常定位单元用于根据KQI数据与KPI数据的映射关系定位网络异常原因。

进一步地，指标映射单元用于对KPI数据进行归一化处理；将归一化处理后的KPI数据进行求和并取平均值，确定KQI数据。

进一步地，该系统还包括阈值调整单元；阈值调整单元用于根据网络健康评估结果调整基础阈值。

与现有技术先比，本发明采集日志文件数据后，利用大数据处理技术对日志文件数据进行处理，获取日志文件数据对应的KQI数据和KPI数据，并将日志文件数据对应的KQI数据和KPI数据与基础阈值进行关联比对，确定网络健康评估结果。本发明能够及时感知网络是否处于健康状态，广泛适用于用户上网感知的综合异常检测与健康评估。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明端到端网络感知评估方法的一个实施例的流程示意图。

图2为本发明端到端网络感知评估方法的另一个实施例的流程示意图。

图3为本发明端到端网络感知评估方法的再一个实施例的流程示意图。

图4为本发明KQI与KPI指标关系图。

图5为本发明端到端网络感知评估系统的一个实施例的结构示意图。

图6为本发明端到端网络感知评估系统的另一个实施例的结构示意图。

图7为本发明端到端网络感知评估系统架构图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1为本发明端到端网络感知评估方法的一个实施例的流程示意图。该方法包括以下步骤：

在步骤110，采集日志文件数据。其中，可以将互联网中的日志文件数据分块进行采集，例如，通过定制终端的客户端软件采集终端的相关状态数据；采集无线专业网管相关无线性能指标数据；采集无线话单中其他无线性能指标数据；采集核心网外置DPI(Deep Packet Inspection，深度包检测技术)数据包日志；以及采集电路域信令日志。

在步骤120，利用大数据处理技术对日志文件数据进行处理，获取日志文件数据对应的KQI(Key Quality Indicators，关键质量指标)数据和KPI(Key Performance Indicator，关键绩效指标)数据。可以通过大数据技术对步骤110获得的海量日志进行并行批量处理，提取日志文件数据的相关指标日志。在一个实施例中，还可以将相关指标日志实时入库，生成综合网络指标日志库。

在步骤130，将日志文件数据对应的KQI数据和KPI数据与基础阈值进行关联比对，确定网络健康评估结果。其中，可以配置KQI、KPI指标评估方法，关联终端、无线、核心网、信令等相关具体KPI指标，生成指标算法库。实时关联综合日志库与指标算法库，通过综合网络指标日志库的数据与用户设置的基础阈值配置进行关联对比来判断网络是否健康，是否有具体网络设备出现异常。即通过日志文件数据对应的KQI数据和KPI数据与KQI阈值和KPI阈值的关联度，确定网络整体健康程度。

在该实施例中，采集日志文件数据后，利用大数据处理技术对日志文件数据进行处理，获取日志文件数据对应的KQI数据和KPI数据，并将日志文件数据对应的KQI数据和KPI数据与基础阈值进行关联比对，确定网络健康评估结果，该实施例能够及时感知网络是否处于健康状态，广泛适用于用户上网感知的综合异常检测与健康评估。

图2为本发明端到端网络感知评估方法的另一个实施例的流程示意图。该方法包括以下步骤：

在步骤210，对互联网中的日志文件数据分块采集。例如，对互联网每分钟以亿为量级的数据通过大数据HADOOP中的Mapreduce技术对文件日志进行采集。

在步骤220，获取日志文件数据对应的KPI数据。其中，可以将原始上网日志分割为N*N的小文件块进行处理。利用大数据处理技术对日志文件数据进行并行批量处理后，将处理结果实时入库，生成综合网络指标日志库。其中，采集数据后，将数据集分布至各个节点。处理时，每个节点就近读取本地存储的数据处理，将处理后的数据进行合并、排序后再分发节点。对于不同的指标提取，建立不同的任务，多个任务同时在不同的节点上面执行。由于数据保存多份在不同的节点，所以对于基于相同数据的指标也可以并发进行。

以无线KPI指标为例，其中根据数据源日志中给出的指标ID提取KPI数据，提取公式如表1所示：

表1

在步骤230，根据KQI数据与KPI数据的映射关系，确定日志文件数据的KQI数据。其中，可以先对KPI数据进行归一化处理；将归一化处理后的KPI数据进行求和并取平均值，确定KQI数据。

例如，其中，x表示指标库中某一指标的实际数值，X_上限值和X_下限值表示网络指标的正常波动范围，为归一化数据结构。利用公式确定KQI数据。

在步骤240，根据日志文件数据对应的KQI数据和KPI数据与KQI阈值和KPI阈值的关联度，确定网络整体健康程度。在一个具体实施例中，可以判断日志文件数据对应的KQI数据是否大于KQI阈值或日志文件数据对应的KPI数据是否大于KPI阈值，若大于，则执行步骤250，否则，执行步骤260。

在步骤250，判断网络设置是否处于特殊场景应用时间段，若处于，则执行步骤260，否则，执行步骤270。例如判断网络设置是否处于载频扩容、设备升级等事件。

在步骤260，网络状态正常，无需告警。

在步骤270，网络状态异常，进行告警。

在该实施例中，对互联网中的日志文件数据分块采集，并利用大数据处理技术对日志文件数据进行处理，将日志文件数据对应的KQI数据和KPI数据与基础阈值进行关联比对判断网络是否异常；另外，对判断为异常的KQI&KPI指标或具体网络设备，还需要与运维事件库进行特殊场景匹配，动态更新网络健康评估结果，提供告警。该实施例由于不受具体网元设备所提供的对外能力影响，仅针对网络实际行为数据的为对象进行感知评估，可广泛适用于各种网络监控系统；另外，该实施例中算法复杂度低，利用大数据处理技术使得处理效率大大提高。

在本发明的另一个实施例中，部署端到端网络感知评估系统的前提条件是数据源设备具备数据输出能力，主要具备的能力包含：a)定制终端APP应用，用户手机终端侧指标数据的采集于输出；b)部署核心网无线网专业网管，提供无线KPI性能指标及无线话单数据输出；c)部署核心网外置DPI设备，提供全量用户上网日志数据输出；d)提供电路域DPI设备，提供信令类日志数据输出。实现网络感知评估的具体实现过程如图3所示：

在步骤310，感知分析系统部署统一采集设备，通过FTP、soap、订阅接口统一采集各数据源原始日志，生成本地临时文件库。其中，可以通过定制终端的客户端软件采集终端网页首页延时、网页打开延时、视频下载速率、即时消息成功率等相关状态数据；采集无线专业网管的下行用户面包平均时延、无线连接成功率、用户下行平均体验速率、4G下切3G发生率、上行激活用户数&PRB利用率>70％、下行激活用户数&PRB利用率>70％、CQI>7占比、业务请求成功率相关无线性能指标数据；采集无线话单中SGW(Serving GateWay，服务网关)、PGW(PDN GateWay，PDN网关)丢包率、SGW设备吞吐量、LTE向CDMA切换比率、SGW承载修改成功率等其他无线性能指标数据；采集核心网外置DPI数据包日志以及采集电路域信令日志。

在步骤320，利用Hadoop技术中MapReduce文件处理技术，针对每个数据源编写指标提取算法，对海量临时文件进行批量同步并发处理，处理结果数据一部分以文件形式保存于HDFS文件系统中，一部分数据插入数据库，其中非关系型数据插入NOSQL，关系型数据库插入ORACLE，小部分数据存入内存数据库。其中，根据业务场景或者数据结构类型决定数据存放在哪里，例如，非结构化数据一般存到HDFS和NOSQL上面，还有部分清单数据也会存到HDFS和NOSQL上面。对于结构化分析结果数据一般存入到ORACLE中，对于经常使用并发量比较大或者不经常变化的数据，如：基础配置数据等存放在内存数据库。

在步骤330，配置功能层感知质量评估模块，设置具体KPI数据与KQI数据对应关系。其中，KPI与KQI的映射关系如图4所示。

在步骤340，根据日志文件数据对应的KQI数据和KPI数据与KQI阈值和KPI阈值的关联度，确定网络整体健康程度。当然，还可以进一步与运维事件库相关联，动态更新网络健康度评估结果。

在步骤350，根据KQI数据与KPI数据的映射关系定位网络异常原因。当KQI数据为网页首包时延，即手机侧接收到网页首包的时延，根据KQI数据与KPI数据的映射关系，确定根据网页首包时延有直接关系的网络侧KPI数据包括用户所在无线基站侧的下行用户面包平均时延无线连接成功率、上行激活用户数&PRB利用率>70％、下行激活用户数&PRB利用率>70％、CQI>7占比、业务请求成功率；以及核心网侧的SGW、PGW丢包率。

该实施例中还可以包括步骤360，根据网络健康评估结果调整基础阈值，即调整KQI阈值和KPI阈值。

在该实施例中，采用了Hadoop技术中的Mapreduce对海量数据进行并行分析处理，提高了处理效率，针对端到端感知体系提出了关键的KQI、KPI指标及算法体系，根据KQI数据与KPI数据的映射关系定位网络异常原因，该实施例可以广泛适用于各种网络监控系统。

本发明还能够提供各类报表、GIS地图等展现功能、短信邮件等告警提醒功能，便于日常监控与统计分析。

图5为本发明端到端网络感知评估系统的一个实施例的结构示意图。该系统包括数据采集单元510、数据处理单元520和网络评估单元530，其中：

数据采集单元510用于采集日志文件数据。其中，可以将互联网中的日志文件数据分块进行采集。数据处理单元520用于利用大数据处理技术对日志文件数据进行处理，获取日志文件数据对应的KQI数据和KPI数据。一个实施例中，还可以将相关指标日志实时入库，生成综合网络指标日志库。网络评估单元530用于将日志文件数据对应的KQI数据和KPI数据与基础阈值进行关联比对，确定网络健康评估结果。其中，可以配置KQI、KPI指标评估方法，关联终端、无线、核心网、信令等相关具体KPI指标，生成指标算法库。实时关联综合日志库与指标算法库，通过综合网络指标日志库的数据与用户设置的基础阈值配置进行关联对比来判断网络是否健康，是否有具体网络设备出现异常。例如，网络评估单元530用于若日志文件数据对应的KQI数据大于KQI阈值或日志文件数据对应的KPI数据大于KPI阈值，则确定网络状态异常。

在该实施例中，采集日志文件数据后，利用大数据处理技术对日志文件数据进行处理，获取日志文件数据对应的KQI数据和KPI数据，并将日志文件数据对应的KQI数据和KPI数据与基础阈值进行关联比对，确定网络健康评估结果，该实施例能广泛适用于用户上网感知的综合异常检测与健康评估。

图6为本发明端到端网络感知评估系统的另一个实施例的结构示意图。该系统包括数据采集单元610、数据处理单元620、运维事件判断单元630和网络评估单元640，其中：

数据采集单元610用于对互联网中的日志文件数据分块采集。例如，对互联网每分钟以亿为量级的数据通过大数据HADOOP中的Mapreduce技术文件对日志进行采集，如通过定制终端的客户端软件采集所述终端的相关状态数据；采集无线专业网管相关无线性能指标数据；采集无线话单中其他无线性能指标数据；采集核心网外置DPI数据包日志；以及采集电路域信令日志。数据处理单元620用于获取日志文件数据对应的KPI数据，根据KQI数据与KPI数据的映射关系，确定日志文件数据的KQI数据。利用大数据处理技术对日志文件数据进行并行批量处理后，将处理结果实时入库，生成综合网络指标日志库。运维事件判断单元630用于若日志文件数据对应的KQI数据大于KQI阈值和/或日志文件数据对应的KPI数据大于KPI阈值，则判断网络设置是否处于特殊场景应用时间段。网络评估单元640用于若网络设置处于非特殊场景应用时间段，则确定网络状态异常。

在该实施例中，对互联网中的日志文件数据分块采集，并利用大数据处理技术对日志文件数据进行处理，将日志文件数据对应的KQI数据和KPI数据与基础阈值进行关联比对判断网络是否异常；另外，对判断为异常的KQI&KPI指标或具体网络设备，还需要与运维事件库进行特殊场景匹配，动态更新网络健康评估结果，提供告警。由于不受具体网元设备所提供的对外能力影响，仅针对网络实际行为数据的为对象进行感知评估，广泛适用于各种网络监控系统；另外，该实施例中算法复杂度低，利用大数据处理技术使得处理效率大大提高。

在本发明的另一个实施例中，该系统还包括指标映射单元650和网络异常定位单元660，其中，指标映射单元650用于确定KQI数据与KPI数据的映射关系，其中，可以先对KPI数据进行归一化处理；将归一化处理后的KPI数据进行求和并取平均值，确定KQI数据。网络异常定位单元660用于根据KQI数据与KPI数据的映射关系定位网络异常原因。如果KPI数据大于一定阈值后，作为提供网络异常显示，并提供具体KPI指标异常阶段，各设备数据源指标原始数据查询，追溯指标异常原因。

在本发明的另一个实施例中，该系统还包括阈值调整单元670，其中，阈值调整单元670用于根据网络健康评估结果调整基础阈值，即调整KQI阈值和KPI阈值。

在上述实施例中，能够根据KQI数据与KPI数据的映射关系及时确定定位网络异常原因，还能够及时调整KQI阈值和KPI阈值，以便更准确的感知网络异常。

在本发明的另一个实施例中，端到端网络感知评估系统架构图可以如图7所示，该系统部署统一采集设备，通过FTP、soap、订阅接口统一采集各数据源原始日志，生成本地临时文件库。利用Hadoop技术中MapReduce文件处理技术，针对每个数据源编写指标提取算法，对海量临时文件进行批量同步并发处理，处理结果数据一部分以文件形式保存于HDFS文件系统中，一部分数据插入数据库，其中非关系型数据插入NOSQL，关系型数据库插入ORACLE，小部分数据存入内存数据库。配置功能层感知质量评估模块，设置具体KPI与KQI指标对应关系，当KPI指标大于一定阈值后，作为提供网络异常显示，并提供具体KPI指标异常阶段，各设备数据源指标原始数据查询，追溯指标异常原因。另外，还可以提供各类报表、GIS地图等展现功能、短信邮件等告警提醒功能，便于日常监控与统计分析。

在该实施例中，端到端网络感知评估系统不受具体网元设备所提供的对外能力影响，仅针对网络实际行为数据的为对象进行感知评估，广泛适用于各种网络监控系统。

至此，已经详细描述了本发明。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本发明的方法以及装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。