一种基于ARQ日志的IPTV异常网络设备定界方法与流程

本发明涉及一种异常网络设备定界方法，特别是一种基于arq日志的iptv异常网络设备定界方法。

背景技术：

随着iptv（交互式网络电视）的飞速发展和用户量的逐年攀升，运营商如何保障优质的iptv网络运营，提供较好的直播和点播用户体验，将成为提升服务质量的关键。iptv网络通信涉及到较多的网络设备(如接入网络层面的olt、pon、分光器)，且很多设备缺乏完善的日志数据和监控机制，使得故障情况下进行问题设备定位变得尤为困难。目前的问题设备定位方法主要通过用户申告，地市根据用户申告记录安排维护人力进行逐级排障。并且，如果片区的用户没有故障申告记录，所在片区的异常设备很难被提前识别出来，导致较差的视听体验，如何协助基础运维人员进行主动排障将是iptv服务的重点。

技术实现要素：

本发明所要解决的技术问题是提供一种基于arq日志的iptv异常网络设备定界方法，帮助基层运维人员快速定位出问题设备的边界范围。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于arq日志的iptv异常网络设备定界方法，其特征在于包含以下步骤：

步骤一：建立指标聚合类模型，整合arq日志数据，并过滤出模型一的候选问题设备集合；

步骤二：建立拓扑分析类模型，判断各层网络设备与上下级设备的参数分布情况并过滤出模型二的候选问题设备集合；

步骤三：将模型一的候选问题设备集合和模型二的候选问题设备集合做交集，得到最后的异常设备集合。

进一步地，所述步骤一具体为

1.1整合服务端和机顶盒端的arq日志数据，通过与iptv平台服务记录数据和资源树数据进行关联分析，收敛出各层级网络设备指标分布集合；

1.2以城市和设备类型为分组标签，按天通过分位聚合函数计算出城市各层级设备的各类指标动态阈值；

1.3通过指标组配与动态阈值筛选，过滤出候选问题设备集合。

进一步地，所述1.1具体为

将整合的arq日志数据与平台端的服务记录数据相关联，获取对应的服务对象信息，再通过关联设备资源树，统计收敛出二级分光器、一级分光器、pon口、olt、交换机以及bras层的各项指标数据。

进一步地，所述1.3具体为

利用分位聚合函数按天动态计算各个层级设备的各指标阈值，并通过指标选取与组配，过滤出候选异常设备。

进一步地，所述指标选取与最佳组配方式为

arq用户占比+arq平均请求次数+arq平均请求重传报文数，其中各个指标的阈值为95%分位点。

进一步地，所述步骤二具体为

2.1根据网络设备的层级结构，以及各层网络设备的参数收敛情况，判断各层网络设备与上下级设备的参数占比情况；

2.2当上级设备的arq用户、arq总请求次数、arq总请求重传报文数主要来源于本级，并且本级设备的下级发生arq的设备分布较为均匀时，则可以判断为本级设备界限范围出现故障；

2.3通过拓扑分析，过滤出模型二的候选设备。

进一步地，所述步骤三具体为

通过模型一和模型二相融合，过滤出两类模型的交集，交集中的评价指标既涵盖了模型一的本层设备参数筛选又包括了上下级设备的拓扑限定，则为最终异常设备集合。

本发明与现有技术相比，具有以下优点和效果：

本发明所需数据源较少，可以仅利用平台端和服务端的arq日志数据，推算出iptv各级网络设备的异常情况，有效的帮助运维人员进行主动排障；通过指标分析与拓扑分析相结合，提升识别准确率，从而降低人工成本并提高维护效率。

附图说明

图1是本发明的一种基于arq日志的iptv异常网络设备定界方法的模型一框架图。

图2是本发明的一种基于arq日志的iptv异常网络设备定界方法的模型二框架图。

图3是本发明的一种基于arq日志的iptv异常网络设备定界方法的模型一、二交集示意图。

图4是本发明的实施例的指标计算方式示意图。

具体实施方式

下面通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

arq日志为用户在直播或点播的过程中自动重传请求日志，是一种后向纠错机制，记录着用户在观看过程中的丢失报文数和补尝情况。合理的进行服务端和用户机顶盒端的arq日志分析、聚合，并融合网元拓扑结构分析，是一种较为可行的各级网络设备定界辅助方法。

对于海量的服务端和客户端的arq日志、服务记录数据以及其他多源数据，需要使用大数据平台以及分布式处理手段。hive是一种架构于hadoop顶层的数据仓库技术，提供了一套对数据进行转换和加载(etl)的手段，支持mapreduce等多种类型分布式计算引擎，与hdfs等文件系统有很好的交互功能，对于iptv异常设备网络定界的大规模数据存储和分析具有较佳的支撑作用。

本发明提供了一种基于arq日志的iptv异常网络设备定界方法，通过融合hive大数据分析技术，完成对海量arq日志相关数据的收敛分析，主要包含以下步骤：

步骤一：如图1所示，建立指标聚合类模型，基于整合的arq日志数据和指标组配研究成果，过滤出模型一的候选问题设备集合；

1.1为了提升数据的完整性，将服务端arq日志数据和机顶盒端的arq日志数据进行整合，与iptv平台服务记录数据和资源树数据进行关联分析，收敛出各层级（二级分光器、一级分光器、pon口、olt、交换机以及bras层）网络设备的指标数据集合，指标计算方式如图4所示；

1.2以城市和设备类型为分组标签，按天通过分位聚合函数动态计算出各个城市各层级设备的各类指标动态阈值；

1.3通过指标组配与动态阈值筛选，过滤出模型一的候选问题设备集合。

模型一精选了大量指标，并经过迭代、指标间的组配实验和数据反馈，最终得出有效指标的组配方式。并对各个层级设备的指标集合，按天动态生成分地域分层级的阈值集合，实验得出了较佳的阈值生成方法，动态并有效的筛选出不同层级的候选问题设备。指标中效果较好的组配方式为：arq用户占比+arq平均请求次数+arq平均请求重传报文数，其中各个指标的阈值为95%分位点较佳。

步骤二：如图2所示，建立拓扑分析类模型，判断各层网络设备的参数在上级设备参数中的占比情况，以及下级arq设备的分布情况，过滤出模型二的候选问题设备集合；

2.1依据资源树数据，研究iptv相关网络设备的层级结构和各层设备的数量分布情况。依据平台端服务记录数据，研究iptv相关网络设备的在线数据分布情况；

2.2根据模型一的指标收敛结果，对网元设备集合进行参数拓扑分析。网元拓扑分析法中，运用本层网络设备与上下级设备、本层其他设备的指标分布关系，从空间逻辑上定位出候选问题设备。其中，对上层和本层其他设备利用数值占比方法，再通过判断下层发生arq的设备是否分布均匀（在当天在线设备中的比例），将问题锁定在本层设备或者向下层逐步延申推演，确认是设备链哪一层级的设备出现问题。

经过实验分析和反馈结果，当某个设备的arq用户数、arq总请求次数、arq中请求重传报文数三个指标分别占上级设备对应参数的80%、90%、90%，并且下级发生arq的设备与下层当天在线设备(其下有在线用户的设备)比例超过90%时，则可以判断为本层设备界限范围出现故障；

2.3通过拓扑分析，过滤出模型二的候选设备。

步骤三：如图3所示，将模型一的候选问题设备集合和模型二的候选问题设备集合做交集，得到最后的异常设备集合。

本发明所需数据源较少，可以仅利用平台端和服务端的arq日志数据，推算出iptv各级网络设备的异常情况，有效的帮助运维人员进行主动排障；通过模型一和模型二相融合，过滤出两类模型的交集则为最终异常设备集合。同时融合指标分析和网元拓扑分析方法，从数值和空间两方面过滤出问题设备，增强了逻辑性和准确率，，从而降低人工成本并提高维护效率。

本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，只要不偏离本发明说明书的内容或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。