本发明属于通信技术领域，更具体地，涉及一种基于大数据的物联网业务质量监测平台及方法。
背景技术：
随着“物联网‘十二五’发展规划”、“中国制造2025”等政策的提出，物联网发展已经成为国家层面技术及产业创新的重点方向。近年来，各大运营商相继掀起了万物互联的大连接发展战略，物联网建设进入无线网络发展的新时期。但随着行业应用的连接规模以及增速的迅速扩大，在无线网络发展方面出现了一系列问题，突出表现为以下几个方面：
(1)业务质量问题，部分行业卡使用不畅投诉越来越多，表现为异常下线后无法重新上线，频繁上下线，无法注册等；此类问题无法及时监测，涉及终端和网络等问题，较难定位，客户反应强烈；(2)缺乏物联网卡业务运营情况的全面评估，业务发展质量不高，如缺少对已发放的行业卡在线率，活跃度，流量价值等的评估，运营商无法及时掌握目前集团行业卡活跃度，不利于后期客户维护和二次拓展；(3)对已投放的物联网卡信息安全风险评估能力不足，尤其是在网络信息安全法全面实施的大背景下，物联网卡被非法利用进行垃圾短信发送，拨打诈骗电话，病毒传播的风险加剧，亟需信息安全风险的主动评估预警。
传统的物联网优化方式，主要基于对无线网络KPI指标进行监控，跟踪分析KPI指标变化情况，被动触发网络健康检查以及KPI指标优化；但是单一的无线网络KPI指标优化，并不能解决网络深层次的业务质量问题，不能指导物联网业务的市场拓展以及用户感知提升；依托传统网络优化手段，不能完全满足现有万物互联、大连接的业务发展需求。
技术实现要素：
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于大数据的物联网业务质量监测平台及方法，其目的在于解决现有的物联网监测方法无法实现业务质量问题的实时检测与定位、无法及时掌握物联网卡的业务量、对已投放的物联网卡的信息安全风险评估能力不足的问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于大数据的物联网业务质量监测平台，包括数据采集单元、数据处理单元、业务质量监测单元、异常预警单元和异常定位单元；
数据采集单元用于获取用户业务数据并进行筛选清洗，去除干扰数据；所述业务数据包括核心网设备日志、操作维护中心(Operation and Maintenance Center，OMC)统计数据、分组业务(Packet Service，PS)信令监测数据、BOSS话单数据、仿真拨测和调查数据；
数据处理单元用于根据数据来源的接口类型将业务数据分为控制面关键绩效指标(Key Performance Indicator，KPI)指标数据和用户面KPI指标数据；根据仿真拨测和调查数据分别建立KPI指标与异常原因的两级映射关系，并采用置信度对KPI指标与对应的异常原因关联组合进行排序；
业务质量监测单元用于采集个小区历史N天的关键KPI指标数据，根据围绕中心点划分(Partitioning Around Medoid，PAM)聚类算法计算得到各小区的关键KPI指标的动态门限值；并用于根据监控接入点名称(Access Point Name，APN)、监控时段生成小时粒度的行业号码关键KPI指标报表；
异常预警单元用于将所述行业号码关键KPI指标报表中的KPI指标数据与监控时段对应的动态门限值进行比较，并在KPI指标出现异常时输出对应的用户号码；
异常定位单元用于根据所述PS信令监测数据中的信令交互流程失败码、所述核心网设备日志中的分组数据协议(Packet Data Protocol，PDP)激活失败日志以及所述置信度定位得到KPI指标的异常原因；并用于根据机器自学习算法对预设时间段内定位得到的异常原因进行统计，根据统计结果对异常原因的置信度进行更新。
优选的，上述物联网业务质量监测平台，其控制面KPI指标包括无线链路状态消息次数、PDP激活成功率和附着成功率；用户面KPI指标包括域名系统(Domain Name System，DNS)成功率、传输控制协议(Transmission Control Protocol，TCP)丢包率、TCP建立成功率、TCP建立时延、TCP重传率和HTTP成功率。
优选的，上述物联网业务质量监测平台，其两级映射关系中的一级映射元素包括核心网问题、路由和传输问题、签约数据问题、客户侧问题和无线侧问题；
核心网问题包括参数配置问题、DNS缓存问题、设备板卡故障、IP地址设置错误、端口设置错误、用户签约信息错误和DNS信息错误七个二级元素；路由和传输问题包括传输中断、传输误码、路由节点设置错误、接口链路故障和公用数据网(Public Data Network，PDN)网关至外网连通性问题六个二级元素；签约数据问题包括签约数据设置错误、卡号未激活和卡号签约过期三个二级元素，客户侧问题包括终端故障、终端设置问题、非法用户、欠费、卡号故障和防火墙设置问题六个二级元素；无线侧问题包括弱覆盖、高干扰、质差和基站故障告警四个二级元素。
优选的，上述物联网业务质量监测平台，还包括运营指标评估单元；该运营指标评估单元用于根据在线率、活跃度和流量三个运营指标建立分场景的运营健康度评估模型，采用加权评分算法计算得到不同用户的运营健康度得分；并用于采集流量和上网频次两个维度的业务数据，以天为时间颗粒度输出用户业务量的变化趋势；运营健康度得分和业务量变化趋势用于支撑市场人员对行业卡用户的业务量和业务发展潜力进行评估，并采取针对性的市场指导策略。
优选的，上述物联网业务质量监测平台，其运营指标评估单元包括运营健康度评估模块和业务量趋势预测模块；
运营健康度评估模块用于根据不同的业务类型和应用场景，分别对在线率、活跃度和流量三个运营指标设置权重，采用加权评分算法计算得到不同用户的运营健康度得分；
业务量趋势预测模块用于采集流量和上网频次两个维度的业务数据，以天为时间颗粒度、以“持续增或减的天数和持续t天增或减的程度”两个指标作为评价标准，得到用户业务量的变化趋势并进行排序。
优选的，上述物联网业务质量监测平台，还包括信息安全评估单元；该信息安全评估单元用于采集短信、流量、通话三个维度的业务数据，以用户为样本采集颗粒度，对单个用户的短信、流量、以及通话时长等样本数据，设定时间周期进行高斯模型统计，通过高斯模型分别对短信、流量、通话设置权重并作加权评估，输出评估值高于设定值的异常用户号码；并用于根据异常用户号码的历史业务数据分别设置短信、流量、通话三个维度的业务数据的预警门限值，以N天为单位输出监测业务数据高于预警门限值的用户或卡号，生成风险评估报表，对高风险集团和号码进行预警。
按照本发明的另一个方面，还提供了一种基于大数据的物联网业务质量监测方法，包括以下步骤：
S1：获取用户业务数据并进行筛选清洗，去除干扰数据；业务数据包括核心网设备日志、OMC统计数据、PS信令监测数据、BOSS话单数据、仿真拨测和调查数据，
S2：根据数据来源的接口类型将业务数据分为控制面KPI指标数据和用户面KPI指标数据；根据仿真拨测和调查数据分别建立KPI指标与异常原因的两级映射关系，并采用置信度对KPI指标与对应的异常原因关联组合进行排序；
S3：采集各小区历史N天的关键KPI指标数据并过滤掉异常样本；根据PAM聚类算法和统计学原理计算得到各关键KPI指标的动态门限值；
S4：为每个关键KPI指标启动监控任务，根据监控APN、监控时段生成小时粒度的行业号码关键KPI指标报表；并将行业号码关键KPI指标报表中的关键KPI指标数据与监控时段对应的动态门限值进行比较，并在关键KPI指标出现异常时输出对应的用户号码；
S5：根据PS信令监测数据中的信令交互流程失败码、核心网设备日志中的PDP激活失败日志以及置信度定位得到KPI指标的异常原因；
S6：根据机器自学习算法对预设时间段内定位得到的异常原因进行统计，根据统计结果对异常原因的置信度进行更新。
优选的，上述物联网业务质量监测方法，其步骤S3中包括以下子步骤：
S31：采集网管小时颗粒度KPI数据，获取各小区N天*24小时的KPI指标数据分布，并采取定界法剔除异常样本数据；
S32：根据PAM聚类算法分组，将KPI指标分布特征的时刻划分为一组；
S33：根据统计学原理为各组的KPI指标设定动态门限值，同一组内不同时刻的动态门限值相同。
优选的，上述物联网业务质量监测方法，其控制面的关键KPI指标包括无线链路状态消息次数、PDP激活成功率和附着成功率；用户面的关键KPI指标包括DNS成功率、TCP丢包率、TCP建立成功率、TCP建立时延、TCP重传率和HTTP成功率。
优选的，上述物联网业务质量监测方法，其两级映射关系中的一级映射元素包括核心网问题、路由和传输问题、签约数据问题、客户侧问题和无线侧问题；
核心网问题包括参数配置问题、DNS缓存问题、设备板卡故障、IP地址设置错误、端口设置错误、用户签约信息错误和DNS信息错误七个二级元素；路由和传输问题包括传输中断、传输误码、路由节点设置错误、接口链路故障和PDN网关至外网连通性问题六个二级元素；签约数据问题包括签约数据设置错误、卡号未激活和卡号签约过期三个二级元素；客户侧问题包括终端故障、终端设置问题、非法用户、欠费、卡号故障和防火墙设置问题六个二级元素；无线侧问题包括弱覆盖、高干扰、质差和基站故障告警四个二级元素。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明提供的基于大数据的物联网业务质量监测平台及方法，以核心网设备日志、OMC统计数据、PS信令监测数据、BOSS话单数据、仿真拨测和调查数据等海量业务数据为基础，建立KPI指标与异常原因的两级映射关系；通过对9个关键的KPI指标数据进行实时监测并输出异常号码报表，实现对物联网卡上网过程的多维度实时监测，以指导市场人员先与客户发现问题并及时进行用户主动关怀；根据PS信令监测数据中的信令交互流程失败码，从核心网设备日志中获取的PDP激活失败日志和KPI指标特征库中存储的映射关系、置信度对KPI指标异常的原因进行定位，及时找出导致业务质量异常的原因并进行处理；从业务质量智能监测以及业务异常自动定界等两个维度对物联网业务质量进行深度评估；采取机器自学习方法，对KPI指标特征库不断更新修正，填充业务特征库，形成自检、自报的质量评估体系，实现业务性能主动监测预警，提升用户使用感知。
(2)本发明提供的基于大数据的物联网业务质量监测平台及方法，通过运营指标评估单元对行业卡用户的运营健康度和业务量趋势进行评估预测，支撑市场人员对行业卡用户的业务量和业务发展潜力进行评估，从而采取针对性的市场指导策略，有利于市场商机拓展；通过信息安全评估单元对已注册用户进行分类管理，实时监测评估已投放物联网卡的信息安全风险，输出预警高风险号码，及时进行有效干预。
附图说明
图1是本发明实施例提供的基于大数据的物联网业务质量监测平台的结构框图；
图2是本发明实施例提供的物联网业务质量监测方法的流程图；
图3是本发明实施例提供的TCP建立时延采样筛选示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明所提供的一种基于大数据的物联网业务质量监测平台，包括数据采集单元、数据处理单元、业务质量监测单元、异常预警单元和异常定位单元；
数据采集单元用于获取核心网设备日志、OMC统计数据、PS信令监测数据、BOSS话单数据、仿真拨测和调查数据等海量业务数据，对业务数据进行筛选清洗，去除干扰数据；
数据处理单元用于根据数据来源的接口类型将业务数据分为控制面KPI指标数据和用户面KPI指标数据；其中，控制面KPI指标包括无线链路状态消息次数、PDP激活成功率和附着成功率；用户面KPI指标包括DNS成功率、TCP丢包率、TCP建立成功率、TCP建立时延、TCP重传率和HTTP成功率；
并根据仿真拨测和调查数据分别建立各KPI指标与异常原因的两级映射关系，生成KPI指标特征库；异常原因的一级映射元素包括核心网问题、路由和传输问题、签约数据问题、客户侧问题和无线侧问题；其中，核心网问题分为参数配置问题、DNS缓存问题、设备板卡故障、IP地址设置错误、端口设置错误、用户签约信息错误、DNS信息错误七个二级元素，路由和传输问题分为传输中断、传输误码、路由节点设置错误、接口链路故障、PDN网关至外网连通性问题六个二级元素；签约数据问题分为签约数据设置错误、卡号未激活、卡号签约过期三个二级元素，客户侧问题分为终端故障、终端设置问题、非法用户、欠费、卡号故障、防火墙设置问题六个二级元素，无线侧问题分为弱覆盖、高干扰、质差、基站故障告警四个二级元素；采用置信度对各KPI指标与对应的二级元素关联组合进行排序，导致KPI指标异常的二级元素出现频次越高，置信度越高；
业务质量监测单元用于采集个小区历史N天的KPI指标数据，根据PAM聚类算法和统计学原理计算得到各小区的KPI指标的动态门限值；并用于根据监控APN、监控时段生成小时粒度的行业号码关键KPI指标报表；
异常预警单元用于将业务质量监测单元生成的行业号码关键KPI指标报表中的KPI指标数据与监控时段对应的动态门限值进行比较，并在KPI指标出现异常时输出对应的用户号码；基于用户等级和异常号码出现频次进行主动预警，通知客户经理和相应维护人员。
异常定位单元用于根据PS信令监测数据中的信令交互流程失败码，以及从核心网设备日志中获取的PDP激活失败日志，将KPI指标的异常原因定位至一级映射元素，然后根据KPI指标与对应的二级元素关联组合的置信度定位得到导致KPI指标异常的二级映射元素；异常定位单元还用于根据机器自学习算法对预设时间段内定位得到的二级映射元素进行统计，并更新KPI指标特征库。
采取机器自学习方法，对KPI指标特征库不断更新修正，填充业务特征库，形成自检、自报的质量评估体系，实现业务性能主动监测预警。
进一步的，物联网业务质量监测平台还包括运营指标评估单元；该运营指标评估单元用于根据不同的业务类型和应用场景业务特征分别建立运营健康度评估模型，分别对在线率、活跃度和流量三个运营指标设置权重，采用加权评分算法计算得到不同用户的运营健康度得分；并用于采集流量和上网频次两个维度的业务数据，以天为时间颗粒度输出用户业务量的变化趋势；该运营健康度得分和业务量的变化趋势用于指导业务部门掌握用户的业务量和活跃度，不同用户采取针对性的市场指导策略，为业务持续发展、高效益发展提供便捷的管理支撑手段。
运营指标评估单元包括运营健康度评估模块和业务量趋势预测模块；
其中，运营健康度评估模块用于根据不同的业务类型和应用场景建立运营健康度评估模型，分别对在线率、活跃度和流量三个运营指标设置权重，采用加权评分算法计算得到不同用户的运营健康度得分；
运营健康度评估模型为：
其中，Y表示运营健康度得分，xi表示运营指标，表示权重系数，n表示运营指标的个数；
基于上述三项运营指标，对各个集团客户行业卡的业务使用行为进行大数据分析，形成业务类型、应用场景多维评分项，其中，业务类型包括短信、无线数据业务和语音，应用场景包括工业园区、住宅楼、酒店、商场、地下停车场等；对于不同的业务类型和应用场景，对在线率、活跃度、流量三个重要评估指标分别设置不同的权重，采用加权评分算法，得出分场景的运营健康度得分；基于运营健康度得分指导业务部门第一时间掌握物联网卡的业务量和活跃度，为业务持续发展、高效益发展提供便捷的管理支撑手段。
业务量趋势预测模块用于采集流量和上网频次两个维度的业务数据，以天为时间颗粒度、以“持续增或减的天数、持续t天增或减的程度”两个指标作为评价标准，得到用户业务量的变化趋势并进行排序；针对具有不同业务量变化趋势的用户，采取不同的市场指导策略；
a.趋增排名可用于用户业务潜力发现，向客户经理直观展示客户业务的增长情况，便于挖掘二次商机，如提升套餐，发展新卡等；
b.趋减排名可用于用户离网嫌疑发现、被策反嫌疑发现，通知客户经理进行离网关怀。
需要指出的是，针对由于无线网络异常等干扰原因造成用户业务数据出现突变情况，需要设置修正值对业务量趋势预测结果进行修正，对趋增或趋减排名的用户分别设置不同的趋势波动修正值，即当趋增或趋减的样本数据比例大于80％，则正向修正，否则不做修正，避免短期异常波动影响预测结果的准确性。业务部门根据业务量的变化趋势掌握用户的业务量和活跃度，对不同用户采取针对性的市场指导策略，为业务持续发展、高效益发展提供便捷的管理支撑手段。
进一步的，该物联网业务质量监测平台还包括信息安全评估单元；信息安全评估单元用于采集短信、流量、通话三个维度的业务数据，以用户为样本采集颗粒度，对单个用户的短信、流量、以及通话时长等样本数据，选取一个时间周期(如1周)进行高斯模型统计分析，分别对短信、流量、通话设置权重并作加权评估，评估值高于预设值及代表对应用户存在信息安全风险，如短信风暴、异常流量或通话异常等；
信息安全评估单元还用于根据异常用户的历史业务数据分别设置短信、流量、通话三个维度的业务数据的预警门限值，以N天为单位输出监测业务数据高于预警门限值的用户或卡号，生成风险评估报表，对高风险集团和号码进行预警；通知客户经理进行核实后，进行相应干预；N取值大小取决于应用场景和业务类型。
进一步的，该物联网业务质量监测平台还包括用户行为分析单元；用户行为分析单元用于基于行业卡驻留数据和上网行为数据，采用PAM聚类算法以流量使用情况、位置信息和活跃度三个指标作为分类依据对行业卡用户进行分组；
对于以流量使用情况进行分类的行业卡用户，根据流量使用量对不同用户设置不同的流量提醒阈值，实现超流量实时提醒，避免资费投诉；
对于以位置信息进行分类的行业卡用户，通过对用户常驻小区位置信息的定期刷新跟踪，及时发现用户网卡丢失或功能发生异常变动的情况；
对于以活跃度进行分类的行业卡用户，对于无流量、低流量等活跃度低的用户号码进行定期监控和评测，开展用户关怀；对于活跃度高的用户提供增值服务。
本发明还提供了一种基于大数据的物联网业务质量监测方法，如图2所示，包括以下步骤：
S1：获取核心网设备日志、OMC统计数据、PS信令监测数据、BOSS话单数据、仿真拨测和调查数据等海量业务数据，对业务数据进行筛选清洗，去除干扰数据；
S2：根据数据来源的接口类型将业务数据分为控制面KPI指标数据和用户面KPI指标数据；根据仿真拨测和调查数据分别建立各KPI指标与异常原因的两级映射关系，生成KPI指标特征库；
其中，控制面KPI指标包括无线链路状态消息次数、PDP激活成功率和附着成功率；用户面KPI指标包括DNS成功率、TCP丢包率、TCP建立成功率、TCP建立时延、TCP重传率和HTTP成功率；
异常原因的一级映射元素包括核心网问题、路由和传输问题、签约数据问题、客户侧问题和无线侧问题；其中，核心网问题分为参数配置问题、DNS缓存问题、设备板卡故障、IP地址设置错误、端口设置错误、用户签约信息错误、DNS信息错误七个二级元素，路由和传输问题分为传输中断、传输误码、路由节点设置错误、接口链路故障、PDN网关至外网连通性问题六个二级元素；签约数据问题分为签约数据设置错误、卡号未激活、卡号签约过期三个二级元素，客户侧问题分为终端故障、终端设置问题、非法用户、欠费、卡号故障、防火墙设置问题六个二级元素，无线侧问题分为弱覆盖、高干扰、质差、基站故障告警四个二级元素；采用置信度对各KPI指标与对应的二级元素关联组合进行排序，导致KPI指标异常的二级元素出现频次越高，置信度越高；
S3：采集个小区历史N天的KPI指标数据(通常以月，30天为一个计算周期)，并过滤掉异常样本；根据PAM聚类算法和统计学原理计算得到各小区的KPI指标的动态门限值；
具体包括以下子步骤：
S31：采集网管小时颗粒度KPI数据，获取各小区N天*24小时的KPI指标数据分布，并采取定界法剔除异常样本数据；
S32：根据PAM聚类算法分组，将KPI指标分布特征的时刻划分为一组；
S33：根据统计学原理为各组的KPI指标设定动态门限值；同一组内不同时刻的动态门限值相同；
图3是本实施例提供的TCP建立时延采样筛选示意图，如图3所示，首先筛除异常采样点，根据PAM聚类算法将KPI指标分布特征的时刻划分为一组，如0:00～4:48时间段内的TCP建立时延指标分布特征一致，则将该时间段划分为一组，并设置动态门限值。
S4：为每个KPI指标启动监控任务，根据监控APN、监控时段生成小时粒度的行业号码关键KPI指标报表；并将行业号码关键KPI指标报表中的KPI指标数据与监控时段对应的动态门限值进行比较，KPI指标出现异常时则输出对应的用户号码；
S5：基于用户等级和异常号码出现频次进行主动预警，通知客户经理和相应维护人员。
S6：根据PS信令监测数据中的信令交互流程失败码，以及从核心网设备日志中获取的PDP激活失败日志，将KPI指标的异常原因定位至一级映射元素，然后根据KPI指标与对应的二级元素关联组合的置信度定位得到导致KPI指标异常的二级映射元素；
物联网卡业务过程包括：无线接入—>移动性管理(ATTACH过程)—>会话管理(PDP上下文激活)—>DNS查询—>TCP建立—>HTTP建立；该过程涉及的交互网元众多,出现的Attach失败、PDP激活失败、DNS查询失败及TCP建立失败将直接导致用户不能进行后续业务，这其间终端、分组控制单元(Package Control Unit，PCU)、服务GPRS支持节点(Serving GPRS Support Node，SGSN)、网关GPRS支持节点(Gateway GPRS Support Node，GGSN)、归属位置寄存器(Home Location Register，HLR)都可能是导致业务异常的原因；一般可以通过返回的原因值进行判断，异常原因主要归结为两类：用户数据问题和网络问题；其中，无线接入过程在Gb/Iu-PS接口不可见,其它过程都可以在Gb/Iu-PS上截取信息,通过分析这些数据,可以复现用户的上网接入过程情况；如果在其中某个过程中遇到障碍,相应的KPI指标就会有所体现。
S7：采用机器自学习算法对预设时间段内定位得到的二级映射元素进行统计，并更新KPI指标特征库，提升KPI指标异常原因定界的准确性。
相比于现有的物联网监测方法，本发明提供的基于大数据的物联网业务质量监测平台及方法，以核心网设备日志、OMC统计数据、PS信令监测数据、BOSS话单数据、仿真拨测和调查数据等海量业务数据为基础，建立KPI指标与异常原因的两级映射关系；通过对9个关键KPI指标数据进行实时监测并输出异常号码报表，实现对物联网卡上网过程的多维度实时监测，以指导市场人员先与客户发现问题并及时进行用户主动关怀；根据PS信令监测数据中的信令交互流程失败码，从核心网设备日志中获取的PDP激活失败日志和KPI指标特征库中存储的映射关系、置信度对KPI指标异常的原因进行定位，及时找出导致业务质量异常的原因并进行处理；从业务质量智能监测以及业务异常自动定界等2个维度对物联网业务质量进行深度评估；采取机器自学习方法，对KPI指标特征库不断更新修正，填充业务特征库，形成自检、自报的质量评估体系，实现业务性能主动监测预警，提升用户使用感知。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。