一种5G网络服务质量异常监测和预测方法及系统与流程

本发明属于通信网络技术领域，具体涉及一种基于决策树的5g网络服务质量异常监测和预测方法及系统。

背景技术：

网络服务质量(qos，qualityofservice)是保证网络性能的必要支撑，传统的网络服务质量保证采用区分服务diffserv模型或者集成服务interserv模型。diffserv无法保证全局优化，interserv模型涉及到复杂的信令控制，因此导致现有网络只能提供尽力而为的服务质量而无法提供服务质量的保证。

在海量设备连接，超高流量密度、超高连接数密度和超高移动性场景下，5g网络如何满足用户服务存在巨大挑战，传统的网络服务质量架构无法适应复杂、动态的5g网络应用场景。

技术实现要素：

鉴于此，本发明提出一种5g网络服务质量异常监测和预测方法及系统，用于监测网络服务异常，提高网络服务质量。

本发明第一方面，提出一种5g网络服务质量异常监测和预测方法，所述方法包括：

s1、采集5g网络服务质量数据和网络kpi性能监测数据，所述网络服务质量数据包括用户终端数据、接入网数据、核心网数据；

s2、对所述网络服务质量数据进行预处理并进行标记；

s3、将所述标记后的网络服务质量数据存储至qos数据库；

s4、将所述qos数据库中所述标记后的网络服务质量数据作为数据集，构建有监督机器学习模型，利用所述数据集对所述有监督机器学习模型进行训练，得到qos异常监测器和qos异常预测器；

s5、采用所述qos异常监测器实时监测当前5g网络服务质量数据，将监测到的异常数据发送至qos策略决策模块；

s6、采用所述qos异常预测器预测未来5g网络服务质量数据异常，将预测到的异常数据发送至qos策略决策模块；

s7、所述qos策略决策模块标记和存储所述异常数据，更新qos数据库，报告异常结果并根据所述异常数据作出决策决定，驱动所述决策决定执行。

可选的，步骤s1中：所述用户终端数据包括：用户终端的硬件数据、软件型号版本，安装的应用，终端位置、移动方向、速度，消耗的cpu、内存资源、告警日志；所述接入网数据包括：基站分布、天线信道模式、频谱使用、物理资源虚拟资源使用情况、空口信令、告警日志；所述核心网数据包括：用户服务质量约定，网络切片资源使用，核心网信令、告警日志；所述网络kpi性能监测数据包括：网络带宽、时延、抖动。

可选的，述步骤s2的具体过程为：对采集到所述网络服务质量数据的进行清洗、统一格式，结合所述网络kpi性能监测数据对所述网络服务质量数据进行标记，所述标记包括正常和异常。

可选的，所述步骤s4中，所述有监督机器学习模型采用决策树算法。

可选的，述步骤s6中，所述qos异常预测器根据当前5g网络服务质量数据和历史5g网络服务质量数据来预测未来5g网络服务质量数据异常，所述历史5g网络服务质量数据为所述qos数据库中保存的历史网络服务质量数据记录。

可选的，述步骤s7中，所述qos策略决策模块标记和存储所述异常数据具体为：自动将所述qos异常监测器和所述qos异常预测器的结果进行标记，并将新的标记数据存入所述qos数据库，更新所述qos数据库中网络服务质量数据。

本发明第二方面，提供一种5g网络服务质量异常监测和预测系统，所述系统包括：

数据采集模块：用于采集5g网络服务质量数据和网络kpi性能监测数据，所述网络服务质量数据包括用户终端qos数据、接入网qos数据、核心网qos数据；

数据处理模块：用于对所述网络服务质量数据进行预处理并进行标记；

qos数据存储模块：用于存储所述标记后的网络服务质量数据；

模型训练模块：用于将所述qos数据库中所述标记后的网络服务质量数据作为有监督机器学习模型的数据集，构建有监督机器学习模型，对所述有监督机器学习模型进行训练，得到qos异常监测器和qos异常预测器

qos异常监测器：用于实时监测当前5g网络服务质量数据，将监测到的异常数据发送至qos策略决策模块；

qos异常预测器：用于根据当前5g网络服务质量数据和所述qos数据存储模块中的历史5g网络服务质量数据预测未来5g网络服务质量数据异常，将预测到的异常数据发送至qos策略决策模块；

qos策略决策模块：用于标记和存储所述异常数据，报告异常结果并根据所述异常数据作出决策决定，驱动所述决策决定执行。

可选的，所述数据采集模块具体包括：

用户终端数据采集单元：用于获取用户终端的硬件数据、软件型号版本，安装的应用，终端位置、移动方向、速度，消耗的cpu、内存资源、告警日志；

接入网数据采集单元：用于获取基站分布数据、天线信道模式、频谱使用、物理资源虚拟资源使用情况、空口信令、告警日志数据；

核心网数据采集单元：用于获取用户服务质量约定，网络切片资源使用，核心网信令、告警日志数据；

网络kpi性能监测数据采集单元：用于获取网络带宽、时延、抖动数据。

可选的，所述模型训练模块采用决策树算法构建所述有监督机器学习模型，训练的结果是一个由节点和分支组成的树状结构，每个非叶子节点都表示所述数据集中的一个属性，其分支即所述属性的某个值或值区间，每个叶子节点即所述数据集中的一个类别，表示网络服务质量异常或正常。

可选的，所述qos策略决策模块将所述qos异常监测器和所述qos异常预测器的异常结果进行标记，并将新的标记数据存入所述qos数据库，更新所述qos数据库中网络服务质量数据。

本发明提出的本发明提出一种5g网络服务质量异常监测和预测方法，通过收集、存储、标记、分析海量的网络终端、无线接入网、核心网的qos服务质量数据：

1)可重构历史网络事件和网络服务质量的关联关系；

2)可对当前网络服务质量异常的实时监测，进一步形成网络qos管理策略，通过软件化、虚拟化、切片化网络编程接口，实现网络资源的自动调度，从而为5g网络用户的服务质量保证，提高服务质量；

3)可对未来的可能的网络服务质量异常进行预测，为网络规划和服务质量优化提供依据。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的网络服务质量异常监测和预测方法流程示意图；

图2为本发明提供的用户终端数据、接入网数据、核心网数据的标记格式；

图3为本发明提供的网络服务质量异常监测和预测决策树示意图；

图4为本发明提供的网络服务质量异常监测和预测系统结构示意图。

具体实施方式

本发明提出一种基于决策树的5g网络服务质量异常监测和预测方法及系统，通过收集、标记、存储、分析海量的网络终端、无线接入网、核心网的qos服务质量数据，采用有监督机器学习模型实现网络服务质量异常的实时监测和预测。

从机器学习模型来看，机器学习分为有监督学习、无监督学习和半监督学习。

在有监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”，有监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型餐宿，直到模型的预测结果达到一个预期的准确率，有监督学习算法包括线性回归、决策树、支持向量机等。

在无监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等，无监督学习算法包括k-means，层次化聚类等。

在半监督学习方式下，输入数据部分被标识，部分没有被标识，这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。

机器学习主要取决于算法、计算能力和数据，获取数据后可以采用在线方式或者离线的方式进行训练和计算，离线方式实时性不高，考虑到网络服务质量保障的实时性要求，本发明采用在线学习和训练方式。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参见图1，本发明提出一种5g网络服务质量异常监测和预测方法，所述方法包括：

s1、采集5g网络服务质量数据和网络kpi性能监测数据，所述网络服务质量数据包括用户终端数据、接入网数据、核心网数据；

所述用户终端数据包括：用户终端的硬件数据、软件型号版本，安装的应用，终端位置、移动方向、速度，消耗的cpu、内存资源、告警日志；

所述接入网数据包括：基站分布、天线信道模式、频谱使用、物理资源虚拟资源使用情况、空口信令、告警日志；

所述核心网数据包括：用户服务质量约定，网络切片资源使用，核心网信令、告警日志；

所述网络kpi(keyperformanceindication)性能监测数据包括：网络带宽、时延、抖动。

s2、对所述网络服务质量数据进行预处理并进行标记；

对采集到所述网络服务质量数据的进行清洗、统一格式，结合所述网络kpi性能监测数据对所述网络服务质量数据进行标记，所述标记包括正常和异常。

具体的，预处理是为了清除噪声及无关数据纠正错误，处理无效值和缺失值，并将采集到的数据统一规范化，将数据转化为格式化的、易于后续处理的格式。通过网络带宽、时延、抖动等网络kpi性能监测数据，分别将预处理后的用户终端数据、接入网数据、核心网数据标记成正常或异常。网络某些kpi性能数据是可以监测的，比如速率，时延等，可以直接根据监测的这些kpi数据标记对应的采集的用户数据，接入网数据和核心网数据。

请参见图2，图2中列出了用户终端数据、接入网数据、核心网数据的标记格式。图2中，feature1、feature2等为数据集的属性或特征，对应的列为各项的属性值或值区间，标记的类别标签有两类，为normal(正常)和anomaly(异常)。标记后即可通过标记后网络服务质量数据学习标记规则、训练预测模型，最后自动监测当前网络服务质量并按照学习到的规则分类从而预测结果。

s3、将所述标记后的网络服务质量数据存储至qos数据库；

具体的，可采用关系型数据库或者nosql数据库或者文件系统进行存储、

s4、将所述qos数据库中所述标记后的网络服务质量数据作为数据集，构建有监督机器学习模型，利用所述数据集对所述有监督机器学习模型进行训练，得到qos异常监测器和qos异常预测器；

所述步骤s4中，所述有监督机器学习模型采用决策树算法。可采用的算法还包括神经网络或支持向量机算法等。

决策树算法是一种用于分类的监督学习方法，决策树算法可由训练集数据的特征推断出决策规则，通过创建树状结构来预测输入数据的结果。将所述qos数据库中所述标记后的网络服务质量数据作为数据集，一般将数据集分为训练数据集和测试数据集，通过训练数据集来生成决策树，从输入数据学习如何预测输出，再使用测试样本集来对生成的决策树进行检验、校正和修下，通过测试数据集中的数据校验决策树生成过程中产生的初步规则，将那些影响准确性的分枝剪除，生成更准确的树状结构，最终以叶子结点的分类结果(正常或异常)作为新输入网络服务质量数据的监测结果。

以c4.5决策树算法为例，说明步骤s4的具体过程：

1)计算训练数据集中各个属性的信息增益率，并构建决策树模型。

具体的，分类算法基于信息熵，信息熵越大，代表信息所带的新信息越多，则两个数据存在大幅度差异，因而属于不同类；信息熵越小，代表信息所带的新信息越少，则两个数据很可能属于一类。若属性的取值是连续的，则先将连续属性离散化，离散化后，假设属性a的属性值有m个离散后的取值区间，则训练数据集s通过属性a的属性值划分为c1，c2，…，cm共m个子数据集，|cp|表示第p个子数据集中样本数量，|s|表示划分之前数据集中样本总数量，

记p(cp)为分类子集cp在样本集s中出现的频率，p(cp)＝|cp|/|s|，p＝1,2，…，m，分裂之前样本集的熵：

对于其中任意属性ai，假设有t个不同取值aq，q＝1,2，…，t，根据ai的不同取值，可以将s划分为s1，s2，…，st共t个子集，同时可以将c1，c2，…，cm划分成m*t个子集，每个子集cpq表示在ai＝aq的条件下属于第p类的样本集合，过属性ai分裂之后样本集的熵：

其中，熵越小，子集划分的纯度越高。通过属性ai分裂之后样本集的信息增益为：

infogain(s,ai)＝h(s)-h(s,ai)

信息增益infogain(s,ai)表示划分后不确定性下降程度。

属性ai的分裂信息量：

继续分裂创造新的节点，通过属性ai分裂之后样本集s的信息增益率为：

c4.5决策树算法选择最大信息增益率的属性自上而下建立初始决策树，利用测试数据集对初始决策树进行剪枝，出去异常分支，提高分类准确性，得到最终决策树模型。

请参见图3，异常监测和预测决策树示意图，决策树是一个由节点和分支组成的类流程图的树状结构，其中节点又分为叶子结点和非叶子节点。树的顶层为第一个非叶子节点——根节点，是决策树的起始位置。每个非叶子节点都表示数据集中的某个属性，其分支即所述属性的某个值或值区间。每个叶子节点即数据集中的一个类别，即表示网络服务质量异常或正常。

2)构建好的决策树模块即可作为qos异常监测器，将当前5g网络服务质量输入决策树模型即可监测qos异常；根据当前5g网络服务质量数据和qos数据存储模块中的历史5g网络服务质量数据可进一步训练得到qos异常预测器，预测未来5g网络服务质量数据异常。

s5、采用所述qos异常监测器实时监测当前5g网络服务质量数据，将监测到的异常数据发送至qos策略决策模块；

s6、采用所述qos异常预测器预测未来5g网络服务质量数据异常，将预测到的异常数据发送至qos策略决策模块；

所述步骤s6中，所述qos异常预测器根据当前5g网络服务质量数据和历史5g网络服务质量数据来预测未来5g网络服务质量数据异常，所述历史5g网络服务质量数据为所述qos数据库中保存的历史网络服务质量数据记录。

s7、所述qos策略决策模块标记和存储所述异常数据，更新qos数据库，报告异常结果并根据所述异常数据作出决策决定，驱动所述决策决定执行。

所述步骤s7中，所述qos策略决策模块标记和存储所述异常数据具体为：

自动将所述qos异常监测器和所述qos异常预测器的结果进行标记，并将新的标记数据存入所述qos数据库，作为历史5g网络服务质量数据保存，更新所述qos数据库中网络服务质量数据。以此建立历史网络事件和网络服务质量的关联关系，并为下一步训练和预测提供训练依据。qos数据库更新后当有新的网络服务质量数据输入时，则将更新后的qos数据库作为新的数据集，训练并预测输入数据中的异常。

qos策略决策模块还根据监测或预测到的异常结果做出决策，比如带宽不够则增加带宽，时延太长，加速队列排队处理等，并驱动决策执行。

请参见图4，本发明还提供一种5g网络服务质量异常监测和预测系统，所述系统包括：

数据采集模块410：用于采集5g网络服务质量数据和网络kpi性能监测数据，所述网络服务质量数据包括用户终端qos数据、接入网qos数据、核心网qos数据；

数据处理模块420：用于对所述网络服务质量数据进行预处理并进行标记；

qos数据存储模块430：用于存储所述标记后的网络服务质量数据；

模型训练模块440：用于将所述qos数据库中所述标记后的网络服务质量数据作为有监督机器学习模型的数据集，构建有监督机器学习模型，对所述有监督机器学习模型进行训练，得到qos异常监测器和qos异常预测器

qos异常监测器450：用于实时监测当前5g网络服务质量数据，将监测到的异常数据发送至qos策略决策模块；

qos异常预测器460：用于根据当前5g网络服务质量数据和所述qos数据存储模块中的历史5g网络服务质量数据预测未来5g网络服务质量数据异常，将预测到的异常数据发送至qos策略决策模块；

qos策略决策模块470：用于标记和存储所述异常数据，报告异常结果并根据所述异常数据作出决策决定，驱动所述决策决定执行。

所述数据采集模块410具体包括：

用户终端数据采集单元：用于获取用户终端的硬件数据、软件型号版本，安装的应用，终端位置、移动方向、速度，消耗的cpu、内存资源、告警日志；

接入网数据采集单元：用于获取基站分布数据、天线信道模式、频谱使用、物理资源虚拟资源使用情况、空口信令、告警日志数据；

核心网数据采集单元：用于获取用户服务质量约定，网络切片资源使用，核心网信令、告警日志数据；

网络kpi性能监测数据采集单元：用于获取网络带宽、时延、抖动数据；

所述模型训练模块440采用决策树算法构建所述有监督机器学习模型，训练的结果是一个由节点和分支组成的树状结构，每个非叶子节点都表示所述数据集中的一个属性，其分支即所述属性的某个值或值区间，每个叶子节点即所述数据集中的一个类别，表示网络服务质量异常或正常。

所述qos策略决策模块470将所述qos异常监测器和所述qos异常预测器的异常结果进行标记，并将新的标记数据存入所述qos数据库，更新所述qos数据库中网络服务质量数据。

数据采集模块410、数据处理模块420、模型训练模块440、qos异常监测器450、qos异常预测器460、qos策略决策模块470共同构成5g网络qos机器学习引擎，根据采集到的用户终端qos数据、接入网qos数据、核心网qos数据以及网络kpi性能监测数据，利用该5g网络qos机器学习引擎自动检测并预测网络qos异常，可进一步形成网络qos管理策略，为5g网络用户的服务质量保证，也为网络规划和网络服务质量优化提供依据。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。