核心网数据管理方法和系统的制作方法
【专利摘要】本发明提供一种核心网数据管理方法和系统，属于核心网数据管理技术领域，其可解决现有的核心网数据管理方法速度慢、成本高、运算量大、准确性差的问题。本发明的核心网数据管理方法包括：采集来自核心网各网元的数据，并为每条数据设置代表数据特征的标签；将采集的数据按时间顺序排成队列；产生订阅者，并根据订阅者所需的数据建立订阅规则，所述订阅规则包括所需数据的特征；从所述队列中筛选出标签内容与订阅规则相符的数据作为结果数据，并将所述结果数据发给该订阅者。
【专利说明】
核心网数据管理方法和系统
技术领域
[0001]本发明属于核心网数据管理技术领域，具体涉及一种核心网数据管理方法和系统。
【背景技术】
[0002]随着互联网的快速发展，作为其网络承载基础的核心网也越来越受到重视。同时，核心网的网元(如服务器、交换机等)的数量和种类越来越多，相应的，网元的数据(如设备性能、当前状态等)结构也越来越复杂。
[0003]这种量很大且结构分散的核心网网元的数据给核心网数据管理造成了很大困难，每次进行新指标分析时都要重新建模，无法使用已有的模型，故速度慢，成本高；而且在处理中需要对数据进行多次切片、归聚，产生大量冗余，故其运算量大、准确性差，难以有效提取出所需的网络管理指标。
【发明内容】
[0004]本发明针对现有的核心网数据管理方法速度慢、成本高、运算量大、准确性差的问题，提供一种速度快、成本低、运算量小、准确性高的核心网数据管理方法和系统。
[0005]解决本发明技术问题所采用的技术方案是一种核心网数据管理方法，其包括:
[0006]采集来自核心网各网元的数据，并为每条数据设置代表数据特征的标签；
[0007]将采集的数据按时间顺序排成队列；
[0008]产生订阅者，并根据订阅者所需的数据建立订阅规则，所述订阅规则包括所需数据的特征；
[0009]从所述队列中筛选出标签内容与订阅规则相符的数据作为结果数据，并将所述结果数据发给该订阅者。
[0010]优选的是，所述数据的特征包括网络类型、设备类型、数据类型中的任意一种或多种。
[0011]优选的是，所述数据分为实时数据和周期性数据;所述将采集的数据按时间顺序排成队列包括:将所述实时数据直接按时间顺序加入队列;将所述周期性数据加入缓存，每隔预定时间将缓存中的周期性数据加入所述队列。
[0012]优选的是，在从所述队列中筛选出标签内容与订阅规则相符的数据作为结果数据后，还包括:建立包括判断标准的清洗模型，用清洗模型对所述结果数据进行筛选，舍弃其中不符合判断标准的结果数据。
[0013]进一步优选的是，所述清洗模型包括多条判断标准;所述用清洗模型对结果数据进行筛选包括:根据每个标准建立一个筛选器，用多个所述筛选器同步对所述结果数据进行筛选。
[0014]解决本发明技术问题所采用的技术方案是一种核心网数据管理系统，其包括:
[0015]采集单元，用于采集来自核心网各网元的数据，并为每条数据设置代表数据特征的标签；
[0016]队列单元，用于将采集的数据按时间顺序排成队列；
[0017]订阅单元，用于产生订阅者，并根据订阅者所需的数据建立订阅规则，所述订阅规则包括所需数据的特征；
[0018]筛选单元，用于从所述队列中筛选出标签内容与订阅规则相符的数据作为结果数据，并将所述结果数据发给该订阅者。
[0019]优选的是，所述数据的特征包括网络类型、设备类型、数据类型中的任意一种或多种。
[0020]优选的是，所述数据分为实时数据和周期性数据;所述订阅单元包括缓存;所述订阅单元用于将所述实时数据直接按时间顺序加入队列，以及将所述周期性数据加入缓存，每隔预定时间将缓存中的周期性数据加入所述队列。
[0021]优选的是，所述核心网数据管理系统还包括:清洗单元，用于建立包括判断标准的清洗模型，用清洗模型对所述结果数据进行筛选，舍弃其中不符合判断标准的结果数据。
[0022]进一步优选的是，所述清洗模型包括多条判断标准;所述清洗单元用于根据每个标准建立一个筛选器，用多个所述筛选器同步对所述结果数据进行筛选。
[0023]本发明的核心网数据管理方法和系统中，是根据每次的需求动态的产生相应的订阅规则，从而其不需要每次都重新建立模型，速度快、成本低；同时，其数据是队列形式并具有标签，故经过简单的切分、运算即可从队列中获取所需数据，其处理的数据量小且是流动的，故所需的运算量小、准确率高。
【附图说明】
[0024]图1为本发明的实施例的一种核心网数据管理方法的流程示意图；
[0025]图2为本发明的实施例的另一种核心网数据管理方法的流程示意图；
[0026]图3为本发明的实施例的一种核心网数据管理系统的组成示意框图；
[0027]图4为本发明的实施例的另一种核心网数据管理系统的组成示意框图。
【具体实施方式】
[0028]为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和【具体实施方式】对本发明作进一步详细描述。
[0029]实施例1:
[0030]如图1所示，本实施例提供一种核心网数据管理方法，其包括:
[0031]S101、采集来自核心网各网元的数据，并为每条数据设置代表数据特征的标签。
[0032]S102、将采集的数据按时间顺序排成队列。
[0033]S103、产生订阅者，并根据订阅者所需的数据建立订阅规则，所述订阅规则包括所需数据的特征。
[0034]S104、从所述队列中筛选出标签内容与订阅规则相符的数据作为结果数据，并将所述结果数据发给该订阅者。
[0035]本实施例的核心网数据管理方法中，是根据每次的需求动态的产生相应的订阅规贝1J，从而其不需要每次都重新建立模型，速度快、成本低；同时，其数据是队列形式并具有标签，故经过简单的切分、运算即可从队列中获取所需数据，其处理的数据量小且是流动的，故所需的运算量小、准确率高。
[0036]实施例2:
[0037]如图2所示，本实施例提供一种核心网数据管理方法。
[0038]其中，核心网是网络的承载基础，其中包括许多不同的网元，网元为服务器、交换机等设备;而在核心网的运行过程中，各网元会产生很多数据，如设备性能、当前状态等。在要进行网络优化、改造、监控、故障分析等时，都需要用到相应的核心网网元数据，即要进行核心网数据管理，
[0039]具体的，本实施例的核心网数据管理方法包括:
[0040]S201、采集来自核心网各网元的数据，并为每条数据设置代表数据特征的标签。
[0041]也就是说，采集由各各网元产生的数据，并为每条数据设置标签，标明该数据的特征。
[0042]优选的，数据的特征包括网络类型、设备类型、数据类型中的任意一种或多种。
[0043]也就是说，以上数据的特征可包括网络类型、设备类型、数据类型等。其中，网络类型表示数据来自什么网络，如移动网、固网交换、传输网；而设备类型表示数据来自于什么设备，如服务器、交换机等;数据类型则表示数据是哪个方面的数据(如网管数据、配置数据、性能数据等)。
[0044]当然，以上数据的特征仅仅是示意性的，本领域技术人员还可根据需要设置其他不同的具体特征。
[0045]S202、将采集的数据按时间顺序排成队列。
[0046]也就是说，按照采集数据的顺序，将各条数据排成一个队列，从而实现数据的流化。
[0047]优选的，根据采集时间的不同，数据可分为随时产生的实时数据(如设备的实时流量)和按照一定的周期T间隔产生的周期性数据(如一定时间内的总流量)。
[0048]当数据分为实时数据和周期性数据时，本步骤具体包括:
[0049]将实时数据直接按时间顺序加入队列。
[0050]也就是说，对于实时数据，其随时来到即随时加入队列中。
[0051]将周期性数据加入缓存，每隔预定时间将缓存中的周期性数据加入队列。
[0052]也就是说，对于周期性数据，在其来到后可将其暂时存在缓存中，而缓存中的数据每隔预定时间(如T+t)即被加入队列，实现周期性流化。
[0053]当然，应当理解，由于数据是不断到来的，故以上对实时数据和周期性数据的处理是同步进行的，而没有特定的先后顺序。
[0054]S203、产生订阅者，并根据订阅者所需的数据建立订阅规则，订阅规则包括所需数据的特征。
[0055]也就是说，当需要采用某些数据时(如要进行网络优化、改造、监控、故障分析等)，则形成与所需数据对应的订阅者，该订阅者有特定的订阅规则，订阅规则中表明了其所需要的数据的特征。例如，需要来自nl类型网络的ml类型设备的数据，则产生订阅者Sub[nl、ml] ο
[0056]当然，对于整个核心网而言，可能要同时按照多个不同的需求从中选取不同数据，这样就会有不同多个订阅者存在，每个订阅者有不同的订阅规则，它们共同构成一个订阅者群。
[0057]S204、从队列中筛选出标签内容与订阅规则相符的数据作为结果数据，并将结果数据发给该订阅者。
[0058]也就是说，将队列中各条数据的标签的特征与订阅规则中规定的特征进行比较，从中切分出符合订阅规则特征要求的数据，并将其作为结果发给相应的订阅者，由此即可从海量的核心网网元数据中获得所需求的数据。例如，当需要来自nl类型网络的ml类型设备的数据时，则切分出符合网络类型和数据类型组合(nl，ml)的数据，在得到这些数据后，将其作为结果数据提供给订阅者Sub[nl、ml ]。
[0059]可见，本实施例的核心网数据管理方法中，是根据每次的需求动态的产生相应的订阅规则，从而其不需要每次都重新建立模型，速度快、成本低；同时，其数据是队列形式并具有标签，故经过简单的切分、运算即可从队列中获取所需数据，其处理的数据量小且是流动的，故所需的运算量小、准确率高。
[0060]S205、优选的，建立包括判断标准的清洗模型，用清洗模型对结果数据进行筛选，舍弃其中不符合判断标准的结果数据。
[0061]显然，数据处理过程中不可避免的存在错误，从而会产生一些不合格的数据。为此，在得到结果数据后，还可根据一定的标准判断其中的数据是否合格，例如是否存在完整性缺失(字段不全)、数据破损(格式不对)、重复等;对其中不合格的结果数据直接舍弃，避免其影响后续的过程。
[0062]可见，此时筛选的对象是结果数据，故一方面，其所处理的数据量大幅降低(相对于核心网网元的总数据量)，另一方面，判断标准(清洗模型)也可根据该结果数据的具体需要设定，灵活性强，所需运算量少。
[0063]优选的，清洗模型包括多条判断标准；而本步骤具体可为根据每个标准建立一个筛选器，用多个筛选器同步对结果数据进行筛选。
[0064]也就是说，可为每条标准建立一个筛选器(如数据格式为某类型、数据长度为多少字节等)，并用多个筛选器同时对结果数据进行筛选，保证通过筛选的数据均为合格数据，即此处的筛选优选采用“多级(多个标准)多任务(多个筛选同时进行)”的形式，以提高处理效率。
[0065]当然，本步骤中只要是对结果数据进行处理即可，因此其可在将结果数据发给订阅者后进行，也可在将结果数据发给订阅者前进行，在此不再详细描述。
[0066]实施例3:
[0067]如图3所示，本实施例提供一种核心网数据管理系统，其包括:
[0068]采集单元，用于采集来自核心网各网元的数据，并为每条数据设置代表数据特征的标签；
[0069]队列单元，用于将采集的数据按时间顺序排成队列；
[0070]订阅单元，用于产生订阅者，并根据订阅者所需的数据建立订阅规则，所述订阅规则包括所需数据的特征；
[0071]筛选单元，用于从所述队列中筛选出标签内容与订阅规则相符的数据作为结果数据，并将所述结果数据发给该订阅者。
[0072]本实施例的核心网数据管理系统中，是根据每次的需求动态的产生相应的订阅规贝1J，从而其不需要每次都重新建立模型，速度快、成本低；同时，其数据是队列形式并具有标签，故经过简单的切分、运算即可从队列中获取所需数据，其处理的数据量小且是流动的，故所需的运算量小、准确率高。
[0073]实施例4:
[0074]如图4所示，本实施例提供一种核心网数据管理系统，其包括:
[0075]采集单元，用于采集来自核心网各网元的数据，并为每条数据设置代表数据特征的标签；
[0076]队列单元，用于将采集的数据按时间顺序排成队列；
[0077]订阅单元，用于产生订阅者，并根据订阅者所需的数据建立订阅规则，订阅规则包括所需数据的特征；
[0078]筛选单元，用于从队列中筛选出标签内容与订阅规则相符的数据作为结果数据，并将结果数据发给该订阅者。
[0079]优选的，数据的特征包括网络类型、设备类型、数据类型中的任意一种或多种。
[0080]优选的，数据分为实时数据和周期性数据;订阅单元包括缓存;订阅单元用于将实时数据直接按时间顺序加入队列，以及将周期性数据加入缓存，每隔预定时间将缓存中的周期性数据加入队列。
[0081]优选的，所述核心网数据管理系统还包括:清洗单元，用于建立包括判断标准的清洗模型，用清洗模型对结果数据进行筛选，舍弃其中不符合判断标准的结果数据。
[0082]优选的，清洗模型包括多条判断标准;清洗单元用于根据每个标准建立一个筛选器，用多个筛选器同步对结果数据进行筛选。
[0083]本实施例的核心网数据管理系统中，是根据每次的需求动态的产生相应的订阅规贝1J，从而其不需要每次都重新建立模型，速度快、成本低；同时，其数据是队列形式并具有标签，故经过简单的切分、运算即可从队列中获取所需数据，其处理的数据量小且是流动的，故所需的运算量小、准确率高。
[0084]可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
【主权项】
1.一种核心网数据管理方法，其特征在于，包括: 采集来自核心网各网元的数据，并为每条数据设置代表数据特征的标签； 将采集的数据按时间顺序排成队列； 产生订阅者，并根据订阅者所需的数据建立订阅规则，所述订阅规则包括所需数据的特征； 从所述队列中筛选出标签内容与订阅规则相符的数据作为结果数据，并将所述结果数据发给该订阅者。2.根据权利要求1所述的核心网数据管理方法，其特征在于， 所述数据的特征包括网络类型、设备类型、数据类型中的任意一种或多种。3.根据权利要求1所述的核心网数据管理方法，其特征在于， 所述数据分为实时数据和周期性数据； 所述将采集的数据按时间顺序排成队列包括:将所述实时数据直接按时间顺序加入队列;将所述周期性数据加入缓存，每隔预定时间将缓存中的周期性数据加入所述队列。4.根据权利要求1所述的核心网数据管理方法，其特征在于，在从所述队列中筛选出标签内容与订阅规则相符的数据作为结果数据后，还包括: 建立包括判断标准的清洗模型，用清洗模型对所述结果数据进行筛选，舍弃其中不符合判断标准的结果数据。5.根据权利要求4所述的核心网数据管理方法，其特征在于， 所述清洗模型包括多条判断标准； 所述用清洗模型对结果数据进行筛选包括:根据每个标准建立一个筛选器，用多个所述筛选器同步对所述结果数据进行筛选。6.一种核心网数据管理系统，其特征在于，包括: 采集单元，用于采集来自核心网各网元的数据，并为每条数据设置代表数据特征的标签； 队列单元，用于将采集的数据按时间顺序排成队列； 订阅单元，用于产生订阅者，并根据订阅者所需的数据建立订阅规则，所述订阅规则包括所需数据的特征； 筛选单元，用于从所述队列中筛选出标签内容与订阅规则相符的数据作为结果数据，并将所述结果数据发给该订阅者。7.根据权利要求6所述的核心网数据管理系统，其特征在于， 所述数据的特征包括网络类型、设备类型、数据类型中的任意一种或多种。8.根据权利要求6所述的核心网数据管理系统，其特征在于， 所述数据分为实时数据和周期性数据； 所述订阅单元包括缓存;所述订阅单元用于将所述实时数据直接按时间顺序加入队列，以及将所述周期性数据加入缓存，每隔预定时间将缓存中的周期性数据加入所述队列。9.根据权利要求6所述的核心网数据管理系统，其特征在于，还包括: 清洗单元，用于建立包括判断标准的清洗模型，用清洗模型对所述结果数据进行筛选，舍弃其中不符合判断标准的结果数据。10.根据权利要求9所述的核心网数据管理系统，其特征在于， 所述清洗模型包括多条判断标准； 所述清洗单元用于根据每个标准建立一个筛选器，用多个所述筛选器同步对所述结果数据进行筛选。
【文档编号】H04L12/863GK105847063SQ201610317470
【公开日】2016年8月10日
【申请日】2016年5月12日
【发明人】彭佳, 张鹏, 杨瑞, 胡尼亚
【申请人】中国联合网络通信集团有限公司