专利名称：数据采集管理方法、采集管理系统及电信网络管理系统的制作方法
技术领域：
本发明涉及通讯领域，尤其涉及一种数据采集管理方法、采集管理系统及电信 网络管理系统。
背景技术：
按照TMN(Telecommunications Management Network，电信管理网)的规范，电
信网络管理系统主要由配置管理、故障管理、性能管理、拓扑管理和安全管理这五个功 能模块组成，拓扑管理的基础就是资源数据的采集和汇总，而性能管理更是直接使用从 设备采集而来的性能数据进行展现和分析，因此，数据采集对TMN规定的管理功能至关重要。现在的电信网络管理系统，对设备的数据采集多采用即时采集方式，网元管理 系统EMS是管理特定类型的一个或多个电信网络单元NE的系统，网元管理系统EMS 中多个使用性能数据、资源数据的模块直接访问网络设备进行获取，这种使用模式在多 EMS情况下更为普遍，通常容易造成如下问题同一网络设备的同一数据接收到多模块 和多系统的大量重复访问，网络设备由于其嵌入系统的处理能力有限，在大量重复访问 下，极其容易造成反馈不及时和延误，同时，重复的大量访问造成了网络流量的迅速增 加，在洪峰期间容易造成网络拥塞，影响数据获取速度的同时，也影响了用户的其他网 络业务，另外，目前的数据采集系统不够完善，通常是单个用户根据自己的需求控制数 据的离散采集，这增加了业务处理的复杂度，同时也导致了同一网络设备的同一数据接 收到多模块和多系统的大量重复访问。
发明内容
本发明提供一种数据采集管理方法、采集管理系统及电信网络管理系统，解决 了同一网络设备的同一数据接收到多模块和多系统的大量重复访问的问题。为解决上述技术问题，本发明采用以下技术方案一种数据采集管理方法，包括设置数据库，根据接收到的用户订单在所述数据库中查找对应数据；如果数据库不满足用户订单需求，则判断各用户订单需要采集的数据，将各用 户订单需要采集的数据取并集而生成第一集合，采集所述第一集合中包括的数据；将采集到的数据更新到数据库。还包括对数据库进行变步长更新，具体包括获取数据库中每条数据的访问频率及每条数据的最后更新时间；根据所述访问频率确定每条数据的更新步长，根据所述最后更新时间确定每条 数据的更新优先级；根据所述每条数据的更新步长和更新优先级判断数据库中需要变步长更新的数 据，生成变步长更新采集任务；
将采集到的数据更新到数据库。将所述数据库中需要变步长更新的数据与所述第一集合取并集而生成第二集 合，生成合并采集任务，采集所述第二集合中包括的数据，将采集到的数据更新到数据 库。根据每条数据的访问频率确定更新步长的方法包括数据访问频率高于系统预 先配置的基准访问频率的数据时，其更新步长设置为低于系统预先配置的基准步长。所述更新步长等于所述系统基准步长与所述系统基准访问频率的乘积除以所述 访问频率。根据每条数据的最后更新时间确定更新优先级的方法包括由所述每条数据的 最后更新时间得到每条数据的更新时长，如果所述更新时长大于系统预先配置的基准更 新时长，则其更新优先级设置为高于系统预先设置的标准优先级。所述更新优先级等于所述系统基准优先级与所述更新时长的乘积除以所述系统 基准更新时长。还包括将满足用户订单需求的数据反馈给用户。
所述用户订单的内容包括数据标识和实时门限。一种数据采集管理系统，包括数据查找模块、任务管理模块、数据采集模 块、数据更新模块和数据库，其中，所述数据查找模块用于根据接收到的用户订单在所述数据库中查找对应数据；所述任务管理模块用于在所述数据库不满足用户订单需求的条件下，判断各用 户订单需要采集的数据，将各用户订单需要采集的数据取并集而生成第一集合，生成订 单采集任务；所述数据采集模块用于采集所述第一集合中包括的数据；所述数据更新模块用于将数据采集模块采集到的数据更新到数据库。所述任务管理模块还用于获取数据库中每条数据的访问频率及每条数据的最后 更新时间，并根据所述访问频率确定每条数据的更新步长，根据所述最后更新时间确定 每条数据的更新优先级，根据所述每条数据的更新步长和更新优先级判断所述数据库中 需要变步长更新的数据，生成变步长更新采集任务；所述数据采集模块还用于根据所述 变步长更新采集任务采集数据；所述数据更新模块还用于将数据采集模块采集到的数据 更新到数据库。所述任务管理模块用于将所述数据库中需要变步长更新的数据与所述第一集合 取并集而生成第二集合，生成合并采集任务；所述数据采集模块用于采集所述第二集合 中包括的数据；所述数据更新模块用于将数据采集模块采集到的数据更新到数据库。一种电信网络管理系统，包括用于执行用户业务的数据使用模块，还包括如权 利要求10至12任一项所述的数据采集管理系统，其中，所述数据使用模块还用于将用户订单发送给所述数据采集管理系统；
所述数据采集管理系统用于根据所述用户订单提供数据。 所述数据使用模块还用于在向所述数据采集管理系统成功发送用户订单之后， 断开与所述数据采集管理系统的连接，保持与所述数据采集管理系统的离线状态，直到 所述数据采集管理系统完成了用户订单数据的获取之后，所述数据使用模块重新建立与所述数据采集管理系统的连接，从所述数据采集管理系统获取用户订单数据。本发明提供一种数据采集管理方法、采集管理系统及电信网络管理系统，在数 据采集管理系统在数据库不满足用户的订单需求时，判断各用户订单需要采集的数据， 将各用户订单需要采集的数据取并集而生成第一集合，采集该第一集合中包括的数据， 将采集到的数据更新到数据库，解决了现有技术中，针对每一个用户订单单独采集数据 造成同一网络设备的同一数据接收到多模块和多系统的大量重复访问的问题，同时，将 每次采集到的数据更新到数据库，以便随时为各种用户订单提供最快速的数据获取方 式，也实现了对数据库中已有数据的重复使用。
图1为本发明实施例电信网络管理系统的框架图；图2为本发明实施例电信网络管理方法的流程图；图3为本发明实施例数据采集管理方法的流程图；图4为本发明实施例数据采集管理方法中数据库变步长更新方法的流程图。
具体实施例方式下面通过具体实施方式
结合附图对本发明作进一步详细说明。实施例一图1为本发明实施例电信网络管理系统的框架图，请参考图1 电信网络管理系统包括用于执行用户业务的数据使用模块和数据采集管理系 统，数据采集管理系统是与数据使用模块独立的进程，数据使用模块向数据采集管理系 统发送用户订单，由数据采集管理系统完成网络设备数据的统一采集、统一维护和统一 数据提供；数据采集管理系统包括数据查找模块、任务管理模块、数据采集模块、数据 更新模块和预先设置的数据库，数据查找模块用于根据接收到的用户订单在数据库中查 找对应数据，任务管理模块用于在数据库不满足用户订单需求的条件下，判断各用户订 单需要采集的数据，将各用户订单需要采集的数据取并集而生成第一集合，生成订单采 集任务，数据采集模块用于根据订单采集任务在电信网络管理系统外接的多个网络设备 中采集数据，多个网络设备指图1中的网络设备1、网络设备2......网络设备n，数据更新
模块用于将数据采集模块采集到的数据更新到数据库。基于这种数据采集管理系统独立于数据使用模块的电信网络管理系统，在订单 数据的获取过程中，用户不需要一直与数据采集管理系统保持连线状态在提交给数 据采集管理系统用户订单后，用户即可与数据采集管理系统离线，而无需一直保持和数 据采集管理系统或者网络设备的网络连接和访问，在数据采集管理系统获取订单数据完 成之后，用户可以随时连线到数据采集管理系统，批量下载订单所需的数据，而用户在 与数据采集管理系统离线的状态中，可以通过数据使用模块正常进行其他数据业务的处 理。图2为本发明实施例电信网络管理方法的流程图，请参考图2:101、数据使用模块发送用户订单给数据采集管理系统，订单中包括用户所需数 据的数据标识和用户要求的实时门限；
102、数据使用模块断开和数据采集管理系统的连接，数据采集管理系统进入与 用户的离线状态，用户处理数据使用模块内部的其他数据业务；103、数据使用模块向数据采集管理系统查询用户订单的状态得之数据就绪；104、数据使用模块建立和数据采集管理系统的连接，从数据采集管理系统批量 下载订单数据。本实施例实现了电信网络管理系统中用户订单数据的离线下载，而不影响用户 其他数据业务的处理。实施例二 图3为本发明实施例数据采集管理方法的流程图，请参考图3:201、数据查找模块根据接收到的用户订单在数据库中查找所需数据，本实施例 用户订单中包括用户所需数据的数据标识和用户要求的实时门限，还包括用户的异步消 息通知邮箱，用户所需数据的数据标识为数据名称，用户要求的实时门限为数据更新时 长的门限；202、判断数据库是否满足用户的订单需求，如果满足，则执行步骤203，如果 不满足，则执行步骤204;步骤202的具体判断过程如下21、通过数据标识X，比如数据名称，查找数据X是否在数据库中存在；22、如果在数据库中不存在，直接返回未命中；23、如果在数据库中存在，执行步骤24;；24、在数据库中获取数据X最后的更新时间，利用数据X最后的更新时间计算 数据X的更新时长，数据X的更新时长=系统当前时间-数据X最后的更新时间；25、根据数据X更新时长和用户订单中数据X要求的实时门限判断其命中性；26、如果数据X更新时长大于订单中数据X要求的实时门限，返回未命中；27、如果数据X更新时长小于等于订单中数据X要求的实时门限，返回命中。203、直接将满足用户订单需求的数据反馈给用户；204、判断各用户订单需要采集的数据，将各用户订单需要采集的数据取并集而 生成第一集合，，生成订单采集任务，下发给数据采集模块；步骤204中，例如用户订单需要的数据是丨Χ0..Χη丨，数据库有丨Xa..Xz丨的数 据，根据用户订单中的实时门限要求数据库中满足门限的数据是丨Xaa..Xzz丨<={Xa.. Xz},那么对于这个用户订单，需要采集的数据就是丨Χ0..Χη丨-丨Xaa..Xzz[的部分，这样 可以复用数据库中已有的数据丨Xaa..Xzz[；将各个用户订单需要采集的数据进行汇总， 取其交集，生成一个订单数据采集任务，下发给数据采集模块；205、数据采集模块根据具体的订单采集任务从多个网络设备上进行采集，网络 设备1......网络设备n，例如，每个网络设备允许并发访问的进程数目分别是Tl..Tn，那么
在数据采集模块中就开放ΤΗ1..ΤΗη个线程，满足THl <= Tl，…，THn <= Tn,进行 数据采集，使设备处理能力刚好达到最佳；206、数据采集模块将采集到的数据上传到数据更新模块，数据更新模块将数据 更新到数据库；207、数据更新模块记录每条数据的最后更新时间；
208、通过用户订单中的异步消息通知邮箱，向用户发送数据就绪的消息通 知；209、用户接到该消息通知后，使用订单号批量从数据采集管理系统下载数 据；210、数据更新模块更新每条数据的访问频率。本实施例通过将各个用户订单需要采集的数据进行汇总，取其并集而生成第一 集合，生成订单采集任务，采集该第一集合中包括的数据，有效减少了同一网络设备的 同一数据接收到多模块和多系统的重复访问的次数，同时也实现了对数据库中已有数据 的重复使用。实施例三图4为本发明实施例数据采集管理方法中数据库变步长更新方法的流程图，请 参考图4 301、任务管理模块从数据更新模块中获取每条数据的访问频率和每条数据的最 后更新时间；302、任务管理模块根据访问频率确定更新步长，根据最后更新时间确定更新优 先级；步骤302的具体方法如下31、如果数据访问频率高于系统预先配置的基准频率，则更新步长设置为低于 系统预先配置的基准步长，可以使用数据更新步长=系统基准步长*系统基准访问频率 /访问频率进行计算，但不局限于此公式举例，只要保证越频繁访问的数据更新步长越短 的原则即可32、根据数据最后更新时间计算数据更新时长数据更新时长=系统当前时 间-数据最后更新时间；如果数据更新时长大于系统预先配置的基准更新时长，则其更新优先级设置为 高于系统预先设置的标准优先级，可以使用数据更新优先级=系统基准优先级*更新时 长/系统基准更新时长进行计算，数据更新时长越大，更新优先级越高，但不局限于此 公式举例，只要保证最后更新时间越早更新优先级越高的原则即可；303、任务管理模块根据每条数据的更新步长和更新优先级判断数据库中需要变 步长更新的数据，生成变步长更新采集任务，并将生成的变步长更新采集任务发送给数 据采集模块；304、数据采集模块根据具体的变步长更新采集任务从多个网络设备上进行采 集；305、数据采集模块将采集来的数据上传到数据更新模块，数据更新模块更新数 据库；306、数据更新模块记录每条数据的最后更新时间。本发明实施例实现了数据库的自动维护，具体采用了对每条数据的变步长更新 方式，针对每条数据的访问频率及最后更新时间，对每条数据进行变步长更新，保证数 据库中的数据处于高可用状态。实施例二和实施例三可以互相独立进行，也可以合并进行，合并进行时请参考实施例四。实施例四将实施例二中各用户订单需要采集的数据及实施例三中数据库中需要变步长更 新的数据进行汇总，取并集而生成第二集合，生成合并采集任务，采集该第二集合中包 括的数据，例如41、搜集所有用户订单数据，用户订单A需要采集的数据是集合丨a，b，C, d， e},用户订单B需要采集的数据是集合丨a，e, f},数据库中需要变步长更新的数据集合 是{a, e}；42、初始化一个空的集合Set，例如{};43、将每个订单需要采集的数据名称放入集合Set中如果需要放入的数据名 称在集合Set中没有，则将其放入，如果需要放入的数据名称在集合Set中有，则将其丢 弃；44、最终在集合Set中的数据即是合并后需要采集的数据，那么合并后的需要采 集的数据集合是{a，b，c，d，e，f}；将数据库中需要变步长更新的数据与第一集合取并集而生成第二集合，生成合 并采集任务，采集所述第二集合中包括的数据，包括了先将各用户订单需要采集的数据 取并集得第一集合，再将第一集合与数据库中需要变步长更新的数据取并集得第二集合 的方式，也包括将各用户订单需要采集的数据与数据库中需要变步长更新的数据一次性 取并集的方式，例如，取集合{a，b，c，d，e}、{a, e，f}和{a，e}的并集，得到合 并后的需要采集的数据集合{a，b，c，d，e，f}，相比将实施例二和实施例三独立进行，本实施例进一步减少了同一网络设备的 同一数据接收到多模块和多系统的重复访问的次数，同时也保证了数据库中的数据处于 高可用状态。以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本 发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在 不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明 的保护范围。
权利要求
1.一种数据采集管理方法，其特征在于，包括设置数据库，根据接收到的用户订单在所述数据库中查找对应数据；如果数据库不满足用户订单需求，则判断各用户订单需要采集的数据，将各用户订 单需要采集的数据取并集而生成第一集合，采集所述第一集合中包括的数据；将采集到的数据更新到数据库。
2.如权利要求1所述的方法，其特征在于，还包括对数据库进行变步长更新，具体包括获取数据库中每条数据的访问频率及每条数据的最后更新时间；根据所述访问频率确定每条数据的更新步长，根据所述最后更新时间确定每条数据 的更新优先级；根据所述每条数据的更新步长和更新优先级判断数据库中需要变步长更新的数据， 生成变步长更新采集任务；将采集到的数据更新到数据库。
3.如权利要求2所述的方法，其特征在于，将所述数据库中需要变步长更新的数据与 所述第一集合取并集而生成第二集合，生成合并采集任务，采集所述第二集合中包括的 数据，将采集到的数据更新到数据库。
4.如权利要求2所述的方法，其特征在于，根据每条数据的访问频率确定更新步长的 方法包括数据访问频率高于系统预先配置的基准访问频率的数据时，其更新步长设置 为低于系统预先配置的基准步长。
5.如权利要求4所述的方法，其特征在于，所述更新步长等于所述系统基准步长与所 述系统基准访问频率的乘积除以所述访问频率。
6.如权利要求2所述的方法，其特征在于，根据每条数据的最后更新时间确定更新优 先级的方法包括由所述每条数据的最后更新时间得到每条数据的更新时长，如果所述 更新时长大于系统预先配置的基准更新时长，则其更新优先级设置为高于系统预先设置 的标准优先级。
7.如权利要求6所述的方法，其特征在于，所述更新优先级等于所述系统基准优先级 与所述更新时长的乘积除以所述系统基准更新时长。
8.如权利要求1至7任一项所述的方法，其特征在于，还包括将满足用户订单需求的 数据反馈给用户。
9.如权利要求1至7任一项所述的方法，其特征在于，所述用户订单的内容包括数据 标识和实时门限。
10.—种数据采集管理系统，其特征在于，包括数据查找模块、任务管理模块、数 据采集模块、数据更新模块和数据库，其中，所述数据查找模块用于根据接收到的用户订单在所述数据库中查找对应数据；所述任务管理模块用于在所述数据库不满足用户订单需求的条件下，判断各用户订 单需要采集的数据，将各用户订单需要采集的数据取并集而生成第一集合，生成订单采 集任务；所述数据采集模块用于采集所述第一集合中包括的数据；所述数据更新模块用于将数据采集模块采集到的数据更新到数据库。
11.如权利要求10所述的数据采集管理系统，其特征在于，所述任务管理模块还用于 获取数据库中每条数据的访问频率及每条数据的最后更新时间，并根据所述访问频率确 定每条数据的更新步长，根据所述最后更新时间确定每条数据的更新优先级，根据所述 每条数据的更新步长和更新优先级判断所述数据库中需要变步长更新的数据，生成变步 长更新采集任务；所述数据采集模块还用于根据所述变步长更新采集任务采集数据；所 述数据更新模块还用于将数据采集模块采集到的数据更新到数据库。
12.如权利要求11所述的数据采集管理系统，其特征在于，所述任务管理模块用于将 所述数据库中需要变步长更新的数据与所述第一集合取并集而生成第二集合，生成合并 采集任务；所述数据采集模块用于采集所述第二集合中包括的数据；所述数据更新模块 用于将数据采集模块采集到的数据更新到数据库。
13.—种电信网络管理系统，其特征在于，包括用于执行用户业务的数据使用模块， 还包括如权利要求10至12任一项所述的数据采集管理系统，其中，所述数据使用模块还用于将用户订单发送给所述数据采集管理系统；所述数据采集管理系统用于根据所述用户订单提供数据。
14.如权利要求13所述的电信网络管理系统，其特征在于，所述数据使用模块还用于 在向所述数据采集管理系统成功发送用户订单之后，断开与所述数据采集管理系统的连 接，保持与所述数据采集管理系统的离线状态，直到所述数据采集管理系统完成了用户 订单数据的获取之后，所述数据使用模块重新建立与所述数据采集管理系统的连接，从 所述数据采集管理系统获取用户订单数据。
全文摘要
本发明公开一种数据采集管理方法、采集管理系统及电信网络管理系统，该数据采集管理方法包括设置数据库，根据接收到的用户订单在所述数据库中查找对应数据；如果数据库不满足用户订单需求，则判断各用户订单需要采集的数据，将各用户订单需要采集的数据取并集而生成第一集合，采集所述第一集合中包括的数据；将采集到的数据更新到数据库，本发明通过以上技术方案，解决了同一网络设备的同一数据接收到多模块和多系统的大量重复访问的问题。
文档编号H04W24/00GK102013996SQ20101055564
公开日2011年4月13日 申请日期2010年11月23日 优先权日2010年11月23日
发明者李伟东 申请人:中兴通讯股份有限公司