一种数据处理的方法和装置的制造方法
【专利摘要】本发明提供一种数据处理的方法和装置，该方法包括：数据采集层模块从不同接口类型的接口上采集数据；所述数据采集层模块将采集到的数据存储到本地存储介质中；数据适配层模块从所述本地存储介质中获取数据；所述数据适配层模块利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，并将转换后的数据提供给上层应用。通过本发明的技术方案，可以实现网络管理系统接入多厂家、多协议、非标准性的北向接口。开发人员可以只专注数据分析和数据转换，降低开发人员的开发难度，并降低业务开通的复杂度，提升业务开通的效率，从而可以缩短网络管理系统的接入时间，提高稳定性以及松耦合，确保了安全性。
【专利说明】
一种数据处理的方法和装置
技术领域
[0001]本发明涉及网络管理技术领域，尤其涉及一种数据处理的方法和装置。
【背景技术】
[0002]随着网络通信的发展，在一个运营商的电信管理网络中，存在多个厂商多种专业网的网管系统，这些网管系统之间是相互独立的，都只能管理各自管理范围的设备及信息。为保证网络服务质量，提高运维效率，实现全网集中、统一的网络监控和管理，运营商要求这些网管系统提供NBI (NorthBound Interface，北向接口)，在此基础上建设集中网管系统，即综合网络管理系统，简称综合网管或者NMS(Network Management System，网络管理系统)。
[0003]目前，随着通信技术的持续发展、网络规模的不断扩大，由于各种原因，不同厂商不同专业网的网管系统的北向接口遵循的标准(如3GPP(3rd Generat1n PartnershipProject，第三代合作伙伴计划)、TMF(Tele Management Forum,电信管理论坛)、移动规范、联通规范等)、网络协议(如C0RBA(Common Object Request Broker Architecture，公共对象请求代理体系结构)、SNMP(Simple Network Management Protocol，简单网络管理协议)等)、数据格式等均存在差异，而这种差异会给网络管理系统的管理带来很多困难。
【发明内容】
[0004]本发明提供一种数据处理的方法，所述方法包括以下步骤:
[0005]数据采集层模块从不同接口类型的接口上采集数据；
[0006]所述数据采集层模块将采集到的数据存储到本地存储介质中；
[0007]数据适配层模块从所述本地存储介质中获取数据；
[0008]所述数据适配层模块利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，并将转换后的数据提供给上层应用。
[0009]在所述数据采集层模块从不同接口类型的接口上采集数据之前，所述方法进一步包括:所述数据采集层模块利用第一预设策略确定需要采集的数据；
[0010]在所述数据采集层模块从不同接口类型的接口上采集数据之后，在所述数据采集层模块将采集到的数据存储到本地存储介质中之前，所述方法进一步包括:所述数据采集层模块利用第二预设策略判断是否过滤采集到的数据;如果是，则所述数据采集层模块过滤采集到的数据;如果否，则所述数据采集层模块执行将采集到的数据存储到本地存储介质中的过程；
[0011]在所述数据采集层模块将采集到的数据存储到本地存储介质中之后，在所述数据适配层模块从所述本地存储介质中获取数据之前，所述方法进一步包括:所述数据适配层模块利用第三预设策略确定需要获取的数据；
[0012]在所述数据适配层模块将获取的数据转换成特定格式的数据之后，在所述数据适配层模块将转换后的数据提供给上层应用之前，所述方法进一步包括:所述数据适配层模块利用第四预设策略确定需要提供给上层应用的数据；
[0013]其中，所述第一预设策略、所述第二预设策略、所述第三预设策略、所述第四预设策略，均具体包括正则表达式策略和/或脚本逻辑策略。
[0014]所述本地存储介质包括:中间缓存数据库或者中间缓存文件，所述方法进一步包括:所述数据采集层模块将采集到的数据存储到本地存储介质的过程，具体包括:将采集到的数据存储到所述中间缓存数据库或者所述中间缓存文件;所述数据适配层模块从所述本地存储介质中获取数据的过程，具体包括:从所述中间缓存数据库或者所述中间缓存文件中获取数据。
[0015]所述数据适配层模块利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，包括:所述数据适配层模块获取所述接口类型对应的适配模版，并利用所述适配模版将所述获取的数据转换成特定格式的数据；
[0016]其中，在所述数据适配层模块上预先配置有各接口类型对应的适配模版，且适配模版用于将对应的接口类型的数据转换成特定格式的数据；
[0017]其中，所述数据适配层模块利用所述适配模版将所述获取的数据转换成特定格式的数据的过程，具体包括:所述数据适配层模块获取所述适配模版对应的标准化结构;将所述获取的数据转换成所述标准化结构的数据;利用所述适配模版将所述标准化结构的数据转换成特定格式的数据。
[0018]在所述数据采集层模块将采集到的数据存储到本地存储介质中后，所述方法进一步包括:数据处理层模块对本地存储介质中存储的数据进行合并处理;和/或，所述数据处理层模块对本地存储介质中存储的数据进行监控处理。
[0019]本发明提供一种数据处理的装置，所述装置具体包括:
[0020]数据采集层模块，用于从不同接口类型的接口上采集数据，并将采集到的数据存储到本地存储介质中；数据适配层模块，用于从所述本地存储介质中获取数据，并利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，并将转换后的数据提供给上层应用。
[0021]所述数据采集层模块，还用于在所述数据采集层模块从不同接口类型的接口上采集数据之前，利用第一预设策略确定需要采集的数据；
[0022]所述数据采集层模块，还用于在所述数据采集层模块从不同接口类型的接口上采集数据之后，在所述数据采集层模块将采集到的数据存储到本地存储介质中之前，利用第二预设策略判断是否过滤采集到的数据;如果是，则过滤采集到的数据;如果否，则将采集到的数据存储到本地存储介质中；
[0023]所述数据适配层模块，还用于在所述数据采集层模块将采集到的数据存储到本地存储介质中之后，在所述数据适配层模块从所述本地存储介质中获取数据之前，利用第三预设策略确定需要获取的数据；
[0024]所述数据适配层模块，还用于在所述数据适配层模块将获取的数据转换成特定格式的数据之后，在所述数据适配层模块将转换后的数据提供给上层应用之前，利用第四预设策略确定需要提供给上层应用的数据；
[0025]其中，所述第一预设策略、所述第二预设策略、所述第三预设策略、所述第四预设策略，均具体包括正则表达式策略和/或脚本逻辑策略。
[0026]所述本地存储介质包括:中间缓存数据库或者中间缓存文件；
[0027]所述数据采集层模块，还用于在将采集到的数据存储到本地存储介质的过程中，将采集到的数据存储到所述中间缓存数据库或者所述中间缓存文件；
[0028]所述数据适配层模块，还用于在从所述本地存储介质中获取数据的过程中，从所述中间缓存数据库或者所述中间缓存文件中获取数据。
[0029]所述数据适配层模块，具体用于在利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据的过程中，获取所述接口类型对应的适配模版，并利用所述适配模版将所述获取的数据转换成特定格式的数据；
[0030]其中，在所述数据适配层模块上预先配置有各接口类型对应的适配模版，且适配模版用于将对应的接口类型的数据转换成特定格式的数据；
[0031]其中，所述数据适配层模块，具体用于在利用所述适配模版将所述获取的数据转换成特定格式的数据的过程中，获取所述适配模版对应的标准化结构;将所述获取的数据转换成所述标准化结构的数据;利用所述适配模版将所述标准化结构的数据转换成特定格式的数据。
[0032]还包括:数据处理层模块，用于在所述数据采集层模块将采集到的数据存储到本地存储介质中之后，对本地存储介质中存储的数据进行合并处理;和/或，对本地存储介质中存储的数据进行监控处理。
[0033]基于上述技术方案，本发明实施例中，通过分离数据采集层的功能和数据适配层的功能，形成数据采集层和数据适配层分离的架构，并使用数据采集层模块执行数据采集层的操作，使用数据适配层模块执行数据适配层的操作。在此架构下，数据采集层模块只关注数据采集的部分，而数据适配层模块只关注数据转换的部分。这样，可以实现网络管理系统接入多厂家、多协议、非标准性的北向接口。而且，开发人员可以只专注数据分析和数据转换，降低开发人员的开发难度，并降低业务开通的复杂度，提升业务开通的效率，从而可以缩短网络管理系统的接入时间，提高稳定性以及松耦合，确保了安全性。而且，可以将数据统一提供给用户查看，方便对过程数据进行核查。
【附图说明】
[0034]为了更加清楚地说明本发明实施例或者现有技术中的技术方案，下面将对本发明实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0035]图1是本发明一种实施方式中的应用场景不意图；
[0036]图2是本发明一种实施方式中的数据处理的方法的流程图；
[0037]图3是本发明一种实施方式中的网络管理系统的硬件结构图；
[0038]图4是本发明一种实施方式中的数据处理的装置的结构图。
【具体实施方式】
[0039]在本发明使用的术语仅仅是出于描述特定实施例的目的，而非限制本发明。本发明和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
[0040]应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
[0041]针对现有技术中存在的问题，本发明实施例中提出一种数据处理的方法，该方法可以应用于网络管理系统中。如图1所示，为本发明实施例的应用场景示意图，该网络管理系统可以至少包括数据采集层和数据适配层。针对数据采集层，由数据采集层模块进行相关处理。针对数据适配层，由数据适配层模块进行相关处理。在本发明实施例中，数据采集层和数据适配层是分开部署的，而不是将数据采集层和数据适配层部署在一起，形成采集适配层。此外，数据采集层是分布式的部署结构，即网络管理系统会包含多个数据采集层，这些数据采集层可以部署在相同设备上，也可以部署在不同设备上。此外，该网络管理系统还可以包括数据处理层，针对数据处理层，由数据处理层模块进行相关处理，因此，本发明实施例中，在数据采集层和数据适配层的基础上，还增加了数据处理层，该数据处理层用于对本地存储介质中存储的数据进行数据处理。
[0042]本发明实施例中提出的网络管理系统，是针对电信、电力、广电等数据通讯技术领域，特别是传输网、接入网、数据网的综合性网络管理系统。其中，该网络管理系统主要实现的功能具体可以包括但不限于以下功能:(I)拓扑管理，网络管理系统以网络组织结构、系统组织结构、SDH(Synchronous Digital Hierarchy，同步数字体系)通道组织结构、WDM(Wavelength Divis1n Multiplexing，波分复用)通道组织结构等多种视图，表现网络的拓扑结构，并与告警、性能、配置变化等进行关联。(2)告警管理，网络管理系统实现告警集中监控，并通过查询、统计、前转等功能，帮助维护人员对传输网络的运行情况进行跟踪、判断、处理。(3)性能管理，网络管理系统实现性能采集和查询，包括性能监测管理、性能数据上报管理、性能数据管理、性能门限管理、查询统计分析等功能。(4)配置管理，网络管理系统实现配置信息的动态管理，包括配置信息的查询、修改、同步、统计等功能。
[0043]由于不同厂商不同专业网的北向接口的接口类型各不相同，因此，本发明实施例中，在网络管理系统中包括多种接口类型的接口(北向接口)，不同接口使用的协议不同，不同协议就是不同的接口类型。其中，这些接口类型可以包括但不限于:C0RBA(COmmOnObject Request Broker Architecture，公共对象请求代理体系结构)接口、XML(Extensible Markup Language，可扩展标记语言)接口、FTP(FiIe Transfer Protocol，文件传输协议)接口、SOCKET(套接字)接口、TLUTransact1n Language，事务语言)接口、SNMP(Simple Network Management Protocol，简单网络管理协议)接口、JMS( JavaMessage Service，Java消息服务)接口、WEB服务接口等。
[0044]其中，北向接口可以具备以下功能:(1)通用管理功能，进行接口的连接控制，提供基本的应答机制。(2)配置管理功能，转发配置命令，上报配置同步(查询)数据和配置改变通知。⑶性能管理功能，管理监测任务，上报性能数据。(4)告警管理功能，实时上报告警，发起告警数据同步等。
[0045]在此基础上，数据采集层需要接入不同厂商不同专业网的北向接口，即数据采集层接入不同接口类型的北向接口。在图1中，以数据采集层分别接入⑶RBA接口、XML接口、FTP接口、SOCKET接口、SNMP接口 为例。
[0046]在上述应用场景下，如图2所示，该数据处理的方法可以包括以下步骤:
[0047]步骤201，数据采集层模块从不同接口类型的接口上采集数据。例如，数据采集层模块从CORBA接口采集数据I，从XML接口采集数据2，从FTP接口采集数据3，从SOCKET接口采集数据4，从SNMP接口采集数据5。
[0048]其中，数据采集层模块采集的数据可以包括但不限于:告警数据、性能数据、配置数据等。告警数据可以包括未经过滤、处理的原始告警数据。性能数据可以包括未经过滤、处理的原始性能数据。配置数据可以包括但不限于:子网、子网连接、拓扑连接、网元、机盘、端口、交叉连接等配置数据。
[0049]其中，网络管理系统可以在需要查询某网元设备的数据时，向该网元设备发送命令，以使该网元设备上报自身的数据，在此基础上，数据采集层模块可以从该网元设备连接的接口上采集数据。或者，在网元设备主动上报自身的数据时，数据采集层模块可以从该网元设备连接的接口上采集数据。
[0050]其中，数据采集层模块的数据采集方式可以为实时接收或者周期性提取。
[0051 ]步骤202，数据采集层模块将采集到的数据存储到本地存储介质中。
[0052]例如，数据采集层模块将采集到的数据1、数据2、数据3、数据4、数据5均存储到本地存储介质中，该本地存储介质是指存储数据的载体。
[0053]步骤203，数据适配层模块从本地存储介质中获取数据。例如，数据适配层模块从本地存储介质中获取到数据1、数据2、数据3、数据4、数据5。
[0054]在一种可行的方式中，本地存储介质具体可以包括:中间缓存数据库或者中间缓存文件，即在本地存储介质中使用中间缓存数据库或者中间缓存文件来存储数据。基于此，数据采集层模块将采集到的数据存储到本地存储介质的过程，具体可以包括但不限于:将采集到的数据存储到中间缓存数据库或者中间缓存文件。数据适配层模块从本地存储介质中获取数据的过程，具体可以包括但不限于:从中间缓存数据库或者中间缓存文件中获取数据。
[0055]步骤204，数据适配层模块利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，并将转换后的数据提供给上层应用(界面应用)。
[0056]其中，数据适配层模块可以对转换后的数据(特定格式的标准化数据)进行汇聚、统计、串接等操作，形成上层应用需要的报表数据和信息。
[0057]本发明实施例中，数据适配层模块利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据的过程，可以包括但不限于:数据适配层模块获取接口类型对应的适配模版，并利用适配模版将获取的数据转换成特定格式的数据;其中，在数据适配层模块上预先配置有各接口类型对应的适配模版，且适配模版用于将对应的接口类型的数据转换成特定格式的数据。
[0058]其中，特定格式是指屏蔽了北向接口的多种接口类型，上层应用可以识别的一种格式，该特定格式可以根据实际需要选择，只要上层应用能够识别该特定格式，且数据适配层模块提供给上层应用的数据均是该特定格式即可。
[0059]在一个例子中，在数据适配层模块上预先配置有⑶RBA接口对应的适配模版I，且该适配模版I用于将CORBA接口的数据转换成特定格式的数据。在数据适配层模块上预先配置有XML接口对应的适配模版2，且该适配模版2用于将XML接口的数据转换成特定格式的数据。在数据适配层模块上预先配置有FTP接口对应的适配模版3，且该适配模版3用于将FTP接口的数据转换成特定格式的数据。在数据适配层模块上预先配置有SOCKET接口对应的适配模版4，且该适配模版4用于将SOCKET接口的数据转换成特定格式的数据。在数据适配层模块上预先配置有SNMP接口对应的适配模版5，且该适配模版5用于将SNMP接口的数据转换成特定格式的数据。
[0060]数据适配层模块在获取到⑶RBA接口的数据I后，确定数据I对应的接口类型为CORBA接口，确定适配模版为适配模版I，因此数据适配层模块使用适配模版I将数据I转换成特定格式的数据。数据适配层模块在获取到XML接口的数据2后，确定数据2对应的接口类型为XML接口，确定适配模版为适配模版2，因此数据适配层模块使用适配模版2将数据2转换成特定格式的数据。数据适配层模块在获取到FTP接口的数据3后，确定数据3对应的接口类型为FTP接口，确定适配模版为适配模版3，因此数据适配层模块使用适配模版3将数据3转换成特定格式的数据。数据适配层模块在获取到SOCKET接口的数据4后，确定数据4对应的接口类型为SOCKET接口，确定适配模版为适配模版4，因此数据适配层模块使用适配模版4将数据4转换成特定格式的数据。数据适配层模块在获取到SNMP接口的数据5后，确定数据5对应的接口类型为S匪P接口，确定适配模版为适配模版5，因此数据适配层模块使用适配模版5将数据5转换成特定格式的数据。
[0061 ]本发明实施例中，针对数据适配层模块利用适配模版将获取的数据转换成特定格式的数据的过程，具体可以包括但不限于如下方式:数据适配层模块获取该适配模版对应的标准化结构，并将获取的数据转换成标准化结构的数据，并利用该适配模版将该标准化结构的数据转换成特定格式的数据。
[0062]其中，针对每个适配模版来说，均对应有标准化结构。例如，针对适配模版I，其标准化结构包含有A、B、C、D、E等五个字段，这样，假设当前获取的数据只包括A、B、C等三个字段的内容，则可以在该数据中添加D和E等两个字段的内容，从而将当前获取的数据转换成标准化结构的数据。
[0063]其中，可以预先为A、B、C、D、E等字段配置默认内容，在数据中添加D和E等字段的内容时，可以在数据中添加D和E等字段的默认内容。
[0064]在将当前获取的数据转换成标准化结构的数据之后，由于该标准化结构与适配模版相适应，因此，数据适配层模块可以利用该适配模版将该标准化结构的数据转换成特定格式的数据，并将转换后的数据提供给上层应用。
[0065]基于本发明实施例的上述过程，数据采集层模块可以支持多种协议类型的接口。而且，数据采集层模块可以采用分布式的部署结构，在网络管理系统上可以部署多个数据采集层模块，且各数据采集层模块分别采集数据。而且，数据采集层模块可以对本数据采集层模块采集到的数据进行过滤处理。
[0066]此外，数据适配层模块可以支持标准化处理，将数据转换成标准化结构的数据。而且，数据适配层模块不需要关心各协议接口的连接差异，只要从本地存储介质中提取数据即可。而且，数据适配层模块支持动态适配，可以利用适配模版将数据转换成特定格式的数据，按照数据标准进行格式化转换。
[0067]在上述功能的基础上，数据采集层模块还可以支持如下功能:接口连通性检测功能、接口连接管理功能、会话管理功能、安全认证功能等。此外，数据适配层模块还可以支持如下功能:增量变更功能、业务搜索功能。
[0068]其中，接口连通性检测功能是指:数据采集层模块检测CORBA接口、XML接口、FTP接口、SOCKET接口、SNMP接口等是否处于连通状态，如判断接口在预设时间内是否收到数据，如果在预设时间内收到数据，认为接口处于连通状态，如果在预设时间内未收到数据，认为接口处于未连通状态。
[0069]其中，接口连接管理功能是指:数据采集层模块负责⑶RBA接口、XML接口、FTP接口、SOCKET接口、SNMP接口的管理，维护这些接口的状态。
[0070]其中，会话管理功能是指:数据采集层模块负责会话管理。
[0071 ]其中，安全认证功能是指:数据采集层模块负责对⑶RBA接口、XML接口、FTP接口、SOCKET接口、SNMP接口连接的网元设备进行安全认证。
[0072]其中，增量变更功能是指:数据适配层模块比较上次发送给上层应用的数据以及本次待发送给上层应用的数据，获取出差异数据，并从本次待发送给上层应用的数据中，选取出差异数据发送给上层应用。例如，数据适配层模块上次发送给上层应用的数据为数据1、数据2、数据3、数据4，而本次待发送给上层应用的数据为数据1、数据2、数据3、数据4、数据5。因此，差异数据为数据5，且数据适配层模块只将数据5发送给上层应用，而不再将数据1、数据2、数据3、数据4发送给上层应用，从而减少发送数量。
[0073]其中，业务搜索功能是指:数据适配层模块将所有数据中针对同一传输业务通道的数据搜索出来，并统一进行发送。在一个例子中，可以根据不同的网络结构和业务使用场景，支持可定制化的传输业务通道的业务搜索功能。例如，针对上网业务，某用户的上网流量的传输业务通道可以为用户设备(如手机、PC( (personal computer，个人计算机)、平板电脑等)_家中路由器-楼道交换机-小区主机房等。基于这样的传输业务通道，数据适配层模块可以将所有数据中针对该传输业务通道的数据搜索出来，并将针对该传输业务通道的数据发送给上层应用，这样，上层应用就可以基于该传输业务通道的数据，为该用户的上网业务提供可定制化的服务，如使带宽满足用户需求等。
[0074]在实际应用中，网络管理系统还可以包括数据管理层和应用功能层(即上层应用所在的层)，数据管理层用于对数据适配层模块的数据进行整合，提供资源模型服务和对象管理功能，为上层应用提供不同维度和粒度的预处理数据。应用功能层，用于为生产性工作服务，提供日常的操作和运行维护功能，要求数据的准确性，及时性，直观性，其目的在于快速发现问题，并快速解决问题，应用功能层包括拓扑管理、告警管理、性管理、配置管理等。
[0075]本发明实施例中，在数据采集层模块将采集到的数据存储到本地存储介质中之后，数据处理层模块还可以对本地存储介质中存储的数据进行合并处理;和/或，数据处理层模块对本地存储介质中存储的数据进行监控处理。
[0076]其中，通过将数据存储到本地存储介质中，以使数据处理层模块可以对本地存储介质中存储的数据进行合并处理，从而提高数据的处理效率。例如，在只包含采集适配层的网络管理系统中，分别对采集到的数据A进行适配处理，对采集到的数据B进行适配处理，对采集到的数据C进行适配处理，以此类推。而本发明实施例中，数据采集层模块将采集到的数据A、数据B、数据C等存储到本地存储介质中，假设数据A、数据B、数据C为关联数据，如数据A、数据B、数据C是针对同一业务的数据，则数据处理层模块可以将数据A、数据B、数据C合并为一个数据I，这样，数据适配层模块就可以对数据I进行适配处理，而不需要分别对数据A、数据B、数据C进行适配处理，这样，被合并的数据越多，则数据适配层模块的处理效率越高，从而提高数据的处理效率。
[0077]其中，通过将数据存储到本地存储介质中，以使数据处理层模块可以对本地存储介质中存储的数据进行监控处理，从而有利于数据的监控与核查，快速定位故障。例如，在只包含采集适配层的网络管理系统中，对于采集到的数据A、数据B、数据C等数据，会直接进行适配处理，不会存储到底层的数据，只能存储适配处理后的数据，而这样的数据通常已经没有了底层的数据的一些特征，如数据A中只包括字段I，而不包含字段2、字段3，但是经过适配处理后的数据中，会包含字段1、字段2、字段3，这样就无法分析出数据A是否存在缺少字段的问题。而本发明实施例中，数据采集层模块将采集到的数据A、数据B、数据C等存储到本地存储介质中，这样，数据处理层模块就可以对本地存储介质中存储的数据A、数据B、数据C进行监控处理，即数据处理层模块可以直接对底层的数据进行监控处理，例如，数据A中只包括字段I，而不包含字段2、字段3时，数据处理层模块可以监控到数据A存在缺少字段2、字段3的问题。当然，这只是对数据进行监控处理的一个示例，实际应用中，数据处理层模块可以监控到底层的数据的所有问题，继而对故障分析提供有效的帮助。
[0078]本发明实施例中，使用数据采集层、中间存储层、数据适配层的分层架构时，可以使用多级预处理策略，灵活在各层控制数据处理的范围。
[0079]本发明实施例的一种优选实施方式中，在数据采集层模块从不同接口类型的接口上采集数据之前，数据采集层模块还可以利用第一预设策略确定需要采集的数据。其中，通过第一预设策略，可以控制哪些数据需要采集。
[0080]本发明实施例的一种优选实施方式中，在数据采集层模块从不同接口类型的接口上采集数据之后，在数据采集层模块将采集到的数据存储到本地存储介质中之前，数据采集层模块还可以利用第二预设策略判断是否过滤采集到的数据;如果是，则数据采集层模块直接过滤采集到的数据;如果否，则数据采集层模块执行将采集到的数据存储到本地存储介质中的过程。
[0081]其中，通过第二预设策略，可以控制哪些数据需要存储到本地存储介质中。
[0082]其中，第二预设策略可以根据实际经验进行设置，且该第二预设策略用于对数据采集层模块采集到的数据进行过滤，以屏蔽冗余的数据和无效的数据，只将有效数据存储到本地存储介质中，从而降低数据适配层模块的压力。
[0083]本发明实施例的一种优选实施方式中，在数据采集层模块将采集到的数据存储到本地存储介质中之后，在数据适配层模块从本地存储介质中获取数据之前，数据适配层模块还可以利用第三预设策略确定需要获取的数据。其中，通过第三预设策略，可以控制哪些数据需要经过数据适配层模块的适配。
[0084]本发明实施例的一种优选实施方式中，在数据适配层模块将获取的数据转换成特定格式的数据之后，在数据适配层模块将转换后的数据提供给上层应用之前，数据适配层模块还可以利用第四预设策略确定需要提供给上层应用的数据。其中，通过第四预设策略，可以控制哪些数据需要对外提供。
[0085]在一种可行的方式中，第一预设策略、第二预设策略、第三预设策略、第四预设策略，均可以包括但不限于:正则表达式策略和/或脚本逻辑策略。
[0086]其中，正则表达式策略是一种使用正则表达式来过滤冗余数据和无效数据的方式，正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。基于此，通过设置需要过滤的数据对应的正则表达式，数据采集层模块/数据适配层模块可以将匹配到正则表达式的数据进行过滤，数据采集层模块/数据适配层模块可以将未匹配到正则表达式的数据确定为需要使用的数据。
[0087]其中，脚本逻辑策略是一种使用脚本逻辑来过滤冗余数据和无效数据的方式，脚本逻辑可以由开发人员根据实际经验进行编写，通过设置需要过滤的数据对应的脚本逻辑，数据采集层模块/数据适配层模块可以将匹配到该脚本逻辑的数据进行过滤，并将未匹配到该脚本逻辑的数据数据确定为需要使用的数据。
[0088]基于上述技术方案，本发明实施例中，通过分离数据采集层的功能和数据适配层的功能，形成数据采集层和数据适配层分离的架构，并使用数据采集层模块执行数据采集层的操作，使用数据适配层模块执行数据适配层的操作。在此架构下，数据采集层模块只关注数据采集的部分，而数据适配层模块只关注数据转换的部分。这样，可以实现网络管理系统接入多厂家、多协议、非标准性的北向接口。而且，开发人员可以只专注数据分析和数据转换，降低开发人员的开发难度，并降低业务开通的复杂度，提升业务开通的效率，从而可以缩短网络管理系统的接入时间，提高稳定性以及松耦合，确保了安全性。而且，可以将数据统一提供给用户查看，方便对过程数据进行核查。
[0089]基于与上述方法同样的发明构思，本发明实施例中还提供了一种数据处理的装置，该数据处理的装置应用在网络管理系统上。其中，该数据处理的装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在的网络管理系统的处理器，读取非易失性存储器中对应的计算机程序指令形成的。从硬件层面而言，如图3所示，为本发明提出的数据处理的装置所在的网络管理系统的一种硬件结构图，除了图3所示的处理器、非易失性存储器外，网络管理系统还可以包括其他硬件，如负责处理报文的转发芯片、网络接口、内存等;从硬件结构上来讲，该网络管理系统还可能是分布式设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。
[0090]如图4所示，为本发明提出的数据处理的装置的结构图，所述装置具体包括:数据采集层模块11，用于从不同接口类型的接口上采集数据，并将采集到的数据存储到本地存储介质中；数据适配层模块12，用于从所述本地存储介质中获取数据，并利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，并将转换后的数据提供给上层应用。
[0091]本发明实施例中，所述数据采集层模块11，还用于在所述数据采集层模块11从不同接口类型的接口上采集数据之前，利用第一预设策略确定需要采集的数据;所述数据采集层模块11，还用于在所述数据采集层模块11从不同接口类型的接口上采集数据之后，在所述数据采集层模块11将采集到的数据存储到本地存储介质中之前，利用第二预设策略判断是否过滤采集到的数据;如果是，则过滤采集到的数据;如果否，则将采集到的数据存储到本地存储介质中；所述数据适配层模块12，还用于在所述数据采集层模块11将采集到的数据存储到本地存储介质中之后，在所述数据适配层模块12从所述本地存储介质中获取数据之前，利用第三预设策略确定需要获取的数据;所述数据适配层模块12，还用于在所述数据适配层模块12将获取的数据转换成特定格式的数据之后，在所述数据适配层模块12将转换后的数据提供给上层应用之前，利用第四预设策略确定需要提供给上层应用的数据；
[0092]其中，所述第一预设策略、所述第二预设策略、所述第三预设策略、所述第四预设策略，均具体包括正则表达式策略和/或脚本逻辑策略。
[0093]所述本地存储介质包括:中间缓存数据库或者中间缓存文件；
[0094]所述数据采集层模块11，还用于在将采集到的数据存储到本地存储介质的过程中，将采集到的数据存储到所述中间缓存数据库或者所述中间缓存文件;所述数据适配层模块12，还用于在从所述本地存储介质中获取数据的过程中，从所述中间缓存数据库或者所述中间缓存文件中获取数据。
[0095]所述数据适配层模块12，具体用于在利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据的过程中，获取所述接口类型对应的适配模版，并利用所述适配模版将所述获取的数据转换成特定格式的数据；
[0096]其中，在所述数据适配层模块上预先配置有各接口类型对应的适配模版，且适配模版用于将对应的接口类型的数据转换成特定格式的数据；
[0097]其中，所述数据适配层模块12，具体用于在利用所述适配模版将所述获取的数据转换成特定格式的数据的过程中，获取所述适配模版对应的标准化结构;将所述获取的数据转换成所述标准化结构的数据;利用所述适配模版将所述标准化结构的数据转换成特定格式的数据。
[0098]本发明实施例中，所述数据处理的装置还包括:
[0099]数据处理层模块13，用于在所述数据采集层模块将采集到的数据存储到本地存储介质中之后，对本地存储介质中存储的数据进行合并处理;和/或，对本地存储介质中存储的数据进行监控处理。
[0100]其中，本发明装置的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0101]基于上述技术方案，本发明实施例中，通过分离数据采集层的功能和数据适配层的功能，形成数据采集层和数据适配层分离的架构，并使用数据采集层模块执行数据采集层的操作，使用数据适配层模块执行数据适配层的操作。在此架构下，数据采集层模块只关注数据采集的部分，而数据适配层模块只关注数据转换的部分。这样，可以实现网络管理系统接入多厂家、多协议、非标准性的北向接口。而且，开发人员可以只专注数据分析和数据转换，降低开发人员的开发难度，并降低业务开通的复杂度，提升业务开通的效率，从而可以缩短网络管理系统的接入时间，提高稳定性以及松耦合，确保了安全性。而且，可以将数据统一提供给用户查看，方便对过程数据进行核查。
[0102]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
[0103]本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可进一步拆分成多个子模块。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0104]以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
【主权项】
1.一种数据处理的方法，其特征在于，所述方法包括以下步骤: 数据采集层模块从不同接口类型的接口上采集数据； 所述数据采集层模块将采集到的数据存储到本地存储介质中； 数据适配层模块从所述本地存储介质中获取数据； 所述数据适配层模块利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，并将转换后的数据提供给上层应用。2.根据权利要求1所述的方法，其特征在于， 在所述数据采集层模块从不同接口类型的接口上采集数据之前，所述方法进一步包括:所述数据采集层模块利用第一预设策略确定需要采集的数据； 在所述数据采集层模块从不同接口类型的接口上采集数据之后，在所述数据采集层模块将采集到的数据存储到本地存储介质中之前，所述方法进一步包括:所述数据采集层模块利用第二预设策略判断是否过滤采集到的数据;如果是，则所述数据采集层模块过滤采集到的数据;如果否，则所述数据采集层模块执行将采集到的数据存储到本地存储介质中的过程； 在所述数据采集层模块将采集到的数据存储到本地存储介质中之后，在所述数据适配层模块从所述本地存储介质中获取数据之前，所述方法进一步包括:所述数据适配层模块利用第三预设策略确定需要获取的数据； 在所述数据适配层模块将获取的数据转换成特定格式的数据之后，在所述数据适配层模块将转换后的数据提供给上层应用之前，所述方法进一步包括:所述数据适配层模块利用第四预设策略确定需要提供给上层应用的数据； 其中，所述第一预设策略、所述第二预设策略、所述第三预设策略、所述第四预设策略，均具体包括正则表达式策略和/或脚本逻辑策略。3.根据权利要求1或2所述的方法，其特征在于，所述本地存储介质包括:中间缓存数据库或者中间缓存文件，所述方法进一步包括: 所述数据采集层模块将采集到的数据存储到本地存储介质的过程，具体包括:将采集到的数据存储到所述中间缓存数据库或者所述中间缓存文件； 所述数据适配层模块从所述本地存储介质中获取数据的过程，具体包括:从所述中间缓存数据库或者所述中间缓存文件中获取数据。4.根据权利要求1所述的方法，其特征在于，所述数据适配层模块利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，包括: 所述数据适配层模块获取所述接口类型对应的适配模版，并利用所述适配模版将所述获取的数据转换成特定格式的数据； 其中，在所述数据适配层模块上预先配置有各接口类型对应的适配模版，且适配模版用于将对应的接口类型的数据转换成特定格式的数据； 其中，所述数据适配层模块利用所述适配模版将所述获取的数据转换成特定格式的数据的过程，具体包括:所述数据适配层模块获取所述适配模版对应的标准化结构;将所述获取的数据转换成所述标准化结构的数据;利用所述适配模版将所述标准化结构的数据转换成特定格式的数据。5.根据权利要求1所述的方法，其特征在于，在所述数据采集层模块将采集到的数据存储到本地存储介质中之后，所述方法进一步包括: 数据处理层模块对本地存储介质中存储的数据进行合并处理;和/或，所述数据处理层模块对本地存储介质中存储的数据进行监控处理。6.一种数据处理的装置，其特征在于，所述装置具体包括: 数据采集层模块，用于从不同接口类型的接口上采集数据，并将采集到的数据存储到本地存储介质中； 数据适配层模块，用于从所述本地存储介质中获取数据，并利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据，并将转换后的数据提供给上层应用。7.根据权利要求6所述的装置，其特征在于， 所述数据采集层模块，还用于在所述数据采集层模块从不同接口类型的接口上采集数据之前，利用第一预设策略确定需要采集的数据； 所述数据采集层模块，还用于在所述数据采集层模块从不同接口类型的接口上采集数据之后，在所述数据采集层模块将采集到的数据存储到本地存储介质中之前，利用第二预设策略判断是否过滤采集到的数据;如果是，则过滤采集到的数据;如果否，则将采集到的数据存储到本地存储介质中； 所述数据适配层模块，还用于在所述数据采集层模块将采集到的数据存储到本地存储介质中之后，在所述数据适配层模块从所述本地存储介质中获取数据之前，利用第三预设策略确定需要获取的数据； 所述数据适配层模块，还用于在所述数据适配层模块将获取的数据转换成特定格式的数据之后，在所述数据适配层模块将转换后的数据提供给上层应用之前，利用第四预设策略确定需要提供给上层应用的数据； 其中，所述第一预设策略、所述第二预设策略、所述第三预设策略、所述第四预设策略，均具体包括正则表达式策略和/或脚本逻辑策略。8.根据权利要求6或7所述的装置，其特征在于，所述本地存储介质包括:中间缓存数据库或者中间缓存文件； 所述数据采集层模块，还用于在将采集到的数据存储到本地存储介质的过程中，将采集到的数据存储到所述中间缓存数据库或者所述中间缓存文件； 所述数据适配层模块，还用于在从所述本地存储介质中获取数据的过程中，从所述中间缓存数据库或者所述中间缓存文件中获取数据。9.根据权利要求6所述的装置，其特征在于， 所述数据适配层模块，具体用于在利用获取的数据对应的接口类型，将获取的数据转换成特定格式的数据的过程中，获取所述接口类型对应的适配模版，并利用所述适配模版将所述获取的数据转换成特定格式的数据； 其中，在所述数据适配层模块上预先配置有各接口类型对应的适配模版，且适配模版用于将对应的接口类型的数据转换成特定格式的数据； 其中，所述数据适配层模块，具体用于在利用所述适配模版将所述获取的数据转换成特定格式的数据的过程中，获取所述适配模版对应的标准化结构;将所述获取的数据转换成所述标准化结构的数据;利用所述适配模版将所述标准化结构的数据转换成特定格式的数据。10.根据权利要求6所述的装置，其特征在于，还包括: 数据处理层模块，用于在所述数据采集层模块将采集到的数据存储到本地存储介质中之后，对本地存储介质中存储的数据进行合并处理;和/或，对本地存储介质中存储的数据进行监控处理。
【文档编号】H04L29/08GK105933139SQ201610192786
【公开日】2016年9月7日
【申请日】2016年3月30日
【发明人】曹雄, 杨学刚, 杨志成, 朱江, 宋智, 杜永好
【申请人】广东凯通软件开发有限公司