一种网络数据采集方法、采集机及采集系统的制作方法

专利名称：一种网络数据采集方法、采集机及采集系统的制作方法
技术领域：
本发明涉及网络技术，特别涉及一种网络数据采集方法、采集机及采集系统。
背景技术：
随着信息技术和通信产业的快速发展，建立在计算机和网络技术基础上的 计算机网络技术得到了迅猛的发展，计算机网络已经进入到人们生活的各个方
面。为确保网络给人们的生活提供更好的服务，就需要有一套网络管理系统及 时、准确的获取网络的运行情况，并在网络出现异常时给予及时的修复和解决。 网管技术已经发展了多年，尤其在电信网络管理方面。随着电信产业的飞 速发展，近年电信网络管理技术也得到了快速发展。电信网络管理的系统架构
一般分三层采集层、数据处理层和数据展现层。采集层负责对数据的收集和 预处理；数据处理层负责对预处理后的数据进行更适合使用和展现的多维度处 理；数据展现层负责根据用户的需求，提供所需要的功能及对数据多种方式的 呈现。
如图l所示，现有的技术方案中，采集层一般分为三层数据适配层、数 据预处理层、数据传输层。这样的采集层实现方案能够很好的将被管系统的数 据收集并预处理好后传递到数据处理层。
发明人经过分析，发现目前的数据采集是在采集机上进行本地配置以完成 数据采集，现有技术的采集层实现方案，虽然能够满足对数据收集、预处理和 传送的基本要求，但是它只能通过采集层的程序或者配置文件来完成对被管系 统的数据采集和预处理及传送的功能，这种采集机的实现不能支持从应用界面 对采集机进行交互以实现采集的功能，同时有可能采集了众多并不很需要甚至是不需要的数据，增加系统不必要的工作负荷。具体存在如下不足
1、 不能及时更改数据采集层的功能或运行方式，如对数据的预处理功能 进行修改、对数据传送的目的地进行更改等。
2、 不能及时查看当前的数据收集、预处理和传送的情况。
3、 对于需要及时、短暂的监视被管系统指标的情况，目前的实现方案只 能在采集机进行配置或者运行一个模块，当不需要监视的时候再停止或者删除 配置，这给对系统的使用带来了极大的不便。
4、 对于分布式采集系统，当前通过采集机本地配置来控制采集层数据收 集、预处理与传送的方式同样也不方便使用。

发明内容
本发明实施例提供一种网络数据采集方法，用以实现对网络数据进行按需 采集，该方法包括
采集机北向接口层接收采集策略后，将所述采集策略以指令形式发送至逻 辑控制与处理层；
所述逻辑控制与处理层将所述指令以任务形式存入采集机数据库；
所述逻辑控制与处理层读取任务并根据任务进行调度；
数据适配层根据所述逻辑控制与处理层的调度进行数据采集，并反馈采集 的数据。
本发明实施例还提供了 一种网络数据采集机，用以实现对网络数据进行按 需采集，该网络数据采集机包括北向接口层、逻辑控制与处理层、数据适配层， 还包括
采集策略处理模块，与北向接口层相连，用于将北向接口层接收的采集策 略以指令形式发送至逻辑控制与处理层；
指令处理模块，与逻辑控制与处理层相连，用于将接收到的所述指令以任 务形式存入采集机数据库；所述逻辑控制与处理层根据采集机数据库中的任务进行调度；
数据适配层根据所述逻辑控制与处理层调度的任务进行数据釆集，并反馈 采集的数据。
本发明实施例还提供了 一种网络数据采集系统，用以实现对网络数据进行 按需釆集，包括由北向接口层、逻辑控制与处理层、数据适配层构成的采集机，
还包括
采集管理模块，用于将采集策略下发至采集机的北向接口层；
釆集策略处理模块，与北向接口层相连，用于将北向接口层接收的采集策 略以指令形式发送至逻辑控制与处理层；
指令处理模块，与逻辑控制与处理层相连，用于将接收到的所述指令以任 务形式存入采集机数据库；
所述逻辑控制与处理层读取任务并根据任务进行调度；
数据适配层根据所述逻辑控制与处理层的调度进行数据采集，并反馈采集 的数据；
南向适配模块，用于接收所述数据适配层反馈的采集数据。 本发明实施例中，采集机北向接口层接收采集策略后，将所述采集策略以 指令形式发送至逻辑控制与处理层；所述逻辑控制与处理层将所述指令以任务 形式存入采集机数据库；所述逻辑控制与处理层读取任务并根据任务进行调 度；数据适配层根据所述逻辑控制与处理层的调度进行数据釆集，并反馈采集 的数据，以此实现了通过展现层控制采集机的数据收集、预处理及传送的方式 及功能；抽象和定义了采集机的数据收集、预处理及传送方式及功能，并通过 定义展现层、数据处理层与采集层之间的接口策略来实现上述功能，达到按需 采集的目的，能够对采集机的采集范围、采集方式、采集内容和采集粒度等进 行定制，以控制采集机的采集行为，获得最需要的数据，从而减少系统的工作 负荷。


图1为背景技术中所釆集层的结构示意图； 图2为本发明实施例中策略、任务和适配器之间的关系示意图； 图3为本发明实施例中网络数据采集方法的实施流程图； 图4为本发明实施例中将采集策略以指令形式发送至逻辑控制与处理层的 实施流程图5为本发明实施例中将指令以任务形式存入采集机数据库的实施流程
图6为本发明实施例中网络数据采集机的结构示意图7为本发明实施例中采集策略处理模块的结构示意图8为本发明实施例中策略、容器、指令、任务这四类对象的图形示意图9为本发明实施例中指令处理模块的结构示意图10为本发明实施例中网络数据采集系统的结构示意图11为本发明实施例中策略下发的实施流程图。
具体实施例方式
下面结合说明书附图对本发明实施例方法进行详细说明。 首先对本发明实施例中涉及的概念进行如下说明
采集策略是在对数据进行采集管理时，为达到控制和影响采集机行为的 目的而使用的一种接口语言。实施中通过不同的采集策略来控制和影响采集机 不同的行为，在将采集策略转换为釆集任务时， 一个策略可以被分解成多个任 务，多个策略也可以合并成一个任务，后面还将对策略的制定、实施等进行详 细"i兌明。
适配器(adapter):位于数据适配层，是釆集机中执行一个采集工作的最 小实体。 一般的，每个适配器负责一个具体的采集工作。
任务由逻辑控制与处理层处理，是采集机对策略进行解析和处理之后的、可被采集机的任务调度模块识别的、与一个具体的任务执行模块(即适配器) 关联的实体。每个任务都与至少一个适配器关联，当需要多个适配器协同完成 一个任务时， 一个任务需要与多个适配器进行关联。任务调度模块根据关联的 先后关系按顺序或并行调度各个适配器。当任务与适配器关联时，采集机的任 务分发模块可以根据任务对象中的"类型"字段，查找到合适的适配器并调度。 以上三个概念即采集策略、任务、适配器在采集机中均以不同的对象形式
存在，均有自己的才莫型；另外，在北向接口层和逻辑处理与控制层均有相应的 模型转换模块负责策略、任务、适配器模型之间的映射工作。图2为策略、任
务和适配器之间的关系示意图，三者关系如图所示。
在了解上述概念后，下面对网络数据的采集实施进行详细说明。 如图3所示，本发明实施例中，对网络数据进行采集可以包括如下步骤 步骤31、采集机北向接口层接收采集策略后，将采集策略以指令形式发送
至逻辑控制与处理层；
步骤32、逻辑控制与处理层将接收的指令以任务形式存入釆集机数据库；
步骤33 、逻辑控制与处理层读取任务并根据任务进行调度；
步骤34、数据适配层根据逻辑控制与处理层的调度进行数据采集，并反馈
采集的数据。
如图4所示， 一个实施例中，步骤31的采集机北向接口层的接口协议适 配模块接收采集策略后将所述采集策略以指令形式发送至逻辑控制与处理层 具体可以包括如下步骤
步骤311、解析接收的采集策略。
步骤312、将解析出的采集策略转换成指令形式。
步骤313、通过传输北向接口层和逻辑控制与处理层之间交互指令的指令 通道，将指令发送至逻辑控制与处理层。
一个实施例中，采集机北向接口层的接口协议适配模块接收的采集策略可 以根据网管系统对数据的需求进行制定。将策略转换成指令并通过指令通道发给逻辑控制与处理层的指令解析模块的过程中， 一个指令表示一个明确的行 为，这个行为的发起者是采集机，行为的被实施者是行为对象，执行行为可以 有条件和时间约束，这些属性构成了指令这个对象的基本特性。可以说，指令 的转换就是从策略容器中将这些信息以指令形式翻译出来。
如图5所示， 一个实施例中，步骤32的逻辑控制与处理层将所述指令以 任务形式存入采集机数据库具体可以包括如下步骤 步骤321、解析接收的指令。 步骤322、将解析出的指令转换成任务形式。 步骤323、将任务存入采集机数据库。
将指令转换成任务形式实际上就是生成任务对象，每个任务对象可以通过 分配一个任务标识(ID)来标识其类型，任务标识后续可以用来选择适配器。
一个实施例中，在步骤34中，逻辑控制与处理层还可以在对调度的任务 先进行分解和/或数据补充后，交由所述数据适配层执行。
在步骤34中，反馈采集的数据会有两种形式， 一种为消息数据上传、一 种为文件数据上传，其中
反馈的采集数据为消息数据时，反馈采集数据可以为
数据适配层将以消息形式上传的数据通过消息通道上传至逻辑处理与控 制层；逻辑处理与控制层将消息数据传给北向接口层；北向接口层根据消息数 据要上传的目的将消息发送到南向适配模块。
反馈的采集数据为文件数据时，反馈采集数据可以为
数据适配层将以文件形式上传的数据生成文件后保存在本地，并通知逻辑 处理与控制层；逻辑处理与控制层收到文件通知后通过文件上传通道将文件上 传消息发送至北向接口层；北向接口层接收到文件上传消息后，根据文件要上 传的目的地将文件传输至南向适配模块。
基于同一发明构思，本发明实施例还提供了一种网络数据采集机，其结构 如图6所示，可以包括北向接口层61、逻辑控制与处理层62、数据适配层63、采集策略处理模块64、指令处理模块65,其中采集策略处理模块64与北向 接口层61相连，用于将北向接口层接收的采集策略以指令形式发送至逻辑控 制与处理层；指令处理模块65与逻辑控制与处理层62相连，用于将接收到的 指令以任务形式存入采集机数据库；逻辑控制与处理层62根据采集机数据库 中的任务进行调度；数据适配层63根据逻辑控制与处理层62调度的任务进行 数据采集，并反馈采集的数据。
如图7所示， 一个实施例中，采集策略处理模块64可以包括策略解析 单元641,用于将解析接收的采集策略；策略数据模型转换单元642，用于将 解析出的采集策略转换成指令形式后经指令通道643发送至逻辑控制与处理 层；指令通道643，用于传输北向接口层和逻辑与处理层之间交互的指令。
在采集策略处理;f莫块64接收策略后可以转发给策略解析单元641进行解 析，并将策略转换成内部统一的数据模型，转发给策略数据模型转换单元642。
统一的数据模型可以是一个容器对象，用这个容器对象装载所需的策略， 策略数据模型转换单元642的入口参数之一可以就是一个容器对象。策略数据 模型转换单元642接收这个对象并对其进行模型转换。图8为策略、容器、指 令、任务这四类对象的图形示意图，可以看出，实际上，策略容器相当于在策 略的基础上添加了用于标识策略的策略名称，其它部分即是策略对象的内容。 策略数据模型转换单元642将策略转换成指令并通过指令通道643发给逻辑控 制与处理层进行指令转换，从策略容器中将策略对象的相关信息翻译出来。
如图9所示， 一个实施例中，指令处理模块65可以包括指令解析单元 651，用于解析接收的指令；指令数据模型转换单元652,用于将解析出的指令 转换成任务形式；任务部署单元653,用于将任务存入采集机数据库。
指令解析单元651通过指令数据模型转换单元652将指令转换成任务并将 任务发给任务部署单元653，其中，指令转换成任务实际上就是生成任务对象， 为每个任务对象分配一个任务ID来进行标识，任务类型标识后续将被用来选 择适配器。任务部署单元653将接收的任务保存在本地数据库中，并可以根据部署的 情况将结果反馈给指令数据模型转换单元652。实施中，任务部署是对任务进 行注册，这是因为采集机有一个任务调度模块，此调度模块接收任务注册，注 册成功的任务就会被任务调度模块按照调度周期进行正常调度，如果任务注册 不成功则任务调度模块不会对其进行调度。
一个实施例中，数据釆集机中还可以包括数据补充模块，用于对调度的任 务进行分解和/或数据补充后，并交由数据适配层执行。
数据补充模块用于对任务进行必要的分解和补充，并调度各适配器进行数 据的采集。数据补充指针对不同的数据釆集方式，采集机需要补充必要的信息， 如ftp的方式下，采集机还需要补充用户名、密码、ftp的文件目录/文件名等信 息；任务分解是指在某些任务是需要多个适配器协同完成时，需要并行或者串 行调度多个适配器来完成一个任务，此时就需要对任务进行分解，从而并行或 者串行调度多个适配器来完成任务。
基于同一发明构思，本发明实施例还提供一种网络数据采集系统，其结构 如图10所示，系统中可以包括由北向接口层61、逻辑控制与处理层62、数据 适配层63构成的采集机，还可以包括
采集管理模块66，用于将采集策略下发至釆集机的北向接口层；
采集策略处理模块64，与北向接口层相连，用于将北向接口层接收的采集 策略以指令形式发送至逻辑控制与处理层；
指令处理模块65,与逻辑控制与处理层相连，用于将接收到的指令以任务 形式存入采集机数据库；
逻辑控制与处理层读取任务并根据任务进行调度；
数据适配层根据逻辑控制与处理层的调度进行数据采集，并反馈采集的数
据；
南向适配模块67,用于接收数据适配层反馈的采集数据。 一个实施例中，在采集到网络数据后，逻辑控制与处理层的指令数据模型转换单元接收到任务部署反馈，翻译成消息并通过层间通道发给北向接口层的 策略数据模型转换单元。
策略数据^t型转换单元转换消息为北向接口的出口消息并通过接口适配 模块将策略下发的结果反馈给采集管理模块。
在任务调度及结果反馈流程中，任务部署是指令数据模型转换单元对任务 进行注册申请的过程。任务调度是任务调度模块根据成功部署的任务，按照每 个任务的调度周期进行调度。任务需要先部署成功，后续才能被正常调度。
任务调度模块获取任务信息并在任务调度时间点通过任务通道发起任务 调度指令给数据适配层的数据补充模块。任务调度时间点实施中可以是指在什 么时间开始调起这个任务，譬如周期性任务，每次开始调起的时间点，都会按
照周期顺次递推得到；比如按需确定调用的时间点开始热点轮询等。
在反馈数据时，如果反馈的采集数据为消息数据，数据适配层可以包括 消息发送单元，用于将以消息形式上传的数据通过消息通道上传至逻辑处
理与控制层；逻辑处理与控制层将消息数据传给所述北向接口层后，北向接口
层根据消息数据要上传的目的将消息发送到南向适配模块。
或者，如果反馈的采集数据为文件数据，数据适配层可以包括 保存单元，用于将以文件形式上传的数据生成文件后保存在本地，并通知
逻辑处理与控制层；逻辑处理与控制层收到文件通知后通过文件上传通道将消
息发送至北向接口层后；北向接口层根据文件要上传的目的地将文件传输至南
向适配模块。
其中采集管理模块是应用层负责与采集机进行策略交互的模块。南向适 配模块负责接受来自采集层的数据。实施中，在定义采集管理模块、南向适配 模块与采集机之间的接口及策略之前，可以先定义接口及策略的传输方式。如 采集管理模块与采集机之间可以是即时消息接口 ，而南向适配模块与采集机之 间的数据可以有文件方式和非文件方式，非文件方式的也可以是通过即时消息 进行传递。实施中，对于消息方式没有特别的限定，只要是能够支持异构系统情况下的网络通信的^支术或者中间件都可以，譬如RMI、 JMS、 Socket、 WebService、 HTTP、 CORBA等等。
采集管理模块与南向适配模块与采集机存在从下向上的数据传递关系，还 存在从上向下的调用关系。采集管理模块确保了采集机执行采集所依赖的策略 有了来源，南向适配模块的添加保证了采集机所采集的数据有了目的地，它们 之间可以由上向下的调用，以支持北向接口接收到策略后逐步转换为采集机内 部任务并调度执行，从而完成由策略控制的采集行为，实现了基于策略驱动的 网管采集机。
下面对上述实施例中策略的实施进行说明。图11为策略下发的流程实施 示意图，如图所示，其中包括故障、配置、性能等策略的下发 步骤lll、用户进行策略配置，或者对策略的配置进行更新。 步骤112、通过采集管理的界面对需要实现的策略进行预处理。 步骤113、通过采集管理界面将采集策略下发至采集管理服务。 步骤114、采集管理服务对策略进行分析处理。
步骤115-116、采集管理服务经过DOWN FROM CMM与UPTOCMM等 设备通过消息将策略下发采集机。
步骤in、采集机对采集策略进行分析、处理、执行。
步骤118-119、采集机将采集策略的响应消息返回采集管理服务。 步骤1110、采集管理服务将结果反馈给采集管理的应用界面。
步骤1111、通过采集管理的应用界面将采集策略的反^t消息呈现给用户。
图11中涉及用以示例的策略分别是MSG一FM—POLICY (告警策略)、 MSG—FM—FILTER—POLICY(告警过滤)、MSG—PM—POLICY (资源配置釆集)、 MSG—LOG—POLICY (日志采集)、MSG—PM—POLICY (性能采集)、 MSG—SRV—POLICY (业务数据采集)、MSG—CF—POLICY (设备配置采集)、 MSG—PROBE—CONF—UPDATE (系统配置更新)。下面对图11中的部分策略 实施进行说明。1、 故障管理接口。
(1 )告警信息上传
为确保实时性，本文采用消息中间件来上传告警信息。需在MOM( Message Oriented Midware,基于消息的中间件)服务器上创建一个名为T_FM—DATA 的Topic 。
(2) 、告警策略下发接口
实施例中定义策略消息为MSG—FM一POLICY，流程参考策略下发接口部分。
(3) 、告警过滤策略下发接口
实施例中定义策略消息为MSG一FM一FILTER一POLICY,流程参考策略下发 接口部分。
2、 配置管理接口。
(1) 、资源配置数据上传接口 资源配置数据分资源配置信息和设备配置文件。
资源配置信息的采集频度较低，但是采集的数据内容集相对较为复杂，一 次采集的信息量较大。示例中采用消息中间件来上传资源配置信息。在MOM 服务器上创建队列Q—RM—DATA用于传送资源配置数据。
各控制消息中定义MSG—CF—UL一NOTIFY为数据采集层用以通知南向适 配模块配置文件上传完毕。
(2) 、资源配置数据采集策略下发接口
示例中定义策略消息为MSG—RM_POLICY,流程参考策略下发接口部分。
(3) 、局数据下发接口
应用管理层组间要制作局数据，采集管理需要从数据管理层组间获取ftp 文件。示例中各控制消息的定义说明如下
局数据文件下载通知(SSD—SET—DL_NOTIFY):应用管理层通知数据采 集层其上获取局数据文件。局数据文件下载回应(SSD_SET—DL—ACK):数据采集层确认局数据文件 的有效性。
局数据制作结果文件上传完毕通知(SSD—SET—UL_NOTIFY ):数据采集 层通知应用管理层局凄t据制作结果文件已上传完毕。
(4) 、局数据上传接口
示例中各控制消息的说明如下
局数据采集指令文件下载通(SSD一GET—DL—NOTIFY ):应用管理层通知 数据采集层从其上获取局数据采集指令文件。
局数据采集指令文件下载回应(SSD—GET—DL—ACK):数据采集层确认局 数据采集指令文件的有效性。
局数据采集结果文件上传完毕通知(SSD_GET—UL—NOTIFY):数据采集 层通知应用管理层局数据采集结果文件已上传完毕。
(5) 、巡检任务下发接口
示例中定义策略消息为AP_DL—NOTIFY,流程参考局数据下发接口部分。
(6) 、巡检任务状态变更通知接口
实施中要求采用消息中间件来上传巡检任务状态变更通知，因此可以在 MOM服务器上创建一个TOPIC,示例中取名T—AP—UPMSG,用于将巡检任 务状态变更通知分别传送给应用管理层和数据管理层。
(7) 、巡检任务控制接口
示例中定义策略消息为AP—TASK—CONTROL,流程参考策略下发接口部分。
(8) 、巡检原始结果文件上传接口
数据采集层将巡4全原始结果文件FTP上传到数据管理层，传送结束后，可 以将通知消息编码成消息MSG—AP—RESULTFILEJJL—NOTIFY,发布到 UP_TO—SA。数据管理层通过订阅该TOPIC可以来获得上传结束通知。
示例中各控制消息的定义说明如下MSG—AP_RESULTFILE—UL—NOTIFY:数据采集层组件用予通知数据管理 层组件已成功上传巡检原始结果文件。
(9) 、日志采集策略下发接口
示例中定义策略消息为MSGJLOG—POLICY,流程参考策略下发接口部分
(10) 、日志上传接口 数据采集层将日志文件FTP上传到数据管理层，传送结束后，可以将通知
消息编码成消息MSGJX)G—UL—NOTIFY,发布到UP—TO—SA。数据管理层组 件通过订阅该TOPIC来获得上传结束通知。 示例中各控制消息的定义说明如下
MSG—LOG—UL—NOTIFY:数据采集层组件用于通知数据管理层组件已成 功上传日志文件。
3、性能管理*接口。
(1) 、性能采集策略下发接口
示例中定义策略消息为MSG—PM—POLICY,流程参考策略下发接口部分。
(2) 、性能数据上传接口
性能数据上传可以采用JMS标准接口，需在MOM服务器上建立一个名 为Q_PM—DATA的消息队列。
(3) 、热点轮询接口
实施中并不仅限于周期的采集，也可制定策略进行热点轮询，即指用户为 了实时查看一个被管对象的当前状况，而需要使用的一个网管功能。这一接口 的设置是基于如下考虑网管系统正常的的数据采集粒度一般为5分钟以上， 时间粒度太小将使系统资源消耗大，对配置的要求高，因此不能对全网系统普 遍降低采集时间粒度，而又希望在必要时，仍能实时监控某个对象的状态。
热点轮询的接口功能可以包括轮询策略的下发和轮询结果的上传，热点轮 询一般作用于较短的时间内，对实时性要求高。
在制定了热点轮询策略后，当操作人员通过应用管理层的图形用户界面启动热点轮询时，应用管理层向数据采集层下发轮询策略，数据采集层随后开始
热点数据采集；操作人员在需要时可通过热点轮询接口对正在进行中的热点轮 询操作进行暂停、继续和停止等操作。
为了保证热点轮询数据上传的实时性，需要在MOM服务器上单独创建一 个名为Q—HOTPOLLING一DATA的消息队列。
示例的消息的定义说明如下
MSG_PM—HOT一CMD:应用管理层向数据采集层下发热点轮询控制指令， 包括启动指令、暂停指令、继续指令和停止指令等；
MSG_PM_HOT_DATA:数据采集层向应用管理层传送热点轮询结果。
(4) 、业务数据采集策略下发接口
示例中策略消息定义为MSG—SRV一POLICY,流程参考策略下发接口部分。
(5) 、业务数据上传接口
数据采集层北向接口中的业务数据上传接口是与数据管理层间的接口 ，业 务数据上传接口的底层通信实现方式包括FTP和消息传输两种，其中，业务性 能数据文件(即原始业务数据经过预处理之后形成的XML文件)的传送釆用 FTP来完成，控制信息采用消息来承载。
示例中各控制消息的定义说明如下
MSG一SRV一UL一NOTIFY:釆集机通知数据管理层南向适配模块业务数据 文件已上传完毕。
综上可知，本发明实施例具备如下有益效果
1、 可以通过数据展现层及时更改数据采集层的功能或运行方式；如对数 据的预处理功能做修改、对数据传送的目的地做更改等。
2、 可以在数据展现层及时查看当前的数据收集、预处理和传送的情况， 这对于数据展现层来说是非常有必要的。
3、 对于需要及时、短暂的监视被管系统指标的情况，不必在采集机进行 配置或者运行一个模块，支持在需要监视的时候及时采集，这给对系统的使用带来了极大的方便，如热点轮询功能。
4、 对于分布式采集系统，能通过展现层有效来控制多个采集层数据收集、
预处理与传送的方式。
5、 本发明实施例不仅提出了基于策略驱动的釆集机实现方法、思路和方 案，同时也定义了具体的策略实施方式。
明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1、一种网络数据采集方法，其特征在于，该方法包括采集机北向接口层接收采集策略后，将所述采集策略以指令形式发送至逻辑控制与处理层；所述逻辑控制与处理层将所述指令以任务形式存入采集机数据库；所述逻辑控制与处理层读取任务并根据任务进行调度；数据适配层根据所述逻辑控制与处理层的调度进行数据采集，并反馈采集的数据。
2、 如权利要求1所述的方法，其特征在于，所述采集机北向接口层接收 釆集策略后，将所述采集策略以指令形式发送至逻辑控制与处理层，包括如下 步骤解析所述接收的采集策略；将解析出的采集策略转换成指令形式；通过传输北向接口层和逻辑与处理层之间交互指令的指令通道，将所述指 令发送至逻辑控制与处理层。
3、 如权利要求1所述的方法，其特征在于，所述逻辑控制与处理层将所 述指令以任务形式存入采集机数据库，包括如下步骤解析所述接收的指令；将解析出的指令转换成任务形式；将任务存入采集机数据库。
4、 如权利要求1所述的方法，其特征在于，所述逻辑控制与处理层根据 任务进行调度后，进一步包括如下步骤所述逻辑控制与处理层对所述调度的任务进行分解和/或数据补充后，交由 所述数据适配层执行。
5、 如权利要求1所述的方法，其特征在于，所述反馈的采集数据为消息 数据时，所述数据适配层反馈采集数据包括数据适配层将以消息形式上传的数据通过消息通道上传至逻辑处理与控制层；逻辑处理与控制层将消息数据传给北向接口层；北向接口层根据消息数据要上传的目的将消息发送到南向适配模块；或，所述反馈的采集数据为文件数据时，所述反馈采集数据包括 数据适配层将以文件形式上传的数据生成文件后保存在本地，并通知逻辑处理与控制层；逻辑处理与控制层收到文件通知后通过文件上传通道将文件上传消息发送至北向接口层；北向接口层接收到文件上传消息后，根据所述文件要上传的目的地将文件传输至南向适配模块。
6、 一种网络数据采集机，包括北向接口层、逻辑控制与处理层、数据适 配层，其特征在于，还包括采集策略处理模块，与北向接口层相连，用于将北向接口层接收的采集策 略以指令形式发送至逻辑控制与处理层；指令处理模块，与逻辑控制与处理层相连，用于将接收到的所述指令以任 务形式存入采集机数据库；所述逻辑控制与处理层根据采集机数据库中的任务进行调度；数据适配层根据所述逻辑控制与处理层调度的任务进行数据采集，并反馈 釆集的数据。
7、 如权利要求6所述的数据采集机，其特征在于，所述采集策略处理模 块包括策略解析单元，用于解析所述接收的采集策略；策略数据模型转换单元，用于将解析出的采集策略转换成指令形式后经指 令通道发送至逻辑控制与处理层；指令通道，用于传输北向接口层和逻辑与处理层之间交互的指令。
8、 如权利要求6所述的数据釆集机，其特征在于，所述指令处理模块包括指令解析单元，用于解析所述接收的指令；指令数据模型转换单元，用于将解析出的指令转换成任务形式； 任务部署单元，用于将任务存入采集机数据库。
9、 如权利要求6所述的数据采集机，其特征在于，还包括 数据补充模块，用于对所述调度的任务进行分解和/或数据补充后，交由所述数据适配层执行。
10、 一种网络数据采集系统，包括由北向接口层、逻辑控制与处理层、数 据适配层构成的采集机，其特征在于，还包括采集管理模块，用于将采集策略下发至采集机的北向接口层；采集策略处理模块，与北向接口层相连，用于将北向接口层接收的采集策 略以指令形式发送至逻辑控制与处理层；指令处理模块，与逻辑控制与处理层相连，用于将接收到的所述指令以任 务形式存入采集机数据库；所述逻辑控制与处理层读取任务并根据任务进行调度；数据适配层根据所述逻辑控制与处理层的调度进行数据釆集，并反馈采集 的数据；南向适配模块，用于接收所述数据适配层反馈的采集数据。
11、 如权利要求10所述的数据采集系统，其特征在于，所述数据适配层 在反馈的采集数据为消息数据时包括消息发送单元，用于将以消息形式上传的数据通过消息通道上传至逻辑处 理与控制层；所述逻辑处理与控制层将消息数据传给所述北向接口层后，所述北向接口 层根据消息数据要上传的目的将消息发送到南向适配模块。
12、 如权利要求10所述的数据采集系统，其特征在于，所述数据适配层 在反馈的采集数据为文件数据时包括保存单元，用于将以文件形式上传的数据生成文件后保存在本地，并通知 逻辑处理与控制层；所述逻辑处理与控制层收到文件通知后通过文件上传通道将文件上传消 息发送至北向接口层后，所述北向接口层根据所述文件要上传的目的地将文件 传输至南向适配模块。
全文摘要
本发明公开了一种网络数据采集方法，该方法包括采集机北向接口层接收采集策略后，将所述采集策略以指令形式发送至逻辑控制与处理层；逻辑控制与处理层将所述指令以任务形式存入采集机数据库；逻辑控制与处理层读取任务并根据任务进行调度；数据适配层根据所述逻辑控制与处理层的调度进行数据采集，并反馈采集的数据。本发明同时公开一种网络数据采集机和网络数据采集系统。采用本发明可以达到按需采集的目的，能够对采集机的采集范围、采集方式、采集内容和采集粒度等进行定制，以控制采集机的采集行为，获得最需要的数据，从而减少系统的工作负荷。
文档编号H04L12/26GK101515863SQ20081010082
公开日2009年8月26日 申请日期2008年2月22日 优先权日2008年2月22日
发明者冯瑞军, 董成根 申请人:中国移动通信集团公司;亿阳信通股份有限公司