一种多路网络数据采集装置的制作方法

本实用新型涉及网络信息技术领域，更具体地，涉及一种多路网络数据采集装置。

背景技术：

如今大数据分析已经广泛的应用各个行业，对互联网的大数据分析依赖于获得的互联网数据，如何高效的获得互联网数据是数据采集的基本工作。

随着互联网的不断发展，网络信息每时每刻都在不间断的增长，更新数量巨大，数据是动态变化的，常规的数据采集方法已经无法满足网络数据更新的频率，从而导致了数据的丢失，严重的影响了大数据分析的结果。

因而，如何提高网络数据的采集效率，还要保持采集数据的完整已经成为了亟待解决的技术问题。

技术实现要素：

本实用新型提供一种克服上述问题或者至少部分地解决上述问题的多网络数据采集装置，解决了现有技术网络数据采集效率低、数据不完整的问题。

根据本实用新型的一个方面，提供一种多路网络数据采集装置，包括多个采集节点、系统控制器、网络控制器和监控器；所述多个采集节点、系统控制器、网络控制器和监控器都设有以太网络接口和控制接口，并通过以太网络接口和控制接口互联；所述采集节点还包括内部存储器；所述监控器内设有数据缓存器和数据比较器，对采集节点采集的数据进行前后对比，监控数据是否更新。

作为优选的，所述系统控制器还包括控制器CPU、系统存储器、外部存储器接口，所述系统存储器为4G RAM存储器。

作为优选的，所述外部存储器接口为PCle插槽，所述Pcle插槽包括eSATA接口和CF接口。

作为优选的，所述控制接口为Rs-232接口或USB接口。

作为优选的，所述采集节点包括采集CPU、Pcle插槽、内存控制器，所述内部存储器为4G RAM存储器。

作为优选的，所述网络控制器包括网络控制CPU、2G RAM存储器、内存控制器、多以太网络控制器PCle插槽。

作为优选的，所述监控器还包括监控CPU、内存控制器、4G RAM存储器和PCle插槽。

本实用新型提供了一种多路网络数据采集装置，通过设置多个数据采集节点，每个节点都设有各自的内部存储器，对采集到的数据进行初步存储，并通过总线汇总到系统控制器，实现了数据的完整性，同时通过监控器中的数据比较器对采集的数据进行对比，专用的硬件完成数据缓存和数据比对的工作，发现更新数据实时补采，并把补采的数据保存到控制节点的存储空间中，保证在一个采集周期内的数据完整性。

附图说明

图1为根据本实用新型实施例的系统结构框图；

图2为根据本实用新型实施例的系统控制器硬件结构示意图；

图3为根据本实用新型实施例的采集节点硬件结构示意图；

图4为根据本实用新型实施例的监控器硬件结构示意图；

图5为根据本实用新型实施例的网络控制器硬件结构示意图；

图6为根据本实用新型实施例的装置工作流程示意图。

具体实施方式

下面结合附图和实施例，对本实用新型的具体实施方式作进一步详细描述。以下实施例用于说明本实用新型，但不用来限制本实用新型的范围。

根据本实用新型的一个方面，提供一种多路网络数据采集装置，如图1所示，包括多个采集节点、系统控制器、网络控制器和监控器；所述多个采集节点、系统控制器、网络控制器和监控器都设有以太网络接口和控制接口，并通过以太网络接口和控制接口互联；所述采集节点还包括内部存储器；所述监控器内设有数据缓存器和数据比较器，对采集节点采集的数据进行前后对比，监控数据是否更新；还包括系统电源，对整体装置供电。

如图2所示，所述系统控制器包括控制器CPU、内存控制器，4GRAM存储器、以太网络控制器，所述4G RAM存储器、内存控制器、以太网络控制器通过I/O接口连接控制器CPU；所述控制器CPU连接有PCle插槽(可插接CF卡和eSATA)、以太网接口和控制接口，所述控制接口为Rs-232接口或USB接口；所述以太网络控制器还通过总线连接所述控制器CPU。系统控制器提供整个系统的硬件管理接口，管理内部的采集节点、网络控制器、监控器，并通过eSATA连接硬盘提供数据存储的空间；完成数据采集任务的创建、把不同的采集任务分配到不同的采集节点、并对每一个采集节点的采集任务进行任务监控，为采集的数据提供存储空间和内部的网络管理。

如图3中所示，所述采集节点包括采集CPU、内存控制器和4GRAM存储器，所述采集CPU连接有PCle插槽(可插接CF卡)、以太网接口和控制接口，所述控制接口为Rs-232接口或USB接口。每一个采集节点接收到采集的任务和资源配置，开始启动数据采集，采集的数据存储在采集节点的4G RAM存储器上，并上传至系统控制器，同时，采集节点不断的向系统控制器报告数据采集任务执行的状态。

如图4所示，所述监控器包括监控CPU、内存控制器、4G RAM存储器、数据缓存器和数据比较器；所述4G RAM存储器通过所述内存控制器连接监控CPU，所述数据缓存器和数据对比器通过总线连接所述监控CPU，同样的，所述监控CPU连接有PCle插槽，可插接CF卡。在一个数据采集任务没有完成前，监控器实时监控采集过的数据是否更新，专用的硬件完成数据缓存和数据比对的工作，发现更新数据实时补采，并把补采的数据保存到控制节点的存储空间中，保证在一个采集周期内的数据完整性。

如图5所示为网络控制器的硬件结构图，包括网络控制CPU、内存控制器、2G RAM存储器、多以太网络控制器；所述2G RAM存储器、内存控制器、多以太网络控制器通过I/O接口连接所述网络控制CPU；所述多以太网络控制器还通过铜线连接所述网络控制CPU，所述多以太网络控制器上至少设有6个网络接口；所述网络控制CPU连接有PCle插槽(可插接CF卡)。网络控制器提供整个装置的外部网络接口，为系统内的其它硬件节点提供网络资源，通过系统控制器的控制可使内部的网络能够访问外部的访问资源，同时具有防火墙功能。

所述多个采集节点(如图1中所示的采集节点1、采集节点2…采集节点n)通过以太网络接口和控制接口连接系统控制器；并

如图6所示，为本实用新型装置根据采集环境的网络环境，完成一个数据采集的任务流程：

1、通过系统管理接口配置网络参数，根据这个装置的网络环境，进行网络参数的配置，使得装置内部的节点能够访问外部的网络资源，保证能够获得数据源的信息。

2在完成了网络配置后，保证了内部节点可以访问外部网络资源，通过系统管理接口创建数据采集的任务；系统管理器根据数据采集的类型和特点对这个采集任务进行分解，分解成多个采集子任务，系统控制器把这些采集的子任务和相关的资源配置分配到各个采集节点。

3、每一个采集节点接收到采集的子任务和资源配置，开始启动数据采集，采集的数据存储在系统控制器中的存储设备上，同时，采集节点不断的向系统控制器报告数据采集子任务执行的状态。

4、在数据采集的过程中，内容监控节点实时监控已经完成的数据采集结果，检查采集源上的内容是否发生变化，如果数据已经更新，采集已经更新的数据，并保存；这个过程保存到一个完整的数据采集任务结束，保证在数据采集阶段的数据完整。

综上所述，本实用新型提供了一种多路网络数据采集装置，通过设置多个数据采集节点，每个节点都设有各自的内部存储器，对采集到的数据进行初步存储，并通过总线汇总到系统控制器，实现了数据的完整性，同时通过监控器中的数据比较器对采集的数据进行对比，专用的硬件完成数据缓存和数据比对的工作，发现更新数据实时补采，并把补采的数据保存到控制节点的存储空间中，保证在一个采集周期内的数据完整性。最后，本申请的方法仅为较佳的实施方案，并非用于限定本实用新型的保护范围。凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。