一种高效的大数据分布式传输系统及方法与流程

本发明设计大数据传输技术领域，具体而言，特别设计一种高效的大数据分布式传输系统及方法。

背景技术

随着互联网移动互联网技术的发展，产生的数据越来越多，数据需要被采集到大数据中心进行存储，并且使用数据挖掘算法挖掘数据的价值，指导未来的战略布局和营销。而从数据采集到数据中心化存储，必然会使用到大数据传输技术。但相关技术中的数据传输的系统，在进行大规格海量数据并发传输，把个采集机采集到的数据级联传输至大数据中心时，对采集机运行状态的监测能力差，数据的完整性容易出现问题。

技术实现要素：

本发明旨在至少在一定程度上解决现有技术中的上述技术问题之一。有鉴于此，本发明一方面需要提供一种高效的大数据分布式传输系统保证数据准实时传输至大数据中心。同时，本发明提供了一种高效的大数据分布式传输方法。

根据本发明的实施例的高效的大数据分布式传输系统,包括：采集机，所述采集机通过智能体采集网络中产生的网络数据；分布式消息总线kafka集群，所述分布式消息总线kafka集群与所述采集机连接，并使用flume采集数据以接收所述智能体采集到的数据，并对数据进行汇聚；第一磁盘，所述第一磁盘与所述分布式消息总线kafka集群连接，汇聚后的数据落入所述第一磁盘中；单向设备，所述单向设备与所述第一磁盘相连，以将所述第一磁盘上的数据进行单向摆渡分布式文件系统或第二磁盘。

根据本发明的实施例的高效的大数据分布式传输系统，不同的数据在不同的网络中，数据存储可能是物理隔离的；数据采集机分散部署在各地，不便于管理，本专利解决采集机运行状态的监测；通过数据校验机制保证数据传输的完整性；通过对节点资源监测，适配硬件资源，保证数据准实时传输至大数据中心。

另外，根据本发明上述实施例的高效的大数据分布式传输系统还可以具有如下附加的技术特征：

根据本发明的一个实施例，所述采集机通过智能体对自定义监测采集字段进行采集。

根据本发明的一个实施例，所述采集机通过智能体对设备软件产生的数据字段进行采集。

根据本发明的一个实施例，所述单向设备与所述分布式文件系统及所述第二磁盘物理隔离。

根据本发明的一个实施例，所述单向设备为网闸。

根据本发明的实施例的高效的大数据分布式传输方法,包括以下步骤：使用采集机采集网络中产生的网络数据，并在每台采集机上部署智能体，使用flume采集数据传输至分布式消息总线kafka集群；所述分布式消息总线kafka集群接收到的智能体采集的数据汇聚于kafak集群，并且落入第一磁盘；所述磁盘上的数据通过单向设备摆渡到物理网隔离的分布式文件系统和/或第二磁盘。

根据本发明的实施例的高效的大数据分布式传输方法，不同的数据在不同的网络中，数据存储可能是物理隔离的；数据采集机分散部署在各地，不便于管理，本专利解决采集机运行状态的监测；通过数据校验机制保证数据传输的完整性；通过对节点资源监测，适配硬件资源，保证数据准实时传输至大数据中心。

另外，根据本发明上述实施例的高效的大数据分布式传输方法还可以具有如下附加的技术特征：

根据本发明的一个实施例，高效的大数据分布式传输方法进一步包括以下步骤：通过自定义接口把数据上传至大数据中心的分所述布式文件系统。

根据本发明的一个实施例，通过上传数据的传输的agent性能指标及kafka的状态信息，进行硬件的扩容和消减。

根据本发明的一个实施例，所述采集机通过智能体对自定义监测采集字段进行采集。

根据本发明的一个实施例，所述采集机通过智能体对设备软件产生的数据字段进行采集。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是根据本发明的一个实施例的高效的大数据分布式传输系统的结构示意图。

图2是根据本发明的一个实施例的高效的大数据分布式传输方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

如图1所示，根据本发明的实施例的高效的大数据分布式传输系统,包括：采集机10、分布式消息总线kafka集群20、第一磁盘31和单向设备40。

具体而言，采集机10可以通过智能体(agent)采集网络中产生的网络数据。采集机10可以为多个，分布式消息总线kafka集群20可以与采集机10连接，并使用flume采集数据以接收智能体(agent)采集到的数据，并对数据进行汇聚。第一磁盘31与分布式消息总线kafka集群20连接，汇聚后的数据落入第一磁盘31中。单向设备40与第一磁盘31相连，以将第一磁盘31上的数据进行单向摆渡分布式文件系统或第二磁盘32。

根据本发明的实施例的高效的大数据分布式传输系统，不同的数据在不同的网络中，数据存储可能是物理隔离的；数据采集机分散部署在各地，不便于管理，本专利解决采集机运行状态的监测；通过数据校验机制保证数据传输的完整性；通过对节点资源监测，适配硬件资源，保证数据准实时传输至大数据中心。

根据本发明的一个实施例，采集机10可以通过智能体对自定义监测采集字段进行采集。由此，可以提高数据处理的效率。可以理解的是，采集机10可以通过智能体(agent)对设备软件产生的数据字段进行采集。

根据本发明的一个实施例，单向设备40可以与分布式文件系统(hdfs)及第二磁盘32物理隔离。可以理解的是，根据本发明的一个实施例，单向设备为网闸。

根据本发明的实施例的高效的大数据分布式传输系统，使用采集机采集网络中产生的网络数据，主要保持自定义监测采集字段和设备软件产生的数据字段；

在每台采集机上部署agent，使用flume采集数据传输至分布式消息总线kafka集群；

kafka集群接收到的agent采集的数据汇聚于kafak集群，并且落入磁盘；

磁盘上的数据通过单向设备摆渡到物理网隔离的其他网络系统；

通过自定义接口把数据上传至大数据中心的分布式文件系统。

通过上传数据的传输的agent性能指标及kafka的状态信息，进行硬件的扩容和消减。

根据本发明的实施例的高效的大数据分布式传输方法,可以包括以下步骤：

s1：使用采集机采集网络中产生的网络数据，并在每台采集机上部署智能体，使用flume采集数据传输至分布式消息总线kafka集群。

s2：所述分布式消息总线kafka集群接收到的智能体采集的数据汇聚于kafak集群，并且落入第一磁盘。

s3：所述磁盘上的数据通过单向设备摆渡到物理网隔离的分布式文件系统和/或第二磁盘。

根据本发明的实施例的高效的大数据分布式传输方法，不同的数据在不同的网络中，数据存储可能是物理隔离的；数据采集机分散部署在各地，不便于管理，本专利解决采集机运行状态的监测；通过数据校验机制保证数据传输的完整性；通过对节点资源监测，适配硬件资源，保证数据准实时传输至大数据中心。

进一步地，根据本发明的一个实施例，高效的大数据分布式传输方法可以进一步包括以下步骤：

可以理解的而是，可以通过自定义接口把数据上传至大数据中心的分所述布式文件系统。

根据本发明的实施例，通过上传数据的传输的agent性能指标及kafka的状态信息，进行硬件的扩容和消减。

根据本发明的一个实施例，所述采集机通过智能体对自定义监测采集字段进行采集。

根据本发明的一个实施例，所述采集机通过智能体对设备软件产生的数据字段进行采集。

本发明是面向大数据的一种高效可靠传输系统，使用优化后flume收集海量的日志数据，采用kafak作为数据汇聚方式，保证数据采集的高效性和完整性。kafka采集到数据落入磁盘后，通过api写入hdfs分布式文件系统。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。