一种基于Flume与Alluxio的数据收集方法与流程

本发明涉及信息技术领域，特别涉及一种云计算平台技术领域中基于flume与alluxio的数据快速收集的方法与装置。

背景技术：

在云计算时代，面对海量数据，传统的etl(extraction-transformation-loading)工具显然力不从心，主要是数据转换开销太大，在性能上无法满足海量数据的采集需求。为了提高海量数据收集的性能，目前已经产生了各种成熟并且效果非常好的海量数据收集组件，比如常用的apache基金会的开源flume组件。flume是一个分布式、可靠和高可用的海量数据聚合系统，其支持在系统中收集不同类型的数据源的数据，同时，提供对数据进行简单处理，并下沉到不同数据接收方的能力。

如图1中所示，agent是一个独立的flume数据收集进程，它主要包括以下几个子组件：

source子组件：负责接收数据单元，并将数据单元批量的放置到一个或多个channel子组件。

sink子组件：负责将数据单元传输到下一跳或最终的目标存储，成功后将数据单元从channel子组件中删除。

channel子组件：位于source子组件与sink子组件之间，用于缓存传递进来的数据单元。

sink子组件也称作数据下沉组件，现有的数据下沉组件主要有hdfs-sink、kafka-sink、hbase-sink等组件，并且数据都是下沉到基于hdd(harddiskdrive)硬盘驱动器的文件系统，因此flume数据收集的数据下沉过程的性能瓶颈就在hdd的i/o操作上。即使将数据下沉到基于ssd(solidstatedrive)固态硬盘的文件系统，不仅大大增加了硬件的投入成本，而且数据下沉组件的性能提升也有限。为此，迫切需要一种能够提升数据收集性能的收集方法。

本发明中部分术语与解释如下：

etl(extraction-transformation-loading)数据提取转换和加载

hdfs(hadoopdistributedfilesystem)hadoop分布式文件系统

mem(memory)内存

ssd(solidstatedrive)固态硬盘

hdd(harddiskdrive)硬盘驱动器

lrfu(leastrecently/frequentlyused)最近最久/频繁未使用

技术实现要素：

针对上述问题，本发明提出了一种基于flume与alluxio的数据快速收集装置与收集方法。引入了alluxio(原名为tachyon)分布式内存文件系统，它是以内存为中心的虚拟的分布式存储系统，它统一了数据访问的方式，为上层的计算框架和底层存储系统提供了沟通的桥梁。

利用alluxio组件的异步持久化与层次化存储等特性降低硬件的投入成本，并且提升了flume的数据下沉组件的性能。层次化存储是指alluxio根据i/o性能的高低从上向下配置存储层，它支持mem、ssd、hdd这三种存储类型。异步持久化是指数据块写入内存中即可完成数据写入的i/o操作，持久化操作由alluxio组件异步完成，因此节省了针对hdd或ssd的i/o操作时间，提升了数据下沉的效率。

更具体而言，本发明提出了一种基于flume与alluxio的数据收集装置与数据收集方法。其中，该数据收集装置包括：数据提取端、代理端、alluxio端以及数据保存端；

其中，数据提取端用于采集获取海量的原始数据单元；

其中，代理端用于将数据提取端所提取的原始数据单元进行数据转换，得到统一格式的数据；其具体包括：source子组件、channel子组件以及flume-alluxio-sink数据下沉组件；

其中，alluxio端用于接收来自代理端的经过转换处理过的数据单元，并将数据单元传输到数据保存端执行数据异步持久化操作；

其中，数据保存端用于将数据单元持久化保存起来。

较佳地，source子组件负责接收数据单元，并将数据单元批量的放置到一个或多个channel子组件；

较佳地，channel子组件位于source与flume-alluxio-sink数据下沉组件之间，用于缓存进来的数据单元。

较佳地，flume-alluxio-sink数据下沉组件负责将数据单元传输到下一跳或最终的目标存储，成功后将数据单元从channel中删除。

较佳地，flume-alluxio-sink数据下沉组件具有alluxio系统的异步持久化特性，flume-alluxio-sink数据下沉组件的异步持久化使得channel组件中的数据写入到内存中就可以结束数据单元批量下沉的事务，而数据的持久化则由alluxio的异步操作完成；

较佳地，flume-alluxio-sink数据下沉组件还具有alluxio系统的层次存储特性，由于alluxio管理的数据块不只在内存中，它通过分配策略和回收策略管理数据块的存放和移动，使得flume-alluxio-sink数据下沉组件增加了可利用的内存容量。

本发明采用alluxio分布式内存文件系统作为flumesink子组件的目标存储，设计了flume-alluxio-sink数据下沉组件。通过利用alluxio系统的异步持久化特性提高了数据下沉的效率，通过利用alluxio系统的层次存储特性后，使得flume-alluxio-sink数据下沉组件大大增加了可利用的内存容量。

此外，本发明还提出一种基于flume与alluxio的数据收集方法，方案如下：

首先，安装部署启用层次存储的alluxio集群；

第二步，设计实现flume-alluxio-sink数据下沉组件，并将设计的flume-alluxio-sink数据下沉组件的jar包分发到flume的每个节点机器的类加载路径；

第三步，最后配置数据收集的flume-alluxio-sink数据下沉组件的type为alluxio。

完成以上三个步骤之后，第四步，启动所有flume组件的agent进程，即可使用基于flume与alluxio的数据快速收集方法。

其中，第二步中，flume-alluxio-sink组件的实现主要包括以下几部分内容：

alluxio启用分层存储后配置分配策略、回收策略和预留空间；

设计实现继承自abstractsink抽象类并实现了configurable接口的alluxioeventsink类；

定义flume-alluxio-sink组件sink类型参数的值为alluxio。

alluxioeventsink类实现configurable接口的configure(contextcontext)方法读取有关alluxio的相关配置参数；

alluxioeventsink类实现抽象类abstractsink的process()方法，通过循环处理接收到的数据单元，即将它们按照hdfs中对应的文件格式写入alluxio分布式内存文件系统；

针对hdfs中的不同文件类型，设计hdfs中多种格式数据文件与byte[]数组或bytebuffer二进制缓冲区数据转换类；

alluxio在将数据单元写入alluxio之前会依赖所述的数据转换类转化数据类型。

本发明采用alluxio作为flume收集数据下沉的目标存储文件系统，设计实现了数据下沉组件flume-alluxio-sink。flume-alluxio-sink组件通过利用alluxio的异步写入和层次存储特性降低了硬件的投入成本，并且提高了数据下沉的效率，提升了flume数据收集的性能。通过配置的分配策略将数据尽量平均地分配到集群中的每个节点上，避免了一定程度的数据倾斜问题。

附图说明

图1是现有技术中数据收集装置的体系架构图；

图2是本发明实施例中数据收集装置的体系架构图；

图3是本发明实施例中类继承图；

图4是本发明实施例中数据收集方法的工作流程示意图；

具体实施例

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

参见图2，本发明提供一种基于flume与alluxio的数据收集装置1，其中，该数据收集装置1包括：数据提取端2、代理端3、alluxio端4以及数据保存端5；

其中，数据提取端2用于采集获取海量的原始数据单元；

其中，代理端3用于将数据提取端所提取的原始数据单元进行数据转换，得到统一格式的数据；其具体包括：source子组件31、channel子组件32以及flume-alluxio-sink数据下沉组件33；

其中，alluxio端4用于接收来自代理端的经过转换处理过的数据单元，并将数据单元传输到数据保存端执行数据异步持久化操作；

其中，数据保存端5用于将数据单元持久化保存起来。

较佳地，source子组件31负责接收数据单元，并将数据单元批量的放置到一个或多个channel子组件32；

较佳地，channel子组件32位于source子组件31与flume-alluxio-sink数据下沉组件33之间，用于缓存进来的数据单元。

较佳地，flume-alluxio-sink数据下沉组件33负责将数据单元传输到下一跳或最终的目标存储，成功后将数据单元从channel子组件32中删除。

较佳地，flume-alluxio-sink数据下沉组件33具有alluxio系统的异步持久化特性，flume-alluxio-sink数据下沉组件33的异步持久化使得channel组件中的数据写入到内存中就可以结束数据单元批量下沉的事务，而数据的持久化则由alluxio的异步操作完成；

较佳地，flume-alluxio-sink数据下沉组件33还具有alluxio系统的层次存储特性，由于alluxio管理的数据块不只在内存中，它通过分配策略和回收策略管理数据块的存放和移动，使得flume-alluxio-sink数据下沉组件增加了可利用的内存容量。

本实施例所提出的数据采集装置采用alluxio分布式内存文件系统作为flumesink子组件的目标存储，设计了flume-alluxio-sink数据下沉组件。

本实施例中通过利用alluxio系统的异步持久化特性提高了数据下沉的效率，异步持久化使得flume-alluxio-sink数据下沉组件将channel组件中的数据写入到内存中就可以结束数据单元批量下沉的事务，而数据的持久化则由alluxio的异步操作中完成。

本实施例中通过利用alluxio系统的层次存储特性后，使得flume-alluxio-sink数据下沉组件大大增加了可利用的内存容量(基本上不会用尽)，这是由于alluxio管理的数据块不只在内存中，它通过分配策略和回收策略管理数据块的存放和移动。

另一方面，本发明的实施例提供一种基于flume与alluxio的数据收集方法，参见图4，包括如下步骤：

步骤101，安装部署并启用层次存储的alluxio集群；

步骤102，设计实现flume-alluxio-sink数据下沉组件，并将设计实现的flume-alluxio-sink数据下沉组件的jar包分发到flume的每个节点机器的类加载路径；

步骤103，配置数据收集的flume-alluxio-sink数据下沉组件的type为alluxio；

完成以上三个步骤之后，执行步骤104，启动所有flume组件的agent进程，即可使用基于flume与alluxio的数据快速收集方法。

较佳地，所述步骤102中，flume-alluxio-sink组件的实现主要包括以下步骤：

步骤1021，alluxio启用分层存储后需要配置分配、回收策略和预留空间。

采用轮询调度分配策略，即分配数据块到有空间的最高存储层，存储目录通过轮询调度选出；采用lrfu回收策略，即基于权重分配的最近最少使用和最不经常使用策略移除数据块。每层存储预留空间比例，一般mem预留0.4，ssd预留0.2，hdd不启用预留。

步骤1022，设计实现继承自abstractsink抽象类并实现了configurable接口的alluxioeventsink类，如图3所示。

步骤1023，定义flume-alluxio-sink组件sink类型参数的值为alluxio。

步骤1024，alluxioeventsink类实现configurable接口的configure(contextcontext)方法读取有关alluxio的相关配置参数，如：alluxio的uri地址，文件路径，文件类型，文件名称生成策略，以及文件滚动策略等。

步骤1025，alluxioeventsink类实现抽象类abstractsink的process()方法，通过循环处理接收到的数据单元，即将它们按照hdfs中对应的文件格式(如文本、顺序文件、avro文件等)写入alluxio分布式内存文件系统。

需要注意的是：写入数据到文件的事务处理以及写类型(writetype.async_through)等。

步骤1026，针对hdfs中的不同文件类型，设计研发了hdfs中text、sequence、avro等格式数据文件与byte[]数组或bytebuffer二进制缓冲区数据转换类。如textbytearrayconverter、textbytebufferconverter等类。

步骤1027，alluxio在将数据单元写入alluxio之前会依赖上一条所述的转换类转化数据类型。

本发明采用alluxio作为flume收集数据下沉的目标存储文件系统，设计实现了数据下沉组件flume-alluxio-sink。flume-alluxio-sink组件通过利用alluxio的异步写入和层次存储特性降低了硬件的投入成本，并且提高了数据下沉的效率，提升了flume数据收集的性能。通过配置的分配策略将数据尽量平均地分配到集群中的每个节点上，避免了一定程度的数据倾斜问题。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是符合与本文所公开的原理和新颖特点相一致的最宽的范围。