数据流转系统、数据流转方法、电子设备和存储介质与流程

本发明涉及数据处理技术领域，具体地说，涉及一种数据流转系统、数据流转方法、电子设备和存储介质。

背景技术：

大型系统，如分布式系统中，总是会有大量数据需要收集、过滤、并发送到下游服务处理。如何有效收集数据并高效输送给下游，是处理海量数据时必须考虑的问题。

现有的数据流转工具或多或少有些缺陷。有些性能优秀但是目标单一，比如主要是为了解决数据库数据之间的同步。还有些目标广泛，但是因为设计原因，对性能有所牺牲。

例如典型地，大型系统中日志数据往往是海量的。针对日志数据常见的数据流转工具有flume和logstash。flume提供日志同步服务，为了避免数据异常，对性能做了很大的牺牲；如果希望提高性能就需要启动大量flume节点，无形之中增加运维成本和管理成本，也给后端的日志存储带来新的问题。而logstash由于语言特性，在扩展、jvm微调的时候都面临种种困难。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

有鉴于此，本发明提供一种数据流转系统、数据流转方法、电子设备和存储介质，解决现有技术中数据流转工具可扩展性差，无法有效控制节点数、在数据流转的调度和管理上不够灵活的问题。

根据本发明的一个方面，提供一种数据流转系统，包括：可扩展的数据处理模块，所述数据处理模块采集和过滤数据，并输出过滤后的数据；可配置的调度模块，所述数据处理模块通过接口与所述调度模块通信，所述调度模块对所述数据处理模块各层的数据进行调度；可配置的流控模块，所述数据处理模块通过接口与所述流控模块通信，所述流控模块对所述数据处理模块各层的数据流量进行管理；接口层，提供至少供所述数据处理模块扩展的扩展接口；以及配置模块，提供至少供所述调度模块和流控模块配置的配置接口。

优选地，上述的数据流转系统中，所述数据处理模块包括：数据采集层，包括一个或多个采集器，用于采集数据；过滤层，包括一个或多个过滤器，对采集的数据进行过滤；数据写入层，包括一个或多个输出接口，用于输出过滤后的数据；所述数据处理模块的各层之间通过抽象接口通信。

优选地，上述的数据流转系统中，所述数据处理模块还包括：一个或多个缓冲层，位于所述数据采集层与所述过滤层之间，和/或，位于所述过滤层与所述数据写入层之间；所述数据处理模块各层之间通过所述缓冲层进行数据的异步流转。

优选地，上述的数据流转系统中，所述数据采集层具有采集进度反馈接口，用于至少向所述调度模块和所述流控模块提交数据采集进度。

优选地，上述的数据流转系统中，所述采集进度反馈接口包括同步反馈接口和异步反馈接口。

优选地，上述的数据流转系统中，所述调度模块执行：调度所述过滤层的一个或多个过滤器，控制数据从所述数据采集层分别流经经调度的过滤器；以及控制过滤后的数据从所述数据写入层输出。

优选地，上述的数据流转系统中，所述调度模块还执行：对流转的具有相同行为的数据添加唯一的标识id。

优选地，上述的数据流转系统中，所述流控模块对所述数据处理模块各层的数据读取数量和数据读取频次进行管理。

优选地，上述的数据流转系统还包括：可配置的异常检测模块，用于监控流转的数据。

根据本发明的另一个方面，提供一种数据流转方法，所述数据流转方法由上述的数据流转系统执行，包括：所述数据处理模块采集和过滤数据，并输出过滤后的数据；所述调度模块通过接口与所述数据处理模块通信，对所述数据处理模块各层的数据进行调度；所述流控模块通过接口与所述数据处理模块通信，对所述数据处理模块各层的数据流量进行管理；所述数据处理模块通过扩展接口扩展处理一个或多个数据源；所述调度模块通过配置接口配置数据的调度模式；以及所述流控模块通过配置接口配置数据流量的管理模式。

根据本发明的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的数据流转方法的步骤。

根据本发明的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的数据流转方法的步骤。

本发明与现有技术相比的有益效果在于：

数据处理模块可通过扩展接口进行扩展，方便对接不同数据源；调度模块可通过配置接口进行配置，动态生效，方便整合和调度系统资源；流控模块可通过配置接口进行配置，动态生效，在实时数据流转情况下对数据进行流控管理；整个系统具有很好的灵活性，便于使用；

并且，数据处理模块、调度模块、流控模块通过接口通信，所有模块相互独立，可以有效控制节点数，使整个系统能够高效地流转大量数据。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本发明实施例中一种数据流转系统的模块示意图；

图2示出本发明实施例中一种数据流转系统的架构示意图；

图3示出本发明实施例中一种数据处理模块的架构块示意图；

图4示出本发明实施例中一种数据流转方法的步骤示意图；

图5示出本发明实施例中一种电子设备的示意图；

图6示出本发明实施例中一种计算机可读存储介质的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

本发明的数据流转系统可以高效地流转处理大量数据，整个系统有很好的灵活性，非常便于用户使用。结合图1和图2所示，在本发明的一些实施例中，数据流转系统1包括但不限于以下模块：

可扩展的数据处理模块11，数据处理模块11采集和过滤数据，并输出过滤后的数据。

在优选的实施例中，数据处理模块11进一步包括：

数据采集层111，包括一个或多个采集器，用于采集数据。如图2所示，数据采集层111可以包括kafkacollector(kafka收集器，kafka是一种高吞吐量的分布式发布订阅消息系统)，logfilecollector(日志文件收集器)和其他可扩展的收集器，可以根据需要进行扩展，以对接不同的数据源。数据采集层111中的各个采集器采集原始数据，配合框架接口，抽象输出原始数据。数据采集层111中的各个采集器均通过接口进行通信，各个采集器互相独立，可以根据需要控制特定的采集器运行。

数据采集层11还具有采集进度反馈接口，用于至少向调度模块12和流控模块13提交数据采集进度。优选地，数据采集层11的采集进度反馈接口包括同步反馈接口，用于同步提交数据采集进度，以及异步反馈接口，用于异步提交数据采集进度。实现实时掌握数据采集层11中各个采集器的数据采集进度，避免数据重复采集以及数据丢失的情况。

过滤层112，包括一个或多个过滤器，用于对采集的数据进行过滤。过滤层112可以包括filter(过滤器)1121，filter(过滤器)1122，filter(过滤器)1123和其他可扩展的过滤器。过滤层112中的各个过滤器均通过接口进行通信，各个过滤器互相独立，可以根据需要编排和插拔过滤器。

数据写入层113，包括一个或多个输出接口，用于输出过滤后的数据。数据写入层113可以包括db(database，数据库)接口，elasticsearch(一种日志分析平台)接口和他可扩展的输出接口，可以根据需要扩展对接至不同的系统，实现数据的针对性输出。

进一步的，数据处理模块11还可包括一个或多个缓冲层114，位于数据采集层111与过滤层112之间，和/或，位于过滤层112与数据写入层113之间，数据处理模块11各层之间通过缓冲层114进行数据的异步流转。具体来说，如果没有配置缓冲层114，调度模块12将会通过同步的方式控制数据处理模块11上下层之间的数据流转；缓冲层114可以让数据采集层111尽快进行下一次的数据采集，并且也可以对多次流转进来的数据进行打包，下次处理器尽量不需要进行锁竞争。

缓冲层114中包括多个缓冲区，如图2所示的ringbuffer、blockingqueue以及其他可扩展的缓冲区，可以根据需要扩展不同的缓冲区，实现数据的缓存处理。

在优选的实施例中，数据处理模块11的各层之间通过抽象接口通信，使得数据处理模块11的各层之间相互独立，可以独立地运行并应用到其他环境中。

可配置的调度模块12，数据处理模块11通过接口与调度模块12通信，调度模块12对数据处理模块11各层的数据进行调度。

具体来说，在一些实施例中，调度模块12执行：首先控制数据采集层111的一个或多个采集器采集数据。然后调度过滤层112的一个或多个过滤器，控制数据分别流经经调度的过滤器进行过滤；其中调度模块12可以对过滤层112的过滤器进行编排，数据会以流的形式流过所有的过滤器(如图2中箭头所示，数据从filter1121流至filter1123)，过滤器之间可以通过接口任意插拔，视过滤需要而定。接着，调度模块12可以控制过滤后的数据从数据写入层113的一个或多个输出接口输出。

调度模块12可以整合数据处理模块11的各个层的资源，由于各个层之间通过接口通信，可以根据需要搭建不同配置的数据处理模块。此外调度模块12还可以调度数据处理模块11各个层内部线程，让单进程尽可能地使用系统资源。

在优选的实施例中，调度模块12还可执行：对流转的具有相同行为的数据添加唯一的标识id。具体来说，是对流转数据抽象id字段，相同id表示相同行为，这样在数据写入层113更容易保证数据幂等。

进一步的，调度模块12可以通过配置模块15提供的配置接口进行配置，如通过浏览器进行配置，以适应不同的数据流转调度需求。

可配置的流控模块13，数据处理模块11通过接口与流控模块13通信，流控模块13对数据处理模块11各层的数据流量进行管理。

以日志数据流转处理为例，由于数据量大，可能过多的数据会影响整个物理机的网卡，甚至在高峰期，由于缓冲层114配置不当，可能会导致内存溢出等情况。通过流控模块13对数据处理模块11的数据读取数量、频次、间隔等参数进行配置，动态生效，实现实时数据流转情况下，通过流控模块13对数据进行流控管理。

流控模块13可以通过配置模块15提供的配置接口进行配置，如通过浏览器进行配置，以适应不同的数据流量管理控制需求。

接口层14，提供至少供数据处理模块11扩展的扩展接口，实现实时数据流转情况下，数据处理模块11可以灵活扩展，方便对接不同数据源。

接口层14还提供供上述各个模块(包括数据处理模块11、调度模块12、流控模块13等)之间相互通信的抽象接口。通过对数据流转主要的几个节点分别进行抽象，实现采集、过滤、发送、调度、管理相互独立。通过实现抽象接口，使得数据流转系统的核心只需关注通用逻辑，而扩展方关注具体应用逻辑。各个模块相互独立，根据需要组合以适应不同数据流转需求。

进一步的，在优选的实施例中，数据流转系统1还包括：可配置的异常检测模块16，用于监控流转的数据。由于数据的多样性，可能导致由于数据异常使一部分过滤器处于僵死状态，或者当前处理器内存中数据过多已经来不及处理等问题，通过异常检测模块16可以监控数据，发现异常时发出告警。异常检测模块16也可通过配置模块15提供的配置接口进行配置，如通过浏览器进行配置，以适应不同的数据异常监控需求。

上述实施例中的数据流转系统通过扩展接口对数据处理模块进行扩展，方便对接不同数据源；通过配置接口对调度模块、流控模块、异常检测模块等管理模块进行配置，动态生效，方便在实时数据流转情况下对数据进行管理，整个系统具有很好的灵活性，方便使用。所有模块之间通过接口通信，相互独立，可以有效控制节点数，使整个系统能够高效地流转大量数据。且由于采集，过滤，发送，调度，管理等相互独立，在发生问题时可以针对少量模块进行问题排查，节约计算资源，提高资源利用率。

参照图3所示，在一个具体的应用实例中，采用上述任意实施例的数据处理模块11对日志数据进行采集、过滤和输出。

本实施例中数据处理模块11包括数据采集层111、过滤层112、数据写入层113、以及两个缓冲层114，分别位于数据采集层111与过滤层112之间，和过滤层112与数据写入层113之间。

其中，数据采集层111通过kafka采集器对日志数据，包括业务日志、网关日志、metrics数据、agent日志等日志数据进行采集。

过滤层112通过多个过滤器对采集的日志数据进行过滤，包括格式过滤、业务过滤、网关过滤等。

数据写入层113通过elasticsearch接口将过滤后的日志数据写入elasticsearch集群。

缓冲层114通过blockingqueue实现多线程共享数据。通过bulkqueue有效减少对elasticsearch的请求次数，单进程可以处理多种数据流转需求。

通过上述的数据处理模块11，高峰期单机可以实现每秒处理30000条日志数据并写入elasticsearch集群。即便某个采集器出现故障重启，也能有效保证日志数据不重复，不丢失。

本发明的实施例还提供一种数据流转方法，数据流转方法由上述任意实施例所描述的数据流转系统执行。参照图4所示，在一些实施例中，数据流转方法包括但不限于以下步骤：

s10、数据处理模块采集和过滤数据，并输出过滤后的数据。

s20、调度模块通过接口与数据处理模块通信，对数据处理模块各层的数据进行调度。

s30、流控模块通过接口与数据处理模块通信，对数据处理模块各层的数据流量进行管理。

s40、数据处理模块通过扩展接口扩展处理一个或多个数据源。

s50、调度模块通过配置接口配置数据的调度模式。

s60、流控模块通过配置接口配置数据流量的管理模式。

其中，步骤前的标号仅用于区分不同的步骤，并不限制各步骤间的执行顺序。

进一步的，数据流转方法还包括上述任意实施例所描述的数据流转系统的各个模块的子模块执行的步骤，此处不再重复描述。

本发明实施例还提供一种电子设备，包括处理器和存储器，存储器中存储有可执行指令，处理器被配置为经由执行可执行指令来执行上述实施例中的数据流转方法的步骤。

如上所述，本发明的电子设备能够通过扩展接口对数据处理模块进行扩展，方便对接不同数据源；通过配置接口对各个管理模块进行配置，实现对数据流转的动态管理；所有模块之间通过接口通信，相互独立，可以有效控制节点数，节约计算资源，提高资源利用率。

图5是本发明实施例中电子设备的结构示意图，应当理解的是，图5仅仅是示意性地绘示出各个模块，这些模块可以是虚拟的软件模块或实际的硬件模块，这些模块的合并、拆分及其余模块的增加都在本发明的保护范围之内。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

下面参照图5来描述根据本发明的这种实施方式的电子设备400。图4显示的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于：至少一个处理单元410、至少一个存储单元420、连接不同平台组件(包括存储单元420和处理单元410)的总线430、显示单元440等。

其中，存储单元存储有程序代码，程序代码可以被处理单元410执行，使得处理单元410执行本说明书上述数据流转方法部分描述的根据本发明各种示例性实施方式的步骤。例如，处理单元410可以分别执行如图4所示的步骤。

存储单元420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)4201和/或高速缓存存储单元4202，还可以进一步包括只读存储单元(rom)4203。

存储单元420还可以包括具有一组(至少一个)程序模块4205的程序/实用工具4204，这样的程序模块4205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备400也可以与一个或多个外部设备500(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备400交互的设备通信，和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口450进行。并且，电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器460可以通过总线430与电子设备400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。

本发明实施例还提供一种计算机可读存储介质，用于存储计算机程序，计算机程序被执行时实现上述实施例的数据流转方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述数据流转方法部分描述的根据本发明各种示例性实施方式的步骤。

如上所述，本发明的计算机可读存储介质能够通过扩展接口对数据处理模块进行扩展，方便对接不同数据源；通过配置接口对各个管理模块进行配置，实现对数据流转的动态管理；所有模块之间通过接口通信，相互独立，可以有效控制节点数，节约计算资源，提高资源利用率。

图6是本发明的计算机可读存储介质的结构示意图。参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。