数据采集方法、装置、服务器及存储介质与流程

本发明实施例涉及数据采集技术领域，尤其涉及一种数据采集方法、装置、服务器及存储介质。

背景技术：

随着大数据时代的来临，对数据采集方法的多样性、可监控性有了更高的要求。

传统数据采集方法，多数针对一种服务器平台获取数据，仅支持某一种类型的数据源的采集，这使得数据采集方法的应用受到限制。并且传统数据采集方法多数从数据源中获取数据并直接存储到目标路径下，这使得数据采集的中间过程难以跟踪和管理。

技术实现要素：

本发明提供一种数据采集方法、装置、服务器及存储介质，以实现对多种数据类型进行采集、跟踪和管理。

第一方面，本发明实施例提供了一种数据采集方法，该方法包括：

获取当前的数据采集任务，其中，数据采集任务中至少包括任务类型和待采集数据的数据类型；

从预先配置的url模板库中确定与任务类型和数据类型相匹配的当前url，其中，url模板库中配置有不同类型的数据在数据采集过程中与不同任务类型所对应的url；

按照当前url执行所述当前的数据采集任务。

第二方面，本发明实施例还提供了一种数据采集装置，该装置包括：

任务获取模块，用于获取当前的数据采集任务，其中，数据采集任务中至少包括任务类型和待采集数据的数据类型；

模板确定模块，用于从预先配置的url模板库中确定与任务类型和数据类型相匹配的当前url，其中，url模板库中配置有不同类型的数据在数据采集过程中与不同任务类型所对应的url；

任务执行模块，用于按照当前url执行所述当前的数据采集任务。

第三方面，本发明实施例还提供了一种服务器，该服务器包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任一实施例所述的数据采集方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例所述的数据采集方法。

本发明通过预设url模板，将数据源路径和存储路径都采用url模板的形式表达出来，并且url模板的设置能够自适应多种数据类型，解决普通数据采集系统支持类型单一的问题，实现了对多种数据类型的采集、跟踪和管理。

附图说明

图1a是本发明实施例一中的数据采集方法流程图；

图1b是本发明实施例一中的基于数据流向的url流程图；

图2是本发明实施例二中的数据采集任务状态迁移图；

图3是本发明实施例三中的数据采集装置的模块图；

图4是本发明实施例四中的服务器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1a为本发明实施例一提供的数据采集方法的流程图，本实施例可适用于远距离跨数据中心的数据采集的情况，该方法可以由数据采集装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器上。所述方法具体包括如下步骤：

s110、获取当前的数据采集任务，其中，所述数据采集任务中至少包括任务类型和待采集数据的数据类型；

其中，数据采集的任务类型例如包括数据抽取任务、数据搬迁任务、数据载入任务，这些数据采集任务可以按触发方式分为立即执行任务和定时处理任务。对于立即处理任务，数据采集系统的相应模块检测到数据便会立即执行，而定时处理任务是通过轮询采集任务表获取当前的数据采集任务，其中，采集任务表用于记载不同任务类型的数据采集任务。

其中，待采集数据的数据类型包括消息队列、接口数据流、数据库和文件等多种类型，其中数据库包括oracle、mysql、mongodb等多种类型。

s120、从预先配置的url模板库中确定与所述任务类型和数据类型相匹配的当前url，其中，所述url模板库中配置有不同类型的数据在数据采集过程中与不同任务类型所对应的url。

其中，url模板库包含预先配置的多种url模板，这些模板按照一定的规则进行配置。

示例性地，url模板按如下规则进行定义，“类型关键字://服务器地址:服务器端口/关键访问字？参数”其中类型关键字包括：oracle、mysql、mongodb、hbase、hive、kafk、hdfs、sftp、file等。参数信息包括：认证信息、列信息、行信息。其中认证信息主要包括用户名和密码,如username＝xxx&password＝yy；列信息主要包括字段字符串,如field＝f1,f2,f3,f4...；行信息主要包括offset和rowcount，如limit＝offset,rowcount。若没有相应的参数信息，则参数可设为空。以关键字类型为oracle为例，其存储路径可设置为oracle://server-address:port/sid？username＝xxx&password＝yyyy&field＝f1,f2,f3,f4。

具体地，根据数据类型，可以确定出url模板的类型关键字，根据任务类型可以确定相应的服务器端口、参数等。那么，根据s110获取的当前数据采集任务，便可以从预先配置的url模板库中确定与所述任务类型和数据类型相匹配的当前url。

进一步地，url模板库中存储的url包括数据源url、中间url和目标url；

其中，数据源url表示待抽取数据的数据源地址；目标url表示待载入数据的目标地址；中间url表示在数据存储在目标地址之前待搬迁数据的存储地址。

进一步地，url模板中还包括临时url，该临时url表示在数据采集过程中的中间环节所需的临时存储地址。

具体地，数据源url是数据采集的源头；目标url是数据存储的目的地；中间url是数据采集的中间环节，可以选择性进行配置；临时url是数据采集过程中的暂时存储目录，相关模块在数据迁移后会立即删除，生命周期较短，仅做数据记录使用。

图1b为本发明实施例一提供的一种基于数据流向的url流程图，显示了数据从数据源url到目标url的过程。如图1b所示，从数据源url中获取数据，对于大量的数据，需要对数据打包，打包数据可以存储到临时url中，当然，临时url中存储的数据不止于此，然后，对数据进行加密处理，加密后的数据存储到中间url中，再对数据进行解密，解密过程的中间操作可以存储在临时url中，解密后的数据存储到目标url中。

示例性地，将数据中心a点的数据采集到数据中心c处，若数据中心a和数据中心c距离较远，且中间跨至少一个数据中心，那么，可以将数据中心a的数据采集到数据中心b处，再从数据中心b处采集到数据中心c处，其中，数据中心b在数据中心a和数据中心c之间。实现数据从数据中心a到数据中心b，再到数据中心c的传输，需要进行url配置才能实现数据采集的自动化处理，此时数据中心a的数据为数据源，数据中心b为中间存储地址，数据中心c为目标存储地址，依次配置为数据源url、中间url、目标url。其中，url的配置方法在实施例1中已有详细说明。

s130、按照所述当前url执行所述当前的数据采集任务。

具体地，从步骤s120中可以得到不同任务类型所对应的url，即可以得到数据源url、临时url、中间url和目标url，数据采集系统便按照当前url执行当前的数据采集任务。

该数据采集方法的工作原理：通过获取数据采集任务，得到数据类型和任务类型，以此从url模板库中确定与当前数据采集任务相匹配的url，按照当前url执行所述当前的数据采集任务。

本实施例的技术方案，通过预设url模板，将数据源路径和存储路径都采用url模板的形式表达出来，并且url模板的设置能够自适应多种数据类型，解决普通数据采集系统支持类型单一的问题，实现了对多种数据类型的采集、跟踪和管理。并且，本实施例通过按照数据流配置数据源url、中间url、目标url，可以实现远距离、跨数据中心的数据采集。中间url的配置使数据采集的中间过程具有可见性，便于管理和运维，并且互不信任的公司之间可以通过中间url进行数据中转。

实施例二

本发明实施例二是在实施例一的基础上结合状态机技术实现的一种可选方案，并非限定。图2为本发明实施例二提供的基于状态机的数据采集任务状态迁移图。

数据采集的整个过程，需要从数据源url中获取数据，对获取的数据进行加密处理，加密后的数据存储到中间url中，再对数据进行解密，解密后的数据存储到目标url中。整个过程需要数据导出、数据打包、数据加密、数据拷贝及数据解密等多个环节。数据采集的整个过程有多种实现技术，本实施例提供一种基于状态机技术的可选方案。

如图2所述，本实施例基于状态机技术，将数据采集任务的整个过程按状态切分成一个个独立的单元，任务从第一个状态开始，进入最后一个状态时结束。任务启动、执行、结束过程中所有状态单元是可跟踪、可追溯和可监控的。

其中，状态机定义了多个状态以及状态之间的迁移。状态机通过响应一系列事件而运行，当事件满足某些触发条件时，将导致状态机从当前的状态迁移到下一个状态。在所定义的多个状态之中，存在至少一个初态和至少一个终态，状态机从初态开始运行，当迁移到终态时，状态机停止运行。

具体地，本实施例状态机定义了16个状态，包括：新增任务、数据源导出中、数据导出完毕、数据加密中、加密完成、正在将数据传输到中间url、数据中间传输完成、正在拷贝中间url路径下的数据到本地、拷贝数据完成、正在数据解密、数据解密完成、正在将数据导入到目标url、数据导入完成、等待数据审核、正在数据审核中、数据审核通过、数据审核不通过、正在建立外部关联表中。

数据采集任务根据任务类型获取符合状态的任务，并在动作完成后修改相应任务状态。

示例性地，对于搬迁任务，至少包括将数据从中间url搬迁到目标url这种情况，那么数据从中间url搬迁到目标url至少需要执行10正在数据解密、11数据解密完成、12正在将数据导入到目标url、13数据导入完成，等待数据审核。

本实施例提供的基于状态机的数据采集方法，能够将采集过程切分成一个个独立状态，并且将状态存放在数据库中，当数据采集过程出错时可以记录下出错状态，重启时从出错状态处执行，不必从初始状态开始，实现了整个数据采集过程的数据监控。

实施例三

图3为本发明实施例三所提供的数据采集装置模块图，如图3所示，数据采集装置包括：任务获取模块30、模板确定模块31、任务执行模块32。

任务获取模块30，用于获取当前的数据采集任务，其中，数据采集任务中至少包括任务类型和待采集数据的数据类型；

模板确定模块31，用于从预先配置的url模板库中确定与任务类型和数据类型相匹配的当前url，其中，url模板库中配置有不同类型的数据在数据采集过程中与不同任务类型所对应的url；

任务执行模块32，用于按照当前url执行所述当前的数据采集任务。

本实施例的技术方案，通过通过预设url模板，将数据源路径和存储路径都采用url模板的形式表达出来，并且url模板的设置能够自适应多种数据类型，解决普通数据采集系统支持类型单一的问题，实现了对多种数据类型的采集、跟踪和管理。

进一步地，任务类型包括抽取、搬迁和载入。

相应的，url模板库中存储的url包括数据源url、中间url和目标url；

其中，数据源url表示待抽取数据的数据源地址；目标url表示待载入数据的目标地址；中间url表示在数据存储在目标地址之前待搬迁数据的存储地址。

进一步地，url模板中还包括临时url，该临时url表示在数据采集过程中的中间环节所需的临时存储地址。

进一步地，任务获取模块具体用于，通过轮询采集任务表获取当前的数据采集任务，其中，采集任务表用于记载不同任务类型的数据采集任务。

进一步地，采集任务表中包括不同任务类型对应的立即处理任务和定时处理任务。

进一步地，所述数据采集任务的执行过程是基于状态机技术实现。

本发明实施例所提供的数据采集装置可执行本发明任意实施例所提供的数据采集方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种服务器的结构示意图。图4示出了适于用来实现本发明实施方式的示例性服务器412的框图。图4显示的服务器412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，服务器412以通用计算设备的形式表现。服务器412的组件可以包括但不限于：一个或者多个处理器或者处理单元416，系统存储器428，连接不同系统组件(包括系统存储器428和处理单元416)的总线418。

总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。

服务器412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)430和/或高速缓存存储器432。服务器412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储器428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。

服务器412也可以与一个或多个外部设备414(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该服务器412交互的设备通信，和/或与使得该服务器412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口422进行。并且，服务器412还可以通过网络适配器420与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与服务器412的其它模块通信。应当明白，尽管图中未示出，可以结合服务器412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

处理单元416通过运行存储在系统存储器428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的数据采集方法，包括：

获取当前的数据采集任务，其中，所述数据采集任务中至少包括任务类型和待采集数据的数据类型；

从预先配置的url模板库中确定与所述任务类型和数据类型相匹配的当前url，其中，所述url模板库中配置有不同类型的数据在数据采集过程中与不同任务类型所对应的url；

按照所述当前url执行所述当前的数据采集任务。

当然,本发明实施例所提供的服务器可执行功能不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的数据采集方法中的相关操作。

实施例五

本发明实施例五还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据采集方法，该方法包括：

获取当前的数据采集任务，其中，所述数据采集任务中至少包括任务类型和待采集数据的数据类型；

从预先配置的url模板库中确定与所述任务类型和数据类型相匹配的当前url，其中，所述url模板库中配置有不同类型的数据在数据采集过程中与不同任务类型所对应的url；

按照所述当前url执行所述当前的数据采集任务。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的数据采集方法中的相关操作。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。