一种数据分发管理方法、平台、装置及系统与流程

本发明属于数据管理领域，尤其涉及一种数据分发管理方法、装置及系统。

背景技术：

传统数据抽取etl工具，如sqoop、kettle，在进行数据转移时，如果要将一份源数据写入多个目标数据仓库，一次只能写入一个数据仓库，完成后再依次写入其他数据仓库，如果写入过程中某个目标数据仓库写入失败，无法对其他写入成功的目标数据仓库进行回滚操作，导致多个目标数据仓库出现数据不一致的情况。

技术实现要素：

本发明提供一种数据分发管理方法、装置及系统，以解决上述问题。

本发明实施例提供一种数据分发管理方法。上述方法包括以下步骤：获取源数据并在会话周期内将所述源数据发送至对应的目标数据仓库。

本发明实施例提供一种数据分发管理平台，其特征在于，包括获取模块、关系关联模块、控制模块；其中，所述获取模块通过所述关系关联模块与所述控制模块相连；

所述获取模块，用户获取源数据；

所述关系关联模块，用于将所述源数据与目标数据仓库相关联；

所述控制模块，用于在会话周期内将所述源数据发送至与所述源数据关联的目标数据仓库。

本发明实施例还提供一种数据分发管理装置，包括获取单元、控制单元；其中，所述获取单元与所述控制单元相连；

所述获取单元，用于获取源数据；

所述控制单元，用于在会话周期内将所述源数据发送至对应的目标数据仓库。

本发明实施例还提供了一种数据分发管理系统，包括上述数据分发管理装置。

相较于先前技术，根据本发明实施例提供的一种数据分发管理方法、平台、装置及系统，采用了会话式的数据分发保证了数据到达多个目标数据仓库后的一致性；同时，本发明实施例提供的数据分发管理平台，提供了可视化的操作界面，使用户可以轻松对接多种数据源，缩短开发周期，大大增强了用户体验。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成

本技术：
的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为根据本发明实施例1提供的数据分发管理方法的流程图；

图2所示为根据本发明实施例2提供的数据分发管理平台的示意图；

图3所示为根据本发明实施例3提供的数据分发管理平台的示意图；

图4所示为根据本发明实施例4提供的数据分发管理平台的示意图；

图5所示为根据本发明实施例5提供的数据分发管理装置的示意图；

图6所示为根据本发明实施例6提供的数据分发管理装置的示意图；

图7所示为根据本发明实施例7提供的数据分发管理系统的示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1所示为根据本发明实施例提供的数据分发管理方法的流程图，包括以下步骤：

步骤101：从数据源中获取源数据；

步骤102：在会话周期内将所述源数据发送至对应的目标数据仓库。

采用了会话式的数据分发保证了数据到达多个目标数据仓库后的一致性。

进一步地，所述目标数据仓库包括：oracle、mysql、hbase、hdfs。

进一步地，在一个会话周期内，将所述源数据依次发送或者同时发送至对应的目标数据仓库。

进一步地，在一个会话周期内，通过开源组件将所述源数据转换为数据流文件并将所述源数据依次发送或者同时发送至对应的目标数据仓库。

例如：开源组件为nifi开源组件。

若该数据写入成功，则提交会话成功，若会话失败，则对所述源数据对应的目标数据仓库按照所述源数据写入时间先后依次进行回滚操作；同时，将所述数据流文件放到异常队列中，等待重处理。

对于会话失败的处理，进一步保证了数据的可靠性。

图2所示为根据本发明实施例提供的数据分发管理平台的示意图，包括获取模块201、关系关联模块202、控制模块203；其中，所述获取模块201通过所述关系关联模块202与所述控制模块203相连；

所述获取模块201，用户获取源数据；

所述关系关联模块202，用于将所述源数据与目标数据仓库相关联；

所述控制模块203，用于在会话周期内将所述源数据发送至与所述源数据关联的目标数据仓库。

本发明实施例提供的数据分发管理平台，提供了可视化的操作界面，使用户可以轻松对接多种数据源，缩短开发周期，大大增强了用户体验。

图3所示为根据本发明实施例3提供的数据分发管理平台的示意图，在图2的基础上，还包括用户登录模块200；其中，所述用户登录模块200与所述获取模块201相连；

所述用户登录模块200，用于管理用户登录操作，例如：对用户登录信息进行认证。

图4所示为根据本发明实施例4提供的数据分发管理平台的示意图，在图2的基础上，还包括异常处理模块204；其中，所述异常处理模块204与所述控制模块203相连；

所述异常处理模块204，用于接收到所述控制模块203发送的会话失败消息时，将所述源数据对应的目标数据仓库按照所述源数据写入时间先后依次进行回滚操作。

图5所示为根据本发明实施例5提供的数据分发管理装置的示意图，包括获取单元501、控制单元502；其中，所述获取单元501与所述控制单元502相连；

所述获取单元501，用于获取源数据；

所述控制单元502，用于在会话周期内将所述源数据发送至对应的目标数据仓库。

图6所示为根据本发明实施例6提供的数据分发管理装置的示意图，在图5的基础上，还包括异常处理单元503：所述异常处理单元503与所述控制单元502相连；

所述异常处理单元503，用于接收到所述控制单元发送的会话失败消息时，将所述源数据对应的目标数据仓库按照所述源数据写入时间先后依次进行回滚操作。

图7所示为根据本发明实施例7提供的数据分发管理系统的示意图,包括上述介绍的数据分发管理装置。

相较于先前技术，根据本发明实施例提供的一种数据分发管理方法、平台、装置及系统，采用了会话式的数据分发保证了数据到达多个目标数据仓库后的一致性；同时，本发明实施例提供的数据分发管理平台，提供了可视化的操作界面，使用户可以轻松对接多种数据源，缩短开发周期，大大增强了用户体验。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

技术总结
本发明提供一种数据分发管理方法、平台、装置及系统，上述方法包括以下步骤：获取源数据并在会话周期内将所述源数据发送至对应的目标数据仓库，采用了会话式的数据分发保证了数据到达多个目标数据仓库后的一致性；本发明实施例提供的数据分发管理平台，提供了可视化的操作界面，使用户可以轻松对接多种数据源，缩短开发周期，大大增强了用户体验。

技术研发人员：张炜刚;孙运;赵明超
受保护的技术使用者：郑州云海信息技术有限公司
技术研发日：2017.05.16
技术公布日：2017.09.26