一种用于异构多数据源的数据处理方法、装置和服务器的制造方法
【技术领域】
[0001] 本发明涉及数据处理技术，具体涉及一种用于异构多数据源的数据处理方法、装 置和服务器。
【背景技术】
[0002] 随着互联网应用的高速发展，人们对数据库的访问逻辑越来越简单，对事务的一 致性要求越来越松弛，CAP理论（指在设计分布式系统时，一致性（Consistent)、可用性 (Availability)、PartitionTolerance(分区容忍性）三个属性不可能同时满足，也称为 布鲁尔定理）中常常更倾向于放弃C，而追求A和P，对数据库高并发高可用需求也越来越 高，这在系统架构中经常采用的方式是拆分，将大系统划分为若干独立子系统，可支持更高 的并发和更高的可用性。这些子系统产生的数据会被各种系统所使用，如后台系统、业务方 系统、分析平台以及其它需要使用这些数据的应用项目等，在应用过程中，不同的数据使用 方可能有不同的需求，对数据字段的定义要求不同，对数据的实时性要求不同，数据的使用 范围也不同，并且出于安全考虑，不同数据提供的可见性也不同。
[0003] 常见的系统平台采用数据库主从同步的方式调度数据，数据生产方将数据写入一 个主库中，数据使用方通过丛库读取数据。但是，在处理异构多数据源时这种方式存在弊 端，由于所有的数据使用方可以看到全部数据，导致数据安全性较低，由于数据库中表的设 计一般都是按生产者的意愿建立的，难以满足不同使用方的使用需求，并且由于数据的耦 合性较高，当数据使用方较多时，数据的管理和维护变的困难。
【发明内容】
[0004] 有鉴于此，本发明提出一种用于异构多数据源的数据处理方法、装置和服务器，可 将系统中的数据生产与数据消费解耦。
[0005] 本发明提供一种用于异构多数据源的数据处理方法，包括：基于约定的数据接入 方式和数据元信息的类型，接入来自多个数据生产系统的多个异构数据源；对已接入的数 据元信息的类型进行注册；当接收到数据消费系统提交的数据复制请求时，按照该数据复 制请求从对应的数据生产系统中提取所需数据，并对提取出的数据进行加工处理；按照数 据消费系统要求的数据写入方式，将加工处理后的数据推送至数据消费系统的目标存储介 质中；其中，数据复制请求中包含数据消费系统需要的数据元信息类型、数据加工规则和数 据写入方式。
[0006] 优选地，其中接入方式包括数据推送和数据抽取。
[0007] 优选地，其中数据元信息的类型包括：接入信息描述和字段信息，其中字段信息包 括：字段名、字段类型、是否可为空、最大长度和字段描述。
[0008] 本发明还提供一种数据生产接入处理方法，包括：基于约定的数据接入方式和数 据元信息的类型，将本地数据接入服务器；将已接入的数据元信息的类型注册到服务器中； 当服务器提取数据时，按照约定的数据接入方式进行数据提取。
[0009] 本发明还提供一种数据消费接入处理方法，包括：从服务器查询已注册的数据元 信息类型；根据已注册的数据元信息类型和本系统需要的目标数据，设计所需的数据加工 规则，并创建数据复制请求，其中数据复制请求中包含本系统需要的数据字段、数据加工规 则和数据写入方式；向服务器提交数据复制请求；按照数据复制请求中规定的数据写入方 式，接收服务器推送的数据，并将数据存储在目标存储介质中。
[0010] 本发明还提供一种用于异构多数据源的数据处理装置，其特征在于，包括：数据生 产接入模块，用于基于约定的数据接入方式和数据元信息的类型，接入来自多个数据生产 系统的多个异构数据源；元数据管理模块，用于对已接入的数据元信息的类型进行注册； 数据复制模块，用于当接收到数据消费系统提交的数据复制请求时，按照该数据复制请求 从对应的数据生产系统中提取所需数据，并对提取出的数据进行加工处理；按照数据消费 系统要求的数据写入方式，将加工处理后的数据推送至数据消费系统的目标存储介质中； 其中，数据复制请求中包含数据消费系统需要的数据元信息类型、数据加工规则和数据写 入方式。
[0011] 本发明还提供一种服务器，其包含上述用于异构多数据源的数据处理装置。
[0012] 有益效果：本发明的实施例通过建立数据复制平台，将系统数据的生产与消费解 耦，支持异构多数据源的接入，数据生产者只需按生产意愿设计数据的存储结构和存储方 式，数据消费者基于数据复制平台已有的元数据，也只需按消费需求设计数据的存储结构 和存储方式，双方独立发展，便于对数据进行管理和维护。
【附图说明】
[0013] 图1是本发明实施例的用于异构多数据源的数据处理方法流程图。
[0014] 图2是本发明实施例的数据生产接入处理方法流程图。
[0015] 图3是本发明实施例的数据消费接入处理方法流程图。
[0016] 图4是本发明实施例的数据复制平台、数据生产系统和数据消费系统的架构图。
[0017] 图5是本发明实施例的数据生产接入过程示意图。
[0018] 图6是本发明实施例的数据生产流入示意图。
[0019] 图7是本发明实施例的数据消费接入过程示意图。
[0020] 图8是本发明实施例的数据消费流出示意图。
[0021] 图9是本发明实施例的数据复制过程示意图。
【具体实施方式】
[0022] 以下结合附图以及具体实施例，对本发明的技术方案进行详细描述。
[0023] 图1示出了本发明实施例的用于异构多数据源的数据处理方法流程图，该方法流 程应用于服务器，包括：
[0024] S101，数据生产接入模炔基于约定的数据接入方式和数据元信息的类型，接入来 自多个数据生产系统的多个异构数据源；
[0025] S102,元数据管理模块对已接入的数据元信息的类型进行注册；
[0026] S103,当接收到数据消费系统提交的数据复制请求时，数据复制模块按照该数据 复制请求从对应的数据生产系统中提取所需数据，并对提取出的数据进行加工处理；
[0027]S104,按照数据消费系统要求的数据写入方式，将加工处理后的数据推送至数据 消费系统的目标存储介质中；
[0028] 其中，数据复制请求中包含数据消费系统需要的数据元信息类型、数据加工规则 和数据写入方式。
[0029] 图2示出了本发明实施例的数据生产接入处理方法流程图，该方法流程应用于数 据生产系统，包括：
[0030]S201，数据接入模炔基于约定的数据接入方式和数据元信息的类型，将本地数据 接入服务器；
[0031]S202,元信息注册模块将已接入的数据元信息的类型注册到服务器中；
[0032]S203,当服务器提取数据时，数据提取模块按照约定的数据接入方式进行数据提 取。
[0033] 图3示出了本发明实施例的数据消费接入处理方法流程图，该方法流程应用于数 据消费系统，包括：
[0034]S301，数据元信息查询模块从服务器查询已注册的数据元信息类型；
[0035] S302,复制请求创建模块根据已注册的数据元信息类型和本系统需要的目标数 据，设计所需的数据加工规则，并创建数据复制请求，其中数据复制请求中包含本系统需要 的数据字段、数据加工规则和数据写入方式；
[0036]S303,复制请求提交模块向服务器提交数据复制请求；
[0037]S304,数据接收模块按照数据复制请求中规定的数据写入方式，接收服务器推送 的数据，并将数据存储在目标存储介质中。
[0038] 以上分别描述了在服务器、数据生产系统以及数据消费系统中进行的数据处理， 可以将服务器视为基于异构多数据源的数据复制平台，其构建在数据生产系统和数据消费 系统之间，系统架构图如图4所示，支持异构多数据源的接入，各个数据消费方根据平台中 已有元数据的类型定制数据，使得数据生产和数据消费相互解耦，不同的数据生产者和不 同的数据消费者可以独立地设计自身的数据存储结构和存储方式，一方发生变更或增减时 只需要调整复制任务中的数据映射方式，不会对另一方产生影响，生产方和消费方理论上 可以是无限多个，整个系统的数据流转顺畅，安全高效。
[0039] 以下详细描述基于本发明实施例的服务器、数据生产系统以及数据消费系统的数 据处理过程。
[0040] 在本发明的实施例中，参考图5,当有系统向服务器申请接入数据生产时，服务器 作为数据复制平台，其中的数据生产接入模块与该系统约定数据的接入方式和写入数据的 元信息类型，将该系统接入，并向元数据管理模块注册新的数据元信息的类型。
[0041] 数据元信息的类型可包括：接入信息描述和字段信息，其中字段信息可包括：字 段名、字段类型、是否可能为空、最大长度和字段描述。
[0042] 接入方式包括两种类型：数据推送和数据抽取。参考图6,数据推送方式以数据生 产方为主动方，其按照注册的字段信息，通过消息队列MQ推送数据。数据抽取方式以数据 复制平台为主动方，其按照注册的字段信息从数据生产方抽取数据。这里，数据生产方需具 有缓存、文件、数据库或其它可用的存储介质，此处可扩展。在主动抽取数据时，数据复制平 台并不知晓存储介质中的数据结构，仅按照注册的字段信息去抽取数据，因此，数据生产者 应保证注册的字段存在且可用。
[0043] 在本发明的实施例中，元数据管理模块对所有接入的元数据信息进行注册和管 理，将元信息的类型展示给消费方。消费方根据这些元信息的类型并结合自身需求，定制自 身需要的数据字段、数据加工规则和写入方式，基于此消费方可向数据复制平台发出数据 复制请求。
[0044] 根据消费方的数据复制请求，数据复制平台中的数据复制模块通过约定的提取方 式将所需数据提取出来（如推送方式或抽取方式），然后以数据复制请求中的数据加工规 则对数据进行处理，再以数据复制请求中的写入方式将处理结果提交给数据消费者。
[0045] 进一步地，在本发明的实施例中，数据复制平台中设置有监控调度模块，用于对整 个数据复制过