一种数据仓库ods层的建立方法和装置的制造方法
【技术领域】
[0001] 本申请涉及数据处理技术领域，尤其涉及一种数据仓库0DS层的建立方法和装 置。
【背景技术】
[0002] ODS (Operational Data Store，操作型数据存储）层是数据仓库体系结构中的一 个可选部分，0DS层是用从源系统抽取过来的数据建立的一层贴源的数据层，是"面向主题 的、集成的、当前或接近当前的、不断变化的"数据的集合。
[0003] 0DS层的建立涉及建表、数据同步、数据清洗、生命周期管理、极限存储等过程。目 前，在建立0DS层的时候，上述建表、数据同步、数据清洗、生命周期管理、极限存储等过程 都是通过人工配置完成，比如：人工编写建表语句、人工配置数据同步任务、人工编写数据 清洗脚本等。然而，大量的人工操作所需的人力成本较高，不够智能，且容易出错。
【发明内容】
[0004] 有鉴于此，本申请提供一种数据仓库0DS层的建立方法和装置。
[0005] 具体地，本申请是通过如下技术方案实现的：
[0006] -种数据仓库0DS层的建立方法，所述方法包括：
[0007] 根据用户设置的源系统数据表名，获取源系统数据表的元数据；
[0008] 根据所述元数据创建与所述源系统数据表对应的0DS数据表；
[0009] 将所述源系统数据表中的数据同步到所述0DS数据表中。
[0010] 进一步地，所述根据所述元数据创建与所述源系统数据表对应的0DS数据表包 括：
[0011] 根据所述元数据生成建表语句；
[0012] 根据所述建表语句创建与所述源系统数据表对应的0DS数据表。
[0013] 进一步地，所述将所述源系统数据表中的数据同步到所述0DS数据表中包括：
[0014] 根据用户设置的全量同步指令将所述源系统数据表中的数据全量同步到所述0DS 数据表中。
[0015] 进一步地，所述方法还包括：
[0016] 根据用户设置的增量同步条件将所述源系统数据表中的数据增量同步到所述0DS 数据表中；
[0017] 所述增量同步条件包括：增量同步字段和增量同步时间。
[0018] 进一步地，所述将所述源系统数据表中的数据同步到所述0DS数据表中包括：
[0019] 根据用户设置的清洗条件，将所述源系统数据表中的数据进行清洗后同步到所述 0DS数据表中；
[0020] 将清洗掉的数据存储在预设的0DS清洗表中。
[0021 ] 进一步地，所述方法还包括：
[0022] 在将所述源系统数据表中的数据同步到所述0DS数据表中之后，将满足用户设置 的极限存储条件的数据存储在预设的0DS极限表中。
[0023] 进一步地，所述方法还包括：
[0024] 根据用户设置的生命周期，对到达所述生命周期的0DS数据表中的数据进行预设 的处理。
[0025] -种数据仓库0DS层的建立装置，所述装置包括：
[0026] 获取单元，根据用户设置的源系统数据表名，获取源系统数据表的元数据；
[0027] 创建单元，根据所述元数据创建与所述源系统数据表对应的0DS数据表；
[0028] 同步单元，将所述源系统数据表中的数据同步到所述0DS数据表中。
[0029] 进一步地，所述创建单元包括：
[0030] 生成子单元，根据所述元数据生成建表语句；
[0031] 创建子单元，根据所述建表语句创建与所述源系统数据表对应的0DS数据表。
[0032] 进一步地，所述同步单元，具体根据用户设置的全量同步指令将所述源系统数据 表中的数据全量同步到所述0DS数据表中。
[0033] 进一步地，所述同步单元，进一步根据用户设置的增量同步条件将所述源系统数 据表中的数据增量同步到所述0DS数据表中；
[0034] 所述增量同步条件包括：增量同步字段和增量同步时间。
[0035] 进一步地，所述同步单元，具体根据用户设置的清洗条件，将所述源系统数据表中 的数据进行清洗后同步到所述0DS数据表中，并将清洗掉的数据存储在预设的0DS清洗表 中。
[0036] 进一步地，所述装置还包括：
[0037] 极限单元，在将所述源系统数据表中的数据同步到所述0DS数据表中之后，将满 足用户设置的极限存储条件的数据存储在预设的0DS极限表中。
[0038] 进一步地，所述装置还包括：
[0039] 处理单元，根据用户设置的生命周期，对到达所述生命周期的0DS数据表中的数 据进行预设的处理。
[0040] 由以上描述可以看出，本申请可以根据用户设置的源系统数据表名，获取源系统 数据表的元数据，从而可以根据该元数据自动创建与所述源系统数据表对应的0DS数据 表，并将所述源系统数据表中的数据同步到所述0DS数据表中，整个过程不需要人工编写 脚本，大大降低了人力成本，同时提升研发效率，保障数据仓库的稳定性和质量。
【附图说明】
[0041] 图1是本申请一实施例中数据仓库0DS层的建立方法的流程示意图。
[0042] 图2是本申请另一实施例中数据仓库0DS层的建立方法的流程示意图。
[0043] 图3是本申请一实施例中一种服务端的结构示意图。
[0044] 图4是本申请一实施例中数据仓库0DS层的建立装置的结构示意图。
【具体实施方式】
[0045] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及 附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例 中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附 权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0046] 在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。 在本申请和所附权利要求书中所使用的单数形式的"一种"、"所述"和"该"也旨在包括多 数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语"和/或"是指 并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0047] 应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这 些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离 本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第 一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在……时"或"当…… 时"或"响应于确定"。
[0048] 针对上述问题，本申请提供一种数据仓库0DS层的建立方案。
[0049] 请参考图1，本申请提供一种数据仓库0DS层的建立方法，所述方法可以应用在服 务端上，包括以下步骤：
[0050] 步骤101，根据用户设置的源系统数据表名，获取源系统数据表的元数据。
[0051] 在本实施例中，可以为用户提供0DS层的配置界面，并在该配置界面中提供设置 所述源系统数据表名的选项。当需要建立0DS层的时候，用户可以在该界面中输入需要同 步的源系统数据表名，服务端可以根据所述源系统表名从用于存储元数据的模块中获取所 述源系统数据表的元数据。其中，所述元数据包括有：表结构信息等。
[0052] 步骤102,根据所述元数据创建与所述源系统数据表对应的0DS数据表。
[0053] 基于前述步骤101，在获取到所述源系统数据表的元数据后，可以根据所述元数据 生成建表语句，然后根据该建表语句创建与所述源系统数据表对应的0DS数据表。
[0054] 步骤103,将所述源系统数据表中的数据同步到所述0DS数据表中。
[0055] 基于前述步骤102,在建立所述源系统数据表对应的0DS数据表后，可以依据用户 设置的同步指令将所述源系统数据表中的数据全量同步或增量同步到所述0DS数据表中。
[0056] 由以上描述可以看出，本申请可以根据用户设置的源系统数据表名，获取源系统 数据表的元数据，从而可以根据该元数据自动创建与所述源系统数据表对应的0DS数据 表，并将所述源系统数据表中的数据同步到所述0DS数据表中，整个过程不需要人工编写 脚本，大大降低了人力成本，同时提升研发效率、保障数据仓库稳定性和质量。
[0057] 以下结合详细的实施例来描述本申请的实现过程。
[0058] 请参考图2,本申请提供的另一种数据仓库0DS层的建立方法，所述方法可以应用 在服务端上，包括以下步骤：
[0059] 步骤201，根据用户设置的源系统数据表名，获取源系统数据表的元数据。
[0060] 在本申请中，源系统为数据仓库的基础，是数据仓库数据的来源，所述源系统可以 为业务系统，其中包括有诸多数据表。
[0061] 为实现本申请，服务端可以为用户提供0DS层的配置界面，通过该配置界面用户 可以配置所需创建的0DS层的各种信息，比如：增量同步条件、清洗条件、生命周期等。
[0062] 在本实施例中，用户可以通过所述配置界面设置需要同步的源系统数据表名， 比如：用户配置源系统数据表名ex_system_param，意味着用户想要将源系统数据表ex_ system_param中的数据同步到建立的ODS层的ODS数据表中。
[0063] 在本步骤中，根据用户设置的所述源系统数据表名，可以从用于存储元数据的模 块中获取所述源系统数据表的元数据。所述元数据包括有：所述源系统数据表的表结构信 息，比如：字段名称、字段类型、备注信息等。
[0064] 步骤202,根据所述元数据生成建表语句。
[0065] 基于前述步骤201，在获取到所述源系统数据表的元数据后，可以根据所述元数据 生成建立0DS数据表所需的建表语句。
[0066] 为实现本申请，开发人员可以预先设置建表语句的模板，在获取到元数据之后，可 以通过将所述元数据中的列名、描述等信息添加到所述模板的预设位置处，以生成建表语 句。
[0067] 请参考表1，假设表1为前述步骤201中获取到的源系统数据表ex_system_param 的元数据。
[0068]
[0069] 表 1
[0070] 根据表1所示的元数据，在本步骤中，可以生成如下建表语句：
[0071] CREATE TABLE ods_cx_syslcm_param( id bigint COMMENT '主键' gmt_crcatc string COMMENT 1 创建时间' gmt_modi ilcd siring CO MM EN T '修改时间' parani_key stringCOMMENT '参数 key，
[0072] p.a&m_value string COMMEN T '参数值， ) COMMENT '系统参数表， PARTITIONED BY( dl String)
[0073] 其中，ods_ex_system_param为创建的