构建数据仓库模型的方法与装置的制造方法
【技术领域】
[0001] 本发明涉及计算机技术领域，特别地涉及一种构建数据仓库模型的方法与装置。
【背景技术】
[0002] 随着电子商务的发展，例如京东、淘宝、亚马逊等日常运营中生成、累积的大量用 户、商品、生产相关的数据呈现爆发式增长，数据结构也开始多元化，数据中含有的信息越 来越多，公司对数据化运营也越来越关注。数据仓库用于对数据进行分处理工作，发挥着巨 大的作用。然而，大数据时代的降临数据仓库慢慢转成分布式架构，以满足爆发式增长的计 算以及存储的要求。
[0003] 基于传统行业，例如银行、保险、零售等的数据仓库模型标准化的构建方法已经非 常成熟。现有技术的做法为基于Teradata数据仓库基础之上，零售企业的数据仓库的构建 和主题分析，主要构建过程包括：业务建模、领域建模、逻辑建模以及物理建模。具体的，业 务建模生成业务模型，用于解决业务层面的分解和程序化；领域建模生成领域模型，用于对 业务模型进行抽象处理生成领域概念模型；逻辑建模生成逻辑模型，用于将领域模型的概 念实体化以及将实体之间的关系进行基于数据库层次的逻辑化；物理建模生成物理模型， 用于解决逻辑模型针对不同关系型数据库的物理化以及性能等问题。
[0004] 进一步地，基于Teradata的零售数据仓库模型，利用商业化的oracle集群和传 统的数据仓库建模方法论构建stage层，通过ETL过程抽取源生产系统数据；构建ods层， 对stage层进行清洗和加工；构建dwd层，基于逻辑模型搭建实体表及实体表的关系；构建 dwa层，基于主题模型和逻辑关系将dwd层数据编译处理到dwa层。
[0005] 但现有技术存在以下缺点：数据仓库基于商业化的数据仓库平台，存在资源不足， 计算性能有限的问题，无法充分良好的扩充资源，且传统的数据仓库建模层次繁多，依赖关 系复杂，模型变更繁琐，进一步地，由于电子商务的业务正在高速发展，现有模型无法快速 响应业务的快速变化，具有技术的滞后性。
【发明内容】
[0006] 有鉴于此，本发明提供一种构建数据仓库模型的方法，通过易用性。本发明还公开 了一种构建数据仓库模型的装置。
[0007] 为实现上述目的，根据本发明的一个方面，提供了一种构建数据仓库模型的方法， 包括：
[0008] 对业务模型执行抽象处理生成领域模型；将所述领域模型根据多个主题名称分拆 为多个主题模型；以及通过所述多个主题模型构建数据仓库模型。
[0009] 可选地，所述领域模型包括：网站前端模型、电子零售模型、供应链模型、售后模型 以及仓储模型。
[0010] 可选地，所述多个主题名称包括：客户、组织机构、商品、订单、账户、客户端、营销、 仓储、配送、客服、地理区域、财务、社区、流量以及供应链。
[0011] 可选地，所述多个主题模型的参数包括：主题前缀、主题名称、简称以及业务覆盖 范围。
[0012] 可选地，通过所述多个主题模型构建数据仓库模型具体包括：将所述多个主题模 型依次经过缓冲数据层、基础数据层、通用数据层以及聚合数据层执行装载，构建所述数据 仓库模型。
[0013] 为实现上述目的，根据本发明的另一个方面，提供了一种构建数据仓库模型的装 置，包括：
[0014] 领域模型生成模块，用于对业务模型执行抽象处理生成领域模型；主题模型分拆 模块，用于将所述领域模型根据多个主题名称分拆为多个主题模型；以及数据仓库模型构 建模块，用于通过所述多个主题模型构建数据仓库模型。
[0015] 可选地，所述领域模型包括：网站前端模型、电子零售模型、供应链模型、售后模型 以及仓储模型。
[0016] 可选地，所述多个主题名称包括：客户、组织机构、商品、订单、账户、客户端、营销、 仓储、配送、客服、地理区域、财务、社区、流量以及供应链。
[0017] 可选地，所述多个主题模型的参数包括：主题前缀、主题名称、简称以及业务覆盖 范围。
[0018] 可选地，所述数据仓库模型构建模块具体包括：装载单元，用于将所述多个主题模 型依次经过缓冲数据层、基础数据层、通用数据层以及聚合数据层执行装载，构建所述数据 仓库模型。
[0019] 根据本发明的技术方案，本发明提出了一种构建数据仓库模型的方法，基于电子 商务业务，提出了完整的多个主题模型，有利于充分、有效的实现数据分析和挖掘，同时通 过分布式数据仓库数据模型，即缓冲数据层、基础数据层、通用数据层、聚合数据层、维度数 据库、以及计算中间库（临时数据库），且以hadoop为平台，hive作为数据模型构建工具， 有效提升了数据的稳定性、可扩展性，为构建基于分布式数据仓库提供了一套完整的模型 体系。本发明还公开了一种构建数据仓库模型的装置。
【附图说明】
[0020] 附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
[0021] 图1是根据本发明实施例的一种构建数据仓库模型的方法的步骤流程图；以及
[0022] 图2是根据本发明实施例的一种构建数据仓库模型的装置的结构示意图。
【具体实施方式】
[0023] 以下结合附图对本发明的示范性实施方式做出说明，其中包括本发明实施方式的 各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认 识到，可以对这里描述的实施方式做出各种改变和修改，而不会背离本发明的范围和精神。 同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0024] 本发明提出的一种构架数据仓库模型的方法为基于B2C(Business-t〇-Customer， 商对客）的电子商务业务的数据仓库模型标准化的构建方法，以B2C电子商务为业务基础， 区别于传统数据仓库模型的构建方法。
[0025] 如图1所示，本发明实施例的一种构建数据仓库模型的方法的步骤流程图。构建 数据仓库模型的方法，包括以下具体步骤：
[0026] 步骤S1 :对业务模型执行抽象处理生成领域模型。其中，领域模型包括：网站前端 模型、电子零售模型、供应链模型、售后模型以及仓储模型。由此，提高了针对业务抽象出来 的领域多样性与适用性。
[0027] 步骤S2 :将领域模型根据多个主题名称分拆为多个主题模型。其中，多个主题名 称包括：客户、组织机构、商品、订单、账户、客户端、营销、仓储、配送、客服、地理区域、财务、 社区、流量以及供应链，且多个主题模型参数包括：主题前缀、主题名称、简称以及业务覆盖 范围。由此，通过在领域模型中按照多个主题名称拆分提出多个主题的方式，有效的实现了 精确数据的分析和挖掘。具体对应关系，如下表所示：
[0028]
[00291-步骤S3 :通过多个主题模型构建数据仓库模型。 '
[0030] 具体地，通过多个主题模型构建数据仓库模型具体包括：将多个主题模型依次经 过缓冲数据层、基础数据层、通用数据层以及聚合数据层执行装载，构建数据仓库模型。其 中，缓冲数据层从源系统将数据抽取到本层，数据以文件的形式入到hadoop本地；基础数 据层将缓冲层的数据，通过拉链的方式加工到本层中；通用数据层根据业务模型，将基础层 数据通过业务逻辑加工成主题数据；聚合数据层按维度，将基础层或通用层数据通过汇总 逻辑加工成聚合数据。
[0031] 进一步地，数据模型中的维度数据层从源系统中抽取维度相关数据，入到本层中。 由此，实现了用户从多种维度分析数据的可行性；临时数据层用于临时数据加工、存储的 层。由此，通过对临时数据的堆放和缓存操作，有效提高了多个主题模型在多层执行装载的 速率。
[0032] 为了更好的理解通过多个主题模型构建数据仓库模型，进行以下示例：基于电 子商务的分布式数据仓库，通过hadoop平台，利用hive作为数据仓库工具，商品主题的 数据仓库模型构建过程：通过ETL过程，将商品相关的线上源系统的数据，抽取并装载到 BDM(Buffering Data Model，缓冲数据层），表名 bdm_item_01，bdm_item_02, bdm_item_03 等，通过加工脚本，将BDM层数据表，加工生成到FDM(Fundamental Data Model，基础数据 层），相对应的表名fdm_item_01，fdm_item_02，fdm_item_03等，继而通过hive脚本，将 FDM层的数据加工到GDM(General Data Model，通用数据层），表名gdm_m03_item，同时， FDM层或GDM层表，可以加工得到ADM(Aggregative Data Model，聚合数据层），表名adm_ m03_item，gdm和adm表，作为商品主题模型的物理表。
[0033] 根据本发明实施例的构架数据仓库模型的方法，基于