基于商业广告场景的数据仓库构建方法及装置

1.本发明涉及计算机数据管理技术领域，具体涉及一种基于商业广告场景的数据仓库构建方法及装置。


背景技术：

2.目前，随着移动互联网的快速发展，一种新生事物-移动广告应运而生，它以其精准性、即时性、互动性、扩散性、整合性和可测性等优点而得到广告商的青睐，从而得以快速发展。与此同时，也就有了移动广告平台的产生，移动广告平台是一个平台或中介，连接着应用开发者和广告主。在平台上，开发者提供应用，广告主提供广告，而移动广告平台就会提供相应手机系统的 sdk。开发者下载 sdk，通过使用 sdk 中的工具，可将广告嵌入应用中，并将这些应用通过其他渠道上传到移动互联网，最终用户下载应用，浏览或点击广告后，广告主就会根据相应的计费方式付费给开发者。
3.数据分析这个部分主要是对现有的移动广告平台在运营中产生的数据进行分析，并产生报表供相关人员查看。根据查看报表数据的人员的不同，主要可分为三个方面，一是从开发者角度做的报表统计，对于开发者来讲，他们主要想知道在平台投放的各个应用每天收入了多少钱；二是从广告主角度做的报表统计，对于广告主来讲，他们主要想知道他们的广告每天在平台展示了多少次，被点击了多少次，他们因此付给了开发者多少的费用；三是从决策者角度做的报表统计，对于公司的决策者来说，他们主要关心平台每天增加了多少广告主和开发者，每天活跃的应用有多少，每天展示和点击的广告有多少，哪种类型的广告被点击的最多，哪款应用的用户最多等等。由此可知，对于不同的用户，系统需要从不同的维度对这些大量的异构的数据进行多层次的分析，如果用数据仓库，那么随着数据的快速增长，传统的数据仓库正面临着信息爆炸的新挑战。如此巨大的数据单纯靠传统数据仓库架构来分析将是非常耗时的，并难以高效管理这些数据。


技术实现要素：

4.针对所述缺陷，本发明实施例公开了一种基于商业广告场景的数据仓库构建方法及装置，其可以高效管理庞大复杂的广告业务数据。
5.本发明实施例第一方面公开了基于商业广告场景的数据仓库构建方法，包括：对目标业务进行调研以获取不同目标业务所分别对应的业务流程；根据所述业务流程确定每一个目标业务中的业务事件或者业务动作，以获取对应的业务过程；建立目标业务的数据仓库，所述数据仓库至少包括维表、明细表和汇总表，所述维表用于统一目标业务的计算算法以及确定目标业务的关联表格，所述明细表用于记录每一个目标业务对应的业务过程，所述汇总表用于记录目标业务的主题域和数据域。
6.作为一种可选的实施方式，在本发明实施例第一方面中，所述数据仓库包括ods层级、dw层级、dma层级、dmt层级和da层级，所述ods层级为原始数据的接入层，所述dw层级用
于存储目标业务的业务过程，所述dma层级用于对数据进行融合汇总，所述dmt层级用于对目标业务主题进行汇总，所述da层级用于响应个性化数据需求。
7.作为一种可选的实施方式，在本发明实施例第一方面中，所述数据仓库的ods层级、dw层级、dma层级、dmt层级和da层级之间按照预设规则进行调用。
8.作为一种可选的实施方式，在本发明实施例第一方面中，所述根据所述业务流程确定每一个目标业务中的业务事件或者业务动作，以获取对应的业务过程，包括：根据业务流程确定对应的目标业务的业务操作节点，所述业务操作节点包括业务事件和业务动作；整理所述业务事件和业务动作，提取必要业务操作节点，并按照所述必要业务操作节点在所述业务流程中的次序生成对应的业务过程。
9.作为一种可选的实施方式，在本发明实施例第一方面中，将所述业务过程进行抽象集合形成目标业务的数据域。
10.作为一种可选的实施方式，在本发明实施例第一方面中，采集目标业务的主体内容以获得所述目标业务对应的业务主题，生成目标业务的主题域。
11.作为一种可选的实施方式，在本发明实施例第一方面中，还包括：基于目标业务的所述数据域和所述主题域生成所述目标业务的行为域总线矩阵。
12.本发明实施例第二方面公开一种基于商业广告场景的数据仓库构建装置，包括：业务调研模块：用于对目标业务进行调研以获取不同目标业务所分别对应的业务流程；过程获取模块：用于根据所述业务流程确定每一个目标业务中的业务事件或者业务动作，以获取对应的业务过程；仓库创建模块：用于建立目标业务的数据仓库，所述数据仓库至少包括维表、明细表和汇总表，所述维表用于统一目标业务的计算算法以及确定目标业务的关联表格，所述明细表用于记录每一个目标业务对应的业务过程，所述汇总表用于记录目标业务的主题域和数据域。
13.作为一种可选的实施方式，在本发明实施例第二方面中，所述数据仓库包括ods层级、dw层级、dma层级、dmt层级和da层级，所述ods层级为原始数据的接入层，所述dw层级用于存储目标业务的业务过程，所述dma层级用于对数据进行融合汇总，所述dmt层级用于对目标业务主题进行汇总，所述da层级用于响应个性化数据需求。
14.作为一种可选的实施方式，在本发明实施例第二方面中，所述数据仓库的ods层级、dw层级、dma层级、dmt层级和da层级之间按照预设规则进行调用。
15.作为一种可选的实施方式，在本发明实施例第二方面中，所述根据所述业务流程确定每一个目标业务中的业务事件或者业务动作，以获取对应的业务过程，包括：根据业务流程确定对应的目标业务的业务操作节点，所述业务操作节点包括业务事件和业务动作；整理所述业务事件和业务动作，提取必要业务操作节点，并按照所述必要业务操作节点在所述业务流程中的次序生成对应的业务过程。
16.作为一种可选的实施方式，在本发明实施例第二方面中，将所述业务过程进行抽象集合形成目标业务的数据域。
17.作为一种可选的实施方式，在本发明实施例第二方面中，采集目标业务的主体内容以获得所述目标业务对应的业务主题，生成目标业务的主题域。
18.作为一种可选的实施方式，在本发明实施例第二方面中，还包括：基于目标业务的所述数据域和所述主题域生成所述目标业务的行为域总线矩阵。
19.本发明实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的基于商业广告场景的数据仓库构建方法。
20.本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的基于商业广告场景的数据仓库构建方法。
21.与现有技术相比，本发明实施例具有以下有益效果：本发明实施例公开的基于商业广告场景的数据仓库构建方法充分考虑移动商业广告数据杂乱、数据量大、格式混乱等特点，通过获取业务流程，并据此获取对应的业务过程，然后建立数据仓库，实施例可以高效管理广告业务数据。
附图说明
22.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是本发明实施例公开的基于商业广告场景的数据仓库构建方法的流程示意图；图2是本发明实施例提供的一种基于商业广告场景的数据仓库构建装置的结构示意图；图3是本发明实施例提供的一种电子设备的结构示意图；图4是本发明实施例提供的层级调用流向图。
具体实施方式
24.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.本发明实施例公开了基于商业广告场景的数据仓库构建方法、装置、电子设备及存储介质，充分考虑移动商业广告数据杂乱、数据量大、格式混乱等特点，通过获取业务流
程，并据此获取对应的业务过程，然后建立数据仓库，实施例可以高效管理广告业务数据。
27.实施例一请参阅图1，图1是本发明实施例公开的基于商业广告场景的数据仓库构建方法的流程示意图。其中，本发明实施例所描述的方法的执行主体为由软件或/和硬件组成的执行主体，该执行主体可以通过有线或/和无线方式接收相关信息，并可以发送一定的指令。当然，其还可以具有一定的处理功能和存储功能。该执行主体可以控制多个设备，例如远程的物理服务器或云服务器以及相关软件，也可以是对某处安置的设备进行相关操作的本地主机或服务器以及相关软件等。在一些场景中，还可以控制多个存储设备，存储设备可以与设备放置于同一地方或不同地方。如图1所示，该基于基于商业广告场景的数据仓库构建方法包括以下步骤：101、对目标业务进行调研以获取不同目标业务所分别对应的业务流程。
28.实施例根据业务线情况可分为业务调研和需求调研，包括构建大数据的数据仓库和两种需求调研途径，并梳理出业务的整体业务架构和整体数据框架。其中，业务调研是构建大数据数据仓库的前提，需要了解各个业务线的业务有什么异同，以及各个业务线可以细分为哪几个业务模块，每个业务模块具有的业务流程是怎样的。而需求调研的凸筋包括两种，一是与相关的工作人员了解数据诉求，二是对报表系统中现有的报表进行研究分析。基于调研结果输出调研包括，梳理出业务线的整体业务架构、各个业务模块之间的联系与信息流动的流程；梳理出业务线的整体数据框架、各个业务模块中的主要业务功能和数据类型。
29.102、根据所述业务流程确定每一个目标业务中的业务事件或者业务动作，以获取对应的业务过程。
30.实施例结合业务线调研报告，确定业务模块/项目以及每个模块中的事件或者动作，抽象出业务过程。例如，商业化数仓业务过程包括有曝光、请求、点击、下载、计费、充值、消费、激活、留存、注册、登录、安装等，则整合为商业化广告的项目对应的业务过程包括曝光、请求、点击、下载、计费、充值、消费、激活、留存、注册、登录、安装。
31.实施例中，本步骤具体是根据业务流程确定对应的目标业务的业务操作节点，所述业务操作节点包括业务事件和业务动作；整理所述业务事件和业务动作，提取必要业务操作节点，并按照所述必要业务操作节点在所述业务流程中的次序生成对应的业务过程。
32.其中，将所述业务过程进行抽象集合形成目标业务的数据域。采集目标业务的主体内容以获得所述目标业务对应的业务主题，生成目标业务的主题域。
33.数据域的划分原则是面向业务数据，将业务过程或者维度进行抽象的几何，需要长期维护，不轻易变换和频繁修改，数据域必须具有扩展性，新增业务能不影响的扩展或者新增，把业务相近、粒度兼容的维度和度量值进行抽象整合。示例性的，如下表所示，对移动商业广告业务线进行数据域划分：
主题域的划分原则是面向数据应用分析，针对具体的业务分析主体，如商品分析、订单分析，数据具备一定的相关性或者业务相近，突出分析的主题。
34.示例性的，如下表示出的移动商业广告业务线的主题域划分：在此基础上，实施例还包括基于目标业务的所述数据域和所述主题域生成所述目标业务的行为域总线矩阵。
35.实施例明确每个数据域下有哪些业务过程后，即可构建总线矩阵。明确业务过程与哪些维度相关，并定义每个数据域下的业务过程和维度。
36.示例性的，下表示出了某业务线的行为域总线矩阵：103、建立目标业务的数据仓库，所述数据仓库至少包括维表、明细表和汇总表，所
述维表用于统一目标业务的计算算法以及确定目标业务的关联表格，所述明细表用于记录每一个目标业务对应的业务过程，所述汇总表用于记录目标业务的主题域和数据域。
37.实施例中，数据仓库包括ods层级、dw层级、dma层级、dmt层级和da层级，所述ods层级为原始数据的接入层，所述dw层级用于存储目标业务的业务过程，所述dma层级用于对数据进行融合汇总，所述dmt层级用于对目标业务主题进行汇总，所述da层级用于响应个性化数据需求。并且，数据仓库的ods层级、dw层级、dma层级、dmt层级和da层级之间按照预设规则进行调用。
38.实施例的创建数据仓库也即是创建模型，或者的创建不同的表格。主要包括维度及属性的规范定义，维表、明细事实表和汇总事实表的模型设计。其中，维表设计是基于维度建模理念，建立数据维表，以降低数据计算口径和算法不统一的风险。维表设计结合业务，确定维表使用范围，完成维度的初步定义，并保证维度的一致性。确定主维表，主维表通常是ods表，直接与业务系统同步，确定相关维表，确定哪些表和主维表存在关联关系，并选择其中的某些表用于生成维度属性，确定维度属性，从主维表以及相关维表中选择维度属性或生成新的维度属性。实施例的维表设计原则是优先使用公共维表，维表设计考虑复用性和一致性，维度属性尽量覆盖业务的数据统计、分析、探查等需求，维度属性除编码字段外，还应尽可能包含文字性描述字段，避免过于频繁的更新维表的数据。
39.明细表作为数据仓库维度建模的核心，紧紧围绕着业务过程进行设计。结合业务数据情况，可以为每个业务过程建立一个事实表，也可以将多个相近或者相似的业务过程建立一个事实表。针对业务过程确定一个粒度，就确定了事实表中每一行所表达的细节层次。保证所有的事实按照同样的细节层次记录。如果有字段可以表达这个粒度，可以定义为事实表的主键。应该尽量选择最细级别的粒度，以确保事实表的应用具有最大的灵活性。选定好业务过程并且确定粒度后，就可以确定维度信息，选择能够描述清楚业务过程的维度信息。选定好业务过程并且确定粒度后，就可以确定维度信息，选择能够描述清楚业务过程的维度信息。事实表应该包含与业务过程描述有关的所有事实，且事实的粒度要与所确定的事实表的粒度一致。确定需要哪些相关维度，进行维度冗余。在事实表中存储各种类型的常用维度信息，减少下游用户使用时关联多个表的操作，减少计算开销，提高使用效率。明细表的设计原则是尽可能包含所有与业务过程相关的事实、只选择与业务过程相关的事实、在同一个事实表中，不能包含多种不同粒度的事实。事实表中所有事实的粒度需要与表声明的粒度保持一致、事实的单位要保持一致、对事实的 null值要做统一处理。
40.汇总表以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总表。其设计步骤是确定汇总的主题域/数据域、确定汇总的维度、确定汇总的事实。汇总表的设计原则是数据公用性，维度和事实尽可能覆盖相关业务使用数据的场景、尽量不要在同一个表中存储不同粒度的汇总数据，如有必要，可用分区存储、模型复用性，尽可能多地覆盖下游使用数据的场景、指标加工范围尽量不包含复合型指标。
41.实施例中，还包括层级的调用，参见图4，预设规则可以包括dw层深度不大于2；dma层深度不大于2；dmt层深度不大于1，不允许层级回流调用，应用层优先调用dma/dmt数据集市汇总层，已经存在dma/dmt层数据，不允许应用层跨过从ods/dw层重复加工数据。公共层团队应该积极了解应用层数据的建设要求，将公用的数据沉淀到dm层，为其他团队提供数据服务。应用层团队也需积极配合公共层团队进行持续的dm层建设的改造和迁移。必须避
免出现过度的ods层引用和不合理的数据复制和子集合冗余。
42.并且还有退维处理，退维是指在模型物理实现中将各维度的常用属性退化到事实表中，以大大提高对事实表的过滤查询、统计聚合等操作的效率，下游层级模型使用的维度属性数据下沉本层模型中进行，在这里指 dw/dma/dmt/da层模型中的维度属性下沉，将维度属性从上一层级下沉到1-n层级模型表。其中，dw层降维是将下游dma/dmt/da层常规且稳定的维度下沉在该层进行存放，方便使用，减少重复关联维表，需考虑数据回溯计算成本因素，易变动的维度不建议退到该层。dmt层降维是将下游da层的维度属性退到该层，将能够关联使用的维度尽可能下沉到该层，解决易变动维度问题，灵活应用，dim降维是将维表做扁平化处理，维度打横，扁平化处理就是将能够整合的维度全部以字段的形式放到一个模型表里，包含易变动维度。
43.示例性的，广告曝光、点击、计费表comm_dw.dw_ssp_expo_click_hi，将广告（dim_ad_marketing_ad_info_hf）、广告位（comm_dim.dim_ad_pst_info_h）、创意（comm_dim.dim_adad_info_h）、广告组（dim_ad_marketing_ad_group_info_hf）、计划（dim_ad_plan_info_hf）、广告主（dim_ad_advertiser_info_h）的稳定维度属性（媒体id，广告付费形式、广告组id、ocpc转换目标、计划id、广告推广形式、广告位类型等）退化到明细表。
44.实施例二请参阅图2，图2是本发明实施例公开的基于商业广告场景的数据仓库构建装置的结构示意图。如图2所示，该基于商业广告场景的数据仓库构建装置可以包括：业务调研模块201、过程获取模块202、仓库创建模块203，其中，业务调研模块201：用于对目标业务进行调研以获取不同目标业务所分别对应的业务流程；过程获取模块202：用于根据所述业务流程确定每一个目标业务中的业务事件或者业务动作，以获取对应的业务过程；仓库创建模块203：用于建立目标业务的数据仓库，所述数据仓库至少包括维表、明细表和汇总表，所述维表用于统一目标业务的计算算法以及确定目标业务的关联表格，所述明细表用于记录每一个目标业务对应的业务过程，所述汇总表用于记录目标业务的主题域和数据域。
45.实施例中，数据仓库包括ods层级、dw层级、dma层级、dmt层级和da层级，所述ods层级为原始数据的接入层，所述dw层级用于存储目标业务的业务过程，所述dma层级用于对数据进行融合汇总，所述dmt层级用于对目标业务主题进行汇总，所述da层级用于响应个性化数据需求。数据仓库的ods层级、dw层级、dma层级、dmt层级和da层级之间按照预设规则进行调用。
46.本实施例与实施例一的技术手段及技术效果本质相同，在此不再赘述。
47.实施例三请参阅图3，图3是本发明实施例公开的一种电子设备的结构示意图。电子设备可以是计算机以及服务器等，当然，在一定情况下，还可以是手机、平板电脑以及监控终端等智能设备，以及具有处理功能的图像采集装置。如图3所示，该电子设备可以包括：存储有可执行程序代码的存储器301；与存储器301耦合的处理器302；其中，处理器302调用存储器301中存储的可执行程序代码，执行实施例一中的基于商业广告场景的数据仓库构建方法中的部分或全部步骤。
48.本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机
程序使得计算机执行实施例一中的基于商业广告场景的数据仓库构建方法中的部分或全部步骤。
49.本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的基于商业广告场景的数据仓库构建方法中的部分或全部步骤。
50.本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的基于商业广告场景的数据仓库构建方法中的部分或全部步骤。
51.在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
52.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
53.另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
54.所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备（可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器）执行本发明的各个实施例所述方法的部分或全部步骤。
55.在本发明所提供的实施例中，应理解，“与a对应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。
56.本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器（read-only memory，rom）、随机存储器（random access memory，ram）、可编程只读存储器（programmable read-only memory，prom）、可擦除可编程只读存储器（erasable programmable read-only memory，eprom）、一次可编程只读存储器（one-time programmable read-only memory，otprom）、电子抹除式可复写只读存储器（electrically-erasable programmable read-only memory，eeprom）、只读光盘（compact disc read-only memory，cd-rom）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
57.以上对本发明实施例公开的基于商业广告场景的数据仓库构建方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综
上所述，本说明书内容不应理解为对本发明的限制。