一种多广告平台投放数据的管理方法及系统与流程

1.本技术涉及数字广告投放结果数据分析技术的领域，尤其是涉及一种综合多广告平台投放数据的管理方法及系统。
2.

背景技术：

3.随着互联网的蓬勃发展，数字广告市场也在不断扩大。虽然数字广告通过受众定向、流量监测和个性化服务为广告主创造更大的价值，但与此同时，数字广告的投放数据孤岛化也日益形成，广告主无法看清其投放效果的全貌，对指导后续广告投放的策略拟定带来了很大程度的困难。
4.目前，一般通过人工手段花费很多时间处理在不同广告平台投放的数据，以便分析投放效果和指导后续媒体投放；这种通过人工管理不同广告平台投放数据的方法，不仅耗时耗力，而且可能数据还不能完全正确的被收集、整理和清洗，存在严重的滞后性和数据不准确性，已经无法适应当前数字广告投放频率高的节奏。


技术实现要素：

5.为了提高管理不同广告平台投放数据的工作效率，解决不同广告平台投放的数据管理分析投放效果和指导后续媒体投放，本技术提供了一种综合多广告平台投放数据管理的方法及系统。
6.第一方面，本技术提供的一种多广告平台投放数据管理的方法，采用如下的技术方案：一种多广告平台投放数据管理的方法，包括：从不同广告平台获取广告投放的原始数据，并按照广告平台名称分别存储在底层数据库中；对所述底层数据库中每个广告平台广告投放的新增原始数据进行脏数据的剔除，得到处理后的原始数据；其中，脏数据的剔除包括无效数据剔除和非法数据剔除；对每个广告平台处理后的原始数据按照广告投放维度、广告层级以及时间进行最小颗粒度的拆分，得到每个广告平台原始数据的最小颗粒集；基于每个广告平台所述最小颗粒集中的最小颗粒进行字符串分析，并根据数据字典提取目标数据字段以及对每个目标数据字段打上对应标签；其中，所述数据字典至少包括所述标签、每个所述标签标识对应的目标数据字段集；将每个广告平台打标签的所述目标数据字段全部映射转化为统一标准格式的标准目标数据，然后汇入mysql数据库按照不同广告平台分别存储在对应的目标数据库中；将每个广告平台的所述标准目标数据进行多数据源集成后输入搭建的数据虚拟化层的源位置，通过预先为数据源创建的元数据组织得到数据可调用的数据源表。
7.可选的，所述从不同广告平台获取广告投放的原始数据，并按照广告平台名称分
别存储在底层数据库中，包括：根据每个广告平台的oauth授权模式获取其访问权限；每隔第一预设时间向具有访问权限的广告平台发送api调用请求，调用对应api获取每个广告平台广告投放的所述原始数据；将获取的所述原始数据按照获取时间顺序存储在底层数据库对应平台的子数据库中。
8.可选的，所述每隔第一预设时间向具有访问权限的广告平台发送api调用请求，调用对应api获取每个广告平台广告投放的所述原始数据还包括：在每次获取到原始数据后的第二预设时间向对应广告平台重新获取所述原始数据，并覆盖之前获取的原始数据。
9.可选的，所述广告投放维度包括投放效果维度、地域维度、人群标签维度、投放版位维度、出价类型维度；所述广告层级包括代理商、广告账号、广告计划、广告组、广告，创意素材；时间包括但不限于：分日、分时。
10.可选的，所述对每个广告平台处理后的原始数据按照广告投放维度、广告层级以及时间进行最小颗粒度的拆分，得到每个广告平台原始数据的最小颗粒集，包括：按照所述代理商分别对每个广告平台所述原始数据进行拆分，得到每个代理商的广告数据颗粒；按照所述广告账户分别对每个代理商的广告数据颗粒进行拆分，得到每个广告账号的广告数据颗粒；按照不同维度对每个广告账号的广告数据颗粒进行拆分，得到投放效果维度的广告数据颗粒、地域维度的广告数据颗粒、人群标签维度的广告数据颗粒、投放版位维度的广告数据颗粒以及出价类型维度的广告数据颗粒多个不同维度的广告数据颗粒；按照广告计划分别对不同维度的广告数据颗粒进行拆分，得到每个维度每个广告计划的广告数据颗粒；按照广告组分别对每个广告计划的广告数据颗粒进行拆分，得到每个广告组的广告数据颗粒；按照广告分别对每个广告组的广告数据颗粒进行拆分，得到每个广告的广告数据颗粒；按照创意素材分别对每个广告的广告数据颗粒进行拆分，得到每个创意素材的广告数据颗粒；按照分时对每个创意素材的广告数据颗粒进行拆分，得到每个分时的广告数据颗粒；按照分日对每个分时广告数据颗粒进行拆分，得到每个分日的广告数据颗粒，每个分日的广告数据颗粒，并以所有分日的广告数据颗粒的集合为每个广告平台的最小颗粒集。
11.可选的，所述对每个广告平台处理后的原始数据按照广告投放维度、广告层级以及时间进行最小颗粒度的拆分，得到每个广告平台原始数据的最小颗粒集，还包括将每个广告平台不同维度下的最小颗粒分别按照拆分顺序组织构建一张报表，以存储每个广告平台的最小颗粒度集中的最小颗粒。
12.可选的，所述基于每个广告平台所述最小颗粒集中的最小颗粒进行字符串分析，并根据数据字典提取目标数据字段以及对每个目标数据字段打上对应标签，包括：对每个广告平台的所述最小颗粒进行字符串分析，并运用模糊匹配和正则表达式匹配从中提取所述数据字典包括的所述目标数据字段；利用所述数据字典提供的对应关系对提取的所述目标数据字段打上对应标签。
13.可选的，在所述将每个广告平台打标签的所述目标数据字段全部映射转化为统一标准格式的标准目标数据中，所述映射转化包括：根据所述目标数据字段的预设格式将所有广告平台相同目标数据字段的格式修改为对应的预设格式；根据所述目标数据字段的预设常量将所有广告平台为常量的相同目标数据字段修改为对应预设常量；根据所述目标数据字段的预设数据范围将所有广告平台的相同目标数据字段的数据范围修改为对应预设数据范围；根据所述目标数据字段的预设数据类型将所有广告平台的相同目标数据字段的数据类型都修改为对应预设数据类型；可选的，所述数据源表为一个整合的应用层数据表结构，设计对应接口和驱动响应，支持web端实时通过http抽取对应数据字段。
14.第二方面，本技术提供了一种多广告平台投放数据管理的系统，采用如下的技术方案：一种多广告平台投放数据管理的系统，包括处理器和存储器以及存储在人所述存储器上的计算机程序，所述处理器执行计算机程序如第一方面所述的一种多广告平台投放数据管理的方法。
15.综上所述，本技术包括以下至少一种有益技术效果：1.提供基于一种基于数据虚拟化(data virtualization)的综合多广告平台投放数据管理和合并报表展示的方法，集成多媒体平台数字广告投放效果的数据综合管理的技术，解决了传统的基于人工统计存在的易漏、易错、耗时、耗力的问题，通过对数字广告投放日志数据的数据获取、数据清洗、数据映射、数据分析，分层级管理数据内容，最终实现基于大数据管理和清洗技术的数字广告多媒体平台综合数据管理和展示；2.解决手工整理数据，组合数据，并整合数据，耗时耗力，处理滞后导致易流失市场先机的问题，此方法解决了重复人力消耗的问题，通过数据虚拟化的大数据处理方式，通过数据处理流程和建模完成繁复的数据处理工作，并提供前端灵活调用；3.现在是由系统根据多维度指数（行业、客户、品牌、产品、分日、分时、媒体投放占比和趋势、客户占比等），根据一定数据整合规则，把所需的数据按一定方式清洗，映射，整合，达成在web端一站式综合查看对应过的数据，而无需二次处理，减轻了人工反复推演数据的工作量。
附图说明
16.图1是本技术提供的一种多广告平台投放数据管理的方法的流程图；图2是本技术提供的一种多广告平台投放数据管理的方法的数据流向图；
图3是本技术提供的一种多广告平台投放数据管理的系统的框图。
17.具体实施方式
18.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图1-3及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。下面对本技术涉及的名词进行如下解释：api，application programming interface，应用程序接口，是一些预先定义的接口（如函数、http接口），或指软件系统不同组成部分衔接的约定；用来提供应用程序与开发人员基于某软件或硬件得以访问的一组例程，而又无需访问源码，或理解内部工作机制的细节。
19.token，在计算机身份认证中是令牌（临时）的意思，代表执行某些操作的权利的对象；token其实说的更通俗点可以叫暗号，在一些数据传输之前，要先进行暗号的核对，不同的暗号被授权不同的数据操作。
20.mysql，是一种开放源代码的关系型数据库管理系统（rdbms），使用最常用的数据库管理语言
‑‑
结构化查询语言（sql）进行数据库管理。
21.脏数据，dirty read，是指源系统中的数据不在给定的范围内或对于实际业务毫无意义，或是数据格式非法，或者在源系统中存在不规范的编码和含糊的业务逻辑。
22.数据虚拟化，是用来描述所有数据管理方法的涵盖性术语，这些方法允许应用程序检索并管理数据，且不需要数据相关的技术细节。例如它格式化的方式或物理位置所在。
23.元数据， metadata，又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
24.数据映射，data mapping，给定两个数据模型，在模型之间建立起数据元素的对应关系，将这一过程称为数据映射。数据映射是很多数据集成任务的第一步，例如：数据迁移（data migration）、数据清洗（data cleaning）、数据集成。
25.oauth， open authorization，oauth协议为用户资源的授权提供了一个安全的、开放而又简易的标准。与以往的授权方式不同之处是oauth的授权不会使第三方触及到用户的帐号信息（如用户名与密码），即第三方无需使用用户的用户名与密码就可以申请获得该用户资源的授权，因此oauth是安全的。
26.本技术实施例公开一种多广告平台投放数据管理的方法。参照图1和图2，包括以下步骤：步骤s100、从不同广告平台获取广告投放的原始数据，并按照广告平台名称分别存储在底层数据库中，作为源数据层。
27.在本实施例中，通过发送api调用请求，调用对应api获取每个广告平台广告投放的原始数据；本实施例根据每个广告平台的oauth授权模式获取其访问权限（token），只有具有访问权限才能够获取到该广告平台广告投放的原始数据，否则，无法获取到广告平台广告投放的原始数据。
28.在本实施例中，步骤s100包括以下步骤：
每隔第一预设时间（每个广告平台对应的第一预设时间不一定相同，可以分时，如30天获取一次，或者90天获取一次，或者7天获取一次等，也可以分日，每天在固定时段获取天获取一次，如每半小时跑一次定时任务，对此不做限制）从广告平台获取广告投放的原始数据；将获取的原始数据按照获取时间（获取时间戳）顺序存储在底层数据库对应平台的子数据库中。
29.为了保证前端客户能获取到最准确的数据信息，就要保证从每个广告平台获取的原始数据的全面性和准确性，本实施例还包括一个回溯任务，具体包括：在每次获取到原始数据后的第二预设时间（每个广告平台对应的第二预设时间不一定相同）向对应广告平台重新获取该原始数据，并覆盖之前获取的原始数据（在每次第一预设时间到来时获取的原始数据）；比如：第一预设时间是30天，如果11月30日获取到11月1日到11月30日之间的原始数据，第二预设时间是1天，所以在12月1日重新获取1月1日到11月30日之间的原始数据，相较于11月30日获取的原始数据，有些原始数据的字段会更新或增加。
30.步骤s200、对底层数据库中每个广告平台广告投放的原始数据进行脏数据的剔除，得到处理后的原始数据；其中，脏数据的剔除包括无效数据剔除和非法数据剔除。每当底层数据库有新增的原始数据（无论来自任何广告平台）就对新增的原始数据按照对应广告平台原始数据要求对脏数据的剔除。
31.步骤s300、对每个广告平台处理后的原始数据按照广告投放维度、广告层级以及时间进行最小颗粒度的拆分，得到每个广告平台原始数据的最小颗粒集，作为映射数据的最小颗粒匹配依据。
32.在本实施例中，广告投放维度包括但不限于投放效果维度、地域维度、人群标签维度、投放版位维度、出价类型维度；广告层级包括但不限于代理商、广告账号、广告计划、广告组、广告，创意素材；时间包括但不限于：分日、分时。
33.在本实施例中，步骤s300包括以下步骤：按照代理商分别对每个广告平台原始数据进行拆分，得到每个代理商的广告数据颗粒；按照广告账户分别对每个代理商的广告数据颗粒进行拆分，得到每个广告账号的广告数据颗粒；按照不同维度对每个广告账号的广告数据颗粒进行拆分，得到投放效果维度的广告数据颗粒、地域维度的广告数据颗粒、人群标签维度的广告数据颗粒、投放版位维度的广告数据颗粒以及出价类型维度的广告数据颗粒等维度的广告数据颗粒；按照广告计划分别对不同维度的广告数据颗粒进行拆分，得到每个广告计划的广告数据颗粒；按照广告组分别对每个广告计划的广告数据颗粒进行拆分，得到每个广告组的广告数据颗粒；按照广告分别对每个广告组的广告数据颗粒进行拆分，得到每个广告的广告数据颗粒；按照创意素材分别对每个广告的广告数据颗粒进行拆分，得到每个创意素材的广
告数据颗粒；按照分时对每个创意素材的广告数据颗粒进行拆分，得到每个分时的广告数据颗粒；按照分日对每个分时广告数据颗粒进行拆分，得到每个分日的广告数据颗粒，每个分日的广告数据颗粒即为广告平台原始数据的最小颗粒，所有分日的广告数据颗粒集合则为广告平台处理后的原始数据，即得到每个广告平台的最小颗粒集。
34.在本实施例中，可以将每个广告平台不同维度下的最小颗粒分别按照拆分顺序组织构建一张报表，以存储每个广告平台的最小颗粒度集中的最小颗粒；即在每个维度报表下构建多个广告计划，每个广告计划下构建多个广告组，每个广告组下构建多个广告，每个广告下构建多个创意素材，每个创意素材下构建多个分时，在每个分时下构建多个分日，每个分日下记载对应分日的广告数据颗粒（对应的最小颗粒）。
35.步骤s400、基于每个广告平台最小颗粒集中的最小颗粒进行字符串分析，并根据数据字典提取目标数据字段以及对每个目标数据字段打上对应标签，完成不同广告平台最小颗粒的统一归类和标识；其中，数据字典至少包括标签（标签是根据行业既定标准以及系统设计标准来定义的，比如广告平台a的a字段叫曝光，广告平台b的b字段叫展示，但其实是一个意思，统一到一个标签在底层记录为曝光量）、每个标签标识对应的目标数据字段集（目标数据字段集为标签所描述数据内容的不同表述形式或标签按照预设标识规则能够标识的数据内容，如果标签为广告组，它的表述形式可能是广告a组、a组广告、b组等）；每当系统有新的广告平台的广告投放数据需要处理，就会根据预设算法更新数据字典，使数据字典具有通用性，适用于系统管理的所有广告平台，同一含义不同表达的目标数据字段统一。
36.在本实施例中，步骤s400包括：对每个广告平台的最小颗粒进行字符串分析，并运用模糊匹配和正则表达式匹配从中提取数据字典包括的目标数据字段；利用数据字典提供的对应关系对提取的目标数据字段打上对应标签。
37.步骤s500、将每个广告平台打标签的目标数据字段全部映射转化为统一标准格式的标准目标数据，然后汇入mysql数据库按照不同广告平台分别存储在对应的目标数据库中。
38.在本实施例步骤s500中，将每个广告平台打标签的目标数据字段全部映射转化为统一标准格式的标准目标数据，包括但不限于以下映射转化：根据目标数据字段的预设格式将所有广告平台相同目标数据字段的格式修改为对应的预设格式；例如目标数据字段原来的格式是小数点后保留1位，预设格式为小数点后保留2位；根据目标数据字段的预设常量将所有广告平台为常量的相同目标数据字段修改为对应预设常量；例如目标数据字段为推广目的，同一个类型的推广目的，广告平台1用编号123表示，广告平台2用常量test表示，该类型的推广目预设常量为统一编码456，仅此步骤后在广告平台1和广告平台2的最小颗粒中目标数据字段为该类型推广目的常量都变更为456。
39.根据目标数据字段的预设数据范围将所有广告平台的相同目标数据字段的数据范围修改为对应预设数据范围；例如目标数据字段原来是11个字符，预设数据范围为10个
字符；根据目标数据字段的预设数据类型将所有广告平台的相同目标数据字段的数据类型都修改为对应预设数据类型；例如目标数据字段原有类型为float，预设数据类型为int。
40.步骤s600、将每个广告平台的标准目标数据进行多数据源集成后输入搭建的数据虚拟化层（数据中间层）的源位置，通过预先为数据源创建的元数据组织得到数据可调用的数据源表。其中，元数据组织定义了数据源的标签、数据的属性信息等，用来支持如指示存储位置、历史数据、资源查找、文件记录等。数据源表为一个整合的应用层数据表结构，设计对应接口和驱动响应，支持web端实时通过http抽取对应数据字段，以便应用层根据用户请求调取目标数据。可见，本技术实施例搭建数据虚拟化层至少包括构建元数据组织以及搭建一个用于集成数据源的应用层数据表结构（源表）。
41.在本实施例中，搭建数据虚拟化层还包括为数据虚拟化层的数据源构建数据监控机制，对数据虚拟化层的数据源进行安全、质量、管理等控管。即本技术实施例还包括实时对数据源表进行安全、质量、管理等控管。
42.本技术实施例通过创建的数据虚拟化层与底层标签结合从数据虚拟化层的数据虚拟化平面去完成元数据构建、数据源映射、查询驱动、响应等功能，同时从数据虚拟化层的管理平面去进行系统配置、管理、监测、安全、数据检查与维护等工作，构建能够匹配多家广告平台、对等、有效、可控的数据内容，从而完成多广告平台投放数据统一标签构造，为下一步应用层搭建易用、快速、可调取的数据结构（数据源表），解决了人工统计存在的易漏、易错、耗时、耗力的问题，无需反复进行推演，减少人工工作量，有效提高跨广告平台广告投放数据的处理速度。
43.本技术实施例提供的一种多广告平台投放数据的管理方法还包括：应用层（服务端）根据用户（客户端）发送的查询请求，根据查询请求通过http从数据虚拟化层的数据源表抽取相应内容，并按查询要求展示在web端反馈给用户，实现多个媒体广告平台投放数据内容的一站式综合查询和展示，进一步的，在展示时，可以从多维度（行业、客户、品牌、产品、分日、分时、媒体投放占比和趋势、客户占比等）分别对各种指标进行统计分析，并可灵活筛选和展示分析结果。
44.本实施例还公开了一种多广告平台投放数据的管理系统，部署于多广告平台拖放数据的管理服务器；具体地，该系统包括：一个或多个处理器和存储器，如图3所示，以一个处理器200及存储器100为例。处理器200和存储器100可以通过总线或者其他方式连接，如以通过总线连接为例。
45.存储器100作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本技术实施例中的一种多广告平台投放数据的管理方法。处理器200通过运行存储在存储器100中的非暂态软件程序以及指令，从而实现上述本技术实施例中的一种多广告平台投放数据的管理方法。
46.存储器100可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储执行上述实施例中的一种多广告平台投放数据的管理方法所需的数据等。此外，存储器100可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储
器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
47.实现上述实施例中的一一种多广告平台投放数据的管理方法所需的非暂态软件程序以及指令存储在存储器中，当被一个或者多个处理器执行时，执行上述实施例中的一种多广告平台投放数据的管理方法，例如，执行以上描述的图1中的方法步骤s100至步骤s600。
48.以上均为本技术的较佳实施例，并非依此限制本技术的保护范围，本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。