一种营销中台数据治理方法与流程

1.本发明涉及的是营销技术领域，具体涉及一种营销中台数据治理方法。


背景技术：

2.互联网时代,每个企业必须适应日益快速变化的环境，应用新兴的营销方式、技术和营销理念为企业营销活动赋能。另一方面，每个企业都要面对大量的营销场景诉求、复杂的业务处理逻辑、分散的营销渠道，急需高效的营销活动整各方案，真正实现活动高效精准配置和以数据驱动业务。
3.翼支付的营销活动配置系统，是一个集营销活动类型多元化、营销模式多元化、营销规则多元化于一体的营销活动配置系统。活动提供给31省和业务部门使用，随着时间的推移，大量形式各异的业务诉求、复杂的规则校验和各种营销数据提取，使原本臃肿的系统变得脆弱不堪，迫切需要一套高效营销活动配置系统。
4.随着业务功能的不断迭代开发，由配置系统同步下游的数据不断增加，分散的数据存储系统、复杂的业务逻辑、高并发的流量，需要将原本分散在各项目的数据统一收口，提供统一的数据api，提升数据可信度，让数据使用方不再关心数据新增变更，安心使用。


技术实现要素：

5.针对现有技术上存在的不足，本发明目的是在于提供一种营销中台数据治理方法，解决企业营销在配置营销活动时配置不够灵活、系统维护成本高、业务扩展慢、数据存储混乱等问题。
6.为了实现上述目的，本发明是通过如下的技术方案来实现：一种营销中台数据治理方法，包括以下步骤：
7.(1)、数据入口模块：根据营销活动配置参数，可将配置信息按功能分为营销工具、营销活动、营销权益、扩展信息等，外部系统查询时提供统一的数据模型标识，根据标识查询对应的数据。
8.(2)、信息组装模块：根据字段属性动态建立模型对象，定义字段key、模块类型、同步系统、映射字段、处理规则，通过反射生成各模块处理对象，构建本次处理模型，通过自定义责任链工厂依次处理组装的数据。
9.(3)、数据处理模块：将转换后的数据先转换为json字符串入redis归档记录，随后根据营销中台架构各系统数据需求，转换为指定格式数据，依次遍历系统寻找对应db资源和redis资源。
10.(4)、数据源同步模块。
11.所述的步骤(4)具体包括以下步骤：
12.(4.1)将一次系统请求的数据组装为各系统需要的数据后，通过连接关联系统的db读库做更新，关联系统通过引用数据治理系统对外统一的表do对象做查询，实现操作上的读写分离。
13.(4.2)数据治理系统和关联系统对静态数据的操作统一redis的key前缀，当数据发生变更或reids失效时，对key加锁并更新编号下的值。
14.(4.3)当db和redis更新后，将变更数据组装对外吐统一的kafka。
15.本发明具有以下有益效果：
16.1、统一营销中台数据更新入口，简化了开发流程，提升了数据可信度，减少了分布式系统数据一致性问题。
17.2、数据分库分表，分系统做数据库读写操作，提升了数据库的水平扩展能力，业务系统不用过度关注数据的准确性，专注做与业务逻辑。
18.3、规范数据格式，建少了安全问题产生。
附图说明
19.下面结合附图和具体实施方式来详细说明本发明；
20.图1为本发明的数据治理系统总体架构图；
21.图2为本发明的系统流程图。
具体实施方式
22.为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
23.参照图1-2，本具体实施方式采用以下技术方案：一种营销中台数据治理方法，包括以下步骤：
24.1、数据入口模块：根据营销活动配置参数，可将配置信息按功能分为营销工具、营销活动、营销权益、扩展信息等，外部系统查询时提供统一的数据模型标识，根据标识查询对应的数据。
25.2、信息组装模块：根据字段属性动态建立模型对象，定义字段key、模块类型、同步系统、映射字段、处理规则，通过反射生成各模块处理对象，构建本次处理模型，通过自定义责任链工厂依次处理组装的数据。
26.3、数据处理模块：将转换后的数据先转换为json字符串入redis归档记录，随后根据营销中台架构各系统数据需求，转换为指定格式数据，依次遍历系统寻找对应db资源和redis资源。
27.4、数据源同步模块：
28.4.1将一次系统请求的数据组装为各系统需要的数据后，通过连接关联系统的db读库做更新，关联系统通过引用数据治理系统对外统一的表do对象做查询，实现操作上的读写分离。
29.4.2数据治理系统和关联系统对静态数据的操作统一redis的key前缀，当数据发生变更或reids失效时，对key加锁并更新编号下的值。
30.4.3当db和redis更新后，将变更数据组装对外吐统一的kafka。
31.本具体实施方式根据营销活动配置参数，可将配置信息按功能分为营销工具、营销活动、营销权益、扩展信息等，外部系统查询时提供统一的数据模型标识，根据标识查询对应的数据。根据配置信息中的字段属性动态建立模型对象，定义字段key、模块类型、同步
系统、映射字段、处理规则，通过反射生成各模块处理对象，构建本次处理模型，通过自定义责任链工厂依次处理组装的数据，
32.本具体实施方式可以将所有的数据进行整合，以向用户提供统一的接口，该同一接口在接收到用户的多样请求时，会根据该请求中的配置信息，自动组装出用户需要的数据模型，并下发给用户。由此，便可以通过统一的数据接口，响应用户不同类型的数据请求。
33.以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。


技术特征：
1.一种营销中台数据治理方法，其特征在于，包括以下步骤：(1)、数据入口模块：根据营销活动配置参数，可将配置信息按功能分为营销工具、营销活动、营销权益、扩展信息，外部系统查询时提供统一的数据模型标识，根据标识查询对应的数据；(2)、信息组装模块：根据字段属性动态建立模型对象，定义字段key、模块类型、同步系统、映射字段、处理规则，通过反射生成各模块处理对象，构建本次处理模型，通过自定义责任链工厂依次处理组装的数据；(3)、数据处理模块：将转换后的数据先转换为json字符串入redis归档记录，随后根据营销中台架构各系统数据需求，转换为指定格式数据，依次遍历系统寻找对应db资源和redis资源；(4)、数据源同步模块。2.根据权利要求1所述的一种营销中台数据治理方法，其特征在于，所述的步骤(4)具体包括以下步骤：(4.1)将一次系统请求的数据组装为各系统需要的数据后，通过连接关联系统的db读库做更新，关联系统通过引用数据治理系统对外统一的表do对象做查询，实现操作上的读写分离；(4.2)数据治理系统和关联系统对静态数据的操作统一redis的key前缀，当数据发生变更或reids失效时，对key加锁并更新编号下的值；(4.3)当db和redis更新后，将变更数据组装对外吐统一的kafka。

技术总结
本发明公开了一种营销中台数据治理方法，包括：(1)、数据入口模块：根据营销活动配置参数，外部系统查询时提供统一的数据模型标识，根据标识查询对应的数据。(2)、信息组装模块：根据字段属性动态建立模型对象，定义字段key、模块类型、同步系统、映射字段、处理规则，通过反射生成各模块处理对象，构建本次处理模型，通过自定义责任链工厂依次处理组装的数据。(3)、数据处理模块：将转换后的数据先转换为json字符串入redis归档记录，随后根据营销中台架构各系统数据需求，转换为指定格式数据，依次遍历系统寻找对应DB资源和redis资源。(4)、数据源同步模块。本发明解决企业营销在配置营销活动时配置不够灵活、系统维护成本高、业务扩展慢、数据存储混乱问题。数据存储混乱问题。数据存储混乱问题。


技术研发人员：余昌昌 程晨 胡文杰
受保护的技术使用者：天翼电子商务有限公司
技术研发日：2021.12.30
技术公布日：2022/5/25