营销指标实时聚合方法、装置和设备与流程

本技术涉及大数据，具体涉及一种营销指标实时聚合方法、装置和设备。

背景技术：

1、目前，请参照图2，现有营销产品(例如手机流量产品)评估的方式，通常采用接口文件的方法，协调各系统定时输出约定好的校园、交通枢纽、节假日等流量产品相关的营销数据，上传至指定的ftp(file transfer protocol，即文件传输协议)目录，检测到文件后进行数据入库操作，再由定时调度对上一小时的数据进行流量营销评估计算，呈现推广10元10g、任我看等流量产品的渠道接触数，渠道响应数、渠道订购数、以及各年龄阶段、职位的流程接触、响应、订购情况，其主要实现架构如下：

2、环节一：各系统按照数据格式开发数据接口，按约定的时间定时生成营销产品的数据文件，同时推送至ftp服务器，以文件方式告知接收方进行入库操作；

3、环节二：接收方定时扫描ftp服务器，当扫描到营销数据后，从ftp服务器下载营销数据，同时对文件进行解析入库处理，入库至oracle数据库；

4、环节三：启用定时统计程序，定时从oracle数据库进行数据统计，主要统计指标：客户接触指标、客户响应指标、客户订购指标、客户画像指标。

5、现有技术主要存在以下问题：

6、1、数据采集延时，需由各渠道对营销产品的营销数据定时的输出，由需保障各系统的业务，对数据只能进行低频增量输入，在数据采集方面通常为一小时传输或闲时传输；

7、2、数据入库延时，由于入库程序未能实时感知各渠道数据上传情况，只能采取定时检测文件，定时做文件处理及入库，而每小时大数据量的入库，导致数据库io瓶颈，通常需要在3-4个小时处理完成；

8、3、数据指标评估延时，由于数据采集、数据入库的时延过长，导致数据指标评估延时，即当到指标数据时，数据已延时5-6个小时，难以满足实时评估客户对营销产品的态度。

技术实现思路

1、本技术实施例提供一种营销指标实时聚合方法、装置和设备，用以解决数据采集延时、数据入库延时以及数据指标评估延时的技术问题。

2、第一方面，本技术实施例提供一种营销指标实时聚合方法，包括：

3、通过实时采集平台实时采集多个用户的营销产品的多种营销指标；

4、通过实时计算平台接收所述多种营销指标，并通过所述实时计算平台以数据流的形式将多个用户的所述多种营销指标实时并行写入至分布式数据库的对应的分布式节点；

5、通过实时物化视窗实时显示所述分布式数据库的各个分布式节点的所述多种营销指标。

6、在一个实施例中，所述通过所述实时计算平台以数据流的形式将多个用户的所述多种营销指标实时并行写入至分布式数据库的对应的分布式节点，包括：

7、通过所述实时计算平台基于一致性哈希方法计算各用户的所述多种营销指标在所述分布式数据库的待存放节点位置；

8、通过所述实时计算平台将待存放节点位置相同的用户的所述多种营销指标聚合形成数据流；

9、通过所述实时计算平台将各所述待存放节点位置的所述数据流并行写入至所述分布式数据库对应的分布式节点。

10、在一个实施例中，所述通过所述实时计算平台基于一致性哈希方法计算各用户的所述多种营销指标在所述分布式数据库的待存放节点位置，包括：

11、通过所述实时计算平台读取所述分布式数据库的多个分片表id、分片表id的总数量、以及多个分布式节点id；

12、通过所述实时计算平台基于一致性哈希方法实时计算所述各个分片表id对应的目标分布式节点id；

13、通过所述实时计算平台实时存储所述各个分片表id对应的目标分布式节点id；

14、通过所述实时计算平台基于各用户的特征数据计算各用户的多种所述营销指标对应的待存放分片表id；

15、通过所述实时计算平台基于所述待存放分片表id查询所述各个分片表id对应的目标分布式节点id，得到各用户的所述多种营销指标在所述分布式数据库的待存放节点位置。

16、在一个实施例中，所述通过所述实时计算平台基于一致性哈希方法实时计算所述各个分片表id对应的目标分布式节点id，包括：

17、通过所述实时计算平台计算各分片表id的哈希值；

18、通过所述实时计算平台将各所述哈希值放置于哈希环中，在哈希环上顺时针查找距离所述各分片表id的哈希值最近的分布式节点id，并确定距离所述各分片表id的哈希值最近的分布式节点id为各分片表id对应的目标分布式节点id。

19、在一个实施例中，所述通过所述实时计算平台基于各用户的特征数据计算各用户的多种所述营销指标对应的待存放分片表id，包括：

20、通过所述实时计算平台基于fnv1_32_hash方法计算各用户的特征数据的哈希值；

21、通过所述实时计算平台基于所述分片表id的总数量对所述各用户的特征数据的哈希值进行取余运算，得到各用户的多种所述营销指标对应的待存放分片表id。

22、在一个实施例中，所述营销指标实时聚合方法还包括：

23、确定预设解析规则和预设清洗规则，将预设解析规则和预设清洗规则广播至所述实时计算平台的各个执行节点；

24、通过各个所述执行节点基于预设解析规则对各所述营销指标中的字段进行解析；

25、通过各个所述执行节点基于预设清洗规则对解析后各所述营销指标中的字段进行清洗。

26、第二方面，本技术实施例提供一种营销指标实时聚合装置，包括：

27、采集模块，用于通过实时采集平台实时采集多个用户的营销产品的多种营销指标；

28、入库模块，用于通过实时计算平台接收所述多种营销指标，并通过所述实时计算平台以数据流的形式将多个用户的所述多种营销指标实时并行写入至分布式数据库的对应的分布式节点；

29、实时物化视窗实时显示模块，用于通过实时物化视窗实时显示所述分布式数据库的各个分布式节点的所述多种营销指标。

30、第三方面，本技术实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的营销指标实时聚合方法的步骤。

31、第四方面，本技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的营销指标实时聚合方法的步骤。

32、第五方面，本技术实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的营销指标实时聚合方法的步骤。

33、本技术实施例提供的营销指标实时聚合方法、装置和设备，通过实时采集平台实时采集多个用户的营销产品的多种营销指标，从而本技术实施例实现多个用户的多种营销指标的实时采集；又通过实时计算平台接收所述多种营销指标，并通过所述实时计算平台以数据流的形式将多个用户的所述多种营销指标实时并行写入至分布式数据库的对应的分布式节点；从而本技术实施例充分利用分布式数据库优势，多个用户的营销产品的多种营销指标以数据分片方式实现实时并行写入至分布式数据库对应的分布式节点，又通过实时物化视窗实时显示所述分布式数据库的各个分布式节点的所述多种营销指标。本技术实施例采用实时物化视图，以低消耗方式实现营销指标的自动更新，便于实时查询、展示及评估营销指标。