一种云视频开放平台精细化用户画像实时推荐方法与流程

1.本发明涉及大数据技术领域，尤其涉及一种云视频开放平台精细化用户画像实时推荐方法。


背景技术：

2.随着数据量的增多，公司需要从海量的数据中提取针对每一个用户的个性数据，从而形成千人千面的活动推送营销，这是现在智能化推荐很重要的发展方向，目前主要存在的问题是如何在精准度和实时性方面有所提升，由于数据领域现在处于由离线t+1形态到实时流处理形态的发展历程之中，所以相对应的应用也在更新当中，如何将离线的打标系统变更为实时的打标系统，这是需要解决的问题。


技术实现要素：

3.本发明的目的在于提供一种云视频开放平台精细化用户画像实时推荐方法，以解决如何实时产生精细化标签进行活动推荐的问题。
4.为了实现上述目的，本发明采用了如下技术方案：设计一种云视频开放平台精细化用户画像实时推荐方法，包括以下步骤；步骤一：数据打标可以分为离线和实时两条路；步骤二：离线的部分，每天凌晨从数据库拉取全量的数据到odps系统，对标签按照固定逻辑进行分类；步骤三：时的部分，收集数据库变更信息binlog到datahub消息中间件，再由flink对topic的消息进行消费，通过实时sql逻辑筛选用户，与此同时在标签表里面，对每条数据增加了更新时间字段，将刚才筛选归类后的用户，按照pk和user_id作为唯一索引，以当前时间数据为最新数据upsert到数据表中；步骤四：业务方使用精细化标签数据对特定用户进活动和广告的毫秒级实时精准推荐；步骤五：指定标签用户数量统计计算方面，在odps层面对数据进行逻辑维度上的脚本解耦；步骤六：tags_merge这个脚本中，将上面每一个模块所打标的结果合并成宽表并插入到各自的目标字段，使用hologres对该宽表进行加速映射，使用api网关，采用高级sql对前端查询进行灵活响应，可以对不同纬度数据合并，毫秒级响应查询。
5.优选的，所述字段有tag1到tag9共9个字段。
6.本发明提出的一种云视频开放平台精细化用户画像实时推荐方法，有益效果在于：以往技术是采用t+1（隔天）的方式对用户标签进行分类规整，在时效性方面有所不足，新型架构在t+1的基础上，增加了对当天新增数据的插入，当天新增数据的更新以及历史数据的更新操作，使标签可以实时更新，活动可以实时推送，在第一时间可以将用户行为数据变现，在时效性上有了极大程度的提升。
附图说明
7.图1为本发明的流程图。
具体实施方式
8.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
9.参照图1，一种云视频开放平台精细化用户画像实时推荐方法，包括以下步骤；步骤一：数据采集层面的设计，离线数据采集使用dts
‑
datax每天凌晨定时采集到大数据系统（hdfs），实时数据采集使用dts
‑
canal监控数据库的binlog，到入到datahub的topic中；步骤二：maxcompute（离线计算）层面的设计，每天数据定时采集到的hdfs之后，首先对数据进行etl数据清洗，接着对数据进行业务维度的打标和分类形成dwd层的明细表，接着对dwd层明细表采用row_number函数进行merge，导入到一个tag字段，由于是分区表，可以将今天计算的结果和前一天计算的结果进行left join对比，将更新的数据调用接口插入到业务数据库的数据表中。需要注意的细节是，由于每天跑脚本的时间是不固定的，需要手动将每条数据的更新时间设置到每天的0点，这样插入到数据库他只会更新前一天的数据，而不会对实时的数据产生影响；步骤三：flink（实时计算）层面的设计，对binlog的upsert的数据进行逻辑上的分类，这个地方有两种情况，第一种是这条记录是当天新增数据，那么只需要判断逻辑打标后调用接口插入结果数据表即可，第二种是这条记录是对前一天历史数据的更新，那么还需要将前一天的数据作为维表进行关联取出它的一些基本字段，然后合并再调用接口插入到结果数据表中。
10.步骤四：大数据库（odps）表的设计，现在明细表有用户注册表、付费用户表、零元领用户表、套餐状态表、自动续费状态表、套餐过期状态表、用户活跃表、用户活跃度表、绑定设备表、自定义用户表9张表，会在此基础上merge再形成两张宽表，第一张是将上面表中的结果字段合并到一个字段里面（字段只有一个tags），第二张表是将上面表中的结果字段分别插入到各自的字段里面（字段有tag1到tag9共9个字段）；步骤五：数据表的设计；采用将所有属性合并到一个字段的设计。
11.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。


技术特征：
1.一种云视频开放平台精细化用户画像实时推荐方法，其特征在于：包括以下步骤；步骤一：数据打标可以分为离线和实时两条路；步骤二：离线的部分，每天凌晨从数据库拉取全量的数据到odps系统，对标签按照固定逻辑进行分类；步骤三：时的部分，收集数据库变更信息binlog到datahub消息中间件，再由flink对topic的消息进行消费，通过实时sql逻辑筛选用户，与此同时在标签表里面，对每条数据增加了更新时间字段，将刚才筛选归类后的用户，按照pk和user_id作为唯一索引，以当前时间数据为最新数据upsert到数据表中；步骤四：业务方使用精细化标签数据对特定用户进活动和广告的毫秒级实时精准推荐；步骤五：指定标签用户数量统计计算方面，在odps层面对数据进行逻辑维度上的脚本解耦；步骤六：tags_merge这个脚本中，将上面每一个模块所打标的结果合并成宽表并插入到各自的目标字段，使用hologres对该宽表进行加速映射，使用api网关，采用高级sql对前端查询进行灵活响应，可以对不同纬度数据合并，毫秒级响应查询。2.根据权利要求1所述的一种云视频开放平台精细化用户画像实时推荐方法，其特征在于：所述字段有tag1到tag9共9个字段。

技术总结
本发明公开一种云视频开放平台精细化用户画像实时推荐方法，包括以下步骤，数据打标可以分为离线和实时两条路，离线的部分，每天凌晨从数据库拉取全量的数据到odps系统，对标签按照固定逻辑进行分类，时的部分，收集数据库变更信息binlog到datahub消息中间件，再由flink对topic的消息进行消费，通过实时Sql逻辑筛选用户，将刚才筛选归类后的用户，按照pk（app应用编码）和user_id（用户id）作为唯一索引，以当前时间数据为最新数据upsert到数据表中；该云视频开放平台精细化用户画像实时推荐方法，新型架构在T+1的基础上，增加了对当天新增数据的插入，当天新增数据的更新以及历史数据的更新操作，使标签可以实时更新，活动可以实时推送。实时推送。实时推送。


技术研发人员：徐一尧 夏虹 蒋泽飞
受保护的技术使用者：杭州登虹科技有限公司
技术研发日：2021.06.20
技术公布日：2021/9/13