一种基于Flink架构实时处理终端播放日志的方法与流程

本发明涉及一种基于flink架构实时处理终端播放日志的方法，属于互联网电视。

背景技术：

1、互联网电视凭借其内容的丰富性、可回放性、操作便捷性等优势，深受用户喜爱。其行业发展也非常迅速，新产品层出不穷，家庭渗透率也不断提高。

2、互联网电视的客户端通常通过终端播放日志的方式向后台上传播放数据。当客户端上传终端播放日志时，会上报播放数据，播放行为有别于一般的用户点击行为，点击是一次性事件，而播放是个持续行为，但考虑到日志规模，不可能让用户一直持续上报播放数据。因此，会间隔时间上报数据。

3、服务端收到播放数据，需要处理判断，这是上次播放的延续，还是一次新的播放，以及一些特殊处理，比如超过一定时间未上报(用户可能直接关闭终端，导致没有正常上报结束)

4、以前的处理方式，是离线数据处理思路，每个小时处理一次，导致无法及时统计用户的播放次数和时长的播放数据。而目前市面上常用的处理方法大抵可以分为两大类：

5、1、一般采用spark stream，属于微批处理方案；

6、2、离线计算(一般10分钟或者1个小时周期进行计算)。

7、但是以上两种处理方式，都存在实时程度不够的问题。

技术实现思路

1、本发明的目的在于，提供一种基于flink架构实时处理终端播放日志的方法。它可以用以解决现有处理方式实时程度不够的问题。

2、本发明的技术方案：一种基于flink架构实时处理终端播放日志的方法，其特点是，包括以下步骤：

3、s1、读取kafka中的终端播放日志，转换成统一格式；

4、s2、使用flink的flatmap算子处理，根据终端日志中的终端信息，把终端播放日志划分到不同的省份的kafka的topic中；

5、s3、按分省消费数据，缓存所有终端当前正在播放的数据，接收到一条新的终端播放日志，判断这个终端是否已经在缓存中，如在缓存中则更新数据，如果不在缓存中，则增加一条数据；

6、s4、定时任务，扫描缓存中的数据，如果超过一定时间，没有新的终端播放日志进入，则认为这个终端已经退出播放，从缓存中清除日志；

7、s5、针对缓存的数据，按照需要的统计策略，统计播放数据；

8、s6、把统计后的播放数据写入mongodb。

9、上述的基于flink架构实时处理终端播放日志的方法中，所述步骤s1中的统一格式包含终端串号、终端版本、日志收集服务器区域、日志时间和日志业务数据。

10、前述的基于flink架构实时处理终端播放日志的方法中，所述步骤s2中的终端信息包括终端播放日志中的终端串号、终端版本和日志上报服务器信息。

11、与现有技术相比，本发明基于实时flink架构，可以实时的统计终端播放数据，可以解决现有处理方式存在的实时性差的问题。采用本发明的方法，可以实时获得当前在线播放用户数，并根据需要，比较容易的增加想要的维度统计，比如，终端类型，地市等角度统计。

12、本发明通过利用实时计算引擎能力，以及缓存中间结果和动态加载外部业务数据，可以提供亚秒级、秒级的播放数据计算，而现有技术一般要到分钟级。本发明播放日志处理速度提升可以为基于播放时长的推荐带来更好和更准确的数据支持。当播放数据统计需要扩展到更多维度时，比如基于地市维度，终端类型等，只需要增加少量基于维度的统计代码，就可以很容易满足此类需求，以支持更多的统计应用场景。

技术特征：

1.一种基于flink架构实时处理终端播放日志的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于flink架构实时处理终端播放日志的方法，其特征在于：所述步骤s1中的统一格式包含终端串号、终端版本、日志收集服务器区域、日志时间和日志业务数据。

3.根据权利要求1所述的基于flink架构实时处理终端播放日志的方法，其特征在于：所述步骤s2中的终端信息包括终端播放日志中的终端串号、终端版本和日志上报服务器信息。

技术总结
本发明公开了一种基于Flink架构实时处理终端播放日志的方法，包括以下步骤：S1、读取kafka中的终端播放日志，转换成统一格式；S2、使用Flink的FlatMap算子处理，根据终端日志中的终端信息，把终端播放日志划分到不同的省份的kafka的topic中；S3、按分省消费数据，缓存所有终端当前正在播放的数据；S4、定时任务，扫描缓存中的数据；S5、针对缓存的数据，按照需要的统计策略，统计播放数据；S6、把统计后的播放数据写入mongodb。本发明可以用以解决现有处理方式实时程度不够的问题。

技术研发人员：程涌,危明
受保护的技术使用者：易视腾科技股份有限公司
技术研发日：
技术公布日：2024/1/12