一种智能电视媒资实时推荐方法与流程

1.本发明涉及智能电视技术领域，具体涉及一种智能电视媒资实时推荐方法。


背景技术：

2.目前智能电视媒资个性化推荐领域大多采用mapreduce等离线分析手段进行用户画像的构建和推荐内容的生成。mapreduce批处理的特点导致用户的行为数据不能得到及时的处理分析，导致用户的行为从产生到推荐系统针对该行为推荐符合用户口味的影视这一过程存在很大延时，这就导致了推荐内容更新频率低，终端呈现内容不能随用户行为实时动态更新问题。同时由于离线分析不能很好的计算用户观影时长，不能进行用户画像的负反馈导致误推荐问题。


技术实现要素：

3.本发明为了解决上述技术问题，提供了一种智能电视媒资实时推荐方法，该方法可以实时分析用户行为，使推荐内容更加实时，推荐结果更加精准。
4.为了达到上述技术效果，本发明提供了如下技术方案：
5.一种智能电视媒资实时推荐方法，包括以下步骤：
6.(1)为了采集原始行为数据本专利利用flume实时分发大数据平台的用户行为数据，filebeat实时感知搜索日志注并注入消息队列kafka，得到原始数据流a。引入kafka实现数据的缓冲，缓解了计算模块的计算压力。
7.(2)数据流a是加密的非结构化日志流数据，且含有重复数据，不便于业务处理。为了得到无重复结构化数据流b，利用flink主动消费消息队列kafka中数据流a解密，并利用flink mapstate对行为数据去重，利用flink的map，flatmap算子以及自定义的processfunction对行为数据进行结构化，得到pojo类型的行为数据并输入消息队列kafka中。由于flink的流式、分布式处理特点，数据的去重以及结构化的时延都是在秒级别，对比传统的离线分析时延均在天级别的优势显著，这一优势也解决了推荐系统中数据分析延时问题，也是本专利的核心步骤。
8.(3)维度表join：利用异步线程将媒资库影视维度表载入内存且定时刷新，利用数据流b中影视id与内存中的影视维度表join，形成关联后的数据流c；达到行为与影视多维度信息关联的目的。
9.(4)画像加权计算：配置不同动作权重值，用户的不同动作代表这对影片的感兴趣程度，依据用户行为数据流c的画像维度进行加权并与已有状态进行reduce，生成实时画像p。达到根据动作区分行为对画像影响程度的目的。创新的采用行为对画像加权的方式更精准的计算用户画像。
10.(5)更新推荐内容：将实时画像数据p输入推荐模型，得到用户推荐集r，存入redis数据库；
11.(6)修正画像及推荐集：画像p及推荐集r可能是用户误点击形成，用户退出影片播
放时，计算出观看用户观看时长d，结合影片时长l,通过d/l计算出用户对该影片的喜好程度值，若d/l低于阈值y则对影片信息维度降权，若d/l高于阈值y则对影片信息维度进行加权，得到新的画像p’，将新的画像输入模型再次生成推荐内容，存入redis数据库覆盖已有推荐集r’。
12.进一步的技术方案为，该方法还包括将每个用户行为对应一个权重值，配置在权重中心。
13.进一步的技术方案为，所述用户行为包括浏览、观看、退出观看、收藏、移除收藏、搜索。
14.与现有技术相比，本发明具有如下有益效果：本发明通过实时分析用户行为，采用画像修整模块，使得推荐内容更加实时，推荐结果更加精准。
附图说明
15.图1为本发明的实时媒资推荐系统的流程图。
具体实施方式
16.下面结合具体实施例对本发明进行进一步的解释和说明。
17.如图1所示，本发明提供了一种智能电视媒资实时推荐方法，包括以下步骤：
18.(1)为了采集原始行为数据本专利利用flume实时分发大数据平台的用户行为数据，filebeat实时感知搜索日志注并注入消息队列kafka，得到原始数据流a。引入kafka实现数据的缓冲，缓解了计算模块的计算压力。
19.(2)数据流a是加密的非结构化日志流数据，且含有重复数据，不便于业务处理。为了得到无重复结构化数据流b，利用flink主动消费消息队列kafka中数据流a解密，并利用flink mapstate对行为数据去重，利用flink的map，flatmap算子以及自定义的processfunction对行为数据进行结构化，得到pojo类型的行为数据并输入消息队列kafka中。由于flink的流式、分布式处理特点，数据的去重以及结构化的时延都是在秒级别，对比传统的离线分析时延均在天级别的优势显著，这一优势也解决了推荐系统中数据分析延时问题，也是本专利的核心步骤。
20.(3)维度表join：利用异步线程将媒资库影视维度表载入内存且定时刷新，利用数据流b中影视id与内存中的影视维度表join，形成关联后的数据流c；达到行为与影视多维度信息关联的目的。
21.(4)画像加权计算：配置不同动作权重值，用户的不同动作代表这对影片的感兴趣程度，依据用户行为数据流c的画像维度进行加权并与已有状态进行reduce，生成实时画像p。达到根据动作区分行为对画像影响程度的目的。创新的采用行为对画像加权的方式更精准的计算用户画像。
22.(5)更新推荐内容：将实时画像数据p输入推荐模型，得到用户推荐集r，存入redis数据库；
23.(6)修正画像及推荐集：画像p及推荐集r可能是用户误点击形成，用户退出影片播放时，计算出观看用户观看时长d，结合影片时长l,通过d/l计算出用户对该影片的喜好程度值，若d/l低于阈值y则对影片信息维度降权，若d/l高于阈值y则对影片信息维度进行加
权，得到新的画像p’，将新的画像输入模型再次生成推荐内容，存入redis数据库覆盖已有推荐集r’。
24.实施例1
25.下面通过一个具体案例对本发明进行进一步的说明，具体包括以下步骤：
26.s1.mac地址是“00:00:00:00:00:0”终端正在观看“大话西游这部影片”，系统得到用户行为信息；
27.{“mac”:”00:00:00:00:00:00”,“action”:“start”,“id”:“ajfla134141551”，“eventtime”:1290310913}
28.s2.利用行为信息中影片id字段进行媒资库维表jion得到加宽的行为数据；
29.{“mac”:”00:00:00:00:00:00”,“action”:“start”,“id”:“ajfla134141551”,“tag”:[“爱情”，“喜剧”]，“type”:”movie”,“videolen”:120“actor”:[“周星驰”，“朱茵”],“eventtime”:1290320913}
[0030]
s3.基于action字段对加宽的数据进行加权计算，示例action为start,为每个维度加上start行为的权重2,得到
[0031]
{“mac”:”00:00:00:00:00:00”,“action”:“start”,“id”:“ajfla134141551”,“tag”:[“爱情：2”，“喜剧：2”]，“type”:”movie”,“videolen”:120,“actor”:[“周星驰：2”，“朱茵：2”]...}
[0032]
s4.将得到的画像状态存储在flink的状态中，并输入推荐模型得到推荐内容；
[0033]
s5.用户退出播放，计算观看时长结合影片时长videolen,生成喜好程度值，根绝喜好程度值对画像各个维度的权重值修正，如计算出的喜好程度偏低我们则对该影片对应的画像维度做降权得到；
[0034]
{“mac”:”00:00:00:00:00:00”,“action”:“start”,“id”:“ajfla134141551”,“tag”:[“爱情：0.5”，“喜剧：0.5”]，“type”:”movie”,“videolen”:120,“actor”:[“周星驰：0.5”，“朱茵：0.5”]...}
[0035]
并持久化画像至flink状态中。
[0036]
s6.利用修正后的画像输入模型再次得到推荐内容；
[0037]
s7.新的行为数据到来时先与flink状态中的画像叠加，保证用户历史兴趣被纳入分析；再重复上述步骤。
[0038]
尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。