一种面向IPTV终端应用的用户定制化服务推荐方法及系统与流程

一种面向iptv终端应用的用户定制化服务推荐方法及系统
技术领域
1.本发明涉及智能电视领域，尤其涉及基于大数据分析技术和智能推荐技术的一种面向iptv终端应用的用户定制化服务推荐方法及系统。


背景技术：

2.随着互联网技术的不断发展，智能家电的普及，尤其是随着超高清视频技术的飞速提升，智能电视终端已经成为很多家庭必不可少的家电设备。智能电视终端为用户带来了前所未有的观感体验和群聚效应。
3.iptv应用由于其可以提供高速、超高清的播放效果和优质片源的引进等特性，已成为目前智能电视终端的核心应用，用户量在不断激增。iptv可以提供多种智能应用，包括少儿专题、游戏专区、影视专栏、商城等应用入口。其中视频播放是iptv的核心功能，也是用户选择iptv产品的根本价值。针对庞大的用户群体，如何有效收集用户行为信息，为用户实现个性化的服务，从而提升用户的使用体验，一直是iptv业务供应商所要面对的重中之重。目前的视频推荐，主要是对当前热片以及最新上映视频的推送，推荐视频专区功能比较固定，不够灵活。由于每个用户的观影喜好和观影习惯不同，针对全部用户使用相同的推送方案，必然会降低用户使用体验。
4.亟须一种能够采集更全面的用户信息，尤其是核心数据，并对数据流进行清洗，从而对用户进行全方位的个性化个性推荐的方法和系统，才可以提高用户满意度，增强用户粘性。


技术实现要素：

5.提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征；也不旨在用于确定或限制所要求保护的主题的范围。
6.本发明针对iptv产品的特点，通过在iptv收视界面进行功能性埋点，即对用户的使用行为作出对应的埋点事件，从而对用户进行全方位的信息采集，将采集的信息数据及时输入hive数据仓库，完成快速的数据清洗，弃除用户数据中包含的无关信息及恶意用户的信息干扰，针对清洗后的数据结合深度学习中的智能分类算法，对用户群体进行划分。
7.本发明的个性化推荐系统包括：用户数据获取模块、数据清洗模块、用户群划分模块、个性化推送模块。其中：
8.·
用户数据获取模块通过在iptv终端应用中进行数据埋点，包括在用户触发操作时向数据清洗模块上传事件日志，来采集用户原始行为数据，将获取的用户信息、事件信息、资源信息分离，并处理成日志数据。
9.·
数据清洗模块采用了数据仓库分层架构，包括原始数据的录入层、数据转换层、应用展示层。数据清洗模块将日志数据录入hive数据仓库，完成数据提取、数据转换、数据加载。
10.·
用户群划分模块利用清洗后的数据通过深度学习将各用户按用户群体进行划分。
11.·
个性化推送模块针对所划分的用户群体，将来自资源库的资源进行分类推送。
12.本发明的个性化推荐方法包括：在用户终端应用中进行埋点，获取用户原始数据，并将所获取的用户原始数据整理成日志数据；将日志数据录入hive数据仓库，完成数据提取、数据转换、数据加载；利用清洗后的数据通过深度学习进行用户群划分，包括采用支持向量机svm+k
‑
means聚类的方法进行分类，并可进一步包括使用深度神经网络dnn，由对应的卷积神经网络cnn和循环神经网络rnn相结合，获得分类标签，根据标签进行用户群划分，对已经划分出来的用户群体还可以进行动态权重调整，结合规定的阈值完成群体划分；针对所划分的各用户群体，将来自资源库的资源进行分类并对用户进行个性化推送；继续实时收集用户数据，并根据用户播放数变化，确定推送是否成功，在不成功的情况下，进行动态调整。
13.其中，将日志数据录入hive数据仓库，完成数据提取、数据转换、数据加载包括以下步骤：在原始数据的录入层，将用户信息、事件信息、资源信息分别录入不同的原始数据的录入层的数据表内；在数据转换层，将所需的信息从录入层的数据表内抽离，并进行数据关联，将产生的数据录入数据转换层的数据表内；以及在应用展示层，进一步抽取数据转换层的数据表中的数据，获取完整信息。
14.本发明解决用户信息获取、用户画像、用户分类以及个性化服务推荐的相关问题，提高用户的使用满意度，增强用户粘性。
15.通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。
附图说明
16.以下将通过参考附图中示出的具体实施例来对本发明进行更具体描述。
17.图1示出了本发明的面向iptv终端应用的用户定制化服务推荐系统的示意框图；
18.图2示出了本发明的面向iptv终端应用的用户定制化服务推荐方法的流程图。
19.附图中的流程图和框图显示了根据本技术的实施例的系统、方法可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
具体实施方式
20.以下将通过参考附图中示出的具体实施例来对本发明进行更具体描述。通过阅读下文具体实施方式的详细描述，本发明的各种优点和益处对于本领域普通技术人员将变得清楚明了。然而应当理解，可以以各种形式实现本发明而不应被这里阐述的各实施方式所限制。提供以下实施方式是为了能够更透彻地理解本发明。除非另有说明，本技术使用的技术术语或者科学术语应当为本技术所属领域技术人员所理解的通常意义。
21.图1示出了本发明的面向iptv终端应用的用户定制化服务推荐系统。
4事件触发时间5资源标识source id6其他
36.本发明的对应资源id信息设计结构如下表3所示：
37.字段位置字段说明1资源source id2资源类别3资源上线时间4资源出版时间5资源评分6其他
38.根据本发明的一个实施例，对于“视频播放”事件只有当用户点击操作时进行上传。该方案将用户、操作事件、资源这三个部分剥离，可以极大的降低数据的耦合性，用户一次登录周期内的上传一次用户数据，而且对应的session id也唯一。
39.这种设计既可以方便快速统计不同周期内的日活跃用户和月活跃用户，进行用户留存等分析，还可以将用户与其对应的操作关联起来。这样既可以提高运算效率同时也可以减少数据清洗的复杂度。
40.接着在步骤s202，进行用户行为数据清洗。
41.通过将对应的用户日志数据写入到hive数据仓库中进行数据清洗。
42.由于用户数量庞大，平均用户操作量多，会导致用户操作日志数据的增多。为了更好地进行数据的清洗，提高数据处理速度，本发明采用hive来建立数据仓库，并完成数据提取、数据转换、数据加载，整个etl(extract
‑
transform
‑
load)流程。
43.考虑到用户数据的原始特性，本发明采用了经典数据仓库分层架构，主要包含有3个层次，分别是原始数据的录入层ods层、数据转换层dwd层以及最终的应用展示层ads层。
44.(1)在原始数据的录入ods层，将原始的用户信息，用户操作事件信息，对应的资源信息分别录入不同的ods层数据表内，即ods_user、ods_event和ods_source这三个表内；
45.(2)在数据转换dwd层，可以将所需的信息从表内抽离，例如需要播放视频时长，可以通过将ods_event中的相同session id和source id来关联，然后取“播放结束”事件的发生时间减去“播放开始”事件的发生时间，即可获得。同时还可以将ods_user中的数据和ods_event中的数据通过session id来进行关联，获取对应的用户操作行为，将产生的数据录入到dwd_user_event等表格中；
46.(3)在应用展示ads层，对dwd层的数据进行进一步抽取，例如通过对dwd_user_event该表格进行进一步计算，并且与ods_source关联，可以获得不同的用户数据录入ads_user_videoplay，ads_user_videoplaynumbers等表格。可以精确的获取到用户的如下的完整信息：
47.[用户名，播放id，播放时间长，播放次数，登录时长
…
]
[0048]
通过在hive数据仓库中进行数据清洗，可以极大降低计算的复杂度，提高数据分析的效率。
[0049]
在步骤s203，进行用户群划分。
[0050]
采用了深度学习方法来对ads层获取的用户特征信息进行划分，降低人为划分中的人工干扰因素。
[0051]
在深度学习中，针对数据分类划分通常可以分为有监督学习和无监督学习。通常有监督学习划分更为精准，因此在用户推荐环境中，有监督学习方法更为合适。因此本发明的具体过程采用有监督的深度方法来进行用户群的划分。具体如下：
[0052]
(1)首先对hive数据仓库中的ads层用户数据进行有监督分类，为了更好地进行用户分类，采用支持向量机svm+k
‑
means聚类的方法。
[0053]
首先是对原始进行邻近算法knn(k
‑
nearestneighbor)监督分类，ads层中用户的特征数据进行归一化，然后使用欧式距离作为距离衡量，如以下公式1所示：
[0054][0055]
通过不同用户之间的欧式距离，knn可以把用户群体进行划分。
[0056]
(2)为了降低单一学习分类的局限性，进一步采用多重方法来进行有效的用户群体划分。
[0057]
因此对上面的用户数据，进一步采用支持向量机svm(support vector machine)进行监督分类，svm主要使用高斯核密度函数进行用户群体线性划分，对应样本的分类如下公式：
[0058][0059]
其中γ为高斯核函数中的超参数。
[0060]
(3)由于深度学习中深度神经网络有优异的学习特征，可以进一步使用深度神经网络dnn(deep neural networks)，其具体有对应的卷积神经网络cnn+循环神经网络rnn相结合，对应一个ads层的用户行为数据，可以得到一个分类标签label，该标签对应着一个用户所属的群体。
[0061]
(4)由于采用了svm+knn+dnn的方法进行用户群体的划分，在划分的过程中会存在误差，加上需要对群体进行动态调整，因此接着针对用户所划分出来的群体进行动态权重调整，结合规定的阈值完成群体划分：
[0062]
use_label＝w1label
knn
+w2label
svm
+w3label
dnn
ꢀꢀꢀ
公式3
[0063]
其中w1，w2，w3分别是三个分类器的权重。在实际过程中，由于三种分类器的效果会有较大差异，dnn的分析结果较为突出，svm次之，knn结果最差。因此针对(w1，w2，w3)个分类器的对应的权重为(0.2，0.3，0.5)。use_label等于对这三者结合的结果取整。
[0064]
通过用户群体划分后，可以将用户划分成不同的用户群体，针对不同群体内的用户进行资源推送。
[0065]
在步骤s204，向用户进行个性化推送，并实时进行动态调整，可实现符合用户需求的个性化推送。推送策略如下：
[0066]
(1)在进行用户分群后，根据用户群内的用户类别，推送指定的资源类别。推送后，继续实时收集用户数据，如果发现用户播放数增加，则说明该推送成功；如果用户播放量反而下降，则说明推送并不成功，需要对该资源的分类进行实时调整；
[0067]
(2)针对用户所查看的资源的发行时间和播放次数进行指定推送，如果观看的资
源的发行时间早且播放次数多，则在预定时间间隔内可重复推送该资源；如果用户观看资源发行时间晚且无重复播放记录，则尽最大粒度推送最新的资源；
[0068]
(3)针对划分到同一群体的用户，可以把同群体内其它用户播放过的资源可以推送给未观看过该资源的用户，实现群内的资源推送，增加用户粘度；
[0069]
(4)在用户分群后，还可以根据用户播放时长法，次数来划分异常用户。如果某用户多天多次播放不同资源，且每个播放时长小于预定阈值，则该用户可能为异常用户，需要及时进行关注反馈，此时可发出异常提醒。如当前用户某天播放视频超过50次，且每次播放时长都小于既定的1分钟，那么该用户及判定为异常用户，需要对该用户的完整使用行为进行全量的分析。
[0070]
以上以视频为例作了说明，该方法和系统还可以扩展到电视机端其他的应用中，完成除视频以外其它指定功能应用的用户服务推荐，例如，商城产品有针对性地售卖等。
[0071]
同时可以结合hive数仓中每层用户操作转化，进行用户漏斗分析，来对用户的操作转化进行分析。例如，在ods层获取用户的基本属性，通过分析dwd层进入主页的用户数据，然后根据该用户信息来查询ads层的订购会员用户数据，即可完成用户订购的漏斗分析，及完成“访问主页”到“订购会员”用户转化率的计算。
[0072]
本发明的面向iptv终端应用的用户个性化服务推荐方法及系统通过既定的埋点数据采集和hive数据清洗划分，可以实现精准的用户分群，完成高精度的用户资源推送。并可在使用过程中不断实时收集用户行为数据，根据推送的结果反馈，动态地进行用户群体的调整，不断提高推送资源的精准度。
[0073]
本发明提供了更加精细的用户画像，动态还原用户的行为习惯，从而可以对用户进行更加精准的推荐和有针对性的产品营销，满足用户视频观看或产品使用需求。
[0074]
以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围，其均应涵盖在本技术的权利要求和说明书的范围当中。