专利名称：基于用户兴趣学习的个性化广告推送方法与系统的制作方法
技术领域：
本发明涉及图像处理领域，特别涉及一种基于用户兴趣学习的个性化广告推送方法与系统。
背景技术：
近年来，互联网上的视频数目在迅速增加，而这些海量视频的存在极大地促进了在线视频广告等服务的发展。目前，已经有多种基于不同准则将视频和广告关联的方法在视频网站和视频播放软件中投入了使用。一般来说，这些方法主要强调对预定义广告的推送，包括1)时域插入广告。如附图1(a)所示，指在视频的开头缓冲、中途暂停或结尾播放一段预定义的广告，形式可以为图片、视频等。2)周边关联广告。如附图1(b)所示，指当视频播放时，在视频播放器的周边(如网页、播放器边框)显示预定义广告。3)部分叠加广告。如附图1(c)所示，指在视频的部分内容上叠加小型广告(图片或简单的FLASH)，通常不影响视频主要部分。目前，以上三种广告推送的方法都得到了广泛的应用。然而这些广告推送的效果并不理想，比如第1种方法播放广告时，用户常常处于浏览其他网页的状态，降低了广告效果；第2种方法虽然干扰较小，但广告常常被作为网页背景而忽视；第3种方法则在一定程度上影响了用户正常的观看体验。而最主要的问题在于，上述推送的广告与内容的关联程度一般较低，且不能满足每个用户个性化的兴趣需求，因此广告所达到的效果较差。
发明内容
本发明实施例提供一种基于用户兴趣学习的个性化广告推送方法和系统，用以解决现有的推送广告与内容的关联程度低，且不能满足每个用户个性化兴趣需求的问题。本发明实施例提供了一种基于用户兴趣学习的个性化广告推送方法，包括通过多任务排序学习得到多个用户兴趣模型；根据所述用户兴趣模型，在视频中提取兴趣物体；提取所述兴趣物体的多种视觉特征，根据所述视觉特征在广告库中检索相关的广
告fn息。本发明实施例还提供了一种基于用户兴趣学习的个性化广告推送系统，包括兴趣模型学习模块，用于通过多任务排序学习得到多个用户兴趣模型；兴趣物体提取模块，用于根据所述用户兴趣模型，在视频中提取兴趣物体；广告检索模块，用于提取所述兴趣物体的多种视觉特征，根据所述视觉特征在广告库中检索相关的广告信息。由上述技术方案可知，本发明实施例利用多任务排序学习算法获得用户兴趣模型，并在此基础上针对不同用户自动提取视频中的兴趣区域，然后使用兴趣区域进行广告信息关联。通过这样的方式提供的广告不仅和视频内容紧密相关，而且从一定程度上满足了用户的个性化要求，实现了个性化的广告推送。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施方式。图1为现有的广告推送方法示意图；图2为本发明实施例提供的基于用户兴趣学习的个性化广告推送方法流程示意图；图3为本发明实施例提供的用户兴趣模型学习流程示意图；图4为本发明实施例提供的视频兴趣物体提取流程示意图；图5为本发明实施例提供的在视频兴趣物体提取流程中获取的关键帧的兴趣度分布示意图；图6为本发明实施例提供的基于用户兴趣学习的个性化广告推送系统示意图；图7为本发明实施例提供的基于图6所示系统的数据流动示意图；图8为依据本发明实施例提供的方法和系统生成的广告推送效果示意图。
具体实施例方式下面结合附图对本发明的具体实施例作进一步详细的说明。在本发明提供的实施例中，系统首先根据预先收集的内容各异的场景集合与用户对这些场景的兴趣反馈，采用一种多任务排序学习算法训练得到用户兴趣模型，并同时得到场景分类及用户分类。包括场景底层视觉特征提取、场景和用户初始随机分类、兴趣模型参数计算等步骤。然后，系统在播放视频的同时检测关键帧，根据在模型学习过程中得到的场景类别，将关键帧所对应的场景分类，再由各用户的兴趣模型分别计算生成兴趣度图。最后，利用区域生长的方法，从兴趣度图中生成一个兴趣度较高的区域作为兴趣物体，并根据其多种特征在广告信息库中检索相关广告，最后输出带个性化广告的视频流。其中，兴趣物体的特征反映物体不同角度不同层次的视觉特性，包括但不限于颜色、结构、轮廓、纹理特征，优选地，本发明实施例中提取兴趣物体的HSV颜色直方图、Gabor直方图、SIFT直方图、 视纹特征。同时检索方法为一种快速匹配算法，并且对于不同特征采取不同的匹配方法。图2为本发明实施例提供的基于用户兴趣学习的个性化广告推送方法的流程示意图。如图2所示，本实施例可以包括以下步骤步骤201、兴趣模型学习通过多任务排序学习算法得到多个用户兴趣模型。其中，如图3所示，该步骤进一步包括步骤2011、获取各种场景以及用户对各场景的兴趣反馈。具体地，所述场景可以包括多个方面的主题，比如广告、新闻、卡通、电影等。用户可以通过简单的交互，在这些场景中标注出兴趣物体。由于即使在相同的场景中，不同用户的感兴趣点也不一样，因此可以用如下方式来表征场景集合、用户集合及它们之间的联系
权利要求
1.一种基于用户兴趣学习的个性化广告推送方法，其特征在于，该方法包括 通过多任务排序学习得到多个用户兴趣模型；根据所述用户兴趣模型，在视频中提取兴趣物体；提取所述兴趣物体的多种视觉特征，根据所述视觉特征在广告库中检索相关的广告信信息。
2.如权利要求1所述的基于用户兴趣学习的个性化广告推送方法，其特征在于，所述通过多任务排序学习得到多个用户兴趣模型，具体包括获取训练数据中的各种场景，提取所述各场景中各宏块的底层视觉特征； 根据所述底层视觉特征，通过多任务排序学习算法，进行用户聚类和场景聚类，并为每类用户在每类场景上构建兴趣模型。
3.如权利要求2所述的基于用户兴趣学习的个性化广告推送方法，其特征在于，所述提取所述各场景中各宏块的底层视觉特征具体为从多尺度多视觉通道上提取所述各场景中各宏块的底层视觉特征。
4.如权利要求2或3所述的基于用户兴趣学习的个性化广告推送方法，其特征在于，所述底层视觉特征包括局部特征和全局特征。
5.如权利要求4所述的基于用户兴趣学习的个性化广告推送方法，其特征在于，所述局部特征是通过计算宏块与其周边宏块的多种视觉特性的差异得到的；所述全局特征是通过计算宏块与其所在的整个场景的多种视觉特性的差异得到的。
6.如权利要求2所述的基于用户兴趣学习的个性化广告推送方法，其特征在于，所述通过多任务排序学习算法，进行用户聚类和场景聚类，并为每类用户在每类场景上构建兴趣模型，具体包括随机将用户和场景分别组合为多个类别，并为每类用户在每类场景上初始化一个兴趣模型；使用初始化后的兴趣模型在训练集上建立损失函数，作为最优化目标； 通过最优化算法，最小化损失函数，进而更新各个兴趣模型参数值，并优化用户和场景的聚类划分；获取最终的用户和场景聚类以及多个用户兴趣模型。
7.如权利要求6所述的基于用户兴趣学习的个性化广告推送方法，其特征在于，所述损失函数包括经验损失和惩罚损失。
8.如权利要求7所述的基于用户兴趣学习的个性化广告推送方法，其特征在于，所述经验损失具体为所述各场景中各宏块的底层视觉特征在所述兴趣模型下的函数值和该场景对应的用户反馈的兴趣值的差异。
9.如权利要求7所述的基于用户兴趣学习的个性化广告推送方法，其特征在于，所述惩罚损失包括场景聚类惩罚，用户聚类惩罚，模型差别惩罚和模型复杂度惩罚。
10.如权利要求1所述的基于用户兴趣学习的个性化广告推送方法，其特征在于，所述根据所述用户兴趣模型，在视频中提取兴趣物体，具体包括接收输入的视频流，检测所述视频流中内容具有代表性的关键帧； 对每一个关键帧，根据其宏块的底层视觉特征计算出该关键帧对应场景的整体视觉特征；根据所述整体视觉特征，将所述关键帧对应的场景归入构建用户兴趣模型过程中所划分的场景类别中的其中一类；根据所述得到的用户兴趣模型，计算所述关键帧所在场景的兴趣度分布图；从所述兴趣度分布图中提取出兴趣度最高的物体。
11.如权利要求10所述的基于用户兴趣学习的个性化广告推送方法，其特征在于，所述将所述关键帧对应的场景归入构建用户兴趣模型过程中所划分的场景类别中的其中一类，具体为利用所述场景中宏块的底层视觉特征计算出该场景的整体特征，根据所述整体特征对该场景进行分类。
12.如权利要求10所述的基于用户兴趣学习的个性化广告推送方法，其特征在于，所述根据所述得到的用户兴趣模型，计算所述关键帧所在场景的兴趣度分布图，具体为利用所述得到的用户兴趣模型，推断出所述关键帧所在场景内候选块的排序，并将其映射为各候选块的兴趣程度，从而得到场景兴趣度分布图。
13.如权利要求10所述的基于用户兴趣学习的个性化广告推送方法，其特征在于，所述从所述兴趣度分布图中提取出兴趣度最高的物体，具体为在所述兴趣度分布图中确定兴趣度最高的宏块；根据该宏块利用区域生长技术获得兴趣度高的区域，并将其作为兴趣物体。
14.一种基于用户兴趣学习的个性化广告推送系统，其特征在于，该系统包括兴趣模型学习模块，用于通过多任务排序学习得到多个用户兴趣模型；兴趣物体提取模块，用于根据所述用户兴趣模型，在视频中提取兴趣物体；广告检索模块，用于提取所述兴趣物体的多种视觉特征，根据所述视觉特征在广告库中检索相关的广告信息。
15.如权利要求14所述的基于用户兴趣学习的个性化广告推送系统，其特征在于，所述兴趣模型学习模块包括特征提取子模块，用于获取训练数据中的各种场景，提取所述各场景中各宏块的底层视觉特征；初始化子模块，用于根据所述底层视觉特征，随机将用户和场景分别组合为多个类别， 并为每类用户在每类场景上初始化一个兴趣模型；优化子模块，用于使用初始化后的兴趣模型在训练集上建立损失函数，作为最优化目标，通过最优化算法，最小化所述损失函数，进而更新各个兴趣模型参数值，优化用户和场景的聚类划分；结果获取子模块，用于获取最终的用户和场景聚类以及多个用户兴趣模型。
16.如权利要求14所述的基于用户兴趣学习的个性化广告推送系统，其特征在于，所述兴趣物体提取模块包括关键帧检测子模块，用于接收输入的视频流，检测所述视频流中内容具有代表性的关键帧；特征计算子模块，用于对每一个关键帧，根据其宏块的底层视觉特征计算出该关键帧对应场景的整体视觉特征；场景归类子模块，用于根据所述整体视觉特征，将所述关键帧对应的场景归入构建用户兴趣模型过程中所划分的场景类别中的其中一类；兴趣度计算子模块，用于根据用户兴趣模型，计算所述关键帧所在场景的兴趣度分布图；区域生长子模块，用于通过区域生长算法在所述兴趣度分布图上获得兴趣度最高的区域，作为兴趣物体。
全文摘要
本发明实施例涉及一种基于用户兴趣学习的个性化广告推送方法和系统，所述方法包括通过多任务排序学习得到多个用户兴趣模型；根据所述用户兴趣模型，在视频中提取兴趣物体；提取所述兴趣物体的多种视觉特征，根据所述视觉特征在广告库中检索相关的广告信息。通过本发明实施例提供的方法和系统，推送的广告和视频内容紧密相关，从一定程度上满足了用户的个性化要求，实现了个性化的广告推送。
文档编号G06F17/30GK102334118SQ201080006502
公开日2012年1月25日 申请日期2010年11月29日 优先权日2010年11月29日
发明者严军, 余昊男, 张军, 李甲, 田永鸿, 高云超 申请人:北京大学, 华为技术有限公司