专利名称：一种基于用户查询日志实时发现热点视频的方法和装置的制作方法
技术领域：
本发明属于互联网数据统计分析技术领域，尤其涉及一种基于用户查询日志实时发现热点视频的方法和装置。
背景技术：
随着互联网的迅猛发展，用户对视频搜索结果提出了更高的要求，不仅需要捜索结果相关，而且还应有较高的实时性，这使得实时搜索变得日趋重要。视频实时搜索指的是对视频库中的信息进行即时、快速的捜索，实现即搜即得的效果。通过实时捜索，用户可以在第一时间获取到热点事件的第一手信息。然而，相比于传统捜索，实时搜索也带来了巨大的挑战。对于热点事件，由于其突发性和不可预测性，很可能相关视频的数量和点击量较少，导致在它们在捜索结果中排序靠后，从而无法真正满足用户对实时性的需求。因为实时热点具有在较短时间内搜索量大的特点，通过对最新的用户查询日志分析最有可能发现出新的热点词和热点事件，以此来改善搜索排序结果对实时性的反应。分析用户日志时所遇到的ー个困难是每天的用户查询日志中都会不断涌现出新名词、新热点，如“欧洲杯”，“楼道王菲刘美鱗”等，而原有的切词程序无法反映出这些新词的语义关联，即有可能将语义上应连接在一起的构成ー个词的字符串切分为多个词。切词程序一般采用基于词表的方法，即根据一个预先给定的词表对字符串扫描，通过一定的匹配方法(正向最大、逆向最大、双向匹配等)找到ー种最合适的词语切分，这一方法的缺点在干无法切分出原词表中不包含的词，即新词。这ー缺陷将可能导致模糊匹配(即搜索时只对部分查询词进行匹配)的结果不够理想。
发明内容
鉴于现有技术中存在的问题，本发明的目的在于提供一种基于用户查询日志实时发现热点视频的方法，其特征在于包括如下步骤S1、将一段时间内的用户视频查询日志输入到切词程序，完成每一条用户视频查询日志的切词，得到每条用户查询的切词结果，并将组成所述切词结果的不同词语作为原子词；S2、统计所述原子词的每ー个在所述一段时间内的用户视频查询日志中出现的次数；S3、根据步骤SI得到的切词结果统计任意两个原子词同时出现在同一条用户查询中的次数；S4、根据步骤S2和S3得到的次数值采用逐点互信息(PMI)的方法计算用户视频查询日志中任意两个原子词之间的关联度；S5、将步骤S4中所计算的关联度超过一定阈值的任意两个原子词合并为ー复合词放入复合词词表中；S6、在复合词表中按照构成复合词的原子词在所述一段时间内的用户视频查询日志中出现的次数对复合词进行降序排序，最终按一定比例将排在前面的复合词作为实时发现热点视频的关键词返回。进ー步，本发明所述的基于用户查询日志实时发现热点视频的方法，其特征在于所述步骤S4中所述逐点互信息(PMI)的方法的具体计算方法如下任给两个原子词A、B，它们的关联度表示为
「0013权利要求
1.一种基于用户查询日志实时发现热点视频的方法，其特征在于包括如下步骤 51、将一段时间内的用户视频查询日志输入到切词程序，完成每一条用户视频查询日志的切词，得到每条用户查询的切词结果，并将组成所述切词结果的不同词语作为原子词； 52、统计所述原子词的每一个在所述一段时间内的用户视频查询日志中出现的次数； 53、根据步骤SI得到的切词结果统计任意两个原子词同时出现在同一条用户查询中的次数； 54、根据步骤S2和S3得到的次数值采用逐点互信息(PMI)的方法计算用户视频查询日志中任意两个原子词之间的关联度； 55、将步骤S4中所计算的关联度超过一定阈值的任意两个原子词合并为一复合词放入复合词词表中； 56、在复合词表中按照构成复合词的原子词在所述一段时间内的用户视频查询日志中出现的次数对复合词进行降序排序，最终按一定比例将排在前面的复合词作为实时发现热点视频的关键词返回。
2.根据权利要求1所述的基于用户查询日志实时发现热点视频的方法，其特征在于所述步骤S4中所述逐点互信息(PMI)的方法的具体计算方法如下 任给两个原子词A、B，它们的关联度表示为PMIiA / )= I O /i A ^ ] ^ r\A)P(B)(1) 其中，P(A，B)表示A，B出现在同一条用户视频查询日志中次数，P (A)、P(B)分别表示A、B在所述一段时间内的用户视频查询日志中出现的次数。
3.根据权利要求2所述的基于用户查询日志实时发现热点视频的方法，其特征在于采用最大似然估计(Maximum likelihood estimate)来计算次数。
4.一种基于用户查询日志实时发现热点视频的装置，其特征在于包括如下模块 切词模块，用于将一段时间内的用户视频查询日志输入到切词程序，完成每一条用户视频查询日志的切词，得到每条用户查询的切词结果，并将组成所述切词结果的不同词语作为原子词； 原子词出现次数统计模块，用于统计所述原子词的每一个在所述一段时间内的用户视频查询日志中出现的次数； 原子词共现次数统计模块，用于根据所述原子词出现次数统计模块得到的切词结果统计任意两个原子词同时出现在同一条用户查询中的次数； 关联度计算模块，用于根据所述原子词出现次数统计模块和所述原子词共现次数统计模块得到的次数值采用逐点互信息(PMI)的方法计算用户视频查询日志中任意两个原子词之间的关联度； 复合词生成模块，用于将所述关联度计算模块所计算的关联度超过一定阈值的任意两个原子词合并为一复合词放入复合词词表中； 热点关键词确定模块，用于在复合词表中按照构成复合词的原子词在所述一段时间内的用户视频查询日志中出现的次数对复合词进行降序排序，最终按一定比例将排在前面的复合词作为实时发现热点视频的关键词返回。
5.根据权利要求4所述的基于用户查询日志实时发现热点视频的装置，其特征在于所述关联度计算模块中所述逐点互信息(PMI)的方法的具体计算方法如下 任给两个原子词A、B，它们的关联度表示为
6.根据权利要求5所述的基于用户查询日志实时发现热点视频的装置，其特征在于采用最大似然估计(Maximum likelihood estimate)来计算次数。
全文摘要
一种基于用户查询日志实时发现热点视频的方法和装置，其首先将一段时间内的用户视频查询日志进行切词，得到原子词；然后，统计所述原子词的每一个在所述一段时间内的用户视频查询日志中出现的次数以及任意两个原子词同时出现在同一条用户查询中的次数；根据得到的次数值采用逐点互信息(PMI)的方法计算用户视频查询日志中任意两个原子词之间的关联度，将关联度超过一定阈值的任意两个原子词合并为一复合词放入复合词词表中；最后对复合词进行降序排序，最终按一定比例将排在前面的复合词作为实时发现热点视频的关键词。
文档编号G06F17/30GK103020212SQ20121052573
公开日2013年4月3日 申请日期2012年12月7日 优先权日2012年12月7日
发明者李力行, 姚健, 潘柏宇, 卢述奇, 尹玉宗 申请人:合一网络技术(北京)有限公司