新闻事件的聚类方法及装置的制造方法
【专利摘要】本发明公开了一种新闻事件的聚类方法及装置。其中方法包括：挖掘新闻页面的URL，提取所述新闻页面的页面标题；根据搜索点击日志数据，查找所述新闻页面的URL对应的搜索词；根据所述页面标题和/或搜索词，对所述新闻页面进行聚类处理，其中，聚为一类的新闻页面构成一个新闻事件；从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中查找得到所述新闻事件的描述信息。本发明提供的是新闻事件的自动聚类方法，相对于现有技术来说，效率大大提高。另外，本发明一方面考虑到页面标题之间的关联性，另一方面考虑到搜索词的关联性，利用两方面的关联性完成新闻事件的聚类，提升了新闻事件聚类的精确性。
【专利说明】
新闻事件的聚类方法及装置
技术领域
[0001]本发明涉及互联网技术领域，具体涉及一种新闻事件的聚类方法及装置。【背景技术】
[0002]随着信息化技术的迅速发展，每时每刻都会产生大量的新闻，新闻是指最新发生的、人们未知、欲知、应知的事实的报道，如何将新闻快速而有效的传播出去，成为当今社会一个非常重要的问题。除了传统的报纸、电视等可以用来作为新闻传播的媒介之外，网络也是新闻传播的一个重要媒介。
[0003]由于互联网的开放特征，导致互联网络上面的新闻具有异构、冗余、动态多变等特性，描述同一新闻的信息通常分散在不同网站上，表现形式也各不相同。为了能从杂乱无章的数据洪流中快速、准确地找到用户需要的信息，新闻事件聚类技术是最重要的工具之一。 现有技术提供的新闻事件聚类大多采用人工专题的形式进行全景展现，以人工编辑为主， 效率低下。
【发明内容】
[0004]鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的新闻事件的聚类方法及装置。
[0005]根据本发明的一个方面，提供了一种新闻事件的聚类方法，包括:
[0006]挖掘新闻页面的URL，提取所述新闻页面的页面标题；
[0007]根据搜索点击日志数据，查找所述新闻页面的URL对应的搜索词；
[0008]根据所述页面标题和/或搜索词，对所述新闻页面进行聚类处理，其中，聚为一类的新闻页面构成一个新闻事件；
[0009]从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中查找得到所述新闻事件的描述信息。
[0010]根据本发明的另一方面，提供了一种新闻事件的聚类装置，包括:
[0011]数据挖掘模块，适于挖掘新闻页面的URL，提取所述新闻页面的页面标题；
[0012]数据查找模块，适于根据搜索点击日志数据，查找所述新闻页面的URL对应的搜索词；
[0013]聚类模块，适于根据所述页面标题和/或搜索词，对所述新闻页面进行聚类处理， 其中，聚为一类的新闻页面构成一个新闻事件；
[0014]事件描述模块，适于从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中查找得到所述新闻事件的描述信息。
[0015]根据本发明提供的新闻事件的聚类方法，在挖掘得到新闻页面的URL之后，提取新闻页面的页面标题;又根据搜索点击日志数据，查找所述新闻页面的URL对应的搜索词。将页面标题和/或搜索词作为新闻页面的内容描述信息，根据这些内容描述信息来对新闻页面进行聚类处理，并且最终得到新闻事件的描述信息。本发明提供的是新闻事件的自动聚类方法，相对于现有技术来说，效率大大提高。另外，本发明一方面考虑到页面标题之间的关联性，另一方面考虑到搜索词的关联性，利用两方面的关联性完成新闻事件的聚类，提升了新闻事件聚类的精确性。
[0016]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段， 而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。【附图说明】
[0017]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0018]图1示出了根据本发明一个实施例的新闻事件的聚类方法的流程图；
[0019]图2示出了根据本发明另一个实施例的新闻事件的聚类方法的流程图；
[0020]图3示出了根据本发明一个实施例的新闻事件的聚类装置的功能框图。【具体实施方式】
[0021]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0022]图1示出了根据本发明一个实施例的新闻事件的聚类方法的流程图。如图1所示， 该方法包括如下步骤:[〇〇23]步骤S101，挖掘新闻页面的URL，提取新闻页面的页面标题。
[0024]首先，通过数据挖掘技术从各大新闻站点爬取新闻页面的信息，新闻站点是专门提供新闻信息的网站，可以包括国家大型新闻门户(如新华网、人民网等)、商业门户(新浪新闻、网易新闻等)、地方新闻门户(长江网、大洋网等)、以及行业门户网站;还可以包括一些社交平台(新浪微博等)。这些新闻站点的新闻信息包罗万象，用户访问量很大，通过挖掘这些新闻站点的新闻页面，可以获取较为全面的新闻数据。
[0025]本发明一个实施例中，可预先维护新闻站点列表，其中记录了几千个访问量较高的新闻站点，通过爬虫定期爬取这些新闻站点的新闻页面的URL。本发明另一个实施例中， 也可利用客户端中安装的客户端程序收集用户访问行为数据，从这些用户访问行为数据中筛选出新闻页面，获取新闻页面的URL。在挖掘得到新闻页面的URL之后，提取这些新闻页面的页面标题。
[0026]步骤S102，根据搜索点击日志数据，查找新闻页面的URL对应的搜索词。
[0027]考虑到有些新闻页面的页面标题五花八门，但内容是很相似的。举例来说，“海口" 拆违殴打群众"区长引咎辞职”、“海口市委:殴打手无寸铁妇女儿童党纪国法不容”、“评论-海口召开紧急会议问责“殴打妇孺”事件”这三个新闻页面的页面标题相关度不大，但实际上是同一新闻事件的报道。为了能将类似这样的新闻聚到一类，本发明实施例利用了搜索点击日志数据，搜索点击日志数据记录了用户使用搜索引擎输入搜索词后所选择点击的搜索结果URL的相关数据。假如用户输入某个搜索词，得到若干个搜索结果，用户点击打开了其中的网页A和网页B，则认为网页A和网页B都是与搜索词存在关联的，是用户的搜索行为协助建立了这种关联。[〇〇28]基于上述关联，在挖掘得到新闻页面的URL之后，调取搜索引擎服务器提供的搜索点击日志数据。在搜索点击日志数据中查找上述挖掘得到的新闻页面的URL对应的搜索词， 即查找用户点击新闻页面的URL时所输入的搜索词，该搜索词与新闻页面的URL存在关联。 [〇〇29]步骤S103,根据页面标题和/或搜索词，对新闻页面进行聚类处理，其中，聚为一类的新闻页面构成一个新闻事件。
[0030]在通过步骤S101和步骤S102得到页面标题和搜索词后，可以统一将页面标题和搜索词看做是新闻页面的URL的内容描述信息。一个新闻页面的URL对应一个页面标题和/或多个搜索词，一个搜索词也可对应多个新闻页面的URL。根据这些内容描述信息来对新闻页面进行聚类处理，使得聚成一类的新闻页面构成一个新闻事件。
[0031]步骤S104,从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中查找得到新闻事件的描述信息。[〇〇32]在完成聚类后，一个新闻事件的所有新闻页面对应的页面标题和/或搜索词又构成了该新闻事件的内容描述，这里包含了多个页面标题和/或多个搜索词。这个内容描述显得很冗长，本发明从其中选取一些有代表性的页面标题和/或搜索词作为新闻事件的描述fg息。
[0033]根据本发明提供的新闻事件的聚类方法，在挖掘得到新闻页面的URL之后，提取新闻页面的页面标题;又根据搜索点击日志数据，查找所述新闻页面的URL对应的搜索词。将页面标题和/或搜索词作为新闻页面的内容描述信息，根据这些内容描述信息来对新闻页面进行聚类处理，并且最终得到新闻事件的描述信息。本发明提供的是新闻事件的自动聚类方法，相对于现有技术来说，效率大大提高。另外，本发明一方面考虑到页面标题之间的关联性，另一方面考虑到搜索词的关联性，利用两方面的关联性完成新闻事件的聚类，提升了新闻事件聚类的精确性。
[0034]图2示出了根据本发明另一个实施例的新闻事件的聚类方法的流程图。如图2所示，该方法包括如下步骤:[〇〇35]步骤S201，挖掘新闻页面的URL，提取新闻页面的页面标题。[〇〇36] 步骤S201至步骤S203为数据准备的过程。在步骤S201中，首先通过数据挖掘技术挖掘新闻页面的URL。在一个实施例中，可预先维护新闻站点列表，其中记录了几千个访问量较高的新闻站点，通过爬虫定期爬取这些新闻站点的新闻页面的URL。在另一个实施例中，也可利用客户端中安装的客户端程序收集用户访问行为数据，从这些用户访问行为数据中筛选出新闻页面，获取新闻页面的URL。[〇〇37] 可选地，在挖掘新闻页面的URL之后，方法还包括:对新闻页面的URL进行归一化或消重处理。具体来说可分几步进行处理:1)对新闻页面的URL作归一化处理，比如一些带锚点标记的URL会被归一化处理为无锚点标记;2)将内容分页的一组URL做首页归一处理，比如一组图片新闻的URL归一处理为首页URL。经过上述处理后，提取新闻页面的页面标题。
[0038]可选地，在提取新闻页面的页面标题之后，方法还包括:去除页面标题的后缀信息。比如一些新闻页面的页面标题往往加有网站或频道的后缀，本方法可将这些后缀信息去除，留下更具特征性的页面标题，便于后续聚类处理。
[0039]步骤S202,根据新闻事件的统计事件粒度确定预设时间范围。
[0040]由于新闻具有较高的时效性要求，而搜索点击日志数据记录了很长时间范围内的用户搜索点击数据，因此本方法可根据新闻事件的统计事件粒度确定预设时间范围，以得到更具时效性的数据。例如，新闻事件的统计事件粒度设置为1天，那么所确定的预设时间范围为1天内。
[0041]步骤S203,在属于预设时间范围的搜索点击日志数据中查找用户点击新闻页面的 URL时所输入的搜索词。[〇〇42]搜索点击日志数据包含搜索词、搜索时间以及用户点击的搜索结果URL，将所挖掘出的新闻页面的URL与用户点击的搜索结果URL进行匹配，若匹配一致，则查找得到对应的搜索词和搜索时间。进一步的，查看搜索时间是否属于预设时间范围，若是则确定搜索词即为新闻页面的URL对应的搜索词。如果新闻事件的统计事件粒度为1天，则查找1天内的用户点击新闻页面的URL时所输入的搜索词;如果新闻事件的统计事件粒度为1小时，则查找1小时内用户点击新闻页面的URL时所输入的搜索词。
[0043]可选地，在查找到搜索词后还需将表达含糊、表达力较弱的搜索词去掉，留下更具特定新闻指向的搜索词。本发明中通过制定黑名单规则或正则表达式实现搜索词的过滤。 具体来说，可从以下几个方面进行过滤:
[0044](1)去除搜索词长度小于预设长度值的搜索词，这类搜索词含义宽泛，不具指向性，比如，预设长度值为3，去除搜索词长度小于3的搜索词。
[0045](2)去除位于黑名单中的搜索词。可将某些与网站或频道相关的词加入黑名单，比如腾讯新闻、新浪体育等。如发现搜索词落入黑名单，则直接去除。
[0046](3)去除与多个新闻分类的新闻页面的URL关联的搜索词。如果某个搜索词与很多新闻分类的URL关联，则考虑去掉。具体规则可以为:如果跨新闻分类的搜索词的长度小于某个阈值(如8)，则去掉;如果大于或等于该阈值，则考虑保留。
[0047](4)去除属于干扰词的搜索词。在搜索点击日志数据中会发现一些干扰词，干扰词是指用户点击的URL的具体内容与搜索词的涵义毫无关联。一种做法是定时挖掘这类干扰词，如果一个搜索词对应的用户点击的URL超过15个，即可认定为干扰词。
[0048]步骤S204,通过计算页面标题和/或搜索词的文本相似度，和/或比较搜索词，对新闻页面进行聚类处理。
[0049]新闻页面的聚类是根据页面标题之间的关联性和搜索词之间的关联性进行聚类的。首先，计算页面标题和/或搜索词的文本相似度。根据上面的描述可知，一个新闻页面的 URL对应一个页面标题和/或多个搜索词，按照文本相似度进行聚类，如果两个新闻页面的页面标题和/或搜索词的文本相似度高于预设阈值，则将两个新闻页面聚为一类。具体的说，将页面标题和/或搜索词进行分词处理，利用词袋模型将页面标题和/或搜索词转化为向量，通过相似度算法计算向量的相似度，若相似度高于预设阈值，则进行聚类处理。
[0050]除了通过计算文本相似度进行聚类外，还通过比较搜索词进行聚类。若两个新闻页面的URL对应的搜索词相同，则将两个新闻页面聚为一类。[〇〇51 ] 举例来说，共有5个URL，分别为URL1、URL2、URL3、URL4和URL5，通过计算文本相似度将URL1、URL2和URL3聚为一类，再通过比较搜索词得知URL1和URL5具有相同的搜索词，则将URL5也聚到该类别中。最终聚为一类的新闻页面构成一个新闻事件。[〇〇52]步骤S205,采用最小覆盖集算法，从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中查找覆盖最多新闻页面的URL的页面标题和/或搜索词作为新闻事件的描述信息。
[0053]通过以上的描述可知，一个新闻事件的所有新闻页面对应的页面标题和/或搜索词构成了该新闻事件的内容描述，则一个新闻事件具有很多个页面标题和搜索词，这个描述显得很冗长，因此本实施例采用最小覆盖集算法，从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中查找覆盖最多新闻页面的URL的页面标题和/或搜索词作为新闻事件的描述信息。比如，一个简单的聚类，有两个新闻页面的URL，对应的内容描述包括:两个新闻页面的URL的页面标题及一个搜索词。如果这个搜索词已经关联了两个URL，则可丢掉原来两个页面标题，只用这个搜索词作为新闻事件的描述信息。对于复杂的情况，一个聚类对应多个搜索词、多个页面标题，那先选能关联最多URL的搜索词或页面标题，再从剩余中选关联次最多的搜索词或页面标题。选择过程一直持续到可以将一个聚类中所有的URL 都关联到，这时，已选择出来的搜索词或页面标题，就构成了描述新闻事件的最小描述子集。
[0054]根据本实施例提供的新闻事件的聚类方法，通过提取新闻页面的页面标题，查找新闻页面对应的搜索词，计算页面标题和/或搜索词的文本相似度，和/或比较搜索词，对新闻页面进行聚类处理。该聚类过程既考虑页面标题之间的关联性，又考虑搜索词之间的关联性，提升了新闻事件聚类的精确性。另外，采用最小覆盖集算法得到描述新闻事件的最小描述子集，保证了对新闻事件的描述的准确性和全面性。进一步的，在查找搜索点击日志数据时参考新闻事件的统计事件粒度，满足了新闻事件的时效性要求。
[0055]图3示出了根据本发明一个实施例的新闻事件的聚类装置的功能框图。如图3所示，该装置包括:数据挖掘模块301，数据查找模块302，聚类模块303，以及事件描述模块 304〇[〇〇56]数据挖掘模块301，适于挖掘新闻页面的URL，提取所述新闻页面的页面标题。在一个实施例中，装置预先维护新闻站点列表，其中记录了几千个访问量较高的新闻站点，数据挖掘模块301通过爬虫定期爬取这些新闻站点的新闻页面的URL。在另一个实施例中，利用客户端中安装的客户端程序收集用户访问行为数据，数据挖掘模块301从这些用户访问行为数据中筛选出新闻页面，获取新闻页面的URL。[〇〇57]数据查找模块302,适于根据搜索点击日志数据，查找所述新闻页面的URL对应的搜索词。进一步的，数据查找模块302适于:在搜索点击日志数据中查找用户点击所述新闻页面的URL时所输入的搜索词。[〇〇58]数据查找模块302调取搜索引擎服务器提供的搜索点击日志数据，搜索点击日志数据记录了用户使用搜索引擎输入搜索词后所选择点击的搜索结果URL的相关数据。在搜索点击日志数据中查找上述挖掘得到的新闻页面的URL对应的搜索词，即查找用户点击新闻页面的URL时所输入的搜索词，该搜索词与新闻页面的URL存在关联。
[0059]聚类模块303,适于根据所述页面标题和/或搜索词，对所述新闻页面进行聚类处理，其中，聚为一类的新闻页面构成一个新闻事件。
[0060]事件描述模块304,适于从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中查找得到所述新闻事件的描述信息。
[0061]进一步的，本装置还包括:时间粒度控制模块305,适于根据新闻事件的统计事件粒度确定预设时间范围。由于新闻具有较高的时效性要求，而搜索点击日志数据记录了很长时间范围内的用户搜索点击数据，因此时间粒度控制模块305可根据新闻事件的统计事件粒度确定预设时间范围，以得到更具时效性的数据。例如，新闻事件的统计事件粒度设置为1天，那么所确定的预设时间范围为1天内。数据查找模块302进一步适于:在属于所述预设时间范围的搜索点击日志数据中查找用户点击所述新闻页面的URL时所输入的搜索词。 搜索点击日志数据包含搜索词、搜索时间以及用户点击的搜索结果URL，将所挖掘出的新闻页面的URL与用户点击的搜索结果URL进行匹配，若匹配一致，则查找得到对应的搜索词和搜索时间。进一步的，查看搜索时间是否属于预设时间范围，若是则确定搜索词即为新闻页面的URL对应的搜索词。如果新闻事件的统计事件粒度为1天，则查找1天内的用户点击新闻页面的URL时所输入的搜索词；如果新闻事件的统计事件粒度为1小时，则查找1小时内用户点击新闻页面的URL时所输入的搜索词。
[0062]聚类模块303进一步适于:通过计算所述页面标题和/或搜索词的文本相似度，和/ 或比较搜索词，对所述新闻页面进行聚类处理。
[0063]聚类模块303进一步适于:若两个新闻页面的页面标题和/或搜索词的文本相似度高于预设阈值，则将所述两个新闻页面聚为一类;和/或，若两个新闻页面的URL对应的搜索词相同，则将所述两个新闻页面聚为一类。
[0064]新闻页面的聚类是根据页面标题之间的关联性和搜索词之间的关联性进行聚类的。首先，计算页面标题和/或搜索词的文本相似度。根据上面的描述可知，一个新闻页面的 URL对应一个页面标题和/或多个搜索词，按照文本相似度进行聚类，如果两个新闻页面的页面标题和/或搜索词的文本相似度高于预设阈值，则将两个新闻页面聚为一类。具体的说，将页面标题和/或搜索词进行分词处理，利用词袋模型将页面标题和/或搜索词转化为向量，通过相似度算法计算向量的相似度，若相似度高于预设阈值，则进行聚类处理。
[0065]除了通过计算文本相似度进行聚类外，还通过比较搜索词进行聚类。若两个新闻页面的URL对应的搜索词相同，则将两个新闻页面聚为一类。
[0066]事件描述模块304进一步适于:采用最小覆盖集算法，从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中查找覆盖最多新闻页面的URL的页面标题和/或搜索词作为所述新闻事件的描述信息。
[0067]—个新闻事件的所有新闻页面对应的页面标题和/或搜索词构成了该新闻事件的内容描述，则一个新闻事件具有很多个页面标题和搜索词，这个描述显得很冗长，因此本装置采用最小覆盖集算法，从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中查找覆盖最多新闻页面的URL的页面标题和/或搜索词作为新闻事件的描述信息。比如，一个简单的聚类，有两个新闻页面的URL，对应的内容描述包括:两个新闻页面的URL的页面标题及一个搜索词。如果这个搜索词已经关联了两个URL，则可丢掉原来两个页面标题，只用这个搜索词作为新闻事件的描述信息。对于复杂的情况，一个聚类对应多个搜索词、多个页面标题，那先选能关联最多URL的搜索词或页面标题，再从剩余中选关联次最多的搜索词或页面标题。选择过程一直持续到可以将一个聚类中所有的URL都关联到，这时，已选择出来的搜索词或页面标题，就构成了描述新闻事件的最小描述子集。
[0068]进一步的，本装置还包括:数据处理模块306,适于对所述新闻页面的URL进行归一化或消重处理;或者，适于去除所述页面标题的后缀信息；或者，适于去除搜索词长度小于预设长度值的搜索词；和/或，去除位于黑名单中的搜索词；和/或，去除与多个新闻分类的新闻页面的URL关联的搜索词;和/或，去除属于干扰词的搜索词。有关数据处理的具体内容可参见方法实施例的描述。
[0069]根据本实施例提供的新闻事件的聚类装置，通过提取新闻页面的页面标题，查找新闻页面对应的搜索词，计算页面标题和/或搜索词的文本相似度，和/或比较搜索词，对新闻页面进行聚类处理。该聚类过程既考虑页面标题之间的关联性，又考虑搜索词之间的关联性，提升了新闻事件聚类的精确性。另外，采用最小覆盖集算法得到描述新闻事件的最小描述子集，保证了对新闻事件的描述的准确性和全面性。进一步的，在查找搜索点击日志数据时参考新闻事件的统计事件粒度，满足了新闻事件的时效性要求。[〇〇7〇]在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。 各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0071]在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。[〇〇72]类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此， 遵循【具体实施方式】的权利要求书由此明确地并入该【具体实施方式】，其中每个权利要求本身都作为本发明的单独实施例。[〇〇73]本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。[〇〇74]此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0075]本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的新闻事件的聚类装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。 这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0076] 应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中， 不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。[〇〇77]本发明公开了:[〇〇78] A1、一种新闻事件的聚类方法，包括:
[0079]挖掘新闻页面的URL，提取所述新闻页面的页面标题；
[0080]根据搜索点击日志数据，查找所述新闻页面的URL对应的搜索词；
[0081]根据所述页面标题和/或搜索词，对所述新闻页面进行聚类处理，其中，聚为一类的新闻页面构成一个新闻事件；
[0082]从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中查找得到所述新闻事件的描述信息。
[0083]A2、根据A1所述的方法，所述根据搜索点击日志数据，查找所述新闻页面的URL对应的搜索词进一步包括:在搜索点击日志数据中查找用户点击所述新闻页面的URL时所输入的搜索词。
[0084]A3、根据A2所述的方法，所述在搜索点击日志数据中查找用户点击所述新闻页面的URL时所输入的搜索词进一步包括:
[0085]根据新闻事件的统计事件粒度确定预设时间范围；
[0086]在属于所述预设时间范围的搜索点击日志数据中查找用户点击所述新闻页面的 URL时所输入的搜索词。
[0087]A4、根据A1或A2或A3所述的方法，所述根据所述页面标题和/或搜索词，对所述新闻页面进行聚类处理进一步包括:通过计算所述页面标题和/或搜索词的文本相似度，和/ 或比较搜索词，对所述新闻页面进行聚类处理。
[0088]A5、根据A4所述的方法，所述通过计算所述页面标题和/或搜索词的文本相似度， 和/或比较搜索词，对所述新闻页面进行聚类处理进一步包括:
[0089]若两个新闻页面的页面标题和/或搜索词的文本相似度高于预设阈值，则将所述两个新闻页面聚为一类；
[0090]和/或，若两个新闻页面的URL对应的搜索词相同，则将所述两个新闻页面聚为一类。
[0091]A6、根据A1-A5任一项所述的方法，所述从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中查找得到所述新闻事件的描述信息进一步包括:
[0092]采用最小覆盖集算法，从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中查找覆盖最多新闻页面的URL的页面标题和/或搜索词作为所述新闻事件的描述信息。[〇〇93]A7、根据A1所述的方法，在所述挖掘新闻页面的URL之后，所述方法还包括:对所述新闻页面的URL进行归一化或消重处理。
[0094]A8、根据A1所述的方法，在所述提取新闻页面的页面标题之后，所述方法还包括:去除所述页面标题的后缀信息。[〇〇95]A9、根据A1所述的方法，在所述查找新闻页面的URL对应的搜索词之后，所述方法还包括:
[0096]去除搜索词长度小于预设长度值的搜索词；
[0097]和/或，去除位于黑名单中的搜索词；[〇〇98]和/或，去除与多个新闻分类的新闻页面的URL关联的搜索词；[〇〇99]和/或，去除属于干扰词的搜索词。[〇1〇〇] B10、一种新闻事件的聚类装置，包括:
[0101]数据挖掘模块，适于挖掘新闻页面的URL，提取所述新闻页面的页面标题；
[0102]数据查找模块，适于根据搜索点击日志数据，查找所述新闻页面的URL对应的搜索词；
[0103]聚类模块，适于根据所述页面标题和/或搜索词，对所述新闻页面进行聚类处理， 其中，聚为一类的新闻页面构成一个新闻事件；
[0104]事件描述模块，适于从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中查找得到所述新闻事件的描述信息。
[0105]B11、根据B10所述的装置，所述数据查找模块进一步适于:在搜索点击日志数据中查找用户点击所述新闻页面的URL时所输入的搜索词。
[0106]B12、根据B11所述的装置，还包括:时间粒度控制模块，适于根据新闻事件的统计事件粒度确定预设时间范围；
[0107]所述数据查找模块进一步适于:在属于所述预设时间范围的搜索点击日志数据中查找用户点击所述新闻页面的URL时所输入的搜索词。
[0108]B13、根据B10或B11或B12所述的装置，所述聚类模块进一步适于:通过计算所述页面标题和/或搜索词的文本相似度，和/或比较搜索词，对所述新闻页面进行聚类处理。
[0109]B14、根据B13所述的装置，所述聚类模块进一步适于:若两个新闻页面的页面标题和/或搜索词的文本相似度高于预设阈值，则将所述两个新闻页面聚为一类;和/或，若两个新闻页面的URL对应的搜索词相同，则将所述两个新闻页面聚为一类。
[0110]B15、根据B10-B14任一项所述的装置，所述事件描述模块进一步适于:采用最小覆盖集算法，从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中查找覆盖最多新闻页面的URL的页面标题和/或搜索词作为所述新闻事件的描述信息。B16、根据B10所述的装置，还包括:数据处理模块，适于对所述新闻页面的URL进行归一化或消重处理。
[0112]B17、根据B10所述的装置，还包括:数据处理模块，适于去除所述页面标题的后缀fg息。[〇113]B18、根据B10所述的装置，还包括:数据处理模块，适于去除搜索词长度小于预设长度值的搜索词；和/或，去除位于黑名单中的搜索词；和/或，去除与多个新闻分类的新闻页面的URL关联的搜索词;和/或，去除属于干扰词的搜索词。
【主权项】
1.一种新闻事件的聚类方法，包括:挖掘新闻页面的URL，提取所述新闻页面的页面标题；根据搜索点击日志数据，查找所述新闻页面的URL对应的搜索词；根据所述页面标题和/或搜索词，对所述新闻页面进行聚类处理，其中，聚为一类的新 闻页面构成一个新闻事件；从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中查找得到所述新闻事 件的描述信息。2.根据权利要求1所述的方法，所述根据搜索点击日志数据，查找所述新闻页面的URL 对应的搜索词进一步包括:在搜索点击日志数据中查找用户点击所述新闻页面的URL时所 输入的搜索词。3.根据权利要求2所述的方法，所述在搜索点击日志数据中查找用户点击所述新闻页 面的URL时所输入的搜索词进一步包括:根据新闻事件的统计事件粒度确定预设时间范围；在属于所述预设时间范围的搜索点击日志数据中查找用户点击所述新闻页面的URL时 所输入的搜索词。4.根据权利要求1或2或3所述的方法，所述根据所述页面标题和/或搜索词，对所述新 闻页面进行聚类处理进一步包括:通过计算所述页面标题和/或搜索词的文本相似度，和/ 或比较搜索词，对所述新闻页面进行聚类处理。5.根据权利要求4所述的方法，所述通过计算所述页面标题和/或搜索词的文本相似 度，和/或比较搜索词，对所述新闻页面进行聚类处理进一步包括:若两个新闻页面的页面标题和/或搜索词的文本相似度高于预设阈值，则将所述两个 新闻页面聚为一类；和/或，若两个新闻页面的URL对应的搜索词相同，则将所述两个新闻页面聚为一类。6.根据权利要求1-5任一项所述的方法，所述从每个新闻事件的所有新闻页面对应的 页面标题和/或搜索词中查找得到所述新闻事件的描述信息进一步包括:采用最小覆盖集算法，从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词 中查找覆盖最多新闻页面的URL的页面标题和/或搜索词作为所述新闻事件的描述信息。7.根据权利要求1所述的方法，在所述挖掘新闻页面的URL之后，所述方法还包括:对所 述新闻页面的URL进行归一化或消重处理。8.根据权利要求1所述的方法，在所述提取新闻页面的页面标题之后，所述方法还包 括:去除所述页面标题的后缀信息。9.根据权利要求1所述的方法，在所述查找新闻页面的URL对应的搜索词之后，所述方 法还包括:去除搜索词长度小于预设长度值的搜索词；和/或，去除位于黑名单中的搜索词；和/或，去除与多个新闻分类的新闻页面的URL关联的搜索词；和/或，去除属于干扰词的搜索词。10.—种新闻事件的聚类装置，包括:数据挖掘模块，适于挖掘新闻页面的URL，提取所述新闻页面的页面标题；数据查找模块，适于根据搜索点击日志数据，查找所述新闻页面的URL对应的搜索词；聚类模块，适于根据所述页面标题和/或搜索词，对所述新闻页面进行聚类处理，其中， 聚为一类的新闻页面构成一个新闻事件；事件描述模块，适于从每个新闻事件的所有新闻页面对应的页面标题和/或搜索词中 查找得到所述新闻事件的描述信息。
【文档编号】G06F17/30GK106021418SQ201610319385
【公开日】2016年10月12日
【申请日】2016年5月13日
【发明人】彭力扬, 韩明辉, 王肖磊, 陈劲, 魏自立, 李 浩
【申请人】北京奇虎科技有限公司, 奇智软件（北京）有限公司