针对新闻事件的聚合提取方法及装置的制造方法
【专利摘要】本发明涉及一种针对新闻事件的聚合提取方法及装置，其中，该方法包括获取各个新闻源的新闻；对来自不同新闻源的所述新闻两两之间进行相关度计算，当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组，相关联的两新闻位于同一事件新闻组；对同一事件新闻组内各个新闻的文本内容进行汇编形成针对同一事件不同新闻源的文本内容集，并将该文本内容集加载至同一网页页面；所述文本内容包括新闻标题及正文；根据用户发出的访问请求，打开网页页面展示同一事件不同新闻源的文本内容集。本发明提高用户从网络上获取新闻信息的准确性以及用户浏览新闻的效率。
【专利说明】
针对新闻事件的聚合提取方法及装置
技术领域
[0001]本发明涉及新闻信息技术领域，特别涉及一种针对新闻事件的聚合提取方法及装置。【背景技术】
[0002]新闻，它是对新近发生的有社会意义并引起公众兴趣的事实的简短报道。因此，真实性、时效性及文字少、篇幅小成为消息的基本特征。报纸、广播、电视新闻是使用得最广泛的一种新闻体裁。
[0003]然而，随着信息化技术的迅速发展，如何将新闻快速而有效的传播出去，成为当今社会一个非常重要的问题。除了传统的报纸、电视等可以用来作为新闻传播的媒介之外，网络也是新闻传播的一个重要媒介。
[0004]目前，网络作为媒介传播新闻时，一般都是由各个新闻媒体将新闻发布在自己网站或频道上。大众通过关键词搜索可以看到与关键词先关的新闻，这些新闻的来源不同，例如来自新浪、腾讯、网易等等，甚至很多个人发出的相关信息。虽然这些新闻和关键词相关， 但是，并不能确定这些新闻都是针对同一事件新闻，因此，在这些铺天盖地的信息，大众很难从中挑选针对某一事件的新闻，极大地影响了用户阅读新闻的效率及获取新闻信息的准确性。
【发明内容】
[0005]本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明第一方面实施例在于提出一种针对新闻事件的聚合提取方法。
[0006]本发明的第二方面实施例在于提出一种针对新闻事件的聚合提取装置。
[0007]为了实现上述目的，本发明第一方面实施例的针对新闻事件的聚合提取方法，包括:
[0008]获取各个新闻源的新闻；
[0009]对来自不同新闻源的所述新闻两两之间进行相关度计算，当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组，相关联的两新闻位于同一事件新闻组；
[0010]对同一事件新闻组内各个新闻的文本内容进行汇编形成针对同一事件不同新闻源的文本内容集，并将该文本内容集加载至同一网页页面;所述文本内容包括新闻标题及正文；
[0011]根据用户发出的访问请求，打开网页页面展示同一事件不同新闻源的文本内容集。
[0012]根据本发明提供的针对新闻事件的聚合提取方法，对来自不同新闻源的新闻两两之间进行相关度计算，当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组，相关联的两新闻位于同一事件新闻组;对同一事件新闻组内各个新闻的文本内容进行汇编形成针对同一事件不同新闻源的文本内容集，并将该文本内容集加载至同一网页页面;文本内容包括新闻标题及正文。由此，用户在同一网页页面上可以浏览针对同一事件的所有新闻报道，如此，提高用户从网络上获取新闻信息的准确性以及用户浏览新闻的效率。
[0013]为了实现上述目的，本发明第二方面实施例的针对新闻事件的聚合提取装置，包括:
[0014]第一获取单元，用于获取各个新闻源的新闻；
[0015]第一相关度计算单元，用于对来自不同新闻源的所述新闻两两之间进行相关度计算，当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组，相关联的两新闻位于同一事件新闻组；
[0016]第一汇编单元，用于对同一事件新闻组内各个新闻的文本内容进行汇编形成针对同一事件不同新闻源的文本内容集，并将该文本内容集加载至同一网页页面;所述文本内容包括新闻标题及正文；
[0017]展现单元，用于根据用户发出的访问请求，打开网页页面展示同一事件不同新闻源的文本内容集。
[0018]根据本发明提供的针对新闻事件的聚合提取装置，第一相关度计算单元对来自不同新闻源的新闻两两之间进行相关度计算，当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组，相关联的两新闻位于同一事件新闻组;第一汇编单元对同一事件新闻组内各个新闻的文本内容进行汇编形成针对同一事件不同新闻源的文本内容集，并将该文本内容集加载至同一网页页面;文本内容包括新闻标题及正文。由此，用户在同一网页页面上可以浏览针对同一事件的所有新闻报道，如此，提高用户从网络上获取新闻信息的准确性以及用户浏览新闻的效率。
【附图说明】
[0019]图1是本发明实施例针对新闻事件的聚合提取方法的流程图；
[0020]图2是本发明实施例针对新闻事件的聚合提取方法中步骤SlOl的流程图；
[0021]图3是本发明实施例针对新闻事件的聚合提取方法中步骤S102的流程图；
[0022]图4是本发明另一实施例针对新闻事件的聚合提取方法的流程图；
[0023]图5是本发明另一实施例针对新闻事件的聚合提取方法中步骤S204的流程图；
[0024]图6是本发明实施例针对新闻事件的聚合提取装置结构示意图；
[0025]图7是本发明实施例针对新闻事件的聚合提取装置中第一获取单元结构示意图；
[0026]图8是本发明实施例针对新闻事件的聚合提取装置中第一相关度计算单元结构示意图；
[0027]图9是本发明另一实施例针对新闻事件的聚合提取装置结构示意图；
[0028]图10是本发明另一实施例针对新闻事件的聚合提取装置中排序单元结构示意图。
[0029]本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
【具体实施方式】
[0030]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0031]参照图1所示，图1示出了本发明实施例提供的针对新闻事件的聚合提取方法的流程图，为了便于描述，仅示出了与本发明实施例相关的部分。具体的，该针对新闻事件的聚合提取方法，包括:[〇〇32]S101、获取各个新闻源的新闻。
[0033]该步骤中，可以使用新闻源提供的接口获取新闻数据。由于网络上的新闻信息来源广泛，例如来自各个新闻媒体网站的新闻，还有一些个人或组织发布至网上的事件信息等，所以，上述新闻源可以是任意网站的新闻，也可以是搜索引擎搜集的各种事件信息等。 [〇〇34]在本发明的一个实施例中，步骤S101具体可以包括:
[0035]S1011、定时抓取新闻源的新闻页面。例如采用JAVA爬虫抓取新闻页面。
[0036]S1012、解析抓取的所述新闻页面，提取新闻页面中的文本内容以及新闻发布时间。由于抓取的新闻页面一般包括除了文本内容、新闻发布时间之外的其他诸多内容，例如链接地址等等，而作为读者而言，需要获取的信息一般仅限于文本内容、新闻发布时间等， 因此，在抓取到新闻页面之后，提取新闻页面中的文本内容和新闻发出时间。
[0037]S102、对来自不同新闻源的所述新闻两两之间进行相关度计算，当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组，相关联的两新闻位于同一事件新闻组。
[0038]由于在网络上获取新闻来自各个不同新闻源，而且每条新闻针对的可能属于不同的事件，所以，对来自不同新闻源的新闻两两之间进行相关度计算，根据计算的相关度即可判断两个新闻之间是否是针对同一事件，即当相关度大于设定值时，将两新闻确定为针对同一事件的新闻。如果是针对同一事件的新闻，则将两个新闻放入同一新闻组，位于该新闻组内的所有新闻即是针对同一事件的。[〇〇39]在本发明的一个实施例中，步骤S102具体可以包括:
[0040]S1021、采用词汇共现算法查找来自不同新闻源的两个新闻的文本内容中的第一共现词汇和/或句子;也即是，查找不同新闻源的两个新闻的文本内容中以一定频率重复出现的词汇，共现词汇和/或句子一定程度上反应了该新闻所针对的事件，例如“楼市”。
[0041]S1022、引入词典语义分析两个新闻的文本内容中所述第一共现词汇和/或句子之间的相关关系。[〇〇42]由于共现词和/或句子一定程度上反应了该新闻所针对事件，所以，如果两个新闻中的第一共现词和/或句子的含义是相同的或相近似的，则说明两者所针对的事件极有可能是同一事件。由此，该步骤中，在步骤S1021确定两个新闻各自的共现词和/或句子之后， 引入词典对两个新闻中的共现词和/或句子进行语义比较，找到两个新闻中的共现词和/或句子之间的相关关系，该相关关系一包包括相同词或句子、近义词、反义词、无关联词，无关联词是指在语义上完全不同，没有任何关联的两个词汇，例如“楼市”与“房地产”可以理解为近义词。[〇〇43]S1023、提取不同新闻源的两个新闻中的新闻发布时间。
[0044]由于相类似事件的新闻中共现词和/或句子可能相同，但是，相类似事件并不是同一事件，例如2000年发生“XX刑事案件”和2010年发生“XX刑事案件”，两者的案情相似，因此，从两个新闻中查找的共现词和/或句子可能是非常接近的，也即是，其两者之间的相关关系可能为相同词或近义词。如果由此判断两者的为针对同一事件的新闻而将其列入同一新闻组，则明显影响准确性。
[0045]而新闻发出时间则间接表征了新闻所针对的事件的发生事件，也即是，新闻报道事件一般与事件发生的事件相隔不会太久，由此，该步骤中，需要提取两个新闻的新闻发布时间，以该新闻发布时间作为参考，则显著提高针对同一事件的新闻分类准确率。
[0046]S1024、将不同新闻源的两个新闻中的新闻发布时间进行比较，确定新闻发布时间的相关关系。
[0047]每篇新闻都有时间戳，在时间戳可以作为新闻发布时间，将两篇新闻的发布时间进行对比，确定新闻发布时间的相关关系，该相关关系可以是相同时间、临近时间和无关联时间，临近时间是指两篇新闻的新闻发布时间前后相差较少，例如相差几天。无关联时间是指两篇新闻的新闻报道事件相差较大，例如相差一个月或几个月。
[0048]S1025、根据所述第一共现词汇和/或句子之间的相关关系及所述新闻发送时间的相关关系计算所述两个新闻之间的相关度。
[0049]由于两个新闻的文本内容中所述第一共现词汇和/或句子之间的相关关系表征了两个新闻所针对的事件之间的关联性，即两个新闻的文本内容中所述第一共现词汇和/或句子之间的相关关系为相同词或近义词时，说明两者所针对的事件极有可能是同一事件，但是也有可能是发生在不同时间的相似事件。而两个新闻的新闻发布时间的相关关系表征了事件发生时间的关联性。所以，以第一共现词汇和/或句子之间的相关关系及所述新闻发送时间的相关关系作为参考，来判断两篇新闻是否针对同一事件，可以提高判断的准确性，剔除不同时间发生的相类似事件的干扰。
[0050]S1026、当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组。也就是说，当两篇新闻的共现词语义相同或接近，并且，新闻发布时间相同或邻近时，则说明两者针对的是同一事件，将两新闻放入同一事件新闻组中。
[0051]需要说明的是，为了提高两篇新闻是否针对的是同一事件的准确性，可以在步骤S1021中，尽量查找多个共现词和/或句子，再通过步骤S1022对多个共现词和/或句子的语义分析比较，最终，步骤S1025计算的相关度更加精确，步骤S1026中将两新闻确定为针对同一事件的新闻的准确性更高。
[0052]在发明的另一个实施例中，还包括:
[0053]S1027、当相关度小于设定值时，两新闻确定为针对不同事件的新闻并建立两个事件新闻组，两新闻分别位于两所述事件新闻组中。如此，可以针对不同时间的新闻分别放入至不同新闻组中，用户可以根据需要选择对应的新闻组。
[0054]S103、对同一事件新闻组内各个新闻的文本内容进行汇编形成针对同一事件不同新闻源的文本内容集，并将该文本内容集加载至同一网页页面;所述文本内容包括新闻标题及正文。
[0055]也就是说，该步骤中，是将位于同一事件新闻组中的所有新闻的文本内容进行汇总，并按照一定的顺序编排形成文本内容集，并且记载在同一网页页面，例如从页面的上之下依次排放针对同一事件的各个新闻媒体的文本内容，例如腾讯新闻文本内容、新浪新闻文本内容、央视网新闻文本内容、……、个人发出的事件先关信息(例如公众人物的微博、微信内容等)。
[0056]S104、根据用户发出的访问请求，打开网页页面展示同一事件不同新闻源的文本内容集。
[0057]需要说明的是，也网页页面可以是网站，也可以以新闻客户端的上的页面。当用户需要查看新闻时，点击直接进入网站或新闻客户端上，再进入至该网页页面上浏览该事件的各个不同新闻源的新闻报道。
[0058]根据本实施例提供的针对新闻事件的聚合提取方法，对来自不同新闻源的新闻两两之间进行相关度计算，当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组，相关联的两新闻位于同一事件新闻组;对同一事件新闻组内各个新闻的文本内容进行汇编形成针对同一事件不同新闻源的文本内容集，并将该文本内容集加载至同一网页页面;文本内容包括新闻标题及正文。由此，用户在同一网页页面上可以浏览针对同一事件的所有新闻报道，如此，提高用户从网络上获取新闻信息的准确性以及用户浏览新闻的效率。
[0059]参照图2所示，图2示出了本发明实施例提供的针对新闻事件的聚合提取方法的另一流程图，为了便于描述，仅示出了与本发明实施例相关的部分。具体的，该针对新闻事件的聚合提取方法，包括:
[0060]S201、获取各个新闻源的新闻。
[0061]S202、对来自不同新闻源的所述新闻两两之间进行相关度计算，当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组，相关联的两新闻位于同一事件新闻组。[〇〇62]S203、对同一事件新闻组内各个新闻的文本内容进行汇编形成针对同一事件不同新闻源的文本内容集，并将该文本内容集加载至同一网页页面;所述文本内容包括新闻标题及正文。[〇〇63]S204、根据新闻内容的真实性对同一新闻组内各个新闻的文本内容依次排序。
[0064]由于以网络作为新闻的载体，网络监管制度不完善，导致了网络上的新闻的真实性参差不齐。所以，本实施例中，可以根据新闻内容的真实性对同一新闻组内的各个新闻的文本内容进行顺序排列，例如对来自新浪、腾讯等新闻媒体的新闻的文本内容排列在网页页面的上方，而其他机构、组织或个人发布的信息可以排列在网页页面的下方，如此，用户在流量新闻的时，一般都是从上之下浏览(拖动页面)，确保用户浏览的新闻为真实性较高的新闻的文本内容。[〇〇65]在本发明的一个实施例中，步骤S204具体可以包括:
[0066]S2041、获取政府职能机构网站上公告信息及公告时间。由于政府职能机构一般会对重要事件作出指示或公式，而且以文本方式公开的政府职能机构的官方网站上，而且，其具有针对某个事件或现象的概述。而政府职能部门公告信息的具有权威性和真实性，所以， 可以将公告信息及公告时间作为判断新闻真实性的依据。[〇〇67]S2042、采用词汇共现算法查找来自所述政府职能机构网站上公告信息与所述新闻中的第二共现词汇和/或句子。也即是，查找政府职能机构网上的上公告信息及新闻的文本内容中以一定频率重复出现的词汇，该共现词汇和/或句子一定程度上反应了该其针对的事件。
[0068]S2043、引入词典语义分析所述第二共现词汇和/或句子之间的相关关系。
[0069]由于第二共现词和/或句子一定程度上反应了该公告信息或新闻所针对事件，所以，如果公告信息中的共现词和/或句子的含义与新闻中的共现词和/或句子的含义是相同的或相近似的，则说明两者所针对的事件极有可能是同一事件或者是相关联的内容。由此，引入词典对政府职能机构的公开信息和新闻中的第二共现词和/或句子进行语义比较，找到政府职能机构的公开信息和该新闻中的第二共现词和/或句子之间的相关关系，该相关关系一包包括相同词或句子、近义词、反义词、无关联词，无关联词是指在语义上完全不同，没有任何关联的两个词汇。
[0070]S2044、将所述新闻中的新闻发布时间与所述公告信息的公告时间进行比较，确定新闻发布时间与公告时间的相关关系。该相关关系可以是相同时间、临近时间和无关联时间，临近时间是指两篇新闻的新闻发布时间前后相差较少，例如相差几天。
[0071]S2045、根据所述第二共现词汇和/或句子之间的相关关系及所述新闻发送时间与公告时间的相关关系计算所述新闻与所述公告信息之间的相关度。
[0072]由于政府职能机构的公告信息和新闻的文本内容中所述第二共现词汇和/或句子之间的相关关系表征了两者所针对的事件之间的关联性。所以，以第二共现词汇和/或句子之间的相关关系及所述公告时间和新闻发布时间的相关关系作为参考，来判断政府职能机构的公告信息和该新闻是否针对同一事件，可以提高判断的准确性。
[0073]如上所述，由于政府职能部门发布的公告信息具有权威性和真实性，所以，当政府职能机构的公告信息和该新闻是针对同一事件时，则说明该新闻是真实的，否则有可能不真实。
[0074]S2046、根据所述新闻与所述公告信息之间的相关度大小，对同一事件新闻组内各个新闻的文本内容在同一网页页面上进行依次排序。
[0075]也就是说，将针对同一事件新闻组中与所述公告信息之间的相关度越大的新闻排列的网页页面的最上面，相关度越小的依次排列再网页页面的下面。
[0076]S205、根据用户发出的访问请求，打开网页页面展示同一事件不同新闻源的文本内容集。
[0077]根据本实施例提供的针对新闻事件的聚合提取方法，对来自不同新闻源的新闻两两之间进行相关度计算，当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组，相关联的两新闻位于同一事件新闻组;对同一事件新闻组内各个新闻的文本内容进行汇编形成针对同一事件不同新闻源的文本内容集，并将该文本内容集加载至同一网页页面;文本内容包括新闻标题及正文，根据新闻内容的真实性对同一新闻组内各个新闻的文本内容依次排序。由此，用户在同一网页页面上可以浏览针对同一事件的所有新闻报道，如此，提高用户从网络上获取新闻信息的准确性以及用户浏览新闻的效率。同时，确保用户浏览新闻的真实性。
[0078]参照图4所示，图4示出了本发明另一实施例一种针对新闻事件的聚合提取装置，包括:
[0079]第一获取单元301，用于获取各个新闻源的新闻；
[0080]第一相关度计算单元302，用于对来自不同新闻源的所述新闻两两之间进行相关度计算，当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组，相关联的两新闻位于同一事件新闻组；
[0081]第一汇编单元303,用于对同一事件新闻组内各个新闻的文本内容进行汇编形成针对同一事件不同新闻源的文本内容集，并将该文本内容集加载至同一网页页面;所述文本内容包括新闻标题及正文；[〇〇82]展现单元304,用于根据用户发出的访问请求，打开网页页面展示同一事件不同新闻源的文本内容集。[〇〇83]在本发明的一个实施例中，所述第一获取单元301包括:
[0084]抓取模块3011，用于定时抓取新闻源的新闻页面；
[0085]解析模块3012,用于解析抓取的所述新闻页面，提取新闻页面中的文本内容以及新闻发布时间。[〇〇86]在本发明的一个实施例中，所述第一相关度计算单元302包括:[〇〇87]第一查找模块3021，用于采用词汇共现算法查找来自不同新闻源的两个新闻的文本内容中的第一共现词汇和/或句子；[〇〇88]第一词义分析模块3022,用于引入词典语义分析两个新闻的文本内容中所述第一共现词汇和/或句子之间的相关关系；
[0089]提取模块3023,用于提取不同新闻源的两个新闻中的新闻发布时间；
[0090]第一时间对比模块3024,用于将不同新闻源的两个新闻中的新闻发布时间进行比较，确定新闻发布时间的相关关系；
[0091]第一计算模块3025，用于根据所述第一共现词汇和/或句子之间的相关关系及所述新闻发送时间的相关关系计算所述两个新闻之间的相关度；[〇〇92]确定模块3026,用于当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组。[〇〇93]在本发明的另一个实施例中，所述确定模块3026还用于:
[0094]当相关度小于设定值时，两新闻确定为针对不同事件的新闻并建立两个事件新闻组，两新闻分别位于两所述事件新闻组中。[〇〇95]在本发明的又一个实施例中，还包括:
[0096]排列单元305,用于根据新闻内容的真实性对同一新闻组内各个新闻的文本内容依次排序，所述排序单元305具体包括:
[0097]获取模块3051，用于获取政府职能机构网站上公告信息及公告时间；[〇〇98]第二查找模块3052,用于采用词汇共现算法查找来自所述政府职能机构网站上公告信息与所述新闻中的第二共现词汇和/或句子；[〇〇99]第二词义分析模块3053,用于引入词典语义分析所述第二共现词汇和/或句子之间的相关关系；
[0100]第二时间对比模块3054,用于将所述新闻中的新闻发布时间与所述公告信息的公告时间进行比较，确定新闻发布时间与公告时间的相关关系；
[0101]第二计算模块3055,用于根据所述第二共现词汇和/或句子之间的相关关系及所述新闻发送时间与公告时间的相关关系计算所述新闻与所述公告信息之间的相关度；
[0102]排列模块3056,用于根据所述新闻与所述公告信息之间的相关度大小，对同一事件新闻组内各个新闻的文本内容在同一网页页面上进行依次排序。
[0103]根据本发明提供的针对新闻事件的聚合提取装置，第一相关度计算单元302对来自不同新闻源的新闻两两之间进行相关度计算，当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组，相关联的两新闻位于同一事件新闻组;第一汇编单元303对同一事件新闻组内各个新闻的文本内容进行汇编形成针对同一事件不同新闻源的文本内容集，并将该文本内容集加载至同一网页页面;文本内容包括新闻标题及正文。由此，用户在同一网页页面上可以浏览针对同一事件的所有新闻报道，如此，提高用户从网络上获取新闻信息的准确性以及用户浏览新闻的效率。
[0104]需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置或系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0105]还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0106]结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(R0M)、电可编程R0M、电可擦除可编程R0M、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
[0107]对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
【主权项】
1.一种针对新闻事件的聚合提取方法，其特征在于，包括: 获取各个新闻源的新闻； 对来自不同新闻源的所述新闻两两之间进行相关度计算，当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组，相关联的两新闻位于同一事件新闻组；对同一事件新闻组内各个新闻的文本内容进行汇编形成针对同一事件不同新闻源的文本内容集，并将该文本内容集加载至同一网页页面;所述文本内容包括新闻标题及正文；根据用户发出的访问请求，打开网页页面展示同一事件不同新闻源的文本内容集。2.根据权利要求1所述的针对新闻事件的聚合提取方法，其特征在于，所述获取各个新闻源的新闻包括: 定时抓取新闻源的新闻页面； 解析抓取的所述新闻页面，提取新闻页面中的文本内容以及新闻发布时间。3.根据权利要求2所述的针对新闻事件的聚合提取方法，其特征在于，所述对来自不同新闻源的所述新闻两两之间进行相关度计算，当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组，包括: 采用词汇共现算法查找来自不同新闻源的两个新闻的文本内容中的第一共现词汇和/或句子； 引入词典语义分析两个新闻的文本内容中所述第一共现词汇和/或句子之间的相关关系; 提取不同新闻源的两个新闻中的新闻发布时间； 将不同新闻源的两个新闻中的新闻发布时间进行比较，确定新闻发布时间的相关关系; 根据所述第一共现词汇和/或句子之间的相关关系及所述新闻发送时间的相关关系计算所述两个新闻之间的相关度； 当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组。4.根据权利要求3所述的针对新闻事件的聚合提取方法，其特征在于，还包括: 当相关度小于设定值时，两新闻确定为针对不同事件的新闻并建立两个事件新闻组，两新闻分别位于两所述事件新闻组中。5.根据权利要求1所述的针对新闻事件的聚合提取方法，其特征在于，所述根据用户发出的访问请求，打开网页页面展示同一事件不同新闻源的文本内容集之前还包括: 根据新闻内容的真实性对同一新闻组内各个新闻的文本内容依次排序，具体包括: 获取政府职能机构网站上公告信息及公告时间； 采用词汇共现算法查找来自所述政府职能机构网站上公告信息与所述新闻中的第二共现词汇和/或句子； 引入词典语义分析所述第二共现词汇和/或句子之间的相关关系； 将所述新闻中的新闻发布时间与所述公告信息的公告时间进行比较，确定新闻发布时间与公告时间的相关关系； 根据所述第二共现词汇和/或句子之间的相关关系及所述新闻发送时间与公告时间的相关关系计算所述新闻与所述公告信息之间的相关度；根据所述新闻与所述公告信息之间的相关度大小，对同一事件新闻组内各个新闻的文 本内容在同一网页页面上进行依次排序。6.—种针对新闻事件的聚合提取装置，其特征在于，包括:第一获取单元，用于获取各个新闻源的新闻；第一相关度计算单元，用于对来自不同新闻源的所述新闻两两之间进行相关度计算， 当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立一事件新闻组，相关 联的两新闻位于同一事件新闻组；第一汇编单元，用于对同一事件新闻组内各个新闻的文本内容进行汇编形成针对同一 事件不同新闻源的文本内容集，并将该文本内容集加载至同一网页页面;所述文本内容包 括新闻标题及正文；展现单元，用于根据用户发出的访问请求，打开网页页面展示同一事件不同新闻源的 文本内容集。7.根据权利要求6所述的针对新闻事件的聚合提取装置，其特征在于，所述第一获取单 元包括:抓取模块，用于定时抓取新闻源的新闻页面；解析模块，用于解析抓取的所述新闻页面，提取新闻页面中的文本内容以及新闻发布 时间。8.根据权利要求7所述的针对新闻事件的聚合提取装置，其特征在于，所述第一相关度 计算单元包括:第一查找模块，用于采用词汇共现算法查找来自不同新闻源的两个新闻的文本内容中 的第一共现词汇和/或句子；第一词义分析模块，用于引入词典语义分析两个新闻的文本内容中所述第一共现词汇 和/或句子之间的相关关系；提取模块，用于提取不同新闻源的两个新闻中的新闻发布时间；第一时间对比模块，用于将不同新闻源的两个新闻中的新闻发布时间进行比较，确定 新闻发布时间的相关关系；第一计算模块，用于根据所述第一共现词汇和/或句子之间的相关关系及所述新闻发 送时间的相关关系计算所述两个新闻之间的相关度；确定模块，用于当相关度大于设定值时，将两新闻确定为针对同一事件的新闻并建立 一事件新闻组。9.根据权利要求8所述的针对新闻事件的聚合提取装置，其特征在于，所述确定模块还 用于:当相关度小于设定值时，两新闻确定为针对不同事件的新闻并建立两个事件新闻组， 两新闻分别位于两所述事件新闻组中。10.根据权利要求6所述的针对新闻事件的聚合提取装置，其特征在于，还包括:排列单元，用于根据新闻内容的真实性对同一新闻组内各个新闻的文本内容依次排 序，所述排序单元具体包括:获取模块，用于获取政府职能机构网站上公告信息及公告时间；第二查找模块，用于采用词汇共现算法查找来自所述政府职能机构网站上公告信息与所述新闻中的第二共现词汇和/或句子； 第二词义分析模块，用于引入词典语义分析所述第二共现词汇和/或句子之间的相关关系; 第二时间对比模块，用于将所述新闻中的新闻发布时间与所述公告信息的公告时间进行比较，确定新闻发布时间与公告时间的相关关系； 第二计算模块，用于根据所述第二共现词汇和/或句子之间的相关关系及所述新闻发送时间与公告时间的相关关系计算所述新闻与所述公告信息之间的相关度； 排列模块，用于根据所述新闻与所述公告信息之间的相关度大小，对同一事件新闻组内各个新闻的文本内容在同一网页页面上进行依次排序。
【文档编号】G06F17/27GK106021351SQ201610303436
【公开日】2016年10月12日
【申请日】2016年5月10日
【发明人】李华基
【申请人】深圳职业技术学院