专利名称：互联网新闻的监控方法和装置的制作方法
技术领域：
本发明涉及互联网信息技术领域，具体而言，涉及一种互联网新闻的监控方法和
>J-U ρ α装直。
背景技术：
目前监管部门对互联网新闻的监控和追踪工作仅靠人工完成。大量的工作人员手动刷新各大门户网站的新闻区，阅读新闻内容，人工判断其是否符合监管部门的宣传要求。这种工作模式存在一定的问题:1、效率低:完全依靠人工操作，人工查找和阅读需要一定的时间。2、准确率低:需要人工阅读大量的文字内容，存在一定的风险性。3、无法追踪:无法追踪正负面新闻在一定时间内的发布、撤销情况。4、无法衡量:无法衡量各大门户网站对监控部门发布指令的响应、实施情况。
发明内容
本发明旨在提供一种互联网新闻的监控方法和装置，以解决人工监控的问题。在本发明的实施例中，提供了`一种互联网新闻的监控方法，包括:获取互联网新闻的相关信息；以监管指令匹配互联网新闻的相关信息；提交匹配结果。在本发明的实施例中，提供了一种互联网新闻的监控装置，包括:获取模块，用于获取互联网新闻的相关信息；匹配模块，用于以监管指令匹配互联网新闻的相关信息；提交模块，用于提交匹配结果。本发明上述实施例的互联网新闻的监控方法和装置因为采用匹配方法，所以克服了人工监控的问题，提高了互联网新闻的监控效率。
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:图1示出了根据本发明实施例的互联网新闻的监控方法的流程图；图2示出了根据本发明优选实施例的互联网新闻的监控方法的流程图；图3示出了根据本发明实施例的链接撤销指令的监控方法的流程图；图4示出了根据本发明实施例的互联网新闻的监控装置的示意图；图5示出了根据本发明实施例的获取模块的示意图；图6示出了根据本发明优选实施例的互联网新闻的监控装置的示意图；图7示出了根据本发明实施例的链接撤销指令的监控装置的示意图。
具体实施例方式下面将参考附图并结合实施例，来详细说明本发明。
图1示出了根据本发明实施例的互联网新闻的监控方法的流程图，包括:步骤S10，获取互联网新闻的相关信息；步骤S20，以监管指令匹配互联网新闻的相关信息；步骤S30，提交匹配结果。在实践当中，可以通过网络爬虫等程序很容易地获取互联网新闻的相关信息，通过计算机编程可以很容易地实现匹配算法，因此本实施例可以很容易地通过计算机程序来实现，从而用自动化方法代替了人工操作，克服了人工监控互联网新闻的缺陷，大幅度提高了互联网新闻监控的效率。另外，该自动化过程是机器来做的，所以准确率较高、且可以很容易地追踪正负面新闻在一定时间内的发布、撤销情况，也可以很容易地衡量各大门户网站对监控部门发布指令的响应、实施情况。监管指令可以包括以下至少一项:正面宣传指令、负面宣传指令、指定链接撤销。各种监管指令的功能要求如下:1、正面宣传指令:录入的正面宣传指令可以为标题关键词和各关键词权重或标题加正文关键词及各关键词权重，宣传指令还需要录入有效期。系统根据有效的指令不间断的追踪探测，将各指令在各网站上的发布情况、延迟时间展示在本功能中，可显示各网站是否有效发布，如是否提前、滞后发布，也可汇总查看一定时间内单一网站的多次探测情况。2、负面宣传指令:基本与正面宣传指令相同。系统显示各指令在各网站上的撤销或未发布情况、延迟时间等，可显示各网站是否有效撤销，如是否提前、滞后撤销。也可汇总查看。3、指定链接撤销:本功能只针对已发布到各大网站上的负面新闻。录入的宣传指令包括指定撤销的新闻链接和有效期。系统显示各指令在链接网站上的撤销情况、延迟时间等，同样可显示有效和汇总情况。优选地，本监控方法还包括网站实施汇总:统计各网站有效、无效响应宣传指令情况，可查看某一网站在一定时间内执行具体指令的情况。图2示出了根据本发明优选实施例的互联网新闻的监控方法的流程图，包括:
步骤S51，采集各网站新闻频道要闻区标题和链接。通过网络爬虫可以抓取到各网站新闻频道要闻区中的内容，包括新闻标题和链接。要闻区一般出现在各网站首页、新闻频道中最核心的位置，重要意义最大。步骤S52，读取要闻区新闻的源文件新闻。根据步骤S51采集的要闻区新闻链接地址，读取要闻区新闻的源文件新闻时，首先通过模拟HTTP请求返回新闻状态码。如果状态码非200或有异常出现，则表明要闻区内容已不存在；如果正常返回200,则通过HttpMethodBase的getResponseBody O方法获取网页源文件的字节数组及其编码格式，通过编码格式将源文件字节数组转化为字符形式的源文件新闻。步骤S53，提取源文件中正文内容。提取源文件正文有多种方法，例如:剔除源文件中的无用标签，将剩余部分根据划分区域标签拆封为各个子块，综合各子块的大小、上下块之间的距离和标题分词获取较为准确的正文内容。步骤S53，读取有效的正负面指令。
新闻具有时效性的特点，监控部门并不关心滞后或过期淘汰的新闻内容。读取时注意读取所有未过期的数据，即使指令还未进入有效期，也要读取，目的在于判断指令内容是否提前发布或撤销。步骤S54，检测各指令在各网站存在情况。检测时先取某一指令，若只有标题关键词，则只匹配采集到的标题内容，若标题、正文关键词都有，需综合匹配。(i)只有标题关键词。根据标题和各关键词的匹配次数及各关键词的权重综合计算匹配值，根据匹配到的关键词数和指令配置的关键词数的比例做矫正计算，保证计算准确度。用计算出的匹配值与参考系数比较，判断是否匹配以获得检测结果。参考系数可以根据用户需要给定或经过长期抽样计算获得。优选地,设置匹配值P = n^Wi+^^+...+nn*wn+(np/n)*X,其中，所述当前的监管指令只包括η个标题关键词，其权重为W1...wn,匹配次数分别为Ii1...ηη,共有ηρ个标题关键词存在匹配，矫正值为X。(ii)含有标题和正文关 键词。与(i)算法基本相同。根据标题、正文关键词在标题、正文中匹配到的次数及各关键词的权重综合计算匹配值，同样需要矫正计算，矫正时需注意正文和标题分开。获得结果后同样需要和参考系数进行比较以获得检测结果。设置匹配值P = nfel*wfel+nfe2*wfe2+...+r%n*w#n+mB*WB+n^2*WB+...+mIm*wIEm+((η标p/n标)*X标+ (m JepAiie)-Xie)/2,其中，所述当前的监管指令包括η个标题关键词,其权重为..wfen,匹配次数分别为nm...n#n，共有nigp个标题关键词存在匹配，矫正值为Xg ;所述当前的监管指令包括m个正文关键词,其权重为W11...Wieiii,匹配次数分别为m^1...mIm，共有mIp个正文关键词存在匹配，矫正值为某一指令探测完成记录结果后，取下一指令继续探测。步骤S55，存储各指令在各网站的检测结果。将步骤S54的结果存储到数据库中，供统计和汇总使用。图3示出了根据本发明实施例的链接撤销指令的监控方法的流程图，包括:该部分可以是系统启动线程不间断运行的，包括以下步骤:步骤S61，采集各网站新闻频道要闻区链接。通过网络爬虫可以抓取到各网站新闻频道要闻区中的内容，这里指获取链接内容即可。步骤S62，读取有效的链接撤销指令。读取时同样注意读取所有未过期的数据，即使指令还未进入有效期，也要读取，目的在于判断是否提前撤销。步骤S63，检测链接撤销指令在各网站存在情况。因为链接地址存在唯一性，故直接以配置的撤销链接和采集到的要闻区各链接进行匹配即可。步骤S64，存储各指令在各网站的检测结果。将步骤S63的结果存储到数据库中，供统计和汇总使用。
图4示出了根据本发明实施例的互联网新闻的监控装置的示意图，包括:获取模块10，用于获取互联网新闻的相关信息；匹配模块20，用于以监管指令匹配互联网新闻的相关信息；提交模块30，用于提交匹配结果。本装置提高了互联网新闻监控的效率。图5示出了根据本发明实施例的获取模块的示意图，包括录入装置101，和与之连接的数据库装置102。录入装置101用于录入正面宣传、负面撤销和链接撤销指令。正面宣传、负面撤销指令包括标题关键词、各关键词权重和有效期，可追加正文关键词和各关键词权重已保证探测准确。数据库装置102用于存储录入的指令。图6示出了根据本发明优选实施例的互联网新闻的监控装置的示意图，包括采集装置201、提取装置202、检测装置203、数据库装置102 (记录指令)、数据库装置103 (记录探测状态)。采集装置201用于获取监控网站要闻区内容，包括要闻标题、链接和根据链接获取到的新闻源文件内容。提取装置202用于提取新闻源文件内容中的正文部分。采集装置201和提取装置202用于实现图4中的获取模块10。检测装置203用于检测要闻区内容标题、链接、正文和指令内容的匹配情况。检测装置203用于实现图4中的匹配模块20。数据库装置102 (记录指令)维护并提供已录入的指令。数据库装置103 (记录探测状态)记录各指令在各网站上的各次探测结果。数据库装置102和数据库装置103用于实现图4中的提交模块30。图7示出了根据本发明实施例的链接撤销指令的监控装置的示意图，该部分包括采集装置201、检测装置203、数据库装置102 (记录指令)、数据库装置103 (记录探测状态)。采集装置201在本部分只用于获取监控网站要闻区内容的链接地址。检测装置203只用于检测要闻区内容链接和指令内容的匹配情况。数据库装置102 (记录指令)维护并提供已录入的指令。数据库装置103 (记录探测状态)记录各指令在各网站上的各次探测结果。综上所述，本发明通过不间断地采集并探测各网站要闻区标题、链接、正文内容与指令内容是否匹配，来对正负面新闻指令进行追踪的方法，可以替代大量的人工操作，在相当程度上保证了追踪探测的准确率，有效的维护良好的网络环境，为互联网的安全性提供正面保障。本发明能够实现的有益效果包括:1、自动探测正面新闻宣传指令在各大新闻网站要闻区上是否发布，宣传内容是否正确。2、自动探测负面新闻宣传指令在各大新闻网站要闻区上是否撤销或未发布。3、计算各大新闻网站在要闻区中响应各宣传指令所消耗的时间，衡量其响应速度。4、追踪符合正负面宣传指令的新闻在各大新闻网站要闻区中、一定时间段内的存在情况，衡量指令响应是否有效果。显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种互联网新闻的监控方法，其特征在于，包括: 获取互联网新闻的相关信息； 以监管指令匹配所述互联网新闻的相关信息； 提交匹配结果。
2.根据权利要求1所述的方法，其特征在于，获取互联网新闻的相关信息包括: 通过网络爬虫获取网站要闻区的要闻标题及其链接、以及 获取所述链接的新闻源文件的内容。
3.根据权利要求2所述的方法，其特征在于，获取所述链接的新闻源文件的内容包括: 获取所述链接的新闻源文件； 剔除所述新闻源文件中的无用标签；将剩余部分根据划分区域标签拆封为各个子块； 根据各子快的大小、上下子块块之间的距离和标题分词以获取所述内容。
4.根据权利要求1所述的方法，其特征在于，以监管指令匹配所述互联网新闻的相关信息包括: 获取所述监管指令； 判断所述监管指令是否处于有效期； 将处于有效期的所述监管指令匹配所述互联网新闻的相关信息。
5.根据权利要求4所述的方法，其特征在于，将处于有效期的所述监管指令匹配所述互联网新闻的相关信息包括: 确定当前的监管指令只包括标题关键词； 根据所述互联网新闻的标题和各所述标题关键词的匹配次数及各所述标题关键词的权重设置匹配值； 根据匹配到的关键词数和指令配置的关键词数的比例做矫正； 用矫正的匹配值与预设的参考系数比较，判断是否匹配。
6.根据权利要求5所述的方法，其特征在于，设置匹配值
7.根据权利要求4所述的方法，其特征在于，将处于有效期的所述监管指令匹配所述互联网新闻的相关信息包括: 确定当如的监管指令包括含有标题关键词和正文关键词； 根据所述互联网新闻的标题和各所述标题关键词的匹配次数及各所述标题关键词的权重，以及所述互联网新闻的正文和各所述正文关键词的匹配次数及各所述正文关键词的权重设置匹配值； 根据匹配到的关键词数和指令配置的关键词数的比例做矫正； 用矫正的匹配值与预设的参考系数比较，判断是否匹配。
8.根据权利要求7所述的方法,其特征在于，设置匹配值
9.根据权利要求1-8任一项所述的方法，其特征在于，所述监管指令包括以下至少一项:正面宣传指令、负面宣传指令、指定链接撤销。
10.一种互联网新闻的监控装置，其特征在于，包括: 获取模块，用于获取互联网新闻的相关信息； 匹配模块，用于以监管指令匹配所述互联网新闻的相关信息； 提交模块，用于提交 匹配结果。
全文摘要
本发明提供了一种互联网新闻的监控方法，包括获取互联网新闻的相关信息；以监管指令匹配互联网新闻的相关信息；提交匹配结果。本发明提供了一种互联网新闻的监控装置，包括获取模块，用于获取互联网新闻的相关信息；匹配模块，用于以监管指令匹配互联网新闻的相关信息；提交模块，用于提交匹配结果。本发明提高了互联网新闻的监控效率。
文档编号G06F17/30GK103186599SQ20111045518
公开日2013年7月3日 申请日期2011年12月28日 优先权日2011年12月28日
发明者王松, 杨建武, 梁汝峰, 张涛, 孙红娥 申请人:北大方正集团有限公司, 北京大学, 北京北大方正电子有限公司