一种用于监控互联网中转载文章信息的控制方法及装置与流程

本申请涉及计算机信息技术领域，特别涉及一种用于监控互联网中转载文章信息的控制方法及装置。

背景技术：

近年来随着信息技术的大力发展，网上的信息越来越多，信息的传播速度越来越块，信息传播的渠道越来越广。在互联网信息传播过程中，出现了越来越多的文章抄袭和转载，文章的抄袭的成本低廉。如果一个作者发表一篇文章，会被很多人转载，但无法知道有多少人，多少站点转载了自己的文章，对于原创作者来说损失很大，如何对原创文章进行保护，快速获取原创文章被侵权转载的情况，快速检索到新闻被转载的信息，同时能够检索多渠道的新闻的转载情况，是当前需要解决的问题。

技术实现要素：

本申请实施例提供一种用于监控互联网中转载文章信息的控制方法及装置，以解决当前作者发表一篇原创文章，可以快速获取原创文章被侵权转载的情况的技术问题。

本发明提供了一种用于监控互联网中转载文章信息的控制方法，包括：

系统预先设置需要监控的一个或多个互联网数据源，抓取预先设置的数据源中文章信息，其中获取文章中文字信息，并获取每篇文章的最长的n个句子的文字信息，n为大于0的整数；

系统根据抓取的文章中文字信息，计算该篇文章的simhash值，作为该篇文章的simhash指纹，计算该篇文章的最长的n个句子的hash值，作为该篇文章的hash指纹，将各篇文章的文章信息、simhash指纹和hash指纹存储到数据库中；

系统根据需要监控的文章信息的文字信息和该需要监控的文章中最长的n个句子的文字信息，计算得到需要监控的文章的simhash指纹和hash指纹，将需要监控的文章的simhash指纹与所述数据库中各文章的simhash指纹进行比较，获取数据库中文章的simhash指纹和需要监控的文章的simhash指纹的海明距离小于等于3的一或多篇文章信息，并将需要监控的文章的hash指纹与所述数据库中各文章的hash指纹进行比较，获取数据库中文章的hash指纹和需要监控的文章的hash指纹相同的一或多篇文章信息；

系统进行文本相似度计算，判断如果获取的所述数据库中一或多篇文章信息的内容与需要监控的文章信息的内容相似率大于等于预设值，则判定该获取的文章信息为转载文章信息。

本发明还提供了一种用于监控互联网中转载文章信息的控制装置，包括，

信息抓取单元，用于从预先设置需要监控的一个或多个互联网数据源，抓取预先设置的数据源中文章信息，其中获取文章中文字信息，并获取每篇文章的最长的n个句子的文字信息，n为大于0的整数；

运算单元，用于根据信息抓取单元抓取的文章中文字信息，计算该篇文章的simhash值，作为该篇文章的simhash指纹，计算该篇文章的最长的n个句子的hash值，作为该篇文章的hash指纹，将各篇文章的文章信息、simhash指纹和hash指纹存储到数据库中；并根据需要监控的文章信息的文字信息和该需要监控的文章中最长的n个句子的文字信息，计算得到需要监控的文章的simhash指纹和hash指纹；及

判断单元，用于将运算单元中计算得到的需要监控的文章的simhash指纹与所述数据库中各文章的simhash指纹进行比较，获取数据库中文章的simhash指纹和需要监控的文章的simhash指纹的海明距离小于等于3的一或多篇文章信息，并将需要监控的文章的hash指纹与所述数据库中各文章的hash指纹进行比较，获取数据库中文章的hash指纹和需要监控的文章的hash指纹相同的一或多篇文章信息；进行文本相似度计算，判断如果获取的所述数据库中一或多篇文章信息的内容与需要监控的文章信息的内容相似率大于等于预设值，则判定该获取的文章信息为转载文章信息。

与现有技术相比，应用本发明，通过采集网上的信息，然后计算信息的信息指纹，通过信息指纹中simhash指纹和最长的n个句子的hash指纹的双重指纹的多重检索进行信息的快速检索，保证信息检索的精确度、速度和及时性。

附图说明

此处所说明的附图用于提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种用于监控互联网中转载文章信息的控制方法的一种具体实施方式的流程示意图；

图2为本申请实施例提供的一种本申请中用于监控互联网中转载文章信息的控制装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明提供了一种用于监控互联网中转载文章信息的控制方法的主要构思：首先采集网上的文章信息，然后计算网上的文章信息的信息指纹，通过信息指纹(其中，信息指纹通过simhash指纹和最长的n个句子的hash指纹的双重指纹，多种检索方式相互补充，来保证检索新闻的全面性、信息检索的速度和及时性)进行信息的快速检索；最后再通过jaccard相似度计算来最后判断网上的文章信息是否为相似或侵权文章。(在整个监控的过程中主要分全量文章预处理步骤和相似文章检索步骤，全量文章预处理步骤主要是全量文章的入库，以及基础数据的准备；相似文章检索步骤主要是在全量文章里检索出相似新闻的过程)。通过信息指纹的多重检索进行信息的快速检索，保证信息检索的精确度、速度和及时性。

simhash称为相似hash，是一类特殊的信息指纹，常用来比较文章的相似度，与传统hash相比，传统hash只负责将原始内容尽量随机的映射为一个特征值，并保证相同的内容一定具有相同的特征值。而且如果两个hash值是相等的，则说明原始数据在一定概率下也是相等的。但通过传统hash来判断文章的内容是否相似是非常困难的，原因在于传统hash只唯一标明了其特殊性，并不能作为相似度比较的依据。所以在本申请中采用simhash指纹和最长的n个句子的hash指纹的双重指纹，多种检索方式相互补充，来保证检索内容的全面性、精确性、信息检索的速度和及时性。

在本申请中主要涉及通过具有中央处理功能的设备(例如计算机或智能终端等设备)进行互联网信息的处理。

为了方便描述，在本申请实施例中，主要通过计算机系统操作为例进行介绍。

请参考图1，如图1所示，本申请实施例提供的一种用于监控互联网中转载文章信息的控制方法h，包括如下步骤：

步骤110、系统预先设置需要监控的一个或多个互联网数据源，抓取预先设置的数据源中文章信息，其中获取文章中文字信息，并获取每篇文章的最长的n个句子的文字信息，n为大于0的整数；

其中，抓取的预先设置的数据源中文章信息可以是某新闻的信息或者某文章的内容信息等，只要是具有传播特性的互联网信息内容都可以是本申请所指的文章信息，本申请对此不作任何限定。

所述数据源可以包括：监控互联网中转载文章信息的数据源的网站、论坛、微博、app或者微信公众号。

例如：监控互联网中转载文章信息的数据源可以是网易、新浪、搜狐或者新华网等门户网站。这里只是设定需要监控的互联网信息数据在某个数据源的转载情况。

步骤120、系统根据抓取的文章中文字信息，计算该篇文章的simhash值，作为该篇文章的simhash指纹，计算该篇文章的最长的n个句子的hash值，作为该篇文章的hash指纹，将各篇文章的文章信息、simhash指纹和hash指纹存储到数据库中；

步骤130、系统根据需要监控的文章信息的文字信息和该需要监控的文章中最长的n个句子的文字信息，计算得到需要监控的文章的simhash指纹和hash指纹，将需要监控的文章的simhash指纹与所述数据库中各文章的simhash指纹进行比较，获取数据库中文章的simhash指纹和需要监控的文章的simhash指纹的海明距离小于等于3(在实际测试中，海明距离设置为小于等于3，既可以保证检索到的文章数量不多，也不会漏掉重要的相似文章，同时确保了检索的效率和准确率)的一或多篇文章信息，并将需要监控的文章的hash指纹与所述数据库中各文章的hash指纹进行比较，获取数据库中文章的hash指纹和需要监控的文章的hash指纹相同的一或多篇文章信息；

本申请中信息指纹采用simhash指纹和最长的n个句子的hash指纹的双重指纹，多种检索方式相互补充，确保了检索内容的全面性和精确性，同时提高了信息检索的速度。

步骤140、系统进行文本相似度计算，判断如果获取的所述数据库中一或多篇文章信息的内容与需要监控的文章信息的内容相似率大于等于预设值，则判定该获取的文章信息为转载文章信息。

所述系统进行文本相似度计算，判断如果获取的所述数据库中一或多篇文章信息的内容与监控的文章信息的内容相似率大于等于预设值，则判定该获取的文章信息为转载文章信息的步骤，包括：

所述系统是通过jaccard方式进行文本相似度计算，判断如果获取的一或多篇文章信息的内容与监控的文章信息的内容相似率大于等于预设值，则判定该获取的文章信息为转载文章信息。(jaccardindex,称为jaccard相似系数(jaccardsimilaritycoefficient)用于比较有限样本集之间的相似性与差异性。其中jaccard系数值越大，样本相似度越高。)本申请通过jaccard方式，提高了判断文章内容相似率的精度，带来了良好的用户体验。

还包括:所述内容相似率的预设值的取值范围为:大于70％且小于100％。这样的设定值可以确保获取的文章既可以容易判断内容相似性，又可以确保相似文章的数量不会过多，更加便于使用者查看检索结果。

具体地，可以将抓取的经过simhash指纹和最长的n个句子的hash指纹的双重指纹判定后的文章信息与用户输入的文章信息进行比较，例如判断相似率为大于等于80％的文章，返回给用户。其中预设值设置为80％，在实际使用中，判断相似性的效果最优，即可以容易判断内容相似性，又能最大限度的确保相似文章的数量适宜查看。

例如：需要监控的文章x,通过simhash指纹在数据库中找到与simhash指纹的海明距离小于等于3的a,b,c三篇文章，通过hash指纹找到在数据库中找到与hash指纹相同的b,c,d三篇文章，则最后比较文章x和文章a,b,c,d的相似度即可。

如图2所示，本申请提供了一种用于监控互联网中转载文章信息的控制装置，包括信息抓取单元201、运算单元202和判断单元203，其中，

信息抓取单元201，用于从预先设置需要监控的一个或多个互联网数据源，抓取预先设置的数据源中文章信息，其中获取文章中文字信息，并获取每篇文章的最长的n个句子的文字信息，n为大于0的整数；

运算单元202，用于根据信息抓取单元抓取的文章中文字信息，计算该篇文章的simhash值，作为该篇文章的simhash指纹，计算该篇文章的最长的n个句子的hash值，作为该篇文章的hash指纹，将各篇文章的文章信息、simhash指纹和hash指纹存储到数据库中；并根据需要监控的文章信息的文字信息和该需要监控的文章中最长的n个句子的文字信息，计算得到需要监控的文章的simhash指纹和hash指纹；

判断单元203，用于将运算单元202中计算得到的需要监控的文章的simhash指纹与所述数据库中各文章的simhash指纹进行比较，获取数据库中文章的simhash指纹和需要监控的文章的simhash指纹的海明距离小于等于3的一或多篇文章信息，并将需要监控的文章的hash指纹与所述数据库中各文章的hash指纹进行比较，获取数据库中文章的hash指纹和需要监控的文章的hash指纹相同的一或多篇文章信息；进行文本相似度计算，判断如果获取的所述数据库中一或多篇文章信息的内容与需要监控的文章信息的内容相似率大于等于预设值，则判定该获取的文章信息为转载文章信息。

其中，所述信息抓取单元201抓取信息的互联网数据源包括：需要监控互联网中转载文章信息的数据源的网站、论坛、微博、app或者微信公众号。

所述判断单元203判定文本相似度中所述内容相似率的预设值的取值范围为:大于70％且小于100％。

所述判断单元203进行文本相似度计算，判断如果获取的所述数据库中一或多篇文章信息的内容与监控的文章信息的内容相似率大于等于预设值，则判定该获取的文章信息为转载文章信息，是指：

所述判断单元203是通过jaccard方式进行文本相似度计算，判断如果获取的一或多篇文章信息的内容与监控的文章信息的内容相似率大于等于预设值，则判定该获取的文章信息为转载文章信息。

图2的装置在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random-accessmemory，ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线(总线可以为一根总线或一种类型的总线)相互连接，该内部总线可以是isa(industrystandardarchitecture，工业标准体系结构)总线、pci(peripheralcomponentinterconnect，外设部件互连标准)总线或eisa(extendedindustrystandardarchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成网络覆盖性能表征装置。处理器，执行存储器所存放的程序。

如本申请的装置也可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field－programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中的控制方法，并具体用于执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，本申请中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。