广告文本识别方法和装置与流程

本发明涉及计算机技术领域，尤其涉及一种广告文本识别方法和装置。

背景技术：

社交媒体是基于关系的信息分享、传播以及获取平台。用户可以通过web或移动端应用发布文本和多媒体信息，并实现即时分享。由于社交媒体发展迅猛，文本数据已经形成了大规模积累，然而随着各种网络传播载体的迅速发展，网络空间内也出现了大量的垃圾文本，尤其是广告。这些广告文本对各类文本的分析工作造成了极大地干扰，导致了分析效率低，分析难度增大，且分析结果无法反映数据的真实情况；此外，对于普通用户而言，用户需要从大量的广告文本中筛选出有实际意义的文本，降低了用户的体验。因此，对网络空间内的广告文本进行过滤具有十分重要的意义。

目前，现有的过滤广告文本的方法主要有以下两种：

1、采用人工指定敏感词、广告词的方法，进而过滤掉包含这些敏感词、广告词的文本。

2、采用有监督学习的分类方法，事先人工标注大量广告文本与非广告文本，再通过机器学习的分类方法，例如svm(supportvectormachine，支持向量机)算法、神经网络算法等，训练出分类模型，利用该分类模型预测文本是否为广告。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

1、由人工参与的方法，效率低下，成本高，在大数据时代每天都产生几百几千甚至上万条文本，人工处理方式已无法满足需求。

2、人工指定敏感词、广告词的方法需要工作人员具有极强的广告领域背景知识，而且无法保证敏感词与广告词的全面覆盖，导致通过该方法检测的广告文本召回率很低。

3、有监督学习的分类方法需要人工获取或标注大量的训练集，从其他数据源获取的公开训练集通常与当前需要分类的文本特征差异较大，无法保证广告过滤效果。

技术实现要素：

有鉴于此，本发明实施例提供一种广告文本识别方法，采用无监督的方法自动识别广告文本，不需要人工参与，降低了成本，提高了识别效率，从而能够快速地在海量文本中识别广告文本；该方法根据文本之间的相似度对文本进行聚类以形成至少一个文本类别，根据所述至少一个文本类别识别广告文本，提高了识别结果的准确性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种广告文本识别方法。

本发明实施例的广告文本识别方法，包括：获取待识别的文本；根据文本之间的关联关系，对所述待识别的文本进行聚类以形成至少一个文本类别；根据所述至少一个文本类别，识别所述待识别的文本中的广告文本。

可选地，根据所述至少一个文本类别，识别所述待识别的文本中的广告文本包括：确定每个文本类别中的文本数量；若当前文本类别中的文本数量大于数量阈值，则确定所述当前文本类别内的文本为广告文本。

可选地，所述文本之间的关联关系包括文本之间的相似度；

根据文本之间的关联关系，对所述待识别的文本进行聚类以形成至少一个文本类别包括：随机从所述待识别的文本中选取一个文本形成第一文本类别；确定当前文本与所述第一文本类别中每个文本的最长公共子序列；根据所述最长公共子序列，确定所述当前文本与所述第一文本类别中每个文本的相似度；当所述相似度中最大的相似度大于或等于相似度阈值时，将所述当前文本归类至所述第一文本类别；当所述相似度中最大的相似度小于相似度阈值时，创建第二文本类别并将所述当前文本归类至所述第二文本类别。

可选地，根据文本之间的关联关系，对所述待识别的文本进行聚类以形成至少一个文本类别包括：获取每个文本的文本发布者，将具有相同的文本发布者的文本进行聚类以形成至少一个文本集，每个所述文本集对应一个文本发布者。

可选地，根据所述至少一个文本类别，识别所述待识别的文本中的广告文本包括：针对每个文本发布者对应的文本集：根据所述文本集中文本之间的相似度，确定所述文本集对应的文本发布者的文本重复度；若所述文本重复度大于重复度阈值，则确定所述文本集中的文本为广告文本；和/或，获取所述文本集对应的文本发布者的关注数和粉丝数，基于所述关注数和粉丝数，确定所述文本集对应的文本发布者的关注数占比；若所述关注数占比大于占比阈值，则确定所述文本集中的文本为广告文本。

为实现上述目的，根据本发明实施例的一个方面，提供了一种广告文本识别装置。

本发明实施例的广告文本识别装置，包括：文本获取模块，用于获取待识别的文本；文本聚类模块，用于根据文本之间的关联关系，对所述待识别的文本进行聚类以形成至少一个文本类别；广告识别模块，用于根据所述至少一个文本类别，识别所述待识别的文本中的广告文本。

可选地，所述广告识别模块还用于：确定每个文本类别中的文本数量；若当前文本类别中的文本数量大于数量阈值，则确定所述当前文本类别内的文本为广告文本。

可选地，所述文本之间的关联关系包括文本之间的相似度；

所述文本聚类模块还用于：随机从所述待识别的文本中选取一个文本形成第一文本类别；确定当前文本与所述第一文本类别中每个文本的最长公共子序列；根据所述最长公共子序列，确定所述当前文本与所述第一文本类别中每个文本的相似度；当所述相似度中最大的相似度大于或等于相似度阈值时，将所述当前文本归类至所述第一文本类别；当所述相似度中最大的相似度小于相似度阈值时，创建第二文本类别并将所述当前文本归类至所述第二文本类别。

可选地，所述文本聚类模块还用于：获取每个文本的文本发布者，将具有相同的文本发布者的文本进行聚类以形成至少一个文本集，每个所述文本集对应一个文本发布者。

可选地，所述广告识别模块还用于：针对每个文本发布者对应的文本集：根据所述文本集中文本之间的相似度，确定所述文本集对应的文本发布者的文本重复度；若所述文本重复度大于重复度阈值，则确定所述文本集中的文本为广告文本；和/或，获取所述文本集对应的文本发布者的关注数和粉丝数，基于所述关注数和粉丝数，确定所述文本集对应的文本发布者的关注数占比；若所述关注数占比大于占比阈值，则确定所述文本集中的文本为广告文本。

为实现上述目的，根据本发明实施例的一个方面，提供了一种用于实现上述实施例的广告文本识别方法的电子设备。

本发明实施例的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的广告文本识别方法。

为实现上述目的，根据本发明实施例的一个方面，提供了一种计算机可读介质。

本发明实施例的计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现本发明实施例的广告文本识别方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用无监督的方法自动识别广告文本，所以克服了现有技术中需要人工参与的方式过滤广告文本而引起的效率低下、成本较高、过滤效果较差的技术问题，进而达到自动快速识别广告文本、提高过滤效率、降低成本的技术效果。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是本发明一实施例的广告文本识别方法的主要流程的示意图；

图2是本发明实施例的广告文本识别方法中根据文本之间的相似度对待识别文本进行聚类的主要流程的示意图；

图3是本发明另一实施例的广告文本识别方法的主要流程的示意图；

图4是根本发明再一实施例的广告文本识别方法的主要流程的示意图；

图5是本发明实施例的广告文本识别装置的主要模块的示意图；

图6是本发明实施例可以应用于其中的示例性系统架构图；

图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是本发明实施例的广告文本识别方法的主要流程的示意图。如图1所示，该方法包括：

步骤s101：获取待识别的文本；

步骤s102：根据文本之间的关联关系，对所述待识别的文本进行聚类以形成至少一个文本类别；

步骤s103：根据所述至少一个文本类别，识别所述待识别的文本中的广告文本。

对于步骤s101，在可选的实施例中，可以通过调用api(applicationprogramminginterface，应用程序编程接口)或者采用爬虫技术获取社交媒体例如微博、微信、twitter上的微博或评论作为待识别的文本。作为一种具体的示例，可以根据待分析的领域指定一个或多个目标关键词，获取一段时间内包含该目标关键词的文本作为待识别的文本。例如，分析有关手机的微博，可指定关键词为“手机”，再通过调用微博api或者采用爬虫技术获取一段时间内包含“手机”的微博作为待识别的文本。

在其他可选的实施例中，还可以获取微博发布者的社交特征信息，如微博发布者的id、关注数、粉丝数等。

在可选的实施例中，可以只获取原创微博。这是由于原创微博(post)包含转发数、评论数、点赞数等信息，所以在多数场景下，分析原创微博(post)比分析转发(repost)的微博更有价值。在其他可选的实施例中，可以既获取原创微博又获取转发的微博，本发明在此不做限制。

在可选的实施例中，在获取待识别的文本之后，该方法还包括：对待识别的文本的每一条文本进行分词。

例如，可以利用中文分词工具ltp(哈工大社会计算与信息检索研究中心研发的语言技术平台)、nlpir(汉语分词系统，又名ictclas2013)、thulac(thulexicalanalyzerforchinese，由清华大学自然语言处理与社会人文计算实验室研制推出的一套分词工具包)、jieba等对待识别的文本的每一条文本进行分词。

在可选的实施例中，文本之间的关联关系包括文本之间的相似度。

对于步骤s102，发明人在实现本发明的过程中发现，在实际应用场景中，大部分广告文本会以相似度极高的形式出现。例如以下两条微博：

(1)“1元夺宝2周年庆，现在充值送500红包，翻倍卡24小时内有效！奔驰奥迪就要开奖了，用红包1人次带走！http://t.cn/r5ugot7”

(2)“1元夺宝2周年庆，现在充值送500红包，翻倍卡24小时内有效！奔驰奥迪就要开奖了，用红包1人次带走！http://t.cn/r5ugnro”。

上述两条微博的相似度极高，则在本发明实施例中，可以确定上述两条微博为广告微博。

因此，在本发明实施例中，根据文本之间的相似度对待识别的文本进行聚类，将相似的文本划分到一个文本类别中。

在可选的实施中，在对待识别的文本进行中文分词之后，每一条文本的基本元素是词，则可以通过判断文本之间的词(或字符串)相似度来判断文本之间的相似度。例如，可以基于最长公共子序列(lcs，longestcommonsubsequence)计算文本之间的相似度，具体地，可以利用最长公共子序列的长度计算文本之间的相似度。如果一个序列是两个或多个已知序列的子序列，且是该两个或多个已知序列所有子序列中最长的子序列，则该序列是该两个或多个已知序列的最长公共子序列。例如序列“aabcd”与“12abcabcd”，其最长公共子序列为“abcd”。

图2是本发明实施例的广告文本识别方法中根据文本之间的关联关系对待识别文本进行聚类的主要流程的示意图。在本实施例中，文本之间的关联关系为文本之间的相似度。如图2所示，包括：

步骤s201：随机从所述待识别的文本中选取一个文本形成第一文本类别；

步骤s202：确定当前文本与所述第一文本类别中每个文本的最长公共子序列；

步骤s203：根据所述最长公共子序列，确定所述当前文本与所述第一文本类别中每个文本的相似度；

步骤s204：当所述相似度中最大的相似度大于或等于相似度阈值时，将所述当前文本归类至所述第一文本类别；

步骤s205：当所述相似度中最大的相似度小于相似度阈值时，创建第二文本类别并将所述当前文本归类至所述第二文本类别。

对于步骤s202，在可选的实施例中，可以采用动态规划的方法计算最长公共子序列。例如，对于长度为m的文本x＝[x1，x2…xm]和长度为n的文本y＝[y1，y2…yn]，计算两者之间最长公共子序列的长度的过程如下：

1.创建1个二维数组c[i，j]，初始化二维数组c[i，j]为0，其中，c[i，j]表示文本x和文本y的最长公共子序列；

2.i和j分别从0开始进行加1循环(即，i++，j++，i≤m，j≤n)；

3.如果x[i]＝y[j]，则c[i，j]＝c[i-1，j-1]+1；

4.如果x[i]！＝y[j]，则c[i，j]＝max{c[i，j-1]，c[i-1，j}；

5.二维数组c[i，j]中的最大的数即为文本x和文本y的最长公共子序列的长度。

6.从二维数组c[i，j]中确定文本x和文本y的最长公共子序列。

总而言之，最长公共子序列(lcs)的长度可以按照如下公式(1)计算，按照该公式(1)计算时，时间复杂度仅为o(i*j)+o(i+j)。

对于步骤s203，计算出文本之间的最长公共子序列长度之后，利用该最长公共子序列的长度计算文本之间的相似度。文本x与文本y之间的相似度可以按如下公式(2)计算：

similarity(x,y)＝length(lcs)×2/(length(x)+length(y))(2)

其中，similarity(x,y)表示文本x与文本y之间的相似度，length(lcs)表示文本x与文本y的最长公共子文本的长度，length(x)表示文本x的长度，length(y)表示文本y的长度。

对于步骤s204和步骤s205，由于广告文本具有多次以相似度极高的形式发布的特征，因此，可以根据设定相似度阈值的流式聚类算法，将分词后的微博作为输入进行聚类，其中，相似度阈值可以根据待分析文本的领域确定，本发明在此不做限制。

下面以具体的实施例说明本发明实施例中根据文本之间的相似度对文本进行聚类的过程。其中，待识别的文本包括文本a、文本b、文本c和文本d，设定的相似度阈值为0.85。

选取文本a形成第一文本类别t1。

根据式(1)确定文本b与第一文本类别t1中的文本a之间的最长公共子序列。

根据式(2)确定文本b与文本a之间的相似度为0.87。

该相似度大于相似度阈值，则将文本b归类至第一文本类别t1中。此时，第一文本类别t1中包括两个文本：文本a、文本b。

根据式(1)分别确定文本c与第一文本类别t1中的文本a、文本b之间的最长公共子序列。

根据式(2)确定文本c与文本a之间的相似度为0.84，文本c与文本b之间的相似度为0.81。

上述两个相似度中最大的相似度0.84小于相似度阈值，则创建第二文本类别t2并将文本c归类至第二文本类别t2中。

根据式(1)分别确定文本d与第一文本类别t1中的文本a、文本b的相似度，及与第二文本类别t2中的文本c的相似度。

根据式(2)确定文本d与文本a之间的相似度为0.84，文本d与文本b之间的相似度为0.87，文本d与文本c之间的相似度为0.86。

文本d与文本b之间的相似度最大且大于相似度阈值，则将文本d归类至第一文本类别t1中。

发明人在实现本发明的过程中发现：大部分广告文本不仅会以相似度极高的形式出现，还会出现多次。

因此，对于步骤s103，在可选的实施中，可以确定每个文本类别中的文本数量；若当前文本类别中的文本数量大于数量阈值，则确定所述当前文本类别内的文本为广告文本，其中，所述数量阈值可以由本领域技术人员根据实际需求或经验确定。作为一种具体的示例，该数量阈值可以是10。

本发明实施例的广告文本识别方法采用无监督的方法自动识别广告文本，克服了现有技术中需要人工参与的方式过滤广告文本而引起的效率低下、成本较高、过滤效果较差的技术问题，进而达到自动快速识别广告文本、提高过滤效率、降低成本的技术效果。

图3为本发明另一实施例的广告文本识别方法的主要流程的示意图。如图3所示，该方法包括：

步骤s301：获取待识别的文本；

步骤s302：获取每个文本的文本发布者，将具有相同的文本发布者的文本进行聚类以形成至少一个文本集，每个所述文本集对应一个文本发布者；

步骤s303：针对每个文本发布者对应的文本集：根据所述文本集中文本之间的相似度，确定所述文本集对应的文本发布者的文本重复度；若所述文本重复度大于重复度阈值，则确定所述文本集中的文本为广告文本。

本发明实施例中的步骤s301与图1所示的实施例中的步骤s101相同，本发明在此不再赘述。

对于步骤s302，可以根据微博发布者的id，将同一微博发布者的微博进行聚类以形成一个文本集。

对于步骤s303，在可选的实施例中，可以根据图2所示的方法对每一微博发布者的文本集中的微博进行聚类，以形成至少一个微博类别；确定每个微博发布者的微博类别数，根据每一微博发布者发布的微博总数和相应的微博类别数，确定每一微博发布者的文本重复度，即文本重复度＝(微博总数)/(微博类别数)；将文本重复度大于重复度阈值的微博发布者作为广告发布者，该微博发布者对应的文本集中的微博为广告文本。其中，文本重复度阈值可以根据实际需求或经验确定，本发明在此不做限制。作为一种具体的示例，文本重复度阈值可以是2。

在上述的实施例中，以获取的微博作为待识别的文本，则上文中的文本类别可以称为微博类别，文本重复度可以称为微博重复度。

本发明实施例的广告文本识别方法，利用广告文本发布者具有的社交特征(文本重复度)识别广告文本，简单方便，准确性高，并且不需要人工参与，可以准确快速地从海量文本中识别广告文本。在网络环境中，可以将社交媒体的用户分为普通用户和广告发布者。相比于普通用户，广告发布者具有一些特殊的社交特征，例如关注数多、粉丝数少、微博重复度高等。

在可选的实施例中，也可以利用广告文本发布者具有的其他社交特征(例如利用关注数多、粉丝数少)识别广告文本。

图4为本发明又一实施例的广告文本识别方法的主要流程的示意图。如图4所示，该方法包括：

步骤s401：获取待识别的文本；

步骤s402：获取每个文本的文本发布者，将具有相同的文本发布者的文本进行聚类以形成至少一个文本集，每个所述文本集对应一个文本发布者；

步骤s403：针对每个文本发布者对应的文本集：获取所述文本集对应的文本发布者的关注数和粉丝数，基于所述关注数和粉丝数，确定所述文本集对应的文本发布者的关注数占比；若所述关注数占比大于占比阈值，则确定所述文本集中的文本为广告文本。

步骤s401-402与图3中的步骤s301-302相同，本发明实施例在此不再赘述。

对于步骤s403，在可选的实施中，微博发布者的关注数占比＝(关注数)/(关注数+粉丝数)。其中，关注数占比阈值可以根据实际需求或经验确定，本发明在此不做限制。作为一种具体的示例，关注数占比阈值可以是0.9。

本发明实施例的广告文本识别方法，利用广告文本发布者具有的社交特征(关注数多，粉丝数少)识别广告文本，简单方便，不需要人工参与，可以准确快速地从海量文本中识别广告文本。

在可选的实施例中，可以结合图3所示的实施例与图4所示实施例所提供的方法识别广告文本，例如将文本重复度大于重复度阈值并且关注数占比大于占比阈值的文本发布者作为广告发布者，该文本发布者对应的文本集中的文本为广告文本。

在可选的实施例中，可以结合图1和图3、图1和图4、图1和图3以及图4所示实施例的方法识别广告文本。

本发明实施例的识别广告文本的方法简单方便，准确性高，并且不需要人工参与，可以准确快速地从海量文本中识别广告文本，进而可以帮助人们在分析社交媒体文本数据之前有效地过滤其中的广告文本，大大提高用于分析挖掘的社交媒体文本数据的质量，提升后续分析挖掘的效率与效果。

图5是根据本发明实施例的广告文本识别装置500的主要模块的示意图。如图5所示，包括：

文本获取模块501，用于获取待识别的文本；

文本聚类模块502，用于根据文本之间的关联关系，对所述待识别的文本进行聚类以形成至少一个文本类别；

广告识别模块503，用于根据所述至少一个文本类别，识别所述待识别文本中的广告文本。

在可选的实施例中，广告识别模块503还用于：确定每个文本类别中的文本数量；若当前文本类别中的文本数量大于数量阈值，则确定所述当前文本类别内的文本为广告文本。

在可选的实施例中，所述文本之间的关联关系包括文本之间的相似度；

文本聚类模块502还用于：随机从所述待识别的文本中选取一个文本形成第一文本类别；确定当前文本与所述第一文本类别中每个文本的最长公共子序列；根据所述最长公共子序列，确定所述当前文本与所述第一文本类别中每个文本的相似度；当所述相似度中最大的相似度大于或等于相似度阈值时，将所述当前文本归类至所述第一文本类别；当所述相似度中最大的相似度小于相似度阈值时，创建第二文本类别并将所述当前文本归类至所述第二文本类别。

在可选的实施例中，文本聚类模块502还用于：获取每个文本的文本发布者，将具有相同的文本发布者的文本进行聚类以形成至少一个文本集，每个所述文本集对应一个文本发布者。

在可选的实施例中，广告识别模块503还用于：针对每个文本发布者对应的文本集：根据所述文本集中文本之间的相似度，确定所述文本集对应的文本发布者的文本重复度；若所述文本重复度大于重复度阈值，则确定所述文本集中的文本为广告文本；和/或，获取所述文本集对应的文本发布者的关注数和粉丝数，基于所述关注数和粉丝数，确定所述文本集对应的文本发布者的关注数占比；若所述关注数占比大于占比阈值，则确定所述文本集中的文本为广告文本。

本发明实施例的广告文本识别装置，因为采用无监督的方法自动识别广告文本，所以克服了现有技术中需要人工参与的方式过滤广告文本而引起的效率低下、成本较高、过滤效果较差的技术问题，进而达到自动快速识别广告文本、提高过滤效率、降低成本的技术效果。

上述广告文本识别装置可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

图6示出了可以应用本发明实施例的广告文本识别方法或广告文本识别装置的示例性系统架构600。

如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。

需要说明的是，本发明实施例所提供的广告文本识别方法一般由服务器605执行，相应地，广告文本识别装置一般设置于服务器605中。

应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(cpu)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram703中，还存储有系统700操作所需的各种程序和数据。cpu701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。

以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(cpu)701执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

获取待识别的文本；

根据文本之间的关联关系，对所述待识别的文本进行聚类以形成至少一个文本类别；

根据所述至少一个文本类别，识别所述待识别文本中的广告文本。

本发明实施例的技术方案，采用无监督的方法自动识别广告文本，克服了现有技术中需要人工参与的方式过滤广告文本而引起的效率低下、成本较高、过滤效果较差的技术问题，进而达到自动快速识别广告文本、提高过滤效率、降低成本的技术效果。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。