一种文本的分类方法及装置与流程

文档序号:17537931发布日期:2019-04-29 14:11阅读:143来源:国知局
一种文本的分类方法及装置与流程
本发明涉及计算机
技术领域
,尤其涉及一种文本的分类方法及装置。
背景技术
:随着社会和时代的发展,人们的工作和生活越来越依赖互联网,通过互联网可以查询资料,购买商品,投放广告等。但目前互联网上用户生产与检索的自然文本每日呈指数级的速度增长。对于网络上的庞杂的内容,通过搜索引擎检索内容时,容易出现信息超载的情况,因此需要对文本信息进行分类。同时,文本分类能够帮助业务部门进行流量分析、内容审核、构建用户/产品画像、精准推荐、关键词扩簇、ctr预估等等,具有极其重要的意。但是,在海量的文本数量中存在大量的局部错误文本,目前的文本分类方法对该类存在错误的文本的语义理解通常存在较大偏差,文本纠正效果较差,因此在文本分类的时候常常无法对待分类的文本进行正确的分类,分类准确度低。技术实现要素:鉴于上述问题,本发明提出了一种文本的分类方法及装置,解决了现有技术的错误文本纠正效果差,无法对待分类的文本进行正确的分类,分类准确度低的问题。第一方面,本申请通过本申请的一实施例提供如下技术方案:一种文本的分类方法,包括:获取待分类文本;从预设词库中选出与所述待分类文本相似的多个目标词条,其中,所述预设词库中存储有多个词条、以及每个词条所属的类别,所述目标词条属于所述多个词条;根据所述预设词库,确定所述多个目标词条中的每个目标词条所属的类别;根据所述多个目标词条中的每个目标词条所属的类别,确定目标类别,并将所述目标类别作为所述待分类文本所属的类别。优选地,所述从预设词库中的选出与所述待分类文本相似的多个目标词条,包括:依次计算所述待分类文本与所述预设词库中的每个词条的编辑距离;将所述预设词库中的所述编辑距离小于预设距离的词条确定为所述目标词条。优选地,所述根据每个所述目标词条所属的类别,确定目标类别,包括:根据所属的类别的不同,对所述多个目标词条进行分组,获得q组词条,其中,位于同一组的目标词条所属的类别均相同,q为正整数;从所述q组词条中选出词条数量最多的一组词条,并将该组词条所属的类别作为所述目标类别。优选地,所述从预设词库中选出与所述待分类文本相似的多个目标词条之前,还包括:根据所述待分类文本,在所述预设词库中匹配与所述待分类文本对应的词条;若匹配失败,则执行所述从预设词库中的选出与所述待分类文本相似的多个目标词条。优选地,所述根据所述待分类文本,在所述预设词库中匹配与所述待分类文本对应的词条的步骤,具体包括:根据所述待分类文本,在所述预设词库中查找与所述待分类文本相同的词条。第二方面,基于同一发明构思,本申请通过本申请的一实施例提供如下技术方案:一种文本的分类装置,其特征在于,包括:接收模块,用于获取待分类文本;筛选模块,用于从预设词库中选出与所述待分类文本相似的多个目标词条,其中,所述预设词库中存储有多个词条、以及每个词条所属的类别,所述目标词条属于所述多个词条;第一确定模块,用于根据所述预设词库,确定所述多个目标词条中的每个目标词条所属的类别;第二确定模块,用于根据所述多个目标词条中的每个目标词条所属的类别,确定目标类别,并将所述目标类别作为所述待分类文本所属的类别。优选地,筛选模块还具体用于:依次计算所述待分类文本与所述预设词库中的每个词条的编辑距离;将所述预设词库中的所述编辑距离小于预设距离的词条确定为所述目标词条。优选地,所述第二确定模块还具体用于:根据所属的类别的不同,对所述多个目标词条进行分组,获得q组词条,其中,位于同一组的目标词条所属的类别均相同,q为正整数;从所述q组词条中选出词条数量最多的一组词条,并将该组词条所属的类别作为所述目标类别。优选地,还包括匹配模块,用于在所述从预设词库中选出与所述待分类文本相似的多个目标词条之前,根据所述待分类文本,在所述预设词库中匹配与所述待分类文本对应的词条;若匹配失败,则执行所述从预设词库中的选出与所述待分类文本相似的多个目标词条。优选地,匹配模块,还具体用于:根据所述待分类文本,在所述预设词库中查找与所述待分类文本相同的词条。第三方面,基于同一发明构思,本申请通过本申请的一实施例提供如下技术方案:一种用户终端,包括处理器和存储器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时使所述用户终端执行第一方面中任一项所述方法的步骤。第四方面,基于同一发明构思,本申请通过本申请的一实施例提供如下技术方案:一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面中任一项所述方法的步骤。本发明实施例提供的文本的分类方法及装置中,在获取待分类文本后,从预设词库中选出与所述待分类文本相似的多个目标词条,实现模糊匹配。其中,所述预设词库中存储有多个词条、以及每个词条所属的类别,所述目标词条属于所述多个词条;通过该步骤即使待分类文本存在错误,也可提高在预设词库中查找到与所述待分类文本对应的目标词条的概率,避免了无法分类的情况发生。然后根据所述预设词库,确定所述多个目标词条中的每个目标词条所属的类别;最后根据所述多个目标词条中的每个目标词条所属的类别,确定目标类别,并将所述目标类别作为所述待分类文本所属的类别,其中待分类文本所属的类别是由多个目标词条中每个目标词条决定,而非单一的目标词条确定,因此待分类文本所属的类别的确定更加的准确。综上,本发明解决了现有技术的错误文本纠正效果差,无法对待分类的文本进行正确的分类,分类准确度低的问题。上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:图1示出了本发明第一实施例提供的一种文本的分类方法的流程图;图2示出了图1中的步骤s40的具体流程图;图3示出了本发明第二实施例提供的一种文本的分类方法的流程图;图4示出了本发明第三实施例提供的一种文本的分类方法的流程图;图5示出了本发明第四实施例提供的一种文本的分类装置的功能模块框图;图6示出了本发明第五实施例提供的一种用户终端的模块框图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。在本发明中提供的一种文本的分类方法,可对文本以及存在错误词的待分类文本进行模糊匹配,并且采用多个匹配结果对待分类文本的所属类别进行综合确定,保证了分类结果的准确性。下面将结合多个实施例对本发明提供的文本的分类方法进行解释和说明。本发明的应用场景包括但不限于:行业分类文章、违禁广告识别、关键词相关性分析、网页标签、用户画像、广告展示、信息分流等等。第一实施例请参照图1,本实施例中提供一种文本的分类方法,图1示出了本实施例的方法流程图,下面将对本实施例中的个步骤进行详细阐述。具体步骤如下:步骤s10:获取待分类文本。步骤s20:从预设词库中选出与所述待分类文本相似的多个目标词条,其中,所述预设词库中存储有多个词条、以及每个词条所属的类别,所述目标词条属于所述多个词条。步骤s30:根据所述预设词库,确定所述多个目标词条中的每个目标词条所属的类别。步骤s40:根据所述多个目标词条中的每个目标词条所属的类别,确定目标类别,并将所述目标类别作为所述待分类文本所属的类别。在步骤s10中,待分类文本为需要进行分类的文本信息,该待分类文本可包括:任意的文字、词组、语句、方言词、数字、字符串等等。其中,文本的语言类型不做限制,可包括:汉语、英语、德语、俄语等,不作限制。需要说明的是,现存的及今后新出现的语言或用于记载信息文本均可作为待分类文本。待分类文本的具体形式可以是由任意的文字、词组、语句、方言词、数字、字符串等组成的文章、新闻、事件公告、网页(页面内容)等。待分类文本的具体参考实例,如下:“古希腊罗马神话中文ppt”,“京东app货品右下角广告”,“qq空间二维码”,“300450人工智能”,“梦见别人送手机”,“我的世界自动修复bug插件”,“清华大学”,“阿坝”,“泌尿系疾病”等等。基于上述的待分类文本,可以理解的是,由于互联网的大量待分类文本为人工录入的文本,比如由个人习惯以及输入法键入的错误等产生,待分类文本中可能存在错误的词条。含有错误词条的待分类文本如:“电音天堂”(正确为:“电影天堂”);“360安全为四”(正确为:“360安全卫士”);“我世界自动修复bug插件”(正确为:“我的世界自动修复bug插件”);“中兴证券”(正确为:“中信证券”)等等。在步骤s20中,其中预设词库为机器或人工已分类或标记出的词库,也可为现有的通用词库。例如,本实施例中以介绍以下三类词库,但不局限于此:1、第一预设词库,其中,存储有m个词条,以及所述m个词条中每个词条所属的类别,所述m个词条中每个词条所属的类别均由人工方式标记,m为正整数。第一预设词库为人工收集并存在以下情况:该词库中包含非标准化用语;互联网上每天都在产生新的网络用语,这部分词/句是在现有的词库中不存在的,故需要进行人工标记并分类;随着社会的不断发展,现有的词库被赋予新的理解与含义;对于这三类情况均需要进行人工判断与标记,保证词库的成长性与准确性。具体如:表1:第一预设词库示例第一词库中的词或句子不存在于现有的(互联网)词典中,现有的互联网词典例如:汉语大辞典、百度在线词典等工具书或相关的分类网站中。但是该类词语或语句为互联网用户使用频次较高的词语,因此可将该类词语收集并对其进行标注所属的类别,形成人工标记的词库(第一预设词库)。2、第二预设词库,其中,存储有n个词条,以及所述n个词条中每个词条所属的类别,所述第二预设词库由预设行业词库网站提供,n为正整数。预设行业网站包括收集有各个行业词汇的网站,行业词汇为在该行业中相关从业人员或公众认可或熟知的词汇。例如:电商类相关词汇,泛娱乐类相关词汇,手游类相关词汇,pc/软件类相关词汇,教育类相关词汇,金融类相关词汇等等。提供上述行业词库的网站包括但不限于:百度行业词库,搜狗行业词库,百度风云榜中的词库,5118.com行业词库等等。具体示例如下:表2:第二预设词库示例构建第二预设词库的具体方式可以通过购买,以及网络爬虫(又被称为网页蜘蛛,网络机器人)的方式进行爬取。3、第三预设词库,其中,存储有p个词条,以及所述p个词条中每个词条所属的类别,所述第三预设词库由规则引擎提供,p为正整数。本实施例中的规则引擎用于提供已定义的业务规则的相关词条,例如:地名、学校名、股票代码、特殊专有数字词库、医疗相关等。表3:第三预设词库词条所属类别招聘招聘|招聘保安安全安保|保安安保体彩彩票|福彩b2b电子商务|b2b楚楚街电子商务|垂直b2c厂家供应电子商务|其他清华大学教育培训|学历教育蚌埠学院教育培训|学历教育阿坝旅游|其他900953金融服务|股票基金泌尿系疾病医疗健康|男科360it产品|软件263社交|其他……需要说明的是,表1-表3仅为示例性说明,其中的内容为示意性的,不对本发明的保护范围构成限制。在上述的第一预设词库、第二预设词库以及第三预设词库中的词条均可同时属于多个类别。允许同一个词条同时存在三个词库中,并且该词条可在不同词库中归属于不同的类别。在本实施例中可使用上述词库中的任一词库作为预设词库进行步骤s20。在步骤s20中,从预设词库中选出与所述待分类文本相似的多个目标词条,其实施的具体方式可为:首先,依次计算所述待分类文本与所述预设词库中的每个词条的编辑距离。其中,编辑距离是针对二个字符串(例如,中文词、英文字)的差异程度的量化量测,量测方式是看至少需要多少次的处理才能将一个字符串变成另一个字符串。然后,将所述预设词库中的所述编辑距离小于(亦可取等于)预设距离的词条确定为所述目标词条。其中,预设距离可自定义设置,例如为1、2、3等;预设距离也可通过步骤s40进行反馈调节,例如当步骤s40中获得的待分类文本所属的类别含有多个不够准确时,可适当降低预设距离。在步骤s30中,根据所述预设词库,确定所述多个目标词条中的每个目标词条所属的类别。由于每个目标词条均在预设词库中选出,因此所述目标词条对应具有所属的类别。在步骤s40中,根据所述多个目标词条中的每个目标词条所属的类别,确定目标类别,并将所述目标类别作为所述待分类文本所属的类别。请参照图2,该步骤中确定目标类别的具体实施可包括如下步骤:步骤s41:根据所属的类别的不同,对所述多个目标词条进行分组,获得q组词条,其中,位于同一组的目标词条所属的类别均相同,q为正整数。步骤s42:从所述q组词条中选出词条数量最多的一组词条,并将该组词条所属的类别作为所述目标类别。将步骤s41与步骤s42确定的目标类别作为待分类文本所属的类别。在具体分类的过程中,可直接采用临近分类算法(knn,k-nearestneighbor)进行具体实现。需要说明的是:在步骤s42中若在q组词条中存在词条数量最多的组为两个或多个时。本实施例中提供以下两种处理方式以替代步骤s42:替代步骤1、从所述q组词条中选出词条数量最多或前s组的词条,并将选出的多组词条所属的类别作为所述目标类别,其中s为大于等于2的正整数。替代步骤2、若q组词条中存在多组词条数量相同并且最多时,反馈调整预设距离。可将所述预设距离进行降低或增加。直至得到目标类别为止。为了在本实施例中,在实现模糊匹配的同时保证待分类文本的分类准确性,在步骤s20之前,还可进行如下步骤:根据所述待分类文本,在所述预设词库中匹配与所述待分类文本对应的词条;其中,匹配具体方式为:根据所述待分类文本,在所述预设词库中查找与所述待分类文本相同的词条,即100%相同的匹配。若匹配失败,则执行所述从预设词库中的选出与所述待分类文本相似的多个目标词条。若匹配成功,则可直接将匹配成功的对应词条的所属类别作为待分类文本所属的类别。为了对本实施例的方案更加易于理解,请参考以下示例:执行步骤s10,获取的待分类文本为:“百度下”。首先,在预设词库中匹配是否存在与“百度下”相同的词条。若没有(匹配失败),则可执行步骤s20,以预设距离2为例(即:编辑距离小于等于2)。在预设词库中进行匹配,获得像似的目标词条,如下:表4在表4中的目标词条与所属类别均为示例性说明,不限制本发明的保护范围,在实际实施本发明的过程中可与表4中存在不同。执行步骤s30可确定目标词条的所属类别。然后,执行步骤s40,根据所属类别可对表4中的目标词条分为3个组,其中词条数量最多的一个组对应的类别为“搜索引擎”,词条数量为3。则可将待分类文本“百度下”所属的类别确定为“搜索引擎”。本实施例提供的文本的分类方法及装置中,在获取待分类文本后,从预设词库中选出与所述待分类文本相似的多个目标词条,实现模糊匹配。其中,所述预设词库中存储有多个词条、以及每个词条所属的类别,所述目标词条属于所述多个词条;通过该步骤即使待分类文本存在错误,也可提高在预设词库中查找到与所述待分类文本对应的目标词条的概率,避免了无法分类的情况发生。然后根据所述预设词库,确定所述多个目标词条中的每个目标词条所属的类别;最后根据所述多个目标词条中的每个目标词条所属的类别,确定目标类别,并将所述目标类别作为所述待分类文本所属的类别,其中待分类文本所属的类别是由多个目标词条中每个目标词条决定,而非单一的目标词条确定,因此待分类文本所属的类别的确定更加的准确。因此综上所述,本发明解决了现有技术的错误文本纠正效果差,无法对待分类的文本进行正确的分类,分类准确度低的问题。第二实施例请参照图3,基于同一发明构思本实施例中还提供一种文本的分类方法,与第一实施例不同的是,在本实施例中的方法执行步骤如下:步骤s201:接收待分类文本。步骤s202:根据所述待分类文本,在预设词库中匹配与所述待分类文本对应的目标词条,其中,所述预设词库中存储有多个词条,以及每个词条所属的类别。步骤s203:若匹配成功,则将所述目标词条所属的类别确定为所述待分类文本所属的类别。步骤s204:若匹配失败,则将所述待分类文本输入到集成分类器中,获得所述待分类文本的所属类别,其中,所述集成分类器中设置有一个或一个以上的文本分类模型。相对于第一实施例,本实施例中步骤s201与步骤s10相同,但增加了步骤s203以及步骤s204,同时在步骤s202中应用第一实施例的步骤s20-步骤s40,即在待分类文本与第一预设词库、第二预设词库、第三预设词库匹配时,所采用的匹配方法均可包括(或部分包括)第一实施例提供的方法,即第一实施例的步骤s20-步骤s40,若在步骤s40中所述q组词条中词条数量最多的组不唯一,那么可确定分类不够精确,可继续执行步骤s204。在步骤s202中,在预设词库中匹配对应的目标词条时的匹配的方式可为:查找预设词库中是否存储有待分类文本所包括的词条;优选地,可查找预设词库中是否存储有与所述待分类文本相同的词条。对于步骤s202中的匹配,具有步骤s203以及步骤s204的两种结果:在步骤s203中若匹配成功,则证明预设数据库中存在与待分类文本对应的目标词条,即可将该目标词条所属的类别确定为所述待分类文本所属的类别。完成待分类文本的分类。在步骤s204中若匹配失败,则说明预设数据库中不存在与待分类文本对应的目标词条。此时,将所述待分类文本输入到集成分类器中,获得所述待分类文本的所属类别。在集成分类器中设置有多个文本分类模型,进一步的可根据每个文本分类模型的分类结果,对待分类文本的类别进行综合判断的到待分类文本的所属类别,提高准确性。本发明通过在预设词库中进行匹配对应的目标词条,然后在匹配失败的情况下再通过文本分类模型进行分类,相对于直接通过文本分类模型具有更高准确性。同时在集成分类器中存在的分类模型具有多个(两个或两个以上),可得到多个分类结果,避免单一文本分类模型分类错误时无法发生和纠正分类结果。在本实施例中对步骤s202的匹配提供一种具体的实现方式:根据所述待分类文本,按照预设顺序,依次在多个预设词库中匹配与所述待分类文本对应的目标词条,所述多个预设词库中所存储的词条不同。其中,预设顺序是指与多个预设词库匹配对应目标词条时的先后顺序,可自定义设置,不作限制。在本实现方式中,以第一预设词库、第二预设词库以及第三预设词库为例进行说明。即预设词库为3个时,匹配顺序依次为第一预设词库、第二预设词库以及第三预设词库。第一预设词库匹配的步骤包括:获取第一预设词库。根据所述待分类文本,在第一预设词库中匹配与所述待分类文本对应的第一词条。若匹配成功,则将所述第一词条确定为所述目标词条。第一预设词库中若匹配失败,则继续在第二预设词库中进行匹配,匹配步骤包括:获取第二预设词库。根据所述待分类文本,在第二预设词库中匹配与所述待分类文本对应的第二词条。第二预设词库中若匹配成功,则将所述第二词条确定为所述目标词条。需要说明的是,为了保证待分类文本的分类准确性。在第一预设词库中匹配第一词条时,以及在第二预设词库中匹配第二词条时,匹配的方式可采用:查找预设词库(第一预设词库或第二预设词库)中是否存储有与所述待分类文本相同的词条,保证待分类文本所分类别的准确性。举个例子:若待分类文本为“梦见别人送手机”,则可在第一预设词库中匹配到对应相同的第一词条,可确定待分类文本的类别为:休闲娱乐和星座占卜。若待分类文本为“达尔优“,在第一预设词库中匹配失败后,可在第二预设词库中进行匹配,可匹配到相同的第二词条,确定待分类文本的类别为:it产品和电脑厂商。第二预设词库中若匹配失败,则继续在第三预设词库中进行匹配,匹配步骤包括:获取第三预设词库。根据所述待分类文本,在第三预设词库中匹配与所述待分类文本对应的第三词条。若匹配成功,则将所述第三词条确定为所述目标词条。若匹配失败,则执行所述将所述待分类文本输入到集成分类器中,获得所述待分类文本的所属类别。规则引擎还定义了匹配的规则,其中匹配规则包括:查找预设词库中是否存储有第三词条,待分类文本中存在与所述第三词条相同的词条;若存在第三词条,则可将待分类文本的类别确定为第三词条所属的类别。举个例子:例如,待分类文本为“楚楚街的产品好“,该词条在第一预设词库、第二预设词库中均无法匹配成功;那么在第三预设词库进行匹配时,可查询到的第三词条为“楚楚街”,由于该第三词条的类别为“电子商务、b2b”,那么可将该待分类词条的类别确定为:电子商务和b2b。当第三预设词库中存在与待分类文本匹配的多个第三词条时,则可统计第三词条的类别以及类别的数量,保证分类的客观性和准确性。例如,待分类文本为“楚楚街的产品是厂家供应吗“,该词条在第一预设词库、第二预设词库中均无法匹配成功;那么在第三预设词库进行匹配时,可查询到的第三词条为“楚楚街”、“厂家供应”,由于该第三词条的类别分别为“电子商务、b2b”以及“电子商务、垂直b2c”,那么可将该待分类词条的类别确定为:电子商务。若在第三预设词库中匹配失败,则将所述待分类文本输入到集成分类器中,也即步骤s204。在步骤s204中,若匹配失败,则将所述待分类文本输入到集成分类器中,获得所述待分类文本的所属类别,其中,所述集成分类器中设置有一个或一个以上的文本分类模型。较优选的,分类器中的文本分类模型为两个及其以上,在本实施例中文本分类模型的数量为3,每个模型的结构互不相同,具体可包括:基于svm(supportvectormachine,支持向量机)的文本分类模型;fasttext模型(facebookaireserch开源的一个词向量及文本分类工具);基于深度学习的文本分类模型等。文本分类模型可直接采用现有的常用模型进行训练获得。在对集成分类器中的文本分类模型进行训练时,可采用预设词库中的任意词库作为学习样本。较优选的方式,采用第一预设词库作为学习样本。由于第一预设词库为人工标注获得,词条的语义理解的更加准确,可确保词条的类别正确。在本实施例中,增加了第一预设词库、第二预设词库和第三预设词库的匹配顺序,并结合第一实施例提供的方法,使得待分类文本的分类更加的准确,避免了文本分类泛化的问题。另外,增加集成分类器对待分类文本进行分类,避免了待分类文本无法确定类别的情况。综上,本发明实施例提供的方法解决了现有技术的错误文本纠正效果差,无法对待分类的文本进行正确的分类,分类准确度低的问题。第三实施例请参阅图4,基于同一发明构思,本实施例中还提供了一种文本的分类方法。所述方法的具体流程如下:步骤s301:接收待分类文本。步骤s302:将所述待分类文本作为输入数据输入到集成分类器中,以通过所述集成分类器对所述待分类文本进行分类。步骤s303:若分类失败,则将所述待分类文本输入到搜索引擎中,以通过所述搜索引擎对所述待分类文本进行搜索,获得搜索结果。步骤s304:基于所述搜索结果对所述输入数据进行调整,获得调整后的输入数据。步骤s305:将调整后的输入数据输入到所述集成分类器中,以通过所述集成分类器对所述待分类文本进行分类。相较于第二实施例而言,本实施例中的步骤s301实施时,可参照步骤s201执行。在执行步骤s204时,将待分类文本输入到集成分类器之后,按照步骤s302至步骤s305执行,直至得到待分类文本的所属类别。在步骤s302中,所述的集成分类器用于对待分类文本进行分类,在集成分类器中可集成多个文本分类模型。在本实施例中对步骤s302的实施例可采用以下具体步骤进行:根据所述集成分类器中的多个文本分类模型,获得每个文本分类模型对应的模型结果。其中,集成分类器中设置有t个文本分类模型,t为正整数。集成分类器中的文本分类模型的数量不作限定,可大于等于两个。在较优选的实施方式中,文本分类模型的数量取奇数个,例如为3个、5个等。每个文本分类模型的结构互不相同,具体可包括:基于svm(supportvectormachine,支持向量机)的文本分类模型;fasttext模型(facebookaireserch开源的一个词向量及文本分类工具);基于深度学习的文本分类模型等。文本分类模型可直接采用现有的常用模型进行训练获得,具体参照第二实施例。本实施例中的集成分类器在对待分类文本进行分类的时候,可包括如下步骤:接收所述输入数据。其中,输入数据可以是待分类文本,也可以是基于搜索结果调整后的输入数据。基于所述输入数据,通过所述t个文本分类模型分别对所述待分类文本进行分类,获得t个模型分类结果,其中,所述t个模型分类结果与所述t个文本分类模型一一对应,且在每个模型分类结果中都包含一表征所述待分类文本所属类别的类别信息;即集成分类器接收待分类文本输入之后,每个文本分类模型均可对应得到一个模型结果,模型结果为文本分类模型的输出数据。根据所述t个模型分类结果,获取目标分类结果。其中,需要对多个模型分类结果进行综合判断,来确定目标分类结果,目标分类结果可分为两种情况:1、表征分类成功的第一目标分类结果;2、表征分类失败的第二目标分类结果。具体的:首先进行分组:根据所述t个模型分类结果各自对应的类别信息的不同,将所述t个模型分类结果分为r组,即每一种包含相同类别信息的模型分类结果分为一组。其中,同一组中的模型分类结果对应的类别信息均相同,r为正整数。然后,如何确定目标分类结果本实施例中提供两种实现方式:1、可预先对集成分类器中的每个文本分类模型(t个)赋予一个权重值,在r个组中,每个组中的各个模型分类结果均对应一个文本分类模型的权重值;对每个组中所有的模型分类结果进行加权求和。最终根据加权求和值的大小来确定分类结果。例如:加权求和值超过某一预设数值的组作为目标组,例如,预设数值为50%、60%、70%等。若存在这样的目标组,则说明分类成功,得到表征分类成功的第一目标分类结果,将所述目标组中模型分类结果所包含的类别信息作为待分类文本的所属类别。若不存在这样的目标组,则说明分类失败,得到表征分类失败的第二目标分类结果。2、查询在r个组中是否存在一目标组,该目标组中的所述模型分类结果的数量符合预设分类条件。若存在这样的目标组,则获得表征分类成功的第一目标分类结果,所述第一目标分类结果中包含所述待分类文本的类别信息。将所述目标组中模型分类结果所包含的类别信息作为待分类文本的所属类别。若不存在这样的目标组,则说明分类失败,得到表征分类失败的第二目标分类结果。其中预设分类条件可为:目标组中的所述模型分类结果的数量在r个组中为最大;目标组中的所述模型分类结果的数量在r个组中为最大并且唯一;目标组中的所述模型分类结果的数量超过设置数值(如2、3、4等)。举个例子:以预设分类条件“目标组中的所述模型分类结果的数量在r个组中为最大并且唯一”为例。若对待分类文本a(与后文待分类文本b做区分)作为输入数据输入到集成分类器中,集成分类器中存在3个文本分类模型。第一文本分类模型输出的模型分类结果为x(与模型分类结果y、z做区分),第二文本分类模型输出的模型分类结果为y,第三文本分类模型输出的结果为z;因此模型分类结果可分为3组,每一组的模型分类结果数量为1,不存在满足预设分类条件的目标组。因此,得到表征分类失败的分类结果。若对待分类文本b作为输入数据输入到集成分类器中,集成分类器中存在3个文本分类模型。第一文本分类模型输出的模型分类结果为x,第二文本分类模型输出的模型分类结果为x,第三文本分类模型输出的结果为z;因此模型分类结果可分为2组,第一组(模型分类结果为x)的模型分类结果数量为2,第二组(模型分类结果为z)的模型分类结果数量为1,存在满足预设分类条件的目标组(即第一组)。因此,可得到表征分类成功的分类结果。在步骤s302之后,总得来说在分类结果表征分类成功时,可基于所述输入到集成分类器输出的第一目标分类结果确定所述待分类文本所属的类别,其中,所述第一目标分类结果表征分类成功,且在所述第一目标分类结果中包含所述待分类文本的类别信息。步骤s303:若分类失败,则将所述待分类文本输入到搜索引擎中,以通过所述搜索引擎对所述待分类文本进行搜索,获得搜索结果。步骤s303中,所述的搜索引擎可采用先存的任一搜索引擎,例如:百度搜索、360搜索、谷歌搜索、必应搜索等等,不作限制。每条搜索结果中应当包含对应的标题、摘要,还可包含关键词。步骤s304:基于所述搜索结果对所述输入数据进行调整,获得调整后的输入数据;其中,可包含以下执行流程:1、从所述搜索结果中提取出关键信息。其中,关键信息可以是搜索结果中提取出的标题信息和/或摘要信息。其中,在提取关键信息的时候可选择前n个搜索结果,n为正整数,如取1、2、3、4等。然后,可直接将搜索结果的标题和/或摘要共同作为输入数据,输入集成分类器中,实现了对待分类文本的扩展和解释,提高了集成分类器的分类准确性。若预设个数的搜索结果中不包含待分类文本,还可将待分类文本与搜索结果的标题和/或摘要共同作为输入数据。此外,也可提取各条搜索结果中的关键词,将关键词作为对待分类文本的补充和扩展。关键词可通过人工标定,也可随机提取,不作限制。2、将所述关键信息补充到所述输入数据中,获得调整后的输入数据;或将所述关键信息作为调整后的输入数据。其中,对于同一个待分类文本,在根据所述搜索结果对所述输入数据进行调整时,均应当将上一次调整时所采用的相同搜索结果或相同关键词排出在外。需要说明的是,在本实施例中,得到表征分类失败的第二分类结果时,步骤s302至步骤s305可循环执行,直至得到表征分类成功的分类结果时结束。综上,在本实施例中,所述的文本分类的方法通过接收待分类文本,将所述待分类文本作为输入数据输入到集成分类器中进行分类,获得分类结果。其中,分类结果可表征待分类文本的分类成功与否。若所述分类结果表征分类失败,则将所述待分类文本输入到搜索引擎中进行搜索,获得搜索结果;在搜索引擎中进行搜索可获得更多与待分类文本相关联的文本信息,因此搜索结果可形成对待分类文本的扩展。然后,基于所述搜索结果对所述输入数据进行调整,获得调整后的输入数据;将调整后的输入数据输入到所述集成分类器中进行再次分类,可提高集成分类器对待分类文本的识别度,也进一步提高待分类文本的分类准确度。因此,本发明所述方法结合搜索引起对待分类文本进行二次分类,解决了现有技术在对一些语义较为复杂以及不常见的一些待分类文本识别率低,分类错误或不够准确的问题。第四实施例请参阅图5,基于同一发明构思,本实施例中还提供了一种文本的分类装置。图5中示出了文本的分类装置400的功能模块框图,具体的所述装置包括:接收模块401、筛选模块402、第一确定模块403和第二确定模块404。所述装置400具体包括:接收模块401,用于获取待分类文本;筛选模块402,用于从预设词库中选出与所述待分类文本相似的多个目标词条,其中,所述预设词库中存储有多个词条、以及每个词条所属的类别,所述目标词条属于所述多个词条;第一确定模块403,用于根据所述预设词库,确定所述多个目标词条中的每个目标词条所属的类别;第二确定模块404,用于根据所述多个目标词条中的每个目标词条所属的类别,确定目标类别,并将所述目标类别作为所述待分类文本所属的类别。作为一种可选的实施方式,筛选模块402还具体用于:依次计算所述待分类文本与所述预设词库中的每个词条的编辑距离;将所述预设词库中的所述编辑距离小于预设距离的词条确定为所述目标词条。作为一种可选的实施方式,所述第二确定模块404还具体用于:根据所属的类别的不同,对所述多个目标词条进行分组,获得q组词条,其中,位于同一组的目标词条所属的类别均相同,q为正整数;从所述q组词条中选出词条数量最多的一组词条,并将该组词条所属的类别作为所述目标类别。作为一种可选的实施方式,还包括匹配模块,用于在所述从预设词库中选出与所述待分类文本相似的多个目标词条之前,根据所述待分类文本,在所述预设词库中匹配与所述待分类文本对应的词条;若匹配失败,则执行所述从预设词库中的选出与所述待分类文本相似的多个目标词条。作为一种可选的实施方式,匹配模块,还具体用于:根据所述待分类文本,在所述预设词库中查找与所述待分类文本相同的词条。需要说明的是,本发明实施例所提供的文本的分类装置400,其具体实现及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。第五实施例另外,基于同一发明构思,本发明第五实施例还提供了一种用户终端,包括处理器和存储器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时使所述用户终端执行以下操作:获取待分类文本。从预设词库中选出与所述待分类文本相似的多个目标词条,其中,所述预设词库中存储有多个词条、以及每个词条所属的类别,所述目标词条属于所述多个词条。根据所述预设词库,确定所述多个目标词条中的每个目标词条所属的类别。根据所述多个目标词条中的每个目标词条所属的类别,确定目标类别,并将所述目标类别作为所述待分类文本所属的类别。需要说明的是,本发明实施例所提供的用户终端中,上述每个步骤的具体实现及产生的技术效果和前述方法实施例相同,为简要描述,本实施例未提及之处可参考前述方法实施例中相应内容。于本发明实施例中,用户终端中安装有操作系统以及第三方应用程序。用户终端可以为平板电脑、手机、笔记本电脑、pc(personalcomputer,个人计算机)、可穿戴设备、车载终端等用户终端设备。图6示出了一种示例性用户终端500的模块框图。如图6所示,用户终端500包括存储器502、存储控制器504,一个或多个(图中仅示出一个)处理器506、外设接口508、网络模块510、输入输出模块512、显示模块514等。这些组件通过一条或多条通讯总线/信号线516相互通讯。存储器502可用于存储软件程序以及模块,如本发明实施例中的文本的分类方法以及装置对应的程序指令/模块,处理器506通过运行存储在存储器502内的软件程序以及模块,从而执行各种功能应用以及数据处理,如本发明实施例提供的文本的分类方法。存储器502可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。处理器506以及其他可能的组件对存储器502的访问可在存储控制器504的控制下进行。外设接口508将各种输入/输出装置耦合至处理器506以及存储器502。在一些实施例中,外设接口508,处理器506以及存储控制器504可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。网络模块510用于接收以及发送网络信号。上述网络信号可包括无线信号或者有线信号。输入输出模块512用于提供给用户输入数据实现用户与用户终端的交互。所述输入输出模块512可以是,但不限于,鼠标、键盘和触控屏幕等。显示模块514在用户终端500与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示模块514可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器进行计算和处理。可以理解,图6所示的结构仅为示意,用户终端500还可包括比图6中所示更多或者更少的组件,或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。第六实施例本发明第六实施例提供了一种计算机存储介质,本发明第四实施例中的文本的分类装置集成的功能模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述第一实施例至第三实施例的文本的分类方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的文本的分类装置、用户终端的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。本发明公开了a1、一种文本的分类方法,所述方法包括:获取待分类文本;从预设词库中选出与所述待分类文本相似的多个目标词条,其中,所述预设词库中存储有多个词条、以及每个词条所属的类别,所述目标词条属于所述多个词条;根据所述预设词库,确定所述多个目标词条中的每个目标词条所属的类别;根据所述多个目标词条中的每个目标词条所属的类别,确定目标类别,并将所述目标类别作为所述待分类文本所属的类别。a2.根据a1所述的方法,所述从预设词库中的选出与所述待分类文本相似的多个目标词条,包括:依次计算所述待分类文本与所述预设词库中的每个词条的编辑距离;将所述预设词库中的所述编辑距离小于预设距离的词条确定为所述目标词条。a3.根据a1所述的方法,所述根据每个所述目标词条所属的类别,确定目标类别,包括:根据所属的类别的不同,对所述多个目标词条进行分组,获得q组词条,其中,位于同一组的目标词条所属的类别均相同,q为正整数;从所述q组词条中选出词条数量最多的一组词条,并将该组词条所属的类别作为所述目标类别。a4.根据a1所述的方法,所述从预设词库中选出与所述待分类文本相似的多个目标词条之前,还包括:根据所述待分类文本,在所述预设词库中匹配与所述待分类文本对应的词条;若匹配失败,则执行所述从预设词库中的选出与所述待分类文本相似的多个目标词条。a5.根据a4所述的方法,所述根据所述待分类文本,在所述预设词库中匹配与所述待分类文本对应的词条的步骤,具体包括:根据所述待分类文本,在所述预设词库中查找与所述待分类文本相同的词条。本发明还公开了b6.一种文本的分类装置,所述装置包括:接收模块,用于获取待分类文本;筛选模块,用于从预设词库中选出与所述待分类文本相似的多个目标词条,其中,所述预设词库中存储有多个词条、以及每个词条所属的类别,所述目标词条属于所述多个词条;第一确定模块,用于根据所述预设词库,确定所述多个目标词条中的每个目标词条所属的类别;第二确定模块,用于根据所述多个目标词条中的每个目标词条所属的类别,确定目标类别,并将所述目标类别作为所述待分类文本所属的类别。b7.根据b6所述的装置,筛选模块还具体用于:依次计算所述待分类文本与所述预设词库中的每个词条的编辑距离;将所述预设词库中的所述编辑距离小于预设距离的词条确定为所述目标词条。b8.根据b6所述的装置,所述第二确定模块还具体用于:根据所属的类别的不同,对所述多个目标词条进行分组,获得q组词条,其中,位于同一组的目标词条所属的类别均相同,q为正整数;从所述q组词条中选出词条数量最多的一组词条,并将该组词条所属的类别作为所述目标类别。b9.根据b6所述的装置,还包括:匹配模块,用于在所述从预设词库中选出与所述待分类文本相似的多个目标词条之前,根据所述待分类文本,在所述预设词库中匹配与所述待分类文本对应的词条;若匹配失败,则执行所述从预设词库中的选出与所述待分类文本相似的多个目标词条。b10.根据b9所述的装置,匹配模块,还具体用于:根据所述待分类文本,在所述预设词库中查找与所述待分类文本相同的词条。本发明公开了c11.一种用户终端,所述用户终端包括处理器和存储器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时使所述用户终端执行a1-a5中任一项所述方法的步骤。本发明公开了d12.一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现a1-a5中任一项所述方法的步骤。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1