行业特征词确定方法和装置及行业文本聚类方法和服务器的制造方法
【专利摘要】本发明实施例提供一种行业特征词确定方法和装置及行业文本聚类方法和服务器。该行业特征词确定方法包括：获取行业文本组；基于预设行业种子字确定策略，从所述行业文本组包含的文本中确定该文本对应的行业种子字；基于预设行业特征词提取策略，利用所述行业种子字，在对应的文本中提取该文本包含的行业特征词。本方案在获取到行业文本组之后，通过从行业文本组中确定行业种子字，由于行业种子字是根据行业文本组中每个字的参数以及对应字的参考参数确定的，保证了确定的行业种子字的可信度，同时避免了行业种子字的遗漏；再通过行业种子字从行业文本组中提取行业特征词，保证了提取的行业特征词的可信度。
【专利说明】行业特征词确定方法和装置及行业文本聚类方法和服务器
【技术领域】
[0001]本发明实施例涉及信息聚类【技术领域】，尤其涉及一种行业特征词确定方法和装置及行业文本聚类方法和服务器。
【背景技术】
[0002]聚类是对数据对象进行划分的一种过程，与分类不同的是，聚类所划分的类是未知的，因此是一个“无监督学习”(unSUperviSed learning)过程，即聚类不需要提供训练数据，倾向于数据的自然划分。
[0003]文本聚类(Text clustering)是聚类分析技术在文本处理领域的一种应用，具体是将文本集合分组成多个类，使得在同一个类中的文本内容具有较高的相似度，而不同类或簇中的文本内容差别较大。
[0004]然而现有技术中并没有提供确定行业特征词的处理方法。利用现有的聚类方法，在对行业文本进行聚类时，由于很难确定行业特征词，导致行业文本聚类结果的准确性低。
【发明内容】
[0005]本发明实施例提供一种行业特征词确定方法和装置，以提供行业特征词的确定方式。
[0006]本发明实施例还提供一种行业文本聚类方法和服务器，以提供行业文本聚类的实现方式。
[0007]第一方面，本发明实施例提供了一种行业特征词确定方法，包括:
[0008]获取行业文本组；
[0009]基于预设行业种子字确定策略，从所述行业文本组包含的文本中确定该文本对应的行业种子字；
[0010]基于预设行业特征词提取策略，利用所述行业种子字，在对应的文本中提取该文本包含的行业特征词。
[0011]第二方面，本发明实施例提供了一种行业特征词确定装置，包括:
[0012]文本获取模块，用于获取行业文本组；
[0013]种子字确定模块，用于基于预设行业种子字确定策略，从所述行业文本组包含的文本中确定该文本对应的行业种子字；
[0014]特征词提取模块，用于基于预设行业特征词提取策略，利用所述行业种子字，在对应的文本中提取该文本包含的行业特征词。
[0015]本发明实施例提供的行业特征词确定方法和装置，在获取到行业文本组之后，通过从行业文本组中确定行业种子字，由于行业种子字是根据行业文本组中每个字的参数以及对应字的参考参数确定的，保证了确定的行业种子字的可信度，同时避免了行业种子字的遗漏；再通过行业种子字从行业文本组中提取行业特征词，保证了提取的行业特征词的可信度。
[0016]第三方面，本发明实施例提供了一种行业文本聚类方法，包括:
[0017]采用本发明任意实施例提供的行业特征词确定方法确定行业文本组包含的文本对应的行业特征词；
[0018]对于所述行业文本组中的任意两个文本，统计所述两个文本的共有行业特征词的数量；如果所述两个文本的共有行业特征词的数量大于第一设定阈值，则将所述两个文本聚类为一个主题，并确定该主题的对应的文本列表以及该主题对应的行业特征词的集合；
[0019]对于任意两个主题，根据所述两个主题各自对应的行业特征词的集合，确定所述两个主题是否相似，并根据确定结果，确定是否合并所述两个主题，以及所述两个主题各自的文本列表和行业特征词的集合。
[0020]第四方面，本发明实施例提供了一种行业文本聚类服务器，包括:
[0021]本发明任意实施例提供的行业特征词确定装置，用于确定行业文本组包含的文本对应的行业特征词；
[0022]文本聚类模块，用于对于所述行业文本组中的任意两个文本，统计所述两个文本的共有行业特征词的数量；如果所述两个文本的共有行业特征词的数量大于第一设定阈值，则将所述两个文本聚类为一个主题，并确定该主题的对应的文本列表以及该主题对应的行业特征词的集合；
[0023]主题聚类模块，用于对于任意两个主题，根据所述两个主题各自对应的行业特征词的集合，确定所述两个主题是否相似，并根据确定结果，确定是否合并所述两个主题，以及所述两个主题各自的文本列表和行业特征词的集合。
[0024]本发明实施例提供的行业文本聚类方法和服务器，在确定行业文本组中每个文本对应的行业特征词之后，以两个文本为单位，根据该两个文本的共有的行业特征词的数量，确定该两个文本的相似度，并将相似的两个文本聚类合并为一个主题，并确定该主题的对应的文本列表以及该主题对应的行业特征词的集合；然后以两个主题为单位，确定该两个主题的相似度，并将相似的两个主题聚类合并，同时合并该两个主题各自的文本列表和行业特征词的集合，从而得到了行业包含的主题，以及各主题对应的文本列表和行业特征词的集合。
【专利附图】
【附图说明】
[0025]为了更清楚地说明本发明，下面将对本发明中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0026]图1为本发明实施例一提供的一种行业特征词确定方法的流程图；
[0027]图2为本发明实施例二提供的一种行业特征词确定方法的流程图；
[0028]图3为本发明实施例三提供的一种行业特征词确定装置的结构示意图；
[0029]图4为本发明实施例四提供的一种行业文本聚类方法的流程图；
[0030]图5为本发明实施例五提供的一种行业文本聚类服务器的结构示意图。
【具体实施方式】
[0031]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案作进一步详细描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
[0032]实施例一
[0033]请参阅图1，为本发明实施例一提供的一种行业特征词确定方法的流程图。本发明实施例的方法可以由配置以硬件和/或软件实现的行业特征词确定装置执行，该实现装置典型的是配置于能够提供文本聚类服务的服务器中。
[0034]该方法包括:步骤110?步骤130。
[0035]步骤110、获取行业文本组。
[0036]本步骤中，行业文本组由多篇行业文本组成，行业可以是现有的各种行业，例如，汽车、体育、财经和娱乐等。具体可以人工收集行业文本组，例如，人工收集1000篇汽车行业的典型文章，组成行业为汽车的文本组；也可以从行业网站中抓取多篇行业文本，组成行业文本组。
[0037]优选是按设定的时间间隔(例如，3个月)动态获取行业文本组，由于在不同的时间段内，行业发展趋势的不同，导致不同时段对应的行业文本组不同，因此，有利于动态跟踪行业种子字，相应得到随时间动态变化的行业特征词，也即，有利于动态确定行业热点。
[0038]步骤120、基于预设行业种子字确定策略，从所述行业文本组包含的文本中确定该文本对应的行业种子字。
[0039]其中，所述预设行业种子字确定策略与行业文本组中每个字的参数(例如，出现次数或出现频率，逆文档频率，或是否是停用字等)以及对应字的参考参数关联，从而在保证确定的行业种子字的可信度的同时，避免了行业种子字的遗漏。
[0040]本步骤中，可以根据每个字在对应的文本中的出现频率，确定行业种子字；也可以根据对文本中的停用字进行过滤，根据经过滤处理后的每个字在对应的文本中的出现频率，确定行业种子字。
[0041]需要说明的是，行业种子字随行业发展而动态变化。以汽车行业为例进行说明，随着《爸爸去哪儿》综艺节目的热播，相应的行业文本组中与汽车赞助商“英菲尼迪”相关的文本增多，导致从这一时间段的行业文本中得到的行业种子字包含“英”、“菲”、“尼”和“迪”；又如，随着《爸爸去哪儿》综艺节目收官，以及《奔跑吧，兄弟》综艺节目的热播，相应的行业文本组中与汽车赞助商“凌渡”相关的文本增多，导致从这一时间段的行业文本中得到的行业种子字包含“凌”和“渡”;再如，随着混合动力系统的逐步发展，相应的行业文本组中与“混合动力”相关的文本增多，导致从这一时间段的行业文本中得到的行业种子字包含“混”、“合”、“动”和“力”。
[0042]步骤130、基于预设行业特征词提取策略，利用所述行业种子字，在对应的文本中提取该文本包含的行业特征词。
[0043]如前所述，不同时段的行业文本组动态变化，导致相应的行业种子字和行业特征词亦动态变化。
[0044]本实施例的技术方案，在获取到行业文本组之后，通过从行业文本组中确定行业种子字，由于行业种子字是根据行业文本组中每个字的参数以及对应字的参考参数确定的，保证了确定的行业种子字的可信度，同时避免了行业种子字的遗漏；再通过行业种子字从行业文本组中提取行业特征词，保证了提取的行业特征词的可信度。
[0045]作为基于预设行业特征词提取策略，利用所述行业种子字，在对应的文本中提取该文本包含的行业特征词的一种优选的实施方式，具体可以包括下述操作:
[0046]在所述行业文本组包含的文本中确定包含至少一个行业种子字的词；
[0047]如果所述包含至少一个行业种子字的词在该文本中的出现次数大于第二门限值，且长度小于第三门限值，则将所述包含至少一个行业种子字的词确定为该文本中的行业特征词。
[0048]通过本实施方式确定的行业特征词满足以下条件:不仅包含有至少一个行业种子字，而且所述行业特征词在行业文本中的共现频率较高，且限制了所述行业特征词的长度。
[0049]需要说明的是，如果长度太短，导致提取到的包含有至少一个行业种子字的行业特征词的可信度低，例如，由一个行业种子字和一个停用字组成的词，且该词在文本中的出现次数大于第二门限值；如果长度太长，导致原本可以作为行业特征词的词因长度太长，在文本中共现频率太低，而没有被正确提取，因此与词出现次数对应的门限值以及与词长度对应的门限值的合理设置，能够提高根据行业种子字确定的行业特征词的可信度和准确率。
[0050]作为基于预设行业特征词提取策略，利用所述行业种子字，在对应的文本中提取该文本包含的行业特征词的另一种优选的实施方式，具体可以包括下述操作:
[0051]在所述行业文本组包含的文本中确定包含至少一个行业种子字的词；
[0052]如果所述包含至少一个行业种子字的词在该文本中的出现次数大于第二门限值，且长度小于第三门限值，则将所述包含至少一个行业种子字的词确定为该文本中的行业特征词；
[0053]判断所述包含至少一个行业种子字的词包含的子串在该文本中的出现次数是否大于第四门限值；
[0054]若是，则将所述子串确定为该文本中的行业特征词；
[0055]其中，所述子串的长度大于等于2，且小于对应的包含至少一个行业种子字的词的长度。
[0056]本实施方式与上述实施方式的区别在于:一方面，将包含有至少一个行业种子字，行业文本中的词出现次数较高，且词长度符合要求的词作为行业特征词；另一方面，通过子串对应的词出现次数和长度对确定的行业特征词的子串进行进一步筛选，避免了行业特征词的遗漏。
[0057]例如，在确定行业特征词“凌渡车型好看”之后，对子串“凌渡”、“凌渡车”、“凌渡车型”、“凌渡车型好”、“车型好”、“型好看”分别与第四门限值进行比较，从而补充确定行业特征词。
[0058]实施例二
[0059]请参阅图2，为本发明实施例二提供的一种行业特征词确定方法的流程图。本实施例在上述实施例的基础上，提供了基于预设行业种子字确定策略，从所述行业文本组包含的文本中确定该文本对应的行业种子字这一操作的优选方案。
[0060]该优选方案包括:步骤121?步骤123。
[0061]步骤121、对于所述行业文本组包含的文本，确定每个字在对应的文本中的出现频率。
[0062]本步骤具体是对于每个文本，将该文本按字划分；统计每个字在该文本中的出现次数，并统计该文本的文字总数；将每个字在该文本中的出现次数除以该文本的文字总数，得到每个字在对应的文本中的出现频率。
[0063]步骤122、根据所述每个字在对应的文本中的出现频率，基于预设行业包含的字的参考频率列表，确定该文本包含的候选种子字。
[0064]本步骤中，所述行业包含的字的参考频率列表通过下述操作获取:统计行业文本组中每个字在整个行业文本组中的出现次数；统计行业文本组中各文本对应的文字总数，得到行业文本组的文字总数；将每个字在整个行业文本组中的出现次数除以行业文本组的文字总数，得到每个字对应的参考频率；根据每个字对应的参考频率，建立行业包含的字的参考频率列表。
[0065]本步骤中，如果字在对应的文本中的出现频率与所述参考频率列表中对应字的频率之比大于第一门限值，则将该字作为所述候选种子字。
[0066]步骤123、根据预设停用字列表过滤所述候选种子字，得到该文本包含的行业种子字。
[0067]本步骤具体是根据停用字列表对所述候选种子字进行过滤，也即，通过在候选种子字中剔除停用字，从而得到行业种子字。
[0068]本实施例的技术方案，对于行业文本组中的各文本，按字划分，确定每个字在对应的文本中的出现频率，并根据参考频率列表中对应字的频率，确定候选种子字，一方面能够避免候选种子字的遗漏，另一方面能够保证候选种子字在行业文本中占有合适的共现频率；通过在候选种子字过滤掉停用字，提高了得到的行业种子字的正确率。
[0069]实施例三
[0070]请参阅图3，为本发明实施例三提供的一种行业特征词确定装置的结构示意图。该装置包括:文本获取模块310、种子字确定模块320和特征词提取模块330。
[0071]其中，文本获取模块310用于获取行业文本组；种子字确定模块320用于基于预设行业种子字确定策略，从所述行业文本组包含的文本中确定该文本对应的行业种子字；特征词提取模块330用于基于预设行业特征词提取策略，利用所述行业种子字，在对应的文本中提取该文本包含的行业特征词。
[0072]其中，所述预设行业种子字确定策略与行业文本组中每个字的参数(例如，出现次数或出现频率，逆文档频率，或是否是停用字等)以及对应字的参考参数关联，从而在保证确定的行业种子字的可信度的同时，避免了行业种子字的遗漏。
[0073]本实施例的技术方案，在获取到行业文本组之后，通过从行业文本组中确定行业种子字，由于行业种子字是根据行业文本组中每个字的参数以及对应字的参考参数确定的，保证了确定的行业种子字的可信度，同时避免了行业种子字的遗漏；再通过行业种子字从行业文本组中提取行业特征词，保证了提取的行业特征词的可信度。
[0074]在上述方案中，种子字确定模块320优选包括:字出现频率确定单元、候选种子字确定单元和行业种子字确定单元。
[0075]其中，字出现频率确定单元用于对于所述行业文本组包含的文本，确定每个字在对应的文本中的出现频率；候选种子字确定单元用于根据所述每个字在对应的文本中的出现频率，基于预设行业包含的字的参考频率列表，确定该文本包含的候选种子字；行业种子字确定单元用于根据预设停用字列表过滤所述候选种子字，得到该文本包含的行业种子字。
[0076]进一步地，候选种子字确定单元具体可以用于:如果字在对应的文本中的出现频率与所述参考频率列表中对应字的频率之比大于第一门限值，则将该字作为所述候选种子字。
[0077]作为本实施例的一种优选的实施方式，特征词提取模块330具体可以用于:
[0078]在所述行业文本组包含的文本中确定包含至少一个行业种子字的词；
[0079]如果所述包含至少一个行业种子字的词在该文本中的出现次数大于第二门限值，且长度小于第三门限值，则将所述包含至少一个行业种子字的词确定为该文本中的行业特征词。
[0080]作为本实施例的另一种优选的实施方式，特征词提取模块330具体可以用于:
[0081]在所述行业文本组包含的文本中确定包含至少一个行业种子字的词；
[0082]如果所述包含至少一个行业种子字的词在该文本中的出现次数大于第二门限值，且长度小于第三门限值，则将所述包含至少一个行业种子字的词确定为该文本中的行业特征词；
[0083]判断所述包含至少一个行业种子字的词包含的子串在该文本中的出现次数是否大于第四门限值；
[0084]若是，则将所述子串确定为该文本中的行业特征词；
[0085]其中，所述子串的长度大于等于2，且小于对应的包含至少一个行业种子字的词的长度。
[0086]本发明实施例提供的行业特征词确定装置可执行本发明任意实施例所提供的行业特征词确定方法，具备执行方法相应的功能模块和有益效果。
[0087]实施例四
[0088]请参阅图4，为本发明实施例四提供的一种行业文本聚类方法的流程图。本发明实施例的方法可以由配置以硬件和/或软件实现的行业文本聚类服务器执行。
[0089]该方法包括:步骤410?步骤430。
[0090]步骤410、确定行业文本组包含的文本对应的行业特征词，其中，所述行业特征词采用前述实施例提供的行业特征词确定方法进行确定。
[0091]步骤420、对于所述行业文本组中的任意两个文本，统计所述两个文本的共有行业特征词的数量；如果所述两个文本的共有行业特征词的数量大于第一设定阈值，则将所述两个文本聚类为一个主题，并确定该主题的对应的文本列表以及该主题对应的行业特征词的集合。
[0092]本步骤中，在确定行业文本组中每个文本对应的行业特征词之后，以两个文本为单位，根据该两个文本的共有的行业特征词的数量，确定该两个文本的相似度，并根据该两个文本的相似度确定结果，将相似的两个文本合并为一个主题，并确定该主题的对应的文本列表以及该主题对应的行业特征词的集合。
[0093]具体地，可以将所述两个文本各自对应的行业特征词的集合确定为该主题对应的行业特征词的集合。
[0094]步骤430、对于任意两个主题，根据所述两个主题各自对应的行业特征词的集合，确定所述两个主题是否相似，并根据确定结果，确定是否合并所述两个主题，以及所述两个主题各自的文本列表和行业特征词的集合。
[0095]本步骤中，以两个主题为单位，确定该两个主题的相似度，并将相似的两个主题合并，同时合并两个主题各自的文本列表和行业特征词的集合。
[0096]优选地，如果所述两个主题共有的行业特征词的数量与包含的行业特征词数量较少的主题中行业特征词数量的比值大于第二设定阈值，则确定所述两个主题相似。
[0097]以体育行业为例进行说明。第一主题对应的行业特征词的集合为“上海，世界，汇丰冠军赛，世锦赛”，第二主题对应的行业特征词的集合为“世界，汇丰冠军赛，高尔夫，世锦赛”，第三主题对应的行业特征词的集合为“世界，高尔夫”，其中，第一主题和第二主题共同包含“世界，汇丰冠军赛，世锦赛”，并经过与第二设定阈值比较后，确定为相似主题，因此需要合并，合并后的主题对应的行业特征词的集合为“上海，世界，汇丰冠军赛，世锦赛，高尔夫”;第一主题与第三主题共同包含“世界，高尔夫”，并经过与第二设定阈值比较后，确定为不相似主题，因此无需合并。
[0098]再以汽车行业为例进行说明。第一主题对应的行业特征词的集合为“空气动力学性能，风阻系数，凌渡，油耗，卓越”，第二主题对应的行业特征词的集合为“空气动力学性能，研发，风阻系数，凌渡”，第三主题对应的行业特征词的集合为“凌渡，车型，空间”，其中，第一主题和第二主题共同包含“空气动力学性能，研发，风阻系数，凌渡”，并经过与第二设定阈值比较后，确定为相似主题，因此需要合并；第一主题与第三主题共同包含“凌渡”，并经过与第二设定阈值比较后，确定为不相似主题，因此无需合并。
[0099]本实施例的技术方案，在确定行业文本组中每个文本对应的行业特征词之后，以两个文本为单位，根据该两个文本的共有的行业特征词的数量，确定该两个文本的相似度，并将相似的两个文本合并为一个主题，并确定该主题的对应的文本列表以及该主题对应的行业特征词的集合；然后以两个主题为单位，确定该两个主题的相似度，并将相似的两个主题合并，同时合并该两个主题各自的文本列表和行业特征词的集合，从而得到了行业包含的主题，以及各主题对应的文本列表和行业特征词的集合。
[0100]本实施例的技术方案可以发现与指定行业密切相关的主题类别，适用于发现行业内热点话题，还适用于为客户端推送热点话题。
[0101]实施例五
[0102]请参阅图5，为本发明实施例五提供的一种行业文本聚类服务器的结构示意图。该服务器包括:行业特征词确定装置510、文本聚类模块520和主题聚类模块530。
[0103]其中，行业特征词确定装置510为前述实施例三提供的行业特征词确定装置，用于确定行业文本组包含的文本对应的行业特征词；文本聚类模块520用于对于所述行业文本组中的任意两个文本，统计所述两个文本的共有行业特征词的数量；如果所述两个文本的共有行业特征词的数量大于第一设定阈值，则将所述两个文本聚类为一个主题，并确定该主题的对应的文本列表以及该主题对应的行业特征词的集合；主题聚类模块530用于对于任意两个主题，根据所述两个主题各自对应的行业特征词的集合，确定所述两个主题是否相似，并根据确定结果，确定是否合并所述两个主题，以及所述两个主题各自的文本列表和行业特征词的集合。
[0104]本实施例的技术方案，在确定行业文本组中每个文本对应的行业特征词之后，以两个文本为单位，根据该两个文本的共有的行业特征词的数量，确定该两个文本的相似度，并将相似的两个文本合并为一个主题，并确定该主题的对应的文本列表以及该主题对应的行业特征词的集合；然后以两个主题为单位，确定该两个主题的相似度，并将相似的两个主题合并，同时合并该两个主题各自的文本列表和行业特征词的集合，从而得到了行业包含的主题，以及各主题对应的文本列表和行业特征词的集合。
[0105]在上述方案中，可以将所述两个文本各自对应的行业特征词的集合确定为该主题对应的行业特征词的集合。
[0106]在上述方案中，主题聚类模块530具体可以用于:如果所述两个主题共有的行业特征词的数量与包含的行业特征词数量较少的主题中行业特征词数量的比值大于第二设定阈值，则确定所述两个主题相似。
[0107]本发明实施例提供的行业文本聚类服务器可执行本发明任意实施例所提供的行业文本聚类方法，具备执行方法相应的功能模块和有益效果。
[0108]最后应说明的是:以上各实施例仅用于说明本发明的技术方案，而非对其进行限制；实施例中优选的实施方式，并非对其进行限制，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种行业特征词确定方法，其特征在于，包括: 获取行业文本组； 基于预设行业种子字确定策略，从所述行业文本组包含的文本中确定该文本对应的行业种子字； 基于预设行业特征词提取策略，利用所述行业种子字，在对应的文本中提取该文本包含的行业特征词。
2.根据权利要求1所述的方法，其特征在于，基于预设行业种子字确定策略，从所述行业文本组包含的文本中确定该文本对应的行业种子字,包括: 对于所述行业文本组包含的文本，确定每个字在对应的文本中的出现频率； 根据所述每个字在对应的文本中的出现频率，基于预设行业包含的字的参考频率列表，确定该文本包含的候选种子字； 根据预设停用字列表过滤所述候选种子字，得到该文本包含的行业种子字。
3.根据权利要求2所述的方法，其特征在于，根据所述每个字在对应的文本中的出现频率，基于预设行业包含的字的参考频率列表，确定该文本包含的候选种子字，包括: 如果字在对应的文本中的出现频率与所述参考频率列表中对应字的频率之比大于第一门限值，则将该字作为所述候选种子字。
4.根据权利要求1-3任一所述的方法，基于预设行业特征词提取策略，利用所述行业种子字，在对应的文本中提取该文本包含的行业特征词，包括: 在所述行业文本组包含的文本中确定包含至少一个行业种子字的词； 如果所述包含至少一个行业种子字的词在该文本中的出现次数大于第二门限值，且长度小于第三门限值，则将所述包含至少一个行业种子字的词确定为该文本中的行业特征
ο
5.根据权利要求1-3任一所述的方法，其特征在于，基于预设行业特征词提取策略，利用所述行业种子字，在对应的文本中提取该文本包含的行业特征词，包括: 在所述行业文本组包含的文本中确定包含至少一个行业种子字的词； 如果所述包含至少一个行业种子字的词在该文本中的出现次数大于第二门限值，且长度小于第三门限值，则将所述包含至少一个行业种子字的词确定为该文本中的行业特征词； 判断所述包含至少一个行业种子字的词包含的子串在该文本中的出现次数是否大于第四门限值； 若是，则将所述子串确定为该文本中的行业特征词； 其中，所述子串的长度大于等于2，且小于对应的包含至少一个行业种子字的词的长度。
6.一种行业文本聚类方法，其特征在于，包括: 采用如权利要求1-5任一所述的行业特征词确定方法确定行业文本组包含的文本对应的行业特征词； 对于所述行业文本组中的任意两个文本，统计所述两个文本的共有行业特征词的数量；如果所述两个文本的共有行业特征词的数量大于第一设定阈值，则将所述两个文本聚类为一个主题，并确定该主题的对应的文本列表以及该主题对应的行业特征词的集合； 对于任意两个主题，根据所述两个主题各自对应的行业特征词的集合，确定所述两个主题是否相似，并根据确定结果，确定是否合并所述两个主题，以及所述两个主题各自的文本列表和行业特征词的集合。
7.根据权利要求6所述的方法，其特征在于，将所述两个文本各自对应的行业特征词的集合确定为该主题对应的行业特征词的集合。
8.根据权利要求6或7所述的方法，其特征在于，根据所述两个主题各自对应的行业特征词的集合，确定所述两个主题是否相似，包括: 如果所述两个主题共有的行业特征词的数量与包含的行业特征词数量较少的主题中行业特征词数量的比值大于第二设定阈值，则确定所述两个主题相似。
9.一种行业特征词确定装置，其特征在于，包括: 文本获取模块，用于获取行业文本组； 种子字确定模块，用于基于预设行业种子字确定策略，从所述行业文本组包含的文本中确定该文本对应的行业种子字； 特征词提取模块，用于基于预设行业特征词提取策略，利用所述行业种子字，在对应的文本中提取该文本包含的行业特征词。
10.一种行业文本聚类服务器，其特征在于，包括: 如权利要求9所述的行业特征词确定装置，用于确定行业文本组包含的文本对应的行业特征词； 文本聚类模块，用于对于所述行业文本组中的任意两个文本，统计所述两个文本的共有行业特征词的数量；如果所述两个文本的共有行业特征词的数量大于第一设定阈值，则将所述两个文本聚类为一个主题，并确定该主题的对应的文本列表以及该主题对应的行业特征词的集合； 主题聚类模块，用于对于任意两个主题，根据所述两个主题各自对应的行业特征词的集合，确定所述两个主题是否相似，并根据确定结果，确定是否合并所述两个主题，以及所述两个主题各自的文本列表和行业特征词的集合。
【文档编号】G06F17/30GK104391939SQ201410682793
【公开日】2015年3月4日 申请日期:2014年11月24日 优先权日:2014年11月24日
【发明者】王铎 申请人:北京锐安科技有限公司