一种信息处理方法及装置制造方法
【专利摘要】本发明公开了一种信息处理方法及装置，所述方法包括：判断待处理的文本中是否存在歧义词；当所述待处理的文本中存在歧义词时，从所述待处理的文本中拆分出歧义词；根据与所述拆分出的歧义词对应的分词规则，对所述拆分出的歧义词进行拆分。本发明实施例提供的信息处理方法及装置，通过对待处理的文本进行歧义词判断，当待处理的文本中存在歧义词时，从待处理的文本中拆分出歧义词，并根据歧义词对应的分词规则对拆分出的歧义词进行拆分，有效地消除了待处理的文本中的歧义词，提高信息处理的准确率。
【专利说明】ー种信息处理方法及装置
【技术领域】
[0001]本发明涉及计算机技木，尤其涉及ー种信息处理方法及装置。
【背景技术】
[0002]信息处理技术中，中文分词有着广泛的应用，如搜索引擎、文献全文检索、文档自动分类等。
[0003]中文分词是将中文语句切分成中文词集合的过程。中文语句是由汉字组成的，但是单个汉字基本不具备表达完整语义的功能，因此，要理解中文语句的语义，首先需要将汉字组成的中文语句拆分成中文词集合。
[0004]目前，中文分词方法主要是基于词典匹配进行分词。这种方法是按照一定的策略将待分词的文本与ー个具有足够数据量的词典库中的词条进行匹配，若在词典中找到待分词的文本中的汉字串，则匹配成功，并输出所述汉字串。该项技术存在的主要缺陷是当待分词的文本中含有歧义词时，根据词典库中的词条来进行分词很容易出错。因此如何消解待分词的文本中的歧义，是目前基于词典匹配的中文分词技术迫切需要解决的问题。
【发明内容】
[0005]有鉴于此，本发明实施例提供了ー种信息处理方法及装置，来消除待分词的文本中的歧义，提高信息处理的准确率。
[0006]—方面，本发明实施例提供了ー种信息处理方法，所述方法包括:
[0007]判断待处理的文本中是否存在歧义词；
[0008]当所述待处理的文本中存在歧义词吋，从所述待处理的文本中拆分出歧义词；
[0009]根据与所述拆分出的歧义词对应的分词规则，对所述拆分出的歧义词进行拆分。
[0010]进ー步的，判断待处理的文本中是否存在歧义词，包括:
[0011]采用逆向最大匹配算法判断所述待处理的文本中与歧义词数据库中是否有相同的词；
[0012]当所述待处理的文本中与歧义词数据库中有相同的词时，所述待处理的文本中存在歧义词；当所述待处理的文本中与歧义词数据库中没有相同的词时，所述待处理的文本中不存在歧义词。
[0013]进ー步的，判断待处理的文本中是否存在歧义词之前，还包括:
[0014]根据字符编码、标点符号、人名数据库对接收的信息进行拆分，得到所述待处理的文本；
[0015]通过正向最大匹配算法将所述待处理的文本与词语数据库、扩展数据库中的词组匹配，得到第一种匹配结果；
[0016]通过逆向最大匹配算法将所述待处理的文本与词语数据库、扩展数据库中的词组匹配，得到第二种匹配结果；
[0017]根据所述第一种匹配结果拆分所述待处理的文本，得到第一子文本集合，所述第一子文本集合包括多个子文本；
[0018]根据所述第二种匹配结果拆分所述待处理的文本，得到第二子文本集合，所述第ニ子文本集合包括多个子文本；
[0019]当所述第一子文本集合与所述第二子文本集合不相同，且所述第一子文本集合和所述第二子文本集合中具有相同字数的子文本的数量相同，且所述第一子文本集合中子文本的数量等于所述第二子文本集合中子文本的数量吋，将所述第一子文本集合作为所述待处理文本的拆分结果，并触发所述判断待处理的文本中是否存在歧义词。
[0020]进ー步的，根据与所述拆分出的歧义词对应的分词规则，对所述拆分出的歧义词进行拆分之后，还包括:
[0021]合并所述拆分结果及对所述拆分出的歧义词进行拆分后得到的结果，得到分词集合，所述分词集合中的分词按照在所述待处理的文本中的位置排列；
[0022]当所述分词集合中含有连续的单字时，根据低概率单字数据库判断所述连续的单字中是否含有低概率单字，如果是，则将所述低概率单字左边的连续单字合成为ー个词，所述低概率单字右边的连续单字合成为ー个词。
[0023]进ー步的，将所述低概率单字左边的连续单字合成为ー个词，所述低概率单字右边的连续单字合成为ー个词之后，还包括:
[0024]判断合成的词中是否存在长度大于预设值的词，如果存在，则将所述长度大于预设值的词添加到人工识别数据库；
[0025]从所述人工识别数据库中筛选出符合预设筛选条件的词；
[0026]将筛选出的词添加到所述扩展数据库。
[0027]另一方方面，本发明实施例提供了ー种信息处理装置，所述装置包括:
[0028]第一判断単元，用于判断待处理的文本中是否存在歧义词；
[0029]第一拆分单元，用于当所述第一判断単元判断出所述待处理的文本中存在歧义词时，从所述待处理的文本中拆分出歧义词；
[0030]第二拆分单元，用于根据与所述第一拆分单元拆分出的歧义词对应的分词规则，对所述拆分出的歧义词进行拆分。
[0031]进ー步的，所述第一判断単元具体用于:
[0032]采用逆向最大匹配算法判断所述待处理的文本中与歧义词数据库中是否有相同的词；
[0033]当所述待处理的文本中与歧义词数据库中有相同的词时，所述待处理的文本中存在歧义词；当所述待处理的文本中与歧义词数据库中没有相同的词时，所述待处理的文本中不存在歧义词。
[0034]进ー步的，所述装置还包括:
[0035]预处理単元，用于在所述第一判断単元判断待处理的文本中是否存在歧义词之前根据字符编码、标点符号、人名数据库对接收的信息进行拆分，得到所述待处理的文本；
[0036]正向匹配単元，用于通过正向最大匹配算法将所述预处理単元得到待处理的文本与词语数据库、扩展数据库中的词组匹配，得到第一种匹配結果；
[0037]逆向匹配単元，用于通过逆向最大匹配算法将所述预处理単元得到待处理的文本与词语数据库、扩展数据库中的词组匹配，得到第二种匹配结果；[0038]正向拆分单元，用于根据所述正向匹配単元得到的第一种匹配结果拆分所述待处理的文本，得到第一子文本集合，所述第一子文本集合包括多个子文本；
[0039]逆向拆分单元，用于根据所述逆向匹配単元得到的第二种匹配结果拆分所述待处理的文本，得到第二子文本集合，所述第二子文本集合包括多个子文本；
[0040]触发单元，用于当所述第一子文本集合与所述第二子文本集合不相同，且所述第一子文本集合和所述第二子文本集合中具有相同字数的子文本的数量相同，且所述第一子文本集合中子文本的数量等于所述第二子文本集合中子文本的数量吋，将所述第一子文本集合作为所述待处理文本的拆分结果，并触发所述判断単元判断待处理的文本中是否存在歧义词。
[0041]进ー步的，所述装置还包括:
[0042]合并单元，用于在所述第二拆分单元根据与所述拆分出的歧义词对应的分词规贝U，对所述拆分出的歧义词进行拆分之后，合并所述正向拆分单元或逆向拆分单元得到的拆分结果及所述第二拆分单元得到的结果，得到分词集合，所述分词集合中的分词按照在所述待处理的文本中的位置排列；
[0043]单字单元，用于当所述分词集合中含有连续的单字时，根据低概率单字数据库判断所述连续的单字中是否含有低概率单字，如果是，将所述低概率单字左边的连续单字合成为ー个词，所述低概率单字右边的连续单字合成为ー个词。
[0044]进ー步的，所述装置还包括:
[0045]第二判断単元，用于在将所述低概率单字左边的连续单字合成为ー个词，所述低概率单字右边的连续单字合成一个词之后，判断合成的词中是否存在长度大于预设值的词，如果存在，则将所述长度大于预设值的词添加到人工识别数据库；
[0046]筛选单元，用于从所述人工识别数据库中筛选出符合预设筛选条件的词；
[0047]添加単元，用于将筛选出的词添加到所述扩展数据库。
[0048]本发明实施例提供的信息处理方法及装置，通过对待处理的文本进行歧义词判断，当待处理的文本中存在歧义词时，从待处理的文本中拆分出歧义词，井根据歧义词对应的分词规则对拆分出的歧义词进行拆分，有效地消除了待处理的文本中的歧义词，提高了信息处理的准确率。
【专利附图】
【附图说明】
[0049]图1是本发明第一实施例提供的信息处理方法的流程图；
[0050]图2是本发明第二实施例提供的信息处理方法中对接收的信息进行拆分的流程图；
[0051]图3是本发明第二实施例提供的信息处理方法中人名识别的流程图；
[0052]图4是本发明第三实施例提供的信息处理方法中对含有连续单字的拆分结果处理的流程图；
[0053]图5是本发明第三实施例提供的信息处理方法中识别连续单字的流程图；
[0054]图6是本发明第四实施例提供的信息处理装置的示意图。
【具体实施方式】[0055]下面结合附图和实施例对本发明作进ー步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
[0056]本发明实施例提供的信息处理方法及装置可用于搜索网页信息、检索文献全文信息、对文档进行自动分类等过程中。
[0057]第一实施例
[0058]图1是本发明第一实施例提供的信息处理方法的流程图，具体包括如下步骤:
[0059]步骤101、判断待处理的文本中是否存在歧义词。
[0060]例如，根据歧义词数据库，判断待处理的文本中是否存在歧义词，所述歧义词数据库可包括歧义词以及歧义词对应的分词规则，所述待处理的文本可为中文文本，也可为包括英文字母的文本。
[0061]步骤102、当所述待处理的文本中存在歧义词吋，从所述待处理的文本中拆分出歧义词。
[0062]例如，当所述歧义词位于所述待处理的文本的中间时，可将所述待处理的文本拆分成三部分，歧义词、歧义词左边的部分和歧义词右边的部分，当所述歧义词位于所述待处理的文本的开头或结尾时，可将所述待处理的文本拆分成两部分，如歧义词以及歧义词右边的部分，或者歧义词以及歧义词左边的部分。
[0063]示例性的，根据第一个歧义词拆分所述待处理的文本后，还可以继续对所述拆分结果中除拆分出的歧义词之外的部分进行歧义词判断，如果存在歧义词，仍然按照上述过程进行拆分，直到拆分结果中要么只含有歧义词，要么不含歧义词。
[0064]步骤103、根据与所述拆分出的歧义词对应的分词规则，对所述拆分出的歧义词进行拆分。
[0065]例如，根据上述步骤拆分出歧义词后，根据歧义词数据库判断所述歧义词是否有对应的分词规则，如果是，则按照所述分词规则拆分所述歧义词；如果否，根据语义句法数据库判断所述歧义词以及与所述歧义词相邻的词组的词性或成分属性，并根据所述词性或成分属性进行分词。
[0066]本发明实施例提供的信息处理方法，通过对待处理的文本进行歧义词判断，当待处理的文本中存在歧义词时，从待处理的文本中拆分出歧义词，井根据歧义词对应的分词规则对拆分出的歧义词进行拆分，有效地消除了待处理的文本中的歧义词，提高信息处理的准确率。
[0067]示例性的，判断待处理的文本中是否存在歧义词可包括:采用逆向最大匹配算法来判断所述待处理的文本中与歧义词数据库中是否有相同的词，当所述待处理的文本中与歧义词数据库中有相同的词时，所述待处理的文本中存在歧义词；当所述待处理的文本中与歧义词数据库中没有相同的词时，所述待处理的文本中不存在歧义词。
[0068]第二实施例
[0069]本实施例是在上述实施例的基础上增加了如图2所示的步骤。
[0070]步骤201、根据字符编码、标点符号、人名数据库对接收的信息进行拆分，得到所述待处理的文本。
[0071]例如，所述接收的信息可以为中文，也可以为中文与英文、数字以及标点符号中至少ー种的组合。所述待处理的文本为从所述接收的信息中拆分出的文本。
[0072]接收到待处理信息后，首先可以根据字符编码及标点符号将所述接收的信息拆分成中文子句和/或英文单词和/或数字串，例如接收的信息为“hello张三，李四去哪里了？”，经过该步骤后，可拆分成“hello”、“张三”、“李四去哪里了”。然后根据人名数据库对拆分得到的中文子句中的人名进行识别，识别过程如图3所示。
[0073]步骤301、根据人名数据库查找所述中文子句中的百家姓。
[0074]步骤302、当找到百家姓时，对百家姓字后边的一到三个字按照从多到少的顺序与人名数据库进行哈希比对。
[0075]步骤303、在所述人名数据库中匹配到结果时，将所述中文子句拆分成人名、人名前面的部分、人名后面的部分三块，得到待处理的文本。
[0076]对上述例子拆分的到的中文子句“张三”、“李四去哪里了”根据人名数据库可拆分成“张三”、“李四”、“去哪里了”。所述中文子句“去哪里了”为经步骤201处理后得到的待处理的文本。
[0077]通过步骤301到步骤302，提高了对接收的信息的处理速度。
[0078]步骤202、通过正向最大匹配算法将所述待处理的文本与词语数据库、扩展数据库中的词组匹配，得到第一种匹配結果。
[0079]所述待处理的文本可以为没有人名的中文子句。所述正向最大匹配算法的思想是从左到右选取一定数量的字，组成词，然后与词语数据库、扩展数据库中的词组匹配，例如可以从左到右从所述中文子句中选取5个字，成为组成词，然后与词语数据库、扩展数据库中的词组匹配，如果找到与所述组成词匹配的词组，则匹配成功，依次从左到右重新开始选5个字继续上述步骤；如果未找到，则匹配不成功，去掉所述组成词中的最后ー个词，重复上述步骤。其中初次选取的字的个数可以预先设置。
[0080]步骤203、通过逆向最大匹配算法将所述待处理的文本与词语数据库、扩展数据库中的词组匹配，得到第二种匹配結果。
[0081]所述逆向最大匹配算法的思想与所述整向最大匹配算法思想相同，只是选取组成词的方向不一致，从右到左选取一定数量的字，组成词，然后与词语数据库、扩展数据库中的词组匹配，例如可以从右到左从所述中文子句中选取5个字，成为组成词，然后与词语数据库、扩展数据库中的词组匹配，如果找到与所述组成词匹配的词组，则匹配成功，依次从右到左重新开始选5个字继续上述步骤；如果未找到，则匹配不成功，去掉所述组成词中的第一个词，重复上述步骤。其中初次选取字的个数可以预先设置。
[0082]步骤204、根据所述第一种匹配结果拆分所述待处理的文本，得到第一子文本集合，所述第一子文本集合包括多个子文本。
[0083]步骤205、根据所述第二种匹配结果拆分所述待处理的文本，得到第二子文本集合，所述第二子文本集合包括多个子文本。
[0084]例如，对“我们在野生动物园玩”，采用正向最大匹配算法匹配，最终输出结果为“我们”、“在野”、“生动”、“物”、“园”、“玩”。采用正向最大匹配算法匹配，最终输出结果为“我们”、“在”、“野生动物园”、“玩”。
[0085]再例如，对“我一个人玩要”，采用正向最大匹配算法，最终输出结果为:“我”、“一个”、“人”、“玩要”。采用逆向最大匹配算法，最终输出结果为，“我”、“一”、“个人”、“玩要”。[0086]步骤206、当所述第一子文本集合与所述第二子文本集合不相同，且所述第一子文本集合和所述第二子文本集合中具有相同字数的子文本的数量相同，且所述第一子文本集合中子文本的数量等于所述第二子文本集合中子文本的数量吋，将所述第一子文本集合作为所述待处理文本的拆分结果，并触发所述判断待处理的文本中是否存在歧义词。
[0087]本实施例中，当对中文子句采用正、逆向最大匹配算法得到的第一子文本集合与第二子文本集中子文本的数量相同，且每个子文本中的内容相同时，可以选取第一子文本集作为所述待处理文本的拆分結果，且不对所述中文字句进行歧义词判断。
[0088]当对中文子句采用正、逆向最大匹配算法得到的第一子文本集合与第二子文本集中子文本的数量不相同时，采用大颗粒度词越多越好，单字越少越好的原则进行筛选，如果筛选到一个最优结果时，不对所述中文字句进行歧义词判断。例如，对“我们在野生动物园玩”采用正向和逆向最大匹配算法拆分得到的结果不相同，但根据大颗粒度词越多越好，单字越少越好的原则可知，采用逆向最大匹配算法拆分的结果中含有大颗粒度词“野生动物园”，因此将“我们”、“在”、“野生动物园”、“玩”作为后续处理子句，且不进行歧义词判断。
[0089]当对中文子句采用正、逆向最大匹配算法得到的第一子文本集合与第二子文本集中子文本的数量相同，且所述第一子文本集合中子文本的数量等于所述第二子文本集合中子文本的数量时，可将所述第一子文本集合作为所述待处理文本的拆分结果，同时触发判断待处理的文本中是否存在歧义词，然后执行步骤101到步骤103。例如，对“我一个人玩耍”采用正向和逆向最大匹配算法拆分得到的结果无法采用大颗粒度词越多越好，单字越少越好的原则分出最优结果，可以将采用正向最大匹配算法得到的结果作为后续处理子句，并对所述中文子句“我ー个人玩要”进行歧义词判断与拆分。
[0090]本发明实施例提供的信息处理方法通过在判断待处理的文本中是否含有歧义词之前，首先对接收的信息进行预处理得到待处理的中文文本，然后采用正向最大匹配算法和逆向匹配算法对待处理的文本匹配并拆分，获得两种拆分结果，通过比较两种拆分結果，当比较结果符合一定条件时，开始判断待处理文本中的歧义词，从而減少了判断程序的调用量，提高了对接收的信息的处理效率。
[0091]第三实施例
[0092]本实施例在上述实施例的基础上，增加了如图4所示的步骤。
[0093]步骤401、合并所述拆分结果及对所述拆分出的歧义词进行拆分后得到的结果，得到分词集合，所述分词集合中的分词按照在所述待处理的文本中的位置排列。
[0094]合并经过正向或逆向最大匹配算法得到的拆分结果和由第一实施例得到的拆分结果，合并的方式可以为将经过正向或逆向最大匹配算法得到的拆分结果中的歧义词部分按照第一实施例提供的方法来拆分，其它部分保持不变。
[0095]步骤402、当所述分词集合中含有连续的单字时，根据低概率单字数据库判断所述连续的单字中是否含有低概率单字，如果是，将所述低概率单字左边的连续单字合成为ー个词，所述低概率单字右边的连续单字合成一个词。
[0096]示例性的，将所述低概率单字左边的连续单字合成为ー个词，所述低概率单字右边的连续单字合成一个词之后，本发明实施例提供的信息处理方法还可包括如图5所示的步骤。
[0097]步骤501、判断合成的词中是否存在长度大于预设值的词，如果存在，则将所述长度大于预设值的词添加到人工识别数据库。
[0098]例如，预设值可以为2，当所述合成的词的长度大于或等于2时，可将所述合成的词添加到人工识别数据中。
[0099]步骤502、从所述人工识别数据库中筛选出符合预设筛选条件的词。
[0100]所述预设的筛选条件可以为根据经验判断、根据词条出现的概率判断等，在此不作具体限定。
[0101]步骤503、将筛选出的词添加到所述扩展数据库。
[0102]将符合预设筛选条件的词添加到所述扩展数据库中，用于丰富所述词语数据库。
[0103]例如，中文子句“巴赛尔在高崖头讲话”经过上述拆分与合并后得到的拆分结果为“巴”、“赛”、“尔”、“在”、“高”、“崖”、“头”、“讲话”，其中“巴”、“赛”、“尔”、“在”、“高”、“崖”、“头”为连续的单字，根据低概率单字数据可知“在”存在于所述低概率数据中，因此可以将所述连续的单字划分为“巴赛尔”、“在”、“高崖头”三部分。经过上述步骤后，可以将“巴赛尔”和“高崖头”添加到人工识别库，根据经验可判断“巴赛尔”为一人名，因此可以将“巴赛尔”这个词添加到扩展数据库中，下次进行含有“巴赛尔”这ー词的中文子句的匹配时，可以直接匹配到该词，但本次拆分结果仍然为连续的单字。如果根据经验判断“高崖头”为一地名，也可以将“高崖头”这个词添加到扩展数据库，如果无法判断“高崖头”为ー个词，则不对所述词条进行处理。
[0104]本发明实施例提供的信息处理方法，通过将采用正向或逆向最大匹配算法对待处理的文本拆分得到的结果与歧义拆分得到的结果进行合并，并对合并后的结果中连续的单字进行判断和识别，从而提高了新词的适应性，扩充了词语数据库。
[0105]第四实施例
[0106]图6是本发明第四实施例提供的信息处理装置的示意图，用于实现图1所示的方法，所述装置包括:第一判断単元601、第一拆分单元602和第二拆分单元603。其中，所述第一判断単元601用于判断待处理的文本中是否存在歧义词；所述第一拆分单元602用于当所述第一判断単元601判断出所述待处理的文本中存在歧义词吋，从所述待处理的文本中拆分出歧义词；所述第二拆分单元603用于根据与所述第一拆分单元602拆分出的歧义词对应的分词规则，对所述拆分出的歧义词进行拆分。
[0107]示例性的，所述第一判断単元601具体可用于采用逆向最大匹配算法判断所述待处理的文本中与歧义词数据库中是否有相同的词；当所述待处理的文本中与歧义词数据库中有相同的词时，所述待处理的文本中存在歧义词；当所述待处理的文本中与歧义词数据库中没有相同的词时，所述待处理的文本中不存在歧义词。
[0108]示例性的，所述装置还可包括:预处理単元604、正向匹配単元605、逆向匹配単元606、正向拆分单元607、逆向拆分单元608和触发单元609。其中，所述预处理单元604用于在所述第一判断単元判断待处理的文本中是否存在歧义词之前根据字符编码、标点符号、人名数据库对接收的信息进行拆分，得到所述待处理的文本；所述正向匹配単元605用于通过正向最大匹配算法将所述预处理単元得到待处理的文本与词语数据库、扩展数据库中的词组匹配，得到第一种匹配结果；所述逆向匹配単元606用于通过逆向最大匹配算法将所述预处理单元得到待处理的文本与词语数据库、扩展数据库中的词组匹配，得到第二种匹配结果；所述正向拆分单元607用于根据所述正向匹配単元得到的第一种匹配结果拆分所述待处理的文本，得到第一子文本集合，所述第一子文本集合包括多个子文本；所述逆向拆分单元608用于根据所述逆向匹配単元得到的第二种匹配结果拆分所述待处理的文本，得到第二子文本集合，所述第二子文本集合包括多个子文本；所述触发単元609用于当所述第一子文本集合与所述第二子文本集合不相同，且所述第一子文本集合和所述第二子文本集合中具有相同字数的子文本的数量相同，且所述第一子文本集合中子文本的数量等于所述第二子文本集合中子文本的数量吋，将所述第一子文本集合作为所述待处理文本的拆分结果，并触发所述判断単元判断待处理的文本中是否存在歧义词。
[0109]示例性的，所述装置还可包括:合并单元610、单字处理单元611。其中所述合并单元610用于在所示第二拆分单元603根据与所述拆分出的歧义词对应的分词规则，对所述拆分出的歧义词进行拆分之后，合并所述正向拆分单元或逆向拆分单元得到的拆分结果及所述第二拆分单元得到的结果，得到分词集合，所述分词集合中的分词按照在所述待处理的文本中的位置排列；所述单字处理单元611用于当所述分词集合中含有连续的单字吋，根据低概率单字数据库判断所述连续的单字中是否含有低概率单字，如果是，将所述低概率单字左边的连续单字合成为ー个词，所述低概率单字右边的连续单字合成为ー个词。
[0110]示例性的，所述装置还可包括:第二判断単元612、筛选单元613和添加単元614。其中，所述第二判断単元612用于在将所述低概率单字左边的连续单字合成为ー个词，所述低概率单字右边的连续单字合成为ー个词之后，判断合成的词中是否存在长度大于预设值的词，如果存在，则将所述长度大于预设值的词添加到人工识别数据库；所述筛选単元613用于从所述人工识别数据库中筛选出符合预设筛选条件的词；所述添加単元614用于将筛选出的词添加到所述扩展数据库。
[0111]本发明实施例提供的信息处理装置用于执行本发明任意实施例提供的信息处理方法，具备相应的功能模块，可达到与所述方法相似的技术效果，此处不再赘述。
[0112]显然，本领域技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
[0113]以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.ー种信息处理方法，其特征在于，所述方法包括: 判断待处理的文本中是否存在歧义词； 当所述待处理的文本中存在歧义词吋，从所述待处理的文本中拆分出歧义词； 根据与所述拆分出的歧义词对应的分词规则，对所述拆分出的歧义词进行拆分。
2.根据权利要求1所述的方法，其特征在于，判断待处理的文本中是否存在歧义词，包括: 采用逆向最大匹配算法判断所述待处理的文本中与歧义词数据库中是否有相同的词； 当所述待处理的文本中与歧义词数据库中有相同的词时，所述待处理的文本中存在歧义词；当所述待处理的文本中与歧义词数据库中没有相同的词时，所述待处理的文本中不存在歧义词。
3.根据权利要求1或2所述的方法，其特征在于，判断待处理的文本中是否存在歧义词之前，还包括: 根据字符编码、标点符号、人名数据库对接收的信息进行拆分，得到所述待处理的文本； 通过正向最大匹配算法将所述待处理的文本与词语数据库、扩展数据库中的词组匹配，得到第一种匹配結果； 通过逆向最大匹配算法将所述待处理的文本与词语数据库、扩展数据库中的词组匹配，得到第二种匹配结果； 根据所述第一种匹配结果拆分所述待处理的文本，得到第一子文本集合，所述第一子文本集合包括多个子文本； 根据所述第二种匹配结果拆分所述待处理的文本，得到第二子文本集合，所述第二子文本集合包括多个子文本； 当所述第一子文本集合与所述第二子文本集合不相同，且所述第一子文本集合和所述第二子文本集合中具有相同字数的子文本的数量相同，且所述第一子文本集合中子文本的数量等于所述第二子文本集合中子文本的数量吋，将所述第一子文本集合作为所述待处理文本的拆分结果，并触发所述判断待处理的文本中是否存在歧义词。
4.根据权利要求3所述的方法，其特征在干，根据与所述拆分出的歧义词对应的分词规则，对所述拆分出的歧义词进行拆分之后，还包括: 合并所述拆分结果及对所述拆分出的歧义词进行拆分后得到的结果，得到分词集合，所述分词集合中的分词按照在所述待处理的文本中的位置排列； 当所述分词集合中含有连续的单字时，根据低概率单字数据库判断所述连续的单字中是否含有低概率单字，如果是，则将所述低概率单字左边的连续单字合成为ー个词，所述低概率单字右边的连续单字合成为ー个词。
5.根据权利要求4所述的方法，其特征在干，将所述低概率单字左边的连续单字合成为ー个词，所述低概率单字右边的连续单字合成为ー个词之后，还包括: 判断合成的词中是否存在长度大于预设值的词，如果存在，则将所述长度大于预设值的词添加到人工识别数据库； 从所述人工识别数据库中筛选出符合预设筛选条件的词；将筛选出的词添加到所述扩展数据库。
6.ー种信息处理装置，其特征在于，所述装置包括: 第一判断単元，用于判断待处理的文本中是否存在歧义词； 第一拆分单元，用于当所述第一判断単元判断出所述待处理的文本中存在歧义词吋，从所述待处理的文本中拆分出歧义词； 第二拆分单元，用于根据与所述第一拆分单元拆分出的歧义词对应的分词规则，对所述拆分出的歧义词进行拆分。
7.根据权利要求6所述的装置，其特征在于，所述第一判断単元具体用于: 采用逆向最大匹配算法判断所述待处理的文本中与歧义词数据库中是否有相同的词； 当所述待处理的文本中与歧义词数据库中有相同的词时，所述待处理的文本中存在歧义词；当所述待处理的文本中与歧义词数据库中没有相同的词时，所述待处理的文本中不存在歧义词。
8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括: 预处理単元，用于在所述第一判断単元判断待处理的文本中是否存在歧义词之前，根据字符编码、标点符号、人名数据库对接收的信息进行拆分，得到所述待处理的文本； 正向匹配単元，用于通过 正向最大匹配算法将所述预处理単元得到待处理的文本与词语数据库、扩展数据库中的词组匹配，得到第一种匹配結果； 逆向匹配単元，用于通过逆向最大匹配算法将所述预处理単元得到待处理的文本与词语数据库、扩展数据库中的词组匹配，得到第二种匹配结果； 正向拆分单元，用于根据所述正向匹配単元得到的第一种匹配结果拆分所述待处理的文本，得到第一子文本集合，所述第一子文本集合包括多个子文本； 逆向拆分单元，用于根据所述逆向匹配単元得到的第二种匹配结果拆分所述待处理的文本，得到第二子文本集合，所述第二子文本集合包括多个子文本； 触发单元，用于当所述第一子文本集合与所述第二子文本集合不相同，且所述第一子文本集合和所述第二子文本集合中具有相同字数的子文本的数量相同，且所述第一子文本集合中子文本的数量等于所述第二子文本集合中子文本的数量吋，将所述第一子文本集合作为所述待处理文本的拆分结果，并触发所述判断単元判断待处理的文本中是否存在歧义T^rI o
9.根据权利要求8所述的装置，其特征在于，所述装置还包括: 合并单元，用于在所述第二拆分单元根据与所述拆分出的歧义词对应的分词规则，对所述拆分出的歧义词进行拆分之后，合并所述正向拆分单元或逆向拆分单元得到的拆分结果及所述第二拆分单元得到的结果，得到分词集合，所述分词集合中的分词按照在所述待处理的文本中的位置排列； 单字处理单元，用于当所述分词集合中含有连续的单字时，根据低概率单字数据库判断所述连续的单字中是否含有低概率单字，如果是，将所述低概率单字左边的连续单字合成为ー个词，所述低概率单字右边的连续单字合成为ー个词。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括: 第二判断単元，用于在所述合成単元将所述低概率单字左边的连续单字合成为ー个词，所述低概率单字右边的连续单字合成一个词之后，判断合成的词中是否存在长度大于预设值的词，如果存在，则将所述长度大于预设值的词添加到人工识别数据库； 筛选单元，用于从所述人工识别数据库中筛选出符合预设筛选条件的词； 添加単元，用于将筛选出的词添加到所述扩展数据库。
【文档编号】G06F17/30GK103593338SQ201310574997
【公开日】2014年2月19日 申请日期:2013年11月15日 优先权日:2013年11月15日
【发明者】贾高峰, 龙江群, 闫慧丽 申请人:北京锐安科技有限公司