地理地址解析方法、装置、可读存储介质及电子设备与流程

文档序号:19285033发布日期:2019-11-29 23:26阅读:264来源:国知局
地理地址解析方法、装置、可读存储介质及电子设备与流程
本申请涉及互联网
技术领域
,尤其涉及地理地址解析方法、装置、计算机可读存储介质及电子设备。
背景技术
:地理地址,通常指个人的居住地点或机关团体的所在地,对应于实际的一个地理位置。从形式上说一般由国家、省市、区域、楼门号、门牌号等信息组成,通过地理地址可以准确的确定一个地理位置。目前,由于某些业务在执行时需要用户的地址,因此服务提供方可接收用户提供的地理地址的文本,如,物流平台在为用户提供物流服务时,需要用户输入收货地址和送货地址。但是,用户提供的地理地址的文本通常行文并不规范,在文本中可能携带有用户的惯用语,或者也会出现地理地址的文本填写错误等问题。而文本的行文不规范或者填写错误,可能会导致业务执行效率下降或者导致业务无法执行如,用户提供了错误的地址,物流平台无法进行配送。技术实现要素:本说明书实施例提供的地理地址解析方法、装置、计算机可读存储介质及电子设备,用于部分解决现有技术中存在的问题。本说明书实施例采用下述技术方案:本说明书提供的地理地址解析的方法,包括:对包含地理地址的待解析的文本进行分词处理,得到若干分词;针对得到的每个分词,确定该分词在预设的至少一个特征维度上的特征值,基于所述特征值得到该分词的特征向量;根据针对条件随机场模型预设的特征模板,确定与该分词关联的其他分词;根据得到的分词的特征向量、确定出的分词之间的关联关系以及所述文本,通过训练完成的条件随机场模型,确定所述文本中各分词的类型;根据确定出的分词的类型,确定所述文本的解析结果。可选地,所述特征模板是根据预设的上下文关系设定的;相应地,所述根据针对条件随机场模型预设的特征模板,确定与该分词关联的其他分词,包括:将设定所述特征模板所基于的上下文关系作为特定上下文关系;确定与该分词的上下文关系为所述特定上下文关系的其他分词,作为与该分词关联的其他分词。可选地,所述根据得到的分词的特征向量、确定出的分词之间的关联关系以及所述文本,通过训练完成的条件随机场模型,确定所述文本中各分词的类型,包括:初始化所述文本中各分词的类型;针对所述文本中的每个分词,将该分词的类型作为当前类型;根据该分词及其关联的其他分词的特征向量、所述文本、所述特征模板,确定该分词在所述当前类型下的得分;根据确定出的文本中各分词的得分,确定所述文本的总分;以最大化所述文本的总分为优化目标,调整所述文本中各分词的类型,并确定调整后所述文本的总分,直至满足所述条件随机场模型的输出条件为止,确定所述本文的总分最大化时所述文本中各分词的类型。可选地,所述特征模板包含若干特征函数;所述特征函数对应的输入数据包括:所述当前类型以及所需分词的特征向量中至少一种特征维度的特征值;或者,所述特征函数对应的输入数据包括:所述当前类型以及所需分词包含的字符;所述所需分词包括:该分词以及与该分词关联的其他分词中的至少一个;所述根据该分词及其关联的其他分词的特征向量、所述文本、所述特征模板,确定该分词在所述当前类型下的得分,包括:针对至少一个特征函数,根据所述文本确定该特征函数对应的输入数据,并将该特征函数对应的输入数据输入该特征函数,得到计算结果;将针对每个特征函数得到的计算结果的和值,作为该分词在所述当前类型下的得分。可选地,所述方法还包括:针对至少一个类型,提取属于该类型的分词包含的字符,并根据预设的转换规则,确定提取出的字符的转换结果,以按照预设的存储规则存储所述转换结果。可选地,所述方法还包括:针对属于同一类型的各分词,根据预设的合并规则,进行分词合并。可选地,所述方法还包括:对分词合并得到的合并结果进行字符串去重处理。本说明书提供的地理地址解析的装置,包括:分词模块,其配置为用于根据预设的分词方法,对待解析的文本进行分词处理,得到若干分词;特征提取模块,其配置为用于针对得到的每个分词,确定该分词在预设的至少一个特征维度上的特征值,得到该分词的特征向量;关联确定模块,其配置为用于根据针对条件随机场模型预设的特征模板,确定与该分词关联的其他分词;解析模块,其配置为用于根据得到的分词的特征向量、确定出的分词之间的关联关系以及所述文本,通过训练完成的条件随机场模型,确定所述文本中各分词的类型;确定模块,其配置为用于根据确定出的分词的类型,确定所述文本的解析结果。本说明书提供的计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述地理地址解析的方法。本说明书提供的电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述地理地址解析的方法。本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:首先对于包含地理地址的待解析的文本进行分词处理,得到若干分词,其次针对每个分词,确定该分词在预设的至少一个特征维度上的特征值,从而确定该分词的特征向量,之后,继续针对每个分词,根据针对条件随机场(conditionalrandomfieldalgorithm,crf)预设的特征模板,确定与该分词关联的其他分词,然后根据得到的各分词的特征向量、确定出的分词之间的关联关系以及该包含地理地址的待解析的文本,通过训练完成crf模型,分别确定各分词的类型,最后根据确定出的各分词的类型,确定该待解析的文本的解析结果。由于地理地址的行文不规范或者填写错误,通常导致的是字与字间的关联关系不规范,因此先通过分词处理,将文本解析的对象从包含信息较少的单个字,扩充为包含信息更丰富的分词。一方面降低了后续通过crf模型确定类型序列的复杂度,另一方面利用行文不规范或者填写错误通常不会导致一句完整文本中分词之间的关系发生改变,使得可以基于分词处理结果后对行文不规范和填写错误进行纠正成为可能。之后,根据预设的若干特征维度,确定每个分词的特征向量,相当于再次扩充了输入crf的数据的丰富程度,而预设的特征模板可保证相较于现有技术中增加的特征向量中的特征值可以输入该crf。而上述过程丰富了每个分词对应的输入,使得通过crf模型可输出更准确的分词的类型,以更准确确定文本的解析结果,减少了行文不规范等情况带来的业务执行效率下降或者业务无法执行的问题。附图说明此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:图1为本说明书实施例提供的一种地理地址解析的过程;图2为本说明书实施例提供的特征模板的示意图;图3为本说明书实施例提供的一种地理地址解析的装置的结构示意图;图4为本说明书实施例提供的对应于图1的电子设备示意图。具体实施方式为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。目前在需要对用户提供的文本进行解析时,一般方法是通过确定文本中每个字符描述的是什么类型的信息,以将文本进行标准化存储,同时也可方便后续对数据的利用。例如,确定文本中每个字符描述的是国家、省、市、楼号还是房号,其中,国家、省、市、楼号以及房号属于不同类型的信息。具体的,现有技术中对包含地理地址的文本进行解析的过程为:首先,按照预设的映射表,将文本中的非中文字符转换为中文字符。之后,针对每个中文字符,根据该中文字符在文本中的位置以及该中文字符,确定该中文字符对应的字符特征。最后,将确定出的每个中文字符对应的字符特征输入到预先训练得到的crf模型,以确定每个中文字符描述的是什么类型的信息。例如,地理地址的文本为“北京市海淀区中关村大街4号楼301房”,通过确定每个字符对应的字符特征,通过crf模型,确定“北”、“京”、“市”三个字符为“市”类型的字符,确定“海”、“淀”、“区”三个字符为“区县”类型的字符,确定“中”、“关”、“村”、“大”、“街”四个字符为“街道”类型的字符,等等。由于确定了用户提供的文本中每个字符的类型,因此还可方便后续对地理地址的文本的利用。例如,需要统计a市用户的购物习惯,则可根据用户提供的地理地址的文本中“市”类型的字符,确定在a市的用户。但是,现有技术中的文本解析方法,利用的是字符的特征以及字符的类型对文本进行解析,一旦出现行文不规范或者填写错误的情况,通过crf模型很难准确的给出字符的类型,因此得到的解析结果的准确率较低。以下结合附图,详细说明本申请各实施例提供的技术方案。图1为本说明书实施例提供的一种地理地址解析的过程,具体可包括以下步骤:s102:对包含地理地址的待解析的文本进行分词处理,得到若干分词。在本说明书中,进行解析的对象为地理地址,因此需要先获取待解析的包含地理地址的文本,例如,“北京市西城区西单北大街107号”便是包含地理地址的文本。当然,待解析的文本具体可以是仅包含地理地址的文本,例如用户填写的地址。并且,通常有这种包含地理地址的文本进行解析需求的是服务提供方,因此在本说明书中也以服务提供方的服务器执行该解析方法为例进行说明。具体的,为了避免现有技术中通过确定文本中的每个字符的类型,导致的解析结果容易受不规范行文和填写错误干扰,导致解析准确率低的问题,首先服务器可对包含地理地址的待解析的文本进行分词处理,以得到若干后续步骤需要的分词。其中,服务器具体采用何种分词方法,本说明书不做限定,且由于目前已经存在多种较为成熟的分词方法,如,基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法,因此对于具体服务器机型的分词过程本说明书在此也不再赘述。由于地理地址的行文不规范或者填写错误,通常导致的是字与字间的关联关系不规范,因此先通过分词处理,将文本解析的对象从包含信息较少的单个字,扩充为包含信息更丰富的分词。另外,由于目前分词处理过程中,通常包含繁简转换以及停用词处理等过程,也就是统一文本中分词的字符格式以及将属于停用词的分词过滤掉等功能。同样的,在本说明书中,该服务器在进行分词处理时,也可进行繁简转换以及停用词处理等常见的操作。其中,停用词的词典中包含的具体词汇可根据需要设置,本说明书不做限定。继续沿用上例中,包含地理地址的待解析的文本:“北京市西城区西单北大街107号”,进行分词后得到若干分词:“北京市”、“西城区”、“西单”、“北大街”以及“107号”。s104:针对得到的每个分词,确定该分词在预设的至少一个特征维度上的特征值,基于所述特征值得到该分词的特征向量。现有技术中在利用crf模型解析文本时,针对的是文本中的每个字符,且输入crf模型的仅是字符对应的字符特征,crf的输入数据较为单一。而在本说明书中,服务器可在得到待解析的文本包含的各分词之后,可针对每个分词,确定该分词的特征向量,并在后续步骤中基于各分词的特征向量,根据特征模板,确定训练完成的crf模型的输入,确定各分词的类型。具体的,服务器可针对步骤s102得到的每个分词,根据预设的各特征维度,根据该分词的内容,确定该分词在各特征维度上的特征值,并基于确定出的各特征维度的特征值确定该分词的特征向量。其中,特征维度可以根据需要设置,具体内容本说明书不做限定。例如,该特征维度可如表1所示。表1假设,分词为“碧桂园”,则根据分词的内容依次对应上述的特征维度可确定特征值{0、0、0、0、0、0、6}。表示“碧桂园”中不包含楼栋标志词、不包含单元标志词、不包含楼层标志词、不包含中文数字或阿拉伯数字、不包含有数字或字母以及不包含“号”字符,且分词的字节长度之和为9bit。假设,分词为“107层”,则根据分词的内容依次对应上述的特征维度可确定特征值{0、0、1、1、1、0、6},表示“107层”中不包含楼栋标志词、不包含单元标志词、包含楼层标志词、包含中文数字或阿拉伯数字、包含有数字或字母以及不包含“号”字符,且分词的字节长度之和为6bit。通过根据预设的若干特征维度,确定每个分词的特征向量,相当于扩充了后续步骤中输入crf模型的数据的丰富程度,使得crf除了可以从词义来对每个分词的类型“打分”以外,还可以根据其他因素“打分”,即利用各特征维度组成的特征向量来“打分”。进一步缓解由于用户书写错误或者不规范所导致的问题。s106:根据针对条件随机场模型预设的特征模板,确定与该分词关联的其他分词。在本说明书中,服务器在确定出各分词的特征向量之后,还需要确定每个分词对应的输入,以便后续步骤中通过训练完成的crf模型,以及分词对应的输入,确定出各分词的类型。具体的,该特征模型规定了crf模型中每个分词对应的输入的内容,可根据需要基于预设的上下文关系设置。由于在步骤s104中确定出了每个分词的特征向量,特征向量中的各特征值都有可能用于输入,因此该特征模板规定了,针对每个分词,该分词的输入中对应的该分词自身特征向量的特征值,以及与该分词存在上下文关系的其他分词的特征向量的特征值。在本说明书中,服务器可将设定该特征模板所基于的上下文关系作为特定上下文关系,之后针对每个分词,确定与该分词的上下文关系为该特定上下文关系的其他分词,作为与该分词关联的其他分词。例如,在本说明书中针对crf模型预设的特征模板可如图2所示。其中,中括号为一种地址表示模式,逗号前的数字表示所需分词的相对位置,逗号后的数字表示特征向量中特征值对应的位数。该特征模板表示针对当前输入需要获取的特征都有哪些,假设待解析文本为“南浦御园3栋(一单元2801号)”,分词结果为:南浦/御园/3/栋/(/一/单元/2801号/),针对分词“单元”,[0,0]表示分词“单元”对应的特征向量中第0位的特征值作为输入。[-2,1]表示分词“单元”往文本开始数的第2个分词,即“(”字符对应的特征向量中第1位的特征值作为输入。[-1,0]表示分词“单元”后一个分词,即“2801号”字符对应的特征向量中第0位的特征值作为输入。则根据中括号中首位字符可针对每个分词,确定与该分词具有特定上下文关系的其他分词,这一特定上文关系可根据需要设置。s108:根据得到的分词的特征向量、确定出的分词之间的关联关系以及所述文本,通过训练完成的条件随机场模型,确定所述文本中各分词的类型。在本说明书中,在确定出各分词的特征向量,以及针对各分词,确定出与该分词关联的其他分词后,服务器便可通过训练完成的条件随机场模型,确定待解析的文本中各分词的类型。首先服务器可对该文本中的每个分词的类型进行初始化处理。例如,服务器可针对每个分词,随机从预设的类型中,选择一个类型,确定为初始化的该分词的类型。例如,以解析地理地址为例,地理地址中分词的类型可包括:区域、楼栋、楼层以及房间四种类型。则服务器可对每个分词随机选择一个分类,作为该分词的当前类型。之后根据该分词的特征向量、与该分词关联的其他分词的特征向量、该文本的字符,根据该特征模板,确定该分词在该当前类型的得分。具体的,服务器可根据该特征模板以及对应的特征函数,确定特征函数中所需的分词,以及对应的输入数据。其中,所需的分词如图2以及步骤s104中所述的,以中括号内的逗号前的数值表示的相对位置确定。对应的输入数据,以中括号中逗号后的数值表示。其中,通过训练crf模型,可以确定出对应特征模板的各特征函数的参数,如,图2中的每个中括号可视为是一个特征函数的输入,每行可视为是一个特征函数,或者也可将整个特征模本视为是一个输出分词对应的分数的函数。由于通过步骤s104确定出了每个分词的特征向量,就是为了丰富分词对应的信息,以增加crf模型的效果,因此在本说明书输入特征函数的数据可包括:所需分词的类型以及所需分词的特征向量中至少一种特征维度的特征值,或者所需分词的类型以及所需分词包含的字符。其中所述分词包含的字符,可以根据预先设置的词典中该所需分词对应的标识确定,或者根据美国信息交换标准代码(americanstandardcodeforinformationinterchange,ascii)确定,具体如何设置,本说明书不做限制。需要说明的是,在本说明书中,在针对每个分词,当确定该分词在当前类型下的得分时,在步骤s106中确定与该分词关联的分词,以及该分词自身均为所需分词,具体哪个分词对应的哪个特征值是需要输入特征函数的,可根据特征模板确定。例如,假设某个文本经过分词后,得到的分词结果为“a/b/c”,假设特征模板为“u01:%x[-1,0]u00:%x[0,0]”,则对于分词a来说,在初始化分词a、分词b以及分词c的类型之后,针对分词a,确定分词a在当前类型下的得分时,由于分词a之前没有其他分词,因此所需的分词只有分词a,利用分词a的特征向量中的第一个特征维度的特征值输入特征函数中,确定分词a在当前类型下的得分。对于分词b,所需的分词为分词a和分词b,可分别将分词a和分词b的特征向量中的第一个特征维度的特征值分别输入对应的特征函数(即,“u01:%x[-1,0]”和“u00:%x[0,0]”)中,将特征函数输出的和值作为该分词b在当前类型下的得分。对于分词c,所需的分词为分词b和分词c,可见所需分词与分词b的所需分词不同,但是所需的分词需要计算得分的分词,以及需要计算得分的分词的前一个分词,通过类似的过程也可得到分词c在当前类型下的得分。继续沿用步骤s106中的举例,假设待解析的文本为“南浦御园3栋(一单元2801号)”,分词结果为:南浦/御园/3/栋/(/一/单元/2801号/),通过步骤s104确定出的特征向量如表2所示。表2继续沿用上例,假设初始化的类型如表3所示。南浦御园3栋(一单元2801号)sadbbdebdsutbflmflmflmflefl表3其中,表3中第一行为分词,第二行为各分词对应的类型的标识,其中,类型标识形式为pq,其中p的取值包括:b、m、e以及s,分别表示类型的起始部分分词、类型的中间部分分词、类型的结束部分分词以及类型全部分词。如分词水木/春城,其中水木类型可以是b,春城为e。如分词水木/青鸟/春城,分类型分别依次为b/m/e。若假设水木的类型为s,则表示水木与青鸟的类型不同,水木这个分词就对应了一种类型,而不与其他分词属于同一个类型。q的取值包括:ad、bd、ut、fl、sc以及un,分别表示区域、楼栋、单元、楼层、门牌号以及无类别信息。则通过图2所示的特征模本、表2所示的特征向量以及表3所示的分类,针对每个分词:南浦/御园/3/栋/(/一/单元/2801号/),服务器可确定每个分词在初始化后的类型下的得分,并可根据各分词的得分之和,确定该待解析的文本的总分。之后,再以最大化该文本的总分为优化目标,调整该文本中至少一个分词的类型,并确定调整之后该文本的总分。服务器可重复调整过程,不断以总分最大化来调整各分词的总分,直至调整过程满足crf模型的输出条件为止,确定该文本总分最大化时,文本中各分词的类型。其中,输出条件可以根据需要设置,例如,调整次数达到预设值。由于针对每个分词,通过前述步骤确定了该分词的特征向量,确定出的是该分词在不同特征维度下的特征值,而这些特征值之间可存在潜在关系。例如,以表1所示的特征维度来说,分词不包含数字或字母,则分词的编码长度应该为3bit的倍数。那么通过特征模板的设置,可以为crf的特征函数利用这种潜在关系进行“打分”提供可能。例如基于图2中特征模板中的最后一行,输入的是同一个分词的多个不同特征维度的特征值。并且,特征维度中可包含多种不同的标志词,不同标志词可对应的分词类型应该不同。如分词在楼栋标识词特征维度上的特征值为1,则当前该分词的类型的角标为bd时crf模型给出的得分可能较高,可以提高crf模型输出结果的准确性。s108:根据确定出的分词的类型,确定所述文本的解析结果。在本说明书中,服务器可直接将根据crf模型确定出的各分词的类型,作为对该文本的解析结果。或者,服务器也可根据各分词的类型,对各分词进行标准化等处理之后,确定该文本的解析结果。具体的,在本说明书中,服务器可针对至少一个类型,提取属于该类型的分词包含的字符,并根据预设的转换规则,确定提取出的字符的转换结果,以按照预设的存储规则存储转换结果。例如,对分类为bd以及ut的分词,即,属于楼栋和单元的分词。提取分词的字符中的数字字符以及字母字符,如“a座”提取“a”。对分类词类型为sc以及un的分词,即,属于楼层以及门牌号的分词。提取代表楼层或者门牌号的数字字符,如“7楼”提取“7”,“701号”提取“701”。另外,服务器还可针对属于同一类型的各分词,根据预设的合并规则,进行分词合并。例如,针对属于ad类型的各分词,将连续或非连续的该类型的分词并为一个整体。如,将“南浦”和“御园”两个分词合并为“南浦御园”。进一步地,服务器还可对进行分词合并得到的合并结果,进行字符串去重处理。例如,假设文本为“望京花园1区望京花园3号楼7楼701”,其中,同为ad类型的分词包括“望京”、“花园”、“望京”以及“花园”,进行合并后得到ad类型的合并结果“望京花园望京花园”,则进行字符串去重时,可先确定该合并结果中最长的且相同的字符串,如,“望京花园”,再去除与该字符串相同的其他字符串,则文本去重处理后的结果为“望京花园1区3号楼7楼701”。基于图1所示的地理地址解析的方法,首先对于包含地理地址的待解析的文本进行分词处理,得到若干分词,其次针对每个分词,确定该分词在预设的至少一个特征维度上的特征值,从而确定该分词的特征向量,之后,继续针对每个分词,根据针对crf预设的特征模板,确定与该分词关联的其他分词,然后根据得到的各分词的特征向量、确定出的分词之间的关联关系以及该包含地理地址的待解析的文本,通过训练完成crf模型,分别确定各分词的类型,最后根据确定出的各分词的类型,确定该待解析的文本的解析结果。由于地理地址的行文不规范或者填写错误,通常导致的是字与字间的关联关系不规范,因此先通过分词处理,将文本解析的对象从包含信息较少的单个字,扩充为包含信息更丰富的分词。一方面降低了后续通过crf模型确定类型序列的复杂度,另一方面利用行文不规范或者填写错误通常不会导致一句完整文本中分词之间的关系发生改变,使得可以基于分词处理结果后对行文不规范和填写错误进行纠正成为可能。之后,根据预设的若干特征维度,确定每个分词的特征向量,相当于再次扩充了输入crf的数据的丰富程度,而预设的特征模板可保证相较于现有技术中增加的特征向量中的特征值可以输入该crf。而上述过程丰富了每个分词对应的输入,使得通过crf模型可输出更准确的分词的类型,以更准确确定文本的解析结果。减少了行文不规范等情况带来的业务执行效率下降或者业务无法执行的问题。另外,在本说明书中,服务器可以根据历史上接收到的包含地理地址的文本,确定训练样本。并根据人工解析出的该文本中的每个分词的类型,确定该训练样本的标准总分。以该标准总分为优化目标,调整该crf模型的参数。例如,以根据crf模型输出的总分以及该标准总分的差值,确定损失,以损失最小为目标调整crf模型中各特征函数的参数以及调整各特征函数的权重值。基于图1所示的地理地址解析方法,本说明书实施例还对应提供一种地理地址解析的装置的结构示意图,如图3所示。图3为本说明书实施例提供的一种地理地址解析的装置的结构示意图,所述装置包括:分词模块200,其配置为用于根据预设的分词方法,对待解析的文本进行分词处理,得到若干分词;特征提取模块202,其配置为用于针对得到的每个分词,确定该分词在预设的至少一个特征维度上的特征值,得到该分词的特征向量;关联确定模块204,其配置为用于根据针对条件随机场模型预设的特征模板,确定与该分词关联的其他分词;解析模块206,其配置为用于根据得到的分词的特征向量、确定出的分词之间的关联关系以及所述文本,通过训练完成的条件随机场模型,确定所述文本中各分词的类型;确定模块208,其配置为用于根据确定出的分词的类型,确定所述文本的解析结果。可选地,所述特征模板是根据预设的上下文关系设定的,所述关联确定模块204,其配置为用于将设定所述特征模板所基于的上下文关系作为特定上下文关系,确定与该分词的上下文关系为所述特定上下文关系的其他分词,作为与该分词关联的其他分词。可选地,所述解析模块206,其配置为用于初始化所述文本中各分词的类型,针对所述文本中的每个分词,将该分词的类型作为当前类型,根据该分词及其关联的其他分词的特征向量、所述文本、所述特征模板,确定该分词在所述当前类型下的得分,根据确定出的文本中各分词的得分,确定所述文本的总分,以最大化所述文本的总分为优化目标,调整所述文本中各分词的类型,并确定调整后所述文本的总分,直至满足所述条件随机场模型的输出条件为止,确定所述本文的总分最大化时所述文本中各分词的类型。可选地,所述特征模板包含若干特征函数,所述特征函数对应的输入数据包括:所述当前类型以及所需分词的特征向量中至少一种特征维度的特征值,或者,所述特征函数对应的输入数据包括:所述当前类型以及所需分词包含的字符,所述所需分词包括:该分词以及与该分词关联的其他分词中的至少一个,所述解析模块206,其配置为用于针对至少一个特征函数,根据所述文本确定该特征函数对应的输入数据,并将该特征函数对应的输入数据输入该特征函数,得到计算结果,将针对每个特征函数得到的计算结果的和值,作为该分词在所述当前类型下的得分。可选地,所述确定模块208,其配置为用于针对至少一个类型,提取属于该类型的分词包含的字符,并根据预设的转换规则,确定提取出的字符的转换结果,以按照预设的存储规则存储所述转换结果。可选地,所述确定模块208,其配置为用于针对属于同一类型的各分词,根据预设的合并规则,进行分词合并。可选地,所述确定模块208,其配置为用于对分词合并得到的合并结果进行字符串去重处理。基于图3所示的地理地址解析的装置,首先对于包含地理地址的待解析的文本进行分词处理,得到若干分词,其次针对每个分词,确定该分词在预设的至少一个特征维度上的特征值,从而确定该分词的特征向量,之后,继续针对每个分词,根据针对crf预设的特征模板,确定与该分词关联的其他分词,然后根据得到的各分词的特征向量、确定出的分词之间的关联关系以及该包含地理地址的待解析的文本,通过训练完成crf模型,分别确定各分词的类型,最后根据确定出的各分词的类型,确定该待解析的文本的解析结果。由于地理地址的行文不规范或者填写错误,通常导致的是字与字间的关联关系不规范,因此先通过分词处理,将文本解析的对象从包含信息较少的单个字,扩充为包含信息更丰富的分词。一方面降低了后续通过crf模型确定类型序列的复杂度,另一方面利用行文不规范或者填写错误通常不会导致一句完整文本中分词之间的关系发生改变,使得可以基于分词处理结果后对行文不规范和填写错误进行纠正成为可能。之后,根据预设的若干特征维度,确定每个分词的特征向量,相当于再次扩充了输入crf的数据的丰富程度,而预设的特征模板可保证相较于现有技术中增加的特征向量中的特征值可以输入该crf。而上述过程丰富了每个分词对应的输入,使得通过crf模型可输出更准确的分词的类型,以更准确确定文本的解析结果。减少了行文不规范等情况带来的业务执行效率下降或者业务无法执行的问题。本说明书实施例还提供了的计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述地理地址解析的方法中的任一个。本说明书实施例还提出了图4所示的电子设备的示意结构图。如图4,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现任一个上述的地理地址解析的方法。当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(programmablelogicdevice,pld)(例如现场可编程门阵列(fieldprogrammablegatearray,fpga))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logiccompiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(hardwaredescriptionlanguage,hdl),而hdl也并非仅有一种,而是有许多种,如abel(advancedbooleanexpressionlanguage)、ahdl(alterahardwaredescriptionlanguage)、confluence、cupl(cornelluniversityprogramminglanguage)、hdcal、jhdl(javahardwaredescriptionlanguage)、lava、lola、myhdl、palasm、rhdl(rubyhardwaredescriptionlanguage)等,目前最普遍使用的是vhdl(very-high-speedintegratedcircuithardwaredescriptionlanguage)与verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(applicationspecificintegratedcircuit,asic)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:arc625d、atmelat91sam、microchippic18f26k20以及siliconelabsc8051f320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1