文本校正方法和装置的制造方法
【技术领域】
[0001 ]本申请涉及计算机技术领域，具体涉及文本处理技术领域，尤其涉及文本校正方法和装置。
【背景技术】
[0002]随着人工智能技术的不断发展，越来越多的服务或商品提供商开始建立智能服务交互系统，以便24小时不间断的为用户提供所需要的咨询或业务服务。通常用户可以通过输入文字信息与这类智能系统进行交互。但是，用户所输入的文字信息经常会因为各种原因(例如，拼写错误或按键错误)出现词不达意的情况，而使得用户无法从智能系统中获取有效的帮助信息。因此，对用户在智能交互系统中输入的语句进行纠错，是所有智能交互系统都必须解决的问题。
[0003]在现有技术中，主要通过预先配置的纠错规则，对用户输入的文本进行校正。具体可以将所有命中纠错规则的词，全都校正为纠错后的词，例如，只要用户输入“优惠卷”，就将其校正为“优惠券”。由于这种纠错规则中只能包括一定数量的固定词汇，因此只能对部分特定词汇进行校正。例如，只能将“ipone6”校正为“Iphone6”，而无法将“ipone6”校正为“Iphone”，也无法对“iphne6”、“iphon6”、“ipone6”等进行校正，因此导致文本校正的准确率和召回率都比较低。
【发明内容】
[0004]本申请的目的在于提出一种文本校正方法和装置，来解决以上【背景技术】部分提到的技术问题。
[0005]第一方面，本申请提供了一种文本校正方法，所述方法包括:接收用户输入的文本信息;通过第一语言模型确定出所述文本信息中的至少一个出错词;基于预定规则确定出与所述出错词对应的候选词;使用所述候选词替换所述出错词，得到校正后的文本信息。
[0006]在一些实施例中，所述通过第一语言模型确定出所述文本信息中的至少一个出错词，包括:通过所述第一语言模型计算所述文本信息中每个词的出现概率;根据所述每个词的出现概率，确定出所述文本信息中的至少一个出错词。
[0007]在一些实施例中，所述第一语言模型是通过以下方法得到的:获取历史文本信息；对所述历史文本信息进行预处理，得到训练样本;使用所述训练样本进行语言模型训练，得到所述第一语言模型;其中，所述预处理包括文本过滤、切词和泛化。
[0008]在一些实施例中，所述预处理还包括基于业务类型的分类;所述使用所述训练样本进行语言模型训练，得到所述第一语言模型，包括:通过循环神经网络算法，对分类后的训练样本分别进行语言模型训练，得到每个业务类型对应的第一语言模型;所述通过所述第一语言模型计算所述文本信息中每个词的出现概率，包括:确定所述文本信息对应的业务类型;通过与该业务类型对应的第一语言模型计算所述文本信息中每个词的出现概率。
[0009]在一些实施例中，所述预定规则包括拼音规则、字形规则、编辑距离规则中的至少一项;所述文本校正方法还包括:若所述出错词对应多个候选词，通过第二语言模型分别计算每个候选词的出现次数;根据所述每个候选词的出现次数，从所述多个候选词中选定至少一个待定候选词；其中，所述第二语言模型是使用所述训练样本对一元语言模型训练得到的。
[0010]在一些实施例中，所述使用所述候选词替换所述出错词，得到校正后的文本信息，包括:分别使用每个所述待定候选词替换所述出错词，得到至少一个待定文本信息;通过所述第一语言模型分别计算每个所述待定文本信息的出现概率;根据所述待定文本信息的出现概率，将一个待定文本信息确定为校正后的文本信息。
[0011]第二方面，本申请提供了一种文本校正装置，所述装置包括:接收模块，用于接收用户输入的文本信息；出错词确定模块，用于通过第一语言模型确定出所述文本信息中的至少一个出错词;候选词确定模块，用于基于预定规则确定出与所述出错词对应的候选词；校正模块，用于使用所述候选词替换所述出错词，得到校正后的文本信息。
[0012]在一些实施例中，所述出错词确定模块进一步用于:通过所述第一语言模型计算所述文本信息中每个词的出现概率;根据所述每个词的出现概率，确定出所述文本信息中的至少一个出错词。
[0013]在一些实施例中，所述第一语言模型是通过以下方法得到的:获取历史文本信息；对所述历史文本信息进行预处理，得到训练样本;使用所述训练样本进行语言模型训练，得到所述第一语言模型;其中，所述预处理包括文本过滤、切词和泛化。
[0014]在一些实施例中，所述预处理还包括基于业务类型的分类;所述使用所述训练样本进行语言模型训练，得到所述第一语言模型，包括:通过循环神经网络算法，对分类后的训练样本分别进行语言模型训练，得到每个业务类型对应的第一语言模型;所述通过所述第一语言模型计算所述文本信息中每个词的出现概率，包括:确定所述文本信息对应的业务类型;通过与该业务类型对应的第一语言模型计算所述文本信息中每个词的出现概率。
[0015]在一些实施例中，所述预定规则包括拼音规则、字形规则、编辑距离规则中的至少一项;所述文本校正装置还包括:计算模块，用于若所述出错词对应多个候选词，通过第二语言模型分别计算每个候选词的出现次数;选定模块，用于根据所述每个候选词的出现次数，从所述多个候选词中选定至少一个待定候选词;其中，所述第二语言模型是使用所述训练样本对一元语言模型训练得到的。
[0016]在一些实施例中，所述校正模块进一步用于:分别使用每个所述待定候选词替换所述出错词，得到至少一个待定文本信息;通过所述第一语言模型分别计算每个所述待定文本信息的出现概率;根据所述待定文本信息的出现概率，将一个待定文本信息确定为校正后的文本信息。
[0017]本申请提供的文本校正方法和装置，可以首先通过预先训练的第一语言模型从用户输入的文本信息中确定出至少一个出错词，然后根据预定规则确定出与出错词对应的候选词，最后使用候选词替换出错词，以实现文本校正。通过预先训练的语言模型可以准确的确定出文本信息所要表达的用户意图，使得据此校正后的文本更加精准，从而提升了文本校正的准确率和召回率。
【附图说明】
[0018]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显:
[0019]图1是本申请可以应用于其中的示例性系统架构图；
[0020]图2是本申请文本校正方法的一个实施例的流程图；
[0021 ]图3是本申请文本校正方法的另一个实施例的流程图；
[0022]图4是本申请文本校正装置的一个实施例的结构示意图；
[0023]图5是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
【具体实施方式】
[0024]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
[0025]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0026]图1示出了可以应用本申请的文本校正方法或文本校正装置的实施例的示例性系统架构100。
[0027]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0028]用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如电子商务类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。用户可以在终端设备101、102、103上输入文本信息，服务器105可以通过网络104，接收由终端设备101、102、103发送的用户输入的文本信息。
[0029]终端设备101、102、103可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Aud1 Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Aud1 Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
[0030]服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上运行的应用提供支持的后台服务器。
[0031]需要说明的是，本申请实施例所提供的文本校正方法一般由服务器105执行，相应地，文本校正装置一般设置于服务器105中。
[0032]应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备