文本正则化模型训练方法和装置、文本正则化方法和装置与流程

本申请涉及计算机技术领域，具体涉及语音合成技术领域，尤其涉及文本正则化模型训练方法和装置、文本正则化方法和装置。

背景技术：

人工智能(artificialintelligence，ai)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语音识别、语音合成、图像识别、自然语言处理和专家系统等。其中，语音合成技术是计算机科学领域与人工智能领域中的一个重要方向。

语音合成是通过机械的、电子的方法产生人造语音的技术。tts(texttospeech，文本到语音)技术隶属于语音合成，它是将计算机自己产生的、或外部输入的文字信息转变为可以听得懂的、流利的口语输出的技术。而文本正则化是语音合成的关键技术环节，它是将文本中的非标准字符转换成标准字符的过程，例如在中文文本正则化中，标准字符为汉字字符，非标准字符为包括符号、字母、阿拉伯数字等的非汉字字符，则文本正则化是将非汉字字符转换成汉字字符的过程。

现有的文本正则化方法大多是基于规则的，通过对语料的观察和统计，设定一些非标准字符到标准字符的转换规则，例如对后面紧跟着单位的数字串按照数值的读法来度，依据这种规则，例如“100千克”的正则化结果为“一百千克”，而不是“幺零零千克”。然而，由基于规则的方法的泛化性很差，且对文本的上下文有严格的限制，文本格式或内容稍有改变，对应的规则就可能失效。并且随着tts请求增多各文本多样性变化，规则数量逐渐增多，规则的维护越来越困难，不利于节约资源。

技术实现要素：

为了解决上述背景技术部分提到的一个或多个技术问题，本申请实施例提供了文本正则化模型训练方法和装置、文本正则化方法和装置。

第一方面，本申请实施例提供了一种文本正则化模型训练方法，包括：将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中，文本正则化模型对应的神经网络包括编码器和解码器；对输入字符序列中的每个字符，基于解码器中的隐藏层在对输入的上一个字符解码后的状态，采用编码器进行编码，得到字符的中间语义向量，并采用解码器对中间语义向量进行解译，得到字符的预测结果；根据输入字符序列的预测结果与输入文本对应的标注结果之间的差异，对神经网络的参数进行调整；其中，输入文本对应的输入字符序列是按照如下方式生成的：按照第一预设粒度对输入文本进行分割得到第一分割结果；对第一分割结果中的非汉字字符进行相应的标签化处理，得到输入字符序列。

在一些实施例中，上述编码器由循环神经网络构建，包括与输入字符序列中的各字符一一对应的多个隐节点；上述基于解码器中的隐藏层在对输入的上一个字符解码后的状态，采用编码器进行编码，得到字符的中间语义向量，包括：基于解码器中的隐藏层在对输入的上一个字符解码后的状态，计算编码器中各隐节点的状态权重；基于状态权重，对各隐节点的状态进行加权求和得到输入的当前字符的中间语义向量。

在一些实施例中，上述将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中，包括：将输入字符序列中的字符分别按照正向排序和反向排序依次输入待生成的文本正则化模型对应的神经网络中；编码器是由双向循环神经网络构建的，包括双层隐节点，双层隐节点中的一层隐节点对应按照正向排序输入的字符，双层隐节点中的另一层隐节点对应按照反向排序输入的字符。

在一些实施例中，上述非汉字字符包括以下至少一项：符号字符、连续数字字符、连续字母字符；上述对第一分割结果中的非汉字字符进行相应的标签化处理，包括：将第一分割结果中的符号字符替换为符号字符的读音类型的标签，将第一分割结果中的连续数字字符替换为连续数字字符的语义类型的标签、在第一分割结果中的连续字母字符的首尾两端添加字母标签。

在一些实施例中，上述输入文本对应的标注结果包括与输入文本的正则化文本对应的目标字符序列；与输入文本的正则化文本对应的目标字符序列按照如下方式生成：将与输入文本对应的正则化文本按照第二预设粒度进行分割，得到第二分割结果，第二分割结果包括以下至少一项：与输入文本中的单个汉字字符对应的单个汉字字符、与输入文本中的连续数字字符对应的第一汉字字符串、与输入文本中的符号字符对应的第二汉字字符串、以及与输入文本中的连续字母字符对应的多个字母字符；将第二分割结果中的第一汉字字符串替换为对应的连续数字字符的语义类型的标签，将第二分割结果中的第二汉字字符串替换为对应的符号字符的读音类型的标签，在第二分割结果中的连续字母字符对应的多个字母字符的首尾两端添加字母标签。

第二方面，本申请实施例提供了一种文本正则化方法，包括：获取已按照第一预设粒度对待处理文本进行分割，并将分割结果中的非汉字字符进行标签化处理后得到的待处理字符序列；将待处理字符序列输入已训练的文本正则化模型，得到输出字符序列；对输出字符序列中的字符进行去标签化处理，并按顺序组合标签化处理后的各字符，得到待处理文本的正则化文本；其中，文本正则化模型基于如第一方面提供的方法训练。

在一些实施例中，上述非汉字字符包括以下至少一项：符号字符、连续数字字符、连续字母字符；上述分割结果中的非汉字字符是按照如下方式进行标签化处理的：将分割结果中的符号字符替换为符号字符的读音类型的标签，将分割结果中的连续数字字符替换为连续数字字符的语义类型的标签、将分割结果中的连续字母字符拆分为单个字母字符并在连续字母字符的首尾两端添加字母标签。

在一些实施例中，上述输出字符序列中的字符包括以下至少一项：与待处理文本中的单个汉字字符对应的单个汉字字符、与待处理文本中的连续数字字符对应的语义类型标签、与待处理文本中的符号字符对应的读音类型标签、以及与待处理文本中的连续字母字符对应的首尾两端包括字母标签的多个字母；上述对输出字符序列中的字符进行去标签化处理，包括：将输出字符序列中与待处理文本中的连续数字字符对应的语义类型标签替换为与语义类型标签对应的汉字字符；将输出字符序列中与待处理文本中的符号字符对应的读音类型标签替换为与读音类型标签对应的汉字字符；将输出字符序列中的字母标签删除。

第三方面，本申请实施例提供了一种文本正则化模型训练装置，包括：输入单元，用于将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中，文本正则化模型对应的神经网络包括编码器和解码器；预测单元，用于对输入字符序列中的每个字符，基于解码器中的隐藏层在对输入的上一个字符解码后的状态，采用编码器进行编码，得到字符的中间语义向量，并采用解码器对中间语义向量进行解译，得到字符的预测结果；调整单元，用于根据输入字符序列的预测结果与输入文本对应的标注结果之间的差异，对神经网络的参数进行调整；其中，输入文本对应的输入字符序列是按照如下方式生成的：按照第一预设粒度对输入文本进行分割得到第一分割结果；对第一分割结果中的非汉字字符进行相应的标签化处理，得到输入字符序列。

在一些实施例中，上述编码器由循环神经网络构建，包括与输入字符序列中的各字符一一对应的多个隐节点；上述预测单元进一步用于按照如下方式采用编码器进行编码，得到字符的中间语义向量：基于解码器中的隐藏层在对输入的上一个字符解码后的状态，计算编码器中各隐节点的状态权重；基于状态权重，对各隐节点的状态进行加权求和得到输入的当前字符的中间语义向量。

在一些实施例中，上述输入单元进一步用于按照如下方式将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中：将输入字符序列中的字符分别按照正向排序和反向排序依次输入待生成的文本正则化模型对应的神经网络中；编码器是由双向循环神经网络构建的，包括双层隐节点，双层隐节点中的一层隐节点对应按照正向排序输入的字符，双层隐节点中的另一层隐节点对应按照反向排序输入的字符。

在一些实施例中，上述非汉字字符包括以下至少一项：符号字符、连续数字字符、连续字母字符；上述第一分割结果中的非汉字字符是按照如下方式进行相应的标签化处理的：将第一分割结果中的符号字符替换为符号字符的读音类型的标签，将第一分割结果中的连续数字字符替换为连续数字字符的语义类型的标签、在第一分割结果中的连续字母字符的首尾两端添加字母标签。

在一些实施例中，上述输入文本对应的标注结果包括与输入文本的正则化文本对应的目标字符序列；上述与输入文本的正则化文本对应的目标字符序列按照如下方式生成：将与输入文本对应的正则化文本按照第二预设粒度进行分割，得到第二分割结果，第二分割结果包括以下至少一项：与输入文本中的单个汉字字符对应的单个汉字字符、与输入文本中的连续数字字符对应的第一汉字字符串、与输入文本中的符号字符对应的第二汉字字符串、以及与输入文本中的连续字母字符对应的多个字母字符；将第二分割结果中的第一汉字字符串替换为对应的连续数字字符的语义类型的标签，将第二分割结果中的第二汉字字符串替换为对应的符号字符的读音类型的标签，在第二分割结果中的连续字母字符对应的多个字母字符的首尾两端添加字母标签。

第四方面，本申请实施例提供了一种文本正则化装置，包括：获取单元，用于获取已按照第一预设粒度对待处理文本进行分割，并将分割结果中的非汉字字符进行标签化处理后得到的待处理字符序列；转换单元，用于将待处理字符序列输入已训练的文本正则化模型，得到输出字符序列；处理单元，用于对输出字符序列中的字符进行去标签化处理，并按顺序组合标签化处理后的各字符，得到待处理文本的正则化文本；其中，文本正则化模型基于如第一方面提供的方法训练。

在一些实施例中，上述非汉字字符包括以下至少一项：符号字符、连续数字字符、连续字母字符；上述分割结果中的非汉字字符是按照如下方式进行标签化处理的：将分割结果中的符号字符替换为符号字符的读音类型的标签，将分割结果中的连续数字字符替换为连续数字字符的语义类型的标签、将分割结果中的连续字母字符拆分为单个字母字符并在连续字母字符的首尾两端添加字母标签。

在一些实施例中，上述输出字符序列中的字符包括以下至少一项：与待处理文本中的单个汉字字符对应的单个汉字字符、与待处理文本中的连续数字字符对应的语义类型标签、与待处理文本中的符号字符对应的读音类型标签、以及与待处理文本中的连续字母字符对应的首尾两端包括字母标签的多个字母；上述处理单元进一步用于按照如下方式对输出字符序列中的字符进行去标签化处理：将输出字符序列中与待处理文本中的连续数字字符对应的语义类型标签替换为与语义类型标签对应的汉字字符；将输出字符序列中与待处理文本中的符号字符对应的读音类型标签替换为与读音类型标签对应的汉字字符；将输出字符序列中的字母标签删除。

本申请实施例提供的文本正则化模型训练方法和装置，通过将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中，神经网络包括编码器和解码器；然后，对输入字符序列中的每个字符，基于解码器中的隐藏层在对输入的上一个字符解码后的状态，采用编码器进行编码，得到字符的中间语义向量，并采用解码器对中间语义向量进行解译，得到字符的预测结果；之后根据输入字符序列的预测结果与输入文本对应的标注结果之间的差异，对神经网络的参数进行调整；其中，输入文本对应的输入字符序列是按照如下方式生成的：按照第一预设粒度对输入文本进行分割得到第一分割结果；对第一分割结果中的非汉字字符进行相应的标签化处理，得到输入字符序列，实现了结合上下文的文本正则化模型的自动化训练，得到的文本正则化模型灵活性强，可以应用于复杂多样的文本，同时解决了规则维护的资源消耗问题，并且训练得到的文本正则化模型表达力强，可以提升文本正则化的准确性。

本申请实施例提供的文本正则化方法和装置，通过按照第一预设粒度对待处理文本进行分割，并将分割结果中的非汉字字符进行标签化处理，得到待处理字符序列；而后将待处理字符序列输入已训练的文本正则化模型，得到目标输出字符序列；最后对输出字符序列中的字符进行去标签化处理，并按顺序组合标签化处理后的各字符，得到待处理文本的正则化文本；其中，文本正则化模型基于上述文本正则化模型训练方法训练，实现了灵活性强、准确性高的文本正则化的自动化处理，降低了维护成本。

附图说明

通过阅读参照以下附图所作的对非限制性实施例详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的文本正则化模型训练方法的一个实施例的流程示意图；

图3是根据本申请实施例的文本正则化模型的一个结构示意图；

图4是根据本申请的文本正则化方法的一个实施例的流程示意图；

图5是本申请的文本正则化模型训练装置的一个实施例的结构示意图；

图6是本申请的文本正则化装置的一个实施例的结构示意图；

图7是适于用来实现本申请实施例的服务器或终端设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的文本正则化模型的训练方法或装置、可以应用本申请的文本正则化方法或装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102，网络103、以及服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户110可以使用终端设备101、102通过网络103与服务器104互，以接收或发送消息等。终端设备101、102上可以安装有各种语音交互类应用。

终端设备101、102可以是具有音频输入接口和音频输出接口并支持互联网访问的各种电子设备，包括但不限于智能手机、平板电脑、智能手表、电子书、智能音箱等。

服务器104可以是为语音服务提供支持的语音服务器，语音服务器可以接收终端设备101、102发出的语音交互请求，并对语音交互请求进行解析，然后查找相应的文本服务数据，将文本服务数据进行文本正则化处理后生成响应数据，并将生成的响应数据返回给终端设备101、102。

需要说明的是，本申请实施例所提供的文本正则化模型训练方法和文本正则化方法可以由终端设备101、102或服务器104执行，相应地，文本正则化模型训练装置和文本正则化装置可以设置于终端设备101、102或服务器104中。

应该理解，图1中的终端设备、网络、服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、服务器。

继续参考图2，示出了根据本申请的文本正则化模型训练方法的一个实施例的流程200。该文本正则化模型训练方法，包括以下步骤：

步骤201，将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中。

在本实施例中，上述文本正则化模型训练方法运行于其上的电子设备(例如图1所示的服务器)可以获取已对输入文本进行处理后得到的对应的输入字符串序列。输入字符串序列可以包括按照输入文本中从前向后的顺序依次排列的多个字符。可以将获取到的输入字符序列中的字符按顺序输入待生成的文本正则化模型对应的神经网络中。

在本实施例中，待生成的文本正则化模型对应的神经网络可以是基于序列到序列的神经网络，可以包括编码器和解码器，其中编码器用于对输入的序列进行编码，解码器用于对编码结果进行解码。在这里，解码器和编码器均可以基于rnn(recurrentneutralnetwork，循环神经网络)、cnn(convolutionneutralnetwork，卷积神经网络)等神经网络模型构建。

上述输入文本对应的输入字符序列可以是按照如下方式生成的：按照第一预设粒度对输入文本进行分割得到第一分割结果；对第一分割结果中的非汉字字符进行相应的标签化处理，得到输入字符序列。

具体来说，上述输入文本可以为包含字符类型为汉字、字母、符号、阿拉伯数字等的字符文本。上述第一预设粒度可以是用于划分输入文本中的字符的最小单位。第一预设粒度可以为按照字符长度设定的，例如第一预设粒度可以是一个字符长度，包括单个字符，单个字符可以包括单个汉字、单个字母、单个符号、单个阿拉伯数字。第一预设粒度也可以是结合字符类型和字符长度设定的，例如单个汉字、单个符号、连续的一串数字、连续的一串字母。在将输入文本按照第一预设粒度进行分割之后，得到第一分割结果，第一分割结果可以为顺序排列的字符。

在得到第一分割结果之后，可以将第一分割结果中的非汉字字符进行标签化处理，即可以将第一分割结果中的非汉字字符替换为对应的标签或在非汉字字符的特定位置增加相应的标签。具体地，可以根据第一分割结果中非汉字字符的不同字符类型，将各非汉字字符替换为对应的标签或在非汉字字符的特定位置增加对应的标签。其中，与各非汉字字符对应的标签可以是预先定义的。例如，可以将数字或符号根据其语义和读音类型替换为对应的标签，将不同的字母替换为同一个字母标签，等等。

可以预先人工将上述输入文本按照第一预设粒度进行分割，得到第一分割结果，并人工将第一分割结果中的非汉字字符按照其对应的类型(包括语义类型、读音类型等)替换为相应的标签；或者可以由上述电子设备对按照第一预设粒度分割输入文本得到第一分割结果，然后对第一分割结果中的非汉字字符进行语义分析或识别，得到非汉字字符的语义类型，并将非汉字字符替换为与其语义类型对应的标签。

在一些可选的实现方式中，可以将输入文本根据单个汉字、单个符号、连续数字、单个字母的粒度进行分割，分割结果中的非汉字字符可以包括以下至少一项：符号字符、连续数字字符、连续字母字符。上述对第一分割结果中的非汉字字符进行相应的标签化处理，可以包括：将第一分割结果中的符号字符替换为符号字符的读音类型的标签，将第一分割结果中的连续数字字符替换为连续数字字符的语义类型的标签、在第一分割结果中的连续字母字符的首尾两端添加字母标签。具体地，可以将连续的超过两位以上的数字替换为数字标签，将符号替换为符号标签，在连续字母的首尾分别用首字母标签和尾字母标签，作为示例，其中数字标签可以为<int_*>，其中“*”可以表示数字字符的长度等，符号标签可以为<sym>，首字母标签和相应的尾字母标签可以分别为<eng>和</eng>。

表一示出了对一段输入文本按照第一预设粒度进行分割、并将第一分割结果中的非汉字字符进行标签化处理的结果的示例。

表一输入文本的第一分割处理结果和标签化处理结果

通过将非汉字字符进行标签化处理，本实施例的文本正则化模型训练方法提升了模型的泛化性提升，能够被应用于处理复杂的文本。

步骤202，对输入字符序列中的每个字符，基于解码器中的隐藏层在对输入的上一个字符解码后的状态，采用编码器进行编码，得到字符的中间语义向量，并采用解码器对中间语义向量进行解译，得到字符的预测结果。

在本实施例中，可以依次对输入字符序列中的每个字符采用编码器进行编码，随后对编码后的字符采用解码器进行解码。在编码过程中，输入的字符由编码器编译为中间语义向量、随后解码器对中间语义向量进行解译。解译的过程具体为运算贪心算法来返回对应概率最大的词，或通过集束搜索方法来检索大量的词汇得到最优的选择。

假设输入字符序列为x1，x2，x3，…，在本实施例中，在对每一个字符xi(i＝1,2，3，…)编码过程中，可以结合解码器中的隐藏层在上一个字符xi-1的解码完成后的状态，以及当前输入的字符xi来生成当前字符的中间语义向量c，具体可以对解码器中的隐藏层在上一个字符xi-1的解码完成后的状态以及当前输入的字符xi进行向量运算得到，其中x0可以设置为0。这样，可以在编码时结合当前输入的字符的上一个字符的相关信息，则在编码时结合了当前输入的字符之前的所有字符的相关信息，实现了结合上下文的编码。从而使得文本正则化模型能够捕捉上下文信息进行正则化处理，提升模型的精确度。

可选地，在对输入字符序列进行编码之前，可以在输入字符序列的尾端添加句末标识符eos。

在本实施例的一些可选的实现方式中，上述编码器可以是由rnn构建的，编码器可以包括与输入字符序列中的各字符一一对应的多个隐节点h1，h2，h3，…hts，其中ts为输入字符序列的长度，则上述中间语义向量可以按照如下方式生成：基于解码器中的隐藏层在对输入的上一个字符解码后的状态，计算编码器中各隐节点的状态权重；基于状态权重，对各隐节点的状态进行加权求和得到输入的当前字符的中间语义向量

具体地，编码器中每个隐节点的状态ht为：

ht＝f(xt,ht-1)，(1)

其中，f是非线性激活函数，t＝1,2,3,…，ts；h0＝0。

假设解码器的输出序列为(y1，y2，y3，…)，解码器在第t个输入字符xt解码后的隐藏层的状态st为：

st＝f(yt-1,st-1,ct)，(2)

其中，f是非线性激活函数，可以为sigmod函数；t＝1,2,3,…，ts；st-1是解码器的隐藏层在对输入的上一个字符xt-1解码后的状态，s0＝0；y0＝0；ct为第t个字符对应的中间语义向量。在本实施例中，ct可以为输入的当前字符xt的中间语义向量，可以按照式(3)得出：

其中，状态权重αtτ可以按照式(4)计算：

其中，η(st-1，hτ)为调整注意回应强度的函数，这里的注意回应强度可以是前面的字符对当前字符编码的影响力强度，可以是st-1与hτ点乘的结果，或者可以是st-1与hτ相加的结果。

解码器对第t个输入字符xt的编码结果解码时，根据如式(5)的概率公式找出使得概率p最大的输出字符yt作为解码结果：

p(yt|yt-1,yt-2,...,y1,ct)＝g(yt-1,st,ct)，(4)

其中，g是非线性变换函数，可以是softmax函数。

在进一步的实施例中，上述编码器可以是由双向循环神经网络(bi-directionalrnn)构建的，包括双层隐节点。在上述步骤201中，可以将输入字符序列中的字符分别按照正向排序和反向排序依次输入待生成的文本正则化模型对应的神经网络中，编码器中的一层隐节点对应按照正向排序输入的字符，另一层隐节点对应按照反向排序输入的字符。这时，由式(3)和式(4)可以看出，输入的当前字符xt的中间语义向量与解码器对xt之前和之后的两个字符xt-1、xt+1解码完成后的状态相关，则语义识别模型的训练过程可以更好地抓取上文和下文的信息。

具体地，请参考图3，其示出了根据本申请实施例的文本正则化模型的一个结构示意图。如图3所示，输入字符序列为x1，x2，x3，…，xt，编码器包括两层隐节点，其中第一层隐节点包括与按照x1，x2，x3，…，xt的顺序输入的字符一一对应的多个隐节点第二层隐节点包括与按照xt，…，x3，x2，x1的顺序输入的字符一一对应的多个隐节点解码器包括隐藏层，隐藏层在第t个输入字符xt解码后的状态为st。第t个输入字符xt的解码结果为yt。

由式(2)及图3可以看出，解码器的隐藏层在对第t个字符解码后的状态st与对上一个字符解码后的状态st-1、对上一个字符的解码结果yt-1以及中间语义向量ct相关，其中，中间语义向量ct是由编码器中各隐节点的状态的加权和得出的。由式(4)可以看出，各隐节点的状态的权重αtτ与解码器对上一个字符解码后的状态st-1相关。

由此，可以将输入字符序列中的各字符依次输入文本正则化模型对应的神经网络中进行编码和解码，得到包含对应于输入字符序列的各字符的解码结果，即为输入字符序列的预测结果。

步骤203，根据输入字符序列的预测结果与输入文本对应的标注结果之间的差异，对神经网络的参数进行调整。

在得到输入字符序列的预测结果之后，可以与已标注的输入文本的标注结果进行比对，计算二者之间的差异，然后根据差异对神经网络的参数进行调整。

具体来说，在对文本正则化模型进行训练时，可以标注输入文本对应的输出结果，形成输入文本对应的标注结果，作为已标注的样本数据。输入文本对应的标注结果可以是人工标注的、输入文本的精确的正则化结果。在上述文本正则化模型对应的神经网络对输入文本进行预测得到预测结果之后，若预测结果与标注结果的差异较大，则表明神经网络准确度有待提升，这时，可以调整神经网络的参数。神经网络的参数具体可以包括上述非线性激活函数f中的参数以及上述非线性变换函数g中的参数。

进一步地，上述预测结果与标注结果之间的差异可以由损失函数来表示，然后计算损失函数关于神经网络中各参数的梯度，采用梯度下降法来更新各参数，将输入字符序列重新输入更新参数后的神经网络，得到新的预测结果，之后在重复上述更新参数的步骤，直到损失函数符合预设的收敛条件。这时，得到神经网络的训练结果，即文本正则化模型。

在本实施例的一些可选的实现方式中，输入文本对应的标注结果包括与输入文本的正则化文本对应的目标字符序列。与以前述表一作为示例的输入文本的对应的输入字符序列的生成方式相应地，与输入文本的正则化文本对应的目标字符序列可以按照如下方式生成：

首先，将与输入文本对应的正则化文本按照第二预设粒度进行分割，得到第二分割结果。第二分割结果可以包括以下至少一项：与输入文本中的单个汉字字符对应的单个汉字字符、与输入文本中的连续数字字符对应的第一汉字字符串、与输入文本中的符号字符对应的第二汉字字符串、以及与输入文本中的连续字母字符对应的多个字母字符。

然后，将第二分割结果中的第一汉字字符串替换为对应的连续数字字符的语义类型的标签，将第二分割结果中的第二汉字字符串替换为对应的符号字符的读音类型的标签，在第二分割结果中的连续字母字符对应的多个字母字符的首尾两端添加字母标签。其中，语义类型的标签可以预先设定，例如数字110的语义类型可以包括数值(例如“110”千克中110为数值)、数字串(例如报警电话“110”中的“110”为数字串)、编号(例如“选手号码110”中的“110”为号码)等。作为示例，与第一汉字字符串对应的标签可以为<label1_*>，其中“*”可以表示语义类型的序号等标识符；与第二汉字字符串对应的标签可以<label2_*>，其中“*”可以表示读音类型的序号等标识符；首字母标签和相应的尾字母标签可以分别为<eng>和</eng>。

表二示出了与表一中的输入文本“这游戏发售在ps3和xbox360上会更好”对应的正则化文本“这游戏发售在ps三河xbox三六零上会更好”的进行处理得到对应的输出字符序列的示例。

表二对与输入文本对应的正则化文本处理得到输出字符序列的结果

其中，<label1_d>表示三六零对应的数字字符“360”的语义类型。

从表一和表二可以看出，输入文本中的连续数字、字符、英文字母被替换为标签，并且输出字符序列中的连续数字、字符、连续英文字母也被替换为对应的标签。这样，简化了非汉字字符的转化方式，在训练过程中，文本正则化模型更容易学习到非汉字字符的转化逻辑，能够提升文本正则化模型的准确性。并且，本实施的文本正则化模型训练方法通过对作为训练样本的输入文本和正则化文本进行标签化处理，能够对非汉字字符进行准确的变换，进一步提升了文本正则化模型的准确性。

本申请上述实施例提供的文本正则化模型训练方法，通过将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中，神经网络包括编码器和解码器；然后，对输入字符序列中的每个字符，基于解码器中的隐藏层在对输入的上一个字符解码后的状态，采用编码器进行编码，得到字符的中间语义向量，并采用解码器对中间语义向量进行解译，得到字符的预测结果；之后根据输入字符序列的预测结果与输入文本对应的标注结果之间的差异，对神经网络的参数进行调整；其中，输入文本对应的输入字符序列是按照如下方式生成的：按照第一预设粒度对输入文本进行分割得到第一分割结果；对第一分割结果中的非汉字字符进行相应的标签化处理，得到输入字符序列，实现了结合上下文的文本正则化模型的自动化训练，得到的文本正则化模型灵活性强，可以应用于复杂多样的文本，同时解决了规则维护的资源消耗问题，并且训练得到的文本正则化模型表达力强，可以提升文本正则化的准确性。

请参考图4，其示出了根据本申请的文本正则化方法的一个实施例的流程图。如图4所示，本实施例的文本正则化方法的流程400，可以包括以下步骤：

步骤401，获取已按照第一预设粒度对待处理文本进行分割，并将分割结果中的非汉字字符进行标签化处理后得到的待处理字符序列。

在本实施例中，第一预设粒度可以为例如为单个汉字、单个符号、连续数字、连续字母。可以将待处理文本按照第一预设粒度进行分割，将待处理文本拆分为包含汉字字符和非汉字字符的序列。然后可以对分割结果中的非汉字字符进行标签化处理，可以将非汉字字符替换为对应的标签、或在非汉字字符的特定位置添加对应的标签，然后将汉字字符和标签化处理后的非汉字字符按照待处理文本中各字符的顺序排列，得到待处理字符序列。

上述文本正则化方法运行于其上的电子设备可以获取该待处理字符序列。若上述待处理字符序列是由人工对待处理文本进行分割、并进行标签化处理后得到的，则该电子设备可以获取用户通过输入接口输入的待处理字符序列；若上述待处理字符序列是由上述电子设备对待处理文本进行分割、并进行标签化处理后得到的，则该电子设备可以直接从缓存中获取该待处理字符序列。

在本实施例的一些可选的实现方式中，对待处理文本进行分割后得到的非汉字字符可以包括以下至少一项：符号字符、连续数字字符、连续字母字符。分割结果中的非汉字字符可以是按照如下方式进行标签化处理的：将分割结果中的符号字符替换为符号字符的读音类型的标签，将分割结果中的连续数字字符替换为连续数字字符的语义类型的标签、将分割结果中的连续字母字符拆分为单个字母字符并在连续字母字符的首尾两端添加字母标签。

作为示例，待处理文本为“费德勒以3：1的比分赢下了比赛，本场比赛他发出了11记ace球”，其中包含符号字符“：”、连续数字字符“11”、以及连续字母字符“ace”。可以按照单个汉字、单个符号、连续数字、连续字母的粒度对待处理文本进行分割。符号字符“：”的读音为“比”的读音，可以替换为其读音类型的标签<lab1_a>、连续数字字符可以替换为其语义类型“数值”的标签<lab2_c>，可以将字符“ace”字符拆分为单个字母“a”、“c”、“e”并在“a”之前添加首字母标签<eng>，在“e”之后添加尾字母标签</eng>。

步骤402，将待处理字符序列输入已训练的文本正则化模型，得到输出字符序列。

在本实施例中，文本正则化模型可以基于前面结合图2描述的方法训练。具体地，在训练文本正则化模型时，提供输入文本和输入文本对应的正则化文本作为训练样本。可以首先将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中，其中文本正则化模型对应的神经网络包括编码器和解码器；然后对输入字符序列中的每个字符，基于解码器中的隐藏层在对输入的上一个字符解码后的状态，采用编码器进行编码，得到字符的中间语义向量，并采用解码器对中间语义向量进行解译，得到字符的预测结果；之后根据输入字符序列的预测结果与输入文本对应的标注结果之间的差异，对神经网络的参数进行调整；在这里，输入文本对应的输入字符序列是按照如下方式生成的：按照第一预设粒度对输入文本进行分割得到第一分割结果；对第一分割结果中的非汉字字符进行相应的标签化处理，得到输入字符序列。

可以看出，本实施例步骤401获取的待处理字符序列与文本正则化模型训练方法中的输入字符序列是分别由用于训练的输入文本和待处理文本经过相同的分割、标签化处理后得到的。则待处理字符序列与文本正则化模型训练方法中的输入字符序列的形式是相同。

在将待处理字符序列输入文本正则化模型处理之后，可以输出与待处理字符序列对应的输出字符序列。输出字符序列中可以包括与对应的待处理字符序列中的各标签对应的标签。

步骤403，对输出字符序列中的字符进行去标签化处理，并按顺序组合标签化处理后的各字符，得到待处理文本的正则化文本。

然后，可以对输出字符序列中的字符进行去标签化处理，即可以将输出字符序列中的标签进行替换或删除，具体可以将输出字符序列中的标签替换为对应的汉字字符或英文字符，或者将一些特定的标签删除。在去除字符序列中的标签之后，可以按照输出字符序列中字符的排列顺序依次将各个字符组合起来，生成待处理文本的正则化文本。

在本实施例的一些可选的实现方式中，上述输出字符序列中的字符包括以下至少一项：与待处理文本中的单个汉字字符对应的单个汉字字符、与待处理文本中的连续数字字符对应的语义类型标签、与待处理文本中的符号字符对应的读音类型标签、以及与待处理文本中的连续字母字符对应的首尾两端包括字母标签的多个字母。举例来说，上述待处理文本“费德勒以3：1的比分赢下了比赛，本场比赛他发出了11记ace球”在经过文本正则化模型处理后得到的输出字符序列为：费德勒以三<lab1_a>一的比分赢下了比赛，本场比赛他发出了<lab2_c>记<eng>ace</eng>球。

与上述对待处理文本的分割结果进行标签化处理的方法相应地，可以按照如下方式对输出序列中的字符进行去标签化处理：将输出字符序列中与待处理文本中的连续数字字符对应的语义类型标签替换为与语义类型标签对应的汉字字符；将输出字符序列中与待处理文本中的符号字符对应的读音类型标签替换为与读音类型标签对应的汉字字符；将输出字符序列中的字母标签删除。例如在上述示例输出字符序列为“费德勒以三<lab1_a>一的比分赢下了比赛，本场比赛他发出了<lab2_c>记<eng>ace</eng>球”的示例中，可以将与连续数字字符“11”对应的语义类型标签<lab2_c>替换为与语义类型“数值”对应的汉字字符“十一”，可以将与符号字符“：”对应的读音类型标签<lab1_a>替换为读音类型对应的汉字字符“比”，可以将首字母标签和尾字母标签删除，得到去标签化后的输出字符序列“费德勒以三比一的比分赢下了比赛，本场比赛他发出了十一记ace球”。之后，将该字符序列中的字符按顺序组合即可得到文本正则化的结果“费德勒以三比一的比分赢下了比赛，本场比赛他发出了十一记ace球”。

需要说明的是，本实施例中对待处理文本进行分割、并将分割结果中的非汉字字符进行标签化处理的具体实现方式还可以参考前述文本正则化模型训练方法的实施例中对输入文本进行分割得到第一分割结果、并对第一分割结果中的非汉字字符进行标签化处理的具体实现方式，此处不再赘述。

本申请实施例提供的文本正则化方法，获取已按照第一预设粒度对待处理文本进行分割，并将分割结果中的非汉字字符进行标签化处理后得到的待处理字符序列；而后将待处理字符序列输入已训练的文本正则化模型，得到目标输出字符序列；最后对输出字符序列中的字符进行去标签化处理，并按顺序组合标签化处理后的各字符，得到待处理文本的正则化文本。其中，文本正则化模型基于如下方式训练：将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中，文本正则化模型对应的神经网络包括编码器和解码器；对输入字符序列中的每个字符，基于解码器中的隐藏层在对输入的上一个字符解码后的状态，采用编码器进行编码，得到字符的中间语义向量，并采用解码器对中间语义向量进行解译，得到字符的预测结果；根据输入字符序列的预测结果与输入文本对应的标注结果之间的差异，对神经网络的参数进行调整；其中，输入文本对应的输入字符序列是按照如下方式生成的：按照第一预设粒度对输入文本进行分割得到第一分割结果；对第一分割结果中的非汉字字符进行相应的标签化处理，得到输入字符序列。通过这种文本正则化方法实现了灵活性强、准确性高的文本正则化的自动化处理，降低了维护成本，避免人工维护规则耗时耗力，有利于应用文本正则化方法的系统快速迭代更新。

进一步参考图5，作为对上述图2所示方法的实现，本申请提供了一种文本正则化模型的训练装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的文本正则化模型的训练装置500可以包括：输入单元501、预测单元502以及调整单元503。其中输入单元501可以用于将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中。文本正则化模型对应的神经网络包括编码器和解码器，输入文本对应的输入字符序列是按照如下方式生成的：按照第一预设粒度对输入文本进行分割得到第一分割结果；对第一分割结果中的非汉字字符进行相应的标签化处理，得到输入字符序列。预测单元502可以用于对输入字符序列中的每个字符，基于解码器中的隐藏层在对输入的上一个字符解码后的状态，采用编码器进行编码，得到字符的中间语义向量，并采用解码器对中间语义向量进行解译，得到字符的预测结果。调整单元503可以用于根据输入字符序列的预测结果与输入文本对应的标注结果之间的差异，对神经网络的参数进行调整。

在本实施例中，输入单元501可以获取已对输入文本进行处理后得到的对应的输入字符串序列，并将获取到的输入字符序列中的字符按顺序输入待生成的文本正则化模型对应的神经网络中。

在这里，文本正则化模型对应的神经网络可以包括编码器和解码器，编码器和解码器均可以基于rnn、cnn等神经网络模型构建。其中编码器用于对输入的字符进行编码，解码器用于对编码结果进行解码。

预测单元502可以对输入字符序列中每个字符的输出结果进行预测。具体地，预测单元502可以依次对输入字符序列中的每个字符采用编码器进行编码，随后对编码后的字符采用解码器进行解码。在编码过程中，输入字符由编码器编译为中间语义向量、随后解码器对中间语义向量进行解译。解译的过程具体为运算贪心算法来返回对应概率最大的词，或通过集束搜索方法来检索大量的词汇得到最优的选择。

在对每一个字符编码过程中，可以结合解码器中的隐藏层在上一个字符的解码完成后的状态，以及当前输入的字符来生成当前字符的中间语义向量，具体可以对解码器中的隐藏层在上一个字符的解码完成后的状态以及当前输入的字符进行向量运算得到。这样，在对当前字符编码时结合了上一个字符的解码结果，由此可以在训练文本正则化模型过程中精准地提取上下文信息，从而进行正确的字符转换。

调整单元503可以将预测单元502的预测结果与已标注的输入文本的标注结果进行比对，计算二者之间的差异，具体可以基于比对结果构建损失函数。然后可以根据损失函数对文本正则化模型对应的神经网络中的参数进行调整。具体来说，可以采用梯度下降法，计算损失函数关于各参数的梯度，按照设定的学习率沿梯度方向调整参数，得到调整后的参数。

之后，预测单元502可以基于调整参数后的神经网络对输入文本的转换结果进行预测，并将预测结果提供至调整单元503，继而调整单元503可以继续对参数进行调整。这样，通过预测单元502和调整单元503不断对神经网络的参数进行调整，使得预测结果逼近标注结果，在预测结果与标注结果之间的差异满足预设的收敛条件时得到训练好的文本正则化模型。

在一些实施例中，上述编码器可以由循环神经网络构建，包括与输入字符序列中的各字符一一对应的多个隐节点。这时，预测单元502可以进一步用于按照如下方式采用编码器进行编码，得到字符的中间语义向量：基于解码器中的隐藏层在对输入的上一个字符解码后的状态，计算编码器中各隐节点的状态权重；基于状态权重，对各隐节点的状态进行加权求和得到输入的当前字符的中间语义向量。

在一些实施例中，上述输入单元501进一步用于按照如下方式将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中：将输入字符序列中的字符分别按照正向排序和反向排序依次输入待生成的文本正则化模型对应的神经网络中。并且，上述编码器是由双向循环神经网络构建的，包括双层隐节点，双层隐节点中的一层隐节点对应按照正向排序输入的字符，双层隐节点中的另一层隐节点对应按照反向排序输入的字符。

在一些实施例中，上述非汉字字符包括以下至少一项：符号字符、连续数字字符、连续字母字符。这时，上述第一分割结果中的非汉字字符是按照如下方式进行相应的标签化处理的：将第一分割结果中的符号字符替换为符号字符的读音类型的标签，将第一分割结果中的连续数字字符替换为连续数字字符的语义类型的标签、在第一分割结果中的连续字母字符的首尾两端添加字母标签。

在进一步的实施例中，上述输入文本对应的标注结果包括与输入文本的正则化文本对应的目标字符序列。这时，上述与输入文本的正则化文本对应的目标字符序列按照如下方式生成：首先将与输入文本对应的正则化文本按照第二预设粒度进行分割，得到第二分割结果，第二分割结果包括以下至少一项：与输入文本中的单个汉字字符对应的单个汉字字符、与输入文本中的连续数字字符对应的第一汉字字符串、与输入文本中的符号字符对应的第二汉字字符串、以及与输入文本中的连续字母字符对应的多个字母字符；然后将第二分割结果中的第一汉字字符串替换为对应的连续数字字符的语义类型的标签，将第二分割结果中的第二汉字字符串替换为对应的符号字符的读音类型的标签，在第二分割结果中的连续字母字符对应的多个字母字符的首尾两端添加字母标签。

本申请上述实施例的文本正则化模型训练装置500，通过输入单元将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中，神经网络包括编码器和解码器；然后预测单元对输入字符序列中的每个字符，基于解码器中的隐藏层在对输入的上一个字符解码后的状态，采用编码器进行编码，得到字符的中间语义向量，并采用解码器对中间语义向量进行解译，得到字符的预测结果；之后调整单元根据输入字符序列的预测结果与输入文本对应的标注结果之间的差异，对神经网络的参数进行调整；其中，输入文本对应的输入字符序列按照如下方式生成：按照第一预设粒度对输入文本进行分割得到第一分割结果；对第一分割结果中的非汉字字符进行相应的标签化处理，得到输入字符序列，实现了结合上下文的文本正则化模型的自动化训练，得到的文本正则化模型灵活性强，可以应用于复杂多样的文本，同时解决了规则维护的资源消耗问题，并且训练得到的文本正则化模型表达力强，可以提升文本正则化的准确性。

应当理解，装置500中记载的诸单元可以与参考图2描述的方法中的各个步骤相对应。由此，上文针对文本正则化模型训练方法描述的操作和特征同样适用于装置500及其中包含的单元，在此不再赘述。

进一步参考图6，作为对上述图4所示方法的实现，本申请提供了一种文本正则化装置的一个实施例，该装置实施例与图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例的文本正则化装置600可以包括：获取单元601、转换单元602以及处理单元603。其中获取单元601可以用于获取已按照第一预设粒度对待处理文本进行分割，并将分割结果中的非汉字字符进行标签化处理后得到的待处理字符序列；转换单元602可以用于将待处理字符序列输入已训练的文本正则化模型，得到输出字符序列；处理单元603可以用于对输出字符序列中的字符进行去标签化处理，并按顺序组合标签化处理后的各字符，得到待处理文本的正则化文本。其中，文本正则化模型可以基于上述结合图2描述的方法训练。具体地，文本正则化模型可以按照如下方式训练：将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中，文本正则化模型对应的神经网络包括编码器和解码器；对输入字符序列中的每个字符，基于解码器中的隐藏层在对输入的上一个字符解码后的状态，采用编码器进行编码，得到字符的中间语义向量，并采用解码器对中间语义向量进行解译，得到字符的预测结果；根据输入字符序列的预测结果与输入文本对应的标注结果之间的差异，对神经网络的参数进行调整；其中，输入文本对应的输入字符序列是按照如下方式生成的：按照第一预设粒度对输入文本进行分割得到第一分割结果；对第一分割结果中的非汉字字符进行相应的标签化处理，得到输入字符序列。

在本实施例中，获取单元601可以通过输入接口获取人工对待处理文本进行分割、标签化处理后的待处理字符序列，也可以从存储器中调取装置600运行于其上的电子设备对待处理文本进行分割、标签化处理后的待处理字符序列。

在本实施例的一些可选的实现方式中，对待处理文本进行分割后得到的非汉字字符可以包括以下至少一项：符号字符、连续数字字符、连续字母字符。这时，分割结果中的非汉字字符是按照如下方式进行标签化处理的：将分割结果中的符号字符替换为符号字符的读音类型的标签，将分割结果中的连续数字字符替换为连续数字字符的语义类型的标签、将分割结果中的连续字母字符拆分为单个字母字符并在连续字母字符的首尾两端添加字母标签。

转换单元602可以将待处理字符序列输入已训练的文本正则化模型中进行字符转换。该文本正则化模型可以是基于深度网络的模型，包括编码器和解码器。其中，编码器可以依次对输入字符序列中的每个字符采用编码器进行编码，随后对编码后的字符采用解码器进行解码。在编码过程中，可以结合解码器中的隐藏层在上一个字符的解码完成后的状态，以及当前输入的字符来生成当前字符的中间语义向量，随后解码器对中间语义向量进行解译。解译的过程具体为运算贪心算法来返回对应概率最大的词，或通过集束搜索方法来检索大量的词汇得到最优的选择。这样，通过编码器和解码器可以将输入的待处理字符序列解译为输出字符序列。

处理单元603可以对转换单元602得到的输出字符序列中的非汉字字符进行去标签化处理，具体可以将标签替换为对应的汉字字符，或删除其中的一些标签。然后可以将去标签化处理后得到的字符序列依次组合，形成待处理文本的正则化文本。

在本实施例的一些可选的实现方式中，上述输出字符序列中的字符可以包括以下至少一项：与待处理文本中的单个汉字字符对应的单个汉字字符、与待处理文本中的连续数字字符对应的语义类型标签、与待处理文本中的符号字符对应的读音类型标签、以及与待处理文本中的连续字母字符对应的首尾两端包括字母标签的多个字母。这时，处理单元603可以进一步用于按照如下方式对输出字符序列中的字符进行去标签化处理：将输出字符序列中与待处理文本中的连续数字字符对应的语义类型标签替换为与语义类型标签对应的汉字字符；将输出字符序列中与待处理文本中的符号字符对应的读音类型标签替换为与读音类型标签对应的汉字字符；将输出字符序列中的字母标签删除。

本申请实施例的文本正则化装置600，获取单元获取已按照第一预设粒度对待处理文本进行分割，并将分割结果中的非汉字字符进行标签化处理后得到的待处理字符序列；而后转换单元将待处理字符序列输入已训练的文本正则化模型，得到目标输出字符序列；最后处理单元对输出字符序列中的字符进行去标签化处理，并按顺序组合标签化处理后的各字符，得到待处理文本的正则化文本。其中，文本正则化模型基于如下方式训练：将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中，文本正则化模型对应的神经网络包括编码器和解码器；对输入字符序列中的每个字符，基于解码器中的隐藏层在对输入的上一个字符解码后的状态，采用编码器进行编码，得到字符的中间语义向量，并采用解码器对中间语义向量进行解译，得到字符的预测结果；根据输入字符序列的预测结果与输入文本对应的标注结果之间的差异，对神经网络的参数进行调整；其中，输入文本对应的输入字符序列是按照如下方式生成的：按照第一预设粒度对输入文本进行分割得到第一分割结果；对第一分割结果中的非汉字字符进行相应的标签化处理，得到输入字符序列。通过这种文本正则化装置实现了灵活性强、准确性高的文本正则化的自动化处理，降低了维护成本，避免人工维护规则耗时耗力，有利于应用文本正则化方法的系统快速迭代更新。

应当理解，装置600中记载的诸单元可以与参考图4描述的文本正则化方法中的各个步骤相对应。由此，上文针对文本正则化方法描述的操作和特征同样适用于装置600及其中包含的单元，在此不再赘述。

下面参考图7，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统700的结构示意图。图7示出的终端设备或服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(cpu)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram703中，还存储有系统700操作所需的各种程序和数据。cpu701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。

以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(cpu)701执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括输入单元、预测单元和调整单元；以及一种处理器包括获取单元、转换单元和处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，输入单元还可以被描述为“将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中，所述文本正则化模型对应的神经网络包括编码器和解码器；对所述输入字符序列中的每个字符，基于所述解码器中的隐藏层在对输入的上一个字符解码后的状态，采用所述编码器进行编码，得到所述字符的中间语义向量，并采用所述解码器对所述中间语义向量进行解译，得到所述字符的预测结果；根据所述输入字符序列的预测结果与所述输入文本对应的标注结果之间的差异，对所述神经网络的参数进行调整；其中，所述输入文本对应的输入字符序列是按照如下方式生成的：按照第一预设粒度对所述输入文本进行分割得到第一分割结果；对所述第一分割结果中的非汉字字符进行相应的标签化处理，得到所述输入字符序列。

本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取已按照第一预设粒度对待处理文本进行分割，并将分割结果中的非汉字字符进行标签化处理后得到的待处理字符序列；将所述待处理字符序列输入已训练的文本正则化模型，得到输出字符序列；对所述输出字符序列中的字符进行去标签化处理，并按顺序组合标签化处理后的各字符，得到所述待处理文本的正则化文本；其中，所述文本正则化模型基于如下方式训练：将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中，所述文本正则化模型对应的神经网络包括编码器和解码器；对所述输入字符序列中的每个字符，基于所述解码器中的隐藏层在对输入的上一个字符解码后的状态，采用所述编码器进行编码，得到所述字符的中间语义向量，并采用所述解码器对所述中间语义向量进行解译，得到所述字符的预测结果；根据所述输入字符序列的预测结果与所述输入文本对应的标注结果之间的差异，对所述神经网络的参数进行调整；其中，所述输入文本对应的输入字符序列是按照如下方式生成的：按照第一预设粒度对所述输入文本进行分割得到第一分割结果；对所述第一分割结果中的非汉字字符进行相应的标签化处理，得到所述输入字符序列。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。