本公开涉及文本处理领域,更具体地,涉及一种用于文本纠错的方法、设备、计算机程序产品、非暂时性计算机可读存储介质,一种使用该文本纠错方法的用于自动语音识别(automatic speech recognition,asr)的方法,以及一种训练用于文本纠错的神经网络模型的方法。
背景技术:
1、在过去,我们需要花费大量的时间和精力来查找文本中的诸如语法错误和拼写错误之类的错误并进行纠正。随着人工智能技术的发展,出现了文本纠错工具,其通过学习大量的语言数据,能够自动识别和纠正文本中的错误。
2、在随着数据处理技术的进步以及移动互联网的快速普及,产生了海量的数据。近年来,语音数据受到了人们越来越多的重视。asr技术是一种基于人工智能和语音信号处理技术的自动语音识别技术,用于将人类语音转换为文本。自动语音识别技术支持着许多生活中的常见服务,比如手机端的语音转文字功能、视频网站的字幕自动生成等等。
技术实现思路
1、本公开涉及一种用于文本纠错的方法、设备、计算机程序产品和非暂时性计算机可读存储介质以及用于自动语音识别的方法。可以对于纠错文本是否相对于待处理文本有改善进行指示,进而选择纠错文本或待处理文本作为纠正结果进行输出,从而避免越纠越错的情况。此外,还提出了一种训练用于文本纠错的神经网络模型的方法,使得该神经网络模型可以产生纠错文本和对于纠错文本是否相对于待处理文本有改善的指示。
2、根据本公开的一方面,提供了一种用于文本纠错的方法。该方法包括:使用第一神经网络模型基于待处理文本产生待处理文本的纠错文本和纠错标签,纠错标签指示纠错文本相对于待处理文本是否改善;以及基于纠错标签,选择输出纠错文本或待处理文本作为纠正结果的方法。
3、根据本公开的一些实施例,第一神经网络模型通过以下方式进行训练:使用第二神经网络模型,基于一组预定输入文本来获得一组输出纠错文本,其中一组预定输入文本对应于一组预定标准文本;基于一组输出纠错文本、一组预定输入文本和一组预定标准文本,计算一组输出纠错文本中的每个输出纠错文本的训练纠错标签以得到一组训练纠错标签;以及使用一组预定输入文本作为第一神经网络模型的输入,并使用一组预定标准文本或一组输出纠错文本、以及一组训练纠错标签作为第一神经网络模型的输出,对第一神经网络模型进行训练。
4、根据本公开的一些实施例,基于一组输出纠错文本、一组预定输入文本和一组预定标准文本,计算一组输出纠错文本中的每个输出纠错文本的训练纠错标签以得到一组训练纠错标签,包括:获取一组预定输入文本中的第一预定输入文本和与第一预定输入文本对应的第一输出纠错文本和第一预定标准文本;计算第一预定输入文本与第一预定标准文本之间的第一字符错误率cer以及第一输出纠错文本与第一预定标准文本之间的第二字符错误率cer;以及比较第一cer和第二cer以得到与第一输出纠错文本对应的第一训练纠错标签。
5、根据本公开的一些实施例,比较第一cer和第二cer以得到与第一输出纠错文本对应的第一训练纠错标签,包括:响应于第一cer大于第二cer,将第一训练纠错标签设置为指示第一输出纠错文本相对于第一预定输入文本有改善;以及响应于第一cer小于或等于第二cer,将第一训练纠错标签设置为指示第一输出纠错文本相对于第一预定输入文本无改善。
6、根据本公开的一些实施例,第一神经网络模型和第二神经网络模型采用相同的神经网络来实现。
7、根据本公开的一些实施例,第一神经网络模型包括自回归模型。
8、根据本公开的另一方面,提供了一种用于文本纠错的设备。该设备包括:处理器;和存储器,存储有一个或多个计算机程序;其中,一个或多个计算机程序在由处理器运行时,使得处理器执行任何上述方法。
9、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现任何上述方法。
10、根据本公开的另一方面,提供了一种非暂时性计算机可读存储介质,其上存储有计算机程序指令。计算机程序指令在被处理器执行时使得处理器执行任何上述方法。
11、根据本公开的另一方面,提供了一种用于自动语音识别asr的方法,包括:使用asr模型将语音转换为待处理文本;使用第一神经网络模型基于待处理文本产生待处理文本的纠错文本和纠错标签,纠错标签指示纠错文本相对于待处理文本是否改善;以及基于纠错标签,选择输出纠错文本或待处理文本作为asr结果。
12、根据本公开的另一方面,提供了一种训练用于文本纠错的第一神经网络模型的方法,包括:使用第二神经网络模型,基于一组预定输入文本来获得一组输出纠错文本,其中一组预定输入文本对应于一组预定标准文本;基于一组输出纠错文本、一组预定输入文本和一组预定标准文本,计算一组输出纠错文本中的每个输出纠错文本的训练纠错标签以得到一组训练纠错标签;使用一组预定输入文本作为第一神经网络模型的输入,并使用一组预定标准文本或一组输出纠错文本、以及一组训练纠错标签作为第一神经网络模型的输出对第一神经网络模型进行训练。
13、根据本公开的实施例,可以对于纠错文本是否相对于待处理文本有改善进行指示,进而选择纠错文本或待处理文本作为纠正结果进行输出,从而避免越纠越错的情况,提高文本处理水平。
1.一种用于文本纠错的方法,包括:
2.根据权利要求1所述的方法,其中,所述第一神经网络模型通过以下方式进行训练:
3.根据权利要求2所述的方法,其中,基于所述一组输出纠错文本、所述一组预定输入文本和所述一组预定标准文本,计算所述一组输出纠错文本中的每个输出纠错文本的训练纠错标签以得到一组训练纠错标签,包括:
4.根据权利要求3所述的方法,其中,比较所述第一cer和所述第二cer以得到与所述第一输出纠错文本对应的第一训练纠错标签,包括:
5.根据权利要求2-4中任一项所述的方法,其中,所述第一神经网络模型和所述第二神经网络模型采用相同的神经网络来实现。
6.根据权利要求1-4中任一项所述的方法,其中,所述第一神经网络模型包括自回归模型。
7.一种用于自动语音识别asr的方法,包括:
8.一种训练用于文本纠错的第一神经网络模型的方法,包括:
9.一种用于文本纠错的设备,包括:
10.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。