纠错语料的生成方法、装置及电子设备与流程

文档序号:24430097发布日期:2021-03-27 00:15阅读:111来源:国知局
纠错语料的生成方法、装置及电子设备与流程

1.本申请涉及计算机技术领域,具体涉及自然语言处理、深度学习等人工智能技术领域,尤其涉及一种纠错语料的生成方法、装置、电子设备、存储介质和计算机程序产品。


背景技术:

2.文本纠错是自然语言处理中的一个重要应用,其在搜索引擎、机器翻译、问答系统等许多自然语言处理系统中拥有广泛的应用,这些系统往往会将用户的输入文本进行纠错处理,得到不改变原始文本语义的正确表示。随着深度学习的发展,基于深度神经网络的纠错模型得到了进一步的发展,但其效果依赖于大量的纠错语料。因此,构建纠错语料的技术极其重要重要。


技术实现要素:

3.本申请提供一种用于纠错语料的生成方法、装置及电子设备。
4.根据本申请的第一方面,提供了一种纠错语料的生成方法,包括:
5.获取包含第一语言的第一文本语料;
6.将所述第一文本语料转化为文本图片;
7.对所述文本图片进行加噪处理,以获取加噪后的图片;
8.对所述加噪后的图片进行文字识别,以获取与所述第一文本语料对应的第一纠错语料。
9.根据本申请的第二方面,提供了一种纠错语料的生成装置,包括:
10.第一获取模块,用于获取包含第一语言的第一文本语料;
11.第一转化模块,用于将所述第一文本语料转化为文本图片;
12.第二获取模块,用于对所述文本图片进行加噪处理,以获取加噪后的图片;
13.第三获取模块,用于对所述加噪后的图片进行文字识别,以获取与所述第一文本语料对应的第一纠错语料。
14.根据本申请的第三方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述一方面实施例所述的纠错语料的生成方法。
15.根据本申请的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其上存储有计算机程序,所述计算机指令用于使所述计算机执行上述一方面实施例所述的纠错语料的生成方法。
16.根据本申请的第五方面,提供了一种计算机程序产品,所述计算机程序被处理器执行时,实现上述一方面实施例所述的纠错语料的生成方法。
17.应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
18.附图用于更好地理解本方案,不构成对本申请的限定。其中:
19.图1为本申请实施例提供的一种纠错语料的生成方法的流程示意图;
20.图2为本申请实施例提供的一种生成拼写纠错语料的原理图;
21.图3为本申请实施例提供的一种对文本图片进行加噪处理的流程示意图;
22.图4为本申请实施例提供的另一种纠错语料的生成方法的流程示意图;
23.图5为本申请实施例提供的又一种纠错语料的生成方法的流程示意图;
24.图6为本申请实施例提供的一种生成与语法纠错语料的原理图;
25.图7为本申请实施例提供的一种纠错语料的生成装置的结构示意图;
26.图8为用来实现本申请实施例的纠错语料的生成方法的电子设备的框图。
具体实施方式
27.以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
28.ai(artificial intelligence,人工智能)人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
29.深度学习是机器学习领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标——人工智能,随着人工智能技术的发展,利用nlp(natural language processing,自然语言处理)技术、深度学习技术进行文本纠错的方式越来越广泛,nlp是计算机科学领域与人工智能领域中的一个重要方向,它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助,它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。
30.文本纠错是自然语言处理中的一个重要应用,其在像搜索引擎,机器翻译,问答系统等许多自然语言处理系统中拥有广泛的应用,这些系统往往会将用户的输入进行纠错处理,得到不改变原始文本语义的正确表示。中文文本纠错主要可以分为两大类:中文拼写纠错和中文语法纠错。随着深度学习的发展,基于深度神经网络的纠错模型得到了进一步的发展,但其效果依赖于大量高质量的纠错语料。因此,构建纠错语料的技术极其重要重要。
31.相关技术中,往往是人工收集大量的纠错语料(例如,在非中文母语语言学习者的学习网站上进行纠错语料收集)。然而,人工收集的方式不仅增加了劳动成本,而且使得纠错语料的来源非常有限,从而极大限制了纠错语料的多样性,进一步影响了纠错模型的效果。
32.为此,本申请实施例提出了一种纠错语料的生成方法、装置及电子设备。本申请实施例,将文本语料转化为加噪后的图片,进而将加噪后的图片进行文字识别以获取文本语
料的纠错语料,无需人工收集大量的纠错语料,即可实大量纠错语料的生成,不仅降低了人工成本,而且有利于提高纠错语料的多样性。
33.需要说明的是,中文文本纠错主要可以分为两大类:中文拼写纠错和中文语法纠错。其中,中文拼写纠错是指将文本中的错误汉字进行纠错(比如“买”写成了“卖”),中文语法纠错是指将文本中的语法错误进行纠错(比如主谓宾顺序颠倒)。本申请提出的纠错语料的生成方法、装置及电子设备均能实现这两类纠错。
34.下面参考附图描述本申请实施例的纠错语料的生成方法、装置及电子设备。
35.图1为本申请实施例提供的一种纠错语料的生成方法的流程示意图。
36.需要说明的是,本申请实施例的纠错语料的生成方法执行主体可以为电子设备,具体的,电子设备可以是但不限于服务器、终端,终端可以是但不限于个人电脑、智能手机、ipad等。
37.本申请实施例以纠错语料的生成方法被配置于纠错语料的生成装置中来举例说明,该装置可以应用于电子设备中,以使该电子设备可以执行纠错语料的生成方法。
38.如图1所示,该纠错语料的生成方法包括以下步骤:
39.s101,获取包含第一语言的第一文本语料。
40.本申请实施例中,第一语言可以是中文,将包含第一语言的文本语料称为第一文本语料。
41.需要说明的是,本申请实施例对第一文本语料的来源处不做任何限制,第一文本语料可以是任何文本语料。本申请实施例对第一文本语料的获取方式也不做任何限制,只要能获取到包含第一语言的第一文本语料即可。
42.例如,获取到的包含中文的第一文本语料为“我去银行买了黄金”。
43.s102,将第一文本语料转化为文本图片。
44.具体地,在获取到包含第一语言的第一文本语料之后,可通过相关技术将第一文本语料转化为文本图片。对于转换方式,本申请实施例不做任何限制,只要能可靠转换即可。
45.s103,对文本图片进行加噪处理,以获取加噪后的图片。
46.其中,加噪处理可以是指给文本图像添加噪声(例如椒盐噪声)或者干扰信号的处理。
47.具体地,在将第一文本语料转化为文本图片之后,为了影响后续对该文本图片的识别效果,可对文本图片进行随机加噪处理,即给文本图片随机添加一些掩盖,从而得到加噪后的图片。其中,在进行加噪处理时,可进行至少一次加噪处理,如果一次加噪处理对应一张加噪后的图片,那么可以得到至少一张加噪后的图片。
48.需要说明的是,本申请实施例对加噪处理的方式不做任何限制,只要能对文本图片进行掩盖从而影响对其的文字识别即可。例如,可加入椒盐噪声给文本图片,也可加入高斯噪声给文本图片。
49.s104,对加噪后的图片进行文字识别,以获取与第一文本语料对应的第一纠错语料。
50.本申请实施例,将对待纠错的文本语料进行纠错的语料称为第一纠错语料,纠错后的语料即为第一文本语料。如图2所示,第一纠错语料可以是拼写纠错语料,即对待纠错
的文本语料进行拼写纠错。
51.具体地,在得到加噪后的图片之后,如图2所示,可通过光学字符识别(optical character recognition,简称ocr)技术对加噪后的图片进行文字识别。其中,如果加噪后的图片为至少一张,那么可对每张加噪后的图片进行文字识别,从而生成每张图片对应的第一纠错语料,也即第一文本语料对应的第一纠错语料,该第一纠错语料可以是拼写纠错语料,也可以是语法纠错语料。
52.例如,将第一文本语料“我去银行买了黄金”对应的加噪后的图片,进行ocr文字识别的结果可包括:“我去影行买了黄金”、“我去银行卖了黄金”、“我去影行买了皇金”等第一纠错语料。
53.再例如,将第一文本语料“我是工程师”对应的加噪后的图片,进行ocr文字识别的结果可包括:“是我工程师”(主语和谓语颠倒)、“工程师是我”(主语和宾语颠倒)等第一纠错语料。
54.又例如,将第一文本语料“我去银行买了黄金”对应的加噪后的图片,进行ocr文字识别的结果可包括:“我影行去买了黄金”、“我去银行卖了黄金”等第一纠错语料。
55.另外,当通过ocr技术对每张加噪后的图片进行文字识别时,由于ocr技术存在一定的错误率,因此,可进行迭代识别,实现错误传递,将错误传递至最终的第一纠错语料中。
56.通过执行上述步骤,可根据一个第一文本语料生成至少一个第一纠错语料,也可以根据少量第一文本语料得到大量的第一纠错语料。也就是说,仅需少量第一文本语料即可生成大量的纠错语料,无需人工收集大量的纠错语料。
57.应当理解,在生成至少一个第一纠错语料之后,可基于神经网络对至少一个第一纠错语料进行训练,以训练生成纠错模型。该纠错模型以待纠错的文本语料为输入,以纠错后的文本语料为输出。
58.例如,当对纠错模输入待纠错的文本语料“我去银行卖了黄金”之后,纠错模型即可输出纠错后的文本语料(正确的文本语料)“我去银行买了黄金”。
59.本申请实施例的纠错语料的生成方法,将文本语料转化为加噪后的图片,进而将加噪后的图片进行文字识别以获取文本语料的纠错语料,无需人工收集大量的纠错语料,即可实现大量纠错语料的生成,不仅降低了人工成本,而且有利于提高纠错语料的多样性。
60.上述步骤s103中对文本图片进行加噪处理时,为了提高加噪处理的有效性,可通过增加加噪处理的次数来获取大量加噪后的图片,也可通过多种方式进行加噪处理来获取大量加噪后的图片,或者,还可根据待生成的错误语料的类型进行几啊噪处理,以获取大量加噪后的图片。
61.即在本申请的一个实施例中,如图3所示,上述步骤s103,可包括以下步骤s301至s302:
62.s301,根据待生成的错误语料的类型,确定目标噪声强度。
63.其中,待生成的错误语料的类型可以是用户根据实际需求设置的。待生成的错误语料的类型可包括:拼写纠错语料、语法纠错语料等。
64.其中,噪声强度可以表征噪声对第一文本语料的干扰(掩盖)程度。本申请实施例中,将噪声强度为目标噪声强度的图片进行文字识别,得到的与第一文本语料对应的第一纠错语料的类型为:待生成的错误语料的类型。应当理解,本申请实施例中的目标噪声强度
的大小范围可以是大于0且小于1。
65.具体地,在执行完上述步骤s102之后,可获取待生成的错误语料的类型a,并根据该类型a确定目标噪声强度n。其中,类型a对应的错误程度(或者错误率)可以与目标噪声强度n的大小呈正相关,即类型a对应的错误率越高,目标噪声强度n越大;类型a对应的错误率越低,目标噪声强度n越小。
66.例如,如果类型a为拼写纠错类型(即仅仅识别字符错误),说明错误率较低,那么目标噪声强度n可以设置为较小值,比如0.2;如果类型a为语法纠错类型(即识别语法错误),说明错误率较高,那么目标噪声强度n可以设置为较大值,比如0.5。
67.s302,基于目标噪声强度,对文本图片进行加噪处理,以获取加噪后的图片。
68.其中,目标音频数据是指唤醒事件对应的实际有效的视频数据。
69.具体地,在确定出目标噪声之后,为了确定出与唤醒事件对应的视频数据,基于目标噪声强度对上述步骤s102中得到的文本图片进行加噪处理,并获取加噪后的图片。之后,对加噪后的图片进行文字识别,以获取与第一文本语料对应的第一纠错语料。
70.由此,基于待生成的错误语料的类型对文本图片进行加噪处理,实现了针对性的加噪处理,从而提高了加噪处理的有效性、可靠性,进一步提高了生成纠错语料的实用性。
71.在执行完上述步骤s102之后,得到的文本图片的尺寸可能较小,也可康较大。在较小时,可通过上述步骤s301和s302获得至少一个第一纠错语言;在较大时,为了获得多个纠错语料,除了上述步骤s301和s302之外,还可将文本图片的多个不同区域进行加噪处理,以生成多个加噪后的图片,从而可获取到多个纠错语料。另外,为了降低加噪处理的成本,可将文本图片的部分区域进行加噪处理,以生成多个加噪后的图片,从而可低成本的获取到多个纠错语料。
72.即在本申请的另一个实施例中,如图4所示,纠错语料的生成方法,可包括以下步骤s401至s404:
73.s401,获取包含第一语言的第一文本语料。
74.该步骤s401与上述步骤s101对应,为避免冗余,此处不再赘述。
75.s402,将第一文本语料转化为文本图片。
76.该步骤s402与上述步骤s102对应,为避免冗余,此处不再赘述.
77.s403,在文本图片的尺寸大于阈值的情况下,对文本图片的不同区域分别进行加噪处理,以获取多个加噪后的图片。
78.其中,阈值(包括长度和宽度)可以是用户设置的,可以是指对文本图片进行加噪处理时对应的文本图片的最大尺寸。
79.具体地,在获取到文本图片之后,可计算该文本图片的尺寸,并判断该尺寸是否大于阈值,如果是,则可将文本图片划分为多个不同的区域,并对若干个区域进行加噪处理,以获取多个加噪后的图片;如果否,则可通过上述步骤s301和s302获取加噪后的图片。
80.具体来说,可将文本图片划分为x个区域,并对y个区域进行加噪处理,其中,y≤x。在对不同区域进行加噪处理时,可通过同样的加噪处理方法进行处理,也可通过不同的加噪处理方法进行处理,对此,本申请实施例不做任何限制,只要能够得到多个加噪后的图片即可。
81.s404,对多个加噪后的图片分别进行文字识别,以获取与第一文本语料对应的多
个纠错语料。
82.具体地,在获取到多个加噪后的图片之后,对每个加噪后的图片通过ocr技术进行文字识别,即可得到多个与第一文本语料对应的纠错语料。
83.例如,假设阈值为:长度10厘米、宽度5厘米,若文本图片长度大于10厘米或者宽度大于5厘米,则可将文本图片划分为多个(例如6个)不同的区域,并可对其中的4个区域进行加噪处理,从而得到4个加噪后的图片,之后,对该4个加噪后的图片分别进行文字识别,从而获取到与第一文本语料对应的多个纠错语料。
84.由此,在文本图片的尺寸较大时,进行分区加噪处理,并对每个加噪后的图片进行文字识别以得到多个纠错语料,避免了因文本尺寸较大引起的加噪成本高的现象的同时,保证了获取到多个纠错语料的可靠性。
85.如上所述,均是将第一文本语料依次进行图片转换、文字识别后,得到与第一文本语料对应的纠错语料。除此之外,本申请实施例还可将第一文本语料进行语言转换以获取第一文本语料对应的纠错语料,下面进行详细说明。
86.在本申请的一个实施例中,如图5所示,纠错语料的生成方法,可包括以下步骤:
87.s501,获取包含第一语言的第一文本语料。
88.该步骤s501与上述步骤s101对应,为避免冗余,此处不再赘述。
89.s502,将第一文本语料进行第一语言转换,以获取包含第二语言的第二文本语料。
90.本申请实施例中,将包含第一语言的第一文本语料转换为,包含第二语言的第二文本语料的动作称为第一语言转换。其中,第二语言可以是与第一语言不同的语言,其中,当第一语言是中文时,第二语言可以是英语、德语或者法语等其他语言。
91.具体地,在获取到包含第一语言的第一文本语料之后,将第一文本语料进行第一语言转换,也就是说对第一文本语料进行翻译(机器翻译),以得到包含第二语言的第二文本语料,该第二文本语料与第一文本语料的语义可相同,两者的词语一一对应。
92.s503,将第二文本语料进行第二语言转换,以获取包含第一语言的第二纠错语料。
93.本申请实施例中,将包含第二语言的第二文本语料转换为,包含第一语言的第二纠错语料的动作称为第二语言转换。
94.其中,第二语言转换与第一语言转换可以是互逆的,且第二语言转换是在第一语言转换的基础上进行转换的,例如,如果第一语言转换是将中文翻译为英文,那么第二语言转换是将该英文转换为中文。
95.具体地,在获取到包含第二语言的第二文本语料之后,将第二文本语料中的第二语言翻译为第一语言,得到第二纠错语料,从而实现了第二语言转换。其中,该第二纠错语料与第二文本语料的语义可相同,两者的词语一一对应。
96.需要说明的是,由于机器翻译的准确率有限,通过第二语言转换之后就得到存在错误(可能是拼写错误,也可能是语法错误)的第二纠错语料。例如,如果一文本语料为“我去银行买了黄金”,那么可将第一文本语料转换为包含英文的第二文本语料“i went to the bank to buy gold”。之后,将第二文本语料转换为包含中文的第二纠错语料为“银行去我买了黄金”(语法错误)或者“我去影行买了黄金”(拼写错误)。
97.需要说明的是,还可将第一文本语料进行多次第一语言转换,以得到多个包含不同第二语言的第二文本语料。进而对每个第二文本语料分别进行第二语言转换,得到多个
第二纠错语料。
98.例如,将包含中文的第一文本语料转换为包含英文的第二文本语料、包含德文的第二文本语料及包含俄文的第二文本语料。之后,分别将包含英文的第二文本语料、包含德文的第二文本语料及包含俄文的第二文本语料转换为包含中文的第二纠错语料,从而得到三个第二纠错语料。
99.也就是说,如图6所示,本申请实施例,将第一文本语料从一种语言翻译成另一种语言,并且保证其语义不变,词语一一对应;然后在将另一种语言翻译成中文文本(第二纠错语料),由于机器翻译可以保证其语义不变,词语一一对应,于是可以得到一个不同的中文表示,由于机器翻译准确率有限,由此就得到了至少一个有语法错误或者有拼写错误的第二纠错语料。
100.应当理解,在生成至少一个第二纠错语料之后,可基于神经网络对至少一个第二纠错语料进行训练,以训练生成纠错模型。该纠错模型以待纠错的文本语料为输入,以纠错后的文本语料为输出。
101.由此,利用机器翻译本身存在的错误率生成纠错语料,不仅降低了成本、简单易实现,而且无需人工收集大量的纠错语料,降低了人工成本,有利于提高纠错语料的多样性。
102.需要说明的是,在通过上述步骤s501至s503生成纠错语料时,为了避免语言转换错误率较低或者为0导致生成的纠错语料太少而影响模型训练,本申请实施例可以提前前把第一文本语料处理成存在错误的文本语料。
103.即在本申请的一个实施例中,在执行上述步骤s501之前,还可包括:将第一文本语料进行预处理,以获取包含第一语言的第三文本语料,其中,第三文本语料与第一文本语料之间具有至少一个不同的字符。
104.其中,预处理可以是指将第一文本语料进行错误转化或者替换的处理,例如,将第一文本语料中的某一字或者词语替换为错误的字或者词语。
105.具体地,可首先获取包含第一语言的第一文本语料,然后将第一文本语料进行预处理,以得到与第一文本语料相比而言,存在至少一个不同的字符的第三文本语料。之后,可执行上述步骤s501至s503,以获取第二纠错语料。
106.例如,如果第一文本语料为“我去银行买了黄金”,那么将其进行预处理之后,得到的第三文本语料可以是“我去银行卖了黄金”或者“我去银行卖了黄晶”。
107.由此,提前将文本语料进行错误处理,再通过将文本语料进行两次翻译得到纠错语料,避免了机器翻译过于准确,导致纠错语料太少的现象,保证了纠错语料的有效性。
108.需要说明的是,在生成第一纠错语料之后,为了进一步得到丰富的纠错语料,可将第一纠错语料通过语言转换得到更加丰富多样的纠错语料。
109.即在本申请的一个实施例中,在获取与第一文本语料对应的第一纠错语料之后,还可包括:将第一纠错语料进行第三语言转换,以获取包含第三语言的第四文本语料;将第四文本语料进行第四语言转换,以获取包含第一语言的第三纠错语料。
110.本申请实施例,将包含第一语言的第一纠错语料转换为,包含第三语言的第四文本语料的动作称为第三语言转换。将包含第三语言的第四文本语料转换为包含第一语言的第三纠错语料的动作称为第四语言转换。
111.其中,第四语言转换与第三语言转换可以是互逆的,且第四语言转换是在第三语
言转换的基础上进行转换的,例如,如果第三语言转换是将中文翻译为英文,那么第四语言转换是将该英文转换为中文。
112.具体地,获取到与第一文本语料(包含第一语言)对应的第一纠错语料之后,将第一纠错语料包含的第一语言转换为第三语言,从而得到第四文本语料,其中,第三语言与第一语言不同。之后,将第四文本语料包含的第三语言转换为第一语言,从而得到第三纠错语料。
113.例如,第一文本语料“我去银行卖了黄金”对应的包含中文的第一纠错语料为“我去银行卖了黄金”,将第一纠错语料经过第三语言转换后得到包含英文的第四文本语料“i went to the bank and sold gold”,之后,将第四文本语料转换为包含中文的第三纠错语料为“银行去我卖了黄金”(包含语法错误和拼写错误)。
114.由此,将根据文字识别得到的纠错语料进一步进行两次语言转换,从而得到更加丰富多样的纠错语料,可以同时生成中文拼写纠错语料和中文语法纠错语料,进一步丰富了纠错语料的多样性、提高了纠错模型的训练样本。
115.本申请实施例还提出了一种纠错语料的生成装置,图7为本申请实施例提供的一种纠错语料的生成装置的结构示意图。
116.如图7所示,该纠错语料的生成装置700包括:第一获取模块710、第一转化模块720、第二获取模块730及第三获取模块740。
117.其中,第一获取模块710,用于获取包含第一语言的第一文本语料;第一转化模块720,用于将第一文本语料转化为文本图片;第二获取模块730,用于对文本图片进行加噪处理,以获取加噪后的图片;第三获取模块740,用于对加噪后的图片进行文字识别,以获取与第一文本语料对应的第一纠错语料。
118.在本申请的一个实施例中,第一转化模块720,可包括:第一确定单元,用于根据待生成的错误语料的类型,确定目标噪声强度;第一获取单元,用于基于目标噪声强度,对文本图片进行加噪处理,以获取加噪后的图片。
119.在本申请的一个实施例中,纠错语料的生成装置700还可包括:第四获取模块,用于在文本图片的尺寸大于阈值的情况下,对文本图片的不同区域分别进行加噪处理,以获取多个加噪后的图片;第五获取模块,用于对多个加噪后的图片分别进行文字识别,以获取与第一文本语料对应的多个纠错语料。
120.在本申请的一个实施例中,纠错语料的生成装置700还可包括:第六获取模块,用于在获取包含第一语言的第一文本语料之后,将第一文本语料进行第一语言转换,以获取包含第二语言的第二文本语料;第七获取模块,用于将第二文本语料进行第二语言转换,以获取包含第一语言的第二纠错语料。
121.在本申请的一个实施例中,纠错语料的生成装置700还可包括:第八获取模块,用于在将第一文本语料进行第一语言转换之前,将第一文本语料进行预处理,以获取包含第一语言的第三文本语料,其中,第三文本语料与第一文本语料之间具有至少一个不同的字符。
122.在本申请的一个实施例中,纠错语料的生成装置700还可包括:第九获取模块,用于在获取与第一文本语料对应的第一纠错语料之后,将第一纠错语料进行第三语言转换,以获取包含第三语言的第四文本语料;第十获取模块,用于将第四文本语料进行第四语言
转换,以获取包含第一语言的第三纠错语料。
123.需要说明的是,本申请实施例的纠错语料的生成装置的其他具体实施方式可参见前述纠错语料的生成方法的具体实施方式,为避免冗余,此处不再赘述。
124.本申请实施例的纠错语料的生成装置,将文本语料转化为加噪后的图片,进而将加噪后的图片进行文字识别以获取文本语料的纠错语料,无需人工收集大量的纠错语料,即可实现大量纠错语料的生成,不仅降低了人工成本,而且有利于提高纠错语料的多样性。
125.根据本申请的实施例,本申请还提供了一种纠错语料的生成方法的电子设备、可读存储介质和计算机程序产品。下面结合图8进行说明。
126.如图8所示,是根据本申请实施例的纠错语料的生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
127.如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序,来执行各种适当的动作和处理。在ram803中,还可存储设备800操作所需的各种程序和数据。计算单元801、rom802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
128.设备800中的多个部件连接至i/o接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
129.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如纠错语料的生成方法。例如,在一些实施例中,纠错语料的生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram803并由计算单元801执行时,可以执行上文描述的纠错语料的生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行纠错语料的生成方法。
130.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出
装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
131.用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
132.在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd

rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
133.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
134.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)、互联网和区块链网络。
135.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端

服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与vps(virtual private server,虚拟专用服务器)服务中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
136.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
137.上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开
的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1