一种面向波斯语机器翻译的断句方法、系统及应用与流程

文档序号:25652515发布日期:2021-06-29 21:00阅读:220来源:国知局

1.本发明属于机器翻译断句处理技术领域,尤其涉及一种面向波斯语机器翻译的断句方法、系统及应用。


背景技术:

2.目前,在自然语言处理中,句子是大于词存在的具有整体表达意义的单位。在进行机器翻译训练和翻译时,进行句子分句有很大的意义。对于理解波斯语的人来说,能够很容易地阅读和理解波斯语句子并进行分句,但是对于计算机来说,从何处进行分句,还有一定的难度。在利用波斯语有某些固定标点符号的基础上,采用规则加分类的方法,将波斯语分句成适合机器翻译训练与翻译的结果。
3.然而现有技术有一些固有的缺点:虽然在进行分句的基础上可以提升翻译效果,但是存在强制断句,会造成翻译生硬。因此,亟需一种新的面向波斯语机器翻译的断句方法、系统及应用。
4.通过上述分析,现有技术存在的问题及缺陷为:现有技术虽然在进行分句的基础上可以提升翻译效果,但是存在强制断句,造成翻译生硬。
5.解决以上问题及缺陷的难度为:存在强制断句,会造成源语句子不完整,上下句翻译效果不好。
6.解决以上问题及缺陷的意义为:因为会存在过长的句子,这种情况比较常见,不能完全避免强制切分,但是可以寻找强制切分较好的句长来减少强制断句造成翻译效果较差的情况。


技术实现要素:

7.针对现有技术存在的问题,本发明提供了一种面向波斯语机器翻译的断句方法、系统及应用。
8.本发明是这样实现的,一种面向波斯语机器翻译的断句方法,所述面向波斯语机器翻译的断句方法包括以下步骤:步骤一,获取待处理的波斯语句子,对句子进行预处理,将其中波斯语数字转成阿拉伯数字;步骤二,前向规则切分:利用正向匹配的方法,遇小数进行判断的方式,通过句子分隔符将波斯语句子进行初步切分;步骤三,采取分类的方式,将句子长度分成两类进行细化切分:(1)对于含有:
،
:
؛؟
可以进行再次分句的符号,采用一种句长的处理方式;(2)对于句子过长的句子,在表示分句处进行切分,如果没有,则在固定长度出进行后向强制切分。
9.步骤四,采用2000句测试集,尝试多种分句参数,选择机器翻译效果、翻译准确率较高的为最后的标准参数,得出分句模型。
10.进一步,步骤一中,所述对句子进行预处理包括:波斯语中,存在波斯语表示的数
字,通过语料预处理将波斯语数字转成阿拉伯数字。
11.进一步,步骤三中,所述采取分类的方式,将句子长度分成两类进行细化切分,包括:(1)对于含有“:”的可以进行再次分句的符号,按照约定句长根据符号进行切分;(2)对于句子过长的句子,在表示分句处进行切分;如果没有,则在固定长度出进行后向强制切分。
12.本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:获取待处理的波斯语句子,并对语料进行预处理;前向规则切分:利用正向匹配的方法,遇小数进行判断的方式,将波斯语句子进行初步切分;采取分类的方式,将句子长度分成两类进行细化切分;采用2000句测试集,尝试多种分句参数,选择机器翻译效果、翻译准确率较高的为最后的标准参数,得出分句模型。
13.本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:获取待处理的波斯语句子,并对语料进行预处理;前向规则切分:利用正向匹配的方法,遇小数进行判断的方式,将波斯语句子进行初步切分;采取分类的方式,将句子长度分成两类进行细化切分;采用2000句测试集,尝试多种分句参数,选择机器翻译效果、翻译准确率较高的为最后的标准参数,得出分句模型。
14.本发明的另一目的在于提供一种信息数据处理终端,所述信息数据处理终端用于实现所述的面向波斯语机器翻译的断句方法。
15.本发明的另一目的在于提供一种实施所述的面向波斯语机器翻译的断句方法的面向波斯语机器翻译的断句系统,所述面向波斯语机器翻译的断句系统,包括:语料获取模块,用于获取待处理的波斯语句子;语料预处理模块,用于将波斯语数字转成阿拉伯数字;前向规则切分模块,用于利用正向匹配的方法,遇小数进行判断的方式,将波斯语句子进行初步切分;细化切分模块,用于采取分类的方式,将句子长度分成两类进行细化切分;分句模型获取模块,用于采用2000句测试集,尝试多种分句参数,选择机器翻译效果、翻译准确率较高的为最后的标准参数,得出分句模型。
16.本发明的另一目的在于提供一种神经网络机器翻译系统,所述神经网络机器翻译系统用于实现所述的面向波斯语机器翻译的断句方法。
17.本发明的另一目的在于提供一种机器翻译断句处理终端,所述机器翻译断句处理终端用于实现所述的面向波斯语机器翻译的断句方法。
18.本发明的另一目的在于提供一种语言处理终端,所述语言处理终端用于实现所述
的面向波斯语机器翻译的断句方法。
19.结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明提供的面向波斯语机器翻译的断句方法,通过规则与分类处理的方法,将波斯语进行分句,从而提高波斯语的翻译效果与准确率,可以提高0.5个bleu(bilingual evaluation understudy,双语互译质量辅助工具)。同时,本发明提供的面向波斯语机器翻译的断句方法,面向波斯语机器翻译时,对波斯语进行分句,能够提升翻译效果。
附图说明
20.为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
21.图1是本发明实施例提供的面向波斯语机器翻译的断句方法流程图。
22.图2是本发明实施例提供的面向波斯语机器翻译的断句方法原理图。
23.图3是本发明实施例提供的面向波斯语机器翻译的断句系统结构框图;图中:1、语料获取模块;2、语料预处理模块;3、前向规则切分模块;4、细化切分模块;5、分句模型获取模块。
具体实施方式
24.为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
25.针对现有技术存在的问题,本发明提供了一种面向波斯语机器翻译的断句方法、系统及应用,下面结合附图对本发明作详细的描述。
26.如图1所示,本发明实施例提供的面向波斯语机器翻译的断句方法包括以下步骤:s101:获取待处理的波斯语句子,对句子进行预处理,将其中波斯语数字转成阿拉伯数字;s102:前向规则切分:利用正向匹配的方法,遇小数进行判断的方式,通过句子分隔符将波斯语句子进行初步切分;s103:采取分类的方式,将句子长度分成两类进行细化切分:(1)对于含有:
،
:
؛؟
可以进行再次分句的符号,采用一种句长的处理方式;(2)对于句子过长的句子,在表示分句处进行切分,如果没有,则在固定长度出进行后向强制切分;s104:采用2000句测试集,尝试多种分句参数,选择机器翻译效果、翻译准确率较高的为最后的标准参数,得出分句模型。
27.本发明提供的面向波斯语机器翻译的断句方法业内的普通技术人员还可以采用其他的步骤实施,图1的本发明提供的面向波斯语机器翻译的断句方法仅仅是一个具体实施例而已。
28.本发明实施例提供的面向波斯语机器翻译的断句方法原理图如图2所示。
29.如图3所示,本发明实施例提供的面向波斯语机器翻译的断句系统,包括:
语料获取模块1,用于获取待处理的波斯语句子;语料预处理模块2,用于将波斯语数字转成阿拉伯数字;前向规则切分模块3,用于利用正向匹配的方法,遇小数进行判断的方式,将波斯语句子进行初步切分;细化切分模块4,用于采取分类的方式,将句子长度分成两类进行细化切分;分句模型获取模块5,用于采用2000句测试集,尝试多种分句参数,选择机器翻译效果、翻译准确率较高的为最后的标准参数,得出分句模型。
30.下面结合实施例对本发明的技术方案作进一步的描述。
31.本发明主要是通过规则与分类处理的方法,将波斯语进行分句,从而提高波斯语的翻译效果与准确率,可以提高0.5个bleu(bilingual evaluation understudy,双语互译质量辅助工具)。
32.本发明旨在解决波斯语分句的问题,处理的步骤为:1.波斯语中,存在波斯语表示的数字,需要将波斯语数字转成阿拉伯数字,这样不会将带有小数的进行错误切分。
33.2.利用正向匹配的方法,遇小数进行判断的方式,将句子进行初步切分。
34.3.较长句子会产生翻译漏译现象,这里采取分类的方式,将句子长度分成两类进行细化切分:(1)对于含有“:”可以进行再次分句的符号,采用一种句长的处理方式。(2)对于句子过长的句子,在表示分句处进行切分,如果没有,则在固定长度出进行后向强制切分。
35.4.采用2000句测试集,尝试多种分句参数,选择机器翻译效果、翻译准确率较高的为最后的标准参数,得出分句模型。
36.本发明的欲保护点为:波斯语数字转为阿拉伯数字的预处理,规则与分类的分句方法。
37.本发明主要是通过规则与分类处理的方法,将波斯语进行分句,从而提高波斯语的翻译效果与准确率,可以提高0.5个bleu(bilingual evaluation understudy,双语互译质量辅助工具)。
38.本发明提供的面向波斯语机器翻译的断句方法,面向波斯语机器翻译时,对波斯语进行分句,能够提升翻译效果。
39.原句: تحلیل این گزارش نشان می دهد
: نزدیک به نیمی از مصاحبهشوندگان معتقدند، مردان رهبران سیاسی برتری هستند و بیش از ۴۰ در صد مصاحبهشوندگان معتقدند که مردان می توانند مدیران تجاری بهتر باشند

40.切分后: تحلیل این گزارش نشان می دهد
: نزدیک به نیمی از مصاحبهشوندگان معتقدند، مردان رهبران سیاسی برتری هستند و بیش از ۴۰ در صد مصاحبهشوندگان معتقدند که مردان می توانند مدیران تجاری بهتر باشند

41.结果是有助于翻译效果的提升。
42.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或
多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl) 或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
43.以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1