一种语音翻译方法、装置、智能终端和存储介质与流程

文档序号:33254696发布日期:2023-02-21 16:53阅读:33来源:国知局
一种语音翻译方法、装置、智能终端和存储介质与流程

1.本公开涉及智能终端技术领域,尤其涉及一种语音翻译方法、装置、智能终端及计算机可读存储介质。


背景技术:

2.随着智能终端技术的发展,智能手表、智能录音笔、智能眼镜、智能手机等智能终端可实现的功能越来越多,如语言翻译、移动支付、运动记录、健康检测等功能。
3.在实际应用中,用户可以在智能终端显示的翻译界面中,选择需要采用的语言翻译策略,如“中文—》english”等;进一步地,上述智能终端可以采集用户的语音,并按照用户选择的语言翻译策略,针对采集到语音进行翻译处理。
4.例如,在智能终端显示的翻译界面中,可以分别提供“中译英”、“英译中”两个按钮;当用户按住“中译英”的按钮并说话时,智能终端可以将用户所说的内容由中文翻译为对应的英文;当用户按住“英译中”的按钮并说话时,智能终端可以将用户所说的内容由英文翻译为对应的中文。


技术实现要素:

5.本公开提供一种语音翻译方法、装置、智能终端和存储介质,以解决相关技术中的不足。
6.根据本公开实施例的第一方面,提出一种语音翻译方法,所述方法用于智能终端,所述方法包括:
7.响应于检测到的与所述智能终端对应的运动事件,确定与所述运动事件对应的运动事件类型;其中,不同类型的运动事件对应不同的运动方向;
8.确定与所述运动事件类型对应的目标翻译策略;其中,不同的运动事件类型对应不同的翻译策略;
9.获取采集到的待翻译的音频数据,并基于所述目标翻译策略针对所述音频数据进行翻译处理。
10.可选地,所述智能终端搭载有加速度传感器;所述响应于检测到的与所述智能终端对应的运动事件,确定与所述运动事件对应的运动事件类型,包括:
11.响应于所述智能终端搭载的加速度传感器采集到的加速度变化数据,将所述加速度变化数据输入预训练的分类模型进行分类计算;其中,所述分类模型包括基于若干被标记了运动事件类型的加速度变化数据样本进行训练而得到的机器学习模型;
12.获取所述分类模型输出的分类计算结果,并基于所述分类计算结果确定与所述运动事件对应的运动事件类型。
13.可选地,所述方法还包括:
14.播放翻译得到的音频数据,和/或基于所述智能终端展示翻译得到的文本数据。
15.可选地,所述智能终端包括可穿戴智能设备。
16.可选地,所述可穿戴智能设备包括可佩戴于用户手腕处的可穿戴智能设备;所述运动事件包括朝向佩戴者的方向转动手腕的第一运动事件、和朝向佩戴者的反方向转动手腕的第二运动事件;
17.所述确定与所述运动事件类型对应的目标翻译策略,包括:
18.如果所述运动事件类型为所述第一运动事件,则确定对应的目标翻译策略为将预设的母语翻译为预设的外语的翻译策略;
19.如果所述运动事件类型为所述第二运动事件,则确定对应的目标翻译策略为将预设的外语翻译为预设的母语的翻译策略。
20.可选地,所述可佩戴于用户手腕处的可穿戴智能设备,包括智能手表或智能手环。
21.根据本公开实施例的第二方面,提出一种语音翻译装置,所述装置用于智能终端,所述装置包括:
22.第一确定单元,被配置为:响应于检测到的与所述智能终端对应的运动事件,确定与所述运动事件对应的运动事件类型;其中,不同类型的运动事件对应不同的运动方向;
23.第二确定单元,被配置为:确定与所述运动事件类型对应的目标翻译策略;其中,不同的运动事件类型对应不同的翻译策略;
24.翻译单元,被配置为:获取采集到的待翻译的音频数据,并基于所述目标翻译策略针对所述音频数据进行翻译处理。
25.可选地,所述智能终端搭载有加速度传感器;所述第一确定单元,包括:
26.分类计算子单元,被配置为:响应于所述智能终端搭载的加速度传感器采集到的加速度变化数据,将所述加速度变化数据输入预训练的分类模型进行分类计算;其中,所述分类模型包括基于若干被标记了运动事件类型的加速度变化数据样本进行训练而得到的机器学习模型;
27.第一确定子单元,被配置为:获取所述分类模型输出的分类计算结果,并基于所述分类计算结果确定与所述运动事件对应的运动事件类型。
28.可选地,所述装置还包括播放单元和/或展示单元;其中,
29.所述播放单元,被配置为:播放翻译得到的音频数据;
30.所述展示单元,被配置为:基于所述智能终端展示翻译得到的文本数据。
31.可选地,所述智能终端包括可穿戴智能设备。
32.可选地,所述智能终端包括可佩戴于用户手腕处的可穿戴智能设备;所述运动事件包括朝向佩戴者的方向转动手腕的第一运动事件、和朝向佩戴者的反方向转动手腕的第二运动事件;
33.所述第二确定单元,被配置为:
34.如果所述运动事件类型为所述第一运动事件,则确定对应的目标翻译策略为将预设的母语翻译为预设的外语的翻译策略;
35.如果所述运动事件类型为所述第二运动事件,则确定对应的目标翻译策略为将预设的外语翻译为预设的母语的翻译策略。
36.可选地,所述可佩戴于用户手腕处的可穿戴智能设备,包括智能手表或智能手环。
37.根据本公开实施例的第三方面,提供一种智能终端,包括:
38.处理器;
39.用于存储处理器可执行指令的存储器;
40.其中,所述处理器被配置为执行上述第一方面所述的语音翻译方法。
41.根据本公开实施例的第四方面,提供一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述第一方面所述的语音翻译方法。
42.本公开的实施例提供的技术方案可以包括以下有益效果:
43.本公开实施例中,智能终端响应于检测到的运动事件,可以确定与所述运动事件对应的运动事件类型,以及与所述运动事件类型对应的目标翻译策略,进一步地,可以获取采集到的待翻译的音频数据,并基于所述目标翻译策略针对采集到的音频数据进行翻译处理;其中,不同类型的运动事件对应不同的运动方向,不同的运动事件类型对应不同的翻译策略;因此,所述智能终端在检测到运动事件时,可以将针对采集到的音频数据进行翻译处理的翻译策略,自动地切换为与检测到的运动事件的类型对应的目标翻译策略,而无需由用户手动切换目标翻译策略,从而提升用户基于智能终端进行语音翻译的使用体验;并且,由于不同的运动方向对应不同类型的运动事件,不同的运动事件类型对应不同的翻译策略,用户可以根据需要切换的目标翻译策略,针对智能终端执行对应运动方向的操作,从而实现切换后的目标翻译策略可控。
44.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
45.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
46.图1是相关技术中一种翻译界面的示意图。
47.图2是相关技术中另一种翻译界面的示意图。
48.图3是根据一示例性实施例示出的一种语音翻译方法的流程图。
49.图4是根据一示例性实施例示出的另一种语音翻译方法的流程图。
50.图5是根据一示例性实施例示出的另一种语音翻译方法的流程图。
51.图6是根据一示例性实施例示出的另一种语音翻译方法的流程图。
52.图7是根据一示例性实施例示出的一种语音翻译装置框图。
53.图8是根据一示例性实施例示出的另一种语音翻译装置框图。
54.图9是根据一示例性实施例示出的另一种语音翻译装置框图。
55.图10是根据一示例性实施例示出的另一种语音翻译装置框图。
56.图11是根据一示例性实施例示出的一种用于语音翻译装置的示意框图。
具体实施方式
57.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
58.应当注意的是,在相关技术中,用户在使用智能终端进行语音翻译的过程中,如果
需要将当前采用的翻译策略切换为另一种翻译策略,通常可以先在智能终端显示的翻译界面中,手动选择另一种翻译策略,再进一步地使智能终端采集待翻译的语音,并按照切换后的另一种翻译策略针对采集到的语音进行翻译处理。
59.参照图1所示,图1是相关技术中一种翻译界面的示意图。
60.例如,如图1所示,在智能终端显示的翻译界面中,可以分别提供“按住说话”、“hold to talk”两个按钮;当用户按住按钮“按住说话”并说话时,智能终端可以将用户所说的内容由中文翻译为对应的英文;需要切换翻译策略时,用户可以改为按住按钮“hold to talk”并说话,则该智能终端响应于用户按住按钮“hold to talk”的操作,可以将用户所说的内容由英文翻译为对应的中文。
61.参照图2所示,图2是相关技术中另一种翻译界面的示意图。
62.又例如,如图2所示,在智能终端显示的翻译界面中,用户可以先设置采用的翻译策略为“中文—》english”,以使智能终端在采集到用户的语音时,按照预先设置的翻译策略进行翻译处理;切换翻译策略时,用户需要先手动更改设置的翻译策略,智能终端才可以按照更改后的翻译策略进行翻译处理。
63.由此可见,在相关技术中,由于用户基于智能终端进行语音翻译时,需要针对智能设备进行点击、滑动等操作,来手动选择或切换所采用的翻译策略,因此,导致用户使用智能终端进行语音翻译的体验不佳,尤其在需要频繁切换翻译策略的场景中,用户需要针对智能设备执行很多额外的触摸操作,来切换翻译策略。
64.有鉴于此,本公开提供一种将与智能终端对应的运动事件和切换翻译策略关联起来的技术方案,从而智能终端可以基于检测到的运动事件的类型,确定对应的目标翻译策略,并基于目标翻译策略对采集到的音频数据进行翻译处理。
65.下面通过具体实施例,并结合具体的应用场景对本公开进行描述。
66.本公开实施例提供了一种语音翻译方法,可以用于智能终端,参照图3所示,图3是根据一示例性实施例示出的一种语音翻译方法的流程图,可以包括以下步骤:
67.步骤301,响应于检测到的与智能终端对应的运动事件,确定与所述运动事件对应的运动事件类型;其中,不同类型的运动事件对应不同的运动方向;
68.步骤302,确定与所述运动事件类型对应的目标翻译策略;其中,不同的运动事件类型对应不同的翻译策略;
69.步骤303,获取采集到的待翻译的音频数据,并基于所述目标翻译策略针对所述音频数据进行翻译处理。
70.在本公开实施例中,所涉及到的智能终端,可以包括具有语音翻译功能的智能终端,具体可以包括但不限于智能录音笔、智能项链、智能眼镜、智能手环、智能手表、智能戒指、智能手机等等。
71.可选的,在步骤301中,所述检测到的与智能终端对应的运动事件,可以理解为,当所述智能终端的运动状态(如速度大小、速度方向等)发生变化时,所述智能终端可以检测到对应的运动事件;具体地,所述智能终端可以通过其搭载的加速度传感器、重力传感器等传感器,采集所述智能终端的运动数据,并确定与采集到的运动数据对应的运动事件。
72.在本公开实施例中,所述运动事件类型,至少可以包括运动方向;其中,不同的运动事件类型对应不同的运动方向;本领域技术人员可以根据需求,灵活地设置所述运动事
件类型,如:以重力的方向作为基准(即重力方向对应于正下方),所述运动事件类型具体可以包括但不限于向正下方运动、向左运动、向右上方运动、顺时针翻转、逆时针翻转等。
73.例如,所述智能终端为具有语音翻译功能的智能录音笔,当用户手持智能录音笔向上甩动时,该智能录音笔可以通过其搭载的传感器,检测出自身的速度大小和速度方向发生变化,也即,检测到对应的运动事件,并且运动方向为上方;响应于检测到的与该智能录音笔对应的运动事件,可以确定与所述运动事件对应的运动事件类型为向上运动。
74.又例如,所述智能终端为具有语音翻译功能的智能手表,当用户转动佩戴有智能手表的手腕时,该智能手表可以通过其搭载的传感器,检测出自身的速度大小和速度方向发生变化,也即,检测到对应的运动事件;响应于检测到的与该智能手表对应的运动事件,可以确定与所述运动事件对应的运动事件类型为顺时针转动或逆时针转动。
75.应当注意的是,在以上实施例中,所述运动事件的运动方向,可以由所述智能终端搭载的传感器直接检测出来,也可以由所述智能终端根据所述传感器采集到的运动数据计算得出,本公开实施例不做限制。
76.另外,在以上实施例中,除了运动方向之外,不同的运动事件类型也可以对应不同的速度大小、加速度大小等,本领域技术人员可以根据需求,灵活地设置对应的运动事件类型,本公开实施例不做限制。
77.在本公开实施例中,所述翻译策略,可以包括将第一语言翻译为第二语言的翻译策略;其中,不同的运动事件类型对应不同的翻译策略;本领域技术人员可以根据需求,灵活地设置所述翻译策略,也即,灵活地设置所述第一语言和第二语言,如:所述第一语言或第二语言可以被设置为中文、英文、韩文、日文、西班牙文等不同语言中的任意一种,本公开实施例不做限制。
78.在本公开实施例中,所述目标翻译策略,可以包括与所述检测到的运动事件的类型对应的翻译策略;如,所述目标翻译策略,可以包括但不限于将中文翻译为英文的翻译策略、将中文翻译为日文的翻译策略、将韩文翻译为中文的翻译策略等。
79.可选的,在步骤302中,用户或本领域技术人员可以根据需求,灵活地设置运动事件类型与翻译策略之间的对应关系,从而在所述智能终端检测到运动事件时,可以先确定与所述运动事件对应的运动事件类型,再确定与所述运动事件类型对应的目标翻译策略。
80.例如,所述智能终端为具有语音翻译功能的智能录音笔,用户可以为所述智能录音笔预先设置,与向上运动对应的翻译策略为将中文翻译为英文,与向下运动对应的翻译策略为将英文翻译为中文,与向左运动对应的翻译策略为将中文翻译为日文,与向右运动对应的翻译策略为将日文翻译为中文;所述智能录音笔响应于检测到的运动事件,可以确定与所述运动事件对应的运动事件类型为向上运动,进而可以确定与向上运动对应的目标翻译策略为将中文翻译为英文的翻译策略。
81.可选的,在步骤303中,所述智能终端可以基于其搭载的麦克风等硬件,采集待翻译的音频数据;所述待翻译的音频数据,可以包括用户以所述第一语言语音输入所述智能终端的音频数据。
82.应当注意的是,在步骤303中,在基于所述目标翻译策略针对音频数据进行翻译处理之前,所述智能终端可以先获取采集到的待翻译的音频数据,可以理解为,对于确定所述目标翻译策略与采集待翻译的音频数据的先后顺序,本公开实施例不做限制。
83.可选的,在步骤303中,关于开始采集待翻译的音频数据的时机,本公开实施例不做限制,本领域技术人员可以根据需求灵活设置;如:所述智能终端响应于用户的触发操作,可以打开对应的翻译界面,同时可以开始采集待翻译的音频数据;所述智能终端也可以在检测到预设的唤醒口令时,开始采集待翻译的音频数据。
84.可选的,在步骤303中,关于结束采集待翻译的音频数据的时机,本公开实施例不做限制,本领域技术人员可以根据需求灵活设置;如:所述智能终端在开始采集待翻译的音频数据之后,如果超过预设时长(如2秒)未采集到音频输入,则可以结束采集。
85.可选的,在步骤303中,所述智能终端可以基于所述目标翻译策略,针对所述待翻译的音频数据进行本地翻译处理,并获取翻译得到的音频数据或文本数据;所述智能终端也可以将所述待翻译的音频数据发送给用于语音翻译的服务端,以使所述服务端基于所述目标翻译策略针对所述音频数据进行翻译处理,并向所述智能终端返回翻译得到的音频数据或文本数据。
86.例如,在确定目标翻译策略为将中文翻译为英文的翻译策略,并采集用户通过中文语音输入的音频数据之后,所述智能录音笔可以获取采集到的待翻译的音频数据,并基于所述目标翻译策略针对待翻译的音频数据进行翻译处理,也即,将采集到的音频数据由中文翻译为英文。
87.可选的,在步骤303中,如果未检测到与所述智能终端对应的运动事件,所述智能终端可以基于预设的翻译策略针对所述音频数据进行翻译处理;其中,所述预设的翻译策略,可以包括用户预先设置的默认翻译策略;在实际应用中,用户可以根据需求,将所述预设的翻译策略灵活设置为任一所述翻译策略,本公开实施例不做限制;所述智能终端基于所述预设的翻译策略针对待翻译的音频数据进行翻译处理的具体实现方式,与所述智能终端基于所述目标翻译策略针对待翻译的音频数据进行翻译处理的具体实现方式类似,在此不再赘述。
88.由上述实施例可知,智能终端响应于检测到的运动事件,可以确定与所述运动事件对应的运动事件类型,以及与所述运动事件类型对应的目标翻译策略,进一步地,可以获取采集到的待翻译的音频数据,并基于所述目标翻译策略针对采集到的音频数据进行翻译处理;其中,不同类型的运动事件对应不同的运动方向,不同的运动事件类型对应不同的翻译策略;因此,所述智能终端在检测到运动事件时,可以将针对采集到的音频数据进行翻译处理的翻译策略,自动地切换为与检测到的运动事件的类型对应的目标翻译策略,而无需由用户手动切换目标翻译策略,从而提升用户基于智能终端进行语音翻译的使用体验;并且,由于不同的运动方向对应不同类型的运动事件,不同的运动事件类型对应不同的翻译策略,用户可以根据需要切换的目标翻译策略,针对智能终端执行对应运动方向的操作,从而实现切换后的目标翻译策略可控。
89.在一实施例中,所述智能终端搭载有加速度传感器;则可选地,参照图4所示,图4是根据3所示的实施例示出的另一种语音翻译方法的流程图,上述步骤301,可以包括以下步骤:
90.步骤301-1,响应于所述智能终端搭载的加速度传感器采集到的加速度变化数据,将所述加速度变化数据输入预训练的分类模型进行分类计算;
91.步骤301-2,获取所述分类模型输出的分类计算结果,并基于所述分类计算结果确
定与所述运动事件对应的运动事件类型。
92.在本公开实施例中,所述智能终端的运动数据,可以包括所述智能终端的加速度变化数据;所述加速度传感器,可以用于采集所述智能终端的加速度变化数据。
93.可选的,在步骤301-1中,所述分类模型,可以包括基于若干被标记了运动事件类型的加速度变化数据样本进行训练而得到的机器学习模型;在对所述分类模型进行训练时,可以对所述分类模型的分类函数进行有监督的训练;具体地,可以先获取预设数量的已经标记了实际运动事件类型的加速度变化数据样本,再基于所述加速度变化数据样本,按照预设的优化目标对所述分类模型的分类函数进行有监督的训练。
94.其中,所述优化目标可以包括:针对所述加速度变化数据样本中的任一加速度变化数据样本,与加速度变化数据样本的匹配度最高的运动事件类型与所述加速度变化数据样本对应的实际运动事件类型匹配。为了实现按照预设的优化目标对所述分类模型的分类函数进行有监督的训练,可以在基于所述加速度变化数据样本对所述分类模型的分类函数进行有监督的训练时,通过判断与所述分类函数对应的交叉熵损失函数是否收敛,确定所述分类函数是否达到该优化目标,即确定所述分类函数是否训练完成。
95.可选的,在步骤301-2中,所述分类模型输出的分类计算结果,可以包括与每种运动事件类型对应的概率值;在利用所述分类模型预测与所述运动事件对应的运动事件类型时,可以在所述分类模型输出的与每种运动事件类型对应的概率值中,将与最大的概率值对应的运动事件类型,确定为与所述运动事件对应的运动事件类型。
96.例如,所述具有语音翻译功能的智能录音笔搭载有加速度传感器,响应于所述加速度传感器采集到的加速度变化数据,可以确定检测到与所述智能录音笔对应的运动事件,并可以将所述加速度变化数据输入预训练的分类模型进行分类计算;进一步地,可以获取所述分类模型输出的分类计算结果,也即与每种运动事件类型对应的概率值,其中,与最大的概率值对应的运动事件类型为向上运动,因此,基于所述分类计算结果可以确定与所述运动事件对应的运动事件类型为向上运动;进一步地,可以确定与向上运动对应的目标翻译策略为将中文翻译为英文的翻译策略;进一步地,可以获取采集到的待翻译的音频数据,并基于所述目标翻译策略将采集到的音频数据由中文翻译为英文。
97.应当注意的是,在步骤301中,通过预训练的分类模型确定与运动事件对应的运动事件类型,仅仅是一示例性的实施例,本公开实施例不做限制;在实际应用中,所述智能终端也可以通过预先设置的算法确定与运动事件对应的运动事件类型,或者所述智能终端也可以搭载能直接识别出运动方向和运动轨迹的传感器,并直接根据所述传感器输出的运动方向和运动轨迹来确定与运动事件对应的运动事件类型。
98.在一实施例中,参照图5所示,图5是根据图3所示的实施例示出的另一种语音翻译方法的流程图,上述步骤303之后,还可以包括:
99.步骤304,播放翻译得到的音频数据。
100.可选的,在步骤304中,所述智能终端可以获取翻译得到的音频数据,并进一步地基于其搭载的扬声器等硬件,播放所述翻译得到的音频数据。
101.例如,所述智能录音笔在检测到运动事件,确定与所述运动事件对应的运动事件类型为向上运动,并确定与向上运动对应的目标翻译策略为将中文翻译为英文的翻译策略之后,可以获取采集到的待翻译的音频数据(中文),并基于所述目标翻译策略针对采集到
的音频数据进行翻译处理,获取翻译得到的音频数据(英文);进一步地,所述智能录音笔可以播放翻译得到的音频数据。
102.由上述实施例可知,所述智能终端在基于目标翻译策略针对待翻译的音频数据进行翻译处理之后,可以播放翻译得到的音频数据,从而在用户与他人面对面交流时,智能终端可以直接将翻译得到的音频数据播放出来,而无需用户向他人转述翻译结果,使得他人可以直接听到与用户输入的音频数据对应的翻译结果,实现沟通效率的提升,改善用户基于智能终端进行语音翻译的体验。
103.在一实施例中,参照图6所示,图6是根据图3所示的实施例示出的另一种语音翻译方法的流程图,上述步骤303之后,还可以包括:
104.步骤305,基于所述智能终端展示翻译得到的文本数据。
105.可选的,在步骤305中,所述智能终端可以获取翻译得到的文本数据,并进一步地基于所述智能终端的显示屏向用户展示所述翻译得到的文本数据。
106.例如,所述智能录音笔在检测到运动事件,确定与所述运动事件对应的运动事件类型为向上运动,并确定与向上运动对应的目标翻译策略为将中文翻译为英文的翻译策略之后,可以获取采集到的待翻译的音频数据(中文),并基于所述目标翻译策略针对采集到的音频数据进行翻译处理;进一步地,所述智能录音笔可以获取翻译得到的文本数据(英文),并在所述智能录音笔的显示屏上显示所述翻译得到的文本数据。
107.由上述实施例可知,所述智能终端在基于目标翻译策略针对待翻译的音频数据进行翻译处理之后,可以展示翻译得到的文本数据,从而在用户无法向他人转述翻译结果、或者不方便直接播放音频的场景中,智能终端可以通过显示屏展示翻译得到的文本数据,用户可以直接将智能终端显示的翻译结果展示给他人,从而改善用户基于智能终端进行语音翻译的体验。
108.应当注意的是,在本公开实施例中,所述智能终端在基于目标翻译策略针对待翻译的音频数据进行翻译处理之后,也可以播放翻译得到的音频数据,并且展示翻译得到的文本数据,关于所述步骤304和步骤305的执行顺序,本公开实施例不做限制。
109.可选的,所述智能终端,可以包括可穿戴智能设备。
110.其中,所述可穿戴智能设备具体可以包括但不限于智能项链、智能眼镜、智能手环、智能手表、智能戒指等。
111.需要说明的是,在本公开实施例中,所述智能终端包括可穿戴设备时,用户可以在未携带智能手机、智能录音笔等外设的情况下,基于可穿戴设备实现语音翻译,从而改善用户的语音翻译体验。
112.可选的,所述可穿戴智能设备,可以包括可佩戴于用户手腕处的可穿戴智能设备;其中,所述可佩戴于用户手腕处的可穿戴智能设备,具体可以包括但不限于智能手环、智能手表等。
113.针对步骤301-步骤302,所述智能终端包括可佩戴于用户手腕处的可穿戴智能设备时,所述运动事件可以包括朝向佩戴者的方向转动手腕的第一运动事件、和朝向佩戴者的反方向转动手腕的第二运动事件,所述目标翻译策略可以包括将预设的母语翻译为预设的外语的翻译策略、和将预设的外语翻译为预设的母语的翻译策略。
114.可选的,用户可以根据需求,为所述可佩戴于用户手腕处的可穿戴智能设备预先
设置母语和外语,所述外语可以理解为除所述母语之外的其他语言,关于所述预设的母语和预设的外语具体是何种语言,本公开实施例不做限制;如:用户预设的母语为中文时,用户预设的外语可以包括除中文之外的任一语言。
115.例如,所述智能终端为具有翻译功能的、可以佩戴于用户手腕处的智能手表,假设佩戴者用户将智能手表佩戴于自己的左手手腕处,佩戴者的母语为中文,并且正在与所述佩戴者进行交流的其他人的母语为英文,则佩戴者可以将预设的母语设置为中文,并将预设的外语设置为英文。
116.可选的,在步骤302中,如果所述运动事件类型为所述第一运动事件,则所述智能终端可以确定与所述运动事件类型对应的目标翻译策略为将预设的母语翻译为预设的外语的翻译策略;如果所述运动事件类型为所述第二运动事件,则所述智能终端可以确定与所述运动事件类型确定对应的目标翻译策略为将预设的外语翻译为预设的母语的翻译策略。
117.接着以上示例继续举例说明,当佩戴者需要将自己说的话翻译给对方(即正在与所述佩戴者进行交流的其他人)的时候,佩戴者可以朝向自己的方向转动佩戴着智能手表的左手手腕;此时,所述智能手表响应于检测到的第一运动事件,可以确定与所述第一运动事件对应的运动事件类型为朝向佩戴者的方向转动手腕,即可以认为佩戴者需要翻译自己所说的话;进一步地,可以确定与所述运动事件类型对应的目标翻译策略为将中文(预设的母语)翻译为英文(预设的外语)的翻译策略;进一步地,可以获取采集到的佩戴者所说的话(即待翻译的音频数据),并基于所述目标翻译策略进行翻译处理,获取翻译得到的音频数据或文本数据;可选的,可以播放翻译得到的音频数据和/或基于所述智能手表展示翻译得到的文本数据。
118.又例如,当佩戴者需要翻译对方所说的话的时候,佩戴者可以朝向对方的方向转动佩戴着智能手表的左手手腕;此时,所述智能手表响应于检测到的第二运动事件,可以确定与所述第二运动事件对应的运动事件类型为朝向佩戴者的反方向转动手腕,即可以认为佩戴者需要翻译对方所说的话;进一步地,可以确定与所述运动事件类型对应的目标翻译策略为将英文(预设的外语)翻译为中文(预设的母语)的翻译策略;进一步地,可以获取采集到的对方所说的话(即待翻译的音频数据),并基于所述目标翻译策略进行翻译处理,获取翻译得到的音频数据或文本数据。
119.可选的,在以上实施例中,当所述运动事件为朝向佩戴者的反方向转动手腕的第二运动事件时,由于所述可佩戴于用户手腕处的可穿戴智能设备的显示屏是面向对方的,因此,还可以倒置显示所述可穿戴智能设备的显示屏中所显示的内容,对于对方而言,对方看到的所述可穿戴智能设备所显示的内容是正向的。
120.由上述实施例可知,所述智能终端包括可佩戴于用户手腕处的可穿戴设备时,随着佩戴者用户将佩戴的可穿戴智能设备的显示屏朝向自己或对方展示的动作,所述可穿戴智能设备可以根据佩戴者转动手腕的方向,确定对应的目标翻译策略;并且在佩戴者转动手腕时,所述可穿戴智能设备可以自动地确定对应的目标翻译策略,来基于目标翻译策略对采集到的音频数据进行翻译处理,从而实现将与可穿戴设备对应的运动事件和切换翻译策略关联起来,而无需用户针对可穿戴设备进行点击、滑动等操作,来手动切换所采用的翻译策略,从而提升用户基于可穿戴设备进行语音翻译的使用体验。
121.与所述语音翻译方法的实施例相对应,本公开还提供了语音翻译装置及相应的智能终端的实施例。
122.参照图7,图7是根据一示例性实施例示出的一种语音翻译装置框图,所述装置用于智能终端,所述装置包括:
123.第一确定单元701,被配置为:响应于检测到的与所述智能终端对应的运动事件,确定与所述运动事件对应的运动事件类型;其中,不同类型的运动事件对应不同的运动方向;
124.第二确定单元702,被配置为:确定与所述运动事件类型对应的目标翻译策略;其中,不同的运动事件类型对应不同的翻译策略;
125.翻译单元703,被配置为:获取采集到的待翻译的音频数据,并基于所述目标翻译策略针对所述音频数据进行翻译处理。
126.可选地,所述智能终端包括可穿戴智能设备。
127.可选地,所述智能终端包括可佩戴于用户手腕处的可穿戴智能设备;所述运动事件包括朝向佩戴者的方向转动手腕的第一运动事件、和朝向佩戴者的反方向转动手腕的第二运动事件;则所述第二确定单元702,被配置为:
128.如果所述运动事件类型为所述第一运动事件,则确定对应的目标翻译策略为将预设的母语翻译为预设的外语的翻译策略;
129.如果所述运动事件类型为所述第二运动事件,则确定对应的目标翻译策略为将预设的外语翻译为预设的母语的翻译策略。
130.可选地,所述可佩戴于用户手腕处的可穿戴智能设备,包括智能手表或智能手环。
131.可选地,所述智能终端搭载有加速度传感器;则参照图8,图8是根据图7所示实施例的基础上示出的另一种语音翻译装置框图,所述第一确定单元701,包括:
132.分类计算子单元701-1,被配置为:响应于所述智能终端搭载的加速度传感器采集到的加速度变化数据,将所述加速度变化数据输入预训练的分类模型进行分类计算;其中,所述分类模型包括基于若干被标记了运动事件类型的加速度变化数据样本进行训练而得到的机器学习模型;
133.第一确定子单元701-2,被配置为:获取所述分类模型输出的分类计算结果,并基于所述分类计算结果确定与所述运动事件对应的运动事件类型。
134.可选地,参照图9,图9是根据图7所示实施例的基础上示出的另一种语音翻译装置框图,所述装置还包括:
135.播放单元704,被配置为:播放翻译得到的音频数据。
136.可选地,参照图10,图10是根据图7所示实施例的基础上示出的另一种语音翻译装置框图,所述装置还包括:
137.展示单元705,被配置为:基于所述智能终端展示翻译得到的文本数据。
138.应当注意的是,图9示出的语音翻译装置框图中,所述装置还可以包括展示单元705;图10示出的语音翻译装置框图中,所述装置还可以包括播放单元704,本公开实施例不做限制。
139.关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在相关方法的实施例中进行了详细描述,此处将不做详细阐述说明。
140.对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
141.相应地,本公开还提供了一种智能终端,包括:
142.处理器;
143.用于存储处理器可执行指令的存储器;
144.其中,所述处理器被配置为执行上述用于智能终端的所述语音翻译方法中的步骤。
145.如图11所示,图11是根据一示例性实施例示出的一种用于语音翻译装置的示意框图。
146.参照图11,装置1100可以包括以下一个或多个组件:处理组件1102,存储器1104,电源组件1106,多媒体组件1108,音频组件1110,输入/输出(i/o)的接口1112,传感器组件1114,以及通信组件1116。
147.处理组件1102通常控制装置1100的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1102可以包括一个或多个处理器1120来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1102可以包括一个或多个模块,便于处理组件1102和其他组件之间的交互。例如,处理组件1102可以包括多媒体模块,以方便多媒体组件1108和处理组件1102之间的交互。
148.存储器1104被配置为存储各种类型的数据以支持在装置1100的操作。这些数据的示例包括用于在装置1100上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
149.电源组件1106为装置1100的各种组件提供电力。电源组件1106可以包括电源管理系统,一个或多个电源,及其他与为装置1100生成、管理和分配电力相关联的组件。
150.多媒体组件1108包括在所述装置1100和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1108包括一个前置摄像头和/或后置摄像头。当装置1100处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
151.音频组件1110被配置为输出和/或输入音频信号。例如,音频组件1110包括一个麦克风(mic),当装置1100处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被
配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1104或经由通信组件1116发送。在一些实施例中,音频组件1110还包括一个扬声器,用于输出音频信号。
152.i/o接口1112为处理组件1102和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
153.传感器组件1114包括一个或多个传感器,用于为装置1100提供各个方面的状态评估。例如,传感器组件1114可以检测到装置1100的打开/关闭状态,组件的相对定位,例如所述组件为装置1100的显示器和小键盘,传感器组件1114还可以检测装置1100或装置1100一个组件的位置改变,用户与装置1100接触的存在或不存在,装置1100方位或加速/减速和装置1100的温度变化。传感器组件1114可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1114还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1114还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
154.通信组件1116被配置为便于装置1100和其他设备之间有线或无线方式的通信。装置1100可以接入基于通信标准的无线网络,如wifi,2g或3g,4g lte、5g nr或它们的组合。在一个示例性实施例中,通信组件1116经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1116还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
155.在示例性实施例中,装置1100可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述任一实施例所述的方法。
156.上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
157.对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
158.与前述语音翻译方法的实施例相对应,本公开还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述用于智能终端的任一所述的语音翻译方法中的步骤。
159.本公开可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于:相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、
其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
160.本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
161.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1