一种数据处理方法、装置和用于数据处理的装置与流程

文档序号:16906257发布日期:2019-02-19 18:22阅读:214来源:国知局
一种数据处理方法、装置和用于数据处理的装置与流程

本发明涉及计算机技术领域,尤其涉及一种数据处理方法、装置和用于数据处理的装置。



背景技术:

在日常生活中,经常出现使用不同语种语言的用户之间需要进行交流的情况,如果交流的双方用户听不懂对方的语言,可以通过翻译耳机实现正常的交流。

目前,翻译耳机在佩戴者说话时需要通过耳机上按键进行声音接收。此外,在交流的双方用户只有一方持有翻译耳机的情况下,双方用户只能共同使用一副翻译耳机,也即一副翻译耳机包括两只耳机,双方用户分别使用其中的一只耳机。在对话过程中,双方用户通过耳机上按键切换当前说话的用户,以使翻译耳机轮流采集当前说话的用户的声音信号,再将采集的声音信号传输至与翻译耳机相连的手机进行翻译和展示。

因此,在长时间的交流过程中,可能需要频繁的按键操作,不仅为用户操作带来不便,而且极大地影响翻译的效率。此外,由于翻译耳机属于用户的私有物品,如果交流双方共同佩戴一副翻译翻译耳机,在社交礼仪方面不符合用户的常规习惯。



技术实现要素:

本发明实施例提供一种数据处理方法、装置和用于数据处理的装置,可以提高翻译耳机的翻译效率,以及提高用户使用翻译耳机的便利性。

为了解决上述问题,本发明实施例公开了一种数据处理方法,应用于第一设备,所述第一设备为穿戴设备,所述方法包括:

根据佩戴用户是否处于说话状态,确定拾音模式;其中,所述拾音模式包括:近场拾音模式、或者远场拾音模式;

根据所述拾音模式,采集第一语言信号、或者第二语言信号;其中,所述第一语言信号来自所述佩戴用户,所述第二语言信号来自非佩戴用户;

向第二设备发送所述第一语言信号或所述第二语言信号,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果,以通过所述穿戴设备接收并输出所述第二翻译结果,或者通过所述第二设备输出所述第一翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言。

另一方面,本发明实施例公开了一种数据处理方法,应用于第二设备,所述方法包括:

接收来自第一设备的第一语言信号、或者第二语言信号;其中,所述第一语言信号来自佩戴用户,所述第二语言信号来自非佩戴用户;所述第一设备为穿戴设备;所述第一语言信号与所述第二语言信号为根据拾音模式采集得到;所述拾音模式为根据佩戴用户是否处于说话状态所确定,所述拾音模式包括:近场拾音模式、或者远场拾音模式;

对所述第一语言信号或所述第二语言信号进行翻译,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言;

向所述第一设备发送所述第二翻译结果,或者输出所述第一翻译结果。再一方面,本发明实施例公开了一种第一设备,所述第一设备为穿戴设备,所述第一设备包括:加速度传感器、麦克风阵列、数据传输接口和处理器;

其中,所述加速度传感器,用于响应于所述处理器的检测指令,检测佩戴用户是否处于说话状态;

所述处理器,用于根据所述加速度传感器检测到的所述佩戴用户是否处于说话状态,确定拾音模式;其中,所述拾音模式包括:近场拾音模式、或者远场拾音模式;

所述麦克风阵列,用于响应于所述处理器的采集指令,根据所述采集指令中携带的拾音模式,采集第一语言信号、或者第二语言信号;其中,所述第一语言信号来自所述佩戴用户,所述第二语言信号来自非佩戴用户;

所述数据传输接口,用于响应于所述处理器的数据发送指令,向第二设备发送所述麦克风阵列采集的所述第一语言信号或所述第二语言信号,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果,以通过所述穿戴设备接收并输出所述第二翻译结果,或者通过所述第二设备输出所述第一翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言。

再一方面,本发明实施例公开了一种用于数据处理的装置,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:

根据佩戴用户是否处于说话状态,确定拾音模式;其中,所述拾音模式包括:近场拾音模式、或者远场拾音模式;

根据所述拾音模式,采集第一语言信号、或者第二语言信号;其中,所述第一语言信号来自所述佩戴用户,所述第二语言信号来自非佩戴用户;

向第二设备发送所述第一语言信号或所述第二语言信号,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果,以通过所述穿戴设备接收并输出所述第二翻译结果,或者通过所述第二设备输出所述第一翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言。

又一方面,本发明实施例公开了一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如前述一个或多个所述的数据处理方法。

本发明实施例包括以下优点:

本发明实施例可以应用于第一设备,所述第一设备可以为穿戴设备,所述穿戴设备可以根据佩戴用户是否处于说话状态,确定拾音模式,所述拾音模式可以包括:近场拾音模式、或者远场拾音模式。其中,所述近场拾音模式可用于采集佩戴用户的第一语言信号,所述远场拾音模式可用于采集非佩戴用户的第二语言信号,进而可以根据拾音模式采集当前说话的用户的语言信号(佩戴用户的第一语言信号、或者非佩戴用户的第二语言信号),并向第二设备发送所述第一语言信号或所述第二语言信号,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果,以通过所述穿戴设备接收并输出所述第二翻译结果,或者通过所述第二设备输出所述第一翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言,以使非佩戴用户可以通过所述第二设备获取第一翻译结果、以及使佩戴用户可以通过所述第一设备获取第二翻译结果,从而实现佩戴用户和非佩戴用户的正常交流。

本发明实施例可以应用于在交流的双方用户只有一方持有翻译耳机的情况,根据佩戴用户是否处于说话状态,识别并采集当前说话的用户的语言信号,可以减少用户通过按键切换当前说话的用户的操作成本,进而可以提高翻译的效率,并且为用户操作带来极大的便利。且由于非佩戴用户可以不进行第一设备的佩戴,因此可以提高第一设备的清洁度,且可以使双方用户的社交礼仪符合规范。

并且,通过本发明实施例,非佩戴用户可以通过第二设备获取第一翻译结果,因此双方用户中仅有一方用户佩戴翻译耳机即可实现双方用户的正常交流。

此外,第二设备可以为日常的设备,如手机、智能手表,由于本发明实施例可以复用日常的第二设备,因此可以降低硬件成本,以及提高用户操作的便携性。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是本发明的一种数据处理方法实施例一的步骤流程图;

图2是本发明的一种数据处理方法实施例二的步骤流程图;

图3是本发明的一种设备的结构框图;

图4是本发明的一种用于数据处理的装置800的框图;及

图5是本发明的一些实施例中服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

方法实施例一

参照图1,示出了本发明的一种数据处理方法实施例一的步骤流程图,所述方法应用于第一设备,所述第一设备可以为穿戴设备,所述方法具体可以包括如下步骤:

步骤101、根据佩戴用户是否处于说话状态,确定拾音模式;其中,所述拾音模式可以包括:近场拾音模式、或者远场拾音模式;

步骤102、根据所述拾音模式,采集第一语言信号、或者第二语言信号;其中,所述第一语言信号来自所述佩戴用户,所述第二语言信号来自非佩戴用户;

步骤103、向第二设备发送所述第一语言信号或所述第二语言信号,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果,以通过所述穿戴设备接收并输出所述第二翻译结果,或者通过所述第二设备输出所述第一翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言。

本发明实施例可应用于第一设备,所述第一设备可以包括翻译耳机、手环等穿戴设备,可以理解,本发明实施例对所述第一设备的具体形式不加以限制。为便于描述,本发明实施例以翻译耳机为例进行说明,其它第一设备的应用场景相互参照即可。

第二设备可以通过有线或者无线的方式与第一设备相连。所述第二设备可以包括任意设备,如非穿戴设备、或者穿戴设备。所述第二设备具体包括但不限于:智能手机、平板电脑、电子书阅读器、mp3(动态影像专家压缩标准音频层面3,movingpictureexpertsgroupaudiolayeriii)播放器、mp4(动态影像专家压缩标准音频层面4,movingpictureexpertsgroupaudiolayeriv)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等。

本发明实施例在双方用户只有一方持有第一设备(如翻译耳机)的情况下,可以根据佩戴用户是否处于说话状态,自动识别当前说话的用户,通过第一设备采集佩戴用户的第一语言信号和非佩戴用户的第二语言信号,,以及向第二设备发送所述第一语言信号和第二语言信号,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果,以通过所述穿戴设备接收并输出所述第二翻译结果,或者通过所述第二设备输出所述第一翻译结果,由此,在只有一方持有翻译耳机的情况下,对话的双方用户都可以接收到对方语言信号的翻译结果,使得双方用户的对话更加流畅,且双方用户不用共同佩戴一副翻译耳机,符合社交礼仪方面的习惯。

其中,所述佩戴用户指在对话过程中,佩戴第一设备的用户;所述非佩戴用户指在对话过程中,未佩戴第一设备的用户。可以理解,所述佩戴用户和非佩戴用户均为参与对话的用户。

需要说明的是,本发明实施例主要以两个用户对话的场景为例进行描述,在这两个用户中,其中一个为佩戴用户,另外一个为非佩戴用户。可以理解,本发明实施例对所述佩戴用户和/或所述非佩戴用户的数目不加以限制,本发明实施例可以应用于两个用户、或者两个以上用户的对话场景。多个用户的对话场景的处理过程类似,相互参照即可。

在佩戴用户和非佩戴用户对话的过程中,所述第一设备可以检测佩戴用户是否处于说话状态,并根据佩戴用户是否处于说话状态,确定拾音模式,所述拾音模式具体可以包括:近场拾音模式、或者远场拾音模式。其中,所述近场拾音模式可用于采集佩戴用户的第一语言信号,所述远场拾音模式可用于采集非佩戴用户的第二语言信号。

在本发明的一种可选实施例中,所述根据佩戴用户是否处于说话状态,确定拾音模式,具体可以包括如下步骤:

在检测到所述佩戴用户处于说话状态的情况下,将拾音模式设置为近场拾音模式;或者

在检测到所述佩戴用户未处于说话状态的情况下,将拾音模式设置为远场拾音模式。

所述第一设备中可以包括加速度传感器,用于检测佩戴用户是否处于说话状态。具体地,所述加速度传感器可以检测佩戴用户面部肌肉振动的加速度,根据检测到的佩戴用户面部肌肉振动的加速度,可以判断佩戴用户是否处于说话状态。如果检测到所述佩戴用户处于说话状态,则可以将拾音模式设置为近场拾音模式,以使第一设备可以采集佩戴用户的第一语言信号。如果检测到所述佩戴用户未处于说话状态,说明佩戴用户可能已经说话完毕,轮到非佩戴用户说话,因此,可以将拾音模式设置为远场拾音模式,以使第一设备可以采集非佩戴用户的第二语言信号。

由此,在佩戴用户和非佩戴用户的对话过程中,本发明实施例可以根据佩戴用户是否处于说话状态,以识别并采集当前说话的用户的语言信号。

在本发明实施例中,所述第一设备中可以包括麦克风阵列,用于采集声音信号。在本发明的一种可选实施例中,在所述近场拾音模式下,麦克风阵列的波束指向所述佩戴用户;或者,在所述远场拾音模式下,麦克风阵列的波束指向所述非佩戴用户。

为了使得第一设备既可以采集佩戴用户的第一语言信号,又可以采集非佩戴用户的第二语言信号,本发明实施例可以根据拾音模式,改变麦克风阵列的波束指向。

在实际应用中,第一设备中的加速度传感器在检测到佩戴用户处于说话状态的情况下,可以设置当前的拾音模式为近场拾音模式,并且向麦克风发送当前的拾音模式,麦克风在接收到当前的拾音模式为近场拾音模式的情况下,可以将麦克风阵列的波束指向佩戴用户,以使麦克风阵列可以采集佩戴用户所在方向的声音信号。当佩戴用户说话完毕,加速度传感器检测到佩戴用户未处于说话状态的情况下,可以将当前的拾音模式更新为远场拾音模式,并且向麦克风发送当前的拾音模式,麦克风在接收到当前的拾音模式为远场拾音模式的情况下,可以改变麦克风阵列的波束指向,将麦克风阵列的波束指向非佩戴用户,以使麦克风阵列可以采集非佩戴用户所在方向的声音信号。

在本发明的一种可选实施例中,所述根据所述拾音模式,采集第一语言信号、或者第二语言信号,具体可以包括如下步骤:

步骤s11、根据所述拾音模式下麦克风阵列的波束指向的方向,采集声音信号;

步骤s12、对所述声音信号进行盲分离处理,以得到初始语言信号;

步骤s13、对所述初始语言信号进行去噪处理,以得到第一语言信号、或者第二语言信号。

本发明实施例可以根据拾音模式改变麦克风阵列的波束指向,以接收当前正在说话的用户所在方向上的声音信号,具体地,在近场拾音模式下,可以将麦克风阵列的波束指向佩戴用户,以接收佩戴用户所在方向的声音信号;或者,在远场拾音模式下,可以将麦克风阵列的波束指向非佩戴用户,以接收非佩戴用户所在方向的声音信号。

进一步地,本发明实施例可以利用波束形成技术,对波束指向方向上的声音信号进行增强,而削弱其他方向上的干扰和噪声信号,以得到指向性和抗干扰能力更强的声音信号。其中,所述波束形成技术是指通过麦克风阵列接收信号的空间谱特性,对信号进行空域滤波,从而实现指向性接收的技术。

然而,由于耳机中的麦克风阵列通常具有孔径较小的特点,且麦克风阵列的数量通常较少,因此,在比较嘈杂的环境下,采集的声音信号中包含大量的噪声信号,导致第一语言信号或第二语言信号的信号质量较差。为了提高第一语言信号以及第二语言信号的信号质量,本发明实施例对接收到的声音信号进行盲分离处理以及去噪处理,以得到更加准确、清晰的第一语言信号和第二语言信号。

其中,所述盲分离技术是指在源信号无法准确获知的情况下,从采集的混合信号中分离出各个源信号(如佩戴用户的语言信号或非佩戴用户的语言信号)的技术。具体地,本发明实施例对接收到的所述声音信号进行盲分离处理,以得到初始语言信号,再对所述初始语言信号进行去噪处理,以得到第一语言信号、或者第二语言信号。可以理解,本发明实施例对所述去噪处理的具体方式不加以限制,例如,可以采用解混响和单通道的语音去噪技术,对所述初始语言信号进行去噪处理,以提高第一语言信号和第二语言信号的信号质量。

在本发明实施例中,所述翻译耳机的两只耳机可以独立工作,且工作原理相同,因此,在实际应用中,佩戴用户在仅佩戴翻译耳机中的一只耳机的情况下,即可实现和非佩戴用户的正常交流。

在佩戴用户同时佩戴翻译耳机的两只耳机的情况下,两只耳机可以独立采集声音信号,由于两只耳机中的麦克风阵列的波束同时指向当前说话的用户,使得指向方向的波束增强,可以得到信号质量更好的第一语言信号或者第二语言信号。

第一设备在采集得到第一语言信号或第二语言信号之后,可以发送所述第一语言信号或所述第二语言信号,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言。

在具体应用中,如果交流的双方用户旁边有其他人在说话,可能会对采集的第一语言信号或第二语言信号造成较大的干扰,因此,为了提高翻译的准确性,本发明实施例可以对采集到的第一语言信号或第二语言信号进行声纹识别,在确定所述第一语言信号来自交流双方中的佩戴用户的情况下,可以对第一语言信号执行后续处理,如对所述第一语言信号进行翻译等,或者,在确定所述第二语言信号来自交流双方中的非佩戴用户的情况下,可以对第二语言信号执行后续处理,如对所述第二语言进行翻译等。

在本发明的一种可选实施例中,所述发送所述第一语言信号或所述第二语言信号,具体可以包括如下步骤:

若所述第一语言信号的声纹特征与所述佩戴用户的声纹特征相匹配,则发送所述第一语言信号;或者

若所述第二语言信号的声纹特征与所述非佩戴用户的声纹特征相匹配,则发送所述第二语言信号。

具体地,本发明实施例可以对接收到的声音信号进行盲分离处理,以得到初始语言信号;并且对所述初始语言信号进行去噪处理,以得到信号质量较高的第一语言信号、或者第二语言信号;可选地,本发明实施例还可以对所述第一语言信号或所述第二语言信号进行声纹识别,以确定所述第一语言信号是否来自于佩戴用户,或者所述第二语言信号是否来自于非佩戴用户。当然,在实际应用中,也可以先对初始语言信号进行声纹识别,以识别所述声音信号中的第一语言信号或第二语言信号;然后再对识别得到的第一语言信号或第二语言信号进行去噪处理,以得到信号质量较高的第一语言信号、或者第二语言信号。

在本发明实施例中,声纹(voiceprint)是携带言语信息的声波频谱,不仅具有特定性,而且有相对稳定性的特点。无论讲话者是故意模仿他人声音和语气,还是耳语轻声讲话,即使模仿得惟妙惟肖,其声纹却始终不相同。声纹识别就是通过分析语音信号,根据语音信号的声纹特征识别语音信号所对应的用户身份的过程。

可选地,本发明实施例的声纹识别过程可以包括:将第一语言信号的声纹特征与声纹库中的预置声纹特征进行匹配,以判断所述第一语言信号的声纹特征与所述佩戴用户的声纹特征是否相匹配,若匹配,可以确定所述第一语言信号来自于所述佩戴用户。同样地,将第二语言信号的声纹特征与声纹库中的预置声纹特征进行匹配,以判断所述第二语言信号的声纹特征与所述非佩戴用户的声纹特征是否相匹配,若匹配,可以确定所述第二语言信号来自所述非佩戴用户。或者,还可以通过声纹识别模型对所述第一语言信号或所述第二语言信号进行声纹识别。

上述声纹特征可以包括但不限于:mfcc(梅尔频率倒谱系数,mel-frequencycepstralcoefficients)、plp(感知线性预测,perceptuallinearprediction)、fbank(梅尔标度滤波器组,mel-scalefilterbank)等短时频谱特征,可以理解,本申请实施例对于具体的声纹特征、以及具体的声纹识别过程不加以限制。

在声纹识别后,第一设备可以将所述第一语言信号或第二语言信号发送至第二设备,以通过第二设备对所述第一语言信号或第二语言信号进行翻译,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果。

在本发明实施例中,所述第二设备可以将所述第二翻译结果返回至第一设备,以使第一设备可以输出所述第二翻译结果,例如,可以通过翻译耳机播放所述第二翻译结果对应的语音信息,也即,佩戴用户可以通过翻译耳机收听非佩戴用户的第二语言信号对应的第二翻译结果。

此外,所述第二设备还可以输出所述第一翻译结果,例如,所述第二设备可以通过扬声器播放所述第一翻译结果对应的语音信息,以供非佩戴用户收听。

在本发明的一种应用示例中,以一个佩戴用户和一个非佩戴用户对话为例,该佩戴用户佩戴翻译耳机,并持有第二设备(如手机),该非佩戴用户没有持有任何设备。

在佩戴用户和非佩戴用户对话的过程中,翻译耳机检测到佩戴用户处于说话状态时,设置拾音模式为近场拾音模式,将麦克风阵列的波束指向佩戴用户,采集佩戴用户的第一语言信号,将第一语言信号发送至例如手机等第二设备进行翻译,以得到第一翻译结果,所述第一翻译结果对应第二语言,通过例如手机的扬声器播放所述第一翻译结果对应的语音信息,以供非佩戴用户收听。

当佩戴用户说话完毕,翻译耳机检测到佩戴用户未处于说话状态时,改变麦克风阵列的波束指向,使用自适应波束技术定向增强并采集非佩戴用户方向的声音信号,通过盲分离技术和单通道语音去噪技术对所述声音信号进行处理,以得到非佩戴用户的第二语言信号。翻译耳机将第二语言信号发送至手机进行翻译,以得到第二翻译结果,所述第二翻译结果对应第一语言。手机翻译完成后将第二翻译结果传输至翻译耳机,翻译耳机接收到第二翻译结果后,可以通过扬声器向佩戴用户播放所述第二翻译结果对应的语音信息,以供佩戴用户收听。

在佩戴用户和非佩戴用户对话的过程中,重复执行上述流程,即可实现流畅的对话翻译。

可选地,在交流的双方用户均持有翻译耳机的情况下,本发明实施例也可以实现流畅的对话翻译。具体地,当双方用户都佩戴翻译耳机时,双方用户的语言信号通过各自的翻译耳机采集,并传输至各自的手机进行翻译,翻译完成后,将翻译结果发送至对方用户的手机,再通过对方用户的手机传输至对方用户的翻译耳机进行播放。

在本发明的一种应用示例中,假设用户a使用第一语言,用户b使用第二语言,用户a和用户b均佩戴翻译耳机,且各自的翻译耳机通过有线或者无线的方式与各自的手机相连。在用户a和用户b的对话过程中,用户a的翻译耳机采集用户a的第一语言信号,并将第一语言信号传输至用户a的手机进行翻译,得到第一翻译结果,所述第一翻译结果对应第二语言,用户a的手机将第一翻译结果发送至用户b的手机,用户b的手机将第一翻译结果发送至用户b的翻译耳机进行播放,以供用户b收听。

反过来同样的,用户b的翻译耳机采集用户b的第二语言信号,并将第二语言信号传输至用户b的手机进行翻译,得到第二翻译结果,所述第二翻译结果对应第一语言,用户b的手机将第二翻译结果发送至用户a的手机,用户a的手机将第二翻译结果发送至用户a的翻译耳机进行播放,以供用户a收听。

在用户a和用户b对话的过程中,重复执行上述流程,即可实现流畅的对话翻译。

可选地,本发明实施例还可以设置对话场景,所述对话场景可以包括第一对话场景或第二对话场景。

其中,所述第一对话场景指双方用户均持有第一设备的对话场景,在第一对话场景下,双方用户的语言信号通过各自的翻译耳机采集,并传输至各自的手机进行翻译,翻译完成后,将翻译结果发送至对方用户的手机,再通过对方用户的手机传输至对方用户的翻译耳机进行播放。

所述第二对话场景指仅有一方用户持有第一设备的对话场景,在第二对话场景下,可以执行本发明实施例图1所示的数据处理方法。

可选地,本发明实施例可以通过第二设备设置对话场景,第一设备可以接收来自第二设备设置的对话场景的类型,并根据对话场景的类型,执行相对应的采集操作。例如,在只有一方用户佩戴翻译耳机的情况下,用户可以在手机中设置对话场景的类型为第二对话场景,翻译耳机在接收到手机发送的对话场景类型之后,开始执行图1所示的数据处理方法。

在实际应用中,所述第一设备和所述第二设备的功能可以分开设置,或者集成设置,也即,所述第一设备和第二设备可以为同一个设备或者不同的设备。例如,所述第一设备可以采集第一语言信号或第二语言信号,并且将第一语言信号或第二语言信号发送至第二设备进行翻译;或者,所述第一设备可以采集第一语言信号或第二语言信号,并且对采集的第一语言信号或第二语言信号进行翻译,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言。

综上,本发明实施例可以应用于第一设备,所述第一设备可以为穿戴设备,所述穿戴设备可以根据佩戴用户是否处于说话状态,确定拾音模式,所述拾音模式可以包括:近场拾音模式、或者远场拾音模式。其中,所述近场拾音模式可用于采集佩戴用户的第一语言信号,所述远场拾音模式可用于采集非佩戴用户的第二语言信号,进而可以根据拾音模式采集当前说话的用户的语言信号(佩戴用户的第一语言信号、或者非佩戴用户的第二语言信号),并向第二设备发送所述第一语言信号或所述第二语言信号,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果,以通过所述穿戴设备接收并输出所述第二翻译结果,或者通过所述第二设备输出所述第一翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言,以使非佩戴用户可以通过所述第二设备获取第一翻译结果、以及使佩戴用户可以通过所述第一设备获取第二翻译结果,从而实现佩戴用户和非佩戴用户的正常交流。

本发明实施例可以应用于在交流的双方用户只有一方持有翻译耳机的情况,根据佩戴用户是否处于说话状态,识别并采集当前说话的用户的语言信号,可以减少用户通过按键切换当前说话的用户的操作成本,进而可以提高翻译的效率,并且为用户操作带来极大的便利。

此外,通过本发明实施例,双方用户中仅有一方用户佩戴翻译耳机即可实现双方用户的正常交流,双方用户可以不共享一副翻译耳机,符合社交礼仪习惯。

此外,由于非佩戴用户可以不使用任何设备,因此可以降低硬件成本,以及提高用户操作的便携性。

方法实施例二

参照图2,示出了本发明的一种数据处理方法实施例二的步骤流程图,所述方法可以应用于第二设备,所述方法具体可以包括如下步骤:

步骤201、接收来自第一设备的第一语言信号、或者第二语言信号;其中,所述第一语言信号来自佩戴用户,所述第二语言信号来自非佩戴用户;所述第一设备可以为穿戴设备;所述第一语言信号与所述第二语言信号为根据拾音模式采集得到;所述拾音模式为根据佩戴用户是否处于说话状态所确定,所述拾音模式可以包括:近场拾音模式、或者远场拾音模式;

步骤202、对所述第一语言信号或所述第二语言信号进行翻译,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言;

步骤203、向所述第一设备发送所述第二翻译结果,或者输出所述第一翻译结果。

本发明实施例可应用于第二设备,所述第二设备可以通过有线或者无线的方式与第一设备相连,所述第二设备可以包括任意终端,所述终端具体包括但不限于:智能手机、平板电脑、电子书阅读器、mp3(动态影像专家压缩标准音频层面3,movingpictureexpertsgroupaudiolayeriii)播放器、mp4(动态影像专家压缩标准音频层面4,movingpictureexpertsgroupaudiolayeriv)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等。

在双方用户只有一方持有第一设备(如翻译耳机)的情况下,在佩戴用户和非佩戴用户对话的过程中,本发明实施例中的第一设备可以检测佩戴用户是否处于说话状态,并根据佩戴用户是否处于说话状态,确定拾音模式,所述拾音模式具体可以包括:近场拾音模式、或者远场拾音模式。其中,所述近场拾音模式可用于采集佩戴用户的第一语言信号,所述远场拾音模式可用于采集非佩戴用户的第二语言信号。

第一设备可以根据拾音模式采集第一语言信号、或者第二语言信号,例如,在近场拾音模式下采集佩戴用户的第一语言信号,在远场拾音模式下采集非佩戴用户的第二语言信号,并且将采集得到的第一语言信号、或者第二语言信号发送至第二设备。

第二设备接收所述第一语言信号、或者第二语言信号,并且对所述第一语言信号或所述第二语言信号进行翻译,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言,以使双方用户可以获取对方语言信号对应的翻译结果,以实现使用不同语种语言的用户的正常交流。

在实际应用中,用户可以在第二设备中预先设置双方用户使用的第一语言和第二语言,第二设备可以根据设置的第一语言和第二语言,对第一语言信号和第二语言信号进行翻译。

可选地,在用户为设置第一语言和第二语言的情况下,第二设备可以通过深度学习技术,对接收到的第一语言信号和第二语言信号的语种进行识别,以将第一语言信号翻译成对应第二语言的第一翻译结果,以及将第二语言信号翻译成对应第一语言的第二翻译结果。

在本发明实施例中,所述第二设备可以向所述第一设备发送所述第二翻译结果,以使所述第一设备可以输出所述第二翻译结果,或者所述第二设备可以输出所述第一翻译结果。

在本发明的一种可选实施例中,所述输出所述第一翻译结果,具体可以包括:

展示所述第一翻译结果对应的文本信息;或者

播放所述第一翻译结果对应的语音信息。

由于非佩戴用户没有佩戴翻译耳机,因此,所述第二设备可以在屏幕中展示所述第一翻译结果对应的文本信息;或者,可以通过扬声器播放所述第一翻译结果对应的语音信息,以供非佩戴用户收听。

在本发明的一种可选实施例中,所述方法还可以包括如下步骤:

展示所述第二翻译结果对应的文本信息;或者

播放所述第二翻译结果对应的语音信息。

具体地,所述第二设备还可以在屏幕中展示所述第二翻译结果对应的文本信息,以供佩戴用户和/或非佩戴用户查看,或者,可以通过第二设备的扬声器播放所述第二翻译结果对应的语音信息,以供佩戴用户和/或非佩戴用户收听,可以为双方用户的交流提供更多的便利。

由此,通过本发明实施例,在双方用户只有一方持有第一设备(如翻译耳机)的情况下,佩戴用户可以持有第一设备和第二设备,非佩戴用户可以不用持有任何设备,双方用户即可实现无障碍对话。

可选地,本发明实施例还可以通过第二设备设置对话场景,所述对话场景可以包括第一对话场景和第二对话场景,第二设备将设置的对话场景发送至第一设备,以使第一设备根据对话场景执行相对应的采集操作。

其中,所述第一对话场景指双方用户均持有第一设备,在第一对话场景下,双方用户的语言信号通过各自的翻译耳机采集,并传输至各自的手机进行翻译,翻译完成后,将翻译结果发送至对方用户的手机,再通过对方用户的手机传输至对方用户的翻译耳机进行播放。

所述第二对话场景指仅有一方用户持有第一设备,在第二对话场景下,执行本发明实施例图1所示的数据处理步骤。

需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。

综上,本发明实施例可以接收来自第一设备的第一语言信号、或者第二语言信号;其中,所述第一语言信号来自佩戴用户,所述第二语言信号来自非佩戴用户;所述第一设备可以为穿戴设备;所述第一语言信号与所述第二语言信号为根据拾音模式采集得到;所述拾音模式为根据佩戴用户是否处于说话状态所确定,所述拾音模式包括:近场拾音模式、或者远场拾音模式。

其中,所述近场拾音模式可用于采集佩戴用户的第一语言信号,所述远场拾音模式可用于采集非佩戴用户的第二语言信号,进而可以根据拾音模式采集当前说话的用户的语言信号(佩戴用户的第一语言信号、或者非佩戴用户的第二语言信号)。

本发明实施例通过第二设备对所述第一语言信号或所述第二语言信号进行翻译,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言,所述第二设备可以向所述第一设备发送所述第二翻译结果,以使第一设备可以输出所述第二翻译结果,或者所述第二设备可以输出所述第一翻译结果,由此,非佩戴用户可以获取第一翻译结果、以及使佩戴用户可以获取第二翻译结果,进而可以实现佩戴用户和非佩戴用户的正常交流。

本发明实施例可以应用于在交流的双方用户只有一方持有翻译耳机的情况,根据佩戴用户是否处于说话状态,识别并采集当前说话的用户的语言信号,可以减少用户通过按键切换当前说话的用户的操作成本,进而可以提高翻译的效率,并且为用户操作带来极大的便利。

此外,通过本发明实施例,双方用户中仅有一方用户佩戴翻译耳机即可实现双方用户的正常交流,双方用户可以不共享一副翻译耳机,符合社交礼仪习惯。

此外,由于非佩戴用户可以不使用任何设备,因此可以降低硬件成本,以及提高用户操作的便携性。

装置实施例

参照图3,示出了本发明的一种第一设备实施例的结构框图,所述第一设备为穿戴设备,所述第一设备具体可以包括:加速度传感器301、麦克风阵列302、数据传输接口303和处理器304;

其中,所述加速度传感器301,用于响应于所述处理器的检测指令,检测佩戴用户是否处于说话状态;

所述处理器304,用于根据所述加速度传感器检测到的所述佩戴用户是否处于说话状态,确定拾音模式;其中,所述拾音模式包括:近场拾音模式、或者远场拾音模式;

所述麦克风阵列302,用于响应于所述处理器的采集指令,根据所述采集指令中携带的拾音模式,采集第一语言信号、或者第二语言信号;其中,所述第一语言信号来自所述佩戴用户,所述第二语言信号来自非佩戴用户;

所述数据传输接口303,用于响应于所述处理器的数据发送指令,向第二设备发送所述麦克风阵列采集的所述第一语言信号或所述第二语言信号,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果,以通过所述穿戴设备接收并输出所述第二翻译结果,或者通过所述第二设备输出所述第一翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言。

在实际应用中,所述数据传输接口具体可以包括:wi-fi(wireless-fidelity,无线保真)接口或者蓝牙接口等,可以理解,本发明实施例对所述数据传输接口的具体形式不加以限制。

可选地,所述处理器,还用于在所述佩戴用户处于说话状态的情况下,将拾音模式设置为近场拾音模式;或者

所述处理器,还用于在所述佩戴用户未处于说话状态的情况下,将拾音模式设置为远场拾音模式。

可选地,所述数据传输接口,还用于接收所述第二翻译结果;

所述设备还包括:扬声器,用于播放所述第二翻译结果对应的语音信息。

可选地,在所述近场拾音模式下,麦克风阵列的波束指向所述佩戴用户;或者,在所述远场拾音模式下,麦克风阵列的波束指向所述非佩戴用户。

可选地,所述麦克风阵列,还用于根据所述拾音模式下麦克风阵列的波束指向的方向,采集声音信号;

所述处理器,还用于对所述麦克风阵列采集的所述声音信号进行盲分离处理,以得到初始语言信号,以及对所述初始语言信号进行去噪处理,以得到第一语言信号、或者第二语言信号。

可选地,所述处理器还用于对所述第一语言信号的声纹特征与所述佩戴用户的声纹特征进行匹配,若所述第一语言信号的声纹特征与所述佩戴用户的声纹特征相匹配,则向所述数据传输接口下发数据发送指令,以通过所述数据传输接口,发送所述第一语言信号;或者

所述处理器还用于对所述第二语言信号的声纹特征与所述非佩戴用户的声纹特征进行匹配,若所述第二语言信号的声纹特征与所述非佩戴用户的声纹特征相匹配,则向所述数据传输接口下发数据发送指令,以通过所述数据传输接口,发送所述第二语言信号。

对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

本发明实施例提供了一种用于数据处理的装置,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:根据佩戴用户是否处于说话状态,确定拾音模式;其中,所述拾音模式包括:近场拾音模式、或者远场拾音模式;根据所述拾音模式,采集第一语言信号、或者第二语言信号;其中,所述第一语言信号来自所述佩戴用户,所述第二语言信号来自非佩戴用户;向第二设备发送所述第一语言信号或所述第二语言信号,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果,以通过所述穿戴设备接收并输出所述第二翻译结果,或者通过所述第二设备输出所述第一翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言。

图4是根据一示例性实施例示出的一种用于数据处理的装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。

参照图4,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(i/o)的接口812,传感器组件814,以及通信组件816。

处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(mic),当装置800处于操作模式,如呼叫模式、记录模式和语音数据处理模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。

i/o接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如wifi,2g或3g,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频数据处理(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。

在示例性实施例中,装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。

在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

图5是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessingunits,cpu)1922(例如,一个或一个以上处理器)和存储器1932,一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中,存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1922可以设置为与存储介质1930通信,在服务器1900上执行存储介质1930中的一系列指令操作。

服务器1900还可以包括一个或一个以上电源1926,一个或一个以上有线或无线网络接口1950,一个或一个以上输入输出接口1958,一个或一个以上键盘1956,和/或,一个或一个以上操作系统1941,例如windowsservertm,macosxtm,unixtm,linuxtm,freebsdtm等等。

一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时,使得装置能够执行图1或图2所示的数据处理方法。

一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时,使得装置能够执行一种数据处理方法,所述方法包括:根据佩戴用户是否处于说话状态,确定拾音模式;其中,所述拾音模式包括:近场拾音模式、或者远场拾音模式;根据所述拾音模式,采集第一语言信号、或者第二语言信号;其中,所述第一语言信号来自所述佩戴用户,所述第二语言信号来自非佩戴用户;向第二设备发送所述第一语言信号或所述第二语言信号,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果,以通过所述穿戴设备接收并输出所述第二翻译结果,或者通过所述第二设备输出所述第一翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言。

本发明实施例公开了a1、一种数据处理方法,应用于第一设备,所述第一设备为穿戴设备,所述方法包括:

根据佩戴用户是否处于说话状态,确定拾音模式;其中,所述拾音模式包括:近场拾音模式、或者远场拾音模式;

根据所述拾音模式,采集第一语言信号、或者第二语言信号;其中,所述第一语言信号来自所述佩戴用户,所述第二语言信号来自非佩戴用户;

向第二设备发送所述第一语言信号或所述第二语言信号,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果,以通过所述穿戴设备接收并输出所述第二翻译结果,或者通过所述第二设备输出所述第一翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言。

a2、根据a1所述的方法,所述根据佩戴用户是否处于说话状态,确定拾音模式,包括:

在检测到所述佩戴用户处于说话状态的情况下,将拾音模式设置为近场拾音模式;或者

在检测到所述佩戴用户未处于说话状态的情况下,将拾音模式设置为远场拾音模式。

a3、根据a1所述的方法,所述方法还包括:

接收所述第二翻译结果,并播放所述第二翻译结果对应的语音信息。

a4、根据a1或a2或a3所述的方法,在所述近场拾音模式下,麦克风阵列的波束指向所述佩戴用户;或者,在所述远场拾音模式下,麦克风阵列的波束指向所述非佩戴用户。

a5、根据a4所述的方法,所述根据所述拾音模式,采集第一语言信号、或者第二语言信号,包括:

根据所述拾音模式下麦克风阵列的波束指向的方向,采集声音信号;

对所述声音信号进行盲分离处理,以得到初始语言信号;

对所述初始语言信号进行去噪处理,以得到第一语言信号、或者第二语言信号。

a6、根据a1至a5中任一所述的方法,所述发送所述第一语言信号或所述第二语言信号,包括:

若所述第一语言信号的声纹特征与所述佩戴用户的声纹特征相匹配,则发送所述第一语言信号;或者

若所述第二语言信号的声纹特征与所述非佩戴用户的声纹特征相匹配,则发送所述第二语言信号。

本发明实施例公开了b7、一种数据处理方法,应用于第二设备,所述方法包括:

接收来自第一设备的第一语言信号、或者第二语言信号;其中,所述第一语言信号来自佩戴用户,所述第二语言信号来自非佩戴用户;所述第一设备为穿戴设备;所述第一语言信号与所述第二语言信号为根据拾音模式采集得到;所述拾音模式为根据佩戴用户是否处于说话状态所确定,所述拾音模式包括:近场拾音模式、或者远场拾音模式;

对所述第一语言信号或所述第二语言信号进行翻译,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言;

向所述第一设备发送所述第二翻译结果,或者输出所述第一翻译结果。

b8、根据b7所述的方法,所述输出所述第一翻译结果,包括:

展示所述第一翻译结果对应的文本信息;或者

播放所述第一翻译结果对应的语音信息。

b9、根据b7所述的方法,所述方法还包括:

展示所述第二翻译结果对应的文本信息;或者

播放所述第二翻译结果对应的语音信息。

本发明实施例公开了c10、一种第一设备,所述第一设备为穿戴设备,所述第一设备包括:加速度传感器、麦克风阵列、数据传输接口和处理器;

其中,所述加速度传感器,用于响应于所述处理器的检测指令,检测佩戴用户是否处于说话状态;

所述处理器,用于根据所述加速度传感器检测到的所述佩戴用户是否处于说话状态,确定拾音模式;其中,所述拾音模式包括:近场拾音模式、或者远场拾音模式;

所述麦克风阵列,用于响应于所述处理器的采集指令,根据所述采集指令中携带的拾音模式,采集第一语言信号、或者第二语言信号;其中,所述第一语言信号来自所述佩戴用户,所述第二语言信号来自非佩戴用户;

所述数据传输接口,用于响应于所述处理器的数据发送指令,向第二设备发送所述麦克风阵列采集的所述第一语言信号或所述第二语言信号,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果,以通过所述穿戴设备接收并输出所述第二翻译结果,或者通过所述第二设备输出所述第一翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言。

c11、根据c10所述的第一设备,所述处理器,还用于在所述佩戴用户处于说话状态的情况下,将拾音模式设置为近场拾音模式;或者

所述处理器,还用于在所述佩戴用户未处于说话状态的情况下,将拾音模式设置为远场拾音模式。

c12、根据c10所述的第一设备,所述数据传输接口,还用于接收所述第二翻译结果;

所述第一设备还包括:扬声器,用于播放所述第二翻译结果对应的语音信息。

c13、根据c10或c11或c12所述的第一设备,在所述近场拾音模式下,麦克风阵列的波束指向所述佩戴用户;或者,在所述远场拾音模式下,麦克风阵列的波束指向所述非佩戴用户。

c14、根据c13所述的第一设备,所述麦克风阵列,还用于根据所述拾音模式下麦克风阵列的波束指向的方向,采集声音信号;

所述处理器,还用于对所述麦克风阵列采集的所述声音信号进行盲分离处理,以得到初始语言信号,以及对所述初始语言信号进行去噪处理,以得到第一语言信号、或者第二语言信号。

c15、根据c10至c14任一所述的第一设备,所述处理器,还用于对所述第一语言信号的声纹特征与所述佩戴用户的声纹特征进行匹配,若所述第一语言信号的声纹特征与所述佩戴用户的声纹特征相匹配,则向所述数据传输接口下发数据发送指令,以通过所述数据传输接口,发送所述第一语言信号;或者

所述处理器还用于对所述第二语言信号的声纹特征与所述非佩戴用户的声纹特征进行匹配,若所述第二语言信号的声纹特征与所述非佩戴用户的声纹特征相匹配,则向所述数据传输接口下发数据发送指令,以通过所述数据传输接口,发送所述第二语言信号。

本发明实施例公开了d16、一种用于数据处理的装置,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:

根据佩戴用户是否处于说话状态,确定拾音模式;其中,所述拾音模式包括:近场拾音模式、或者远场拾音模式;

根据所述拾音模式,采集第一语言信号、或者第二语言信号;其中,所述第一语言信号来自所述佩戴用户,所述第二语言信号来自非佩戴用户;

向第二设备发送所述第一语言信号或所述第二语言信号,以得到所述第一语言信号对应的第一翻译结果、或者所述第二语言信号对应的第二翻译结果,以通过所述穿戴设备接收并输出所述第二翻译结果,或者通过所述第二设备输出所述第一翻译结果;所述第一翻译结果对应第二语言,所述第二翻译结果对应第一语言。

d17、根据d16所述的装置,所述根据佩戴用户是否处于说话状态,确定拾音模式,包括:

在检测到所述佩戴用户处于说话状态的情况下,将拾音模式设置为近场拾音模式;或者

在检测到所述佩戴用户未处于说话状态的情况下,将拾音模式设置为远场拾音模式。

d18、根据d16所述的装置,所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:

接收所述第二翻译结果,并播放所述第二翻译结果对应的语音信息。

d19、根据d16或d17或d18所述的装置,在所述近场拾音模式下,麦克风阵列的波束指向所述佩戴用户;或者,在所述远场拾音模式下,麦克风阵列的波束指向所述非佩戴用户。

d20、根据d19所述的装置,所述根据所述拾音模式,采集第一语言信号、或者第二语言信号,包括:

根据所述拾音模式下麦克风阵列的波束指向的方向,采集声音信号;

对所述声音信号进行盲分离处理,以得到初始语言信号;

对所述初始语言信号进行去噪处理,以得到第一语言信号、或者第二语言信号。

d21、根据d16至d20中任一所述的装置,所述发送所述第一语言信号或所述第二语言信号,包括:

若所述第一语言信号的声纹特征与所述佩戴用户的声纹特征相匹配,则发送所述第一语言信号;或者

若所述第二语言信号的声纹特征与所述非佩戴用户的声纹特征相匹配,则发送所述第二语言信号。

本发明实施例公开了e22、一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如a1至a6中一个或多个所述的数据处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。

应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

以上对本发明所提供的一种数据处理方法、一种数据处理装置和一种用于数据处理的装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1