对通话语音进行实时翻译的方法及设备与流程

本发明总体说来涉及电子技术领域，更具体地讲，涉及一种对通话语音进行实时翻译的方法及设备。

背景技术：

随着全球化时代的到来，跨区域的交流越来越频繁。在跨区域的交流过程中，人们可通过使用翻译软件来顺畅地交流，以解决语言不通带来的困扰。在语音通话过程中，双方即使使用不同的语言，也可通过通话语音实时翻译的功能来实现无障碍语音通话。然而，目前的通话语音翻译功能的翻译延时较大，导致翻译实时性较差，降低了用户体验。

技术实现要素：

本发明的示例性实施例在于提供一种对通话语音进行实时翻译的方法及设备，其能够解决通话语音翻译实时性差的问题。

根据本发明的示例性实施例，提供一种对通话语音进行实时翻译的方法，其中，所述方法包括：当电子终端需要对通话语音进行实时翻译时，检测是否满足预设条件；当检测到满足预设条件时，将采集的通话语音发送到用于翻译通话语音的翻译服务器；当检测到不满足预设条件时，对采集的通话语音进行音质预处理，并将处理后的通话语音发送到翻译服务器；从翻译服务器接收与发送的通话语音对应的翻译结果。

可选地，所述方法还包括：将从翻译服务器接收到的翻译结果发送到基站，以由基站转发到与所述电子终端进行语音通话的另一电子终端。

可选地，检测是否满足预设条件的步骤包括：周期性地检测是否满足预设条件；或者，实时检测是否满足预设条件。

可选地，所述预设条件包括：采集的通话语音的语音质量满足特定条件和/或所述翻译服务器会对接收到的待翻译的通话语音进行音质预处理。

可选地，所述音质预处理包括：降噪处理和/或回声消除处理。

可选地，将从翻译服务器接收到的翻译结果发送到基站的步骤包括：对从翻译服务器接收到的翻译结果进行音质后处理，并将处理后的翻译结果发送到基站，其中，所述翻译结果为语音形式的翻译结果。

可选地，所述特定条件为：信噪比高于预设阈值。

可选地，所述音质后处理包括：滤波处理和/或增益设置。

根据本发明的另一示例性实施例，提供一种对通话语音进行实时翻译的方法，其中，所述方法包括：当电子终端需要对通话语音进行实时翻译时，检测是否满足预设条件；当检测到满足预设条件时，将从基站接收到的通话语音发送到用于翻译通话语音的翻译服务器；当检测到不满足预设条件时，对从基站接收到的通话语音进行音质预处理，并将处理后的通话语音发送到翻译服务器；从翻译服务器接收与发送的通话语音对应的翻译结果。

可选地，所述方法还包括：输出从翻译服务器接收到的翻译结果。

可选地，检测是否满足预设条件的步骤包括：周期性地检测是否满足预设条件；或者，实时检测是否满足预设条件。

可选地，所述预设条件包括：从基站接收到的通话语音的语音质量满足特定条件和/或所述翻译服务器会对接收到的待翻译的通话语音进行音质预处理。

可选地，所述音质预处理包括：降噪处理和/或回声消除处理。

可选地，输出从翻译服务器接收到的翻译结果的步骤包括：对从翻译服务器接收到的翻译结果进行音质后处理，并输出处理后的翻译结果，其中，所述翻译结果为语音形式的翻译结果。

可选地，所述特定条件为：信噪比高于预设阈值。

可选地，所述音质后处理包括：滤波处理和/或增益设置。

根据本发明的另一示例性实施例，提供一种对通话语音进行实时翻译的设备，其中，所述设备包括：音质检测单元，当电子终端需要对通话语音进行实时翻译时，检测是否满足预设条件；音质处理单元，当检测到不满足预设条件时，对采集的通话语音进行音质预处理；发送单元，当检测到满足预设条件时，将采集的通话语音发送到用于翻译通话语音的翻译服务器；当检测到不满足预设条件时，将音质处理单元处理后的通话语音发送到翻译服务器；翻译结果接收单元，从翻译服务器接收与发送的通话语音对应的翻译结果。

可选地，发送单元还将从翻译服务器接收到的翻译结果发送到基站，以由基站转发到与所述电子终端进行语音通话的另一电子终端。

可选地，音质检测单元周期性地检测是否满足预设条件；或者，音质检测单元实时检测是否满足预设条件。

可选地，所述预设条件包括：采集的通话语音的语音质量满足特定条件和/或所述翻译服务器会对接收到的待翻译的通话语音进行音质预处理。

可选地，所述音质预处理包括：降噪处理和/或回声消除处理。

可选地，音质处理单元对从翻译服务器接收到的翻译结果进行音质后处理，其中，发送单元将音质处理单元处理后的翻译结果发送到基站，其中，所述翻译结果为语音形式的翻译结果。

可选地，所述特定条件为：信噪比高于预设阈值。

可选地，所述音质后处理包括：滤波处理和/或增益设置。

根据本发明的另一示例性实施例，提供一种对通话语音进行实时翻译的设备，其中，所述设备包括：音质检测单元，当电子终端需要对通话语音进行实时翻译时，检测是否满足预设条件；音质处理单元，当检测到不满足预设条件时，对从基站接收到的通话语音进行音质预处理；发送单元，当检测到满足预设条件时，将从基站接收到的通话语音发送到用于翻译通话语音的翻译服务器；当检测到不满足预设条件时，将音质处理单元处理后的通话语音发送到翻译服务器；翻译结果接收单元，从翻译服务器接收与发送的通话语音对应的翻译结果。

可选地，所述设备还包括：输出单元，输出从翻译服务器接收到的翻译结果。

可选地，音质检测单元周期性地检测是否满足预设条件；或者，音质检测单元实时检测是否满足预设条件。

可选地，所述预设条件包括：从基站接收到的通话语音的语音质量满足特定条件和/或所述翻译服务器会对接收到的待翻译的通话语音进行音质预处理。

可选地，所述音质预处理包括：降噪处理和/或回声消除处理。

可选地，音质处理单元对从翻译服务器接收到的翻译结果进行音质后处理，其中，输出单元输出处理后的翻译结果，其中，所述翻译结果为语音形式的翻译结果。

可选地，所述特定条件为：信噪比高于预设阈值。

可选地，所述音质后处理包括：滤波处理和/或增益设置。

根据本发明的另一示例性实施例，提供一种存储有计算机程序的计算机可读存储介质，其中，当所述计算机程序被处理器执行时实现如上所述的对通话语音进行实时翻译的方法。

根据本发明的另一示例性实施例，提供一种电子终端，其中，所述电子终端包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的对通话语音进行实时翻译的方法。

根据本发明示例性实施例的对通话语音进行实时翻译的方法及设备，能够有效减少通话语音翻译过程的耗时，缩短获取通话语音的翻译结果的时长，从而提高了通话语音翻译功能的实时性，提升了用户体验。

将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明总体构思的实施而得知。

附图说明

通过下面结合示例性地示出实施例的附图进行的描述，本发明示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：

图1示出根据本发明的第一示例性实施例的对通话语音进行实时翻译的方法的流程图；

图2示出根据本发明的第二示例性实施例的对通话语音进行实时翻译的方法的流程图；

图3示出根据本发明的第一示例性实施例的对通话语音进行实时翻译的设备的框图；

图4示出根据本发明的第二示例性实施例的对通话语音进行实时翻译的设备的框图。

具体实施方式

现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。

图1示出根据本发明的第一示例性实施例的对通话语音进行实时翻译的方法的流程图。所述方法可通过计算机程序来实现。例如，所述方法可通过安装在电子终端中的通话语音翻译应用来执行，或者通过电子终端的操作系统中实现的功能程序来执行。作为示例，所述电子终端可以是移动通信终端(例如，智能手机)、智能可穿戴设备(例如，智能手表)等能够进行语音通话的电子终端。

参照图1，在步骤S10，当电子终端需要对通话语音进行实时翻译时，检测是否满足第一预设条件。

作为示例，可当电子终端处于语音通话状态，并开启了通话语音实时翻译功能时，确定电子终端需要对通话语音进行实时翻译。

作为示例，可周期性地检测是否满足第一预设条件。

作为另一示例，可实时检测是否满足第一预设条件。

作为示例，所述第一预设条件可包括：采集的通话语音的语音质量满足第一特定条件和/或用于翻译通话语音的翻译服务器会对接收到的待翻译的通话语音进行音质预处理。

作为示例，采集的通话语音可以是通过电子终端的麦克风采集的通话语音。

作为示例，第一特定条件可为：信噪比高于预设阈值。例如，环境噪声越小，信噪比越高；回声信号越小，信噪比越高。

应该理解，所述第一特定条件也可以是其他用于判断通话语音的语音质量是否足够良好而不需要进行音质预处理的条件。

应该理解，可通过各种适当的方式来确定翻译服务器是否会对接收到的待翻译的通话语音先进行音质预处理，然后再进行翻译。例如，可向用于本次翻译通话语音的翻译服务器询问是否会对接收到的待翻译的通话语音进行音质预处理；或者，可通过相应的数据库确认用于本次翻译通话语音的翻译服务器是否会对接收到的待翻译的通话语音进行音质预处理，其中，该数据库可记录有不同翻译服务器是否会对待翻译的通话语音进行音质预处理。

在步骤S20，当检测到满足第一预设条件时，不对采集的通话语音进行音质预处理，直接将采集的通话语音发送到用于翻译通话语音的翻译服务器。

在步骤S30，当检测到不满足第一预设条件时，对采集的通话语音进行音质预处理，并将处理后的通话语音发送到翻译服务器。

应该理解，所述音质预处理可包括各种适当的音质处理方式。作为示例，所述音质预处理可包括：降噪处理和/或回声消除处理。

在步骤S40，从翻译服务器接收与发送的通话语音对应的翻译结果。

在现有技术中，统一将音质预处理后的通话语音发送给翻译服务器进行处理，尤其在网络传输质量不佳或者翻译服务器翻译任务比较繁重时，会出现翻译延时比较大的情况；当翻译服务器也对接收到的待翻译的通话语音进行音质预处理时，还会出现对通话语音重复进行音质预处理浪费时间和计算资源的问题。根据本发明的示例性实施例，可先对通话语音的语音质量进行检测，仅在通话语音的语音质量较差时，才对通话语音进行音质预处理并将处理后的通话语音发送到翻译服务器，当通话语音的语音质量良好时，会直接将通话语音发送到翻译服务器，以减少音质预处理的耗时；还可先确定翻译服务器是否会对接收到的待翻译的通话语音先进行音质预处理再进行翻译，仅当翻译服务器不会进行音质预处理时，才对通话语音进行音质预处理并将处理后的通话语音发送到翻译服务器，当翻译服务器会进行音质预处理时，直接将未进行音质预处理的通话语音发送到翻译服务器，以避免双方均进行音质预处理；此外，还可当翻译服务器不会对接收到的待翻译的通话语音先进行音质预处理且通话语音的语音质量较差时，才对通话语音进行音质预处理并将处理后的通话语音发送到翻译服务器，否则，直接将未进行音质预处理的通话语音发送到翻译服务器。根据本发明的示例性实施例，使得翻译服务器能够尽早地获取到待翻译的通话语音并进行处理，从而提高通话语音翻译流程的处理速度，提高通话语音翻译的实时性，并且，还能够减少对通话语音进行音质预处理所带来的电子终端的运算负载。

作为示例，根据本发明的第一示例性实施例的对通话语音进行实时翻译的方法还可包括：将从翻译服务器接收到的翻译结果发送到基站，以由基站转发到与所述电子终端进行语音通话的另一电子终端。

作为示例，所述翻译结果可为语音形式和/或文字形式的翻译结果。

作为示例，可对从翻译服务器接收到的翻译结果进行音质后处理，并将处理后的翻译结果发送到基站，其中，所述翻译结果为语音形式的翻译结果。

应该理解，所述音质后处理可包括各种适当的音质处理方式。作为示例，所述音质后处理可包括：滤波处理和/或增益设置。

图2示出根据本发明的第二示例性实施例的对通话语音进行实时翻译的方法的流程图。

参照图2，在步骤S50，当电子终端需要对通话语音进行实时翻译时，检测是否满足第二预设条件。

作为示例，可当电子终端处于语音通话状态，并开启了通话语音实时翻译功能时，确定电子终端需要对通话语音进行实时翻译。

作为示例，可周期性地检测是否满足第二预设条件。

作为另一示例，可实时检测是否满足第二预设条件。

作为示例，所述第二预设条件可包括：从基站接收到的通话语音的语音质量满足第二特定条件和/或用于翻译通话语音的翻译服务器会对接收到的待翻译的通话语音进行音质预处理。

作为示例，所述第二特定条件可为：信噪比高于预设阈值。

应该理解，所述第二特定条件也可以是其他用于判断通话语音的语音质量是否足够良好而不需要进行音质预处理的条件。

应该理解，可通过各种适当的方式来确定翻译服务器是否会对接收到的待翻译的通话语音先进行音质预处理，然后再进行翻译。例如，可向用于本次翻译通话语音的翻译服务器询问是否会对接收到的待翻译的通话语音进行音质预处理；或者，可通过相应的数据库确认用于本次翻译通话语音的翻译服务器是否会对接收到的待翻译的通话语音进行音质预处理，其中，该数据库可记录有不同翻译服务器是否会对待翻译的通话语音进行音质预处理。

在步骤S60，当检测到满足第二预设条件时，不对从基站接收到的通话语音进行音质预处理，直接将从基站接收到的通话语音发送到用于翻译通话语音的翻译服务器。

在步骤S70，当检测到不满足第二预设条件时，对从基站接收到的通话语音进行音质预处理，并将处理后的通话语音发送到翻译服务器。

应该理解，所述音质预处理可包括各种适当的音质处理方式。作为示例，所述音质预处理可包括：降噪处理和/或回声消除处理。

在步骤S80，从翻译服务器接收与发送的通话语音对应的翻译结果。

作为示例，根据本发明的第二示例性实施例的对通话语音进行实时翻译的方法还可包括：输出从翻译服务器接收到的翻译结果。

作为示例，所述翻译结果可为语音形式和/或文字形式的翻译结果。

作为示例，可通过各种适当的方式来输出从翻译服务器接收到的翻译结果。例如，可以语音和/或文字的形式来输出翻译结果。

作为示例，可对从翻译服务器接收到的翻译结果进行音质后处理，并输出处理后的翻译结果，其中，所述翻译结果为语音形式的翻译结果。

应该理解，所述音质后处理可包括各种适当的音质处理方式。作为示例，所述音质后处理可包括：滤波处理和/或增益设置。

图3示出根据本发明的第一示例性实施例的对通话语音进行实时翻译的设备的框图。

如图3所示，根据本发明的第一示例性实施例的对通话语音进行实时翻译的设备包括：音质检测单元10、音质处理单元20、发送单元30、翻译结果接收单元40。

具体说来，音质检测单元10用于当电子终端需要对通话语音进行实时翻译时，检测是否满足第一预设条件。

作为示例，音质检测单元10可当电子终端处于语音通话状态，并开启了通话语音实时翻译功能时，确定电子终端需要对通话语音进行实时翻译。

作为示例，音质检测单元10可周期性地检测是否满足第一预设条件。

作为另一示例，音质检测单元10可实时检测是否满足第一预设条件。

作为示例，所述第一预设条件可包括：采集的通话语音的语音质量满足第一特定条件和/或用于翻译通话语音的翻译服务器会对接收到的待翻译的通话语音进行音质预处理。

作为示例，第一特定条件可为：信噪比高于预设阈值。例如，环境噪声越小，信噪比越高；回声信号越小，信噪比越高。

作为示例，采集的通话语音可以是通过电子终端的麦克风采集的通话语音。

应该理解，所述第一特定条件也可以是其他用于判断通话语音的语音质量是否足够良好而不需要进行音质预处理的条件。

音质处理单元20用于当检测到不满足预设条件时，对采集的通话语音进行音质预处理。

发送单元30用于当检测到满足预设条件时，将采集的通话语音发送到用于翻译通话语音的翻译服务器；当检测到不满足预设条件时，将音质处理单元20处理后的通话语音发送到翻译服务器。

具体说来，当检测到满足第一预设条件时，音质处理单元20不对采集的通话语音进行音质预处理，发送单元30直接将采集的通话语音发送到用于翻译通话语音的翻译服务器；当检测到不满足第一预设条件时，音质处理单元20对采集的通话语音进行音质预处理，发送单元30将处理后的通话语音发送到翻译服务器。

应该理解，所述音质预处理可包括各种适当的音质处理方式。作为示例，所述音质预处理可包括：降噪处理和/或回声消除处理。

翻译结果接收单元40用于从翻译服务器接收与发送的通话语音对应的翻译结果。

作为示例，发送单元30还可将从翻译服务器接收到的翻译结果发送到基站，以由基站转发到与所述电子终端进行语音通话的另一电子终端。

作为示例，所述翻译结果可为语音形式和/或文字形式的翻译结果。

作为示例，音质处理单元20可对从翻译服务器接收到的翻译结果进行音质后处理，发送单元30可将处理后的翻译结果发送到基站，其中，所述翻译结果为语音形式的翻译结果。

应该理解，所述音质后处理可包括各种适当的音质处理方式。作为示例，所述音质后处理可包括：滤波处理和/或增益设置。

图4示出根据本发明的第二示例性实施例的对通话语音进行实时翻译的设备的框图。

如图4所示，根据本发明的第二示例性实施例的对通话语音进行实时翻译的设备包括：音质检测单元50、音质处理单元60、发送单元70、翻译结果接收单元80。

具体说来，音质检测单元50用于当电子终端需要对通话语音进行实时翻译时，检测是否满足第二预设条件。

作为示例，音质检测单元50可当电子终端处于语音通话状态，并开启了通话语音实时翻译功能时，确定电子终端需要对通话语音进行实时翻译。

作为示例，音质检测单元50可周期性地检测是否满足第二预设条件。

作为另一示例，音质检测单元50可实时检测是否满足第二预设条件。

作为示例，所述第二预设条件可包括：从基站接收到的通话语音的语音质量满足第二特定条件和/或用于翻译通话语音的翻译服务器会对接收到的待翻译的通话语音进行音质预处理。

作为示例，所述第二特定条件可为：信噪比高于预设阈值。

应该理解，所述第二特定条件也可以是其他用于判断通话语音的语音质量是否足够良好而不需要进行音质预处理的条件。

音质处理单元60用于当检测到不满足预设条件时，对从基站接收到的通话语音进行音质预处理。

发送单元70用于当检测到满足预设条件时，将从基站接收到的通话语音发送到用于翻译通话语音的翻译服务器；当检测到不满足预设条件时，将音质处理单元60处理后的通话语音发送到翻译服务器。

具体说来，当检测到满足第二预设条件时，音质处理单元60不对从基站接收到的通话语音进行音质预处理，发送单元70直接将从基站接收到的通话语音发送到用于翻译通话语音的翻译服务器；当检测到不满足第二预设条件时，音质处理单元60对从基站接收到的通话语音进行音质预处理，发送单元70将处理后的通话语音发送到翻译服务器。

应该理解，所述音质预处理可包括各种适当的音质处理方式。作为示例，所述音质预处理可包括：降噪处理和/或回声消除处理。

翻译结果接收单元80用于从翻译服务器接收与发送的通话语音对应的翻译结果。

作为示例，根据本发明的第二示例性实施例的对通话语音进行实时翻译的设备还可包括：输出单元(未示出)，输出单元用于输出从翻译服务器接收到的翻译结果。

作为示例，所述翻译结果可为语音形式和/或文字形式的翻译结果。

作为示例，输出单元可通过各种适当的方式来输出从翻译服务器接收到的翻译结果。例如，输出单元可以语音和/或文字的形式来输出翻译结果。

作为示例，音质处理单元60可对从翻译服务器接收到的翻译结果进行音质后处理，输出单元输出处理后的翻译结果，其中，所述翻译结果为语音形式的翻译结果。

应该理解，所述音质后处理可包括各种适当的音质处理方式。作为示例，所述音质后处理可包括：滤波处理和/或增益设置。

应该理解，根据本发明的第一示例性实施例的对通话语音进行实时翻译的设备可执行参照图1描述的方法，为了避免重复，在此不再赘述。根据本发明的第二示例性实施例的对通话语音进行实时翻译的设备可执行参照图2描述的方法，为了避免重复，在此不再赘述。

此外，应该理解，根据本发明的第一示例性实施例的对通话语音进行实时翻译的设备中的各个单元可被实现硬件组件和/或软件组件。本领域技术人员根据限定的各个单元所执行的处理，可以例如使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现各个单元。

根据本发明的示例性实施例的计算机可读存储介质，存储有当被处理器执行时使得处理器执行第一示例性实施例的对通话语音进行实时翻译的方法的计算机程序。该计算机可读存储介质是可存储由计算机系统读出的数据的任意数据存储装置。计算机可读存储介质的示例包括：只读存储器、随机存取存储器、只读光盘、磁带、软盘、光数据存储装置和载波(诸如经有线或无线传输路径通过互联网的数据传输)。

根据本发明的示例性实施例的电子终端包括：处理器(未示出)和存储器(未示出)，其中，存储器存储有计算机程序，当所述计算机程序被处理器执行时，实现如第一示例性实施例的对通话语音进行实时翻译的方法。

此外，应该理解，根据本发明的第二示例性实施例的对通话语音进行实时翻译的设备中的各个单元可被实现硬件组件和/或软件组件。本领域技术人员根据限定的各个单元所执行的处理，可以例如使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现各个单元。

根据本发明的示例性实施例的计算机可读存储介质，存储有当被处理器执行时使得处理器执行第二示例性实施例的对通话语音进行实时翻译的方法的计算机程序。该计算机可读存储介质是可存储由计算机系统读出的数据的任意数据存储装置。计算机可读存储介质的示例包括：只读存储器、随机存取存储器、只读光盘、磁带、软盘、光数据存储装置和载波(诸如经有线或无线传输路径通过互联网的数据传输)。

根据本发明的示例性实施例的电子终端包括：处理器(未示出)和存储器(未示出)，其中，存储器存储有计算机程序，当所述计算机程序被处理器执行时，实现如第二示例性实施例的对通话语音进行实时翻译的方法。

虽然已表示和描述了本发明的一些示例性实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改。