一种处理方法和电子设备与流程

文档序号:16854876发布日期:2019-02-12 23:09阅读:135来源:国知局
一种处理方法和电子设备与流程

本申请涉及声音处理技术领域,更具体的说是涉及一种处理方法和电子设备。



背景技术:

在很多场景下,用户会使用电子设备进行针对性的声音采集。如在会场中,用户想要通过电子设备采集人的声音,但是由于会场的环境复杂,使得电子设备所采集的声音中会夹杂各种各样的噪音。那么,这就需要使用电子设备对采集的声音进行处理。

一般情况下,电子设备上具有对声音进行处理的不同方式,在现有技术中,选择哪种方式对采集的声音进行处理均是由用户基于实际情况手动选择的,用户体验差。



技术实现要素:

有鉴于此,本申请提供一种声音处理方法和电子设备,以解决上述技术问题。

为实现上述目的,本申请提供如下技术方案:

一种处理方法,包括:

第一模式下,检测电子设备是否满足切换条件;

如果满足所述切换条件,切换至第二模式;

其中,在所述第一模式下,用第一方式处理采集的环境声音数据,得到第一结果;在所述第二模式下,用不同于所述第一方式的第二方式处理采集的环境声音数据,得到第二结果;

所述第一方式和所述第二方式均表征用于将采集的环境声音数据中包含的目标声音数据和干扰声音数据处理为目标声音数据的方式。

优选的,所述用第一方式处理采集的环境声音数据包括:用多个候选子方式中的至少两个子方式处理采集的环境声音数据。

优选的,,特定子方式仅能够包含于所述第二方式中。

优选的,所述多个候选子方式的第一组合用于针对第一方向第一频段的环境声音数据进行处理;

和/或,所述多个候选子方式的第二组合用于针对第二频段的环境声音数据进行处理;

所述第一频段和所述第二频段不完全相同。优选的,所述检测电子设备是否满足切换条件包括下列中的至少一种:

检测电子设备的特定方向是否存在对象;或

检测电子设备当前是否处于预设环境;或

检测电子设备当前播放的应用是否为特定应用。

优选的,所述电子设备的特定方向存在对象,用于使用所述第二方式处理采集的环境声音数据;所述电子设备的特定方向没有对象,用于使用所述第一方式处理采集的环境声音数据;

所述电子设备当前处于预设环境,用于使用所述第二方式处理采集的环境声音数据;所述电子设备当前未处于预设环境,用于使用所述第一方式处理采集的环境声音数据;

所述电子设备当前播放的应用为特定应用,用于使用所述第二方式处理采集的环境声音数据;所述电子设备当前播放的应用不是特定应用,用于使用所述第一方式处理采集的环境声音数据。

优选的,一种电子设备,包括:

采集器,用于采集环境声音数据;

存储器,用于存储程序;

处理器,用于执行所述程序,所述程序用于在第一模式下,检测所述电子设备是否满足切换条件,如果满足所述切换条件,切换至第二模式;

其中,在所述第一模式下,用第一方式处理所述环境声音数据,得到第一结果;在所述第二模式下,用不同于所述第一方式的第二方式处理所述环境声音数据,得到第二结果;

所述第一方式和所述第二方式均表征用于将采集的环境声音数据中包含的目标声音数据和干扰声音数据处理为目标声音数据的方式。

优选的,所述用第一方式处理采集的环境声音数据包括:用多个候选子方式中的至少两个子方式处理采集的环境声音数据。

优选的,特定子方式仅能够包含于所述第二方式中。

优选的,所述多个候选子方式的第一组合用于针对第一方向第一频段的环境声音数据进行处理;

和/或,所述多个候选子方式的第二组合用于针对第二频段的环境声音数据进行处理;

所述第一频段和所述第二频段不完全相同。

经由上述的技术方案可知,本申请提供了一种处理方法,包括:第一模式下,检测电子设备是否满足切换条件,如果满足切换条件,切换到第二模式,其中,在第一模式下,用第一方式处理采集的环境声音数据,得到第一结果,在第二模式下,用不同于第一方式的第二方式处理采集的环境声音数据,得到第二结果,第一方式和第二方式均表征用于将采集的环境声音数据中包含的目标声音数据和干扰声音数据处理为目标声音数据的方式,由此可见,本申请中,电子设备能够实现不同方式的自动切换,提高了用户体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1为本申请方法实施例一提供的一种处理方法的流程示意图;

图2为本申请方法实施例二中提供的一种关于训练拆分的示意图;

图3为本申请实例提供的一种关于子方式的示意图;

图4为本申请装置实施例一提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请方法实施例一公开了一种处理方法,如图1所示,该方法包括如下步骤:

步骤101:第一模式下,检测电子设备是否满足切换条件;

步骤102:如果满足切换条件,切换至第二模式。

其中,在第一模式下,用第一方式处理采集的环境声音数据,得到第一结果;在第二模式下,用不同于第一方式的第二方式处理采集的环境声音数据,得到第二结果。

第一方式和第二方式均表征用于将采集的环境声音数据中包含的目标声音数据和干扰声音数据处理为目标声音数据的方式。

可选的,目标声音数据可以为人声数据,干扰声音数据可以为除人声之外的其他声音数据,通过第一方式或第二方式对环境声音数据进行处理能够得到人声数据。当然本申请并不局限于此,目标声音数据也可以为除人声之外的其他声音数据,由于不同声音数据的频率、声纹特征等均是不同的,因此可以通过第一方式或第二方式从环境声音数据中处理得到各种声音数据。

由于电子设备在不同的条件下所使用的方式不同,那么具体的,检测电子设备是否满足切换条件包括以下中的至少一种:

检测电子设备的特定方向是否存在对象;或

检测电子设备当前是否处于预设环境;或

检测电子设备当前播放的应用是否为特定应用。

相应的,若电子设备的特定方向存在对象,用于使用第二方式处理采集的环境声音数据;若电子设备的特定方向没有对象,用于使用第一方式处理采集的环境声音数据。

具体的,电子设备上可以设置有传感器,如电容传感器、红外传感器等,用于检测电子设备的特定方向是否存在对象,如在电子设备的正前方是否具有人体对象等等。

若电子设备当前处于预设环境,用于使用第二方式处理采集的环境声音数据;若电子设备当前未处于预设环境,用于使用第一方式处理采集的环境声音数据。

具体的,电子设备上可以设置有定位模块,通过定位模块来判断电子设备是否处于预设环境下。当然也可以直接基于环境声音数据来判断电子设备是否处于预设环境下。该预设环境可以为高噪音环境,如果通过定位模块定位电子设备当前处于会场位置,则可以确定电子设备处于预设环境下,或者,如果确定环境声音数据的响度大于预设响度则可以确定电子设备处于高噪音环境下。即高噪音环境指代为电子设备所处环境的噪音值达到预设值的环境。

若电子设备当前播放的应用为特定应用,用于使用第二方式处理采集的环境声音数据;若电子设备当前播放的应用不是特定应用,用于使用第一方式处理采集的环境声音数据。

具体的,可以预先设定好特定应用的标识列表,以判断当前播放的应用的标识是否在预先设定的标识列表中,如果是,则确定当前播放的应用为特定的应用,如果不是,则确定当前播放的应用不是特定的应用。例如,特定应用可以为电话会议应用。

在本申请中,作为一种实现方式,电子设备中预先存储有多种候选方式,第一方式为候选方式中的一种方式,第二方式为候选方式中的另一种方式,候选方式均为用于将采集的环境声音数据中包括的目标声音数据的方式。

举例来说,候选方式可以为消噪方式,例如,多个候选方式包括:bf(beamforming)消噪方式、aec(acousticechocancellation)消噪方式、ffp(farfieldpickup)消噪方式,那么,第一方式为多个候选方式中的一种消噪方式,第二方式为候选方式中的另一种消噪方式。其中,bf消噪方式为对特定方向的声音进行消噪的方式,aec消噪方式为对本机的回声进行消噪的方式,ffp现在方式为对360度声音进行消噪的方式。

以上述举例的多个候选方式为例,第一方式可以为ffp消噪方式,第二方式可以为bf消噪方式。

作为另一种实现方式,电子设备中预先存储有多个候选子方式,用第一方式处理采集的环境声音数据包括:用多个候选子方式中的至少两个子方式处理采集的环境声音数据。由于第二方式与第一方式不同,因此,从多个候选子方式中所选取作为第二方式的子方式与第一方式中的子方式至少也不完全相同。

在本申请中,多个候选子方式的至少部分候选方式至少能够组成一个候选方式。详情会在后文进行说明。

由此可见,在本实施例中,在第一模式下,检测电子设备是否满足切换条件,如果满足切换条件,切换到第二模式,其中,在第一模式下,用第一方式处理采集的环境声音数据,得到第一结果,在第二模式下,用不同于第一方式的第二方式处理采集的环境声音数据,得到第二结果,第一方式和第二方式均表征用于将采集的环境声音数据中包含的目标声音数据和干扰声音数据处理为目标声音数据的方式,实现了电子设备的不同方式的自动切换,提高了用户体验。

在本申请方法实施例二中,多个候选子方式中的至少部分子方式用于组成至少一个候选方式。也就是说,电子设备中预先存储的多个候选子方式可以为将至少一个候选方式通过训练进行拆分得到的。

具体的,预先训练候选方式以得到多个候选子方式,具体的,可以通过接收训练声音数据,将候选方式进行子方式的拆分,训练出能够消除或过滤出训练声音数据中不同特性的声音数据的子方式,形成候选子方式集合,并将其存储在电子设备中。

其中,训练声音数据可以为不同环境下的声音数据,图2举例示出了一种训练方式,如图2所示,训练声音数据包括来自meetingroom的声音数据、office的声音数据、cafébar的声音数据以及会场的声音数据,通过对bp消噪方式、ffp消噪方式、aec消噪方式以及keysroker消噪方式进行训练,能够训练出的子方式包括子方式(1)、子方式(2)、子方式(3)、子方式(4)、子方式(5)以及子方式(6)。其中,子方式(1)、子方式(2)、子方式(3)、子方式(4)、子方式(5)以及子方式(6)均可作为候选子方式存储在电子设备中。

需说明的是,在对候选方式进行训练拆分来得到子方式时,具体可以按照方向、频率、声纹特征等各种训练策略来拆分得到子方式。

为了便于理解,以bf消噪方式为例,具体的,bf为对特定方向的声音进行消噪从而得到人声的方式,通过对bf消噪方式进行训练拆分,至少能够拆分出如下几种方式:

用于获取特定方向声音数据的子方式;

用于获取人的频率的声音数据的子方式;

用于获取人声的声纹特性的子方式;

用于过滤出高于声音强度高于10db的声音数据的子方式。

在本申请方法实施例三中,多个候选子方式的第一组合用于针对第一方向第一频段的环境声音数据进行处理;多个候选子方式的第二组合用于针对第二频段的环境声音数据进行处理。

其中,第一频段和第二频段不完全相同,具体可以完全不同,或者第一频段和第二频段部分重叠。

由于第一组合用于针对第一方向第一频段的环境声音数据进行处理,因此第一组合中至少包含用于针对第一方向的至少一个子方式、针对第一频段的至少一个子方式。

由于第二组合用于针对第二频段的环境声音数据进行处理,因此第二组合中至少包含用于针对第二频段的至少一个子方式。

第一方向和第一频段、第二频段的具体设定值本申请不做限定,例如,第一方向为60°~90°的方向、第一频段和第二频段分别为包含人声频段的不同频段。

具体的,第一组合可以为用于针对第一方向第一频段的环境声音数据进行消噪以得到人声数据的组合,第二组合可以为用于针对第二频段的环境声音数据进行消噪以得到人声数据的组合。例如,第一组合的功能可以相当于bf消噪方式的功能,第二组合的功能可以相当于ffp消噪方式的功能,或者第二组合的功能可以相当于aec消噪方式的功能等等。

在本实施例中,可选的,第一方式可以为从多个候选子方式选取的第二组合方式,第二方式可以为从多个候选子方式中选取的第一组合的方式。

由于部分特定候选子方式的功能只能够从特定候选方式中拆分出来,例如,bp消噪方式能够针对特定方向的声音数据进行消噪,而ffp消噪方式不针对特定方向,因此实现的是针对360°的声音数据进行消噪。显然,针对特定方向的子方式的功能只能够从bp消噪方式中拆分出来,那么,如果想要从多个候选子方式中选取一个组合以实现针对某一候选方式的功能,则特定子方式就是需要考虑的问题。

因此,在本申请方法实施例四中,特定子方式仅能够包含于第二方式中。

通过将特定子方式指定在第二方式中,而不能包含在第一方式中,使得当需要选取用于实现特定候选方式的功能的候选子方式的组合时,只能够选择第二方式,解决冲突问题。可选的,该特定子方式可以为针对特定方向进行处理的子方式。

例如,子方式(1)+(2)+(3)用于实现bf方式的功能,子方式(1)为针对特定方向的子方式,子方式(2)+(3)+(4)用于实现ffp方式的功能。那么,子方式(1)仅能够包含于第二方式中,使得在电子设备满足切换条件时,可以从多个候选子方式中选择包含子方式(1)+(2)+(3)的第二方式,而第一方式中不会包含子方式(1),因此,无论如何选取候选子方式作为第一方式均不会产生冲突问题。

为了便于理解,本申请通过一个具体实例进行详细说明,具体请参照图3。

通过将玻璃瓶敲击声a、塑料袋摩擦声b、空调出风声c以及人声d的声音数据作为训练声音数据,能够训练出子方式1为能够过滤玻璃瓶敲击声,子方式2能够过滤塑料袋摩擦声、子方式3能够过滤空调出风声、子方式4用于拾取特定方向的声音。

在第一个场景下,环境声音数据包括玻璃瓶敲击声a、塑料袋摩擦声b以及人声d;在第二个场景下,环境声音数据包括玻璃瓶敲击声a、空调出风声c以及人声d。

假设电子设备在第一模式下处于第一场景,在第二模式下处于第二场景,那么,第一方式可以为包含子方式1+子方式2,从而从环境声音数据中得到人声d。第二方式可以为包含子方式1+子方式3+子方式4,从而从环境声音数据中得人声d。

与上述一种处理方法对应的,本申请还公开了一种电子设备,以下通过几个实施例进行描述。

本申请装置实施例一提供了一种电子设备,如图4所示,一种电子设备包括:采集器100、存储器200以及处理器300;其中:

采集器100,用于采集环境声音数据;

具体的,采集器100可以为声音采集器、如麦克风、还可以为声音传感器等。

存储器200,用于存储程序;

处理器300,用于执行所述程序,所述程序用于在第一模式下,检测所述电子设备是否满足切换条件,如果满足所述切换条件,切换至第二模式。

其中,在所述第一模式下,用第一方式处理所述环境声音数据,得到第一结果;在所述第二模式下,用不同于所述第一方式的第二方式处理所述环境声音数据,得到第二结果。

所述第一方式和所述第二方式均表征用于将采集的环境声音数据中包含的目标声音数据和干扰声音数据处理为目标声音数据的方式。

可选的,目标声音数据可以为人声数据,干扰声音数据可以为除人声之外的其他声音数据,通过第一方式或第二方式对环境声音数据进行处理能够得到人声数据。当然本申请并不局限于此,目标声音数据也可以为除人声之外的其他声音数据,由于不同声音数据的频率、声纹特征等均是不同的,因此可以通过第一方式或第二方式从环境声音数据中处理得到各种声音数据。

由于电子设备在不同的条件下所使用的方式不同,那么具体的,检测电子设备是否满足切换条件包括以下中的至少一种:

检测电子设备的特定方向是否存在对象;或

检测电子设备当前是否处于预设环境;或

检测电子设备当前播放的应用是否为特定应用。

相应的,若电子设备的特定方向存在对象,用于使用第二方式处理采集的环境声音数据;若电子设备的特定方向没有对象,用于使用第一方式处理采集的环境声音数据。

具体的,电子设备上可以设置有传感器,如电容传感器、红外传感器等,用于检测电子设备的特定方向是否存在对象,如在电子设备的正前方是否具有人体对象等等。

若电子设备当前处于预设环境,用于使用第二方式处理采集的环境声音数据;若电子设备当前未处于预设环境,用于使用第一方式处理采集的环境声音数据。

具体的,电子设备上可以设置有定位模块,通过定位模块来判断电子设备是否处于预设环境下。当然也可以直接基于环境声音数据来判断电子设备是否处于预设环境下。该预设环境可以为高噪音环境,如果通过定位模块定位电子设备当前处于会场位置,则可以确定电子设备处于预设环境下,或者,如果确定环境声音数据的响度大于预设响度则可以确定电子设备处于高噪音环境下。即高噪音环境指代为电子设备所处环境的噪音值达到预设值的环境。

若电子设备当前播放的应用为特定应用,用于使用第二方式处理采集的环境声音数据;若电子设备当前播放的应用不是特定应用,用于使用第一方式处理采集的环境声音数据。

具体的,可以预先设定好特定应用的标识列表,以判断当前播放的应用的标识是否在预先设定的标识列表中,如果是,则确定当前播放的应用为特定的应用,如果不是,则确定当前播放的应用不是特定的应用。例如,特定应用可以为电话会议应用。

在本申请中,作为一种实现方式,电子设备中预先存储有多种候选方式,第一方式为候选方式中的一种方式,第二方式为候选方式中的另一种方式,候选方式均为用于将采集的环境声音数据中包括的目标声音数据的方式。

举例来说,候选方式可以为消噪方式,例如,多个候选方式包括:bf(beamforming)消噪方式、aec(acousticechocancellation)消噪方式、ffp(farfieldpickup)消噪方式,那么,第一方式为多个候选方式中的一种消噪方式,第二方式为候选方式中的另一种消噪方式。其中,bf消噪方式为对特定方向的声音进行消噪的方式,aec消噪方式为对本机的回声进行消噪的方式,ffp现在方式为对360度声音进行消噪的方式。

以上述举例的多个候选方式为例,第一方式可以为ffp消噪方式,第二方式可以为bf消噪方式。

作为另一种实现方式,电子设备中预先存储有多个候选子方式,用第一方式处理采集的环境声音数据包括:用多个候选子方式中的至少两个子方式处理采集的环境声音数据。由于第二方式与第一方式不同,因此,从多个候选子方式中所选取作为第二方式的子方式与第一方式中的子方式至少也不完全相同。

在本申请中,多个候选子方式的至少部分候选方式至少能够组成一个候选方式。详情会在后文进行说明。

由此可见,在本实施例中,在第一模式下,检测电子设备是否满足切换条件,如果满足切换条件,切换到第二模式,其中,在第一模式下,用第一方式处理采集的环境声音数据,得到第一结果,在第二模式下,用不同于第一方式的第二方式处理采集的环境声音数据,得到第二结果,第一方式和第二方式均表征用于将采集的环境声音数据中包含的目标声音数据和干扰声音数据处理为目标声音数据的方式,实现了电子设备的不同方式的自动切换,提高了用户体验。

在本申请装置实施例二中,多个候选子方式中的至少部分子方式用于组成至少一个候选方式。也就是说,电子设备中预先存储的多个候选子方式可以为将至少一个候选方式通过训练进行拆分得到的。

具体的,预先训练候选方式以得到多个候选子方式,具体的,可以通过接收训练声音数据,将候选方式进行子方式的拆分,训练出能够消除或过滤出训练声音数据中不同特性的声音数据的子方式,形成候选子方式集合,并将其存储在电子设备中。

其中,训练声音数据可以为不同环境下的声音数据。需说明的是,在对候选方式进行训练拆分来得到子方式时,具体可以按照方向、频率、声纹特征等各种训练策略来拆分得到子方式。

为了便于理解,以bf消噪方式为例,具体的,bf为对特定方向的声音进行消噪从而得到人声的方式,通过对bf消噪方式进行训练拆分,至少能够拆分出如下几种方式:

用于获取特定方向声音数据的子方式;

用于获取人的频率的声音数据的子方式;

用于获取人声的声纹特性的子方式;

用于过滤出高于声音强度高于10db的声音数据的子方式。

在本申请装置实施例三中,多个候选子方式的第一组合用于针对第一方向第一频段的环境声音数据进行处理;多个候选子方式的第二组合用于针对第二频段的环境声音数据进行处理。

其中,第一频段和第二频段不完全相同,具体可以完全不同,或者第一频段和第二频段部分重叠。

由于第一组合用于针对第一方向第一频段的环境声音数据进行处理,因此第一组合中至少包含用于针对第一方向的至少一个子方式、针对第一频段的至少一个子方式。

由于第二组合用于针对第二频段的环境声音数据进行处理,因此第二组合中至少包含用于针对第二频段的至少一个子方式。

第一方向和第一频段、第二频段的具体设定值本申请不做限定,例如,第一方向为60°~90°的方向、第一频段和第二频段分别为包含人声频段的不同频段。

具体的,第一组合可以为用于针对第一方向第一频段的环境声音数据进行消噪以得到人声数据的组合,第二组合可以为用于针对第二频段的环境声音数据进行消噪以得到人声数据的组合。例如,第一组合的功能可以相当于bf消噪方式的功能,第二组合的功能可以相当于ffp消噪方式的功能,或者第二组合的功能可以相当于aec消噪方式的功能等等。

在本实施例中,可选的,第一方式可以为从多个候选子方式选取的第二组合方式,第二方式可以为从多个候选子方式中选取的第一组合的方式。

由于部分特定候选子方式的功能只能够从特定候选方式中拆分出来,例如,bp消噪方式能够针对特定方向的声音数据进行消噪,而ffp消噪方式不针对特定方向,因此实现的是针对360°的声音数据进行消噪。显然,针对特定方向的子方式的功能只能够从bp消噪方式中拆分出来,那么,如果想要从多个候选子方式中选取一个组合以实现针对某一候选方式的功能,则特定子方式就是需要考虑的问题。

因此,在本申请装置实施例四中,特定子方式仅能够包含于第二方式中。

通过将特定子方式指定在第二方式中,而不能包含在第一方式中,使得当需要选取用于实现特定候选方式的功能的候选子方式的组合时,只能够选择第二方式,解决冲突问题。可选的,该特定子方式可以为针对特定方向进行处理的子方式。

例如,子方式(1)+(2)+(3)用于实现bf方式的功能,子方式(1)为针对特定方向的子方式,子方式(2)+(3)+(4)用于实现ffp方式的功能。那么,子方式(1)仅能够包含于第二方式中,使得在电子设备满足切换条件时,可以从多个候选子方式中选择包含子方式(1)+(2)+(3)的第二方式,而第一方式中不会包含子方式(1),因此,无论如何选取候选子方式作为第一方式均不会产生冲突问题。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1