一种声音处理方法及电子设备与流程

文档序号:36622456发布日期:2024-01-06 23:17阅读:72来源:国知局

本技术涉及终端,尤其涉及一种声音处理方法及电子设备。


背景技术:

1、目前,手机、音箱等具备音频播放功能的电子设备已逐渐进入到人们的生活中。通过这种类型的电子设备,用户可以随时随地播放其所需的音频数据。例如,用户可以在家庭中使用音箱播放其喜欢的音乐,也可以在车辆中使用手机进行导航或播放音乐,亦可以在车辆中使用配置在车辆中的车载终端进行导航或播放音乐等。但目前电子设备在播放音频数据过程中,仅能播放够原汁原味的音频数据,用户体验较差。


技术实现思路

1、本技术提供了一种声音处理方法、电子设备、计算机存储介质及计算机程序产品,能够构建出与当前环境或当前用户的状态适配的待播放的音频数据,从而使得待播放的音频数据能够与当前环境或当前用户的状态相融合,提升了用户体验。

2、第一方面,本技术提供一种声音处理方法,该方法可以包括:获取与目标设备关联的环境信息,环境信息包括目标设备所处区域的环境数据;根据环境数据,确定与环境数据相关联的n个声音对象,n≥1;获取各个声音对象对应的白噪音,得到n个音频数据,每个音频数据均与一个声音对象关联;将n个音频数据合成,得到目标音频数据,其中,目标音频数据与环境信息相匹配;输出目标音频数据。这样,由于n个声音对象是与目标设备所处区域的环境数据相关联的,因此,由n个声音对象对应的白噪音得到的目标音频数据也是与目标设备所处区域的环境数据相匹配的,这样,用户在收听目标音频数据时即可以有身处环境中的体验,从而具有身临其境的感受,提升了用户体验。

3、在一些实施例中,该方法可以应用于下文图1所描述的场景中。此时,目标设备可以为车辆,也可以为车辆中的电子设备。示例性的,目标设备可以为集成在车辆中的设备,比如车载终端等,也可以为与车辆分离的设备,比如驾驶员的手机等。另外,环境数据可以包括环境图像,环境声音,天气信息或季节信息等中的一项或多项。

4、在一些实施例中,n个声音对象可以为基于环境数据识别出的声音对象,也可以为用户对基于环境数据识别出的声音对象进行筛选后得到的声音对象,比如,剔除某些声音对象所剩的声音对象,或者,添加一些新的声音对象所得到的声音对象等等。

5、在一种可能的实现方式中,获取各个声音对象对应的白噪音,得到n个音频数据,具体包括:基于n个声音对象,查询原子数据库,得到n个音频数据,其中,原子数据库中配置有各个单一对象在特定的一段时间内的音频数据。示例性的,将原子数据库中的多个对象的音频数据随机组合或者按照预设规律组合,可以获取到一定时长的音频数据。示例性的,原子数据库中可以包括:水流的音频数据、蝉鸣的音频数据、草木的音频数据等。示例性的,原子数据库中的白噪音的音频数据可以提前配置在车辆中,或者实时从服务器中获取等。

6、在一种可能的实现方式中,环境数据中包括环境声音。获取各个声音对象对应的白噪音,得到n个音频数据,具体包括:从环境声音中提取出m个声音对象的音频数据,以得到m个音频数据,0≤m≤n;其中,当m<n时,基于n个声音对象中剩余的声音对象,查询原子数据库,得到(n-m)个音频数据,其中,原子数据库中配置有各个单一对象在特定的一段时间内的音频数据。示例性的,当从环境声音中提取出的声音对象的音频数据不满足要求时,可以舍弃该音频数据,并从原子数据库中得到相应的声音对象对应的音频数据,由此以提升后续得到的目标音频数据的质量。可以预先设定一些策略,比如,隔绝全部的环境声音,隔绝环境声音中的部分声音,不隔绝环境声音,或者,当提取到的声音对象的音频数据的幅值大于预设值时保留该音频数据等等。其中,当隔绝全部的环境声音时,则m=0;当隔绝部分的环境声音时,则0<m≤n;当不隔绝环境声音时,则m=n。

7、在一种可能的实现方式中,在得到m个音频数据之后,还包括:将m个音频数据中各个音频数据所包含的声道的增益均调整至目标值。由此以提升音频数据的响度等,从而更能真实的还原环境声音,提升用户体验。

8、在一种可能的实现方式中,每个音频数据所表达的情感均与环境数据所表达的情感相同。由此以进一步使目标音频数据与环境信息相匹配,提升用户体验。

9、第二方面,本技术提供一种声音处理方法,该方法可以包括:获取与目标设备关联的环境信息,环境信息包括目标设备所处的环境中需同时播放第一音频数据和第二音频数据,且第一音频数据和第二音频数据均通过同一设备播放,其中,第一音频数据为第一时间段内持续性播放的音频数据,第二音频数据为第一时间段内偶发性播放的音频数据;获取待播放的第二音频数据;根据第二音频数据,从第一音频数据中提取出待播放的第三音频数据,以及,对第三音频数据进行目标处理,得到第四音频数据,其中,第二音频数据和第四音频数据对应的播放时间段相同,目标处理包括人声消除或人声降低;根据第二音频数据,确定第二音频数据所需调整的第一增益,以及,基于第一增益,对第二音频数据中各个声道的增益进行调整,得到第五音频数据;根据第四音频数据或者第五音频数据,确定第四音频数据所需调整的第二增益,以及,基于第二增益,对第四音频数据中各个声道的增益进行调整,得到第六音频数据;基于第五音频数据和第六音频数据,得到目标音频数据,其中,目标音频数据与环境信息相匹配;输出目标音频数据。

10、这样,通过对持续性播放的音频数据进行人声消除或人声降低处理等,并同时播报偶发性播放的音频数据和经处理后的需持续性播放的音频数据,使得用户在能够清楚感知到偶发性播放的音频数据中所包含的信息的同时,也可以清楚的感知到其他的音频数据的曲调、背景声等,从而更加有效的满足了用户听感,提升了用户体验。示例性的,持续性播放的音频数据(即第一音频数据)可以为某种类型的音乐,偶发性播放的音频数据(即第二音频数据)可以为导航时需播报的导航的音频数据。示例性的,人声消除可以理解为是消除音频数据中的人声,人声降低可以理解为是降低音频数据中的人声。

11、在一些实施例中,该方法可以应用于下文图4所描述的场景中。此时,目标设备可以为车辆,也可以为车辆中的电子设备。示例性的,目标设备可以为集成在车辆中的设备,比如车载终端等,也可以为与车辆分离的设备,比如驾驶员的手机等。

12、在一些实施例中,该方法可以但不限于应用于第一设备,该第一设备可以为播放第一音频数据和第二音频数据的设备。

13、在一种可能的实现方式中,第二音频数据为第一数据,或者,第四音频数据为第一数据;其中,根据第一数据,确定第一数据所需调整的增益,具体包括:获取第一数据的音频特征,音频特征包括以下一项或多项:时域特征,频域特征,或者,乐理特征;根据音频特征,确定第一数据所需调整的增益。示例性的,可以基于预先设定的增益计算公式,对音频特征进行处理,以得到所需调整的增益。

14、在一些实施例中,当第一数据为第二音频数据时,音频特征可以但不限于为时域特征,比如响度,包络能量,或者,短时能量等。响度可以为第二音频数据中各个时刻的响度,或者,最大的响度等。

15、在一些实施例中,当第一数据为第四音频数据时,音频特征可以但不限于为时域特征(比如响度,包络能量,或者,短时能量等)、频域特征(比如:多个频段的频谱能量等)、乐理特征(比如:节拍,调式,和弦,音高,音色,旋律,情感等)。

16、在一种可能的实现方式中,根据第五音频数据,确定第四音频数据所需调整的第二增益,具体包括:获取第五音频数据的最大响度值;根据第五音频数据的最大响度值和第一比例,确定第二增益,其中,第一比例为第二音频数据的最大响度值和第四音频数据的最大响度值间的比例。

17、在一种可能的实现方式中,根据第五音频数据,确定第四音频数据所需调整的第二增益,具体包括:获取第五音频数据的最大响度值;根据第五音频数据的最大响度值和第一比例,确定第二增益,其中,第一比例为第二音频数据的最大响度值和第四音频数据的最大响度值间的比例。

18、在一种可能的实现方式中,在确定出第二增益之后,方法还包括:基于第一增益,对第二增益进行修正。由此以使得在后续播放第五音频数据产生的声音更容易被感知。示例性的,基于预先设定的第一增益和第二增益之间的线性关系,对第二增益进行修正。

19、在一种可能的实现方式中,在确定出第二增益之后,方法还包括:确定第二增益大于预设增益值;将第二增益更新为预设增益值。示例性的,当第二增益大于预先设定的增益值时,表明播放第四音频数据产生的声音较小,其对播放后续得到的第五音频数据产生的声音造成影响较小,因此可以将确定出的第二增益的值更新为预先设定的增益值。

20、在一种可能的实现方式中,基于第二增益,对第四音频数据中各个声道的增益进行调整,具体包括:在第四音频数据播放开始之后,且与第四音频数据播放开始的时刻相距第一预设时间的第一时长内,按照第一预设步长将第四音频数据中各个声道的增益逐渐调整至第二增益;以及,在第四音频数据播放结束之前,且与第四音频数据播放结束的时刻相距第二预设时间的第二时长内,按照第二预设步长将第四音频数据中各个声道的增益逐渐由第二增益调整至预设增益值。由此以避免出现音量突变的情况,进而使得用户感知到的声音的音量等是逐渐变化的,提升用户体验。

21、在一种可能的实现方式中,基于第二增益,对第四音频数据中各个声道的增益进行调整,具体包括:在第四音频数据播放开始之前,且与第四音频数据播放开始的时刻相距第一预设时间的第一时长内,按照第一预设步长将第四音频数据中各个声道的增益逐渐调整至第二增益;以及,在第四音频数据播放结束之后,且与第四音频数据播放结束的时刻相距第二预设时间的第二时长内,按照第二预设步长将第四音频数据中各个声道的增益逐渐由第二增益调整至预设增益值。由此以避免出现音量突变的情况,进而使得用户感知到的声音的音量等是逐渐变化的,提升用户体验。

22、在一种可能的实现方式中,基于第二增益,对第四音频数据中各个声道的增益进行调整,具体包括:在第四音频数据播放开始之后,且与第四音频数据播放开始的时刻相距第一预设时间的第一时长内,按照第一预设步长将第四音频数据中各个声道的增益逐渐调整至第二增益;以及,在第四音频数据播放结束之后,且与第四音频数据播放结束的时刻相距第二预设时间的第二时长内,按照第二预设步长将第四音频数据中各个声道的增益逐渐由第二增益调整至预设增益值。由此以避免出现音量突变的情况,进而使得用户感知到的声音的音量等是逐渐变化的,提升用户体验。

23、在一种可能的实现方式中,基于第二增益,对第四音频数据中各个声道的增益进行调整,具体包括:在第四音频数据播放开始之前,且与第四音频数据播放开始的时刻相距第一预设时间的第一时长内,按照第一预设步长将第四音频数据中各个声道的增益逐渐调整至第二增益;以及,在第四音频数据播放结束之前,且与第四音频数据播放结束的时刻相距第二预设时间的第二时长内,按照第二预设步长将第四音频数据中各个声道的增益逐渐由第二增益调整至预设增益值。由此以避免出现音量突变的情况,进而使得用户感知到的声音的音量等是逐渐变化的,提升用户体验。

24、第三方面,本技术提供一种声音处理方法,该方法可以包括:第一设备获取第二设备发送的第一消息,第一消息为第二设备需要播报音频数据时发送;响应于第一消息,第一设备对其待播放的音频数据进行目标处理,以及播放经目标处理的音频数据,目标处理用于消除或降低音频数据中的目标声音;第一设备获取第二设备发送的第二消息,第二消息为第二设备结束播报音频数据时发送;响应于第二消息,第一设备停止对其待播放的音频数据进行目标处理,以及播放未经目标处理的音频数据。

25、这样,在偶发性播放音频数据的电子设备播报音频数据的过程中,可以降低持续性播放音频数据的电子设备所播放的音频数据的干扰,使得用户能够清楚的感知到偶发性播放音频数据的电子设备所播放的音频数据。示例性的,偶发性播放音频数据可以为通话时的音频数据,持续性播放的音频数据可以为某种类型的音乐。

26、在一些实施例中,该方法可以应用于家居场景中,此时,第二设备可以为手机,第一设备可以为智能音箱、智能电视等。在该场景下,第一设备可以正在播放音乐、电视剧或者电影等,第二设备需播报的音频数据可以是用户使用第二设备进行通话时第二设备需播放的音频数据。另外,该方法也可以应用于驾车场景中,此时,第二设备可以为手机,第一设备可以为车载终端。在该场景下,第一设备可以正在播放音乐等,第二设备需播报的音频数据可以是用户使用第二设备进行导航或通话时第二设备需播放的音频数据。

27、在一种可能的实现方式中,目标处理包括人声消除处理或者人声降低处理。

28、第四方面,本技术提供一种声音处理方法,该方法可以包括:获取与目标设备关联的环境信息,环境信息包括目标设备在目标空间中的目标位置,目标空间中配置有至少一个扬声器;确定目标设备与n个扬声器间的距离,以得到n个第一距离,n为正整数,其中,n个扬声器与目标设备处于同一空间中;根据n个第一距离和n个扬声器,构建目标虚拟扬声器组,目标虚拟扬声器组由m个目标虚拟扬声器组成,m个目标虚拟扬声器位于以目标设备所处的位置为中心,且以n个第一距离中的目标距离为半径的圆上,m的值与构建空间环绕声所需的扬声器的数量相等,m个目标虚拟扬声器的布置方式与构建空间环绕声所需的扬声器的布置方式相同,每个目标虚拟扬声器均通过调整n个扬声器中的至少一个扬声器对应的音频信号的增益得到;根据在n个扬声器中且与目标虚拟扬声器关联的扬声器对应的音频信号所需调整的增益,对原始音频数据中各个声道的增益进行调整,得到目标音频数据,其中,目标音频数据与环境信息相匹配;输出目标音频数据。这样,目标电子设备在空间中所处的位置,调整空间中各个扬声器输出的音频信号的增益,从而使得用户可以随时随地享受到空间环绕声。示例性的,构建空间环绕声所需的扬声器的布置方式可以为5.1.x或者7.1.x的要求中所需的布置方式。在一些实施例中,该方法可以应用于下文图9或10所描述的场景中。其中,目标设备可以为图10中的电子设备100。

29、在一些实施例中,一个音频数据中可以但不限于包括各个相应的扬声器所需播放的音频信号。示例性的,一个音频数据中所包含的每个音频信号均可以与一个声道相对应。在一种可能的实现方式中,目标距离为n个第一距离中的最小值。这样可以将扬声器均虚拟至与目标设备距离最近的区域,提升空间环绕声效果。

30、在一种可能的实现方式中,根据n个第一距离和n个扬声器,构建目标虚拟扬声器组,具体包括:以目标距离为基准,确定n个扬声器中除目标扬声器之外的各个扬声器对应的音频信号所需调整的增益,以构建出第一虚拟扬声器组,第一虚拟扬声器组为将n个扬声器均虚拟至以目标设备为中心,且以目标距离为半径的圆上得到的扬声器的组合,目标扬声器为目标距离对应的扬声器;根据第一虚拟扬声器组和构建空间环绕声所需的扬声器的布置方式,确定目标虚拟扬声器组,其中,目标虚拟扬声器组中的中置扬声器位于目标设备当前的朝向上的预设角度范围内。

31、示例性的,可以以目标距离为基准,并基于预先设定的增益计算模型,对目标距离和除目标扬声器之外的各个扬声器与目标设备间的距离进行处理,以得到除目标扬声器之外的各个扬声器对应的音频信号所需调整的增益,从而构建出第一虚拟扬声器组。接着,可以基于构建空间环绕声所需的扬声器的布置方式,从第一虚拟扬声器组中确定出目标虚拟扬声器组。其中,当目标虚拟扬声器组中的某个虚拟扬声器未在第一虚拟扬声器组中时,可以通过vbap算法对第一虚拟扬声器组中的虚拟扬声器进行处理,以构建出目标虚拟扬声器组中的虚拟扬声器。其中,该确定目标虚拟扬声器组的方式可以参阅下文图11中的描述。

32、在一种可能的实现方式中,根据n个第一距离和n个扬声器,构建目标虚拟扬声器组,具体包括:根据n个扬声器,n个第一距离,构建空间环绕声所需的扬声器的布置方式,目标设备的朝向,以及目标设备所处的位置,构建第一虚拟扬声器组,第一虚拟扬声器组中包括m个第一虚拟扬声器,每个第一虚拟扬声器均通过调整n个扬声器中的至少一个扬声器对应的音频信号的增益得到;确定目标设备与各个第一虚拟扬声器间的第二距离,以得到m个第二距离;将m个第一虚拟扬声器均虚拟至以目标设备所处的位置为中心,且以第二距离中的一个距离为半径的圆上,以得到目标虚拟扬声器组。也即是说,可以先确定出一定数量(即构建空间环绕声所需的扬声器的数量)的虚拟扬声器,然后,再将这些虚拟扬声器虚拟至同一个圆上,以得到目标虚拟扬声器组。其中,该确定目标虚拟扬声器组的方式可以参阅下文图17中的描述。

33、在一种可能的实现方式中,在确定目标设备与n个扬声器间的距离之前,方法还包括:根据目标设备所处空间中配置的扬声器,目标设备的朝向,目标设备所处的位置,以及构建空间环绕声所需的扬声器的布置方式,从目标设备所处空间中配置的扬声器中筛选出n个扬声器,n个扬声器用于构建空间环绕声。也即是说,可以先筛选出构建空间环绕声所需的真实的扬声器,然后再由这些真实的扬声器构建出所需的虚拟扬声器。其中,该确定目标虚拟扬声器组的方式可以参阅下文图19中的描述。

34、在一种可能的实现方式中,方法还包括:确定目标设备与目标空间中的各个扬声器间的距离;根据目标设备与目标空间中的各个扬声器间的距离,确定目标空间中的各个扬声器在播放音频数据时的延迟时间;控制目标空间中的各个扬声器按照相应的延迟时间播放音频数据。由此以控制各个扬声器同步播放,提升用户体验。

35、第五方面,本技术提供一种声音处理方法,该方法可以包括:获取与目标设备关联的环境信息,环境信息包括目标设备产生的画面在目标空间中的目标位置,目标空间中配置有至少一个扬声器;根据目标位置,构建与目标空间匹配的虚拟空间,虚拟空间的体积小于目标空间的体积;根据目标空间中各个扬声器的位置,在虚拟空间中构建出目标虚拟扬声器组,目标虚拟扬声器组中包括至少一个目标虚拟扬声器,且每个目标虚拟扬声器均通过调整目标空间中的一个扬声器对应的音频信号的增益得到;根据在目标空间中且与目标虚拟扬声器关联的扬声器对应的音频信号所需调整的增益,对原始音频数据中各个声道的增益进行调整,得到目标音频数据,其中,目标音频数据与环境信息相匹配;输出目标音频数据。

36、这样,结合目标设备设备产生的画面在空间中的目标位置,在目标位置处构建出一个虚拟的扬声器组,并控制目标设备中的音频数据由该虚拟扬声器组播放,从而使得目标设备播放的画面和音频数据同步,提升用户的听感和视感一致性体验。在一些实施例中,该方法可以应用于下文图20所描述的场景中。其中,目标设备可以为图20中的电子设备100。此时,原始音频数据可以为用户使用目标设备所播放的音频数据。

37、在一种可能的实现方式中,根据目标空间中各个扬声器的位置,在虚拟空间中构建出目标虚拟扬声器组,具体包括:根据虚拟空间和目标空间间的比例,在虚拟空间中确定出目标虚拟扬声器组中各个目标虚拟扬声器的位置;根据各个目标虚拟扬声器和与各个目标虚拟扬声器对应的目标扬声器间的距离,确定出各个目标扬声器对应的音频信号所需调整的增益,以得到目标虚拟扬声器组,目标扬声器为目标空间中的扬声器。

38、在一种可能的实现方式中,方法还包括:确定目标设备产生的画面与目标空间中的各个扬声器间的距离;根据目标设备产生的画面与目标空间中的各个扬声器间的距离,确定目标空间中的各个扬声器在播放音频数据时的延迟时间;控制目标空间中的各个扬声器按照相应的延迟时间播放音频数据。由此以控制各个扬声器同步播放,提升用户体验。

39、进一步地,该方法还可以包括:从确定出的目标设备产生的画面与目标空间中的各个扬声器间的距离中,选取一个距离作为基准距离;并根据该基准距离,确定目标设备产生的画面的出现时间。由此以提升音画同步的效果。示例性的,该基准距离可以为确定出的目标设备产生的画面与目标空间中的各个扬声器间的距离中的最大的一个距离。示例性的,可以基于该基准距离和声音的传播速度,确定出产生的画面相对于该基准距离对应的扬声器产生的声音出现的延时时间;然后,在控制目标设备在该基准距离对应的扬声器播放相应的音频数据的时刻之后,且达到该延时时间时,在显示出相应的画面。例如,若确定出的延时时间为3s,该基准距离对应的扬声器播放相应的音频数据的时刻为t,则目标设备产生的画面出现的时刻为(t+3)。

40、第六方面,本技术提供一种声音处理方法,该方法可以包括:获取与目标设备关联的用户的状态信息,用户的状态信息包括目标设备与目标用户的头部间的目标距离,目标用户的头部在目标空间中的目标位置,目标空间中配置有至少一个扬声器;根据目标距离、目标位置和目标空间中各个扬声器的位置,构建目标虚拟扬声器组,目标虚拟扬声器组中包括至少一个目标虚拟扬声器,每个目标虚拟扬声器均通过调整目标空间中的一个扬声器对应的音频信号的增益得到,每个目标虚拟扬声器均处于以目标位置为圆心且以目标距离为半径的圆上;根据在目标空间中且与目标虚拟扬声器关联的扬声器对应的音频信号所需调整的增益,对原始音频数据中各个声道的增益进行调整,得到目标音频数据,其中,目标音频数据与用户的状态相匹配;输出目标音频数据。这样,结合目标设备与目标用户的头部间的目标距离,目标用户的头部在目标空间中的目标位置等,在目标用户的周围构建出一个虚拟的扬声器组,并控制目标设备中的音频数据由该虚拟扬声器组播放,从而使得目标设备播放的画面和音频数据同步,提升用户的听感和视感一致性体验。在一些实施例中,该方法可以应用于下文图24所描述的场景中。其中,目标设备可以为图24中的电子设备100。此时,原始音频数据可以为用户使用目标设备所播放的音频数据。

41、在一种可能的实现方式中,根据目标距离、目标位置和目标空间中各个扬声器的位置,构建目标虚拟扬声器组之后,还包括:根据目标虚拟扬声器组,构建第一虚拟扬声器组,第一虚拟扬声器组由m个虚拟扬声器组成,m个虚拟扬声器位于以目标位置为中心,且以目标距离为半径的圆上,m的值与构建空间环绕声所需的扬声器的数量相等,m个虚拟扬声器的布置方式与构建空间环绕声所需的扬声器的布置方式相同,m个虚拟扬声器中每个虚拟扬声器均通过调整目标空间中的至少一个扬声器对应的音频信号的增益得到。

42、此时,根据在目标空间中且与目标虚拟扬声器关联的扬声器对应的音频信号所需调整的增益,对原始音频数据中各个声道的增益进行调整,得到目标音频数据,具体包括:根据在目标空间中且与m个虚拟扬声器关联的扬声器对应的音频信号所需调整的增益,对原始音频数据中各个声道的增益进行调整,得到目标音频数据。由此,以构建出播放空间环绕声所需的虚拟扬声器,并可以通过这些虚拟扬声器播放目标音频数据,从而使得用户可以收听到空间环绕声,提升用户体验。

43、在一种可能的实现方式中,目标虚拟扬声器组中包括s个虚拟扬声器,s个虚拟扬声器为构建空间环绕声所需的扬声器,s个虚拟扬声器中的每个虚拟扬声器均通过调整n个扬声器中的至少一个扬声器对应的音频信号的增益得到;确定目标位置与s个虚拟扬声器中各个虚拟扬声器间的距离,以得到s个距离;将s个虚拟扬声器均虚拟至以目标位置为中心,且以s个距离中的一个距离为半径的圆上,以得到所需的虚拟扬声器组,以及基于构建所需的虚拟扬声器组过程中确定出的各个真实的扬声器对应的音频信号所需调整的增益,对原始音频数据进行调整,以得到目标音频数据。也即是说,可以先确定出一定数量(即构建空间环绕声所需的扬声器的数量)的虚拟扬声器,然后,再将这些虚拟扬声器虚拟至同一个圆上,以得到所需虚拟扬声器组;最后,可以基于构建所需的虚拟扬声器组过程中确定出的各个真实的扬声器对应的音频信号所需调整的增益,对原始音频数据进行调整,以得到目标音频数据。

44、在一种可能的实现方式中,该方法还可以包括:根据目标距离、目标位置、目标空间中各个扬声器的位置,以及构建空间环绕声所需的扬声器的布置方式,从目标设备所处空间中配置的扬声器中筛选出n个扬声器,n个扬声器用于构建空间环绕声;根据n个扬声器,确定所需的虚拟扬声器组,以及基于构建所需的虚拟扬声器组过程中确定出的各个真实的扬声器对应的音频信号所需调整的增益,对原始音频数据进行调整,以得到目标音频数据。也即是说,可以先筛选出构建空间环绕声所需的真实的扬声器,然后再由这些真实的扬声器构建出所需的虚拟扬声器;最后,可以基于构建所需的虚拟扬声器组过程中确定出的n个真实的扬声器对应的音频信号所需调整的增益,对原始音频数据进行调整,以得到目标音频数据。

45、第七方面,本技术提供一种声音处理方法,该方法可以包括:获取与目标设备关联的环境信息,其中,目标设备位于车辆中,环境信息包括车辆的行驶速度、转速和加速踏板的开度中的一项或多项;根据行驶速度、转速和加速踏板的开度中的至少一个,从原始音频数据中,确定出第一音频数据,其中,第一音频数据为基于行驶速度对原始音频数据中的目标音频粒子进行伸缩变换得到;根据行驶速度,确定车辆的加速度,并根据加速度,调整第一音频数据中各个声道的增益,以得到第二音频数据,以及,确定车辆中的声场向目标方向移动的目标速度;根据目标速度,确定目标音频数据的声源的虚拟位置;根据虚拟位置,确定车辆中多个扬声器对应的音频信号的所需调整的目标增益,得到f个目标增益,f≥2;根据f个目标增益,调整第二音频数据中各个声道的增益,以得到目标音频数据,其中,目标音频数据与环境信息相匹配;输出目标音频数据。这样,驾驶员在车辆中听到的声音可以是与车辆的行驶速度相关联的,使得听感更真实,提升了用户体验。

46、在一些实施例中,该方法可以应用于下文所描述的“控制新能源车辆加速行驶”的场景。此时,在用户驾驶车辆过程中,根据车辆中的扬声器控制车辆中声场的移动,使得声浪声音可以产生空间上的变化,从而使得车辆的内部可以出现多普勒效应,进而使得车辆所播放的声浪声音与真实驾驶状态相符,使得听感更真实,提升了用户体验。另外,在该场景下,目标设备可以为车辆,也可以为车辆中的电子设备。示例性的,目标设备可以为集成在车辆中的设备,比如车载终端等,也可以为与车辆分离的设备,比如驾驶员的手机等。

47、在一种可能的实现方式中,在根据行驶速度,调整第一音频数据中各个声道的增益之前,还包括:确定行驶速度的变化值超过预设速度阈值;和/或,确定第一音频数据中每个声道的增益对应的调整值均小于或等于预设调整值,其中,当第一音频数据中目标声道的增益对应的目标调整值大于预设调整值时,将目标调整值更新为预设调整值。由此以避免用户听到的声音忽大忽小或者声音产生突变,提升用户体验。

48、在一种可能的实现方式中,目标参数还包括车辆的加速时长,方法还包括:根据加速时长,控制车辆中的氛围灯工作。由此以为用户带来视觉上的体验。另外,还可以控制氛围灯颜色颜色变化的速度与车辆中声场移动的目标速度相同,以使得车辆中的空间听感和空间视感相对应,提升用户体验。

49、第八方面,本技术提供一种声音处理方法,该方法可以包括:获取与目标设备关联的用户的状态信息,状态信息包括用户的疲劳等级;根据疲劳等级,确定第一特征参数的目标调整值,第一特征参数为当前所需播放的原始音频数据的特征参数,第一特征参数包括音调和/或响度;根据目标调整值,对原始音频数据进行处理,得到目标音频数据,其中,目标音频数据的特征参数的值高于第一特征参数的值,目标音频数据与用户的状态信息相匹配;输出目标音频数据。这样,当检测到用户出现驾驶疲劳时,可以根据用户的疲劳等级改变原始音频数据的特征参数(比如音调、响度等),从而使得播放的音频数据能够在听觉上对用户产生冲击,进而提高用户的注意力。在一些实施例中,该方法可以应用于下文图35所描述的场景中。在该场景下,目标设备可以为车辆,也可以为车辆中的电子设备。示例性的,目标设备可以为集成在车辆中的设备,比如车载终端等,也可以为与车辆分离的设备,比如驾驶员的手机等。另外,在该场景下,原始音频数据可以为待播放的导航音的音频数据。

50、在一种可能的实现方式中,输出目标音频数据,具体包括:根据疲劳等级,确定第一目标提示音;根据预先设定的播报顺序,输出目标音频数据和第一目标提示语音。由此以进一步在听觉上对用户产生冲击,并使得播报方式和语言更具生活化和人性化,提升用户体验。示例性的,第一目标提示语音可以下文“表2”中所示的提示语音。

51、在一种可能的实现方式中,方法还包括:根据疲劳等级和地图信息,确定第二目标提示音;输出第二目标提示音。由此以进一步在听觉上对用户产生冲击,进而提高用户的注意力。示例性的,第二目标提示语音可以为“注意!注意!驾驶人员已极度疲劳,可于xxx米远的xxx路口/超市/中转站停车休息”。

52、在一种可能的实现方式中,目标设备位于车辆中。此时,在输出目标音频数据之前,方法还包括:确定车辆处于自动驾驶状态,且车辆所处的路段的路况低于预设路况阈值,和/或,确定车辆所处的路段为预设路段。由此,以在特定的条件下提高用户的注意力。

53、在一种可能的实现方式中,方法还包括:根据疲劳等级,确定警示灯的闪烁频率和/或颜色,以及控制警示灯按照确定出的闪烁频率和/颜色工作。由此以给予用户在视觉上的冲击,进而提高用户的注意力。

54、第九方面,本技术提供一种声音处理方法,该方法可以包括:获取与目标设备关联的用户的状态信息,状态信息包括用户选择的第一音频数据和第二音频数据;确定第一音频数据的第一音频特征,第一音频特征包括:各个时刻的响度和/或各个节拍的位置点;根据第一音频特征,调整第二音频数据的第二音频特征,以得到第三音频数据,第二音频特征包括响度、音调和音速中的至少一项;根据第一音频数据和第三音频数据,得到目标音频数据,其中,目标音频数据与用户的状态信息相匹配;输出目标音频数据。这样,可以基于用户选择的一种音频数据对另一种音频数据进行处理,从而使得两种音频数据能够自然的融合到一起,进而给用户带来更好的听觉体验。在一些实施例中,该方法可以应用于下文所描述的“用户选择多种音频数据叠加播放”的场景。在该场景下,第一音频数据可以为背景音,第二音频数据可以为白噪音。

55、在一种可能的实现方式中,第一音频特征包括:第一音频数据的各个时刻的响度,第二音频特征包括响度。根据目标音频特征,调整第二音频数据的第二音频特征,具体包括:根据第一音频数据的各个时刻的响度和预设响度比例,确定第二音频数据中各个时刻对应的目标响度;将第二音频数据中各个时刻的响度,调整至第二音频数据中各个时刻对应的目标响度。由此以使得两个音频数据中各个时刻的响度与预先设定的响度比例相符,从而使得两者可以自然的融合到一起。

56、在一种可能的实现方式中,目标音频特征包括:各个节拍的位置点,第二音频特征包括音调和/或音速。根据目标音频特征,调整第二音频数据的音调,具体包括:针对第一音频数据中任意相邻的两个节拍,根据任意相邻的两个节拍,确定任意相邻的两个节拍对应的目标节奏;根据目标节奏,确定第二音频数据在任意相邻的两个节拍对应的位置点内的第二音频特征的目标调整值;根据目标调整值,对第二音频数据在任意相邻的两个节拍对应的位置点内的第二音频特征进行调整。由此,以使得第二音频数据的音频特征能够与第一音频数据的节奏相匹配,从而使得两者可以自然的融合到一起。

57、第十方面,本技术提供一种声音处理方法,该方法可以包括:获取与目标设备关联的用户的状态信息,用户的状态信息包括以下一项或多项:用户选择的图片,视频,或者,用户为目标对象所添加的音频数据;确定n张图片,n≥2;确定n张图片中各张图片内包含的目标对象,以得到m个目标对象,m≥1;确定各个目标对象在n张图中每张图片中的空间位置,以及,确定各个目标对象在目标视频中出现的时长,以得到m个第一时长,目标视频基于n张图片得到;根据各个目标对象的空间位置,以及n张图片中各个相邻的图片在目标视频中出现的时刻,确定各个目标对象在各个相邻的图片间的移动速度;根据m个目标对象,得到q个第一音频数据,1≤q≤m,其中,一个第一音频数据至少与一个目标对象相关联;将各个第一音频数据的第二时长均调整至与相应的目标对象对应的第一时长相等,以得到q个第二音频数据;根据各个目标对象的空间位置,以及各个目标对象在各个相邻的图片间的移动速度,分别对各个目标对象对应的第二音频数据进行处理,以得到q个第三音频数据;根据q个第三音频数据和n张图片,得到目标视频,其中,目标视频中包括目标音频数据,目标音频数据基于q个第三音频数据得到,其中,目标音频数据与用户的状态信息相匹配;输出目标音频数据。这样,基于用户所选择的数据,为数据中的目标对象添加空间音频,从而使得在制作完成的视频中目标对象的声音可以随着目标对象的运动而移动,进而使得用户听感更加真实,提升了观看体验。在一些实施例中,该方法可以应用于下文所所描述的“制作视频或动态图片”的场景。在一些实施例中,目标视频的时长可以是按照固定时间播放一张图片计算得到,也可以是通过选取的一段音频数据的时长得到。

58、在一种可能的实现方式中,方法还包括:根据n张图片,确定出与n张图片匹配的第四音频数据;将第四音频数据中至少一部分节拍的位置点作为n张图片中至少一部分图片出现的时刻,和/或,将第四音频数据中至少一部分小节的开始或结束的位置点作为n张图片中至少一部分图片出现的时刻。由此以使得n张图片中的至少一部分图片出现的时刻可以与某些节拍的位置点或者某些小节的位置点一致,使得在听感的关键点处呈现视觉的冲击变化,即在听感的关键点处用户可以观看到图片,从而在视听上产生一致的冲击感,进而提升用户体验。

59、在一种可能的实现方式中,确定各个目标对象在n张图中每张图片中的空间位置,具体包括:针对第i张图片内的第k个目标对象,基于预先设定的三维坐标系,确定第k个目标对象在第i张图片中的第一空间位置,其中,三维坐标系的中心点为第i张图片的中心位置,第i张图片为n张图中的任意一张图片,第k个目标对象为第i张图片中的任意一个目标对象。

60、在一种可能的实现方式中,方法还包括:确定第(i+1)张图片中不存在第k个目标对象;将第(i+1)张图片的第一边界上的第一位置,作为第k个目标对象在第(i+1)张图片中的第二空间位置。由此以避免在第(i+1)张图片中第k个目标对象的声音突然消失。

61、在一种可能的实现方式中,第一边界为第k个目标对象在第i张图片中的目标朝向上的边界,第一位置在第(i+1)张图片中以第一空间位置为起点,且在目标朝向上延伸的直线与第一边界的交点。

62、在一种可能的实现方式中,方法还包括:确定第(i+2)张图片中不存在第k个目标对象;根据第一空间位置,第二空间位置,以及第i张图片和第(i+1)张图片间的时间间隔,确定第k个目标对象的第一移动速度和第一移动方向;将第(i+2)张图片之外的第二位置,作为第k个目标对象在第(i+2)张图片中的第三空间位置;其中,第二位置为在第一移动方向上,且与在第(i+2)张图片中的第二空间位置相距第一目标距离的位置点,第一目标距离根据第一移动速度,以及第(i+1)张图片和第(i+2)张图片间的时间间隔得到。由此以使得第k个目标对象的声音是逐渐向目标方向远去,而不是突然消失,提升用户体验。

63、在一种可能的实现方式中,方法还包括:确定第(i-1)张图片中不存在第k个目标对象,其中,i≥2;将第(i-1)张图片的第二边界上的第三位置,作为第k个目标对象在第(i-1)张图片中的第四空间位置。由此以避免在第i张图片中第k个目标对象的声音突然出现。

64、在一种可能的实现方式中,第二边界为第k个目标对象在第i张图片中的目标朝向的反方向上的边界,第三位置在第(i-1)张图片中以第一空间位置为起点,且在目标朝向的反方向上延伸的直线与第二边界的交点。

65、在一种可能的实现方式中,方法还包括:确定第(i-2)张图片中不存在第k个目标对象,其中,i≥3;根据第一空间位置,第四空间位置,以及第i张图片和第(i-1)张图片间的时间间隔,确定第k个目标对象的第二移动速度和第二移动方向;将第(i-2)张图片之外的第四位置,作为第k个目标对象在第(i-2)张图片中的第五空间位置;其中,第四位置为在第二移动方向的反方向上,且与在第(i-2)张图片中的第四空间位置相距第二目标距离的位置点,第二目标距离根据第二移动速度,以及第(i-1)张图片和第(i-2)张图片间的时间间隔得到。由此以使得第k个目标对象的声音是逐渐向目标方向靠近,而不是在第i张图片中突然出现,提升用户体验。

66、在一种可能的实现方式中,方法还包括:确定第(i+1)张图片至第(i+j)张图片中均不存在第k个目标对象,j≥2,且第(i+j+1)张图片中存在第k个目标对象,(i+j+1)≤n;以第i张图片为基准,分别确定第k个目标对象在第(i+1)张图片至第(i+j)张图片中各张图片中的空间位置,以得到第一空间位置集合{pi+1,…,pi+j},其中,pi+j为第k个目标对象在第(i+j)张图片中的空间位置,以及,以第(i+j+1)张图片为基准,分别确定第k个目标对象在第(i+1)张图片至第(i+j)张图片中各张图片中的空间位置,以得到第二空间位置集合{p′i+1,…,p′i+j},其中,p′i+j为第k个目标对象在第(i+j)张图片中的空间位置;根据第一空间集合和第二空间集合,确定第k个目标对象在第(i+1)张图片至第(i+j)张图片中各张图片中的空间位置。由此以提升第k个目标对象在第(i+1)张图片至第(i+j)张图片中各张图片中的空间位置中的准确度。

67、在一种可能的实现方式中,根据第一空间集合和第二空间集合,确定第k个目标对象在第(i+1)张图片至第(i+j)张图片中各张图片中的空间位置,具体包括:根据第一空间集合和第二空间集合,分别确定第k个目标对象在第(i+1)张图片至第(i+j)张图片中每张图片内的两个空间位置之间的距离,以得到j个距离;根据第一空间集合和第二空间集合,确定第k个目标对象在第(i+c)张图片中的空间位置,第(i+c)张图片为j个距离的一个距离对应的图片,1≤c≤j;根据第k个目标对象在第i张图片中的空间位置,第k个目标对象在第(i+j+1)张图片中的空间位置,第k个目标对象在第(i+c)张图片中的空间位置,以及,第i张图片至第(i+j+1)张图片中各张图片在目标视频中出现的时刻,确定第k个目标对象第i张图片至第(i+c)张图片间的各张图片中的空间位置,以及确定第k个目标对象第第(i+c)张图片至第(i+j+1)张图片间的各张图片中的空间位置。

68、第十一方面,本技术提供一种电子设备,包括:至少一个存储器,用于存储程序;至少一个处理器,用于执行存储器存储的程序;其中,当存储器存储的程序被执行时,处理器用于执行第一方面至第十方面中所提供的任意一方面中所提供的方法。

69、第十二方面,本技术提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行第一方面至第十方面中所提供的任意一方面中所提供的方法。

70、第十三方面,本技术提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行第一方面至第十方面中所提供的任意一方面中所提供的方法。

71、第十四方面,本技术还提供了一种芯片,包括处理器,所述处理器与存储器耦合,用于读取并执行所述存储器中存储的程序指令,以使所述芯片实现上述第一方面至第十方面中所提供的任意一方面中所提供的方法。可以理解的是,上述第十一方面至第十四方面的有益效果可以参见上述第一方面至第十方面中的相关描述,在此不再赘述。

当前第1页1 2 
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!