一种音效处理方法、装置及电子设备与流程

1.本发明涉及智能音效技术领域，具体涉及一种音效处理方法、装置及电子设备。


背景技术：

2.目前的智能音效技术在选择音效的时候，一般使用的是比较简单的规则，如基于歌曲制作方提供的歌曲流派信息为其匹配对应的音效，由于歌曲流派信息非常地笼统，导致智能音效系统基于流派给音乐匹配的音效非常粗糙，甚至可能导致智能音效的实际输出结果并不准确，会给歌曲指定完全不适合的音效，影响音效添加效果。


技术实现要素：

3.因此，本发明要解决的技术问题在于克服现有技术中对歌曲音效分配不准确的缺陷，从而提供一种音效处理方法、装置及电子设备。
4.根据第一方面，本发明实施例公开了一种音效处理方法，包括：获取待处理歌曲对应的用于表征歌曲类型的文本信息；根据所述用于表征歌曲类型的文本信息和待处理歌曲的音频字节数组对待处理歌曲进行风格分类；根据风格分类结果利用预设音效决策方法确定待处理歌曲的风格音效；获取待处理歌曲的音频目标特征；根据所述待处理歌曲的音频目标特征进行音效补偿操作得到待处理歌曲的音频补偿音效；将所述待处理歌曲的属性信息、所述待处理歌曲的补偿音效以及所述待处理歌曲的风格音效进行关联存储。
5.可选地，所述方法还包括：当接收到音效应用请求，响应对待播放歌曲的风格音效和/或补偿音效的添加操作。
6.可选地，所述当接收到音效应用请求，响应对待播放歌曲的风格音效和/或补偿音效的添加操作，包括：当接收到音效应用请求时，根据待播放歌曲的属性信息进行歌曲匹配操作；当匹配到对应的歌曲时，对待播放歌曲的音频和匹配到的歌曲音频进行相似度比对；当相似度大于预设阈值，则对待播放歌曲添加对应的音效。
7.可选地，所述方法还包括：当对待播放歌曲响应音效的添加操作的同时在客户端显示当前添加的音效的标识信息。
8.可选地，所述当匹配到对应的歌曲时，对待播放歌曲的音频和匹配到的歌曲音频进行相似度比对，包括：根据待播放歌曲的音频在目标时长的频率分布得到第一频率分布向量；确定匹配到对应歌曲音频在目标时长内的第二频率分布向量；将第一频率分布向量和第二频率分布向量进行相似度比对。
9.根据第二方面，本发明实施例还公开了一种音效处理装置，包括：第一获取模块，用于获取待处理歌曲对应的用于表征歌曲类型的文本信息；分类模块，用于根据所述用于表征歌曲类型的文本信息和待处理歌曲的音频字节数组对待处理歌曲进行风格分类；第一确定模块，用于根据风格分类结果利用预设音效决策方法确定待处理歌曲的风格音效；第二获取模块，用于获取待处理歌曲的音频目标特征；第二确定模块，用于根据所述待处理歌曲的音频目标特征进行音效补偿操作得到待处理歌曲的音频补偿音效；第一存储模块，用
于将所述待处理歌曲的属性信息、所述待处理歌曲的补偿音效以及所述待处理歌曲的风格音效进行关联存储。
10.可选地，所述装置还包括：第一响应模块，用于当接收到音效应用请求，响应对待播放歌曲的风格音效和/或补偿音效的添加操作。
11.可选地，所述第一响应模块，包括：匹配子模块，用于当接收到音效应用请求时，根据待播放歌曲的属性信息进行歌曲匹配操作；比对子模块，用于当匹配到对应的歌曲时，对待播放歌曲的音频和匹配到的歌曲音频进行相似度比对；应用子模块，用于当相似度大于预设阈值，则对待播放歌曲添加对应的音效。
12.根据第三方面，本发明实施例还公开了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述的音效处理方法的步骤。
13.根据第四方面，本发明实施方式还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一可选实施方式所述的音效处理方法的步骤。
14.本发明技术方案，具有如下优点：
15.本发明提供的音效处理方法/装置，包括：获取待处理歌曲对应的用于表征歌曲类型的文本信息；根据用于表征歌曲类型的文本信息和待处理歌曲的音频字节数组对待处理歌曲进行风格分类；根据风格分类结果利用预设音效决策方法确定待处理歌曲的风格音效；获取待处理歌曲的音频目标特征；根据待处理歌曲的音频目标特征进行音效补偿操作得到待处理歌曲的音频补偿音效；将待处理歌曲的属性信息、待处理歌曲的补偿音效以及所述待处理歌曲的风格音效进行关联存储。本发明的方法，通过待处理歌曲的音频字节数组和表征歌曲类型的文本信息对待处理歌曲进行分类，然后将分类结果通过预设音效决策方法确定待处理音频的风格音效，可以使得歌曲的分类更加丰富，得到的风格音效效果也更好，通过对待处理歌曲的音频目标特征进行音效补偿操作得到待处理歌曲的音频补偿音效，得到的补偿音效应用到待处理歌曲中，可以补偿待处理歌曲本身存在的效果不佳的问题。将待处理歌曲的补偿音效和风格音效进行关联存储，后续在应用音效时可以得到更好的效果，改善了用户体验。
附图说明
16.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明实施例中音效处理方法的一个具体示例的流程图；
18.图2为本发明实施例中音效处理装置的一个具体示例的原理框图；
19.图3为本发明实施例中电子设备的一个具体示例图。
具体实施方式
20.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
22.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
23.此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
24.本发明实施例公开了一种音效处理方法，如图1所示，该方法包括如下步骤：
25.步骤101，获取待处理歌曲对应的用于表征歌曲类型的文本信息。
26.示例性地，待处理歌曲对应的文本信息可以包括但不限于歌词、热门评论、所属歌单等，云端获取待处理歌曲对应的用于表征歌曲类型的文本信息。
27.步骤102，根据所述用于表征歌曲类型的文本信息和待处理歌曲的音频字节数组对待处理歌曲进行风格分类。
28.示例性地，云端将待用于表征歌曲类型的文本信息和歌曲的音频字节数组进行处理确定待处理歌曲的风格分类。具体地，根据将歌曲的音频字节数组输入到卷积神经网络(convolutional neural networks，cnn)中得到的歌曲风格分类和表征歌曲类型的文本信息共同确定待处理歌曲的风格分类，风格分类包括流派分类、情绪分类、乐器分类、bpm分类等，流派分类包括流行、摇滚、古典、布鲁斯等，乐器分类包括钢琴、吉他、鼓、小提琴等，bpm分类包括缓慢、一般节奏、欢快，情绪分类包括激动、快乐、冷静、忧伤等。
29.步骤103，根据风格分类结果利用预设音效决策方法确定待处理歌曲的风格音效。
30.示例性地，预设音效决策方法可以一种通过歌曲的风格分类为其确定对应的音效的方法。具体地，预设音效决策方法包括通过随机森林对待处理歌曲基于各个维度的分类进行音效决策。
31.步骤104，获取待处理歌曲的音频目标特征。示例性地，待处理歌曲的音频目标特征包括歌曲音频的频率分布、混响大小、声场宽度。
32.步骤105，根据所述待处理歌曲的音频目标特征进行音效补偿操作得到待处理歌曲的音频补偿音效。示例性地，根据得到的待处理歌曲的音频目标特征对待处理歌曲的音频进行音效补偿操作，音效补偿操作包括应用增加低频、减少低频、声场展宽并加混响，当歌曲音频人声混响较小并且歌曲声场较窄时进行声场展宽并加混响操作，当歌曲音频的低频能量较少时进行增加低频操作，当歌曲音频低频能量过高时进行减少低频操作，得到待
处理歌曲的音频补偿音效。
33.步骤106，将所述待处理歌曲的属性信息、所述待处理歌曲的补偿音效以及所述待处理歌曲的风格音效进行关联存储。示例性地，待处理歌曲的属性信息包括歌曲音频、歌曲名称、歌手、专辑名称。本技术实施例中，云端最终存储的待处理音频的音效为待处理歌曲的音频补偿音效和对应风格音效的叠加。目前的智能音效系统会对一整首歌应用同一个音效，对于一些不同段之间风格差距巨大的歌曲会导致很差的听感，本具体实施方式通过对歌曲音频本身进行处理并分类，对歌曲分段应用不同音效，更加适应不同段之间风格差异比较大的歌，歌曲播放时应用的音效都是分段的，并且不同段之间的音效可以平滑的切换。
34.本发明提供的音效处理方法，包括：获取待处理歌曲对应的用于表征歌曲类型的文本信息；根据用于表征歌曲类型的文本信息和待处理歌曲的音频字节数组对待处理歌曲进行风格分类；根据风格分类结果利用预设音效决策方法确定待处理歌曲的风格音效；获取待处理歌曲的音频目标特征；根据待处理歌曲的音频目标特征进行音效补偿操作得到待处理歌曲的音频补偿音效；将待处理歌曲的属性信息、待处理歌曲的补偿音效以及待处理歌曲的风格音效进行关联存储。本发明的方法，通过待处理歌曲的音频字节数组和表征歌曲类型的文本信息对待处理歌曲进行分类，然后将分类结果通过预设音效决策方法确定待处理音频的风格音效，可以使得歌曲的分类更加丰富，得到的风格音效效果也更好，通过对待处理歌曲的音频目标特征进行音效补偿操作得到待处理歌曲的音频补偿音效，得到的补偿音效应用到待处理歌曲中，可以补偿待处理歌曲本身存在的效果不佳的问题。将待处理歌曲的补偿音效和风格音效进行关联存储，后续在应用音效时可以得到更好的效果，改善了用户体验。
35.作为本发明一个可选实施方式，所述方法还包括：当接收到音效应用请求，响应对待播放歌曲的风格音效和/或补偿音效的添加操作。
36.示例性地，当接收到客户端发送的音效应用请求时，对待播放歌曲添加对应的音效。具体地，当待播放歌曲命中了云端存储的某首歌曲，则在播放时应用对应的音效，应用的音效都是分段的，并且不同段之间的音效可以平滑的切换。
37.作为本发明一个可选实施方式，所述当接收到音效应用请求，响应对待播放歌曲的风格音效和/或补偿音效的添加操作，包括：当接收到音效应用请求时，根据待播放歌曲的属性信息进行歌曲匹配操作；当匹配到对应的歌曲时，对待播放歌曲的音频和匹配到的歌曲音频进行相似度比对；当相似度大于预设阈值，则对待播放歌曲添加对应的音效。
38.示例性地，当接收到音效应用请求则将待播放歌曲的属性信息和云端存储的歌曲进行匹配，待播放歌曲的属性信息包括歌曲名称、歌手和专辑名称，当匹配到对应的歌曲，将待播放歌曲与匹配到的歌曲进行相似度比对，当相似度大于预设阈值时，给待播放歌曲添加对应的音效，预设阈值是一个通过大量数据计算累计出来的一个经验值。
39.现有技术对歌曲的识别主要依靠歌名、歌手和专辑名，忽略了实际生活中各大音乐平台歌曲音频版本有时候会悄无声息的改变，用户使用usb设备播放音乐时确定歌曲音频版本也十分困难的事实，本具体实施方式可以通过音频对歌曲版本的准确识别，避免音效的误应用。
40.作为本发明一个可选实施方式，所述方法还包括：当对待播放歌曲响应音效的添加操作的同时在客户端显示当前添加的音效的标识信息。
41.示例性地，当待播放歌曲添加了对应的音效时，将前添加的音效的标识信息在客户端显示，当前添加的音效的标识信息包括音效的名称和描述信息。
42.现有智能音效呈现给用户音效结果是一个完全的黑盒，用户对于智能音效实际起到了什么作用无法有一个直观的感知，在客户端显示当前添加的音效的标识信息可以在用户界面显示具体应用的音效和具体描述，用户使用感更好。
43.作为本发明一个可选实施方式，所述当匹配到对应的歌曲时，对待播放歌曲的音频和匹配到的歌曲音频进行相似度比对，包括：根据待播放歌曲的音频在目标时长的频率分布得到第一频率分布向量；确定匹配到对应歌曲音频在目标时长的第二频率分布向量；将第一频率分布向量和第二频率分布向量进行相似度比对。
44.示例性地，将待播放歌曲的音频在目标时长的第一频率分布向量和匹配到的歌曲的音频在目标时长的第一频率分布向量进行比对，进而确定两个歌曲的相似度。
45.具体地，当用户播放某首歌曲时，先使用歌名，歌手和专辑名进行匹配，当有匹配到对应歌曲时，计算待播放歌曲的音频前20秒音频的频率分布的直方图，转化为频率分布向量，并将待播放歌曲音频的前20秒音频的频率分布向量和匹配到的对应歌曲音频的前20秒频率分布向量进行相似度对比，只有相似度大于一定阈值，才对播放的歌曲应用音效，并会在界面上显示出应用音效的具体音效描述。
46.本发明实施例还公开了一种音效处理装置，如图2所示，该装置包括：包括：第一获取模块201，用于获取待处理歌曲对应的用于表征歌曲类型的文本信息；分类模块202，用于根据所述用于表征歌曲类型的文本信息和待处理歌曲的音频字节数组对待处理歌曲进行风格分类；第一确定模块203，用于根据风格分类结果利用预设音效决策方法确定待处理歌曲的风格音效；第二获取模块204，用于获取待处理歌曲的音频目标特征；第二确定模块205，用于根据所述待处理歌曲的音频目标特征进行音效补偿操作得到待处理歌曲的音频补偿音效；第一存储模块206，用于将所述待处理歌曲的属性信息、所述待处理歌曲的补偿音效以及所述待处理歌曲的风格音效进行关联存储。
47.本发明提供的音效处理装置，包括：第一获取模块，用于获取待处理歌曲对应的用于表征歌曲类型的文本信息；分类模块，用于根据用于表征歌曲类型的文本信息和待处理歌曲的音频字节数组对待处理歌曲进行风格分类；第一确定模块，用于根据风格分类结果利用预设音效决策方法确定待处理歌曲的风格音效；第二获取模块，用于获取待处理歌曲的音频目标特征；第二确定模块，用于根据待处理歌曲的音频目标特征进行音效补偿操作得到待处理歌曲的音频补偿音效；第一存储模块，用于将待处理歌曲的属性信息、待处理歌曲的补偿音效以及待处理歌曲的风格音效进行关联存储。本发明的装置，通过待处理歌曲的音频字节数组和表征歌曲类型的文本信息对待处理歌曲进行分类，然后将分类结果通过预设音效决策方法确定待处理音频的风格音效，可以使得歌曲的分类更加丰富，得到的风格音效效果也更好，通过对待处理歌曲的音频目标特征进行音效补偿操作得到待处理歌曲的音频补偿音效，得到的补偿音效应用到待处理歌曲中，可以补偿待处理歌曲本身存在的效果不佳的问题。将待处理歌曲的补偿音效和风格音效进行关联存储，后续在应用音效时可以得到更好的效果，改善了用户体验。
48.作为本发明一个可选实施方式，所述装置还包括：第一响应模块，用于当接收到音效应用请求，响应对待播放歌曲的风格音效和/或补偿音效的添加操作。
49.作为本发明一个可选实施方式，所述第一响应模块，包括：匹配子模块，用于当接收到音效应用请求时，根据待播放歌曲的属性信息进行歌曲匹配操作；比对子模块，用于当匹配到对应的歌曲时，对待播放歌曲的音频和匹配到的歌曲音频进行相似度比对；应用子模块，用于当相似度大于预设阈值，则对待播放歌曲添加对应的音效。
50.作为本发明一个可选实施方式，所述装置还包括：第二响应模块，用于当对待播放歌曲响应音效的添加操作的同时在客户端显示当前添加的音效的标识信息。
51.作为本发明一个可选实施方式，所述比对子模块，包括：第一确定子模块，用于根据待播放歌曲的音频在目标时长的频率分布得到第一频率分布向量；第二确定子模块，用于确定匹配到对应歌曲音频在目标时长的第二频率分布向量；第三确定子模块，用于将第一频率分布向量和第二频率分布向量进行相似度比对。
52.本发明实施例还提供了一种电子设备，如图3所示，该电子设备可以包括处理器401和存储器402，其中处理器401和存储器402可以通过总线或者其他方式连接，图3中以通过总线连接为例。
53.处理器401可以为中央处理器(central processing unit，cpu)。处理器401还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
54.存储器402作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的音效处理方法对应的程序指令/模块。处理器401通过运行存储在存储器402中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的音效处理方法。
55.存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器401所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至处理器401。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
56.所述一个或者多个模块存储在所述存储器402中，当被所述处理器401执行时，执行如图1所示实施例中的音效处理方法。
57.上述电子设备具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
58.本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
59.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明
的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。