用于音频的动态母带处理方法及装置与流程

本申请涉及音频处理领域，具体而言，涉及一种用于音频的动态母带处理方法及装置。

背景技术：

母带处理，是指通过均衡器，混音器，分频器，动态范围控制器等基本模块调音工具，调节干声以及干声衍生信号与伴奏的混合。常见的母带处理方式是手动对干声以及干声衍生信号与伴奏混合比例，经过相关处理后对输出幅度进行调节。

发明人发现，手动调节精确度较低，工作量很大。进一步，无法精确地按照伴奏随时间的变化来调节参数。

针对相关技术中母带处理的精确度较低的问题，目前尚未提出有效的解决方案。

技术实现要素：

本申请的主要目的在于提供一种用于音频的动态母带处理方法及装置，以解决母带处理的精确度较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种用于音频的动态母带处理方法。

根据本申请的用于音频的动态母带处理方法包括：确定待处理音频数据的输入音量比例；以及根据所述输入音量比例对所述待处理音频数据按照预设逻辑进行混合，并且在混合过程中控制输出音量范围。

进一步地，确定待处理音频数据的输入音量比例包括：对待处理的干声和湿声进行混合处理的步骤：保持所述干声的音量不变，同时按照预设比例缩小所述湿声的音量大小；其中，所述预设比例是根据所述干声和所述湿声音量在前段时间区间内的比例确定的。

进一步地，确定待处理音频数据的输入音量比例包括：对待处理的回声进行混合处理的步骤：根据伴奏的音量计算出所述回声的缩小量，并且按照所述缩小量缩小回声的音量，以使在所述伴奏的音量大时所述回声的音量小，所述伴奏的音量小时所述回声的音量大。

进一步地，确定待处理音频数据的输入音量比例包括：对待处理的伴奏进行混合处理的步骤：将干声放大至固定音量水平；将所述伴奏放大至比所述固定音量水平低的范围内。

进一步地，根据所述输入音量比例对所述待处理音频数据按照预设逻辑进行混合，并且在混合过程中控制输出音量范围包括：根据随时间变化的所述输入音量比例对所述待处理音频数据按照干声、干声衍生信号以及伴奏的顺序进行混合，且在混合过程中动态控制输出音量范围。

为了实现上述目的，根据本申请的另一方面，提供了一种用于音频的动态母带处理装置。

根据本申请的用于音频的动态母带处理装置包括：确定模块，用于确定待处理音频数据的输入音量比例；以及控制模块，用于根据所述输入音量比例对所述待处理音频数据按照预设逻辑进行混合，并且在混合过程中控制输出音量范围。

进一步地，所述确定模块包括：湿声缩小处理单元，用于保持所述干声的音量不变，同时按照预设比例缩小所述湿声的音量大小；其中，所述预设比例是根据所述干声和所述湿声音量在前段时间区间内的比例确定的。

进一步地，所述确定模块包括：回声缩小处理单元，用于根据伴奏的音量计算出所述回声的缩小量，并且按照所述缩小量缩小回声的音量，以使在所述伴奏的音量大时所述回声的音量小，所述伴奏的音量小时所述回声的音量大。

进一步地，所述确定模块包括：放大单元，用于将干声放大至固定音量水平；伴奏处理单元，用于将所述伴奏放大至比所述固定音量水平低的范围内。

进一步地，所述控制模块包括：动态控制单元，用于根据随时间变化的所述输入音量比例对所述待处理音频数据按照干声、干声衍生信号以及伴奏的顺序进行混合，且在混合过程中动态控制输出音量范围。

在本申请实施例中，采用确定待处理音频数据的输入音量比例的方式，通过根据所述输入音量比例对所述待处理音频数据按照预设逻辑进行混合，并且在混合过程中控制输出音量范围，达到了母带动态处理的目的，从而实现了通过自适应的方式来控制用于母带处理的相关参数完成随时间变化而变化的混合比例技术效果，进而解决了母带处理的精确度较低的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请第一实施例的用于音频的动态母带处理方法流程示意图；

图2是根据本申请第二实施例的用于音频的动态母带处理方法流程示意图；

图3是根据本申请第三实施例的用于音频的动态母带处理方法流程示意图；

图4是根据本申请第四实施例的用于音频的动态母带处理方法流程示意图；

图5是根据本申请第五实施例的用于音频的动态母带处理方法流程示意图；

图6是根据本申请第一实施例的用于音频的动态母带处理装置结构示意图；

图7是根据本申请第二实施例的用于音频的动态母带处理装置结构示意图；

图8是根据本申请第三实施例的用于音频的动态母带处理装置结构示意图；

图9是根据本申请第四实施例的用于音频的动态母带处理装置结构示意图；

图10是根据本申请第五实施例的用于音频的动态母带处理装置结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本申请中的用于音频的动态母带处理方法包括：确定待处理音频数据的输入音量比例；以及根据所述输入音量比例对所述待处理音频数据按照预设逻辑进行混合，并且在混合过程中控制输出音量范围。通过自适应的方式来控制用于母带处理的参数，完成随时间变化的：干声、混响、回声等干声衍生信号与伴奏随时间变化而变化的混合比例，并且保证输出信号的动态范围。

如图1所示，该方法包括如下的步骤s102至步骤s104：

步骤s102，确定待处理音频数据的输入音量比例；

待处理音频数据包括多种，且均是独立的。通常待处理音频数据可以包括：干声、混响、回声以及伴奏。其中，所述干声是指演唱歌曲时录制的人声。所述混响和所述回声属于所述干声的衍生信号。在此步骤中需要在干声、干声衍生信号以及伴奏之间按照不同音量比例进行输入。

需要注意的是，作为母带处理的输入端需要确定哪些待处理音频，并且相互之间的输入音量比例。而在本申请中并不对于具体音量比例进行限定，本领域技术人员能够根据实际使用场景进行选择。

步骤s104，根据所述输入音量比例对所述待处理音频数据按照预设逻辑进行混合，并且在混合过程中控制输出音量范围。

根据输入音量比例对所述待处理音频数据按照预设逻辑进行混合，比如先对人声和湿声进行混合。最后对伴奏进行混合。需要按照预设的处理顺序进行混合。由于所述输入音量比例会随着时间进行变化，故，会随着时间变化调整不同音频数据之间的音量比例。

此外，所述在混合过程中控制输出音量范围作为母带处理的输出指标。

需要注意的是，根据音量比例进行混合时，所述音量比例通过待处理音频数据的相关关系计算得到，具体的计算方式在本申请的实施例中并不进行限定，只要符合音量处理比列的要求即可。

从以上的描述中，可以看出，本申请实现了如下技术效果：

在本申请实施例中，采用确定待处理音频数据的输入音量比例的方式，通过根据所述输入音量比例对所述待处理音频数据按照预设逻辑进行混合，并且在混合过程中控制输出音量范围，达到了母带动态处理的目的，从而实现了通过自适应的方式来控制用于母带处理的相关参数完成随时间变化而变化的混合比例技术效果，进而解决了母带处理的精确度较低的技术问题。

根据本申请实施例，作为本实施例中的优选，如图2所示，确定待处理音频数据的输入音量比例包括：对待处理的干声和湿声进行混合处理的步骤：

步骤s202，保持所述干声的音量不变，同时按照预设比例缩小所述湿声的音量大小；

首先，需要对干声和湿声进行混合处理，其中在进行混合处理时需要调节音量比例。由于对所述干声和所述湿声是实时进行混合处理的，所述预设比例是根据所述干声和所述湿声音量在前段时间区间内的比例确定的，而之后的音量比例可以按照在前段时间区间内确定的音量比例进行计算。所述前段时间区间是指按照时间划分的前几秒区间内干声的音量大小和湿声音量大小确定的。

具体地，对于所述干声和所述湿声的混合时，将所述干声音量维持不变，同时缩小湿声的音量。所述缩小所述湿声的音量的缩小的比例是通过前几秒钟的干声和湿声音量比例确定的，在实时处理时就需要对这几秒之后的湿声使用同样的比例进行缩小。

进一步，确定上述缩小比例的方法是：首先，将所述干声和所述湿声的音量调整一致，然后，根据计算实时混响时使用的控制信号再一次对湿声进行缩小。同时，在此基础上根据别的因素进行适应性微调。其中，使用的控制信号可以是对每句歌词的平均字持续时间经过一个单调非线性映射，数值在小于1大于0的范围内。其中，将所述干声和所述湿声的音量调整一致可以选用归一化处理。

根据本申请实施例，作为本实施例中的优选，如图3所示，确定待处理音频数据的输入音量比例包括：对待处理的回声进行混合处理的步骤：

步骤s302，根据伴奏的音量计算出所述回声的缩小量，并且按照所述缩小量缩小回声的音量，以使在所述伴奏的音量大时所述回声的音量小，所述伴奏的音量小时所述回声的音量大。

其次，需要对上述干声和湿声进行混合处理后得到的结果进行进一步混合处理。所述混合处理是混合回声。根据歌曲的伴奏音量可以计算出回声需要整体缩小的量，然后根据回声需要整体缩小的量缩小回声的音量。

通过上述缩小回声的音量的操作可以使得在所述伴奏的音量大时所述回声的音量小，而所述伴奏的音量小时所述回声的音量大。进而起到混合后音量调节的目的。

具体地，根据所述干声和湿声的混合结果，继续进行混合回声。所述混合回声的主要步骤包括：根据演唱歌曲的伴奏音量计算出回声的整体缩小量，然后缩小回声。其中，缩小量是由伴奏的音量决定。

进一步，先计算伴奏音量，然后根据伴奏音量调整回声音量，最后的调节目标是：伴奏音量大的时候回声音量小，伴奏音量小时回声音量大；并且回声的缩小量较大，使的回声音量达到对于用户而言“可听到，但听不清”的水平。

需要注意的是，上述实施例中仅以回声为例，本领域技术人员还能够根据实际使用场景增加混响，回声，垫唱等干声相关的衍生音频信号进行音量混合处理，在本申请中并不进行限定，主要能够符合混合处理的要求即可。

根据本申请实施例，作为本实施例中的优选，如图4所示，，确定待处理音频数据的输入音量比例包括：对待处理的伴奏进行混合处理的步骤：

步骤s402，将干声放大至固定音量水平；

在通过上述进行回声混合后，还需要混合伴奏。首先，需要将干声即演唱录制时的人声放大至固定音量水平。比如，可以是人声音量大小的预设阈值。即使得上述干声的音量是固定的。

步骤s404，将所述伴奏放大至比所述固定音量水平低的范围内。

然后将所述演唱歌曲的伴奏放大到比上述固定音量还要低的范围内。比如，伴奏放大的比例是比人声音量低2-3分贝的范围。

具体地，是对于伴奏的混合。首先，将干声放大到固定音量水平，然后，将伴奏放大到比干声伴奏水平低2到4db的范围内。

通过上述混合处理操作，不仅可以解决干声过小或过大，整体音色过闷，湿声过大等的问题，还能够根据时间对音量比例进行调节。

根据本申请实施例，作为本实施例中的优选，如图5所示，根据所述输入音量比例对所述待处理音频数据按照预设逻辑进行混合，并且在混合过程中控制输出音量范围包括：

步骤s502，根据随时间变化的所述输入音量比例对所述待处理音频数据按照干声、干声衍生信号以及伴奏的顺序进行混合，且在混合过程中动态控制输出音量范围。为了保证较好的处理效果，在本申请的实施例中采用首先混合干声和湿声，然后再混合回声，最后再混合伴奏的处理顺序。

本申请的实施例中，通过上述操作，可以通过自适应的方式来控制母带处理模块中用到的参数，完成随时间变化的，干声，混响，回声等干声衍生信号与伴奏随时间变化而变化的混合比例，并且保证输出信号的动态范围。

作为本实施例中的优选，本申请实施例中的用于音频的动态母带处理方法，包括：确定待处理音频数据的输入音量比例；以及根据所述输入音量比例对所述待处理音频数据按照预设逻辑进行混合，并且在混合过程中控制输出音量范围。

确定待处理音频数据的输入音量比例包括：对待处理的干声和湿声进行混合处理的步骤：保持所述干声的音量不变，同时按照预设比例缩小所述湿声的音量大小；其中，所述预设比例是根据所述干声和所述湿声音量在前段时间区间内的比例确定的。

确定待处理音频数据的输入音量比例包括：对待处理的回声进行混合处理的步骤：根据伴奏的音量计算出所述回声的缩小量，并且按照所述缩小量缩小回声的音量，以使在所述伴奏的音量大时所述回声的音量小，所述伴奏的音量小时所述回声的音量大。

确定待处理音频数据的输入音量比例包括：对待处理的伴奏进行混合处理的步骤：将干声放大至固定音量水平；将所述伴奏放大至比所述固定音量水平低的范围内。

此外，根据所述输入音量比例对所述待处理音频数据按照预设逻辑进行混合，并且在混合过程中控制输出音量范围包括：根据随时间变化的所述输入音量比例对所述待处理音频数据按照干声、干声衍生信号以及伴奏的顺序进行混合，且在混合过程中动态控制输出音量范围。

本申请的实现原理：

首先，自适应参数可以包括：

(1)计算出伴奏的平均能量、最大幅值、节奏、响度随时间的变化。

(2)计算干声数字信号最大幅值。干声的声音音高信息。

(3)计算原唱歌词持续时长平均值、原唱歌词持续时长随时间的变化，干声衍生信号随时间变化的幅度衰减系数。

其次，通过原唱歌词持续时长平均值、原唱歌词持续时长随时间的变化，干声衍生信号随时间变化的幅度衰减系数来控制混响，回声，垫唱等干声衍生信号随时间变化的幅值，频率成分等。通过自适应参数的预处理，来调节干声与伴奏的比例，在混合器中对干声以及干声衍生信号与伴奏进行混合。再通过自适应参数将混合好的信号分频带的进行峰均比调节，并且保证输出信号的动态范围。

最后，为了保证信号不要超出值域，可以使用一个2次或3次的软截幅器来对数据进行值域保护。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述用于音频的动态母带处理方法的装置，如图6所示，该装置包括：确定模块10，用于确定待处理音频数据的输入音量比例；以及控制模块20，用于根据所述输入音量比例对所述待处理音频数据按照预设逻辑进行混合，并且在混合过程中控制输出音量范围。

本申请实施例的确定模块10中待处理音频数据包括多种，且均是独立的。通常待处理音频数据可以包括：干声、混响、回声以及伴奏。其中，所述干声是指演唱歌曲时录制的人声。所述混响和所述回声属于所述干声的衍生信号。在此步骤中需要在干声、干声衍生信号以及伴奏之间按照不同音量比例进行输入。

需要注意的是，作为母带处理的输入端需要确定哪些待处理音频，并且相互之间的输入音量比例。而在本申请中并不对于具体音量比例进行限定，本领域技术人员能够根据实际使用场景进行选择。

本申请实施例的控制模块20中根据输入音量比例对所述待处理音频数据按照预设逻辑进行混合，比如先对人声和湿声进行混合。最后对伴奏进行混合。需要按照预设的处理顺序进行混合。由于所述输入音量比例会随着时间进行变化，故，会随着时间变化调整不同音频数据之间的音量比例。

此外，所述在混合过程中控制输出音量范围作为母带处理的输出指标。

需要注意的是，根据音量比例进行混合时，所述音量比例通过待处理音频数据的相关关系计算得到，具体的计算方式在本申请的实施例中并不进行限定，只要符合音量处理比列的要求即可。

根据本申请实施例，作为本实施例中的优选，如图7所示，所述确定模块包括：湿声缩小处理单元101，用于保持所述干声的音量不变，同时按照预设比例缩小所述湿声的音量大小；其中，所述预设比例是根据所述干声和所述湿声音量在前段时间区间内的比例确定的。

本申请实施例的湿声缩小处理单元101中首先，需要对干声和湿声进行混合处理，其中在进行混合处理时需要调节音量比例。由于对所述干声和所述湿声是实时进行混合处理的，所述预设比例是根据所述干声和所述湿声音量在前段时间区间内的比例确定的，而之后的音量比例可以按照在前段时间区间内确定的音量比例进行计算。所述前段时间区间是指按照时间划分的前几秒区间内干声的音量大小和湿声音量大小确定的。

具体地，对于所述干声和所述湿声的混合时，将所述干声音量维持不变，同时缩小湿声的音量。所述缩小所述湿声的音量的缩小的比例是通过前几秒钟的干声和湿声音量比例确定的，在实时处理时就需要对这几秒之后的湿声使用同样的比例进行缩小。

进一步，确定上述缩小比例的方法是：首先，将所述干声和所述湿声的音量调整一致，然后，根据计算实时混响时使用的控制信号再一次对湿声进行缩小。同时，在此基础上根据别的因素进行适应性微调。其中，使用的控制信号可以是对每句歌词的平均字持续时间经过一个单调非线性映射，数值在小于1大于0的范围内。其中，将所述干声和所述湿声的音量调整一致可以选用归一化处理。

根据本申请实施例，作为本实施例中的优选，如图8所示，所述确定模块包括：回声缩小处理单元102，用于根据伴奏的音量计算出所述回声的缩小量，并且按照所述缩小量缩小回声的音量，以使在所述伴奏的音量大时所述回声的音量小，所述伴奏的音量小时所述回声的音量大。

本申请实施例的回声缩小处理单元102中需要对上述干声和湿声进行混合处理后得到的结果进行进一步混合处理。所述混合处理是混合回声。根据歌曲的伴奏音量可以计算出回声需要整体缩小的量，然后根据回声需要整体缩小的量缩小回声的音量。

通过上述缩小回声的音量的操作可以使得在所述伴奏的音量大时所述回声的音量小，而所述伴奏的音量小时所述回声的音量大。进而起到混合后音量调节的目的。

具体地，根据所述干声和湿声的混合结果，继续进行混合回声。所述混合回声的主要步骤包括：根据演唱歌曲的伴奏音量计算出回声的整体缩小量，然后缩小回声。其中，缩小量是由伴奏的音量决定。

进一步，先计算伴奏音量，然后根据伴奏音量调整回声音量，最后的调节目标是：伴奏音量大的时候回声音量小，伴奏音量小时回声音量大；并且回声的缩小量较大，使的回声音量达到对于用户而言“可听到，但听不清”的水平。

需要注意的是，上述实施例中仅以回声为例，本领域技术人员还能够根据实际使用场景增加混响，回声，垫唱等干声相关的衍生音频信号进行音量混合处理，在本申请中并不进行限定，主要能够符合混合处理的要求即可。

根据本申请实施例，作为本实施例中的优选，如图9所示，所述确定模块包括放大单元104，用于将干声放大至固定音量水平；伴奏处理单元105，用于将所述伴奏放大至比所述固定音量水平低的范围内。

本申请实施例的放大单元104中在通过上述进行回声混合后，还需要混合伴奏。首先，需要将干声即演唱录制时的人声放大至固定音量水平。比如，可以是人声音量大小的预设阈值。即使得上述干声的音量是固定的。

本申请实施例的伴奏处理单元105中然后将所述演唱歌曲的伴奏放大到比上述固定音量还要低的范围内。比如，伴奏放大的比例是比人声音量低2-3分贝的范围。

具体地，是对于伴奏的混合。首先，将干声放大到固定音量水平，然后，将伴奏放大到比干声伴奏水平低2到4db的范围内。

通过上述混合处理模块，不仅可以解决干声过小或过大，整体音色过闷，湿声过大等的问题，还能够根据时间对音量比例进行调节。

根据本申请实施例，作为本实施例中的优选，如图10所示，所述控制模块包括：动态控制单元201，用于根据随时间变化的所述输入音量比例对所述待处理音频数据按照干声、干声衍生信号以及伴奏的顺序进行混合，且在混合过程中动态控制输出音量范围。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。