基于分布式结构的音频修正方法及装置与流程

本申请涉及修音领域，具体而言，涉及一种基于分布式结构的音频修正方法及装置。

背景技术

随着通信及信息技术的高速发展，音乐功能已经成为计算机或手机等终端中的一项必备应用，在手机上唱歌也变得越来越流行，但由于不同的人对乐感和旋律的感知能力参差不齐，跑调或是节奏跟不上的情况时有发生，严重影响唱歌的心情，为此修音技术由此产生。

相关修音技术中所有关于修音的计算都在客户端(手机)处理；在实施这种修音方法时，发明人发现相关修音技术至少存在以下问题：一、客户端需要处理大量的计算，功耗大、耗电、实时性差；二、不能适应所有的机型，配置比较差的手机不能使用一键修音；针对上述相关修音技术中的问题，发明人提供了一种解决方法。

技术实现要素：

本申请的主要目的在于提供一种基于分布式结构的音频修正方法及装置，以解决相关修音计算都放在终端上导致的修音效率低下的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种基于分布式结构的终端音频修正方法。

根据本申请的基于分布式结构的终端音频修正方法包括：获取第一用户的第一音频信息；根据所述第一音频信息得到第一预估计算量；判断所述第一预估计算量是否超出所述终端的第一自身算力；如果判断所述第一预估计算量超出所述终端的第一自身算力，则向音频修正服务器发送第一分布式计算请求；接收所述音频修正服务器返回的第一计算结果并继续处理音频修正。

进一步的，根据所述第一音频信息，得到第一预估计算量包括：根据所述第一音频信息的音频特征，得到第一音频特征预估计算量；判断所述第一预估计算量是否超出所述终端自身的第一自身算力包括：判断所述第一音频特征预估计算量是否超出所述终端自身的第一自身算力；如果判断所述第一预估计算量超出所述终端自身的第一自身算力，则向音频修正服务器发送第一分布式计算请求包括：如果判断所述第一音频特征预估计算量超出所述终端自身的第一自身算力，则向音频修正服务器发送第一音频特征计算请求。

进一步的，根据所述第一音频信息，得到第一预估计算量包括：根据所述第一音频信息的语音信号，得到第一语音识别预估计算量；判断所述第一预估计算量是否超出所述终端自身的第一自身算力包括：判断所述第一语音识别预估计算量是否超出所述终端自身的第一自身算力；如果判断所述第一预估计算量超出所述终端自身的第一自身算力，则向音频修正服务器发送第一分布式计算请求包括：如果判断所述第一语音识别预估计算量超出所述终端自身的第一自身算力，则向音频修正服务器发送第一语音识别计算请求。

进一步的，根据所述第一音频信息，得到第一预估计算量包括：根据所述第一音频信息与预设标准音频模板比对后得到的第一修音参数，并通过所述第一修音参数，得到第一修音预估计算量；判断所述第一预估计算量是否超出所述终端自身的第一自身算力包括：判断所述第一修音预估计算量是否超出所述终端自身的第一自身算力；如果判断所述第一预估计算量超出所述终端自身的第一自身算力，则向音频修正服务器发送第一分布式计算请求包括：如果判断所述第一修音预估计算量超出所述终端自身的第一自身算力，则向音频修正服务器发送第一修音计算请求。

为了实现上述目的，根据本申请的另一方面，提供了一种基于分布式结构的终端音频修正装置。

根据本申请的基于分布式结构的终端音频修正装置包括：获取单元，用于获取第一用户的第一音频信息；计算单元，用于根据所述第一音频信息，得到第一预估计算量；判断单元，用于判断所述第一预估计算量是否超出所述终端自身的第一自身算力；请求发送单元，用于如果判断所述第一预估计算量超出所述终端自身的第一自身算力，则向音频修正服务器发送第一分布式计算请求；继续修音单元，用于接收所述音频修正服务器返回的第一计算结果并继续处理音频修正。

为了实现上述目的，根据本申请的一个方面，提供了一种基于分布式结构的服务器端音频修正方法。

根据本申请的基于分布式结构的服务器端音频修正方法包括：接收终端发送来的第一分布式计算请求；根据所述第一分布式计算请求，得到第一分布式计算结果；将所述第一分布式计算结果发送至所述终端，以使所述终端根据所述第一分布式计算结果进行预设修音处理。

进一步的，接收终端发送来的第一分布式计算请求包括：接收终端发送来的第一音频特征计算请求；根据所述第一分布式计算请求，得到第一分布式计算结果包括：根据所述第一音频特征计算请求，得到第一音频特征值；将所述第一分布式计算结果发送至所述终端，以使所述终端根据所述第一分布式计算结果进行预设修音处理包括：将所述第一音频特征值发送至所述终端，以使所述终端根据所述第一音频特征值进行预设修音处理。

进一步的，接收终端发送来的第一分布式计算请求包括：接收终端发送来的第一语音识别计算请求；根据所述第一分布式计算请求，得到第一分布式计算结果包括：根据所述第一语音识别计算请求，得到第一语音识别结果；将所述第一语音识别结果与预设标准音频模板进行比对，得到第一修音参数；将所述第一分布式计算结果发送至所述终端，以使所述终端根据所述第一分布式计算结果进行预设修音处理包括：将所述第一修音参数发送至所述终端，以使所述终端根据所述第一修音参数进行预设修音处理。

进一步的，接收终端发送来的第一分布式计算请求包括：接收终端发送来的第一修音计算请求；根据所述第一分布式计算请求，得到第一分布式计算结果包括：根据所述第一修音计算请求，得到修正后的第一音频信息；将所述第一分布式计算结果发送至所述终端，以使所述终端根据所述第一分布式计算结果进行预设修音处理包括：将所述修正后的第一音频信息发送至所述终端，以使所述终端根据修正后的第一音频信息进行展示播放。

为了实现上述目的，根据本申请的另一方面，提供了一种基于分布式结构的服务器端音频修正装置。

根据本申请的基于分布式结构的服务器端音频修正装置包括：接收单元，用于接收终端发送来的第一分布式计算请求；处理单元，用于根据所述第一分布式计算请求，得到第一分布式计算结果；返回结果单元，用于将所述第一分布式计算结果发送至所述终端，以使所述终端根据所述第一分布式计算结果进行预设修音处理。

在本申请实施例中，采用判断预估计算量是否超出终端的自身算力的方式，通过向音频修正服务器发送分布式计算请求，达到了接收音频修正服务器返回的计算结果并继续处理音频修正的目的，从而实现了将运算量合理分配到服务器端的技术效果，进而解决了相关修音计算都放在终端上导致的修音效率低下的问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本发明第一实施例的终端音频修正方法示意图；

图2是根据本发明第二实施例的终端音频修正方法示意图；

图3是根据本发明第三实施例的终端音频修正方法示意图；

图4是根据本发明第四实施例的终端音频修正方法示意图；

图5是根据本发明第一实施例的终端音频修正装置示意图；

图6是根据本发明第五实施例的服务器端音频修正方法示意图；

图7是根据本发明第六实施例的服务器端音频修正方法示意图；

图8是根据本发明第七实施例的服务器端音频修正方法示意图；

图9是根据本发明第八实施例的服务器端音频修正方法示意图；以及

图10是根据本发明第五实施例的服务器端音频修正装置示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，该方法包括如下的步骤s101至步骤s105：

步骤s101，获取第一用户的第一音频信息；

优选的，所述第一音频信息为可以通过移动终端的麦克风获取用户演唱的歌曲音频，该歌曲音频优选为用户演唱的歌曲的干声音频。

具体的，所述移动终端可以为手机、平板电脑等具有录音功能的电子设备。

步骤s102，根据所述第一音频信息得到第一预估计算量；

优选的，对所述第一音频信息进行修音的步骤包括但不限于：录音、提取语音特征、语音识别、识别结果与模版的匹配、变声，具体的，由于各模块之间的数据接口是已经明确被定义了的，因此可以对执行修音的设备进行计算能力评估，所述评估包括但不限于：录音评估、提取语音特征评估、语音识别评估、识别结果与模版的匹配评估、变声评估，具体的，所述第一预估计算量包括但不限于：录音预估计算量、提取语音特征预估计算量、语音识别预估计算量、识别结果与模版的匹配预估计算量、变声预估计算量。

步骤s103，判断所述第一预估计算量是否超出所述终端的第一自身算力；

优选的，用户所使用的移动终端各有不同，因而每台不同型号的终端各自的出厂运算能力也不尽相同，终端cpu处理器性能的强弱是影响计算能力的一个绝对重要因素，计算能力可以在不同架构指令集之间比较，简单说就是每秒执行多少次计算，从几兆赫的单片机到巨大的超算，都可以遵循这个指标，具体的，所述第一自身算力为执行修音的设备的实时剩余计算能力。

步骤s104，如果判断所述第一预估计算量超出所述终端的第一自身算力，则向音频修正服务器发送第一分布式计算请求；

优选的，所述第一分布式计算请求包括但不限于：录音计算请求、提取语音特征计算请求、语音识别计算请求、识别结果与模版的匹配计算请求、变声计算请求等，也可以是其他音频修正的计算步骤。

步骤s105，接收所述音频修正服务器返回的第一计算结果并继续处理音频修正。

优选的，所述音频修正服务器用于根据所述第一分布式计算请求进行对应的修音计算，并将计算结果返回所述终端，以使所述终端完成修音处理。

具体的，所述第一计算结果包括但不限于：录音计算结果、提取语音特征计算结果、语音识别计算结果、识别结果与模版的匹配计算结果、变声计算结果等。

从以上的描述中，可以看出，本发明实现了如下技术效果：

在本申请实施例中，采用判断预估计算量是否超出终端的自身算力的方式，通过向音频修正服务器发送分布式计算请求，达到了接收音频修正服务器返回的计算结果并继续处理音频修正的目的，从而实现了将运算量合理分配到服务器端的技术效果，进而解决了相关修音计算都放在终端上导致的修音效率低下的问题。

根据本申请的实施例，作为实施例中的优选，如图2所示，还包括如下步骤s201至步骤s203：

根据所述第一音频信息，得到第一预估计算量包括：

步骤s201，根据所述第一音频信息的音频特征，得到第一音频特征预估计算量；

优选的，所述第一音频信息中包括音频特征，提取音频特征为音频修正过程中的其中一步，根据所述第一音频信息，得到第一音频特征预估计算量，即进行音频特征提取工作所需要的运算能力。

判断所述第一预估计算量是否超出所述终端自身的第一自身算力包括：

步骤s202，判断所述第一音频特征预估计算量是否超出所述终端自身的第一自身算力；

优选的，判断用户所使用的终端的实时剩余计算能力是否满足进行音频特征提取工作所需要的运算能力。

如果判断所述第一预估计算量超出所述终端自身的第一自身算力，则向音频修正服务器发送第一分布式计算请求包括：

步骤s203，如果判断所述第一音频特征预估计算量超出所述终端自身的第一自身算力，则向音频修正服务器发送第一音频特征计算请求。

优选的，如果判断用户所使用的终端的实时剩余计算能力不能满足进行音频特征提取工作所需要的运算能力，则向音频修正服务器发送第一音频特征计算请求。

根据本申请的实施例，作为实施例中的优选，如图3所示，还包括如下步骤s301至步骤s303：

根据所述第一音频信息，得到第一预估计算量包括：

步骤s301，根据所述第一音频信息的语音信号，得到第一语音识别预估计算量；

优选的，所述第一音频信息中包括语音信号，进行语音识别为音频修正过程中的其中一步，根据所述第一音频信息，得到第一语音信号预估计算量，即进行语音识别工作所需要的运算能力。

判断所述第一预估计算量是否超出所述终端自身的第一自身算力包括：

步骤s302，判断所述第一语音识别预估计算量是否超出所述终端自身的第一自身算力；

优选的，判断用户所使用的终端的实时剩余计算能力是否满足进行语音识别工作所需要的运算能力。

如果判断所述第一预估计算量超出所述终端自身的第一自身算力，则向音频修正服务器发送第一分布式计算请求包括：

步骤s303，如果判断所述第一语音识别预估计算量超出所述终端自身的第一自身算力，则向音频修正服务器发送第一语音识别计算请求。

优选的，如果判断用户所使用的终端的实时剩余计算能力不能满足进行语音识别工作所需要的运算能力，则向音频修正服务器发送第一语音识别计算请求。

根据本申请的实施例，作为实施例中的优选，如图4所示，还包括如下步骤s401至步骤s403：

根据所述第一音频信息，得到第一预估计算量包括：

步骤s401，根据所述第一音频信息与预设标准音频模板比对后得到的第一修音参数，并通过所述第一修音参数，得到第一修音预估计算量；

优选的，将所述第一音频信息与预设标准音频模板进行比对，得到第一修音参数，并通过所述第一修音参数，得到第一修音预估计算量，根据所述第一修音参数进行修音为音频修正过程中的其中一步。

具体的，所述第一修音参数为所述第一音频信息在音高、节奏等方面与所述预设标准音频模板的差值。

判断所述第一预估计算量是否超出所述终端自身的第一自身算力包括：

步骤s402，判断所述第一修音预估计算量是否超出所述终端自身的第一自身算力；

优选的，判断用户所使用的终端的实时剩余计算能力是否满足进行修音工作所需要的运算能力。

如果判断所述第一预估计算量超出所述终端自身的第一自身算力，则向音频修正服务器发送第一分布式计算请求包括：

步骤s403，如果判断所述第一修音预估计算量超出所述终端自身的第一自身算力，则向音频修正服务器发送第一修音计算请求。

优选的，如果判断用户所使用的终端的实时剩余计算能力不能满足进行修音工作所需要的运算能力，则向音频修正服务器发送第一修音计算请求。

根据本发明实施例，提供了一种基于分布式结构的服务器端音频修正方法方法，如图6所示，该方法包括如下的步骤s601至步骤s603：

步骤s601，接收终端发送来的第一分布式计算请求；

优选的，所述音频修正服务器接收终端发送来的第一分布式计算请求，所述第一分布式计算请求包括但不限于：录音计算请求、提取语音特征计算请求、语音识别计算请求、识别结果与模版的匹配计算请求、变声计算请求等，也可以是其他音频修正的计算步骤。

步骤s602，根据所述第一分布式计算请求，得到第一分布式计算结果；

优选的，所述第一计算结果包括但不限于：录音计算结果、提取语音特征计算结果、语音识别计算结果、识别结果与模版的匹配计算结果、变声计算结果等。

步骤s603，将所述第一分布式计算结果发送至所述终端，以使所述终端根据所述第一分布式计算结果进行预设修音处理。

优选的，将所述第一分布式计算结果返回所述终端，以使所述终端能够根据所述第一分布式计算结果进行后续的修音处理操作。

根据本申请的实施例，作为实施例中的优选，如图7所示，还包括如下步骤s701至步骤s703：

接收终端发送来的第一分布式计算请求包括：

步骤s701，接收终端发送来的第一音频特征计算请求；

优选的，所述第一音频信息中包括音频特征，提取音频特征为音频修正过程中的其中一步。

根据所述第一分布式计算请求，得到第一分布式计算结果包括：

步骤s702，根据所述第一音频特征计算请求，得到第一音频特征值；

优选的，根据所述第一音频信息，得到第一音频特征预估计算量，即进行音频特征提取工作所需要的运算能力。

将所述第一分布式计算结果发送至所述终端，以使所述终端根据所述第一分布式计算结果进行预设修音处理包括：

步骤s703，将所述第一音频特征值发送至所述终端，以使所述终端根据所述第一音频特征值进行预设修音处理。

优选的，将所述第一音频特征值返回所述终端，以使所述终端能够根据所述第一音频特征值进行后续的修音处理操作。

根据本申请的实施例，作为实施例中的优选，如图8所示，还包括如下步骤s801至步骤s804：

接收终端发送来的第一分布式计算请求包括：

步骤s801，接收终端发送来的第一语音识别计算请求；

优选的，所述第一音频信息中包括语音信号，根据语音信号进行语音识别为音频修正过程中的其中一步。

根据所述第一分布式计算请求，得到第一分布式计算结果包括：

步骤s802，根据所述第一语音识别计算请求，得到第一语音识别结果；

优选的，对第一音频信息进行语音识别，得到语音识别结果，所述语音识别结果包括但不限：文字信息、音高信息、节奏信息等。

步骤s803，将所述第一语音识别结果与预设标准音频模板进行比对，得到第一修音参数；

优选的，所述第一音频信息都对应有预设标准音频模板，比如，用户的第一音频信息为歌曲《双截棍》的干声信息，则所述预设标准音频模板为由原唱歌手周杰伦录制的录音棚版《双截棍》音频信息，进行比对后，得到第一修音参数，所述第一修音参数为所述第一音频信息在音高、节奏等方面与所述预设标准音频模板的差值。

将所述第一分布式计算结果发送至所述终端，以使所述终端根据所述第一分布式计算结果进行预设修音处理包括：

步骤s804，将所述第一修音参数发送至所述终端，以使所述终端根据所述第一修音参数进行预设修音处理。

优选的，将所述第一修音参数返回所述终端，以使所述终端能够根据所述第一修音参数进行后续的修音处理操作。

根据本申请的实施例，作为实施例中的优选，如图9所示，还包括如下步骤s901至步骤s903：

接收终端发送来的第一分布式计算请求包括：

步骤s901，接收终端发送来的第一修音计算请求；

优选的，将所述第一音频信息与预设标准音频模板进行比对，得到第一修音参数，并通过所述第一修音参数，得到第一修音预估计算量，根据所述第一修音参数进行修音为音频修正过程中的其中一步。

根据所述第一分布式计算请求，得到第一分布式计算结果包括：

步骤s902，根据所述第一修音计算请求，得到修正后的第一音频信息；

优选的，对所述第一音频信息进行修正处理，得到音高、节奏都准确的修正后的所述第一音频信息。

将所述第一分布式计算结果发送至所述终端，以使所述终端根据所述第一分布式计算结果进行预设修音处理包括：

步骤s903，将所述修正后的第一音频信息发送至所述终端，以使所述终端根据修正后的第一音频信息进行展示播放。

优选的，将音高、节奏都准确的修正后的用户干声返回所述终端，以使所述终端根据修正后的用户干声进行展示播放。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本发明实施例，还提供了一种用于实施上述基于分布式结构的终端音频修正方法的装置，如图5所示，该装置包括：获取单元10，用于获取第一用户的第一音频信息，优选的，所述第一音频信息为可以通过移动终端的麦克风获取用户演唱的歌曲音频，该歌曲音频优选为用户演唱的歌曲的干声音频；计算单元20，用于根据所述第一音频信息，得到第一预估计算量，优选的，对所述第一音频信息进行修音的步骤包括但不限于：录音、提取语音特征、语音识别、识别结果与模版的匹配、变声，具体的，由于各模块之间的数据接口是已经明确被定义了的，因此可以对执行修音的设备进行计算能力评估，所述评估包括但不限于：录音评估、提取语音特征评估、语音识别评估、识别结果与模版的匹配评估、变声评估，具体的，所述第一预估计算量包括但不限于：录音预估计算量、提取语音特征预估计算量、语音识别预估计算量、识别结果与模版的匹配预估计算量、变声预估计算量；判断单元30，用于判断所述第一预估计算量是否超出所述终端自身的第一自身算力，优选的，用户所使用的移动终端各有不同，因而每台不同型号的终端各自的出厂运算能力也不尽相同，终端cpu处理器性能的强弱是影响计算能力的一个绝对重要因素，计算能力可以在不同架构指令集之间比较，简单说就是每秒执行多少次计算，从几兆赫的单片机到巨大的超算，都可以遵循这个指标，具体的，所述第一自身算力为执行修音的设备的实时剩余计算能力；请求发送单元40，用于如果判断所述第一预估计算量超出所述终端自身的第一自身算力，则向音频修正服务器发送第一分布式计算请求，优选的，所述第一分布式计算请求包括但不限于：录音计算请求、提取语音特征计算请求、语音识别计算请求、识别结果与模版的匹配计算请求、变声计算请求等，也可以是其他音频修正的计算步骤；继续修音单元50，用于接收所述音频修正服务器返回的第一计算结果并继续处理音频修正，优选的，所述音频修正服务器用于根据所述第一分布式计算请求进行对应的修音计算，并将计算结果返回所述终端，以使所述终端完成修音处理。

根据本发明实施例，还提供了一种用于实施上述基于分布式结构的服务器端音频修正方法的装置，如图10所示，该装置包括：接收单元60，用于接收终端发送来的第一分布式计算请求，优选的，所述音频修正服务器接收终端发送来的第一分布式计算请求，所述第一分布式计算请求包括但不限于：录音计算请求、提取语音特征计算请求、语音识别计算请求、识别结果与模版的匹配计算请求、变声计算请求等，也可以是其他音频修正的计算步骤；处理单元70，用于根据所述第一分布式计算请求，得到第一分布式计算结果，优选的，所述第一计算结果包括但不限于：录音计算结果、提取语音特征计算结果、语音识别计算结果、识别结果与模版的匹配计算结果、变声计算结果等；返回结果单元80，用于将所述第一分布式计算结果发送至所述终端，以使所述终端根据所述第一分布式计算结果进行预设修音处理，优选的，将所述第一分布式计算结果返回所述终端，以使所述终端能够根据所述第一分布式计算结果进行后续的修音处理操作。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。