音频合成装置及其音频合成的方法
【专利摘要】本发明公开了一种音频合成装置及其音频合成的方法。该音频合成的方法包括：获取用户演唱的第一音频数据和原唱的第二音频数据；根据第一音频数据和第二音频数据获取音调差；判断音调差是否大于预设的阈值；若是，则将第一音频数据和第一音频数据进行合成。通过上述方式，本发明能够掩盖用户在演唱中跑调部分，提高用户的体验效果。
【专利说明】
音频合成装置及其音频合成的方法
技术领域
[0001] 本发明涉及音频技术领域，特别是涉及一种音频合成装置及其音频合成的方法。
【背景技术】
[0002] 目前，用户可以通过具有录音功能的装置进行录制音乐，以使用户能够实现录制 不同的歌曲。
[0003] 在用户录制歌曲视频或者用户在拍摄演唱类的短拍视频时，假设用户的演唱技巧 不好，用户在演唱时会出现跑调，进而导致录制效果差。并且，现有技术的录音装置并未能 够针对跑调进行处理，大大地影响用户的使用效果。
【发明内容】
[0004] 本发明主要解决的技术问题是提供一种液晶显示装置、液晶显示面板及其制作方 法，以解决上述问题。
[0005] 为解决上述技术问题，本发明采用的一个技术方案是:提供一种音频合成的方法， 其应用于音频合成装置，包括：
[0006] 获取用户演唱的第一音频数据和原唱的第二音频数据；
[0007] 根据第一音频数据和第二音频数据获取音调差；
[0008] 判断音调差是否大于预设的阈值；
[0009] 若是，则将第一音频数据和第一音频数据进行合成。
[0010] 其中，获取用户演唱的第一音频数据和原唱的第二音频数据的步骤包括：
[0011] 第一音频数据的旋律和第二音频数据的旋律同步。
[0012] 其中，根据第一音频数据和第二音频数据获取音调差的步骤包括：
[0013] 根据傅立叶变换将第一音频数据转换为第一频谱，并且将第二音频数据转换为第 二频谱；
[0014] 获取第一频谱和第二频谱之间差值的绝对值，并且绝对值作为音调差。
[0015] 其中，将第一音频数据和第一音频数据进行合成的步骤包括：
[0016] 将第一频谱的权重和第二频谱的权重进行对半合成，以形成第三频谱；
[0017] 根据傅立叶逆变换将第三频谱转换为第三音频数据。
[0018] 其中，若音调差小于或等于阈值，则保存第一音频数据。
[0019] 其中，其中方法进一步包括：
[0020] 根据音调差产生提示信息，并将提示信息反馈给用户；提示信息用于提醒用户音 调偏移。
[0021 ]为解决上述技术问题，本发明采用的另一个技术方案是:提供一种音频合成装置， 其包括依次连接的音调差计算器以及转化器，其中：
[0022]音调差计算器获取用户演唱的第一音频数据和原唱的第二音频数据，并根据第一 音频数据和第二音频数据获取音调差；
[0023] 音调差计算器进一步判断音调差是否大于预设的阈值；
[0024] 若是，则转化器将第一音频数据和第一音频数据进行合成。
[0025]其中，音调差计算器根据傅立叶变换将第一音频数据转换为第一频谱，并且将第 二音频数据转换为第二频谱；
[0026] 音调差计算器获取第一频谱和第二频谱之间差值的绝对值，并将绝对值作为音调 差。
[0027] 其中，转化器将第一频谱的权重和第二频谱的权重进行对半合成，以形成第三频 谱。
[0028] 其中，音频合成装置进一步包括与转化器连接的混合器，混合器根据傅立叶逆变 换将第三频谱转换为第三音频数据。
[0029] 本发明的有益效果是：区别于现有技术的情况，本发明获取用户演唱的第一音频 数据和原唱的第二音频数据，根据第一音频数据和第二音频数据获取音调差，并判断音调 差是否大于预设的阈值，若是，则将第一音频数据和第二音频数据进行合成，能够将用户在 演唱中跑调的第一音频数据与原唱的第二音频数据进行合成，进而掩盖用户在演唱中跑调 部分，提高用户的体验效果。
【附图说明】
[0030] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使 用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于 本领域普通技术人员来讲，在不付出创造性劳动的前提下，进一步可以根据这些附图获得 其他的附图。其中：
[0031 ]图1是本发明第一实施例的音频合成的方法的流程图；
[0032] 图2是本发明第一实施例的音频合成装置的结构示意图；
[0033] 图3是应用图2中音频合成装置的交互系统的结构示意图。
【具体实施方式】
[0034]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本 发明中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0035] 请参见图1，图1是本发明第一实施例的音频合成的方法的流程图。本实施例所揭 示的音频合成的方法应用于音频合成装置，该音频合成装置优选为主播客户端或者移动设 备等具有录制功能的设备端。
[0036] 如图1所示，该音频合成的方法包括以下步骤：
[0037] 步骤S11:音频合成装置获取用户演唱的第一音频数据和原唱的第二音频数据；
[0038] 其中，用户在音频合成装置上进行录制歌曲视频或者演唱类的短拍视频时，音频 合成装置向用户提供伴奏，用户在伴奏上进行演唱。音频合成装置获取用户演唱的第一音 频数据。
[0039]音频合成装置进一步获取伴奏所对应原唱的第二音频数据，其中第一音频数据优 选为演唱旋律音调数据，第二音频数据优选为原唱旋律音调数据。
[0040]优选地，第一音频数据的旋律和第二音频数据的旋律同步，即音频合成装置获取 第一音频数据的时间与音频合成装置获取第二音频数据的时间相同，例如音频合成装置每 一秒获取第一音频数据和第二音频数据。
[0041 ]步骤S12:音频合成装置根据第一音频数据和第二音频数据获取音调差；
[0042]其中，第一音频数据和第二音频数据均采用余弦波的方式，音频合成装置根据傅 立叶变换将时域转换为频域，即音频合成装置根据傅立叶变换将第一音频数据转换为第一 频谱，并且将第二音频数据转换为第二频谱。
[0043]傅立叶变换满足以下公式：
[0045] 音频合成装置将第一音频数据代入公式（1)可得第一频谱FKw)，音频合成装置将 第二音频数据代入公式(1)可得第二频谱F 2(w)。
[0046] 音频合成装置进一步获取第一频谱FKw)和第二频谱F2(w)之间差值的绝对值，并 且将该绝对值作为音调差。其中音调差满足以下公式：
[0047] Diff= |Fi(w)-F2(w) (2)
[0048] 音频合成装置将第一频谱FKw)和第二频谱F2(w)代入公式(2)，可以得到音调差 Diff〇
[0049] 音调差Diff的数值越大，表示第一音频数据和第二音频数据偏差越大，即用户演 唱产生走调。
[0050] 步骤S13:音频合成装置判断音调差是否大于预设的阈值；
[0051] 其中，用户在开启音频合成装置时可以根据需要预设阈值。在其他实施例中，音频 合成装置通过出厂预设阈值。
[0052] 步骤S14:若是，则音频合成装置将第一音频数据和第一音频数据进行合成；
[0053]其中，音频合成装置判断到音调差Diff大于预设的阈值，即音频合成装置判断第 一音频数据偏移第二音频数据较大，音频合成装置需要对该第一音频数据和第二音频数据 进行频谱近似，将第二音频数据向第一音频数据靠拢。
[0054]音频合成装置将第一频谱FKw)的权重和第二频谱F2(w)的权重进行对半合成，以 形成第三频谱F3(w)，用于掩盖用户演唱走调的部分。
[0055]音频合成装置根据傅立叶逆变换将合成后的第三频谱F3(w)转换为第三音频数 据，傅立叶逆变换满足以下公式：
[0057]音频合成装置将第三频谱F3(w)代入公式（3)，即可得第三音频数据，该第三音频 数据采用余弦波的方式。
[0058]音频合成装置将第三音频数据与伴奏进行合成，以生成录制的音乐，并保存该录 制的音乐。
[0059]优选地，音频合成装置进一步根据音调差Diff产生提示信息，并将提示信息反馈 给用户。该提示信息用于提醒用户音调偏移，并且对用户进行指正，进而帮助用户进行改 正。
[0060]步骤S15:若音调差小于或等于阈值，则保存第一音频数据。
[0061]其中，音频合成装置判断到音调差Diff小于或等于阈值，则保存第一音频数据，即 音频合成装置将第一音频数据与伴奏进行合成，以生成录制的音乐，并保存该录制的音乐。 [0062]本实施例通过音频合成装置根据第一音频数据和第二音频数据获取音调差Diff; 判断音调差Diff是否大于预设的阈值;若是，则音频合成装置将第一音频数据和第一音频 数据进行合成；能够将用户在演唱中跑调的第一音频数据与原唱的第二音频数据进行合 成，进而掩盖用户在演唱中跑调部分，提高用户的体验效果。此外，音频合成装置进一步根 据音调差Diff产生提示信息，并将提示信息反馈给用户，能够提醒用户音调偏移，并且对用 户进行指正，进而帮助用户进行改正。
[0063]请参见图2,图2是本发明第一实施例的音频合成装置的结构示意图。本实施例所 揭示的音频合成装置在第一实施例所揭示的音频合成的方法的基础上进行描述。
[0064] 如图2所示，本实施例所揭示的音频合成装置包括音调差计算器21、转化器22、混 合器23以及存储器24;音调差计算器21、转化器22以及混合器23依次连接，存储器24分别与 音调差计算器21以及混合器23连接。
[0065] 其中，音调差计算器21获取用户演唱的第一音频数据和原唱的第二音频数据。
[0066] 用户在音频合成装置上进行录制歌曲视频或者演唱类的短拍视频时，音频合成装 置向用户提供伴奏，用户在伴奏上进行演唱。音调差计算器21通过声音采集器（图未视)获 取用户演唱的第一音频数据。
[0067]音调差计算器21进一步从存储器24获取伴奏所对应原唱的第二音频数据，其中第 一音频数据优选为演唱旋律音调数据，第二音频数据优选为原唱旋律音调数据。
[0068] 优选地，第一音频数据的旋律和第二音频数据的旋律同步，即音调差计算器21获 取第一音频数据的时间与音频合成装置获取第二音频数据的时间相同，例如音调差计算器 21每一秒获取第一音频数据和第二音频数据。
[0069] 音调差计算器21进一步根据第一音频数据和第二音频数据获取音调差。其中，第 一音频数据和第二音频数据均采用余弦波的方式，音调差计算器21根据傅立叶变换将时域 转换为频域，即音调差计算器21根据傅立叶变换将第一音频数据转换为第一频谱，并且将 第二音频数据转换为第二频谱。
[0070] 音调差计算器21将第一音频数据代入公式（1)可得第一频谱FKw)，音调差计算器 21将第二音频数据代入公式(1)可得第二频谱F 2(w)。
[0071] 音调差计算器21获取第一频谱FKw)和第二频谱F2(w)之间差值的绝对值，并且将 该绝对值作为音调差。
[0072] 音调差计算器21将第一频谱FKw)和第二频谱F2(w)代入公式(2)，可以得到音调差 Diff〇
[0073] 音调差Diff的数值越大，表示第一音频数据和第二音频数据偏差越大，即用户演 唱产生走调。
[0074] 音调差计算器21进一步判断音调差是否大于预设的阈值;其中，用户在开启音频 合成装置时可以根据需要预设阈值。在其他实施例中，音频合成装置通过出厂预设阈值。
[0075] 若是，则转化器22将第一音频数据和第一音频数据进行合成；
[0076] 其中，音调差计算器21判断到音调差Diff大于预设的阈值，即音调差计算器21判 断第一音频数据偏移第二音频数据较大，并将第一频谱&(?)和第二频谱F2(w)发送给转化 器22。转化器22需要对该第一音频数据和第二音频数据进行频谱近似，将第二音频数据向 第一音频数据靠拢。
[0077] 转化器22将第一频谱FKw)的权重和第二频谱F2(w)的权重进行对半合成，以形成 第三频谱F3(w)，用于掩盖用户演唱走调的部分。
[0078]混合器23从转化器22获取第三频谱F3(w)，并根据傅立叶逆变换将合成后的第三 频谱F3(w)转换为第三音频数据，即混合器23将第三频谱F3(w)代入公式(3)，即可得第三音 频数据，该第三音频数据采用余弦波的方式。
[0079]混合器23进一步将第三音频数据与伴奏进行合成，以生成录制的音乐，并保存该 录制的音乐在存储器24中。
[0080] 优选地，转化器22进一步根据音调差Diff产生提示信息，并将提示信息反馈给用 户。该提示信息用于提醒用户音调偏移，并且对用户进行指正，进而帮助用户进行改正。
[0081] 若音调差计算器21判断到音调差小于或等于阈值，则音调差计算器21判断到将第 一音频数据保存在存储器24中。
[0082]混合器23从存储器24中获取第一音频数据，并将第一音频数据与伴奏进行合成， 以生成录制的音乐，并保存该录制的音乐在存储器24中。
[0083]本实施例所揭示音频合成装置的应用于交互系统，如图3所示，该交互系统包括主 播客户端31、服务器32以及游客客户端33。
[0084]其中，主播客户端31与游客客户端33属于同一频道，频道提供了一个用于实现多 个客户端所构成的团队之间进行交互的环境。其中服务器32分别与主播客户端31和游客客 户端33相连。主播客户端31、服务器32以及游客客户端33可以是智能手机、平板电脑、电子 书阅读器、便携式计算机和台式计算机等等。
[0085]主播客户端31和游客客户端33分别与服务器32通过有线网络或者无线网络相连。
[0086] 服务器32可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一 个云计算服务中心。
[0087] 主播客户端31优选为上述实施例所描述的音频合成装置，当主播在主播客户端31 上进行录制歌曲视频或者演唱类的短拍视频，即主播在主播客户端31进行演唱时，主播客 户端31获取主播演唱的第一音频数据和原唱的第二音频数据，并根据第一音频数据和第二 音频数据获取音调差;主播客户端31判断音调差是否大于预设的阈值;若是，则主播客户端 31将第一音频数据和第一音频数据进行合成;若否，则主播客户端31保存第一音频数据。主 播客户端31通过上述方式完成录制，并将录制的歌曲视频或者短拍视频上传服务器32,月艮 务器32将该歌曲视频或者短拍视频发送至属于同一频道的游客客户端33,游客通过游客客 户端33观看歌曲视频或者短拍视频。由于主播客户端31将主播在演唱中跑调的第一音频数 据与原唱的第二音频数据进行合成，进而掩盖主播在演唱中跑调部分，能够提高游客的体 验效果，进而提尚主播的人气。
[0088] 综上所述，本发明的音频合成装置根据第一音频数据和第二音频数据获取音调差 Diff;判断音调差Diff是否大于预设的阈值;若是，则音频合成装置将第一音频数据和第一 音频数据进行合成;能够将用户在演唱中跑调的第一音频数据与原唱的第二音频数据进行 合成，进而掩盖用户在演唱中跑调部分，提高用户的体验效果。此外，音频合成装置进一步 根据音调差Diff产生提示信息，并将提示信息反馈给用户，能够提醒用户音调偏移，并且对 用户进行指正，进而帮助用户进行改正。
[0089]以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发 明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技 术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1. 一种音频合成的方法，其特征在于，所述方法应用于音频合成装置，所述方法包括： 获取用户演唱的第一音频数据和原唱的第二音频数据； 根据所述第一音频数据和所述第二音频数据获取音调差； 判断所述音调差是否大于预设的阈值； 若是，则将所述第一音频数据和所述第一音频数据进行合成。2. 根据权利要求1所述的方法，其特征在于，所述获取用户演唱的第一音频数据和原唱 的第二音频数据的步骤包括： 所述第一音频数据的旋律和所述第二音频数据的旋律同步。3. 根据权利要求1所述的方法，其特征在于，所述根据所述第一音频数据和所述第二音 频数据获取音调差的步骤包括： 根据傅立叶变换将所述第一音频数据转换为第一频谱，并且将所述第二音频数据转换 为第二频谱； 获取所述第一频谱和所述第二频谱之间差值的绝对值，并且所述绝对值作为所述音调 差。4. 根据权利要求3所述的方法，其特征在于，所述将所述第一音频数据和所述第一音频 数据进行合成的步骤包括： 将所述第一频谱的权重和所述第二频谱的权重进行对半合成，以形成第三频谱； 根据傅立叶逆变换将所述第三频谱转换为第三音频数据。5. 根据权利要求1所述的方法，其特征在于，所述方法进一步包括： 若所述音调差小于或等于所述阈值，则保存所述第一音频数据。6. 根据权利要求1所述的方法，其特征在于，所述方法进一步包括： 根据所述音调差产生提示信息，并将所述提示信息反馈给用户；所述提示信息用于提 醒用户音调偏移。7. -种音频合成装置，其特征在于，所述音频合成装置包括依次连接的音调差计算器 以及转化器，其中： 所述音调差计算器获取用户演唱的第一音频数据和原唱的第二音频数据，并根据所述 第一音频数据和所述第二音频数据获取音调差； 所述音调差计算器进一步判断所述音调差是否大于预设的阈值； 若是，则所述转化器将所述第一音频数据和所述第一音频数据进行合成。8. 根据权利要求7所述的装置，其特征在于，所述音调差计算器根据傅立叶变换将所述 第一音频数据转换为第一频谱，并且将所述第二音频数据转换为第二频谱； 所述音调差计算器获取所述第一频谱和所述第二频谱之间差值的绝对值，并将所述绝 对值作为所述音调差。9. 根据权利要求8所述的装置，其特征在于，所述转化器将所述第一频谱的权重和所述 第二频谱的权重进行对半合成，以形成第三频谱。10. 根据权利要求9所述的装置，其特征在于，所述音频合成装置进一步包括与所述转 化器连接的混合器，所述混合器根据傅立叶逆变换将所述第三频谱转换为第三音频数据。
【文档编号】G10L25/18GK105869621SQ201610345415
【公开日】2016年8月17日
【申请日】2016年5月20日
【发明人】张戈
【申请人】广州华多网络科技有限公司