音乐可视化的方法、装置及系统与流程

文档序号:19425751发布日期:2019-12-17 15:19阅读:1062来源:国知局
技术特征:

1.一种音乐可视化方法,其特征在于,包括:

获取第一音频帧的第一功率谱;

根据所述第一功率谱中各个频点的功率谱数据,确定所述第一功率谱的多个第一频点和第二频点;其中,所述第一频点为满足第一条件的频点,所述第二频点为满足第二条件的频点;

根据所述多个第一频点和第二频点,得到所述第一功率谱的第一频带;

对第二频带做数轴映射得到第一压缩频带,所述第二频带为小于所述第一频带的最小频点的频率范围,所述第一压缩频带在频率轴上的长度小于所述第二频带在频率轴上的长度;

对第三频带做数轴映射得到第二压缩频带,所述第三频带为大于所述第一频带的最大频点的频率范围,所述第二压缩频带在频率轴上的长度小于所述第三频带在频率轴上的长度;

结合所述第一压缩频带、所述第二压缩频带和所述第一频带得到所述第一音频帧的第二功率谱。

2.如权利要求1所述的方法,其特征在于,所述第一条件为所述第一功率谱中的频点的功率谱数据的方差大于第一阈值;所述第二条件为所述第一功率谱中的频点的功率谱数据的方差小于第一阈值;

所述第一频带内的所述第一频点的数目多于所述第二频带和所述第三频带内的所述第一频点的数目;所述第一频带内的所述第二频点的数目少于所述第二频带和所述第三频带内的所述第二频点的数目。

3.如权利要求2所述的方法,其特征在于,所述对第二频带做数轴映射得到第一压缩频带,包括:

将所述第二频带内的所有频点按照对数坐标系进行等间隔划分,得到所述第二频带的多个第一区间,多个所述第一区间内的频点数目按照对数关系依次增加;

根据所述第一区间内的所有频点,得到所述第一区间的代表频点;

根据多个所述第一区间的代表频点得到所述第一压缩频带;

所述对第三频带做数轴映射得到第二压缩频带,包括:

将所述第三频带内的所有频点按照对数坐标系进行等间隔划分,得到所述第三频带的多个第二区间,多个所述第二区间内的频点数目按照对数关系依次增加;

根据所述第二区间内的所有频点,得到所述第二区间的代表频点;

根据多个所述第二区间的代表频点得到所述第二压缩频带。

4.如权利要求1-3任一项所述的方法,其特征在于,所述获取第一音频帧的第一功率谱之前,所述方法还包括:

将目标音频划分为多个音频帧;其中,所述第一音频帧为所述多个音频帧中任意一个音频帧;

对所述第一音频帧的时域信号做频谱估计,得到所述第一音频帧的第三功率谱;

对所述第三功率谱做数轴映射,得到所述第一音频帧的第四功率谱;

对所述第四功率谱做频率计权加权,得到所述第一音频帧的第五功率谱;

对所述第五功率谱做高斯滤波加权,得到所述第一音频帧的第六功率谱;

对所述第六功率谱做时间加权,得到所述第一音频帧的所述第一功率谱。

5.如权利要求4所述的方法,其特征在于,所述对所述第三功率谱做数轴映射,得到所述第一音频帧的第四功率谱,包括:

将所述第三功率谱的所有频点按照对数坐标系进行等间隔划分,得到所述第三功率谱的多个第三区间,多个所述第三区间内的频点数目按照对数关系依次增加;

根据所述第三区间内的所有频点,得到所述第三区间的代表频点;

根据多个所述第三区间的代表频点得到所述第四功率谱的频率轴范围。

6.如权利要求4或5所述的方法,其特征在于,所述对所述第五功率谱做高斯滤波加权,得到所述第一音频帧的第六功率谱,包括:

使用方差为第一方差的高斯滤波函数对所述第五功率谱做滤波加权,得到所述第一音频帧的第七功率谱;

根据所述第五功率谱和所述第七功率谱,得到第一平坦度;

根据所述第一平坦度和所述第一方差得到第二方差;

使用方差为所述第二方差的高斯滤波函数对所述第五功率谱做滤波加权,得到所述第六功率谱。

7.如权利要求1-6任一项所述的方法,其特征在于,所述结合所述第一压缩频带、所述第二压缩频带和所述第一频带得到所述第一音频帧的第二功率谱之后,所述方法还包括:

根据所述第二功率谱的所有频点的功率谱数据,确定所述第二功率谱的第四区间,其中,所述第四区间为功率谱数据在所述第四区间内的频点的数目大于第二阈值的功率谱数值区间;

根据所述第四区间,调整所述第二功率谱中每个频点的功率谱数据。

8.如权利要求7所述的方法,其特征在于,所述根据所述第四区间,调整所述第二功率谱中每个频点的功率谱数据,包括:

比较所述第二功率谱中每个频点的功率谱数据、所述第四区间的最小数值和所述第四区间的最大数值;

在第三频点的功率谱数据大于所述最小数值且小于所述最大数值的情况下,不调整所述第三频点的功率谱数据;其中,所述第三频点为所述第二功率谱中任意一个频点;

在所述第三频点的功率谱数据小于所述最小数值的情况下,调整所述第三频点的功率谱数据为所述最小数值;

在所述第三频点的功率谱数据大于所述最大数值的情况下,调整所述第三频点的功率谱数据为所述最大数值。

9.如权利要求1-6任一项所述的方法,其特征在于,所述结合所述第一压缩频带、所述第二压缩频带和所述第一频带得到所述第一音频帧的第二功率谱之后,所述方法还包括:

根据所述目标音频的响度,对所述第二功率谱做增益补偿。

10.如权利要求9所述的方法,其特征在于,所述根据所述目标音频的响度,对所述第二功率谱做增益补偿,包括:

根据所述目标音频的响度和第一音频帧的响度,使用第一补偿值对所述第一音频帧的所述第二功率谱做增益补偿;

根据所述目标音频的响度和第二音频帧的响度,使用第二补偿值对所述第二音频帧的所述第二功率谱做增益补偿;

其中,所述第二音频帧为所述多个音频帧中任意一个音频帧,所述第一音频帧的响度大于所述第二音频帧的响度,所述第一补偿值小于所述第二补偿值。

11.一种音乐可视化装置,其特征在于,包括:

第一获取单元,用于获取第一音频帧的第一功率谱;

第一确定单元,用于根据所述第一功率谱中各个频点的功率谱数据,确定所述第一功率谱的多个第一频点和第二频点;其中,所述第一频点为满足第一条件的频点,所述第二频点为满足第二条件的频点;

第二确定单元,用于根据所述多个第一频点和第二频点,得到所述第一功率谱的第一频带;

第一映射单元,用于对第二频带做数轴映射得到第一压缩频带,所述第二频带为小于所述第一频带的最小频点的频率范围,所述第一压缩频带在频率轴上的长度小于所述第二频带在频率轴上的长度;

第二映射单元,用于对第三频带做数轴映射得到第二压缩频带,所述第三频带为大于所述第一频带的最大频点的频率范围,所述第二压缩频带在频率轴上的长度小于所述第三频带在频率轴上的长度;

第三确定单元,用于结合所述第一压缩频带、所述第二压缩频带和所述第一频带得到所述第一音频帧的第二功率谱。

12.如权利要求11所述的装置,其特征在于,所述第一条件为所述第一功率谱中的频点的功率谱数据的方差大于第一阈值;所述第二条件为所述第一功率谱中的频点的功率谱数据的方差小于第一阈值;

所述第一频带内的所述第一频点的数目多于所述第二频带和所述第三频带内的所述第一频点的数目;所述第一频带内的所述第二频点的数目少于所述第二频带和所述第三频带内的所述第二频点的数目。

13.如权利要求12所述的装置,其特征在于,所述第一映射单元包括:

第一划分子单元,用于将所述第二频带内的所有频点按照对数坐标系进行等间隔划分,得到所述第二频带的多个第一区间,多个所述第一区间内的频点数目按照对数关系依次增加;

第一确定子单元,用于根据所述第一区间内的所有频点,得到所述第一区间的代表频点;

第二确定子单元,用于根据多个所述第一区间的代表频点得到所述第一压缩频带;

所述第二映射单元包括:

第二划分子单元,用于将所述第三频带内的所有频点按照对数坐标系进行等间隔划分,得到所述第三频带的多个第二区间,多个所述第二区间内的频点数目按照对数关系依次增加;

第三确定子单元,用于根据所述第二区间内的所有频点,得到所述第二区间的代表频点;

第四确定子单元,用于根据多个所述第二区间的代表频点得到所述第二压缩频带。

14.如权利要求11-13任一项所述的装置,其特征在于,所述音乐可视化装置还包括:

分帧单元,用于在所述第一获取单元获取第一音频帧的第一功率谱之前,将目标音频划分为多个音频帧;其中,所述第一音频帧为所述多个音频帧中任意一个音频帧;

第一转换单元,用于对所述第一音频帧的时域信号做频谱估计,得到所述第一音频帧的第三功率谱;

第三映射单元,用于对所述第三功率谱做数轴映射,得到所述第一音频帧的第四功率谱;

第一加权单元,用于对所述第四功率谱做频率计权加权,得到所述第一音频帧的第五功率谱;

第二加权单元,用于对所述第五功率谱做高斯滤波加权,得到所述第一音频帧的第六功率谱;

第三加权单元,用于对所述第六功率谱做时间加权,得到所述第一音频帧的所述第一功率谱。

15.如权利要求14所述的装置,其特征在于,所述第三映射单元包括:

第三划分子单元,用于将所述第三功率谱的所有频点按照对数坐标系进行等间隔划分,得到所述第三功率谱的多个第三区间,多个所述第三区间内的频点数目按照对数关系依次增加;

第五确定子单元,用于根据所述第三区间内的所有频点,得到所述第三区间的代表频点;

第六确定子单元,用于根据多个所述第三区间的代表频点得到所述第四功率谱的频率轴范围。

16.如权利要求14或15所述的装置,其特征在于,所述第二加权单元包括:

第一滤波子单元,用于使用方差为第一方差的高斯滤波函数对所述第五功率谱做滤波加权,得到所述第一音频帧的第七功率谱;

第一计算子单元,用于根据所述第五功率谱和所述第七功率谱,得到第一平坦度;

第二计算子单元,用于根据所述第一平坦度和所述第一方差得到第二方差;

第二滤波子单元,用于使用方差为所述第二方差的高斯滤波函数对所述第五功率谱做滤波加权,得到所述第六功率谱。

17.如权利要求11-16任一项所述的装置,其特征在于,所述音乐可视化装置还包括:

第四确定单元,用于在所述第三确定单元结合所述第一压缩频带、所述第二压缩频带和所述第一频带得到所述第一音频帧的第二功率谱之后,根据所述第二功率谱的所有频点的功率谱数据,确定所述第二功率谱的第四区间,其中,所述第四区间为功率谱数据在所述第四区间内的频点的数目大于第二阈值的功率谱数值区间;

第一调整单元,用于根据所述第四区间,调整所述第二功率谱中每个频点的功率谱数据。

18.如权利要求17所述的装置,其特征在于,所述第一调整单元包括:

第一比较子单元,用于比较所述第二功率谱的每个频点的功率谱数据、所述第四区间的最小数值和所述第四区间的最大数值;

第一调整子单元,用于在第三频点的功率谱数据大于所述最小数值且小于所述最大数值的情况下,不调整所述第三频点的功率谱数据;其中,所述第三频点为所述第二功率谱中任意一个频点;

第二调整子单元,用于在所述第三频点的功率谱数据小于所述最小数值的情况下,调整所述第三频点的功率谱数据为所述最小数值;

第三调整子单元,用于在所述第三频点的功率谱数据大于所述最大数值的情况下,调整所述第三频点的功率谱数据为所述最大数值。

19.如权利要求11-16任一项所述的装置,其特征在于,所述音乐可视化装置还包括:

第一补偿单元,用于在所述第三确定单元结合所述第一压缩频带、所述第二压缩频带和所述第一频带得到所述第一音频帧的第二功率谱之后,根据所述目标音频的响度,对所述第二功率谱做增益补偿。

20.如权利要求19所述的装置,其特征在于,所述第一补偿单元包括:

第一补偿子单元,用于根据所述目标音频的响度和第一音频帧的响度,使用第一补偿值对所述第一音频帧的所述第二功率谱做增益补偿;

第二补偿子单元,用于根据所述目标音频的响度和第二音频帧的响度,使用第二补偿值对所述第二音频帧的所述第二功率谱做增益补偿;

其中,所述第二音频帧为所述多个音频帧中任意一个音频帧,所述第一音频帧的响度大于所述第二音频帧的响度,所述第一补偿值小于所述第二补偿值。

21.一种音乐可视化装置,其特征在于,包括:处理器、存储器及通信接口;

所述处理器与所述存储器、所述通信接口相连,其中所述通信接口用于连接发送目标音频的装置,所述目标音频包含多个音频帧的时域信号;

所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行如权利要求1-10任一项所述的方法。

22.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-10任一项所述的方法。


技术总结
本发明实施例公开了一种音乐可视化方法,该方法包括:获取第一音频帧的第一功率谱;根据第一功率谱中各个频点的功率谱数据,确定第一功率谱的多个第一频点和第二频点;根据多个第一频点和第二频点,得到第一功率谱的第一频带;对第二频带做数轴映射得到第一压缩频带,第二频带为小于第一频带的最小频点的频率范围;对第三频带做数轴映射得到第二压缩频带,第三频带为大于第一频带的最大频点的频率范围;结合第一压缩频带、第二压缩频带和第一频带得到第一音频帧的第二功率谱。采用本发明实施例,可以针对不同音乐的个性化特征,为其量身定做一个有效的功率谱显示窗口,从而使音乐可视化效果更加符合人耳听感。

技术研发人员:闫震海
受保护的技术使用者:腾讯音乐娱乐科技(深圳)有限公司
技术研发日:2019.10.21
技术公布日:2019.12.17
当前第2页1 2 
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!