一种音频可视化实现方法及装置的制作方法

专利名称：一种音频可视化实现方法及装置的制作方法
技术领域：
本发明涉及信号处理领域，尤指一种基于参数模型的音频可视化实现方法 及装置。
背景技术：
音频可视化，在手持多々某体设备和PC版本的播放器中已有较为广泛的应 用。例如Windows Media Player， Winamp等常用的音频播放软件都可以支持 音频可视化功能。音频可视化是指在播放纯音频或音乐播放时，不仅显示歌曲 歌词或者其他音频信息，还会显示丰富的图形信息，例如显示频语轮廓，变 换的几何图形，或者与音乐相关的跳动图形等等等。这些显示一般称为可视化 效果。
目前，音频可视化功能的实现都是基于参数4莫式的。具体而言，现有音频 可视化效果的实现都是基于音频能量变化的，通过音频能量的变化控制对应的 -现频画面的效显示果。
现有技术中的音频可视化效果，其基本实现原理如图l所示。对音频信号 进行FFT变换得到频域信号，对变换得到的频域信号进行频带划分，计算各个 频带的能量，根据得到的各个频带的能量值，调制得到视频生成模型，利用得 到的视频生成模型，生成对应的视频文件并显示。
音乐(音频)作为与人类共通的情感语言，之所以能拨动人的心弦，生物 物理学的解释是声音由耳神经触传到大脑中枢神经中心，/人而产生人与音乐 声响的共鸣和共振，并不断的合上节拍，表现出情感的诉说与付出。因此，音 乐的节拍和能量实质是音乐最重要的两个特征。
本申请发明人发现现有的音频可视化效果都是基于音频能量变化的，没有体现出音频的节拍信息。因此视频画面的变化没能实现与音频信号变化的完美 结合，即没能完全体现音频的特性，未能获得最佳的可视化效果。

发明内容
本发明实施例提供一种音频可视化实现方法及装置，解决了现有技术中音 频可视化未体现音频信号节拍信息的问题，获得了良好的视频可视化效果。
一种音频可视化实现方法，包括
提取音频文件中的音频信号属性信息，所述属性信息至少包括音频信号的 节拍信息；
根据所述属性信息，确定选取的画面产生模型中画面元素的变化参数，生
成与所述音频文件对应的视频模型；
根据所述视频模型生成与所述音频文件对应的视频文件。 本发明的上述方法，所述节拍信息，包括节拍速率和每个所述节拍速率
所对应的时间段；或
所述节拍信息包括规定时间内的节拍数、以及每拍的起始时间或终止时
间；或
所述节拍信息包括节拍速率、每个所述节拍速率所对应的时间段，以及 规定时间内的节拍数、以及每拍的起始时间或终止时间。
本发明的上述方法，根据所述属性信息，确定选取的画面产生模型中画面 元素的变化参数，具体包括 选取画面产生模型；
根据提取到的所述属性信息中包含的节拍信息，确定节拍速率和每个节拍 速率所对应的时间^:;
根据所述节拍速率和对应的时间段，确定所述画面产生模型中包含的画面 元素在每个所述时间段内的变化周期或变化频率。
根据本发明的上述方法，所述属性信息，还包括音频信号的能量信息；所述根据所述属性信息，确定选取的画面产生模型中画面元素的变化参
数，具体包括
选取画面产生模型；
根据提取到的所述属性信息中包含的节拍信息，确定节拍速率和每个节拍 速率所对应的时间段；并根据所述节拍速率和对应的时间段，确定所述画面产
根据提取到的所述能量信息，确定所述画面产生模型中包含的画面元素在
每个变化周期内的变化幅度。
根据本发明的上述方法，所述节拍信息，还包括各节拍点所对应的时刻； 所述根据所述属性信息，确定选取的画面产生模型中画面元素的变化参
数，还包括
根据所述属性信息中包含的节拍信息，确定各节拍点所对应的时刻；以及 确定所述节拍点所对应的时刻为所述画面元素突变的时刻。 本发明的上述方法，还包括
在所述各节拍点所对应的时刻，进行画面产生才莫型的切换。 根据本发明的上述方法，所述画面元素，包括至少一种下列元素和/或至少 两种下列元素的组合点、线、图形、曲线、设定形状的实体。 一种音频可视/f匕实现装置，包括
信息提取才莫块，用于提取音频文件中的音频信号属性信息，所述属性信息 至少包括音频信号的节拍信息；
模型生成模块，用于根据所述属性信息，确定选取的画面产生模型中画面 元素的变化参数，生成与所述音频文件对应的一见频4莫型；
视频生成模块，用于根据所述视频模型生成与所述音频文件对应的视频文件。
根据本发明的上述装置，所述模型生成模块，具体包括 选取单元，用于选取画面产生模型；第一确定单元，用于根据提取到的所述属性信息中包含的节拍信息，确定
节拍速率和每个节拍速率所对应的时间^殳；以及才艮据所述节拍速率和对应的时 间段，确定所述画面产生模型中包含的画面元素在每个所述时间段内的变化周 期或变化频率。
根据本发明的上述方装置，所述信息提取模块提取的所述属性信息，还包 括音频信号的能量信息；
所述模型生成才莫块，还包括
第二确定单元，用于根据提取到的所述能量信息，确定所述画面产生模型 中包含的画面元素在每个变化周期内的变化幅度。
根据本发明的上述装置，所述模型生成才莫块，还包括
变化控制单元，用于根据所述属性信息中包含的节拍信息，确定各节拍点 所对应的时刻；以及确定所述节拍点所对应的时刻为所述画面元素突变的时 刻。
根据本发明的上述装置，所述变化控制单元，还用于 在所述各节拍点所对应的时刻，执行画面产生模型的切换。 本发明实施例提供的音频可视化实现方法及装置，通过提取音频文件中至 少包括音频信号的节拍信息的音频信号属性信息；并才艮据属性信息，确定选取 的画面产生模型中画面元素的变化参数，生成与音频文件对应的视频模型；根 据视频模型生成与音频文件对应的视频文件。使得生成的视频文件能够很好的 反映音频文件的节拍信息，在播放时视频画面变化与语音频节拍变化能够很好 的匹配，获得了良好的视频可视化效果。


图1为现有技术中音频可视化效果的实现原理示意图； 图2为本发明实施例中音频可朝L化实现原理示意图； 图3为本发明实施例中音频可祸/化实现方法的流程图；图4为本发明实施例中音频可视化装置的结构示意图。
具体实施例方式
本发明实施例提供的音频可视化实现方法。其原理如图2所示，通过提取 音频文件中包含的音频信号的属性信息(至少包括对应的节拍信息，还可以包 括音频信号的能量信息)，确定选取的画面产生;f莫型中画面元素的变化参数， 生成与所述音频文件对应的^L频模型，根据生成的一见频才莫型生成与该音频文件 对应的视频文件，并在播;改该音频文件时同步4番;改生成的一见频文件。
本发明实施例提供的音频可视化实现方法，其流程如图3所示，具体执行 步骤如下
步骤S101:提取音频文件对应的音频信号属性信息。其中，音频信号的属 性信息至少包括音频信号节拍信息，还可以包括音频信号能量信息。
根据音频文件(音乐)所具有的节拍特征，可以将音乐分为"劲歌，，"l曼 歌，，等音乐形式。例如快节奏的Disco、 Hip-Hop舞曲音乐就属于"快歌"; 而浪漫的情歌等则属于"慢歌"。上述分类体现了听众对音乐速度(Tempo, — 个专业术语)层面的需求，而真正用来量化描述音乐速度的却是BPM( Beats Per Minute,每分钟的节拍数)，也就是节拍速率。
例如当音乐的规定节拍速率为60BMP时，那么每拍占的时间是每分钟 的60分之一，也就是一秒，(半拍为二分之一秒)，如果规定的节拍速率为 120BMP,那么每一拍占的时间是半秒钟(半拍是l/4秒)，现在是半秒钟打一 拍，前面是一秒钟打一拍，显然后者要比前者快。所以，节拍体现了音乐节奏 的快l曼。
具体而言，节拍信息包括节拍速率以及每个节拍速率所对应的时间段； 或包括规定时间内的节拍数(例如一分钟)或每拍的起始时间或终止时间等各
的时间段等)；或者上述节拍速率和每个节拍速率所对应的时间段，以及规定时间内的节拍数(例如一分钟)或每拍的起始时间或终止时间均包含在节拍信
息中。节拍信息还可以包括各节拍点所对应的时刻。
能量信息可以是音频信号的能量变化情况或音频信号中每个数据帧的能 量大小等各种参数信息。
提取音频文件的能量信息和节拍信息，在现有技术中有很多中实现方式。 例如，现有提取音频信号能量信息的方法可以方便的提取到音频信号每个数据 帧的能量信息以及多个数据帧的能量信息的变化规律等。现有提取节拍信息的 方法，既能分析出音乐的行进速度以及每一拍所出现的时刻，还能够分辨出其 中的强拍和弱拍。例如采用共振器的方法分析出音乐中可能存在的多个节拍 速率和每个节拍速率所出现的时刻，然后结合音乐知识，最终确定出可能的节
拍，并分辨出其中的强拍和弱拍。
需要说明的是节拍信息中包含的各个参数有时候可以相互转化，也就是 说，当提取到某一个节拍参数时，可以通过关系运算得到另一个节拍参数的值。 同理能量信息中包含的各个参数有时候可以相互转化的。
由于音频速率的节拍信息体现了音乐节奏的快慢，因此视频文件要体现音 频文件的节拍信息，需要确定音频文件的节拍速率。
例如对节拍信息的提取，可以直接提取节拍速率；也可以提取规定时间 内的节拍数(如1分钟)或每拍的持续时间，并计算得到节拍速率。当提取 到音频文件的节拍速率为B拍/分钟时，则可以计算得到每拍的持续时间是
60/ 75。
步骤S102:选取画面生成^f莫型。
不同的画面产生模型，所产生的画面也不同。如^^莫拟产生喷泉、火焰、风 暴等抽象效果的画面产生模型都是一些音频可^见化中常用的画面产生模型，除 此之外，画面产生模型中画面的组成元素也可以是点、线、图形、曲线、或者 其他设定形状的实体等等，也可以是上述图形与曲线、点与线等任意两种或多 种的组合。例如三角形、柱状图、波形图等等因此，针对待配置视频的每一个音频文件都需要预先选择一个或多个画面 生成模型，从而确定为该音频文件所配置的一个或多个画面。
特别的，可以选用已有的画面生成才莫型，也可以自行设计画面生成才莫型， 以更好的体现待配置视频的音频文件的风格特征。
通常音频可视化效果的画面产生模型大致可以分为以下几种类别 一是显示跟频语相关性很强的图形，比如柱状图，曲线图或者部分波形图。 二是显示完全随机的内容，每次都不一样，跟音频本身也没有联系。 三是部分参数是随机的，比如颜色，而部分参数是跟音频的频谱相关的，
比如形状或者幅度等等，这样图形可以随着音乐变化，而又不会太单调。
步骤S103:根据提取到的属性信息，确定选取的画面产生模型中画面元素
的变化参数。具体包括下列两种情况
(1) 根据节拍信息确定画面产生^f莫型中画面元素的变化参数。具体为 根据上述提取到的音频信号属性信息中包含的节拍信息，确定节拍速率和
每个节拍速率所对应的时间段。然后再根据节拍速率和对应的时间段，确定画 面产生模型中包含的画面元素在每个时间段内的变化周期或变化频率。
例如视频模型中的画面组成元素按照一定的画面产生模型中规定的运动 变化规律产生画面时，各画面元素的运动速度v必须与音乐节拍速率6 (BMP) 成正比。这样才能达到视觉与听觉的一致性。例如通常所使用的cyclone模 型，就是，旋转线速度v-c。""6。其中，co朋为常数(constant)。
需要说明的是，变化参数也可以包括画面产生模型中各画面元素对应的 2D和/或3D的各种形状变化参数，使得生成的可视化图形具备更多的表现效 果。比如在屏幕上一个到处跳动的小球的跳动方向和速度等。
(2) 根据节拍信息和能量信息确定画面产生模型中画面元素的变化参数。 具体为
根据提取到的音频信号属性信息中包含的节拍信息，确定节拍速率和每个 节拍速率所对应的时间段；并根据节拍速率和对应的时间段，确定画面产生模型中包含的画面元素在每个时间段内的变化周期或变化频率；以及
根据提取到的音频信号能量信息，确定画面产生模型中包含的画面元素在 每个变化周期内的变化幅度。
除了如(1)中所举例说明的画面元素运动速度与节拍速率成正比外，每 个变化周期内画面元素的变化幅度。例如喷泉的的高度变化等等也与音频信 号的能量信息相关，例如与能量的大小成正比，等等。
节拍也是指强拍和弱拍的组合规律。有很多有强有弱的音，在长度相同的 时间内，按照一定的次序反复出现，形成有规律的强弱变化。节拍的"强"与 "弱"变化可以表征各种情感，各种不同风格的乐曲。在强拍处(即能量大的 节拍处)，使变化幅度增大，能够更好的反应音频的风格和情感特征。
特别的，上述根据属性信息，确定选取的画面产生模型中画面元素的变化 参数，除了包括(l)、 (2)中所述的确定画面元素在每个时间段内的变化周期 或变化频率、以及画面元素在每个变化周期内的变化幅度外，还包括在节拍 点处实现画面突变。具体为
根据属性信息中包含的节拍信息，确定各节拍点所对应的时刻；以及确定 节拍点所对应的时刻为画面元素突变的时刻。
音乐视觉效果的节拍跟踪，就是在音乐的节拍点处，画面出现具有视觉冲 击力的变化，在视觉上体现出强拍和弱拍的秩序，在音频的强拍点上，突出视 觉的变化，在音频的弱拍上保持原来的运动方式，在视觉上对强弱进行区分， 从而可以使视频更具有可欣赏性，从而获取更好的视觉效果。
例如通常使用的cyclone模型，通常情况下，每个目标个体(particle) 的运动都是连续的，在强拍点，产生一个位移的突变，这样，整个画面就有了 一种"舞蹈"效果，这样能4艮好的强调出音频的节拍。
除此之外，还包括当一个音频文件对应选择了不止一个视频模型时，在 各节拍点所对应的时刻，进行画面产生模型的切换。
在音乐的节拍点处，更新画面模型以及对应的各种参数信息，重新调制画面产生模型，产生颜色、运动速率、运动方向、变化幅度等不相同的画面。不 仅能降低运算的复杂度，而且使视频显示更好的体现出了音乐的节拍信息。
步骤S104:根据选取的画面产生才莫型和确定出的变化参数，生成与该音频 文件对应的视频模型。
上述步骤S103确定了选取的画面产生模型的各种变化参数后，就可以生 生成对应的视频模型了。视频模型中包含了视频画面的画面元素及其对应的 运动变化规律。如变化幅度、变化周期或变化频率等，还包括切换时间、 突变时间等等。
例如以三角形为画面组成元素(particle ),可S见化效果以cyclone才莫型为 基础演变得到的。Cyclone模型的核心是由6个参考点坐标根据贝塞尔函数得 到一条曲线，N个particles以拟合曲线为中心由曲线底部螺旋上升到曲线顶点， 旋转半径遵循由小(底部)到大(顶部)的变化规律，旋转线速度保持稳定。 在视频模型中，至少要包含该曲线的变化幅度、 一个变化周期的时间长度等， 还可以包括在某些时间点切换成心的变化曲线，以及在某些时间点发生显示形 状的突变等。
步骤S105:根据视频模型生成与音频文件对应的视频文件。
该步骤中实现根据视频模型生成可以使用播放软件播放的视频文件。
在播放音频文件时，同步播放为该音频文件配置的^f见频文件，从而取得良
好的视频可视化效果。
根据本发明实施例的上述音频可4见化实现方法，可以构建一种音频可视/f匕
实现装置，如图4所示，包括信息提取模块ll、模型生成模块12和视频生
成模块13。
信息提取模块ll，用于提取音频文件中的音频信号属性信息，其中，属性 信息至少包括音频信号的节拍信息。
模型生成模块12,用于根据信息提^f莫块ll提取到的属性信息，确定选 取的画面产生模型中画面元素的变化参数，生成与该音频文件对应的视频模型。
较佳的，模型生成模块12，进一步可以包括选取单元121和第一确定单 元122。
选取单元121,用于选取画面产生才莫型。
第一确定单元122,用于根据信息提^Mt块11提取到的属性信息中包含的 节拍信息，确定节拍速率和每个节拍速率所对应的时间段；以及根据确定出的 节拍速率和对应的时间段，确定选取的画面产生才莫型中包含的画面元素在每个 时间段内的变化周期或变化频率。
特别的，信息提^Mt块11提取的属性信息，还包括音频信号的能量信息。
模型生成模块12，进一步还包括第二确定单元123，用于根据信息提取 模块11提取到的能量信息，确定画面产生模型中包含的画面元素在每个变化 周期内的变化幅度。
特别的，模型生成模块12,还包括变化控制单元124,用于根据信息提 取模块11属性信息中包含的节拍信息，确定各节拍点所对应的时刻；以及确 定各节拍点所对应的时刻为画面元素突变的时刻。
变化控制单元124，还用于在所述各节拍点所对应的时刻，执行不同画 面产生模型的切换。
视频生成模块13，用于根据模型生成模块12生成的视频模型生成与该音 频文件对应的一见频文件。
本发明实施例的上述音频可视化实现方法及装置，提取音频文件中的音频 信号属性信息，根据属性信息中包含的节拍信息，确定选取的画面产生it型中 画面元素的变化参数，生成与音频文件对应的3见频模型；并根据视频模型生成 与音频文件对应的4见频文件。使得生成的视频文件能够4艮好的反映音频文件的 节拍信息，在播放时视频画面变化与语音频节拍变化能够很好的匹配，获得了 良好的一见频可视/f匕效果。以及根据根据属性信息中包含的节拍信息和能量信息，共同确定选取的画 面产生才莫型中画面元素的变4匕参数，利用#见频画面的画面组成元素的运动速
度，运动轨迹，元素形状，及元素数量等各种参^:的变化体现音频能量信息和 节拍信息的改变，从而使声音的美学在物理层面变的可见。其中，画面组成元 素的运动速度，运动轨迹，形状变化和元素数目都是基于一定的参数才莫型的， 利用音频的能量信息和节拍信息作为参数，去调制画面产生模型，从而产生出 各种随音频能量和节拍变化而变化的音乐视觉效果。使得生成的视频文件能够 更好的反映音频信号的特征，在播放时视频画面变化与语音频特征变化的更完 美的匹配，获得了更好好的视频可视化效果。
以上所述，仅为本发明较佳的具体实施方式
，但本发明的保护范围并不局 限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易 想到的变化、替换或应用到其他类似的装置，都应涵盖在本发明的保护范围之 内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
权利要求
1、一种音频可视化实现方法，其特征在于，包括提取音频文件中的音频信号属性信息，所述属性信息至少包括音频信号的节拍信息；根据所述属性信息，确定选取的画面产生模型中画面元素的变化参数，生成与所述音频文件对应的视频模型；根据所述视频模型生成与所述音频文件对应的视频文件。
2、 如权利要求1所述的方法，其特征在于，所述节拍信息，包括节拍 速率和每个所述节拍速率所对应的时间段；或所述节拍信息包括规定时间内的节拍数、以及每拍的起始时间或终止时 间；或所述节拍信息包括节拍速率、每个所述节拍速率所对应的时间段，以及 规定时间内的节拍数、以及每拍的起始时间或终止时间。
3、 如权利要求2所述的方法，其特征在于，根据所述属性信息，确定选 取的画面产生模型中画面元素的变化参数，具体包括选取画面产生模型；根据提取到的所述属性信息中包含的节拍信息，确定节拍速率和每个节拍 速率所对应的时间_度；根据所述节拍速率和对应的时间段，确定所述画面产生模型中包含的画面 元素在每个所述时间_险内的变化周期或变化频率。
4、 如权利要求2所述的方法，其特征在于，所述属性信息，还包括音 频信号的能量信息；所述根据所述属性信息，确定选取的画面产生模型中画面元素的变化参 数，具体包括选取画面产生模型；根据提取到的所述属性信息中包含的节拍信息，确定节拍速率和每个节拍速率所对应的时间段；并根据所述节拍速率和对应的时间段，确定所述画面产根据提取到的所述能量信息，确定所述画面产生模型中包含的画面元素在 每个变化周期内的变化幅度。
5、 如权利要求3或4所述的方法，其特征在于，所述节拍信息，还包括 各节拍点所对应的时刻；所述根据所述属性信息，确定选取的画面产生模型中画面元素的变化参 数，还包括根据所述属性信息中包含的节拍信息，确定各节拍点所对应的时刻；以及 确定所述节拍点所对应的时刻为所述画面元素突变的时刻。
6、 如权利要求5所述的方法，其特征在于，还包括 在所述各节拍点所对应的时刻，进行画面产生模型的切换。
7、 如权利要求1-4任一所述的方法，其特征在于，所述画面元素，包括 至少一种下列元素和/或至少两种下列元素的组合点、线、图形、曲线、设定 形状的实体。
8、 一种音频可视化实现装置，其特征在于，包括信息提取模块，用于提取音频文件中的音频信号属性信息，所述属性信息 至少包括音频信号的节拍信息；模型生成模块，用于根据所述属性信息，确定选取的画面产生模型中画面 元素的变化参数，生成与所述音频文件对应的^1J^莫型；视频生成模块，用于根据所述视频模型生成与所述音频文件对应的视频文件。
9、 如权利要求8所述的装置，其特征在于，所述模型生成模块，具体包括选取单元，用于选取画面产生模型；第一确定单元，用于根据提取到的所述属性信息中包含的节拍信息，确定节拍速率和每个节拍速率所对应的时间段；以及根据所述节拍速率和对应的时 间段，确定所述画面产生模型中包含的画面元素在每个所述时间段内的变化周 期或变化频率。
10、 如权利要求9所述的装置，其特征在于，所述信息提取模块提取的所 述属性信息，还包括音频信号的能量信息；所述模型生成模块，还包括第二确定单元，用于根据提取到的所述能量信息，确定所述画面产生模型 中包含的画面元素在每个变化周期内的变化幅度。
11、 如权利要求9或10所述的装置，其特征在于，所述模型生成模块， 还包括变化控制单元，用于根据所述属性信息中包含的节拍信息，确定各节拍点 所对应的时刻；以及确定所述节拍点所对应的时刻为所述画面元素突变的时 刻。
12、 如权利要求11所述的装置，其特征在于，所述变化控制单元，还用于在所述各节拍点所对应的时刻，执行画面产生模型的切换。
全文摘要
本发明公开了一种音频可视化实现方法，该方法包括提取音频文件中的音频信号属性信息，所述属性信息至少包括音频信号的节拍信息；根据所述属性信息，确定选取的画面产生模型中画面元素的变化参数，生成与所述音频文件对应的视频模型；根据所述视频模型生成与所述音频文件对应的视频文件。上述方法所生成的视频文件能够很好的反映音频文件的节拍信息，获得了良好的视频可视化效果。
文档编号G10L15/00GK101577114SQ20091008669
公开日2009年11月11日 申请日期2009年6月18日 优先权日2009年6月18日
发明者磊 徐, 王箫程 申请人:北京中星微电子有限公司