一种根据音频音乐生成动画的方法和系统的制作方法

专利名称：一种根据音频音乐生成动画的方法和系统的制作方法
技术领域：
本发明涉及音乐数据处理技术领域，特别是涉及一种根据音频音乐生成动画的方 法和系统。
背景技术：
随着生活水平的提高，人们对于音乐的欣赏已经渐渐进入日常生活中，成为休闲 娱乐的重要方式。通常，人们播放音乐只是满足听觉上的享受，但是用眼睛感受音乐表达的 信息，却有待于人们开发和研究。常见的一种方法是使组成音乐的不同结构元素与不同的颜色相对应，将音乐的变 化转变为颜色的变化，根据不同颜色代表的音乐属性，通过颜色种类的变化和颜色的深浅 变化，反映出音乐的表现内容，例如欢快还是忧郁，舒缓还是激烈。还有一种方法，是将音乐 与颜色和几何图像相结合，随着音乐的播放，产生颜色的变化以及几何图像的变形和重组， 该方法增加了几何图形的变化，比起单独的颜色变化，增加了表现方式，比较直观，用户可 以根据图形的变化样式和的快慢，获得音乐表现内容。上述方法仅得到音乐表达的风格和 节奏等，表现内容单调，无法将音乐中的人物、场景、动作等内容表达出来，缺乏表现力。通常人们将音乐中的内容通过动画的形式表现出来，传统的根据音频音乐制作成 动画的过程需要运用一些动画处理软件，如Flash MX，该过程需要对人物、背景、动作等进 行一系列的设计，然后绘制相应内容的矢量图形，最后将各种图形进一步组合生成动画。由 人工对动画进行设计制作的过程复杂，并且需要手动操作处理。因此，目前需要本领域技术人员解决的问题就是怎样自动的将音频音乐生成为 内容丰富、与音乐表达的内容相对应的可视信息。

发明内容
本发明所要解决的技术问题是提供一种根据音频音乐生成动画的方法和系统， 自动的将音频音乐生成为内容丰富、与音乐表达的内容相对应的可视信息。为了解决上述问题，本发明公开了一种根据音频音乐生成动画的方法，包括对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频；依据所述各个音频的频率特性获得各个音轨，并组合生成MIDI文件；对MIDI文件进行音乐结构的分析，获得音乐分析结果以及音乐的时间属性；根据预置的动画素材库和上述音乐分析结果通过预置规则或者用户输入的参数 构建各个动画元素及其对应关系；根据所述时间属性将各个动画元素及其对应关系组合成动画。优选的，所述对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频，具体 包括通过在预设频率段中提取打击乐器的频率获得节奏音频；通过过滤音频音乐中的节奏音频获得伴奏音频。
4
优选的，当音频音乐中有人声信息时，所述对音频音乐的预设频率段进行分析还 包括通过在预设频率段中提取人声的频率获得旋律音频；则所述伴奏音频通过过滤音频 音乐中的节奏音频和旋律音频得到。优选的，所述依据所述获得的各个音频的频率特性获得各个音轨包括通过对节奏音频中频率的振幅和周期的分析，生成节奏轨；将旋律音频与预设的音符频率进行匹配，生成旋律轨；将伴奏音频与预设的音符频率进行匹配，生成伴奏轨。优选的，所述音乐结构的分析包括音符分析、音节分析、乐句分析、乐段分析、音 轨分析中的一个或多个。优选的，当所述音频音乐中有歌词时，所述方法还包括进行歌词信息的分析，获 得歌词分析结果；将所述歌词分析结果引入到各个动画元素及其对应关系的构建中。优选的，所述歌词信息的分析包括词元分析、语法分析、语句分析、段落分析、章 节分析中的一个或多个。优选的，所述构建各个动画元素及其对应关系具体包括根据所述动画素材库，通过音符分析、音节分析和词元分析中的一个或者多个组 合构建包括角色、行为、子场景的动画元素，通过语法分析构建上述各个动画元素的对应关 系；根据所述动画素材库，通过乐句分析、乐段分析、音轨分析和语句分析、段落分析、章节 分析中的一个或者多个组合构建由相应的子场景组成的总场景。优选的，所述将各个动画元素及其对应关系组合成动画具体包括在所述总场景 中加入相应的角色、行为并进行整体合成；根据所述时间属性设定各个动画元素出现的时 间，使动画与音乐的播放时间同步。优选的，所述将各个动画元素及其对应关系组合成动画具体还包括设定视角转 变路径，将各个动画元素之间的视角转变进行衔接。此外，本发明还公开了一种根据音频音乐生成动画的系统，所述系统包括音频提取模块，用于对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音 频；MIDI生成模块，用于依据所述各个音频的频率特性获得各个音轨，并组合生成 MIDI文件；音乐分析模块，用于对MIDI文件进行音乐结构分析，获得音乐分析结果以及音乐 的时间属性；元素构建模块，用于根据预置的动画素材库和上述音乐分析结果通过预置规则或 者用户输入的参数构建各个动画元素及其对应关系；动画合成模块，用于根据所述时间属性将各个动画元素及其对应关系组合成动 画。优选的，所述音频提取模块包括节奏提取子模块，用于通过在预设频率段中提取打击乐器的频率获得节奏音 频；伴奏提取子模块，用于通过过滤音频音乐中的节奏音频获得伴奏音频。优选的，所述音频提取模块还包括
旋律提取子模块，用于当音频音乐中有人声信息时，通过在预设频率段中提取人 声的频率获得旋律音频；则所述伴奏提取子模块通过过滤音频音乐中的节奏音频和旋律音频获得伴奏音 频。优选的，所述MIDI生成模块包括节奏轨生成子模块，用于通过对节奏音频中频率的振幅和周期的分析，生成节奏 轨；旋律轨生成子模块，用于将旋律音频与预设的音符频率进行匹配，生成旋律轨；伴奏轨生成子模块，用于将伴奏音频与预设的音符频率进行匹配，生成伴奏轨。优选的，所述系统还包括歌词分析模块，用于当所述音频音乐中有歌词时，进行歌词信息的分析，获得歌词 分析结果；则歌词分析模块将获得的歌词分析结果输入到元素构建模块中，元素构建模块根 据预置的动画素材库、音乐分析结果和所述歌词分析结果进行各个动画元素及其对应关系 的构建。优选的，所述元素构建模块包括子元素构建子模块，用于根据所述动画素材库，通过音符分析、音节分析和词元分 析中的一个或者多个组合构建包括角色、行为、子场景的动画元素，通过语法分析构建上述 各个动画元素的对应关系；总场景构建子模块，用于根据所述动画素材库，通过乐句分析、乐段分析、音轨分 析和语句分析、段落分析、章节分析中的一个或者多个组合构建由相应的子场景组成的总 场景。优选的，所述动画合成模块包括元素整合子模块，用于在所述总场景中加入相应的角色、行为并进行整体合成；时间同步子模块，用于根据所述时间属性设定各个动画元素出现的时间，使动画 与音乐的播放时间同步。优选的，所述动画合成模块还包括视角转变子模块，用于设定视角转变路径，将 各个动画元素之间的视角转变进行衔接。与现有技术相比，本发明具有以下优点本发明通过对音频音乐的频率进行分析，获得MIDI文件，然后对MIDI文件进行音 乐属性的分析，通过预置规则或者用户输入的参数从动画素材库中选取各个动画元素及其 对应关系，最后将各个动画元素及其对应关系组合成动画。本发明适用于各种音频音乐，如 MP3、WAV等，根据频率特性的分析得到有关节奏、旋律、伴奏等MIDI信息，然后与动画元素 相联系，对于没有歌词的音乐，通过系统定义或者用户设置生成相应的动画，最终形成音乐 电视(MV，Music Television)动画，实现动画与音乐的视听绑定，满足听觉与视觉同时享 受、相互统一的需求。此外，对于有歌词的音乐，通过歌词分析构建动画元素及其关系，生成 的动画能够表达出歌词的内容，表现形式丰富，与音乐的表现更为贴切。总之，本发明将音频音乐生成与音乐相匹配的动画，实现了视听绑定，提高了用户 的体验度，增加了音乐的娱乐性。


图1是本发明一种根据音频音乐生成动画的方法实施例的流程图；图2是本发明一种将音频音乐生成动画的方法优选实施例的流程图；图3是本发明一种根据音频音乐生成动画的系统实施例的示意图。
具体实施例方式为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实 施方式对本发明作进一步详细的说明。参照图1，示出了本发明一种根据音频音乐生成动画的方法实施例的流程图，包 括步骤101，对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频；音频音乐包含不同的频率成分，除去特定范围的频率或减低特定范围频率的幅 值，可实现滤波效果，即只分析某些特定的频率段，过滤其它频率的音频，得到特定音乐元
素的音频信息。音乐中的节奏信息由打击乐器表现出来，打击乐器的发声在一定的频率范围内， 因此通过对打击乐器的预设频率段进行提取，可以得到节奏音频。此外，由于节奏具有一定 的规律性，因此还可以对预设频率在音频音乐中的出现的规律进行分析，得到节奏音频。一般来说，200Hz 240Hz为手鼓的共鸣声频；2KHz影响小军鼓(响弦鼓)的力度 (响度)，5KHz是小军鼓的响弦音频(泛音区)；60Hz IOOHz为低音鼓的低音力度频率， 2. 5KHz是低音鼓的敲击声频率，SKHz是低音鼓的鼓皮泛音频率。例如可以利用带通滤波器 (band-pass filter)对上述频率进行提取，带通滤波器是一个允许特定频段的波通过同时 屏蔽其他频段的设备，一个理想的带通滤波器应该有平稳的通带(band pass，即允许通过 的频带)，同时限制所有通带外频率的波通过。因此，通过对预设频率中打击乐频率的提取 就可以得到节奏音频。进一步，通过过滤音频音乐中的节奏音频获得伴奏音频。一般可以利用带阻滤波 器，对节奏音频进行过滤。带阻滤波器是指能通过大多数频率分量，但将某些范围的频率分 量衰减到极低水平的滤波器，与带通滤波器的概念相对。则通过带阻滤波器减弱或者消除 上节奏音频的特定频率段，即可以得到伴奏音频。优选的，当音频音乐中有人声信息时，所述对音频音乐的预设频率段进行分析还 包括通过提取人声的频率获得旋律音频；则所述伴奏音频通过过滤音频音乐中的节奏音 频和旋律音频得到。通常，童声高音频率范围为260Hz 880Hz，低音频率范围为196Hz 700Hz，女声 高音频率范围为220Hz 1. ΙΚΗζ，低音频率范围为200Hz 700KHz，男声高音频率范围为 160Hz 523Hz，低音频率范围为80Hz 358Hz。利用人声的一些频率特征，通过滤波器可 以得到人声的音频信息，由于人声是演唱者对主旋律的表现方式，因此，所述人声的音频信 息作为音乐的旋律音频。步骤102，依据所述各个音频的频率特性获得各个音轨，并组合生成MIDI文件；通过对节奏音频中频率的振幅和周期的分析，生成节奏轨。对于提取到的节奏音
7频，分析某一特定频率值在时间轴上振幅规律，得到节奏信息。例如对于鼓的某一频率，其 振幅在时间轴上呈周期性的变化，例如设其振幅的最高值为F，则分析其振幅为80% F以上 的频率值在时间轴上的位置，若出现的位置在tl、t2、t3 —直到t20，且tl、t2、t3直到t20 之间有周期性规律的变化，则可以判断tl、t2、t3直到t20时刻为对应打击乐器的节奏信 息。根据分析得出的节奏信息生成节奏音轨。以下给出了在不同音乐中节奏的规律华尔兹XXX I XXX I......伦巴XXXU^Ji Ixxxliu I......探戈Χ.Χ_χ χ XXX χ χ ι X.jC χ χ XXX χ χ......此外，生成的节奏轨中节奏的变化规律还反映了音节信息(一个周期性变化的节 奏与一个音节相对应)以及音乐的速度属性。优选的，将旋律音频与预设的音符频率进行匹配，生成旋律轨；将伴奏音频与预设 的音符频率进行匹配，生成伴奏轨。音乐是由是各种频率的音符组成的。在物理上，声音的形成是因为力学系统中的 震动所造成的，因此我们通常用赫兹来测量频率大小，每秒震动一次即为一赫兹。通常在一 个八度中(也就是在某一频率至该频率的两倍之间)我们只使用十二个特定频率的音符。 这些固定频率之间彼此有数学关系，而最基本的音符则为Α4。目前该音符的标准音高为 440赫兹，不过在实际使用上可能会略有差异。按照惯例，音名包含了一个字母、变音记号以及一个用来代表在第几八度的数字。 所有的音符都可以用中央Α(Α4)的整数倍来代表。我们可以把这个距离记为‘η’。若一个 音符高于Α4，则‘η’为正；反之则为负。因此，音符的频率(记为f，以赫兹表示)可记为f = 2n/12X440Hz如音符C5，最接近A4且高于A4的C音，其距离A4有三个半音的距离 (A4 — A#4 — B4 — C5)且高于A4，所以C5的η值为+3。由此可知音符的频率为f = 23/12X440Hz ^ 523. 2511Hz另外，若音符低于A4则η为负。例如F4，其低于Α4且相差四个半音(Α4 — A b 4 —G4 —G b4 —F4)，因此η值为-4。因此得到此音符的频率为f = 1 染 X 440Hz ^ 349. 2290Hz由上述方法得到的与各个音符对应的频率作为预设的音符频率，可以生成一个音 符与频率的映射表。则对于旋律音频或者伴奏音频，通过音符与频率的映射表，使音频信息 与预设的音符频率进行匹配，即可得到各个时刻的音符，而音符是组成音乐的最小单位，因 此根据音符生成旋律轨或者伴奏轨。最后由节奏轨、伴奏轨(有人声信息时还对应加入旋律轨)，进行组合生成一个 MIDI文件。步骤103 JiMIDI文件进行音乐结构的分析，获得音乐分析结果以及音乐的时间 属性；所述MIDI文件作为一个完整的音乐，音乐结构的最小单位是音符，由音符组成音 节，音节组成乐句，乐句再组成乐段，各个乐段组成旋律轨、伴奏轨，由各个音轨组成一首完整的音乐。相应的，音乐结构的分析包括音符分析、音节分析、乐句分析、乐段分析、音轨分 析。对于音符分析是确定各个音符在整个MIDI音乐中出现的时间，使音符与时间相 对应，得到音乐的时间属性。音节的分析是分析每一小节音节所包含的音符，根据音符确定 音节所属的和弦结构。对于乐句的分析是分析符合和弦规律的音节组成。对于乐段的分 析是分析符合和弦规律的乐句的组成，从而确定和弦随着音乐的变化情况，进一步得到音 乐的稳定程度的变化。一般来说，I和弦与VI和弦稳定，II和弦与IV和弦比较稳定，V和 弦与III和弦不稳定。对于音轨的分析，是分析旋律轨、伴奏轨和节奏轨的长短、高低、强弱 的音符以及速度，得到音乐的表现风格，例如是舒缓还是欢快。步骤104，根据预置的动画素材库和上述音乐分析结果通过预置规则或者用户输 入的参数构建各个动画元素及其对应关系；预置的动画素材库中存储有大量的图形素材，例如标准人图形库、演唱乐队图形 库、各类动物图形库、背景图形库、文字图形库等。根据步骤103的音乐分析结果和预置的 动画素材库构建各个动画元素及其对应关系，可以按照系统预置的规则，也可以按照用户 输入的参数。例如，根据音乐的分析，判断该音乐为交响乐演奏，则按照系统预置的规则，从动 画素材库中选择演奏乐团图形、指挥家图形、鼓手图形、小号手图形等角色构建角色列表； 同时，选择具有演奏大厅的图形构建场景列表；并且确定各个角色相应的动作构建行为动 作列表，如指挥动作、敲鼓动作、吹奏动作等。可以按照系统预置的规则将上述音乐分析结 果中和弦的变化与背景颜色变化相对应，例如对于稳定的I和弦赋予黄色的舞台背景；对 于不稳定的V和弦赋予红色的舞台背景等。还可以根据用户输入的参数进行设置，如按照 演奏乐队的规模、演奏大厅的背景颜色等进行图形的选择。最后，将角色列表中的元素与动 作列表中的元素进行对应指挥家与指挥动作相对应；鼓手与敲鼓动作相对应；小号手与 吹奏动作相对应等。此外，还可以根据音乐分析结果，灵活设定其他的动画元素，例如演奏舞台的灯光 效果，假设通过音轨的分析得到，前一段音乐的旋律舒缓，设置灯光为表示柔和的黄色；中 间一段音乐的旋律欢快，设置灯光为表示激烈的红色，最后一段音乐的旋律宁静，则设置灯 光的颜色为蓝色。步骤105，根据所述时间属性将各个动画元素及其对应关系组合成动画。按照音符与时间的对应关系，对于每小段音乐，确定场景中不同角色和其对应的 行为的出现时间，可以将某一角色的出现对应到某一指定音符的时间上，或者将某一角色 的行为动作与另一个指定音符的时间相对应。该步骤根据时间属性设定不同角色出现的时 间，例如开始时，根据第一乐句第一个音符的时间，在演奏大厅场景中出现演奏乐队一起演 奏的动画；之后，根据第二乐句第一个音符的时间，将动画角色替换为指挥家，画面转换为 指挥家指挥乐队的动画；然后，根据第三乐句第一个音符的时间，将动画角色替换为鼓手， 画面转换为鼓手敲鼓的动画场景，最终使音乐的播放时间与动画的播放时间一致。最后，通 过音乐的整体分析，设定试点转变路径，将各个角色、场景的转变进行衔接。本发明实施例对音频音乐的频率进行分析，获得MIDI文件，然后对MIDI文件进行 音乐结构的分析，对于没有歌词的音乐，通过预置规则或者用户输入的参数，提取具有音乐
9表达特性的动画素材，通过各个动画元素及其对应关系将其组合成动画。该方法能够用视 觉感知音乐的变化信息，通过将音频音乐与转换的动画相结合，生成MV动画，实现了动画 与音乐的视听绑定，满足听觉与视觉同时享受、相互统一的需求。对于音频音乐中包含歌词的情况，除了音乐结构的分析，还可以对歌词进行分析， 按照歌词的分析结果构建相应的动画元素，使动画的表现与歌词表达的内容相对应。参照 图2，示出了本发明一种将音频音乐生成动画的方法优选实施例的流程图。例如选取歌曲 《童年》中的一段音频音乐 其对应歌词为“池塘边的榕树上知了在声声叫着夏天，操场边的秋千上只有蝴蝶 停在上面，黑板上老师的粉笔还在拼命嘁嘁嚓嚓写个不停，等待着下课等待着放学等待游 戏的童年。”将上述配有歌词的音频音乐生成动画。下面根据上述音乐详细说明本发明优选 实施例，包括步骤步骤201，对音频音乐的预设频率段进行分析，获得节奏音频、旋律音频和伴奏音 频；首先，提取打击乐器的频率，在本实施例中对200Hz 240Hz的频率范围进行提 取，得到节奏音频。其次，由于该歌曲的演唱者为男生，因此对范围为160Hz 523Hz的男 声频率进行提取，将得到人声的音频信息作为旋律音频。上述关于节奏音频、旋律音频的特 定频率段的提取方法可以采用带通滤波器。还有一种人声的提取方法是根据左右声道中人 声相同的特点。首先把左右声道反相叠加，这样可以得到左右声道的不同部分音频信息，也 就是去掉了相同部分(人声、鼓点音频)，然后把上述结果和左或右声道反相叠加，可以在 一定程度上去掉伴奏。但提取到的人声可能会包含鼓的音频信息，因此，再与节奏音频反相 叠加，大致可得到人声的音频。进一步，通过过滤音频音乐中的旋律音频和节奏音频得到伴奏音频。可以利用带 阻滤波器，对节奏音频、人声音频进行过滤。还可以利用人声在左右两个通道中基本相同的 特点，过滤人声，即将两个声道中的信号反相叠加来消除人声。对于左右两个声道没有对齐的情况下，进行延迟处理。对于左右两个声道中的音频信号，通过带通滤波技术按频率将其 分为两部分，第一部分在160Hz 523Hz范围内，第二部分在在160Hz 523Hz范围以外，将 左右两个声道中输出的音频信号分别分成包含人声音频的第一部分音频信息和不包含人 声音频的第二部分音频信息，同时将需要进行延时处理的第一部分音频信息延时相应数量 的取样点，使左右两个声道中的人声音频位置对齐，再将对齐后的人声音频利用反相叠加 的方法进行消除，将消除人声的第一部分音频与第二部分音频叠加即可以得到伴奏音频。步骤202，依据节奏音频、旋律音频和伴奏音频的频率特性获得节奏音轨、旋律音 轨和伴奏音轨，并组合生成MIDI文件；通过对节奏音频中频率的振幅和周期的分析，生成节奏轨。通常以“拍每分 钟”(beats per minute，省略为bpm)作单位表示音乐的速度，这表示了一个指定的音符，通 常是四分音符，被任命了一个特定的速度时值。bpm的数值越大，拍子速度就越高越快。例 如120bpm表示一个四分音符的时间长度为1分钟除/120 = 0. 5秒。本实施例给出的音 乐为4/4拍，所以1小节的时间为0. 5秒X4 = 2秒。该实施例中得到的节奏轨为流行节奏XXXX XXXX I......将旋律音频与预设的音符频率进行匹配，生成旋律轨。根据预设的音符频率，低音 1 至中音 1 所对应的频率依次是262Hz、294Hz、330Hz、349Hz、392Hz、440Hz、494Hz、523Hz。 乘以二就提升该声音一个八度音阶，减半则降一个八度。以下给出了部分音符与频率的对 应关系 由上述的匹配可以得知，旋律音频中频率659Hz匹配到第一、第二个音符均为中 音3，频率784HZ匹配到的第三个音符为中音5，659Hz匹配到第四个音符为中音3。其他音 符的匹配与上述类似，且包含各个音符与时间的对应关系，进而能够根据音符生成旋律轨。伴奏轨的生成方法与旋律轨类似，即将伴奏音频与预设的音符频率进行匹配，由 得到的各个音符组成伴奏轨。步骤203，对MIDI文件进行音乐结构的分析，获得音乐分析结果以及音乐的时间属性；所述音乐结构的分析包括音符分析、音节分析、乐句分析、乐段分析、音轨分析。 根据音符分析确定各个音符在整个MIDI文件中出现的时间，使音符与时间相对应。对MIDI 文件进行音节分析，通常是分析旋律轨，即音符重叠比较少的那一轨。每一个音节按照和弦 规律赋予一个或多个和弦属
性，本实施—对一个音节赋予一个和弦属性。如音节
#赋予
I和弦，
υ赋予VI和弦。对每个音节的和弦属性进行乐句分
析，得到符合音乐规律的乐句，音乐规律为和弦进行规律，如下面几个音节 是一个I-VI-IV-V和弦进行，分析得到和弦的变化为稳定和弦-稳定和弦-不稳 定和弦-很不稳定和弦，即为一个规律的和弦进行。本步骤中，对音乐结构的分析可以结合 歌词，通过歌词的标点符号对乐句进行预处理。在本实施例中，通过标点符号分析得出上述 前四个音节组成一个合理乐句，其它乐句的分析类似。根据乐句的重复度及歌词的重复度大致确定乐段，几个乐句组成乐段。实际上， 《童年》的整首音乐可以分为四个乐段，本实施例仅针对前一个乐段(即以上给出的部分) 进行分析。此外，对于节奏轨和伴奏轨，这类音轨中某一个音符重复度比较高，对这些音轨 的分析可得到节奏信息，为动画图形的构建提供了参考依据。本实施例中，对于节奏轨的分 析还可以得到音乐的表现风格为舒缓，为动画元素的选取提供了依据。步骤204，进行歌词信息的分析，获得歌词分析结果；所述歌词信息的分析包括词元分析、语法分析、语句分析。一个歌词文本从形式 上看是由汉字(包括标点符号等)组成的一个字符串。由字可组成词元，由词元可组成句 子，进而由一些句子组成段落、章节。对词元的分析，可以利用基于字符串匹配的分词方法，按照一定的策略将待分析 的汉字串与预置词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功，识别出 一个词元；也可以利用基于理解的分词方法，让计算机模拟人对句子的理解，其基本思想是 在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象，达到识别词 的效果；还可以利用基于统计的分词方法，由于词元是稳定的字的组合，因此相邻的字同时 出现的次数越多，就越有可能构成一个词，利用字与字相邻共现的频率或概率反映的词的 可信度，对相邻共现的各个字的组合的频度进行统计，计算它们的互现信息，从而进行词元 识别。通过词元分析，获得各个词元表达的含义，例如是什么人、什么事物、什么行为、什么 场景等。语法分析，是分析按确定用法来运用的词类、词的屈折变化或表示相互关系的其 他手段以及分析词在句中的功能和关系。通过分析句子的组成成分，确定定语、状语、补语、 主语、谓语、宾语，来理解词元之间的关系，从而确定句子表达的意思。语句是由一个词或句法上有关联的一组词构成，通过语句分析，能够得出歌词的
每一小句表达的主张、愿望或意境等。段落和章节，是文章思想内容在表达时由于转折、强
调、间歇等情况所造成的文字停顿。通过段落和章节的分析，对歌词内容进行划分，确定出每一部分所要表达的情感、意境等内容。步骤205，根据动画素材库，通过音符分析、音节分析、旋律分析和词元分析构建包 括角色、行为、子场景的动画元素，通过语法分析构建上述各个动画元素的对应关系；音符、乐句、乐段分别对应歌词的字或词元、语句、语段或章节。音乐分析中的得到 的速度、风格信息可以结合歌词的情感作为图形风格的构建依据。通过“池塘、榕树、知了、 秋千、蝴蝶”等词元的分析，可以从人、物、景等图形库中选取相对应的图形，例如绿树、知 了、秋千、蝴蝶、黑板、老师、粉笔等角色图形，池塘、操场、教室的子场景图形，进一步将这些 图形添加到角色列表和子场景列表中。通过“写、等待”这些词元的分析，构建写字、思索 等行为列表。通过语法分析，构建角色列表、子场景列表、行为列表之间列表元素的对应关系。 如老师、粉笔与写字的行为相对应；学生与思索的动作相对应等。步骤206，根据所述动画素材库，通过乐句分析、乐段分析和语句分析、段落分析、 章节分析中的一个或者多个组合构建由相应的子场景组成的总场景；音乐结构分析中得到的节奏信息可以为图形的节奏变化提供依据。通过对歌词的 每一句进行分析，得到每一句表达的情境，对本例中给出的歌词段进行分析，获得该段落表 达的内容，按照每一歌词语句与MIDI音乐乐句的对应关系，在子场景列表中提取各个子场 景，按照歌词段落与音乐乐段的对应关系，将各个子场景组合成一个总场景，该总场景按照 子场景的出现具有转换视角池塘一操场一教室。步骤207，在所述总场景中加入相应的角色、行为并进行整体合成；将老师、粉笔的角色图形与写字的行为相对应加入到总场景；学生的图形与思索 的动作相对应加入到总场景中。其他角色如绿树、知了、秋千、蝴蝶等作为静态图形依次加 入到总场景中。最后整合形成动画池塘边种着一棵绿树，一只知了停在榕树上；然后视觉 转换到操场上，操场上有一架秋千，一只蝴蝶停在秋千上；然后视觉转换到教室里，老师拿 着黑粉笔在黑板上写字，几个学生托着脑袋做思考状(具体可以为学生的上方出现一团云 朵状的图形，里面出现下课时的场景)。步骤208，根据时间属性设定各个动画元素出现的时间，使动画与音乐的播放时间 同步；按照音符与时间的对应关系，对于每小段音乐，确定场景中不同角色和其对应的 行为的出现时间。本实施例中，根据第一小节的第一个音符3的时间，确定池塘子场景、榕 树的出现时间；根据第二小节的第五个音符6的时间，确定知了的出现时间；根据第五小节 第一个音符3的时间，将子场景转换为操场；根据第六小节的第一个音符6的时间，确定秋 千的出现时间。其他角色、行为、场景的时间设置与上述类似。步骤209，设定视角转变路径，将各个动画元素之间的视角转变相衔接。该步骤设置视角转变路径，确定各个动画元素的视角以及元素之间的过度关系， 进行视觉效果的加工、优化处理，使动画的播放顺畅自然。进一步，还可以在动画素材库中提取相应的文字信息，进行艺术处理后加入到动 画中，实现对动画的解释、凸显内容等作用。还可以根据歌词信息进行文字提取，生成相应 的字幕进行显示，将伴奏轨加入动画中，形成卡拉OK音乐文件。本发明实施例，对于有歌词的音乐，通过歌词分析构建动画元素及其对应关系，通过动画的播放显示出歌词表达的内容，表现内容丰富。此外，生成的动画增加了音乐的娱乐 性，提高了用户的体验度。参照图3，示出了本发明一种根据音频音乐生成动画的系统实施例的示意图，包 括音频提取模块301，用于对音频音乐的预设频率段进行分析，获得节奏音频、伴奏 音频；MIDI生成模块302，用于依据所述各个音频的频率特性获得各个音轨，并组合生 成MIDI文件；音乐分析模块303，用于对MIDI文件进行音乐结构分析，获得音乐分析结果以及 音乐的时间属性；元素构建模块304，用于根据预置的动画素材库和上述音乐分析结果通过预置规 则或者用户输入的参数构建各个动画元素及其对应关系；动画合成模块305，用于根据所述时间属性将各个动画元素及其对应关系组合成 动画。进一步，所述音频提取模块301包括节奏提取子模块3011，用于通过在预设频率段中提取打击乐器的频率获得节奏音 频；伴奏提取子模块3012，用于通过过滤音频音乐中的节奏音频获得伴奏音频。进一步，所述音频提取模块301还包括旋律提取子模块3013，用于当音频音乐中有人声信息时，通过在预设频率段中提 取人声的频率获得旋律音频；则所述伴奏提取子模块3012通过过滤音频音乐中的节奏音频和旋律音频获得伴
奏音频。优选的，所述MIDI生成模块302包括节奏轨生成子模块3021，用于通过对节奏音频中频率的振幅和周期的分析，生成 节奏轨；旋律轨生成子模块3022，用于将旋律音频与预设的音符频率进行匹配，生成旋律 轨；伴奏轨生成子模块3023，用于将伴奏音频与预设的音符频率进行匹配，生成伴奏 轨。在本发明的优选实施例中，对于有歌词信息的音频音乐，所述系统还包括歌词分析模块306，用于当所述音频音乐中有歌词时，进行歌词信息的分析，获得 歌词分析结果；则歌词分析模块306将获得的歌词分析结果输入到元素构建模块304中，元素构 建模块304根据预置的动画素材库、音乐分析结果和所述歌词分析结果进行各个动画元素 及其对应关系的构建。优选的，所述元素构建模块304包括子元素构建子模块3041，用于根据所述动画素材库，通过音符分析、音节分析和词 元分析中的一个或者多个组合构建包括角色、行为、子场景的动画元素，通过语法分析构建上述各个动画元素的对应关系；总场景构建子模块3042，用于根据所述动画素材库，通过乐句分析、乐段分析、音 轨分析和语句分析、段落分析、章节分析中的一个或者多个组合构建由相应的子场景组成 的总场景。优选的，所述动画合成模块305包括元素整合子模块3051，用于在所述总场景中加入相应的角色、行为并进行整体合 成；时间同步子模块3052，用于根据所述时间属性设定各个动画元素出现的时间，使 动画与音乐的播放时间同步。优选的，所述动画合成模块305还包括视角转变子模块3053，用于设定视角转变 路径，将各个动画元素之间的视角转变进行衔接。本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与 其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例 而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部 分说明即可。以上对本发明所提供的一种根据音频音乐生成动画的方法和系统，进行了详细介 绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只 是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发 明的思想，在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容不应理 解为对本发明的限制。
权利要求
一种根据音频音乐生成动画的方法，其特征在于，包括对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频；依据所述各个音频的频率特性获得各个音轨，并组合生成MIDI文件；对MIDI文件进行音乐结构的分析，获得音乐分析结果以及音乐的时间属性；根据预置的动画素材库和上述音乐分析结果通过预置规则或者用户输入的参数构建各个动画元素及其对应关系；根据所述时间属性将各个动画元素及其对应关系组合成动画。
2.根据权利要求1所述的方法，其特征在于，所述对音频音乐的预设频率段进行分析， 获得节奏音频、伴奏音频，具体包括通过在预设频率段中提取打击乐器的频率获得节奏音频； 通过过滤音频音乐中的节奏音频获得伴奏音频。
3.根据权利要求2所述的方法，其特征在于，当音频音乐中有人声信息时，所述对音频 音乐的预设频率段进行分析还包括通过在预设频率段中提取人声的频率获得旋律音频； 则所述伴奏音频通过过滤音频音乐中的节奏音频和旋律音频得到。
4.根据权利要求3所述的方法，其特征在于，所述依据所述获得的各个音频的频率特 性获得各个音轨包括通过对节奏音频中频率的振幅和周期的分析，生成节奏轨； 将旋律音频与预设的音符频率进行匹配，生成旋律轨； 将伴奏音频与预设的音符频率进行匹配，生成伴奏轨。
5.根据权利要求1所述的方法，其特征在于，所述音乐结构的分析包括音符分析、音 节分析、乐句分析、乐段分析、音轨分析中的一个或多个。
6.根据权利要求5所述的方法，其特征在于，当所述音频音乐中有歌词时，所述方法还 包括进行歌词信息的分析，获得歌词分析结果；将所述歌词分析结果引入到各个动画元素及其对应关系的构建中。
7.根据权利要求6所述的方法，其特征在于，所述歌词信息的分析包括词元分析、语 法分析、语句分析、段落分析、章节分析中的一个或多个。
8.根据权利要求7所述的方法，其特征在于，所述构建各个动画元素及其对应关系具 体包括根据所述动画素材库，通过音符分析、音节分析和词元分析中的一个或者多个组合构 建包括角色、行为、子场景的动画元素，通过语法分析构建上述各个动画元素的对应关系；根据所述动画素材库，通过乐句分析、乐段分析、音轨分析和语句分析、段落分析、章节 分析中的一个或者多个组合构建由相应的子场景组成的总场景。
9.根据权利要求8所述的方法，其特征在于，所述将各个动画元素及其对应关系组合 成动画具体包括在所述总场景中加入相应的角色、行为并进行整体合成；根据所述时间属性设定各个动画元素出现的时间，使动画与音乐的播放时间同步。
10.根据权利要求9所述的方法，其特征在于，所述将各个动画元素及其对应关系组合成动画具体还包括设定视角转变路径，将各个动画元素之间的视角转变进行衔接。
11.一种根据音频音乐生成动画的系统，其特征在于，所述系统包括音频提取模块，用于对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频； MIDI生成模块，用于依据所述各个音频的频率特性获得各个音轨，并组合生成MIDI文件；音乐分析模块，用于对MIDI文件进行音乐结构分析，获得音乐分析结果以及音乐的时 间属性；元素构建模块，用于根据预置的动画素材库和上述音乐分析结果通过预置规则或者用 户输入的参数构建各个动画元素及其对应关系；动画合成模块，用于根据所述时间属性将各个动画元素及其对应关系组合成动画。
12.根据权利要求11所述的方法，其特征在于，所述音频提取模块包括节奏提取子模块，用于通过在预设频率段中提取打击乐器的频率获得节奏音频； 伴奏提取子模块，用于通过过滤音频音乐中的节奏音频获得伴奏音频。
13.根据权利要求12所述的方法，其特征在于，所述音频提取模块还包括旋律提取子模块，用于当音频音乐中有人声信息时，通过在预设频率段中提取人声的 频率获得旋律音频；则所述伴奏提取子模块通过过滤音频音乐中的节奏音频和旋律音频获得伴奏音频。
14.根据权利要求13所述的方法，其特征在于，所述MIDI生成模块包括节奏轨生成子模块，用于通过对节奏音频中频率的振幅和周期的分析，生成节奏轨； 旋律轨生成子模块，用于将旋律音频与预设的音符频率进行匹配，生成旋律轨； 伴奏轨生成子模块，用于将伴奏音频与预设的音符频率进行匹配，生成伴奏轨。
15.根据权利要求11所述的系统，其特征在于，所述系统还包括歌词分析模块，用于当所述音频音乐中有歌词时，进行歌词信息的分析，获得歌词分析 结果；则歌词分析模块将获得的歌词分析结果输入到元素构建模块中，元素构建模块根据预置 的动画素材库、音乐分析结果和所述歌词分析结果进行各个动画元素及其对应关系的构建。
16.根据权利要求15所述的系统，其特征在于，所述元素构建模块包括子元素构建子模块，用于根据所述动画素材库，通过音符分析、音节分析和词元分析中 的一个或者多个组合构建包括角色、行为、子场景的动画元素，通过语法分析构建上述各个 动画元素的对应关系；总场景构建子模块，用于根据所述动画素材库，通过乐句分析、乐段分析、音轨分析和 语句分析、段落分析、章节分析中的一个或者多个组合构建由相应的子场景组成的总场景。
17.根据权利要求16所述的系统，其特征在于，所述动画合成模块包括 元素整合子模块，用于在所述总场景中加入相应的角色、行为并进行整体合成；时间同步子模块，用于根据所述时间属性设定各个动画元素出现的时间，使动画与音 乐的播放时间同步。
18.根据权利要求17所述的系统，其特征在于，所述动画合成模块还包括视角转变子 模块，用于设定视角转变路径，将各个动画元素之间的视角转变进行衔接。
全文摘要
本发明提供了一种根据音频音乐生成动画的方法和系统，所述方法包括对音频音乐的预设频率段进行分析，获得节奏音频、伴奏音频；依据所述各个音频的频率特性获得各个音轨，并组合生成MIDI文件；对MIDI文件进行音乐结构的分析，获得音乐分析结果以及音乐的时间属性；根据预置的动画素材库和上述音乐分析结果通过预置规则或者用户输入的参数构建各个动画元素及其对应关系；根据所述时间属性将各个动画元素及其对应关系组合成动画。通过本发明，可以自动的将音频音乐生成为内容丰富、与音乐表达的内容相对应的可视信息。
文档编号G10L13/02GK101901595SQ20101016869
公开日2010年12月1日 申请日期2010年5月5日 优先权日2010年5月5日
发明者吕博学, 艾国 申请人:北京中星微电子有限公司