获得动画参数的方法和动画显示设备的制作方法

专利名称：获得动画参数的方法和动画显示设备的制作方法
技术领域：
本发明涉及用于从音频数据获得动画参数的方法、动画显示设备和动画设备。
背景技术：
当在具有屏幕的设备上播放音乐时，可在屏幕上为该音乐制作动画，即将其可视 化。相关技术的示例是微软视窗媒体播放器，该媒体播放器提供由正在播放的音乐所控制 的从光谱图到飞行物体的广泛种类的动画。但是，用户常常发觉现有技术系统中的音乐动画是无聊的或者是与该音乐不相匹 配的。因此，本发明的目的是提供克服此缺陷的用于从音频数据获得动画参数的方法、 动画显示设备，以及动画设备。

发明内容
为了解决此目的，根据权利要求1，本发明提供了一种用于从音频数据获得动画参 数的方法。另外，根据权利要求12，本发明提供了一种动画显示设备，以及根据权利要求 15，本发明提供了一种动画设备。所述用于从音频数据获得动画参数的方法，所述动画参数描述所述音频数据的情 绪、感情和/或特征，该方法可包括如下步骤对于所述音频数据确定当前情绪模型，所述 当前情绪模型描述所述音频数据的情绪；对于至少一个不同的参考情绪模型计算至少一个 距离，其中，所述距离量度代表所述当前情绪模型和各自参考情绪模型间的距离；以及根据 所述距离量度来设置至少一个动画参数。贯穿说明书中所使用的术语“动画”还可被看做 是“可视化”，即，动画/可视化参数可被用于可视化音频数据的情绪。因此，所述动画参数 可被用于根据所制作动画的音频数据的类型和/或情绪而以光、颜色，图形等的形式控制 音频数据(例如音乐)的动画。所述距离量度可根据由“音乐相似性量度用途是什么？”(Music similarity measures :What，s the use ？ ), J. J. Aucouturier 禾口 F. Pachet,音乐信息检索 ISMIR 2002第三届国际会议的论文集(Proceedings of the 3rd international conference on music information retrieval ISMIR 2002)，157 页到 163 页中所描述的来计算。所述距 离量度还可根据由EP1615204(=欧洲申请第04016229号)中所描述的来计算，其内容通 过引用被结合于此。EP1615204中还说明了当前情绪模型的计算以及参考情绪模型的计算。应以 EP1615204中描述的方式被用于计算参考情绪模型的音频数据可以是取决于应用的，并且， 例如，该音频数据可通过选择针对诸如愉快的具体属性而被手动标记的歌曲而被选择。用于从音频数据获得动画参数的动画显示设备，所述动画参数描述所述音频数据 的情绪，该设备可包括如下装置用于对于所述音频确定当前情绪模型的装置；用于对于 至少一个具体/不同的参考情绪模型计算至少一个距离量度的装置，其中，所述距离量度代表所述当前情绪模型和各自的参考情绪模型间的距离；用于根据所述距离量度来设置至 少一个动画参数的装置；以及用于显示根据所述动画参数而改变的图形的装置。用于为音频数据制作动画的所述动画设备包括适于接收音频数据的音频输入接 口 ；音频数据处理器，该音频数据处理器适于对于所述音频数据确定当前情绪模型，还适于 对于至少一个具体/不同的参考情绪模型计算至少一个距离量度，其中，所述距离量度代 表所述当前情绪模型和各自参考情绪模型间的距离，且该音频数据处理器还适于根据所述 距离量度设置至少一个动画参数，所述动画设备还包括显示器，该显示器适于显示根据所 述动画参数而改变的图形。所有与该方法一起提及的实施例还可应用于所述动画显示设备和/或所述动画 设备及反之亦然。


图1示出了具有不同参考情绪模型的情绪空间；图2示出了阐释用于获得动画参数的不同步骤的流程图；以及图3示出了动画设备。
具体实施例方式用于获得所述动画参数的方法的一种可能应用是利用所获得的动画参数以用于 音频数据(即，音乐)的动画或可视化。在这种情形下，该动画参数被用于控制影响可视化 的参数，例如，图形变化、颜色变化、图形移动速度的变化，图形形状的变化。可以将一动画参数与一距离量度(measure)相关联，并根据该相关联的距离量度 设置所述动画参数。例如，可利用动画图形鱼，例如，一群鱼。该鱼的游泳速度可被一动画 参数和相对应的距离量度所控制，而鱼的颜色可被另一动画参数所控制。另外，鱼的种类还 可由另一动画参数所控制。例如，如果该距离接近于“活泼的”参考情绪模型，则可将鲨鱼 用作鱼的类型，而如果该距离接近于“平静的”参考情绪模型，则可利用小丑鱼(双锯鱼)。当设置所述动画参数时，可以基于多个距离量度的函数来设置一动画参数。例如， 可利用诸如“取Dl和D2的平均，再除以D3”之类的函数。利用原则组件分析(PCA)实质上 与此相同，其中距离Dx与PCA矩阵的各列的矩阵相乘作为“多个距离量度的函数”。当设置所述动画参数时，可以利用映射表设置所述动画参数。下述给出了映射表 的示例距离量度的值动画< 0. 02鱼沉到地面并停止移动0.02. ..0.5鱼以ν=值*3米/秒移动0.5. ..0.9鱼以 ν =值 *4. 5 米 /秒移动>0.9鱼在水面上下跳跃所述方法还可包括从所述音频数据确定预定义长度的或可变长度的音频段，并且 对至少一个所述音频段确定所述当前情绪模型。在此情形下，当每个音频段正被播放给用 户时，所述动画参数可针对该音频段被设置，即变更或适配。因此，可例如每5秒钟确定当 前情绪模型。在此情形下，当前情绪模型将与音频数据的情绪相对应，该音频数据与相对应的音频段的开始和结束之间的时段相对应。因此，当将音频数据播放给用户时，可由动画参 数所控制的动画可针对当前正播放给用户的每个音频段进行变更。换言之，当所对应的音频段当前正被播放给用户时，所述动画参数可被设置，使得 基于所述动画参数的动画与当前所播放的音频段相匹配。如下将详细描述的，可离线确定 动画参数，即，在该用户播放音频数据之前确定。在此情形下，所述动画参数可与定时信息 一起被存储在存储器中，该定时信息指示在所述音频数据中的所对应音频段的开始和结 束ο可以根据至少一个先前音频段的至少一个先前情绪模型来确定所对应音频段的 所述当前情绪模型。因此，根据先前情绪模型来确定当前情绪模型，从而避免了动画的不稳 定行为。例如，在短分析窗口，即短音频段的情形下，可执行以这种方式对所得情绪空间轨 道的平滑。这可以例如通过如下方式完成对例如前10个或20个情绪空间点位置(S卩，先 前情绪模型)取平均来计算新的情绪空间点(即，当前情绪模型)。因此，例如通过应用指 数权重函数等，可对旧的情绪空间位置(即，先前情绪模型)施加更低的强调。换言之，当确定所述当前情绪模型时，与第一音频段相对应的第一先前情绪模型 可能比与第二音频段相对应的第二先前情绪模型对所述当前情绪模型具有更大的影响，所 述第一音频段位于所述第二音频段之后。所述第一音频段和所述第二音频段无需彼此相 邻，即，在所述第一音频段和所述第二音频段之间可存在其他音频段。如所述，所述影响可通过应用指数权重函数而被确定。另外，可以对于多个参考情绪模型进行所述距离量度的计算，并且所述方法包括 将原则组件分析(PCA)、线性变换应用到所述多个距离量度以便消除存在于所述多个距离 量度之间的相关性。距离可被看作情绪空间中的坐标，该情绪空间由参考情绪模型定义。但 是，该情绪空间是非对称的，且对其的占据是不均一的，这是因为取决于所选择的参考情绪 模型，在其中存在很多强相关的维度。如果该相关性是非所需的，则可以通过例如将PCA线 性转换应用到距离量度来消除相关性。所述方法也可离线执行，且该方法可包括存储所述动画参数。如所述的，在此情形 下，定时信息可与所述动画参数一起被存储，其指示在所述音频数据中的所对应音频段的 位置。如所述，所述方法可被用于将图形制成动画，并且因此，所述方法可包括将图形显 示给用户且根据所述动画参数变更所述图形。因此，可以基于情绪空间或所转换情绪空间 中的坐标对图形的动画进行修改。例如，可以直接由情绪空间的一个维度来控制一动画参 数，例如，鱼的颜色，并且直接由另一维度来控制一个其他动画参数，例如，鱼的游泳速度。 在更复杂的情形下，可通过映射表功能将情绪空间坐标映射到动画控制。因此，所述图形可包括至少一个移动物体且所述方法可包括根据第一动画参数来 改变所述移动物体的移动速度，以及根据第二动画参数来改变所述移动物体的颜色和/或 类型。在图1中示出了情绪空间2。在所述情绪空间2中，定位了对于情绪“平静的”4的 参考情绪模型、对于情绪“活泼的” 6的参考情绪模型，以及对于情绪“愉快的” 8的参考情 绪模型。所述参考情绪模型4、6和8可被看作是已预先确定的“锚点情绪”。在图1的示例中，音频数据被分段为预定义长度为5秒的音频段。因此，每隔5秒当前情绪模型10被确定，即，对于与音频数据的前5秒相对应的第一音频段，第一当前情绪 模型10-5被确定。另外，对于音频数据的第二个5秒，S卩，对于第二音频段，第二当前情绪模 型10-10被确定。另外，对于第三、第四和第五音频段，当前情绪模型10-15、10-20和10-25 被分别确定。在图1的示例中，对于当前情绪模型10-25确定动画参数。因此，对于所述当前情 绪模型10-25，第一距离量度D1、第二距离量度D2和第三距离量度D3被确定。所述第一距 离量度Dl代表在所述当前情绪模型10-25和所述参考情绪模型愉快的8间的距离。所述第 二距离量度D2代表所述当前情绪模型10-25和所述参考情绪模型活泼的6间的距离。所 述第三距离量度D3代表所述当前情绪模型10-25和所述参考情绪模型平静的4间的距离。在某实施例中，可以通过一距离量度来控制一动画参数。因此，例如，所述第二距 离量度D2可被用于控制鱼的游泳速度，而所述第三距离量度D3可被用于控制鱼的颜色和 /或类型。在图1的示例中，可根据先前的情绪模型，确定所述当前情绪模型10-25。在图1 的示例中，情绪模型10-5、10-10、10-15和10-20是相对于当前情绪模型10-25的先前情绪 模型。因此，可根据情绪模型10-5到10-20来确定当前情绪模型10-25。例如，这可以通过 对先前情绪模型10-5到10-20取平均来完成。因此，例如通过应用指数权重函数，可对先 前情绪模型施加更低的强调。图2示出了包括接收步骤S2、第一处理步骤S4、第二处理步骤S6和设置步骤S8 的流程图。在所述接收步骤S2，音频数据11被接收。所述音频数据可以是模拟或数字音频数 据。所述音频数据11与音频数据流相对应也是可能的。在所述第一处理步骤S4中，对于所述音频数据11，当前情绪模型被确定。 在某实施例中，在所述接收步骤S2中，所述音频数据11可被分段为音频段。在此 情形下，在所述第一处理步骤S4中，可对于各自的音频段，确定当前情绪模型。在所述第二处理步骤S6中，对于每个参考情绪模型，距离量度Dl，D2, . . . , Dn被计算。在所述设置步骤S8中，所计算的距离量度Dl到Dn被用于设置根据所述距离量度 Dl, D2，. . .，Dn 的动画参数 Al，k2, ... , An。在某实施例中，第一动画参数Al可根据第一距离量度Dl来被确定，第二动画参数 A2可根据第二距离量度D2来被确定并以此类推。可替换地，动画参数Al，A2，. . .，An还 可根据几个或所有距离量度Dl，D2，. . .，Dn而被确定。例如，Al可根据所有距离量度D1， D2，. . .，Dn，或者根据所选的距离量度。在图2的底部，示出了具有显示器12的动画设备14。在所述显示器12上，示出 了移动的鱼16。所述鱼16以速度S移动且具有颜色C。在某实施例中，所述鱼16的速度 S可由所述第一动画参数Al控制，且所述鱼16的颜色C可由所述第二动画参数A2控制。图3示出了所述动画设备14，该设备具有用于存储音频数据的音频数据存储器 18。所述动画设备14可以是手持的(即，移动的)设备，用户可随身携带此设备并在聆听 存储在音频数据存储器18中的音乐专集时享受该动画。所述动画设备还包括音频输入接口 20，例如，该接口可以是用于在所述音频数据存储器18和音频数据处理器22间交换数据的数据总线，例如，该处理器可以是中央处理单 元CPU。所述音频数据处理器22可经由所述音频输入接口 20接收来自所述音频数据存储 器18的音频数据，并且确定对于所述音频数据的当前情绪模型，以及对于参考情绪模型进 一步计算距离量度。另外，所述音频数据处理器22可根据所计算的距离量度来设置动画参 数。该动画参数可被图形处理器24用以控制显示在显示器12上的图形。在图3的示例中， 图形为以某速度S移动的具有某颜色C的鱼16。速度S可由第一动画参数控制，而鱼16的 颜色可由另一动画参数所确定。下述说明将帮助本领域技术人员更好地理解本发明或细节或其背景。当音乐正被播放在具有屏幕或显示器的设备上时，正在被播放的音乐的情绪可影 响正在屏幕/显示器上播放的动画图形，即，可提供在该设备上的音乐的可视化。如果一首 歌曲在其部分，即不同的音频段，具有多种不同的感情，即情绪，则动画可相应地变化。可 能的动画包括不同高度的条，该条指示了情绪的维度，或例如像鱼这样的动画物，其变更颜 色、行为或鱼的种类。动画参数(例如，鱼的种类)被耦合到情绪模型，且音乐段或整个歌 曲与此具体情绪模型的邻近度与距其他情绪模型的邻近度的比较控制了动画的行为。关于相关的现有技术，最著名的示例是在迪斯科舞厅和俱乐部中的灯光控制，其 中，基本上根据音乐的能量来控制光。可基于音色相似性来检测当前情绪模型。因此，预先计算的或用户定义的情绪模 型被与未知的歌曲进行比较，并且其与类别代表(即，参考情绪模型)的距离被作为情绪空 间中的坐标。可以对于乐曲在回放期间或之前(S卩，离线)动态计算音乐情绪，并且存储相关的 情绪信息及可能以平滑的方式(已平滑的通过情绪空间的轨道)来使用当前情绪作为可视 动画的控制。可视动画(即，图形)可以是多种类型的，例如，一池塘不同种类的行为不同的色 彩斑斓的鱼，或对于愉快的音乐愉快地跳舞和玩耍，或对于平静的音乐平静地享受暖水，或 对于活泼的音乐活泼地彼此追赶及以此类推。可视动画还可以是色彩条的阵列，其中，条的 高度指示情绪某维度的强度。因此，可定义一组预定义的锚点情绪(即，参考情绪模型)，该参考情绪模型与其 下情绪空间的维度相关联，其中，情绪空间由参考情绪模型来定义。对于正在播放的音乐 的每个时间段(即，音频段)，分别计算音频段到参考情绪模型的每一个的距离，其中，音 频段被连续抽样且可从1秒到分钟的范围内改变长度。此距离计算可由例如EP1615204 中描述的或由“音乐相似性量度用途是什么？，，(Music similarity measures =What' s the use ？ )，J. J. Aucouturier和F. Pachet，音乐信息检索ISMIR 2002第三届国际会议 的论文集(Proceedings of the 3rd international conference on music information retrieval ISMIR 2002)，157页到163页中所描述的来完成。结果是，因为存在多个参考情 绪模型，所以存在多个到参考情绪模型的距离(即，距离量度)。参考情绪模型的数量取决 于应用且在大多数情况下在3到10等间变化。该距离用作情绪空间中的坐标，其中，该空间可被认为是非对称的且占据可能是 不均一的，这是因为取决于所选择的参考情绪模型，在情绪空间存在许多强相关的维度。如 果此相关是非所需的，则可通过对距离应用诸如原则组件分析(PCA)之类的线性转换来移除之。基于在情绪空间或已转换的情绪空间中的坐标，动画被修改。例如，这可通过利用 情绪空间的一个维度直接控制一个动画参数，例如鱼的颜色，以及利用另一维度来直接控 制另一动画参数，例如鱼的游泳速度来完成。更复杂的情形也是可能的，其中，通过函数或 映射表，情绪空间的坐标被映射到动画控制，即，动画参数。为了避免动画的不稳定行为，例如，在短分析窗口的情形下，即，当所述音频段非 常短时，平滑所得情绪空间轨道是有优势的。例如，这可通过如下方式来完成通过对先前 的，即最近的20个情绪空间点位置与当前情绪空间点位置取平均，来计算情绪空间点，即， 当前情绪模型。当然，可利用更少或更多的情绪空间点位置，例如，10个、或30或40或更多 点。通过对先前情绪模型取平均值，将对旧的情绪空间位置(即，先前情绪模型)施以更低 的强调，例如，通过应用指数权重函数。
权利要求
一种用于从音频数据获得至少一个动画参数的方法，所述动画参数描述了所述音频数据的情绪，该方法包括如下步骤对所述音频数据确定当前情绪模型；针对至少一个参考情绪模型计算至少一个距离量度，其中，所述距离量度代表所述当前情绪模型和分别的参考情绪模型间的距离；根据所述距离量度设置至少一个动画参数。
2.如权利要求1所述的方法，还包括 将一动画参数与一距离量度相关联；以及根据各自相关联的距离量度来设置所述动画参数。
3.如权利要求1所述的方法，其中，当设置所述动画参数时，基于多个距离量度的函数 来设置至少一个动画参数。
4.如权利要求1所述的方法，其中，当设置所述动画参数时，利用映射表来设置所述动 画参数。
5.如前述权利要求中任一项所述的方法，还包括如下步骤 从所述音频数据确定预定义长度的音频段；对于至少一个所述音频段来确定所述当前情绪模型；以及 对每个音频段设置所述动画参数。
6.如权利要求5所述的方法，其中，当相对应的音频段正被播放给用户时，设置所述动 画参数，使得基于所述动画参数的动画与当前被播放的音频段相匹配。
7.如权利要求5或6所述的方法，包括如下步骤根据至少一个先前音频段的至少一个先前情绪模型来确定相对应的音频段的所述当 前情绪模型。
8.如权利要求7所述的方法，其中，当确定所述当前情绪模型时，与第一音频段相对应 的第一先前情绪模型比与第二音频段相对应的第二先前情绪模型对所述当前情绪模型具 有更高的影响，所述第一音频段位于所述第二音频段之后。
9.如权利要求8所述的方法，包括 通过应用指数权重函数来确定所述影响。
10.如前述权利要求中任一项所述的方法，其中，对于多个参考情绪模型计算所述距离 量度，以及所述方法还包括给所述多个距离量度应用原则组件分析(PCA)线性转换，以便移除存在于所述多个距 离量度间的相关性。
11.如前述权利要求中任一项所述的方法，其中，所述方法被离线执行，且所述方法包括存储所述动画参数。
12.如前述权利要求中任一项所述的方法，包括 给用户显示图形；以及根据所述动画参数来改变所述图形。
13.如权利要求12所述的方法，其中，所述图形包括至少一个移动对象且所述方法包括根据第一动画参数来改变所述移动对象的移动速度；以及 根据第二动画参数来改变所述移动对象的颜色和/或类型。
14.一种用于从音频数据获得至少一个动画参数的动画显示设备，所述动画参数描述 了所述音频数据的情绪，所述设备包括用于对所述音频数据确定当前情绪模型的装置；用于针对至少一个参考情绪模型来计算至少一个距离量度的装置，其中，所述距离量 度代表所述当前情绪模型和分别的参考情绪模型间的距离；用于根据所述距离量度来设置至少一个动画参数的装置；以及 用于显示根据所述动画参数而改变的图形的装置。
15.如权利要求14所述的动画显示设备，还包括用于从所述音频数据确定预定义长度的音频段的装置，其中，用于确定当前情绪模型 的所述装置对至少一个所述音频段确定所述当前情绪模型，以及用于设置所述动画参数的 所述设备对于每个音频段设置所述动画参数。
16.如权利要求15所述的动画显示设备，其中，当相对应的音频段当前正被播放给用 户时，设置所述动画参数，使得所述图形与当前被播放的音频段相匹配。
17.一种用于为音频数据制作动画的动画设备，包括 适于接收音频数据的音频输入接口；数据处理器，该数据处理器适于 对所述音频数据确定当前情绪模型，针对至少一个参考情绪模型计算至少一个距离量度，其中，所述距离量度代表所述当 前情绪模型和分别的参考情绪模型间的距离，并且还适于 根据所述距离量度来设置至少一个动画参数；以及 显示器，该显示器适于显示根据所述动画参数而改变的图形。
全文摘要
一种用于从音频数据获得至少一个动画参数的方法，所述动画参数描述所述音频数据的情绪，该方法包括如下步骤对于所述音频数据确定当前情绪模型；对于至少一个参考模型计算至少一个距离量度，其中，所述距离量度代表所述当前情绪模型和各自参考情绪模型间的距离；根据所述距离量度来设置至少一个动画参数。
文档编号G10H1/00GK101925949SQ200980102937
公开日2010年12月22日 申请日期2009年1月14日 优先权日2008年1月23日
发明者亚那·埃格尹克, 威廉默斯·海格, 弗兰克·金安, 托梵·齐默, 托马斯·坎普 申请人:索尼公司