专利名称：音乐数据驱动的基于机器学习的舞蹈动作生成方法
技术领域：
本发明涉及音乐驱动的舞蹈编排方法，尤其是一种音乐数据驱动的基于机 器学习的舞蹈动作生成方法。
技术背景根据给定音乐生成与之匹配的舞蹈动作在计算机动画创作领域有着广泛的 应用。在编舞创作中，需要根据用户选定的音乐片段编排合适的舞蹈动作，然 而动作与音乐是两种不同感知通道的时序信号，要想恰当地评价两者的匹配程度，就需要建立一个合理的动作-音乐特征匹配模型，该模型应当能够将动作和 音乐信号转化到符合人类认知的某种高层语义上进行匹配程度的比较，并依据 所建立的匹配关系有效地存储，搜索以及编辑音乐或动作数据。在传统的动画创作过程中， 一般由动画师手工建立动作和音乐的匹配模型。 动画师根据给定的音乐手工绘制关键帧并由计算机进行插值以创作舞蹈动画， 这是一项枯燥而耗时的工作。目前在计算机自动编舞方面已经积累了许多有价 值的工作，主要的技术思路是基于经验建立动作和音乐特征的特征匹配模型， 例如节奏特征匹配，音符密度和动作强度匹配等。然而其缺陷在于由于主观因 素导致所建立模型不具有普适性。机器学习通过对已有数据进行挖掘从而发现 动作和音乐之间客观的内在联系，从而成为一种更为科学的技术思路。 发明内容本发明的目的是提供一种音乐数据驱动的基于机器学习的舞蹈动作生成方法。音乐数据驱动的基于机器学习的舞蹈动作生成方法的步骤如下1) 构建动作和音乐数据库，将动作和音乐特征按照节奏点位置切分为动作和 音乐片段对；2) 对每一对动作和音乐片段对进行相关性分析得到相关性系数矩阵，选择最 优的相关性系数集合；3) 使用基于boost的机器学习方法将每个动作和音乐片段对作为训练样本， 获得对动作和音乐片段对匹配程度进行评分的学习器；4) 将用户输入系统的音乐按照节奏特征切分为音乐片段；5) 用户输入系统使用动态规划算法综合考虑学习器给出的匹配分值以及前 后动作片段的连贯性，选择最佳动作序列；6)对动作序列进行动作对齐，动作变形以及动作平滑以优化结果。 所述的对每一对动作和音乐片段对进行相关性分析得到相关性系数矩阵， 选择最优的相关性系数集合步骤为给定动作和音乐片段对(4,M》，4为/号 音乐片段，My为/号动作片段，则4的特征《和i^.的特征p之间的相关性系数为c(m)=g(")，-/^2，其中，a， a，《，《分别为义和y的期望和方差，五为期望值运算符，得到相关性系数矩阵后，选择最佳的相关性系数特征 子集。所述的使用基于boost的机器学习方法将每个动作和音乐片段对作为训练 样本，获得对动作和音乐片段对匹配程度进行评分的学习器步骤为该机器学 习方法由7种基本学习器构成，针对不同的舞种选定最佳的基本学习器。数据库中的每个动作-音乐片段对构成一个训练样例，训练样例以相关性系数的形式表示，不同舞种的训练样例用于训练不同舞种的学习器；设动作和音乐片段对 04,，M》，4为f号音乐片段，M,为y号动作片段，M,.为原始数据库中与4对应的动作片段，则(4,吒)的匹配程度误差分值为 S(4，A) = l_exp(-Z)/Wm(M,,M》)。其中Z)z《(M,，M,)是动作片段M,与M7间的距离。本发明是在机器学习获得动作与音乐特征之间关联的基础上，通过动态规 划算法检索最佳的动作序列。本发明允许输入任意的音乐片段，系统根据机器 学习得到的最佳学习器对数据库中的候选动作片段进行评分，同时考虑动作平 滑程度以合成最佳舞蹈动作序列。本发明解决了动作与音乐特征之间的关系挖 掘问题，同时提供了一种全自动的舞蹈动作编排创作方法。
图1是步骤l)的切分动作和音乐片段； 图2是步骤2)的相关性系数矩阵；图3是基于机器学习的舞蹈动作编排软件系统的框架和流程； 图4是基于机器学习的舞蹈动作编排软件系统的输出结果。
具体实施方式
音乐数据驱动的基于机器学习的舞蹈动作生成方法的步骤如下1) 构建动作和音乐数据库，将动作和音乐特征按照节奏点位置切分为动作和 音乐片段对；2) 对每一对动作和音乐片段对进行相关性分析得到相关性系数矩阵，选择最 优的相关性系数集合；3) 使用基于boost的机器学习方法将每个动作和音乐片段对作为训练样本， 获得对动作和音乐片段对匹配程度进行评分的学习器；4) 将用户输入系统的音乐按照节奏特征切分为音乐片段；5) 用户输入系统使用动态规划算法综合考虑学习器给出的匹配分值以及前 后动作片段的连贯性，选择最佳动作序列；6) 对动作序列进行动作对齐，动作变形以及动作平滑以优化结果。 所述的对每一对动作和音乐片段对进行相关性分析得到相关性系数矩阵，选择最优的相关性系数集合步骤为给定动作和音乐片段对(^,M》，4为/号 音乐片段，为;'号动作片段，贝U4的特征《和^的特征;p之间的相关性系数为C(m)， —,)f("》，其中，A， A，《，《分别为X和r的期望和方差，五为期望值运算符，得到相关性系数矩阵后，选择最佳的相关性系数特征 子集。所述的使用基于boost的机器学习方法将每个动作和音乐片段对作为训练 样本，获得对动作和音乐片段对匹配程度进行评分的学习器步骤为该机器学 习方法由7种基本学习器构成，针对不同的舞种选定最佳的基本学习器。数据 库中的每个动作-音乐片段对构成一个训练样例，训练样例以相关性系数的形式 表示，不同舞种的训练样例用于训练不同舞种的学习器；设动作和音乐片段对 (4,M》，4为f号音乐片段，M,为/号动作片段，A/,为原始数据库中与4对 应的动作片段，则(4,A)的匹配程度误差分值为-S(4,M》=1-exp(-Z)/Wm(M(,M》)。其中D&m(MpM》是动作片段Mj与间的距离。 实施例准备工作建立动作和音乐片段的数据库。首先，预先构建动作和音乐数据库，将动作和音乐数据按照节奏点位置切 分为片段(如图l所示)。尔后提取多种动作特征和多种音乐特征，对每种动作特 征和音乐特征片段对进行相关性分析得到相关性系数矩阵。给定设训练样例组 合(4，M》，4为/号音乐片段，为_/号动作片段，则4的特征《和M,的特征p之间的相关性系数为C(m) = ￡("，)，—")。此处A， A，《，《分别为x和y的期望和方差。so为期望值运算符。得到相关性系数矩阵后(如图2所示)，根据最优特征选择算法选择最佳的相关性系数特征子集。然后使用基于boost的机器学习方法将每个动作和音乐片段组合作为训练样本，通过学习获得可以对动作和音乐匹配程度进行评分的学习器。该机器学习模型由7种基本学习器构成。针对不同的舞种选定最佳的基本学习器。数据库 中的每个动作-音乐片段对构成一个训练样例，训练样例以相关性系数的形式表 示。不同舞种的训练样例用于训练不同舞种的学习器。训练样例的生成采用计 算动作距离的方法来衡量。设动作和音乐片段组合((M》，4为!'号音乐片段， M;为/号动作片段，M,为原始数据库中与4对应的动作片段。则(4,M,.)的匹 配程度误差分值为S(4,M》-l-exp(-"/^(A/,.,M,》。其中Dz'《(M,，M》是动作片 段Mi与M,间的距离。接下来，将用户输入系统的音乐按照节奏特征切分为音乐片段，针对每个 音乐片段，系统使用动态规划算法综合考虑候选动作片段与音乐片段的匹配程 度以及动作片段的平滑程度，选择最佳动作序列。动作片段与音乐片段的匹配 程度分值由训练所得的学习器给出，动作片段的平滑程度由对动作图的査询得 到。最后，对得到的动作序列进行动作片段对齐，动作变形以及动作平滑以优 化结果动画。整个系统的框架与流程如图3所示，系统合成的舞蹈动作如图4 所示。
权利要求
1.一种音乐数据驱动的基于机器学习的舞蹈动作生成方法，方法的步骤如下1)构建动作和音乐数据库，将动作和音乐特征按照节奏点位置切分为动作和音乐片段对；2)对每一对动作和音乐片段对进行相关性分析得到相关性系数矩阵，选择最优的相关性系数集合；3)使用基于boost的机器学习方法将每个动作和音乐片段对作为训练样本，获得对动作和音乐片段对匹配程度进行评分的学习器；4)将用户输入系统的音乐按照节奏特征切分为音乐片段；5)用户输入系统使用动态规划算法综合考虑学习器给出的匹配分值以及前后动作片段的连贯性，选择最佳动作序列；6)对动作序列进行动作对齐，动作变形以及动作平滑以优化结果。
2. 根据权利要求1所诉的一种由音乐数据驱动的基于机器学习的舞蹈动作生 成方法，其特征在于所述的对每一对动作和音乐片段对进行相关性分析得到相 关性系数矩阵，选择最优的相关性系数集合步骤为给定动作和音乐片段对 (4,M,)， ^为；号音乐片段，M,为y号动作片段，则4的特征《和Mj的特征^之间的相关性系数为C(M—五(")f("》，其中，a， a，《，5分别为x和y的期望和方差，E为期望值运算符，得到相关性系数矩阵后，选择最 佳的相关性系数特征子集。
3. 根据权利要求1所诉的一种由音乐数据驱动的基于机器学习的舞蹈动作 生成方法，其特征在于，所述的使用基于boost的机器学习方法将每个动作和音 乐片段对作为训练样本，获得对动作和音乐片段对匹配程度进行评分的学习器 步骤为该机器学习方法由7种基本学习器构成，针对不同的舞种选定最佳的基本学习器。数据库中的每个动作-音乐片段对构成一个训练样例，训练样例以相关性系数的形式表示，不同舞种的训练样例用于训练不同舞种的学习器；设 动作和音乐片段对04,，M》，4为/号音乐片段，为/号动作片段，M,.为原 始数据库中与4对应的动作片段，贝U",M》的匹配程度误差分值为 S(4，= l-exp(-Z)/《(M,，My.》。其中￡>is,m(M,，M》是动作片段M,与My.间的距离。
全文摘要
本发明公开了一种音乐数据驱动的基于机器学习的舞蹈动作生成方法。方法的步骤如下预先构建的动作和音乐数据库，分析动作和音乐特征的相关性系数，选择最优的相关性系数集合；使用基于boost的机器学习方法获得可以对动作和音乐匹配程度进行评分的学习器；对每个音乐片段，系统综合考虑候选动作片段与输入音乐片段的匹配程度以及动作片段的平滑程度，选择最佳动作片段。本发明实现了给定任意音乐，系统可以根据习得的机器学习模型自动从舞蹈动作数据库中选择最佳动作序列的功能。解决了动画制作过程中音乐和动画难以良好匹配的难题，提供了一个在动画制作中进行全自动编舞的算法框架。
文档编号G06T15/70GK101615302SQ20091010104
公开日2009年12月30日 申请日期2009年7月30日 优先权日2009年7月30日
发明者徐颂华, 樊儒昆, 耿卫东 申请人:浙江大学