基于音乐节奏生成特效的方法及装置与流程

本发明属于视频制作技术领域，特别是涉及一种基于音乐节奏生成特效的方法及装置。

背景技术

现有技术中视频特效处理大多基于图形图像处理技术，对单帧图像本身进行实时处理以产生特定特效效果，产生的特效通常只是一段时间内容的重复效果，特效表现单一同质化，不能满足用户的个性化需求。

技术实现要素：

本发明的目的在于提供一种基于音乐节奏生成特效的方法及装置，将特效与音乐节奏变化相结合，令每次特效出现的结果都有所不同，且是有意义的变化，而非随机杂乱的进行。

本发明提供了一种基于音乐节奏生成特效的方法，包括：

提取一段音乐的脉冲编码调制数据；

对提取到的脉冲编码调制数据进行数学运算以得到代表该段音乐的节奏的数值；

利用所述代表音乐节奏的数值驱动特效。

进一步地，对提取到的脉冲编码调制数据进行数学运算以得到代表该段音乐的节奏的数值包括：

计算音频合并样本的脉冲编码调制数据的均方根或方差得到样本的有效值；其中，所述音频合并样本通过将多个声道若干个样本进行混合获得。

进一步地，计算音频合并样本的脉冲编码调制数据的均方根或方差得到样本的有效值之前还包括：对所述音频合并样本进行低通滤波。

进一步地，计算音频合并样本的脉冲编码调制数据的均方根或方差得到样本的有效值之后还包括：对样本的有效值进行指数平滑以得到代表该段音乐的节奏的数值。

进一步地，该低通滤波为带截止频率的巴特沃斯特性二阶低通滤波。

进一步地，该特效包括画笔特效和画面特效。

进一步地，该画笔特效包括根据音乐节奏使得视频中画笔画出的线条粗细发生变化或颜色发生变化。

进一步地，该画面特效包括根据音乐节奏使得视频中画面进行缩放或发生颜色变化。

进一步地，该特效包括根据音乐节奏使得播放音乐或视频的设备发生震动。

本发明还提供了一种基于音乐节奏生成特效的装置，包括：

提取模块，用于提取一段音乐的脉冲编码调制数据；

运算模块，用于对提取到的脉冲编码调制数据进行数学运算以得到代表该段音乐的节奏的数值；

渲染模块，用于利用代表音乐节奏的数值驱动特效。

进一步地，该运算模块具体用于：

计算音频合并样本的脉冲编码调制数据的均方根或方差得到样本的有效值；其中，音频合并样本通过将多个声道若干个样本进行混合获得。

进一步地，该运算模块中还包括滤波模块，该滤波模块用于对该音频合并样本进行低通滤波。

进一步地，该运算模块还用于：对样本的有效值进行指数平滑以得到代表该段音乐的节奏的数值。

进一步地，该滤波模块采用带截止频率的巴特沃斯特性二阶低通滤波器。

进一步地，该渲染模块包括画笔特效模块和画面特效模块。

进一步地，该画笔特效模块用于根据音乐节奏使得视频中画笔画出的线条粗细发生变化或颜色发生变化。

进一步地，该画面特效模块用于根据音乐节奏使得视频中画面进行缩放或发生颜色变化。

进一步地，渲染模块用于根据音乐节奏使得播放音乐或视频的设备发生震动。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时能够实现权利要求上述基于音乐节奏生成特效的方法。

本发明的优点及其效果，通过在图形图像处理的基础上引入音频维度(元素)，使得一段视频的特效效果不会一成不变，而会随着音频节拍有所改变，强节拍表现出强烈的特效效果，弱节拍表现出弱的特效效果，满足了用户的个性化需求。

附图说明

图1是本发明基于音乐节奏生成特效的方法的流程图；

图2是本发明基于音乐节奏生成特效的方法的装置的结构框图；

图3是本发明基于音乐节奏生成特效的方法一优选实施例的流程图。

具体实施方式

下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。

参图1所示，本实施例提供了一种基于音乐节奏生成特效的方法，包括：

步骤s1，提取一段音乐的脉冲编码调制数据；

步s2,对提取到的脉冲编码调制数据进行数学运算以得到代表该段音乐的节奏的数值；

步骤s3，利用所述代表音乐节奏的数值驱动特效。

在本实施例中，步骤s2包括：

计算音频合并样本的脉冲编码调制数据的均方根或方差得到样本的有效值；其中，所述音频合并样本通过将多个声道若干个样本进行混合获得。

在本实施例中，计算音频合并样本的脉冲编码调制数据的均方根或方差得到样本的有效值之前还包括：对该音频合并样本进行低通滤波。在本实施例中，该低通滤波为带截止频率的巴特沃斯特性二阶低通滤波。在计算均方根或方差之前加入低通滤波可过滤掉高频信号，避免高频信号在后续计算过程过来的噪声数据。

在本实施例中，计算音频合并样本的脉冲编码调制数据的均方根或方差得到样本的有效值之后还包括：对样本的有效值进行指数平滑以得到代表该段音乐的节奏的数值。在计算均方根或方差之后对有效值进行一次指数平滑，可提升计算准确度，更好的反应音乐节奏。

在本实施例中，该特效包括画笔特效和画面特效，包括根据音乐节奏使得视频中画笔画出的线条粗细发生变化或颜色发生变化。该画面特效包括根据音乐节奏使得视频中画面进行缩放或发生颜色变化。该特效包括根据音乐节奏使得播放音乐或视频的设备发生震动。

本实施例提供基于音乐节奏变化生成特效的方法在图形图像处理的基础上引入了音频维度(元素)，使得一段视频的特效效果不会一成不变，而会随着音频节拍有所改变，强节拍表现出强烈的特效效果，弱节拍表现出弱的特效效果，满足了用户的个性化需求。

参图2所示，本实施例还提供了一种基于音乐节奏生成特效的装置，包括：

提取模块10，用于提取一段音乐的脉冲编码调制数据；

运算模块20，用于对提取到的脉冲编码调制数据进行数学运算以得到代表该段音乐的节奏的数值；

渲染模块30，用于利用代表音乐节奏的数值驱动特效。

在本实施例中，运算模块20具体用于：

计算音频合并样本的脉冲编码调制数据的均方根或方差得到样本的有效值；其中，音频合并样本通过将多个声道若干个样本进行混合获得。

在本实施例中，运算模块20中还包括滤波模块，该滤波模块用于对该音频合并样本进行低通滤波。滤波模块可过滤掉高频信号，避免高频信号在后续计算过程过来的噪声数据。

在本实施例中，运算模块20还用于：对样本的有效值进行指数平滑以得到代表该段音乐的节奏的数值。在计算均方根或方差之后对有效值进行一次指数平滑，可提升计算准确度，更好的反应音乐节奏。

在本实施例中，滤波模块采用带截止频率的巴特沃斯特性二阶低通滤波器。

在本实施例中，该渲染模块30包括画笔特效模块和画面特效模块。

在本实施例中，该画笔特效模块用于根据音乐节奏使得视频中画笔画出的线条粗细发生变化或颜色发生变化。

在本实施例中，该画面特效模块用于根据音乐节奏使得视频中画面进行缩放或发生颜色变化。

在本实施例中，渲染模块30用于根据音乐节奏使得播放音乐或视频的设备发生震动。

本实施例提供基于音乐节奏生成特效的装置在图形图像处理的基础上引入了音频维度(元素)，使得一段视频的特效效果不会一成不变，而会随着音频节拍有所改变，强节拍表现出强烈的特效效果，弱节拍表现出弱的特效效果，满足了用户的个性化需求。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时能够实现权利要求上述基于音乐节奏生成特效的方法。

参图3所示，图3示出了基于音乐节奏变化生成特效的方法的一优选实施例，在该实施例中，整个系统的输入为mp3、aac等编码音频数据，解码得到脉冲编码调制数据(pcm数据)。对多个声道若干个样本进行混合得到单一的数值，然后进行低通滤波，目的是过滤高频信号，避免高频信号在后续计算过程过来的噪声数据。接着计算已合并样本的均方根，得到这些样本的有效值。然后进行指数平滑，在一定程度上对音频变化进行预测，得到每个样本的最终值，作为后续特效的输入。

对于低通滤波，该实施例采用了带截止频率的巴特沃斯特性二阶低通滤波器进行低通滤波，二阶低通滤波器频域表达式，如下式：

式中，k表示增益。

令代入二阶低通滤波器频域表达式得到对应的二阶低通滤波器时域表达式，如下式：

y(n)＝kx(n)+kb1x(n-1)+kb2x(n-2)-a1y(n-1)-a2y(n-2)

对于均方根，其计算公式如下式：

对于指数平滑，在此为简化计算复杂度，采用了一阶指数平滑，具体计算如式：

st＝α·xt+(1-α)·st-1

本发明提供的基于音乐节奏变化生成特效的方法及装置具有如下技术效果：

1)通过加入音频元素，使特效随着音频节奏变化而变化，使特效和音频节奏紧密结合。

2)音频节拍通过视频特效体现，让用户产生强烈的视觉冲击。具体特效的形式包括：根据音乐节奏使得视频的画面有节奏的放大或缩小；根据音乐节奏使得视频的画面有节奏的变色；根据音乐节奏使得视频中画笔画出的线条粗细变化，颜色变化。

3)音频节拍不仅仅用于视频处理特效，还可以用于任何音乐和用户交互的地方，比如手机震动回馈，即音乐强节拍产生手机震动回馈。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。