一种基于音频文件的沙画绘制方法、装置及终端设备与流程

本发明涉及自动绘画技术领域，尤其涉及一种基于音频文件的沙画绘制方法及装置。

背景技术：

绘画艺术创作是艺术家以社会生活为源泉，经历生活积累、创作构思、艺术表达三大阶段后的创作灵感迸发结果。而沙画就是用沙子作画，通过沙子的布撒和抹除形成独特的影像；而现有的沙画绘制均是通过作画者进行手工绘制，没有自动绘制沙画作品的技术方案。

技术实现要素：

本发明实施例提供一种基于音频文件的沙画绘制方法、装置及终端设备，能根据音频文件控制调频振动装置的振动状态，使得沙画绘制载体上的沙子根据对应的振动状态进行重构，自动生成沙画作品。

本发明一实施例提供一种基于音频文件的沙画绘制方法，包括：

获取音频文件并将所述音频文件转化为频谱图，获得与所述音频文件对应的声音波形图；

对所述声音波形图中的波峰和波谷进行聚类合并，获得已处理波形图；

根据所述已处理波形图，控制设置于沙画绘制载体内的调频振动装置进行振动，以使布撒在所述沙画绘制载体上的沙子，在所述调频振动装置振动时进行重构，生成沙画作品。

进一步的，所述对所述声音波形图中的波峰和波谷进行聚类合并，获得已处理波形图，具体包括：

计算所述声音波形图中，波峰和波谷的波动距离的平均值；

将所述平均值与预设的比例相乘，获得用于聚类合并的阈值，继而根据所述阈值对所述声音波形图中的波峰和波谷进行聚类合并。

进一步的，根据所述已处理波形图的声波频率和振幅，控制所述调频振动装置进行振动。

进一步的，在对所述声音波形图中的波峰和波谷进行聚类合并之前，还包括：对所述声音波形图进行灰度处理。

在上述方法项实施例的基础上，本发明对应提供了装置项实施例；

本发明一实施例提供了一种基于音频文件的沙画绘制装置，包括音频文件转化模块、聚类模块以及振动控制模块；

所述音频文件转化模块，用于获取音频文件并将所述音频文件转化为频谱图，获得与所述音频文件对应的声音波形图；

所述聚类模块，用于对所述声音波形图中的波峰和波谷进行聚类合并，获得已处理波形图；

所述振动模块，用于根据所述已处理波形图，控制设置于沙画绘制载体内的调频振动装置进行振动，以使布撒在所述沙画绘制载体上的沙子，在所述调频振动装置振动时进行重构，生成沙画作品。

进一步的，包括灰度处理模块；所述灰度处理模块，用于在对所述声音波形图中的波峰和波谷进行聚类合并之前，还包括：对所述声音波形图进行灰度处理。

在上述方法项实施例的基础上，本发明还提供了对应的终端设备项实施例；

本发明另一实施例提供了一种基于音频文件的沙画绘制终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现本发明上述任意一项方法项实施例所述的基于音频文件的沙画绘制方法。

通过实施本发明的实施例具有如下有益效果：

本发明实施例提供了一种基于音频文件的沙画绘制方法、装置及终端设备，所述方法首先获取音频文件，对音频文件进行频谱转化和聚类合并得到已处理波形图，最后根据已处理波形图，控制调频振动装置的振动状态，由于调频振动装置设置在沙画绘制载体内，所以调频振动装置振动时，沙画绘制载体也会振动，这样布撒在沙画绘制载体上的沙子，会随着沙画绘制载体的振动，进行位置的移动实现重构，最终生成和音频文件对应的沙画作品，实现沙画作品的自动绘制。

附图说明

图1是本发明一实施例提供的一种基于音频文件的沙画绘制方法的流程示意图。

图2是本发明一实施例提供的一种基于音频文件的沙画绘制方法的成品效果示意图。

图3是本发明一实施例提供的一种基于音频文件的沙画绘制装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明一实施例提供了一种基于音频文件的沙画绘制方法，包括：

步骤s101：获取音频文件并将所述音频文件转化为频谱图，获得与所述音频文件对应的声音波形图。

步骤s102：对所述声音波形图中的波峰和波谷进行聚类合并，获得已处理波形图。

步骤s103：根据所述已处理波形图，控制设置于沙画绘制载体内的调频振动装置进行振动，以使布撒在所述沙画绘制载体上的沙子，在所述调频振动装置振动时进行重构，生成沙画作品。

对于步骤s101、首先获取一音频文件，该音频文件可以是直接接收用户上传的音频文件，也可以是从本地的指定文件目录中提取。音频文件获取之后，根据文件的振幅和频率属性转化为频谱图，获得上述声音波形图；

需要说明的是，频谱是频率谱密度的简称，是频率的分布曲线。复杂振荡分解为振幅不同和频率不同的谐振荡，这些谐振荡的幅值按频率排列的图形叫做频谱。频谱广泛应用于声学、光学和无线电技术等方面。频谱将对信号的研究从时域引入到频域，从而带来更直观的认识。把声振动分解成的频谱称为声谱，频谱分析已经成为分析各种复杂振动的一项基本方法。

对于步骤s102、在一个优选的实施例中，所述对所述声音波形图中的波峰和波谷进行聚类合并，获得已处理波形图，具体包括：

计算所述声音波形图中，波峰和波谷的波动距离的平均值；

将所述平均值与预设的比例相乘，获得用于聚类合并的阈值，继而根据所述阈值对所述声音波形图中的波峰和波谷进行聚类合并。

具体的，首先根据每个声音波形图中声波的波动情况设置一个合理的阈值，进行聚类合并，去掉相邻或相近的波峰、波谷。例如，根据波形图中波峰、波谷整体比例的平均间隔来得到一个阈值，具体为取声音波形图中200个波峰、波谷来统计，求每个波峰、波谷上下波动距离的平均值，将平均值作为参考值，取参考值的1/4作为阈值。将低于该阈值的波峰以及波谷进行去除。这一实施例的主要目的是去除音频文件中的杂波，使得最终的成像效果更好。

在一个优选的实施例中，在对所述声音波形图中的波峰和波谷进行聚类合并之前，还包括：对所述声音波形图进行灰度处理。通过灰度处理可以提高后续计算机的计算速度。

对于步骤s103、首先对沙画绘制载体进行说明，沙画绘制载体即绘制沙画作品的载体，在本发明实施例中，上述沙画绘制载体内设置有调频振动装置，调频振动装置指，使受调制波的瞬时频率影响，随调制信号(调制波)而变化，使用调制信号直接控制自激振荡器的电路参数或工作状态，使其振荡频率受到调制的装置。在沙画绘制载体的上布撒有用于绘制沙画的沙子。

在一个优选的实施例中，所述根据所述已处理波形图，控制设置于沙画绘制载体内的调频振动装置进行振动，具体包括：

根据所述已处理波形图的声波频率和振幅，控制所述调频振动装置以与所述声波频率相同的频率和振幅进行振动。

首先根据已处理波形图，可以提取音频文件的频率以及在各个时间节点的振幅大小，因此根据已处理波形图中声波的频率和振幅，生成调制信号并输出值调频振动装置中，调频振动装置接收调制信号并以与所述已处理波形图的声波频率相同的频率和频率，进行振动，调制振动装置振动时，带动沙画绘制载体进行振动，然后沙画绘制载体上的沙子，会因为振动产生位置的移动，从而实现了沙画绘制载体上沙子所构成的形状的重构，生成与音频文件对应的沙画作品。

优选的上述沙画绘制载体为一平面背板容器；

为更好的说明上述方案，以下例列举一实际的例子进行进一步的说明：

在固定大小的平面背板容器中，均匀的平铺细沙，调频振动装置根据得到的频谱图的输出频率以及每一时刻的振幅，进行振动，通过振动平面背板容器中的细沙进行自然重构，得到一幅沙画作品。具体的效果图可参见附图2。

在本发明上述方法项实施例的基础上，对应提供了装置项实施例。

如图3所示，本发明一实施例提供了一种基于音频文件的沙画绘制装置，包括音频文件转化模块、聚类模块以及振动控制模块；

所述音频文件转化模块，用于获取音频文件并将所述音频文件转化为频谱图，获得与所述音频文件对应的声音波形图；

所述聚类模块，用于对所述声音波形图中的波峰和波谷进行聚类合并，获得已处理波形图；

所述振动模块，用于根据所述已处理波形图，控制设置于沙画绘制载体内的调频振动装置进行振动，以使布撒在所述沙画绘制载体上的沙子，在所述调频振动装置振动时进行重构，生成沙画作品。

在一个优选的实施例中，还包括灰度处理模块；所述灰度处理模块，用于在对所述声音波形图中的波峰和波谷进行聚类合并之前，还包括：对所述声音波形图进行灰度处理。

可以理解的是，上述装置项实施例是与本发明方法项实施例相对应的，其可以实现本发明上述任意一项方法项实施例提供的基于音频文件的沙画绘制方法。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元/模块可以是或者也可以不是物理上分开的，作为单元/模块显示的部件可以是或者也可以不是物理单元/模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。所述示意图仅仅是基于音频文件的沙画绘制装置的示例，并不构成对基于音频文件的沙画绘制装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

在上述方法项实施例的基础上对应提供了终端设备项实施例；

本发明一实施例提供了一种基于音频文件的沙画绘制终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现本发明上述任意一项方法项实施例所述的基于音频文件的沙画绘制方法。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于音频文件的沙画绘制终端设备中的执行过程。

所述基于音频文件的沙画绘制终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于音频文件的沙画绘制终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，例如所述基于音频文件的沙画绘制终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于音频文件的沙画绘制终端设备的控制中心，利用各种接口和线路连接整个基于音频文件的沙画绘制终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于音频文件的沙画绘制终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

通过实施本发明的实施例，能使用不同的声音音频作为计算机进行创作的数据依据，通过调频振动装置根据声音的主要属性进行同频率振动，使得砂粒根据振动频率形成诠释声音的图像，从而进行沙画作品的绘画创作，实现让计算机根据不同的音乐灵感自动生成沙画作品。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。