自动识别音乐的灯光控制方法、装置、设备及存储介质与流程

本发明涉及灯光控制领域，尤其是涉及一种自动识别音乐的灯光控制方法、装置、设备及存储介质。

背景技术：

dmx512：digitalmultiplex，是一个标准的用于舞台灯光控制的标准数字传输协议。

art-net：art-net是一个工作在用户数据报协议(udp)，传输dmx512-a照明控制协议和远程设备管理(rdm)协议的互联网协议。

随着社会发展，人们对娱乐的需求逐步提高，不再满足于单纯的听觉感受，开始对全方位的感官娱乐有所要求。灯光作为传达视觉效果的渠道之一，显得越来越重要。人们希望在一些例如ktv、酒吧、舞厅等娱乐场所，现场灯光能够与现场音乐具有一致性，更好的渲染氛围。

现有技术中，常用的实现方案是在pc软件(如madrix)上，由专业人员根据预先编排好的歌曲列表，人为的在软件上编辑灯光效果，在表演现场由专业人员操控pc软件，实时控制灯光状态，达到控制灯光的目的。一方面，由专员进行灯光编辑，现场操控，不仅人工成本高，而且需要进行繁重的重复性工作，还需要现场配备pc，设备成本也很高。另一方面，灯光与预先编排好的曲目属于强耦合关系，临时增删改曲目，需要重新编辑灯光，浪费大量的时间。而且灯光编辑软件(如madrix)通常都是非常昂贵的收费软件，学习成本非常高。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供一种自动识别音乐的灯光控制方法、装置、设备及存储介质。

本发明所采用的技术方案是：一种自动识别音乐的灯光控制方法，包括以下步骤：

获取音频信号；

根据所述音频信号提取音频特征；

根据所述音频特征和所述音频特征与灯光特征的映射关系获取所述灯光特征；

根据所述灯光特征和灯具地址生成灯光控制指令；

根据所述灯光控制指令控制灯具地址对应的灯具按照所述灯光特征进行工作。

进一步地，所述步骤获取音频信号之前还包括步骤：获取预设灯光场景模式信息，所述预设灯光场景模式信息包括一键蹦迪模式、聚餐模式、激情模式、浪漫模式和聊天模式。

进一步地，所述步骤根据所述音频信号提取音频特征具体包括：

根据所述音频信号获取时域波形；

对所述时域波形信号进行快速离散傅里叶变换；

对快速傅里叶变换后的信号进行频谱功率计算；

对频谱功率计算后的信号进行滤波；

根据滤波后的信号提取音频特征。

进一步地，所述步骤对快速傅里叶变换后的信号进行频谱功率计算具体包括：快速傅里叶变换后的每个信号分量为复数，则所述频谱功率为所述复数的模。

进一步地，所述音频信号包括音频文件或网络流媒体或外部音频源信号，所述灯光特征包括灯光亮度和/或光柱高度。

进一步地，所述灯具地址为art-net协议下的灯具的地址。

一种自动识别音乐的灯光控制装置，包括：

音频信号获取模块，用于获取音频信号；

音频特征提取模块，用于根据所述音频信号提取音频特征；

灯光特征获取模块，用于根据所述音频特征和所述音频特征与灯光特征的映射关系获取所述灯光特征；

灯光控制指令生成模块，用于根据所述灯光特征和灯具地址生成灯光控制指令，所述灯具地址为art-net协议下的灯具的地址；

控制模块，用于根据所述灯光控制指令控制灯具地址对应的灯具按照所述灯光特征进行工作。

进一步地，所述自动识别音乐的灯光控制装置还包括：预设灯光场景模式信息获取模块，用于获取预设灯光场景模式信息，所述预设灯光场景模式信息包括一键蹦迪模式、聚餐模式、激情模式、浪漫模式和聊天模式。

一种自动识别音乐的灯光控制设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的一种自动识别音乐的灯光控制方法。

一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述的一种自动识别音乐的灯光控制方法。

本发明的有益效果是：

本发明通过获取音频信号，根据音频信号提取音频特征，根据音频特征和音频特征与灯光特征的映射关系获取灯光特征，根据灯光特征和灯具地址生成灯光控制指令，根据灯光控制指令控制灯具地址对应的灯具按照灯光特征进行工作。克服了现有技术中利用pc软件人为编辑灯光效果存在的成本高、浪费时间的技术问题，通过自动识别音乐并根据音乐的音频特征控制灯具产生相应的灯光效果，使得音乐和灯光具备一致性，更好的渲染娱乐氛围，在实现自动化识别的同时，不仅降低了成本，而且提高了用户体验。

另外，本发明还可以获取预设灯光场景模式信息，用户通过一键选择预设灯光场景模式，自动识别灯光场景模式中包括的音乐，并控制灯具渲染相应的灯光效果，操作简单便捷，用户体验好。

本发明可广泛应用于各种娱乐场所的娱乐设备。

附图说明

图1是本发明中一种自动识别音乐的灯光控制方法的流程示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明公开了一种自动识别音乐的灯光控制方法。如图1所示，是本发明中一种自动识别音乐的灯光控制方法的流程示意图。该方法包括以下步骤：

s1.获取预设灯光场景模式信息。可在系统内预设多种灯光场景模式，如一键蹦迪模式、聚餐模式、激情模式、浪漫模式和聊天模式等。每个灯光场景模式中包括了与该场景对应的多首音乐。用户可一键选择其中一种灯光场景模式，系统自动识别灯光场景模式中包括的音乐，并控制灯具渲染相应的灯光效果。

s2.获取音频信号。本实施例中，音频信号包括内置播放器解码的音频文件或网络流媒体或外部音频源信号，可以选择其中一种音频信号。外部音频源信号包括来自点歌机、pc播放器等外部设备的音频信号，外部音频源信号通过音频输入接口(aux接口、rca接口等)输入到本发明的灯光控制装置以进行后续的分析处理和控制灯光步骤。即本发明的灯光控制装置既可以作为点歌设备，也可以作为灯光控制设备。

s3.根据音频信号提取音频特征。此步骤采用kotlin编程语言实现音频特征提取，具体包括以下步骤：

(1)根据音频信号获取时域波形。将输入的音频信号转换为其时域波形。假设采样率为44100hz，采样得到的时域波形是2048样本的数组，每个样本的大小范围为-128～127，即占一个字节。时域波形用kotlin编程语言可定义为

varwaveform＝bytearray(2048)

(2)对时域波形信号进行快速离散傅里叶变换。对上述的时域波形信号进行fft运算后得到频域信号数组，可定义为

varfft＝floatarray(2050)

2048点的fft，采样率为44100hz，则频率分量精度为δ＝44100hz/2048≈22hz。其中，

fft[0]表示直流分量的幅值，

fft[2]，fft[3]表示δ*1hz信号分量的实部和虚部

fft[4]，fft[5]表示δ*2hz信号分量的实部和虚部

以此类推

fft[2*n]，fft[2*n+1]表示δ*nhz信号分量的实部和虚部

fft[2048]，fft[2049]表示δ*1024≈22050hz信号分量的实部和虚部

(3)对快速傅里叶变换后的信号进行频谱功率计算。根据fft运算的特点，除了直流分量幅值为fft[0]外，第δ*nhz频点的幅值的计算公式为sqrt(fft[2*n]^2+fft[2*n+1]^2)*2/2048。由此可计算出所有频点分量的幅值：varfft_amp:floatarray。取频率在4khz以下的信号作为研究对象，则所有信号的平均幅值可用：

varamp_mean＝fft_amp.slice(intrange(1,200)).sum()/200计算。

(4)对频谱功率计算后的信号进行滤波。每次采样得到一个平均幅值amp_mean，使用一个fifo缓冲区存储历史幅值，并进行滤波。

(5)根据滤波后的信号提取音频特征。对滤波后的信号进行幅值提取，通过观察，幅值的每一个峰值点随音乐播放的变化趋势与人听音乐对节拍点的感受是一致的，音乐的节拍点就是幅值的每一个峰值点。据此就可以检测出音乐节拍这个特征，通常人对音乐节拍点的感受是比较深刻，通常会跟着节拍点而做出鼓掌，舞动，抖腿等反应。为了与音乐呼应，在节拍点上实时控制灯光输出的亮度增大，光柱变高，射灯闪烁等就可以提升声光一致性，提高用户体验，达到渲染氛围的作用。

s4.根据音频特征和音频特征与灯光特征的映射关系获取灯光特征。系统内预先存储了音频特征与灯光特征的映射关系。本实施例中，灯光特征包括灯光亮度、光柱高度等特征。通过音频特征与灯光特征的映射关系可获取到灯光亮度或光柱高度，使得灯光亮度和光柱高度与音乐的节拍点相匹配。具体的映射关系可以根据灯具的特性进行拓展。

s5.根据所述灯光特征和灯具地址生成灯光控制指令。art-net协议定义了每个灯具可寻址，每个可独立控制的灯具可以通过一个地址来控制。本实施例中，将所有灯具定义为一个矩形画布(canvas)，每个灯具映射为画布上的一个像素点。使用android系统的canvas绘图api(applicationprogramminginterface，应用程序编程接口)就可以方便的绘制图像，图像则用bitmap格式进行保存和传输。即整个舞台可被当作一个显示器，控制灯光就是显示器显示一幅图像。系统可配置一个灯带对应bitmap图像中的一个像素点的坐标(x，y)，形成一个对应表。根据灯光特征和bitmap图像中每一个像素点的坐标，生成灯光控制指令。

s6.根据灯光控制指令控制对应的灯具按照所述灯光特征进行工作。根据灯光控制指令可控制对应的地址上的灯具按照灯光特征进行工作，即亮度增大或减小、光柱变高或变低，使得音乐和灯光具备一致性，更好的渲染娱乐氛围，提高用户体验。

本发明还公开了一种自动识别音乐的灯光控制装置，包括：

预设灯光场景模式信息获取模块，用于获取预设灯光场景模式信息；

音频信号获取模块，用于获取音频信号；

音频特征提取模块，用于根据音频信号提取音频特征；

灯光特征获取模块，用于根据音频特征和音频特征与灯光特征的映射关系获取灯光特征；

灯光控制指令生成模块，用于根据灯光特征和灯具地址生成灯光控制指令，灯具地址为art-net协议下的灯具的地址；

控制模块，用于根据灯光控制指令控制灯具地址对应的灯具按照灯光特征进行工作。

该自动识别音乐的灯光控制装置的工作步骤与上述的自动识别音乐的灯光控制方法一致，在此不做重复说明。

本发明还公开了一种自动识别音乐的灯光控制装置，包括：

至少一个处理器；以及，

与至少一个处理器通信连接的存储器；其中，

该存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行上述的一种自动识别音乐的灯光控制方法。

具体为：处理器获取内置播放器或外部音频源的音频信号中的一种，将该音频信号转换为时域波形信号，并进行快速离散傅里叶变换，得到频域信号，再进行频谱功率计算和滤波，得到幅值，即该音频信号的音频特征。由于音频特征的幅值处和用户对音乐节奏的感受一致，所以音频特征的幅值处可以增加灯光的亮度和光柱的高度。据此，处理器可以根据音频特征和音频特征与灯光特征的映射关系获取灯光特征(灯光的亮度和光柱的高度)。art-net协议下每个灯具都有对应的灯具地址，处理器根据灯光特征和灯具地址可以生成灯光控制指令，并通过网络交换机传输给多个art-net灯光控制器，多个art-net灯光控制器将灯光控制指令转换为dmx512数据格式，以控制灯具地址对应的多个dmx512灯具按照灯光特征进行工作。

本实施例中，处理器为rk3288芯片。该芯片支持运行android系统，android系统作为开源的软件，可以很好地实现通过算法分析音频特征，而且可以根据需要扩展更多功能。

本发明还公开了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使计算机执行上述的一种自动识别音乐的灯光控制方法。

本发明通过获取音频信号，根据音频信号提取音频特征，根据音频特征和音频特征与灯光特征的映射关系获取灯光特征，根据灯光特征和灯具地址生成灯光控制指令，根据灯光控制指令控制灯具地址对应的灯具按照灯光特征进行工作。克服了现有技术中利用pc软件人为编辑灯光效果存在的成本高、浪费时间的技术问题，通过自动识别音乐并根据音乐的音频特征控制灯具产生相应的灯光效果，使得音乐和灯光具备一致性，更好的渲染娱乐氛围，在实现自动化识别的同时，不仅降低了成本，而且提高了用户体验。

另外，本发明还可以获取预设灯光场景模式信息，用户通过一键选择预设灯光场景模式，自动识别灯光场景模式中包括的音乐，并控制灯具渲染相应的灯光效果，操作简单便捷，用户体验好。

本发明可广泛应用于各种娱乐场所的娱乐设备。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。