一种多媒体音频分析和处理方法与流程

1.本发明涉及数据处理领域，且更确切地涉及一种音箱数据信息处理方法。


背景技术：

2.音箱指可将音频信号变换为声音的一种设备。通俗地讲，就是指音箱主机箱体或低音炮箱体内自带功率放大器，对音频信号进行放大处理后由音箱本身回放出声音，使其声音变大。音箱也是整个音响系统的终端，其作用是把音频电能转换成相应的声能，并把它辐射到空间去。它是音响系统极其重要的组成部分，担负着把电信号转变成声信号供人的耳朵直接聆听的任务。
3.现有技术中，多媒体数据信息很容易由多种数据信息混合而成，如何从混合的多媒体数据信息中分解音频数据信息，并从音频数据信息中分解噪音，得到清楚、纯净的数据信息仍旧是亟待解决的技术问题。在音频数据信息分析过程中，如何提取音频数据信息中的脉冲特征也是多媒体音频数据信息分析的关键要点，现有技术的媒体音频分析和处理存在自动化程度差，智能型不好的问题。


技术实现要素：

4.针对上述技术的不足，本发明公开一种多媒体音频分析和处理方法，通过采用人工智能计算方法，能够实现音频数据信息的自动化、智能分析，提高了多媒体音频分析和处理能力。
5.为了实现上述技术效果，本发明采用以下技术方案：一种多媒体音频分析和处理方法，其中包括：步骤一、获取多媒体音频数据信息，音频数据信号包括源目的地址信息、麦克风数据信息、数据协议数据信息、音频脉冲振幅信息和音箱音频数据，对获取的音频数据信息进行预处理；步骤二、通过asr提取的模型提取多媒体音频数据信息的信息特征，将所提取到的多媒体音频数据信息的信息特征中的噪声去除，将音频中的数据信息进行分层式的特征提取，清晰解析出音频中所包含的信息内容并过滤杂波信息；步骤三、通过多媒体音频特征处理函数处理多媒体音频数据信息，判断多媒体音频数据信息交互能力。
6.作为本发明进一步的技术方案，提取模型包括以下步骤：步骤一：在原始音特征中除去干扰声音内容，将频域数据信息转换到时阈数据信息处理，输出去噪后的音频数据信息，去噪函数表达式为：（1）在公式（1）中，表示原音频特征，中的s表示原音频特征标识，表示干扰声音特征，中的n表示干扰声音特征标识，表示音频差异特征，表示的
是音频特征数据变量；改进型去噪公式如公式（2）所示：（2）在公式（2）中，表示音频差异特征，其中表示减法因子，表示阈值参数，为原音频特征输出，表示干扰声音特征，表示音频特征数据变量，通过公式（2）得到纯净的音频数据信息；步骤二：引入阈值参数，将小于的音频数值统一归为阈值，对音频信号的编解码进行操作，在该模型下输入音频特征序列，以提高音频数据信息的真实性信息获取；分析函数如公式（3）所示：（3）在公式（3）中，表示输入的音频数据，中的i表示音频数据流个数，表示分析音频数据信息时音频数据信息特征值，表示阈值参数，表示的是音频数据浮动基数，表示分析输出函数，并将输入的数据信息编码处理；步骤三：对音频编码中输入的序列经过两个层次的非线性变换，得到每个时刻维数相同的状态向量组成一个集合，变换函数如公式（4）所示：（4）在公式（4）中，表示变换函数，表示输入特征序列，表示变换后的状态向量情况，表示音频数据特征变化的模式；新音频数据函数公式（5）所示：（5）在公式（5）中，表示音频数据信息采样数据经过的周期，表示音频数据状态向量组成集合，表示原音频特征下的音频数据状态向量集合，表示具有向量系数音频数据组成集合处理结果，k表示的是音频数据集合组数，表示通过更新音频数据后的音
频数据向量状态。
7.作为本发明进一步的技术方案，多媒体音频特征处理函数方法为：步骤一：多媒体音频数据信息变换；根据音频特征交互原理构建了相同标记的音频特征数据标识模型，计算变换过程中音频特征值，如公式（6）所示： (6)在公式（6）中，其中表示交互后的音频特征，表示输入的音频数据，表示交互过程中的音频变化系数，表示特征输入变量的平均值；假设交互后的音频数据信息特征状态与整个输入音频数据信息对比，最稳定状态下音频数据信息特征状态输出函数为如公式（7）所示： (7)在公式（7）中，表示音频数据信息采样数据经过的周期，表示交互过程中最稳定时音频数据信息特征状态；步骤二：接收转换后的音频数据信息，并将转换后的音频数据信息存储，当满足公式（8）时，将数据信息存储： (8)在公式（8）中，，系统接收的输入的特征数据通过转换后，等数据信息恒等于0时，表示数据转换效率最高，表明音频数据信息计量时，获取到全部转换的音频数据信息，表示音频的特征数据随时间变化的系数，表示音频特征状态数据可能产生的变化量，表示音频数据信息采样数据经过的周期；步骤三：实时调整更新的音频数据信息，并对调整后的数据信息进行预测，预测公式如公式（9）所示：
ꢀꢀ
(9)在公式（9）中，表示音频特征数据稳定函数， 表示其中某一种类型的音频特征数据表达式，其中表示在时间变化情况下的音频特征数据变化量，计算公式如公式（10）所示： (10)在公式（10）中，数据随时间变化因子的差值，表示最稳定情况下对于任意音频特征数据的接收常量；步骤四：设定接收到的音频数据信息特征，根据特征变化数据的稳定值关系式，判断音频数据存储传输： (11)
在公式（11）中，表示稳定情况下的音频特征数据输入函数，表示在时间变化情况下的音频特征数据变化量，表示已设定情况下的计划接收稳定特征数据量值；当计算出的比值系数大于1时，则代表其中夹杂有其他类型音频特征，不予以接收；当比值系数小于1时，则该类型的音频特征存储传输处理。
8.本发明有益的积极效果在于：区别于常规技术，本发明通过获取多媒体音频数据信息，音频数据信号包括源目的地址信息、麦克风数据信息、数据协议数据信息、音频脉冲振幅信息和音箱音频数据，对获取的音频数据信息进行预处理；通过asr提取的模型提取多媒体音频数据信息的信息特征，将所提取到的多媒体音频数据信息的信息特征中的噪声去除，将音频中的数据信息进行分层式的特征提取，清晰解析出音频中所包含的信息内容并过滤杂波信息；通过多媒体音频特征处理函数处理多媒体音频数据信息，判断多媒体音频数据信息交互能力。
附图说明
9.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图，其中：图1为本发明流程示意图；图2为本发明中一种实施例示意图；图3为本发明中aekf数据处理方法示意图。
具体实施方式
10.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
11.如图1-图3所示，一种多媒体音频分析和处理方法，包括：步骤一、获取多媒体音频数据信息，音频数据信号包括源目的地址信息、麦克风数据信息、数据协议数据信息、音频脉冲振幅信息和音箱音频数据，对获取的音频数据信息进行预处理；步骤二、通过asr提取的模型提取多媒体音频数据信息的信息特征，将所提取到的多媒体音频数据信息的信息特征中的噪声去除，将音频中的数据信息进行分层式的特征提取，清晰解析出音频中所包含的信息内容并过滤杂波信息；步骤三、通过多媒体音频特征处理函数处理多媒体音频数据信息，判断多媒体音频数据信息交互能力。
12.本发明对于多媒体音频的分析和处理方法进行设计，本发明基于自动化技术和音频数据特征获取分析技术进行总体方案设计，通过自动化技术可以对于多媒体中可能的多媒体音频数据信息，音频数据信号包括源目的地址信息、麦克风数据信息、数据协议数据信息、音频脉冲振幅信息和音箱音频数据进行针对性的自动获取。同时基于asr（audio
‑ꢀ
speech recognition。音频语音识别）的特征提取技术来进行音频数据特征获取，将音频中的数据信息进行分层式的特征提取，从而清晰地解析出音频中所包含的信息内容。
13.在具体实施例中，提取模型包括以下步骤：本发明的处理流程中原始音频信号首先进行采样，得到符合需求的数据，然后进行采样去噪。
14.步骤一：在原始音特征中除去干扰声音内容，将频域数据信息转换到时阈数据信息处理，输出去噪后的音频数据信息，去噪函数表达式为：（1）在公式（1）中，表示原音频特征，中的s表示原音频特征标识，表示干扰声音特征，中的n表示干扰声音特征标识，表示音频差异特征，表示的是音频特征数据变量；当实际干扰声音大于预计所存在的干扰声音时进行减法操作，可能会出现额外的干扰声音。本发明对特征去干扰法进行了改进，改进型去噪公式如公式（2）所示：（2）在公式（2）中，表示音频差异特征，其中表示减法因子，表示阈值参数，为原音频特征输出，表示干扰声音特征， 表示音频特征数据变量，通过公式（2）得到纯净的音频数据信息。
15.其中的改进后的干扰减法能够去除原始音频信号中的更多干扰声音，音频数据中所残留干扰声音减少。
16.在具体实施例中，多媒体音频数据信息容易受到外界多种数据信息的影响，获取的音频数据信息不纯净，其次很多音频数据中容易夹杂着多种不同种类的数据信息，比如音乐数据信息、语音数据信息或者视频数据信息等，这些数据因素导致输入的音频数据信息无法分离。通过，音频差异特征、减法因子、阈值参数、原音频特征输出、干扰声音特征、音频差异特征，音频特征数据变量等多种参数，不仅仅能够识别这些数据信息，还能够将输入的音频数据信息分类。
17.步骤二：引入阈值参数，将小于的音频数值统一归为阈值，减小了残余干扰声音峰值差距；对音频信号的编解码进行操作，在该模型下输入音频特征序列，以提高音频数据信息的真实性信息获取；经过多次激活音频信息函数的操作后，其中的数据信息分布可能更加分散，并且散布范围越来越大，导致收敛缓慢。在激活音频函数之前减少数据分散性，可以更好的进行音频的分析，分析函数如公式（3）所示：
（3）在公式（3）中，表示输入的音频数据，中的i表示音频数据流个数，表示分析音频数据信息时音频数据信息特征值，表示阈值参数，表示的是音频数据浮动基数，表示分析输出函数，并将输入的数据信息编码处理。
18.该公式的作用是用来进行防止音频失真和保持音频的播放流程较为流畅的能力。在具体信号分析过程中，还可以参考将其他数据因素融入到该函数，如何将隐藏在音频数据信息中的函数信息挖掘出来，可以通过设置音频数据信息时音频数据信息特征值进而进行筛选。
19.步骤三：对音频编码中输入的序列经过两个层次的非线性变换，得到每个时刻维数相同的状态向量组成一个集合，变换函数如公式（4）所示：（4）在公式（4）中，表示变换函数，表示输入特征序列，表示变换后的状态向量情况，表示音频数据特征变化的模式；得到集合后，每一时刻的音频数据向量进行一个全新的变化计算，来更新音频数据流数据信息的状态向量，更新音频数据函数公式（5）所示：（5）在公式（5）中，表示音频数据信息采样数据经过的周期，表示音频数据状态向量组成集合，表示原音频特征下的音频数据状态向量集合，表示具有向量系数音频数据组成集合处理结果，k表示的是音频数据集合组数，表示通过更新音频数据后的音频数据向量状态；最后通过上述公式的更新机制，实现了音频信号特征的前期干扰数据的分解和最终纯净声音数据的融合，在可能出现音频缺失和干扰声音污染严重的情况下辅助修正音频的特征，从而保证音频的完整和质量，便于后续对于音频的处理工作。上述公式将宏观的数据现象转换为微观的数据思维以提高音频数据信息分析能力。在具体体实施例中，对于多媒体音频数据的特征获取技术，本发明基于asr特征提取模型来进行，通过该方法的使用，可以获取记录时间周期较长的相关音频信息，同时对于处理音频的长度没有限制，音频长度的增加将带来其中音频数据量的增大。使用特征区分来对特征进行前期的拆分和后期的
组合，解决了音频处理速率较慢等问题。对原始的音频数据先要进行预处理再输入到asr多媒体音频模型中。在具体实施例中，语音识别（automatic speech recognition）一般简称asr；能够将声音转化为文字的过程，相当于人类的耳朵。语音识别原理流程：“输入——编码——解码——输出
”ꢀ
，大体可分为“传统”识别方式与“端到端”识别方式，其主要差异就体现在声学模型上。
20.在具体实施例中，训练（training）是预先分析出语音特征参数，制作语音模板，并存放在语音参数库中。识别（recognition）是将待识语音经过与训练时相同的分析，得到语音参数。将它与库中的参考模板一一比较，并采用判决的方法找出最接近语音特征的模板，得出识别结果。失真测度（distortion measures）是在进行比较时要有个标准，这就是计量语音特征参数矢量之间的“失真测度”。主要识别框架：基于模式匹配的动态时间规整法（dtw）和基于统计模型的隐马尔可夫模型法（hmm）。
21.本技术的技术亮点在于能够将实现多媒体数据信息的去噪处理、特征提取和实时更新。在具体实施例中，可以选用tw2984芯片用来采集音频信号，支持4路音频同步输入，内置4个完整的音频adc和1个音频dac转换器，支持多通道的输入，采样频率为8/16/32/44.1/48khz。音视频编码模块通过ad转换芯片转换为数字rgb视频信号和音频信号，进行编码压缩后通过连接的线路输出。
22.随着不断的进行音频特征的提取，音频特征数据量也会随着提取的速度而不断的持续增长，因此传统数据处理方法无法对复杂数据快速处理，本技术通过aekf（audio attenuated ekf，音频衰减）数据处理算法能够完成对于特征数据的精准的降干扰计算，并进行分类形式的数据处理，从而减少对于不同音频数据类型的处理时间，提高处理效率。
23.在具体实施例中，多媒体音频特征处理函数方法为：步骤一：多媒体音频数据信息变换；根据音频特征交互原理构建了相同标记的音频特征数据标识模型，通过多媒体音频特征处理算法提高音频数据信息计算精确度，通过调整音频数据信息特征在系统中的变换状况，使不同时刻的样本数据满足音频特征交互原理，通过进行音频特征交互，提高音频数据信息交互能力；计算变换过程中音频特征值，如公式（6）所示： (6)在公式（6）中，其中表示交互后的音频特征，表示输入的音频数据，表示交互过程中的音频变化系数，表示特征输入变量的平均值；假设交互后的音频数据信息特征状态与整个输入音频数据信息对比，最稳定状态下音频数据信息特征状态输出函数为如公式（7）所示： (7)在公式（7）中，表示音频数据信息采样数据经过的周期，表示交互过程中最稳定时音频数据信息特征状态；步骤二：接收转换后的音频数据信息，并将转换后的音频数据信息存储，当满足公式（8）时，将数据信息存储：
ꢀ
(8)在公式（8）中，，系统接收的输入的特征数据通过转换后，等数据信息恒等于0时，表示数据转换效率最高，表明音频数据信息计量时，获取到全部转换的音频数据信息，表示音频的特征数据随时间变化的系数，表示音频特征状态数据可能产生的变化量，表示音频数据信息采样数据经过的周期；步骤三：实时调整更新的音频数据信息，并对调整后的数据信息进行预测，预测公式如公式（9）所示： (9)在公式（9）中，表示音频特征数据稳定函数， 表示其中某一种类型的音频特征数据表达式，其中表示在时间变化情况下的音频特征数据变化量，计算公式如公式（10）所示： (10)在公式（10）中，数据随时间变化因子的差值，表示最稳定情况下对于任意音频特征数据的接收常量；步骤四：设定接收到的音频数据信息特征，根据特征变化数据的稳定值关系式，判断音频数据存储传输： (11)在公式（11）中，表示稳定情况下的音频特征数据输入函数，表示在时间变化情况下的音频特征数据变化量，表示已设定情况下的计划接收稳定特征数据量值；当计算出的比值系数大于1时，则代表其中夹杂有其他类型音频特征，不予以接收；当比值系数小于1时，则该类型的音频特征存储传输处理。
24.最后通过对比后的比值系数被系统记录，利用特征值标记的方法完成不同音频特征值的标记区分，从而进行对于多媒体音频的分类存储和分类传输处理。
25.虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。