本发明涉及语音数据处理，特别涉及一种基于大数据的信息高速处理方法。
背景技术：
随着科技进步和网络技术的发展，网络中存在海量的可利用媒体信息，如通话记录、微信语音、会议记录，面对大量的音频数据，用户需要更快速理解语音信息，节约用户时间，提高工作效率。随着信息检索技术的快速发展，语音概要生成技术也日益成熟。从最初基于词频的方法，到引入机器学习，性能均有很大的提升。现有方案一般采用监督学习方法，在训练集中，利用分类模型对训练集进行训练，得到最优的加权系数向量，并对测试集进行分类预测；但依赖监督学习模型，需要标注数据，通常由人工标注实现，非常耗时，且具有主观性，并且容易忽略句间的语义相似度，降低了计算结果的准确性。
技术实现要素：
为解决上述现有技术所存在的问题，本发明提出了一种基于大数据的信息高速处理方法，包括：
对音频块的各帧音频，更新卷积神经网络中最后一层的参数，即加权系数w和偏移量b；
利用bp算法更新卷积神经网络中其他层的参数；
根据新的参数更新各帧音频的多项式表示；
基于现有语音库d，对当前音频块进行重建并计算误差ε，即对当前音频块xk的多项式表示yk进行重建。
优选地，所述对当前音频块xk的多项式表示yk进行重建，进一步包括：
先最小化多元函数f(yk,ck,d)得到最优重建系数然后代入的第一项即l2范数中并计算其值即为当前重建误差ε。
优选地，所述若误差ε大于设定阈值，则将当前音频块加入概要语音库中并更新该库。
优选地，所述将当前音频块加入概要语音库中并更新该库，进一步包括：
1)若对当前音频块xk的多项式表示yk计算得到的重建误差ε大于设定阈值θ，则将当前音频块xk加入概要语音库s中；
2)若当前概要语音库s中含有q个音频块，则更新该库的帧音频多项式表示集合为yq，则使用yk∈yq更新该库d即求解目标函数：
其中，参数λ为大于0的系数，用于调节正则化项的影响。
优选地，
在语音块提取时，在消除直流分量后，提取模拟语音信号时域的lpc系数最大值和频域的平均幅度差；
设定网络输出值当中的众数的
卷积神经网络的输入向量是lpc系数最大值和平均幅度差组成的2维向量，即输入层神经元的个数为2；输出是判断当前帧是有效语音块还是非有效语音块的1维向量，输出层神经元的个数为1；隐藏层神经元个数为5。
在前向传递中，输入信号经隐藏层逐层处理，直至输出层；每一层的神经元状态只影响下一层神经元状态；设wij是输入层与隐藏层的连接加权系数，wjk是隐藏层与输出层的连接加权系数，aj是隐藏层的阈值，bk是输出层的阈值，i代表输入层，j代表隐藏层，k代表输出层。如果输出层得不到期望输出，则转入反向传播，根据预测误差调整网络加权系数和阈值使卷积神经网络预测输出逼近期望输出。。
本发明相比现有技术，具有以下优点：
本发明的方法基于语音大数据处理，抗噪性更强，准确率更高，具备更高的召回率，显著提高了用户获取知识的效率。
附图说明
图1是根据本发明实施例的基于大数据的信息高速处理方法的流程图。
具体实施方式
下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。
本发明的一方面提供了一种基于大数据的信息高速处理方法。图1是根据本发明实施例的基于大数据的信息高速处理方法流程图。
本发明首先获取原始语音数据，进行以下操作：
1)将语音切分为多个音频块，每个音频块包含多帧，提取各帧音频的统计特征，形成相应的特征向量；
2)训练有效语音块多层卷积神经网络，获得各帧的多项式表示；
3)选取前m个音频块为初始结果，并对其进行重建，获得初始语音库和重建系数；
4)根据下一音频块更新卷积神经网络参数，同时对该音频块进行重建并计算重建误差，若误差大于设定阈值，则将该音频块加入概要语音库中并更新该库；
5)按照步骤4)依次在线处理新的音频块直到结束，更新的概要语音数据即为生成的概要语音数据。
步骤1)中所述的提取各帧音频的统计特征形成相应特征向量，具体是：
1)设原始语音均匀分为n个音频块，即每个音频块包含t帧音频，将各帧音频转换成统一码率并保持原始采样率；
2)提取各帧的局部特征，包括过零率平均幅度差和lpc系数；
3)顺序组合各帧的上述音频特征，形成维度为nf的特征向量。
步骤2)中的初步训练有效语音块多层卷积神经网络获得各帧的多项式表示，具体是：
利用去噪编码器初步训练多层卷积神经网络；
a、在每一层对各帧音频进行如下操作：首先，通过添加高斯噪声、随机设输入变量为任意值生成各帧音频噪声；然后，音频噪声进行映射得到其多项式表示；
b、对卷积神经网络的各层参数进行调整更新；
步骤3)中的对概要语音数据进行重建，具体是：
1)概要语音数据由原始语音的前m个音频块组成，m为正整数，即共有m×t帧音频，xk对应第k个原始音频块；通过初步训练卷积神经网络得到相应的多项式表示为{y1,y2,…,yk,ym}，yk对应第k个音频块的多项式表示；
2)设初始语音库d由nd个元素组成，即d＝{dj}j∈[1,nd]，dj对应第j个元素；设重建系数为c，其元素个数对应帧数量，其维度对应库的元素数量，即c＝{ci}i∈[1,nf]，ck对应第k个音频块系数，ci对应第i帧语音；
3)利用以下公式分别得到初始语音库d和重建系数c，即：
其中，符号||·||2表示变量的l2范数，正则化参数λ为大于0的系数，多元函数f(yk,ck,d)的具体表达为：
其中，参数γ为大于0的系数，符号中的数学式表示使用库d对第i帧音频进行重建。具体为：先固定参数d，使上述目标函数变成参数c的凸函数；然后固定参数c，使上述目标函数变成参数d的凸函数，迭代交替更新两个参数。
步骤4)中的根据下一音频块更新卷积神经网络参数并对该音频块进行重建和计算重建误差，具体是：
1)对该音频块的各帧音频依次做如下操作：
a.更新卷积神经网络中最后一层的参数，即加权系数w和偏移量b；
b.利用bp算法更新卷积神经网络中其他层的参数；
2)根据新的参数更新各帧音频的多项式表示；
3)基于现有语音库d，对当前音频块进行重建并计算误差ε，即对当前音频块xk的多项式表示yk进行重建，具体步骤为：先最小化多元函数f(yk,ck,d)得到最优重建系数然后代入的第一项即l2范数中并计算其值即为当前重建误差ε。
步骤4)中的若误差大于设定阈值则将当前音频块加入概要语音库中并更新该库，具体是：
1)若对当前音频块xk的多项式表示yk计算得到的重建误差ε大于设定阈值θ，则将当前音频块xk加入概要语音库s中。
2)若当前概要语音库s中含有q个音频块，则更新该库的帧音频多项式表示集合为yq，则使用yk∈yq更新该库d即求解目标函数：
其中，参数λ为大于0的系数，用于调节正则化项的影响。
其中，在语音块提取时，本发明首先提取模拟语音信号时域的lpc系数最大值和频域的平均幅度差，然后将提取的特征组成二维向量作为卷积神经网络的输入，利用神经网络的输出判断信号是否为模拟语音信号。
在消除直流分量后，提取语音的lpc系数最大值和平均幅度差。设定网络输出值当中的众数的
提取模拟语音信号的lpc系数最大值和平均幅度差两个特征。模拟语音信号s(n)的lpc系数rw(k)：
式中，sw(n)为加窗语音；n为有效语音块长；k为延迟量；
对sw(n)取最大值，即可得到lpc系数最大值。
模拟语音信号s(n)的平均幅度差ω由下式给出：
式中，n为帧长；s(k)为s(n)的fft变换；e为模拟语音信号频域幅度的均值。
卷积神经网络的输入向量是lpc系数最大值和平均幅度差组成的2维向量，即输入层神经元的个数为2。输出是判断当前帧是有效语音块还是非有效语音块的1维向量，输出层神经元的个数为1。隐藏层神经元个数为5。
在前向传递中，输入信号经隐藏层逐层处理，直至输出层。每一层的神经元状态只影响下一层神经元状态。设wij是输入层与隐藏层的连接加权系数，wjk是隐藏层与输出层的连接加权系数，aj是隐藏层的阈值，bk是输出层的阈值，i代表输入层，j代表隐藏层，k代表输出层。如果输出层得不到期望输出，则转入反向传播，根据预测误差调整网络加权系数和阈值使卷积神经网络预测输出逼近期望输出。
采用遗传算法优化卷积神经网络的初始加权系数和阈值，包括：
(1)采用系数编码对个体进行编码，每个个体均为一个数字串，由输入层与隐藏层连接加权系数、隐藏层阈值、隐藏层与输出层连接加权系数以及输出层阈值4部分组成；个体包含了神经网络全部加权系数和阈值，在网络结构已知的情况下，就可以构成一个结构、加权系数、阈值确定的神经网络。
(2)根据个体得到卷积神经网络的初始加权系数和阈值，用训练数据训练卷积神经网络后预测系统输出，将预测输出和期望输出之间的误差绝对值和作为个体适应度值，即适应度函数f设置为：
n为卷积神经网络输出节点数；yi为卷积神经网络第i个节点的期望输出；oi为卷积神经网络第i个节点的预测输出；k为预定义系数。
(3)基于适应比例的选择策略，每个个体i的选择概率pi为：
fi＝k/fi
式中，fi为个体i的适应度值；
k为系数，这里取10；
n为种群个体数量，这里取10。
(4)在交叉操作中采用系数交叉法，第k个染色体ak和第l个染色体al在j位的交叉操作方法如下：
akj＝akj(1-b)+aljb
alj＝alj(1-b)+akjb
式中，b为[0,1]间的随机数。
(5)选取第i个个体的第j个基因aij进行变异：
aij＝aij+(aij-amax)*f(g)r>0.5
aij＝aij+(amin-aij)*f(g)r≤0.5
式中，amax，amin-分别为基因aij的上界和下界；
f(g)＝r2(1-g/gmax)2；
其中r2为随机数；g为当前迭代次数；gmax为最大进化次数；r取[0,1]间的随机数。
语音临界点检测实现步骤如下：
1)采用2-5-1的卷积神经网络结构，首先提取原始语音的lpc系数最大值和平均幅度差两个特征，将该二维向量作为神经网络的输入。利用输出层判断该帧是否为有效语音块，随机初始化加权系数和阈值。
2)随机选择原始音频块，标记出每帧信号的类别，若是语音则标记为1，若不是则标记为0。分别提取出该段音频块的lpc系数最大值和平均幅度差，形成一个二维的特征向量，作为卷积神经网络的输入向量。
3)将训练样本输入卷积神经网络来训练网络的参数，并对卷积神经网络进行优化，使网络输出值与期望值之间的误差达到预设标准。
4)分别提取出每个音频块的lpc系数最大值和平均幅度差，形成一个二维的特征向量，作为测试样本输入卷积神经网络进行检验。本文采用改进的阈值t，即卷积神经网络输出的1维向量中所有元素的众数，大于等于t则确定为有效语音块；小于t，则确定为非有效语音块。将卷积神经网络的输出值与预先标记的值进行对比，若正确率较低，则对网络进行重新训练。
5)利用网络的输出值判断是否为语音段。
语音块输入信号向量为x(n)＝[x1(n),x2(n),..xm(n)]t，则x(n)通过语音增强滤波器后得到的y(n)表示为:
y(n)＝coef[β1x(n)+β2x(n)+…+βnb+1x(n)]
式中，b＝[β1,β2,…βnb+1]为滤波器加权系数系数向量,coef为自适应参数
然后将这个自适应参数coef引入ilms自适应滤波器模型中对语音块进行去噪处理。对去噪后的语音计算snri,snri取最大值时对应的coef值即为最终coef训练输出值：
snri＝∏snr(flm(coefi,s(n)))
式中，coefi为步长为1的自然数；s(n)为待增强语音块；flm为自适应滤波器算法函数，根据coefi的值对s(n)进行语音去噪增强；∏snr()为计算分段信噪比的函数；
对snri求最大值，并将最大值所对应的下标i赋给coef：
coef＝argmax(snr1,snr2,,…)
式中，argmax为求取最大值所对应的下标的函数。
最后，在自适应噪声滤波器中，根据coef值，对每个待增强语音块进行增强。基于增强后的语音块进行语音-文本转换。
将语音块进行文本识别后，就可以进行概要语音自动抽取，本发明首先利用卷积神经网络算法训练特征词的特征向量，进而准确计算句间相似度，迭代计算更新句加权系数，然后基于句间相似度来消除精简语音中的信息冗余，具体包括以下步骤：
1、利用卷积神经网络模型训练语素获取特征词的特征向量表示：从大数据存储中采集语素集并对该语素集进行预处理，所述预处理包括对语素集中的语素进行分句处理，得到训练特征语素集；设置训练参数，以训练特征语素集为训练数据，对卷积神经网络模型进行训练，以将训练特征语素集中的每个词作为特征词经过训练以特征向量的形式输出，得到特征词的特征向量表示形式；
为从大量非结构化语音数据中训练特征词的特征向量表示，本发明利用当前词的特征向量预测指定窗口上下文的特征向量。给定特征语素w1,w2,w3,…,wt作为训练数据，目标函数是：
其中，c是决定上下文窗口大小的参数，c越大则需要越多的训练数据，t为训练数据个数。
本发明将输出层的w个词作为叶子节点，对高频词分配较短路径。每个特征语素w都可以从树的根节点沿着唯一的一条路径被访问。假如n(w,j)为从根节点到w路径上的第j个节点，l(w)为这条路径的长度，因此n(w,1)＝root,n(w,l(w))＝w。对于任一内部节点n，ch(n)为节点n的任一子节点。则定义：
其中函数
定义上式后，使用随机梯度下降方法求解目标函数，最后生成词的特征向量表示形式。
s2、根据预设查询词在步骤s1采集到的语素集中进行检索，将检索到的语音块作为候选块集，对所述候选块集进行分句处理并去除候选块集中重复的句，得到候选块集；
其中si为候选块集s中的任意句，n为语句的总数；利用步骤s1得到的特征词的特征向量，通过计算句间语义相似度作为图中边的加权系数，构成语句dag图模型；
对候选块集中任意两句si和sj，分别包含特征词ti和tj的特征向量
其中，对于句si中的特征词ti的特征向量
s3、对步骤s2得到的dag图模型，根据步骤s2中的平均初始加权系数及句间语义相似度利用如下公式迭代更新每个节点的加权系数weight(si)，直至收敛，从而得到能够反映语句重要性的分值：
其中d为阻尼系数，取值范围为[0,1]。
assoc(si)表示和si相连的句集合，即与句si相似度大于0的句集合，||assoc(si)||则为该集合中句总数；
利用步骤s2中节点的平均初始加权系数与句间语义相似度所构成的相似性矩阵，迭代计算dag图模型中各个节点的加权系数，直至收敛。最终每个节点将得到一个计分，为下一步生成概要语音做准备。
s4，如果一个语句与概要集合中已有句具有较高的相似性，则对该句进行弱化，即选择加权系数最大且无冗余的句组成精简集合，具体步骤为：
1)、初始化空的精简语音队列；将dag图模型中各节点所对应的语句作为初始的候选精简语音队列；
2)、根据步骤s3对候选精简语音队列中的各dag图模型节点所对应的句加权系数降序排列，将排序后的各节点所对应的句作为候选概要语句序列；
3)、按照候选概要语句序列，将排列在第一位的句转移至精简语音队列中，对候选精简语音队列中的剩余句利用如下公式更新它们的加权系数：
weight(sj)＝weight(sj)-ω×sim(si,sj)
其中，i≠j，ω为弱化因子，当待更新加权系数的语句与精简语音队列中的语句存在相似性时，弱化因子ω为1.0。sim(si,sj)为步骤s2中得到的语义相似度；
4)、重复执行步骤2)和3)，直至精简语音队列中的语句集达到预设的概要语音长度。
假设原始语音t的语句总数为m，将概要语音的精简率设为λ，需要抽取的文摘句的总数为n，则λ＝n/m。m为原始语音识别得到的语句总数。文本是语句的线性组合，句是词的线性组合，而词又可视为语素的线性组合，即由语素的重要程度可间接地得到句的重要程度。因此，基于预定义精简率的概要语音抽取过程如下：
①计算得出语素网络中各个节点的重要程度，以句中各语素的重要程度的平均值代替相应句的重要程度，由此得到带有重要程度的句簇s＝{s1,s2…,sm}：
w(ni)t是w(ni)的第t次迭代，ε为衰减因数，c(ni)是语素集合，该集合中每个语素与节点ni表示的语素都存在同时出现关系；coexsit(ni,nj)为语素网络中节点ni和nj所代表的语素的同时出现率；n是语素网络中所包含的语素的总数。
②对句簇s进行多领域的划分；假设得到k个子领域的句簇，以各子领域句簇中语句的综合重要程度代替各子领域句簇的重要程度，并按照重要程度将k个子领域句簇降序排列，记为ms1,ms2…，msk(k<m)，各子领域句簇中的语句同样按照重要程度高低降序排列；
③对子领域句簇中的句进行上述去冗余处理。然后依据概要语音的精简率λ，从各领域句簇按重要程度顺序分别抽取前
④将集合s’中的语句按照原始的顺序依次输出，得到概要语音。
对于社交网络语音数据的处理，本发明在识别出语音文本的句和词之后，优选地，进一步将每个句中相邻的两个词组合成一个词对，每个句由一串词对序列表示。词对结合了上下文信息，互相增强了对方作为关键词的可能性和整句的重要性，并根据共同出现的词对来抽取概要语句，生成概要语音数据。
首先分别提取n个能准确反映文本集合某个子主题的词对作为关键词对，得到一个关键词对集合。每个词对的权值可由以下公式计算得出：
wtf(bi)＝fre(bi)*log2(ifre(bi))
其中fre(bi)为词对bi的词频即bi在整个文本集合中出现的频率。
ifre(bi)为语句总数与出现bi的语句数量比值。
将所有词对按照其wtf值降序排列，然后取前n个作为关键词对。
计算主题和词对的分布矩阵。该矩阵中每一行是主题在词对集合上的概率分布，每个元素表征了该词对相对于该主题的重要程度。对该矩阵按列求和，将得到的值作为每个词对在主题集合上的全局计分。
基于此全局计分对词对降序排序，取前n个词对构成关键词对集合。
基于上述关键词对集合，计算候选句与关键词对集合中重叠的词对个数在整个关键词对集合中的比例。
同时，为了弱化过长或者过短的句，对该分值进行正则化，而正则化因子取的是候选句本身的长度和句集合的平均句长中较大的数值。计算的候选句计分可公式化定义如下：
其中s表示候选句，kbs表示关键词对集合，bi即为同时出现的关键词对。|s|和|kbs|分别表示候选句长度和关键词对集合的大小，avlen为句集合中所有句的平均长度。
概要语句抽取是在引进相似度阈值以防止冗余的基础上，从排序靠前的句中提取m个满足相似度条件的句作为概要语句。抽取概要语句的流程具体步骤如下：
(1)初始化空的精简语音队列；并初始化候选集合；
(2)取当前排序首位的句作为候选句sc；
(3)当精简语音队列为空时，直接将候选句添加至精简语音队列；否则依次计算候选句sc与每个概要语句ss的相似度：
一旦出现sim(sc，ss)＞simtd的情况，直接转(5)，其中simtd为相似度阈值；
(4)将候选句添加至精简语音队列；
(5)从候选集中移除当前候选句；
(6)若精简语音队列中的句数少于预设数量m，则转(1)，否则转(7)；
(7)输出精简语音队列。
其中，如果概要语句包含时间信息，则按时序组合；如果多条概要语句属于语素中的同一主题，则按照原始语音中的语句顺序组合。
综上所述，本发明的方法基于语音大数据处理，抗噪性更强，准确率更高，具备更高的召回率，显著提高了用户获取知识的效率。
显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。