基于深度学习的信号频谱增强方法及系统

1.本发明涉及信号处理技术领域，尤其涉及一种基于深度学习的信号频谱增强方法及系统。


背景技术：

2.在信号处理过程中，经常需要对信号做频谱分析，即利用时频域分析算法将时域的信号转化到频域上，方便后续处理。以常用的傅里叶变换算法为例，在对时域信号使用上述算法进行变换时，只能对有限长度的时域数据进行变换，因此需要对原始信号进行截断，而截断操作会导致信号的频谱失真，产生频谱泄露现象，进而影响后续的信号处理流程。
3.目前，常通过对截断的信号进行加窗来降低频谱的泄露，加窗处理后，虽然得到的频谱中旁瓣大大减少，泄露现象得到缓解，但是却以主瓣的加宽为代价。当信号中有多个频率分量时，主瓣加宽现象会导致相邻的频率分量互相干扰，甚至会使较弱的频率分量被淹没在较强的频率分量中。
4.由此可见，现有的加窗操作并不能有效的消除频谱泄露现象，且频率分辨率较低。


技术实现要素：

5.本发明提供一种基于深度学习的信号频谱增强方法及系统，用以解决现有技术中加窗操作无法有效的消除频谱泄露现象且频率分辨率较低的缺陷。
6.第一方面，本发明提供一种基于深度学习的信号频谱增强方法，该方法包括：
7.获取待处理的信号频谱；
8.将所述待处理的信号频谱输入频谱增强模型，得到所述频谱增强模型输出的增强后的信号频谱；
9.其中，所述频谱增强模型是基于具有泄露的频谱样本数据以及消除泄露的频谱样本数据对深度学习神经网络进行训练得到的。
10.根据本发明提供的一种基于深度学习的信号频谱增强方法，所述频谱增强模型的训练过程包括：
11.构建用于频谱增强的深度学习神经网络；
12.获取消除泄露的频谱样本数据以及具有泄露的频谱样本数据，构建训练样本数据集；
13.通过所述训练样本数据集对所述深度学习神经网络进行训练，得到频谱增强模型。
14.根据本发明提供的一种基于深度学习的信号频谱增强方法，所述深度学习神经网络包括多个级联的复数域全连接层，每个所述复数域全连接层包括若干个并行的复数域神经算子，每个所述复数域全连接层的输出为其内各复数域神经算子的输出组合结果。
15.根据本发明提供的一种基于深度学习的信号频谱增强方法，所述复数域神经算子的输入为：
16.r
in
＝x+j*y
17.所述复数域神经算子的输出为：
18.r
out
＝x
′
+j*y
′
19.其中，x,x
′
分别为输入和输出的实部，y,y
′
分别为输入和输出的虚部，r
in
为一个复数向量，r
out
为一个复数；
20.所述复数域神经算子的输出与输入的关系为：
[0021][0022]
其中，w1,w2均为复数域神经算子的参数，b1,b2均为复数域神经算子的偏置，σ表示将向量中所有元素进行求和，σ(
·
)表示激活函数。
[0023]
根据本发明提供的一种基于深度学习的信号频谱增强方法，获取消除泄露的频谱样本数据以及具有泄露的频谱样本数据，构建训练样本数据集，包括：
[0024]
通过随机数生成器生成理想频谱，得到消除泄露的频谱样本数据；
[0025]
对所述消除泄露的频谱样本数据进行泄露操作，得到具有泄露的频谱样本数据；
[0026]
根据所述消除泄露的频谱样本数据与相应的具有泄露的频谱样本数据，构建得到训练样本数据集。
[0027]
根据本发明提供的一种基于深度学习的信号频谱增强方法，对所述消除泄露的频谱样本数据进行泄露操作，得到具有泄露的频谱样本数据之后，还包括：
[0028]
在所述具有泄露的频谱样本数据中添加高斯白噪声，得到观测频谱。
[0029]
第二方面，本发明还提供一种基于深度学习的信号频谱增强系统，该系统包括：
[0030]
获取模块，用于获取待处理的信号频谱；
[0031]
处理模块，用于将所述待处理的信号频谱输入频谱增强模型，得到所述频谱增强模型输出的增强后的信号频谱；
[0032]
其中，所述频谱增强模型是基于具有泄露的频谱样本数据以及消除泄露的频谱样本数据对深度学习神经网络进行训练得到的。
[0033]
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于深度学习的信号频谱增强方法的步骤。
[0034]
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于深度学习的信号频谱增强方法的步骤。
[0035]
第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于深度学习的信号频谱增强方法的步骤。
[0036]
本发明提供的基于深度学习的信号频谱增强方法及系统，通过预先构建的频谱增强模型实现频谱增强，由于频谱增强模型是基于具有泄露的频谱样本数据以及消除泄露的频谱样本数据对深度学习神经网络进行训练得到的，能够在很大程度上减轻甚至消除频谱泄露的影响，从而使信号频谱的频率分辨率更高，相比于传统的加窗操作，频谱泄露的消除
效果更加理想。
附图说明
[0037]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]
图1是截断的单频信号的时域波形图；
[0039]
图2是截断的单频信号的频域波形图；
[0040]
图3是使用gaussian窗之后的截断信号的时域波形图；
[0041]
图4是使用gaussian窗之后的截断信号的频域波形图；
[0042]
图5是具有两个频率分量的信号的理想频谱；
[0043]
图6是具有两个频率分量的信号的真实频谱；
[0044]
图7是本发明提供的基于深度学习的信号频谱增强方法的实现流程示意图；
[0045]
图8是频谱增强网络的结构示意图；
[0046]
图9是复数神经算子的数据计算原理示意图；
[0047]
图10是频谱增强网络的训练原理示意图；
[0048]
图11是使用频谱增强模型增强后的频谱波形示意图；
[0049]
图12是本发明提供的基于深度学习的信号频谱增强系统的结构示意图；
[0050]
图13是本发明提供的电子设备的结构示意图。
具体实施方式
[0051]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]
首先，以常用的傅里叶变换为例，详细说明对时域信号进行频域转化的过程。
[0053]
如果以f(t)表示待处理的时域信号，那么对该时域信号进行傅里叶变换可以表示为：
[0054][0055]
其中，t代表时间，f代表频率，i代表虚数单位，π代表圆周率，f(f)即为时域信号f(t)的频谱。
[0056]
然而，上述傅里叶变换算法需要在-∞到+∞的时间范围内进行运算，该运算很难真正实现。为此，在对时域信号使用上述算法进行变换时，只能对有限长度的时域数据进行变换，因此需要对原始信号进行截断。
[0057]
例如，如果选取20hz的单频信号，该单频信号可以表示为：
[0058]
f(t)＝e-i*2*π*20*t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0059]
该单频信号在-∞到+∞的时间内呈周期变化。将f(t)代入上述傅里叶变换公式进
行傅里叶变换，得到的单频信号的频谱如下：
[0060]
f(f)＝δ(f-20)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0061]
其中，δ(x)表示冲击函数，即：
[0062][0063]
也就是说，f(f)只在20hz处出现冲击，在其他位置处的值都是0。但是，当选取单频信号的一个片段进行傅里叶分析时，得到的频谱不再是冲击函数。比如，选取250毫秒的信号即：
[0064][0065]
其中，t0＝250ms。图1展示了的波形。将信号的表达式代入上述傅里叶变换公式，可以得到：
[0066][0067]
其中，为的频谱。图2展示了的波形，可以看出频谱除了在20hz处有分量，在其他位置也有泄露的分量，产生较多的旁瓣。
[0068]
理想的状态应该是的频谱与f(t)的频谱相同，从而能够通过对前者进行傅里叶变换而得到后者的频谱，但这显然无法实现。这种频谱泄露现象会导致信号的频谱产生失真，从而影响后续的信号处理流程。
[0069]
为降低频谱泄露，常采用对截断的信号进行加窗的方式对频谱做进一步处理。加窗之后的信号可以表示为：
[0070][0071]
其中，wind(t)表示采用的窗函数。常用的窗函数包括gaussian、hamming、hanning等。图3和图4展示了信号加gaussian窗函数后的时域与频域波形，可以看出旁瓣大大减少，泄露现象得到缓解，但是却以主瓣的加宽为代价。在信号中有多个频率分量的时候，这种主瓣的加宽现象会导致相邻的频率分量互相干扰，甚至会使得较弱的频率分量被淹没在较强的频率分量中。图5展示了当信号中有15hz和20hz两个频率分量的时候，傅里叶变换理论计算得到的频谱，图6展示了加窗操作之后，傅里叶变换所得到的真实的频谱。可以看出，频谱在主瓣上的泄露导致了相邻分量的严重干扰。
[0072]
为了得到更佳的频谱泄露消除效果，本发明以深度学习技术为载体，通过训练深度学习神经网络来挖掘时频域分析算法对信号频谱泄露的影响，进而能够对频域分析算法得到的信号频谱进行增强，减轻乃至消除频谱泄露现象。
[0073]
图7示出了本发明提供的基于深度学习的信号频谱增强方法，该方法包括：
[0074]
s710：获取待处理的信号频谱；
[0075]
s720：将待处理的信号频谱输入频谱增强模型，得到频谱增强模型输出的增强后的信号频谱；
[0076]
其中，频谱增强模型是基于具有泄露的频谱样本数据以及消除泄露的频谱样本数据对深度学习神经网络进行训练得到的。
[0077]
具体地，本实施例中获取消除泄露的频谱样本数据以及具有泄露的频谱样本数据，构建训练样本数据集的过程，包括：
[0078]
首先，构建用于频谱增强的深度学习神经网络；该神经网络也称为频谱增强网络(spectrogram enhancement network，sen)，该网络的输入是利用传统傅里叶变换所得到的具有泄露的频谱，输出是消除泄露的频谱。
[0079]
本实施例中用于频谱增强的深度学习神经网络(即频谱增强网络)的结构如图8所示，该深度学习神经网络包括四个级联的单元，每个单元是一个由激活函数(本实施例采用tanh函数)激活的复数域全连接层(即complex fc)，每个复数域全连接层包括若干个并行的复数域神经算子，每个复数域神经算子的数据计算原理如图9所示。
[0080]
如果把complex fc的第i个复数域神经算子的输入记作：
[0081]rin
＝x+j*y
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0082]
输出记作：
[0083]rout
＝x
′
+j*y
′ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0084]
其中，x,x
′
分别为两者的实部，y,y
′
分别为二者的虚部，并且r
in
为一个复数向量，r
out
为一个复数。
[0085]
那么复数域神经算子的输出与输入的关系为：
[0086][0087]
其中，w1,w2均为复数域神经算子的参数，b1,b2均为复数域神经算子的偏置，σ表示将向量中所有元素进行求和，σ(
·
)表示激活函数，本实施例中激活函数为tanh函数。
[0088]
tanh函数的表达式为：
[0089][0090]
将每一个复数域全连接层的所有复数域神经算子输出的复数组合成一个复数向量，即作为该复数域全连接层的整体输出。
[0091]
本实施例中频谱增强网络内四个complex fc，各自包含的复数域神经算子个数分别是：128、256、256、n，其中n是网络输入的频谱的采样点数，这样可以保证网络输出的频谱与输入的频谱的采样点数相同。
[0092]
需要说明的是，由于待处理的信号频谱可以用一个包含复数项的表达式表示，比如经傅里叶变换得到的频谱表达式，即式(1)，本实施例提供的频谱增强网络主要通过对频谱表达式中的复数项做一系列运算，即上述复数域神经算子的运算过程，得到新的复数项，从而获得新的频谱表达式，即最终得到的增强频谱。
[0093]
从神经网络层面理解的话，本实施例利用频谱增强网络从原始频谱中提取隐藏层特征，该隐藏层特征用于刻画频谱元素(即频谱中每一个采样时间下的频谱强度分布)的结构特征，再基于隐藏层特征构建得到增强频谱。
[0094]
然后，获取消除泄露的频谱样本数据以及具有泄露的频谱样本数据，构建训练样本数据集。
[0095]
为了训练上述频谱增强网络，需要大量的样本数据，本实施例使用人工生成样本数据的方式进行网络训练，数据生成及模型训练的流程如图10所示。
[0096]
下面对训练样本数据集的构建过程进行详细说明：
[0097]
第一步：通过随机数生成器生成理想频谱，即消除泄露的频谱样本数据；本实施例中理想频谱的表达式为：
[0098][0099]
其中，n是随机整数，代表频率分量个数，是随机实数，fi代表第i个频率分量的频率，代表第i个频率分量的初始相位。本实施例中理想频谱ψ(f)只在有限个频率分量上具有冲击响应，其他位置的值都是0。
[0100]
第二步：对消除泄露的频谱样本数据进行泄露操作，得到具有泄露的频谱样本数据。
[0101]
考虑到傅里叶变换的性质，时域加窗等效于频域的卷积。因此加窗之后的频谱等于加窗之前的频谱与窗函数的频谱的循环卷积，即：
[0102][0103]
其中，wind(f)是窗函数wind(t)的傅里叶变换，本实施例中窗函数可以从常用的窗函数中选取，比如：gaussian、hamming、hanning等，是两个函数的循环卷积，即：
[0104][0105]
至此，可以根据消除泄露的频谱样本数据与相应的具有泄露的频谱样本数据，构建得到训练样本数据集。但是考虑到样本数据的真实性，为了模拟真实环境采集到的信号的噪声，本实施例增设了第三步。
[0106]
第三步：在具有泄露的频谱样本数据中添加高斯白噪声，得到观测频谱。本实施例中观测谱的表达式如下：
[0107]
ψ
measured
(f)＝ψ
leaked
(f)+n(0,1)
ꢀꢀꢀꢀꢀꢀ
(15)
[0108]
其中，n(0,1)是均值为0，标准差为1的高斯白噪声。
[0109]
本实施例将每个观测频谱与其对应的理想频谱组合一个数据对，进而由数据对组成训练样本数据集。
[0110]
最后，通过训练样本数据集对深度学习神经网络进行训练，得到频谱增强模型。
[0111]
将观测谱ψ
measured
(f)作为频谱增强网络的输入，理想频谱ψ(f)作为频谱增强网络的预期输出，采用back propagation算法进行训练，得到频谱增强模型。
[0112]
在模型训练过程中，为了确定训练的模型是否达到最优状态，本实施例将频谱增强网络根据观测谱ψ
measured
(f)实际输出的增强谱与理想谱ψ(f)进行比对，具体通过mse loss损失函数分析增强谱与理想谱之间的振幅误差，通过使振幅误差最小化，从而使频谱增强网络达到最优。
[0113]
本实施例使用5000个epoch来训练频谱增强网络，每个epoch生成100个batch的训练数据，每个batch包含128个样本，每个样本是一个数据对(ψ(f)，ψ
measured
(f))。
[0114]
获得频谱增强模型后，可以直接将傅里叶变换得到的频谱作为输入数据，输入频谱增强模型，频谱增强模型的输出即是减轻了泄露效应的频谱，即增强后的信号频谱。图11
展示了将图6所示频谱使用频谱增强模型增强之后的频谱波形，可以看出，泄露效应得到很大程度的抑制。
[0115]
下面对本发明提供的基于深度学习的信号频谱增强系统进行描述，下文描述的基于深度学习的信号频谱增强系统与上文描述的基于深度学习的信号频谱增强方法可相互对应参照。
[0116]
图12示出了本发明实施例提供的基于深度学习的信号频谱增强系统，该系统包括：
[0117]
获取模块121，用于获取待处理的信号频谱；
[0118]
处理模块122，用于将待处理的信号频谱输入频谱增强模型，得到频谱增强模型输出的增强后的信号频谱；
[0119]
其中，频谱增强模型是基于具有泄露的频谱样本数据以及消除泄露的频谱样本数据对深度学习神经网络进行训练得到的。
[0120]
本实施例中处理模块122基于频谱增强模型对具有泄露的信号频谱进行处理，进而得到增强后的信号频谱，即减轻泄露的频谱。具体地，频谱增强模型的训练过程包括：
[0121]
首先，构建用于频谱增强的深度学习神经网络，即频谱增强网络；
[0122]
然后，获取消除泄露的频谱样本数据以及具有泄露的频谱样本数据，构建训练样本数据集；
[0123]
最后，通过训练样本数据集对深度学习神经网络进行训练，得到频谱增强模型。
[0124]
在本实施例中，深度学习神经网络包括多个级联的复数域全连接层，每个复数域全连接层包括若干个并行的复数域神经算子，每个复数域全连接层的输出为其内各复数域神经算子的输出组合结果。
[0125]
需要说明的是，本实施例中训练网络用的样本数据，采用人工生成的方式获得，先通过随机数生成器获得理想频谱，然后对理想频谱进行泄露操作，得到泄露频谱，接着在泄露频谱中添加高斯白噪声，得到观测谱，将观测谱作为网络的输入，理想频谱作为网络的输出，对深度学习神经网络进行训练，即可得到最终的频谱增强模型。
[0126]
构建得到频谱增强模型后，利用该频谱增强模型可以直接对傅里叶变换得到的频谱进行增强处理，得到相应的减轻泄露的频谱。
[0127]
当然，本实施例提供的基于深度学习的信号频谱增强系统，不仅适应于利用傅里叶变换得到的具有泄露的信号频谱，也适应于其他时频域分析算法得到的具有泄露的信号频谱，比如小波变换得到的频谱，频谱增强处理的流程和原理是相同的。
[0128]
由此可见，本发明实施例提供的基于深度学习的信号频谱增强系统，通过处理模块利用预先构建的频谱增强模型实现频谱增强，由于频谱增强模型是基于具有泄露的频谱样本数据以及消除泄露的频谱样本数据对深度学习神经网络进行训练得到的，能够在很大程度上减轻甚至消除频谱泄露的影响，从而使信号频谱的频率分辨率更高，相比于传统的加窗操作，该系统对频谱泄露的消除效果更佳。
[0129]
图13示例了一种电子设备的实体结构示意图，如图13所示，该电子设备可以包括：处理器(processor)131、通信接口(communications interface)132、存储器(memory)133和通信总线134，其中，处理器131，通信接口132，存储器133通过通信总线134完成相互间的通信。处理器131可以调用存储器133中的逻辑指令，以执行基于深度学习的信号频谱增强
方法，该方法包括：获取待处理的信号频谱；将待处理的信号频谱输入频谱增强模型，得到频谱增强模型输出的增强后的信号频谱；其中，频谱增强模型是基于具有泄露的频谱样本数据以及消除泄露的频谱样本数据对深度学习神经网络进行训练得到的。
[0130]
此外，上述的存储器133中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0131]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于深度学习的信号频谱增强方法，该方法包括：获取待处理的信号频谱；将待处理的信号频谱输入频谱增强模型，得到频谱增强模型输出的增强后的信号频谱；其中，频谱增强模型是基于具有泄露的频谱样本数据以及消除泄露的频谱样本数据对深度学习神经网络进行训练得到的。
[0132]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于深度学习的信号频谱增强方法，该方法包括：获取待处理的信号频谱；将待处理的信号频谱输入频谱增强模型，得到频谱增强模型输出的增强后的信号频谱；其中，频谱增强模型是基于具有泄露的频谱样本数据以及消除泄露的频谱样本数据对深度学习神经网络进行训练得到的。
[0133]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0134]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0135]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。