一种基于深度学习的梯形重叠核脉冲估计方法与流程

本发明涉及一种基于深度学习的梯形重叠核脉冲估计方法。

背景技术：

数字成形技术已成为核脉冲信号的一种重要成形方法，这有利于采用数字信号处理的方法进行核信号的识别，大大提高了核仪器的性能。在高速计数时，无论采用何种成形方法，相邻核脉冲的重叠是难以避免的；所以，数字成形后重叠核脉冲的参数估计仍然是一个难题。以梯形成形方法为例，由于指数核脉冲成形为梯形脉冲后，信号得以展宽便于幅值的提取，但是与指数核脉冲相比，梯形脉冲发生重叠的概率大得多。近年来，国内外在梯形核脉冲的成形、采集、识别及参数估计方面进行了较为深入的研究，但对于重叠较为严重的梯形核脉冲的参数提取却效果不佳。深度学习技术作为目前最为流行的智能科学技术之一。其内部隐含层包含了大量的非线性变换结构，通过逐层学习来获得特征的非线性表达。其自动学习数据的本质特征，避免了复杂的特征提取和数据重建过程，增强了拟合复杂模型的能力。目前将深度学习技术引入核脉冲参数提取的相关研究还处于初步探索阶段。因此，将这一新型技术引入该领域就变得十分迫切。因为核脉冲信号在经过离散化处理后具有时间序列的特征，而在众多深度学习模型中，一种具有循环结构的长短期记忆神经网络(longshort-termmemory，lstm)模型在处理时间序列的相关问题中具有良好效果。所以，本发明专利针对由多个指数衰减脉冲经过梯形成形后的重叠信号，提出了基于深度学习lstm模型的梯形重叠核脉冲的估计方法，用于估计梯形重叠核脉冲的参数。这对于成形算法的验证，以及后续核脉冲参数的获取等过程具有重要意义。

技术实现要素：

本发明的目的在于公开一种基于深度学习的梯形重叠核脉冲估计方法，用于估计梯形重叠核脉冲的参数。该方法在一定程度上解决了相邻核脉冲因梯形成形后脉冲信号重叠而难以准确提取相关信息的技术难题，这对于提高放射性测量的精度具有较大意义。

本发明对梯形成形后的重叠核脉冲进行估计是通过以下具体步骤①～⑤实现的。

步骤①将放射性测量中所获得的欲进行参数估计的原始梯形重叠核脉冲看成是由n个指数衰减核脉冲叠加后经过梯形成形后得到的，这些核脉冲的个数n应根据欲进行参数估计的重叠核脉冲的具体情况而定。

步骤②制作含有多个样本的数据集，每个样本含梯形重叠核脉冲的采样值及该梯形重叠核脉冲成形前输入的指数衰减核脉冲叠加信号的参数，每个样本还含有梯形成形时的上升沿时间和平顶宽度时间；接着，将数据集按照一定比例划分为训练集(trainset)、测试集(testset)、验证集(validationset)；其中，训练集用于lstm模型的训练，测试集用于模型训练完成后检验模型的泛化能力，验证集用于检验训练完成的模型是否出现过拟合现象。

步骤③将步骤②划分出的训练集用于lstm(longshort-termmemory，lstm)模型的训练，训练集中各个样本对应的梯形重叠核脉冲作为lstm的输入数据，通过前向传播计算，最后一层lstm网络预测出脉冲参数集合θ′i，前向传播结束。

步骤④选取损失函数计算步骤③得到的前向传播迭代提取到的预测脉冲参数集合与训练集中的实际脉冲参数集合的误差；接着，根据误差值，反向计算每个权重的梯度，应用基于梯度的优化算法更新权重，实现减少后续迭代中误差的目的；当误差小于设定的阈值时，训练结束。

步骤⑤当一个具有识别梯形重叠核脉冲参数集合能力的lstm模型训练完成后，将训练完成的lstm模型结构、权重、训练配置及优化器状态等重要信息保存；然后将步骤①中欲进行参数估计的原始梯形重叠核脉冲的采样值作为lstm模型的输入,进而由lstm模型的输出得到所需提取的脉冲参数集合θ。

通过以上步骤①～⑤即完成梯形重叠核脉冲的估计。

本发明的有益效果是：

在进行放射性测量中，相邻梯形核脉冲的重叠是不可避免的，特别是在高速计数时，重叠现象更是屡见不鲜且更为严重，这给波形成形及核信号参数的获取带来困难。近年来，国内外在梯形核脉冲的采集、识别、参数估计方面进行了较为深入的研究，但对于重叠较为严重的梯形核脉冲的参数提取却效果不佳。同时，深度学习技术作为当前最流行也最热门的智能科学技术之一，其拥有能够从大量复杂并且抽象的样本中提取有效特征的能力已经被广泛应用到数字图像处理、语音识别、自然语言处理等领域。本发明专利针对由多个指数衰减脉冲经过梯形成形后的脉冲重叠核信号，通过对该脉冲信号离散化处理，使其具有时间序列的特征的基础上，提出了基于深度学习lstm模型的梯形重叠核脉冲的参数估计方法，不同于传统的算法通过搜索梯形核脉冲参数的最优组合，以实现梯形重叠核脉冲的参数估计。本发明提出的方法利用lstm隐藏层中众多的记忆单元(memorycell)不断学习脉冲序列信息的抽象特征，最终使得lstm建立脉冲序列和其对应的成形参数之间的联系。从而达到识别和提取脉冲参数的目的。该发明将深度学习技术引入核脉冲参数识别，大大降低了梯形重叠核脉冲的舍弃率，提高了放射性测量的准确度和可信度；有利于分析由探测器及其后续电路响应特性的变化所导致的信号参数的波动性，比如，指数脉冲信号时间常数的波动性；这对于核仪器波形成形算法及能谱漂移纠正算法的验证，电路响应特性的分析，参数随时间及外界条件的变化关系分析，以及后续核脉冲参数的获取等过程具有重要意义。

附图说明

图1为本发明方法的流程图。

具体实施方式

下面结合附图对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

设放射性测量中所获得的欲进行参数估计的原始梯形重叠核脉冲为vo(mts)，采用本方法对脉冲vo(mts)进行估计是按如下具体步骤①～⑤进行的。

步骤①将欲进行参数估计的原始梯形重叠核脉冲vo(mts)看成是由n个指数衰减核脉冲叠加后经过梯形成形后得到的，亦即将这n个指数衰减核脉冲的叠加信号ve(kts)作为梯形成形算法的输入信号；n个指数衰减核脉冲的叠加信号ve(kts)表示为

所述梯形成形，是指将ve(kts)作为如下梯形成形算法的输入信号进而实现输出信号vo(mts)的：

公式(1)和(2)中,u(.)表示阶跃函数；k＝1,2,3,...,k；k为ve(kts)的离散点数；τ为指数脉冲的衰减时间常数；ts为采样周期；ai和ti分别表示第i个指数衰减核脉冲的幅值及发生时间；na＝ta/ts，nb＝(ta+d)/ts，nc＝tc/ts，ta为梯形脉冲的上升沿时间，d为梯形脉冲的平顶宽度时间，整个梯形成形时间tc＝2ta+d；m＝1,2,3,...,k+2+nc。

步骤②制作含有n个样本的数据集，数据集的矩阵表示形式如下：

表达式(3)中每一行代表一个样本的数据；每个样本的前k+2+nc个数据为该样本对应的梯形重叠核脉冲的采样值，设该梯形重叠核脉冲按步骤①的成形方法进行成形，成形前的输入信号ve(kts)的参数为ai(i＝1,2,...,n)、ti(i＝1,2,...,n)和τ，并设梯形成形时的上升沿时间为ta及平顶宽度时间为d，将这些参数构成该样本的参数集合θ，即θ＝[a1,a2,...,an,t1,t2,...,tn,τ,ta,d]；例如，第i个样本对应的梯形重叠核脉冲vo(mts)的采样值为[vo(ts)]i,[vo(2ts)]i,[vo(3ts)]i,...,[vo((k+2+nc)ts)]i；第i个样本的参数集合则变为θi。参数集合θ随机产生。

接着，将数据集按照一定比例划分为训练集(trainset)、测试集(testset)、验证集(validationset)。其中，训练集用于lstm模型的训练，测试集用于模型训练完成后检验模型的泛化能力。验证集用于检验训练完成的模型是否出现过拟合现象。倘若出现过拟合现象，则需利用dropout算法修改神经网络的传播结构。dropout算法可以使得网络在训练过程中，按照一定概率将记忆单元暂时从网络中丢弃。由于只是随机的把网络的记忆单元暂时丢弃，因此每一个批次(batch)训练的网络都会存在差异。这样的差异会提高模型的泛化能力，从而有效抑制过拟合现象的出现。其数学模型如下所示：

其中，p为lstm记忆单元停止传播的概率，为第l层网络的第j个lstm记忆单元的取舍信息，其服从伯努利分布。y^(l)为第l层网络的输出信息。为第l+1层网络的输入信息。

步骤③将训练集用于lstm(longshort-termmemory，lstm)模型的训练；在训练lstm时的前向传播过程中，将步骤②划分出的训练集中的各个样本对应的梯形重叠核脉冲vo(mts)之采样值作为lstm模型的输入数据。为了使训练数据能够被网络充分学习，首层的lstm记忆单元个数为k+2+nc，与梯形重叠核脉冲vo(mts)的时间序列的个数k+2+nc相同；其次，对每一个序列信息利用lstm遗忘门、输入门、记忆单元状态及输出门等结构依次迭代出隐藏状态信息hm和记忆单元的状态信息cm，其中，隐藏状态信息hm既要与记忆单元的状态信息cm传递到同层的下一个lstm记忆单元，又要作为下一层lstm网络的输入信息。这样的信息传递方式使得lstm模型具有将数据的抽象特征映射到更高维度网络层的能力。本步骤即步骤③的lstm前向传播过程中的遗忘门、输入门、记忆单元状态、输出门按如下a、b、c、d环节实现。

a、遗忘门结构的计算

遗忘门结构可以决定记忆单元状态的信息舍弃程度

其中，hm-1为前一个记忆单元的隐藏状态信息，分别为第i个样本中第m个采样值[vo(mts)]i在遗忘门结构中的输入权重、循环权重；为第i个样本在遗忘门结构中的偏置；σ为门函数，由sigmoid函数构成，利用该函数可以输出一个在0到1之间的数值以决定状态信息的取舍，其公式为：

b、输入门结构的计算

利用输入门结构计算记忆单元内部新增的状态信息。其结构与遗忘门的结构类似，权重和偏置的参数分别为u^g、w^g、b^g。数学模型如下所示：

其中，和分别为第i个样本中的第m个采样值[vo(mts)]i在输入门结构中的输入权重和循环权重，为第i个样本在输入门结构中的偏置。

c、对记忆单元状态更新

首先，利用tanh函数创建候选信息向量将遗忘门信息、前一个记忆单元状态信息，输入门信息以及候选信息向量作为当前记忆单元状态信息的更新要素，则更新状态信息的数学模型为：

其中，cm表示当前时刻的记忆单元状态值，fm表示遗忘门的输出值，cm-1表示前一时刻的记忆单元状态值，gm表示输入门的输出值，表示候选向量，和分别为第i个样本中的第m个采样值[vo(mts)]i在记忆单元状态更新结构中的输入权重和循环权重，为第i个样本在记忆单元状态更新结构中的偏置。

d、输出门的计算

输出门确定了隐藏状态的信息hm。首先，将包含有前一个记忆单元隐藏状态信息hm-1的向量和含有当前脉冲序列信息[vo(mts)]i的向量传递到sigmoid函数中；接着将记忆单元状态信息cm传递给tanh函数；最后将tanh函数的输出与sigmoid函数的输出om相乘，以确定隐藏状态的信息hm；最后，既要将隐藏状态的信息hm向下一层网络传输，又要把该hm和记忆单元的状态信息cm向同层的下一个记忆单元传递。输出门的数学模型如下：

hm＝om·tanh(cm)(13)

其中，和分别为第i个样本中的第m个采样值[vo(mts)]i在输出门结构中的输入权重和循环权重，为第i个样本在输出门结构中的偏置；以此类推，直到最后一层lstm网络预测出脉冲参数集合θ′i，前向传播结束。

步骤④基于bptt(backpropagationthroughtime，bptt)算法进行梯形重叠核脉冲反向传播训练。因为在定义神经网络时，每个lstm记忆单元的权重和偏置是随机分配的，所以，单次前向传播迭代输出的预测脉冲参数集合θ′i与训练集中的实际脉冲参数集合θi的误差可以通过损失函数计算。对于有q个样本的训练集，将参数集合θi的均方误差(mse)值作为损失函数的函数值lossmse，即损失函数的计算式为：

接着，应用bptt算法将lossmse与损失函数的梯度一起反馈给网络来更新权重，实现减少后续迭代中的误差的目的。最后，为了提高训练效率，避免模型在训练后期出现loss值震荡，需要设计一种方法确定模型停止训练轮数。由于平均绝对误差(meanabsolutedeviation，mae)具有避免偏差相互抵消的性质。故本文利用该方法确定算法训练的轮数，其计算公式如(15)所示。

根据实际情况设定一个阈值，当mae小于该阈值时，训练结束。此时，将测试集中的数据输入模型中，以检验该脉冲参数识别模型的泛化能力。

步骤⑤训练模型的保存与调用

当一个具有识别梯形重叠核脉冲参数集合θ能力的lstm模型训练完成后，将训练完成的模型结构、权重、训练配置及优化器状态等重要信息保存为hdf5(hierarchicaldataformat5，hdf5)文件；然后将步骤①中欲进行参数估计的原始梯形重叠核脉冲的采样值作为lstm模型的输入,进而由lstm模型的输出得到所需提取的脉冲参数集合θ。

通过以上步骤①～⑤完成梯形重叠核脉冲的估计。

如上所述基于深度学习技术对梯形成形后得到的梯形重叠核脉冲进行参数估计的方法，克服了传统算法受到数学模型规模限制无法对整个样本提取特征的局限，借用指数脉冲序列与梯形成形的参数作为样本集，从全局意义上让lstm通过不断迭代训练建立起每种指数脉冲序列和与之对应的梯形成形后的参数之间的映射关系，从而实现梯形重叠核脉冲的参数估计，进而获取其中各个核脉冲的参数。本方法大大降低了梯形重叠核脉冲的舍弃率，提高了放射性测量的准确度和可信度；有利于分析由探测器及其后续电路响应特性的变化所导致的信号参数的波动性，比如，指数脉冲信号时间常数的波动性；这对于核仪器波形成形算法及能谱漂移纠正算法的验证，参数随时间及外界条件的变化关系分析，以及后续核脉冲参数的获取等过程具有重要意义。同时，本发明将训练完成的模型以hdf5文件格式保存，可以让其它计算机设备直接加载该模型即可完成提取脉冲参数的工作。此外，随着以为操作系统的便携式设备性能的不断增强，该hdf5文件在简单修改后即可部署于这些便携式设备之中，从而为新一代便携式核脉冲识别探测器提供一定的支持。

在上述本发明的实施例中，对梯形成形后的重叠核脉冲的参数估计方法进行了详细说明，但需说明的是，以上所述仅为本发明的一个实施例而已，当其它类型的脉冲在涉及利用本文所提深度学习lstm脉冲参数提取时，本发明仍有效，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本发明受到国家自然科学基金(11675028，41774140)、成都理工大学科研创新团队(10912-kytd201701)和四川省教育厅重点项目基金(18za0050)资助。