意图识别模型的训练方法、意图识别方法及装置与流程

1.本技术涉及人工智能技术领域，尤其是涉及一种意图识别模型的训练方法、意图识别方法及装置。


背景技术：

2.现有技术中，意图识别通常采用对话机器人模块的意图识别模型进行处理，主要是通过用户的文本输入判断用户的意图，一般被定义为分类模型来设计。由于对话机器人面对的场景如：客服、销售、回访等都是生活化的，所以用户的文本输入普遍具有口语化的特点，这给模型带来了很大的挑战，同样的意图有很多种不同的表达方式，这要求意图识别模型具有强泛化能力。
3.目前为了提高模型的泛化能力，通常采用人工对文本内容添加噪音干扰(比如，进行错别字替换、同义词替换、添加或减少语气助词、副词等)的方式进行对抗训练，这种方式添加的噪音干扰有限，而且可能会出现扰动较大不利于对抗训练的情况，仍然无法很好地提高意图识别模型的泛化能力。


技术实现要素：

4.本技术的目的在于提供一种意图识别模型的训练方法、意图识别方法及装置，利用预训练语言模型中反向传播的梯度，对模型样本对应的输出向量，即词嵌入层向量进行对抗扰动，这种对抗训练方法可以提高模型鲁棒性。
5.第一方面，本技术实施例提供一种意图识别模型的训练方法，方法包括：获取训练样本集；训练样本集中的样本包括：标注有意图标签的问句；采用训练样本集中的样本对预训练模型进行训练；获取样本对应的初始输出向量；根据初始输出向量确定预训练模型的初始反向传播梯度；基于初始反向传播梯度，对初始输出向量增加预设次数的扰动，得到目标反向传播梯度；根据目标反向传播梯度更新预训练模型的模型参数，得到意图识别模型。
6.在本技术较佳的实施方式中，上述基于初始反向传播梯度，对初始输出向量增加预设次数的扰动，得到目标反向传播梯度的步骤，包括：以初始反向传播梯度作为当前梯度，执行以下扰动操作：根据当前梯度计算当前扰动向量；以当前扰动向量和初始输出向量之和作为目标输出向量；根据目标输出向量及当前扰动次数确定当前梯度增量；以当前梯度增量和当前梯度之和，更新当前梯度，继续执行扰动操作，直至当前扰动次数达到预设次数时，将当前梯度增量和当前梯度之和作为目标反向传播梯度。
7.在本技术较佳的实施方式中，上述根据当前梯度计算当前扰动向量的步骤，包括：根据下式计算当前扰动向量：
[0008][0009]
其中，r0表示当前扰动向量；∈表示预设正数，很小的一个正数；sgn表示符号函数；表示当前梯度；y0表示初始输出向量；l表示损失函数；θ,x,y分别表示模型参数、模
型输入向量和模型输出向量。
[0010]
在本技术较佳的实施方式中，上述根据目标输出向量及当前扰动次数确定当前梯度增量的步骤，包括：根据目标输出向量和损失函数计算目标损失值；基于目标损失值进行前后向传播处理，得到目标梯度；利用下式计算当前梯度增量：
[0011][0012]
其中，δ0表示当前梯度增量，表示目标梯度；y1表示目标输出向量；d表示衰减因子；t表示当前扰动次数。
[0013]
在本技术较佳的实施方式中，上述根据初始输出向量确定预训练模型的初始反向传播梯度的步骤，包括：根据初始输出向量和损失函数，计算样本对应的初始损失值；根据初始损失值进行反向传播，得到预训练模型的初始反向传播梯度。
[0014]
在本技术较佳的实施方式中，上述获取训练样本集的步骤，包括：从对话系统日志中获取多个用户输入文本；对多个用户输入文本进行预处理，得到表达用户意图的多个目标文本；对每个目标文本标注意图标签，得到包含有多个标注有意图标签的问句的训练样本集。
[0015]
在本技术较佳的实施方式中，上述根据目标反向传播梯度更新预训练模型的模型参数的步骤之后，还包括：获取验证样本集；通过验证样本集对参数更新后的模型进行验证；当验证结果满足指定条件时，将参数更新后的模型作为意图识别模型。
[0016]
第二方面，本技术实施例还提供一种意图识别方法，方法包括：获取待识别文本；将待识别文本输入至预设的意图识别模型；意图识别模型为采用如第一方面所述的方法训练得到的模型；通过意图识别模型输出用于表征待识别文本对应意图的输出向量。
[0017]
第三方面，本技术实施例还提供一种意图识别模型的训练装置，装置包括：样本集获取模块，用于获取训练样本集；训练样本集中的样本包括：标注有意图标签的问句；输出向量获取模块，用于采用训练样本集中的样本对预训练模型进行训练，获取样本对应的初始输出向量；梯度确定模块，用于根据初始输出向量确定预训练模型的初始反向传播梯度；扰动模块，用于基于初始反向传播梯度，对初始输出向量增加预设次数的扰动，得到目标反向传播梯度；参数更新模块，用于根据目标反向传播梯度更新预训练模型的模型参数，得到意图识别模型。
[0018]
第四方面，本技术实施例还提供一种意图识别装置，装置包括：文本获取模块，用于获取待识别文本；文本输入模块，用于将待识别文本输入至预设的意图识别模型；意图识别模型为采用如第二方面所述的方法训练得到的模型；模型预测模块，用于通过意图识别模型对待识别文本进行预测，输出用于表征待识别文本对应意图的输出向量。
[0019]
本技术实施例提供的意图识别模型的训练方法、意图识别方法及装置中，首先获取训练样本集；该训练样本集中的样本包括：标注有意图标签的问句；采用训练样本集中的样本对预训练模型进行训练；获取样本对应的初始输出向量；根据初始输出向量确定预训练模型的初始反向传播梯度；基于初始反向传播梯度，对初始输出向量增加预设次数的扰动，得到目标反向传播梯度；根据目标反向传播梯度更新预训练模型的模型参数，得到意图识别模型。本技术实施例利用预训练语言模型中反向传播的梯度，对模型样本对应的输出向量，即词嵌入层向量进行对抗扰动，这种对抗训练方法可以提高模型鲁棒性，进而针对输
入的口语化的文本，模型具备较强的泛化能力。另外，模型训练过程中，由于只需要少量标注数据，并且不依赖外部数据资源，所以相较于传统模型，无需花费大量人工标注成本，训练时间减少，具有较强实用性。
附图说明
[0020]
为了更清楚地说明本技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]
图1为本技术实施例提供的一种意图识别模型的训练方法的流程图；
[0022]
图2为本技术实施例提供的另一种意图识别模型的训练方法的流程图；
[0023]
图3为本技术实施例提供的一种意图识别方法的流程图；
[0024]
图4为本技术实施例提供的一种意图识别模型的训练装置的结构框图；
[0025]
图5为本技术实施例提供的一种意图识别装置的结构框图；
[0026]
图6为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0027]
下面将结合实施例对本技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0028]
现有技术中，为了提高模型的泛化能力，通常采用人工对文本内容添加噪音干扰的方式进行对抗训练，如一种对抗样本的生成方式是人工对文本内容添加噪音干扰，形式如下：1.错别字替换，例如：将“我还没打第三针疫苗”变为“我还没打弟三针疫苗”；2.添加语气助词、副词等，例如：将“app下载在哪操作”变为“app下载在哪能操作”；3.减少助词、副词等，例如：将“app下载在哪里操作”变为“app下载在哪操作”；4.同义词替换，例如：将“车险报价”变为“车险算价”。这种方式添加的噪音干扰有限，而且可能会出现扰动较大不利于对抗训练的情况，仍然无法很好地提高意图识别模型的泛化能力。
[0029]
基于此，本技术实施例提供一种意图识别模型的训练方法、意图识别方法及装置，利用预训练语言模型中反向传播的梯度，对模型样本对应的输出向量，即词嵌入层向量进行对抗扰动，这种对抗训练方法可以提高模型鲁棒性。
[0030]
为便于对本实施例进行理解，首先对本技术实施例所公开的一种意图识别模型的训练方法进行详细介绍。
[0031]
图1为本技术实施例提供的一种意图识别模型的训练方法的流程图，该方法具体包括以下步骤：
[0032]
步骤s102，获取训练样本集；训练样本集中的样本包括：标注有意图标签的问句。
[0033]
比如从对话系统日志里收集用户输入文本，即各种用户输入的问句。由于收集来的原始数据中，有较多的噪音，比如无意义的特殊字符，空格，乱码的字符，使用正则表达式进行清理，对话文本长度过长将其截断。口语化表达中经常出现语义不完整或者句法错误
的情况，用依存句法分析、词性识别等手段进行过滤，留下可以完整地清晰地表达用户意图的文本，然后进行人工标注意图，意图分类体系是和具体应用场景相关的，比如保险领域常用的意图有：“买保险”、“退保险”、“查询保单”、“保单贷款”等等。
[0034]
步骤s104，采用训练样本集中的样本对预训练模型进行训练，获取样本对应的初始输出向量；也就是，将样本输入至预训练模型中，通过该预训练模型输出该样本对应的输出向量，即词嵌入层向量。
[0035]
步骤s106，根据初始输出向量确定预训练模型的初始反向传播梯度。
[0036]
具体实施时，可以首先根据初始输出向量和损失函数，计算样本对应的初始损失值；然后根据初始损失值进行反向传播，得到预训练模型的初始反向传播梯度。
[0037]
步骤s108，基于初始反向传播梯度，对初始输出向量增加预设次数的扰动，得到目标反向传播梯度。
[0038]
上述预设次数可以根据实际情况进行不同的设定，具体的增加扰动的过程包括多个循环操作，后续进行详细描述。
[0039]
步骤s110，根据目标反向传播梯度更新预训练模型的模型参数，得到意图识别模型。
[0040]
需要说明的是，上述模型的训练过程中，可以对每个样本设定预设的训练次数，最终的模型的确定可以根据验证集对模型的预测性能或者样本的训练次数来确定，比如当模型的预测性能达到一定值，或者模型的训练次数达到一定值时，模型训练结束，得到意图识别模型。
[0041]
本技术实施例提供的意图识别模型的训练方法中，利用预训练语言模型中反向传播的梯度，对模型样本对应的输出向量，即词嵌入层向量进行对抗扰动，这种对抗训练方法可以提高模型鲁棒性，进而针对输入的口语化的文本，模型具备较强的泛化能力。另外，模型训练过程中，由于只需要少量标注数据，并且不依赖外部数据资源，所以相较于传统模型，无需花费大量人工标注成本，训练时间减少，具有较强实用性。
[0042]
基于上述方法实施例，本技术实施例还提供一种意图识别模型的训练方法，该方法在上一实施例的基础上实现，本技术实施例中，模型的训练部分按顺序分成六个部分：系统相关文本数据收集，数据处理，训练集验证集的准备、开源预训练模型bert的准备、模型的训练及模型文件的输出。本实施例重点描述模型的训练过程中的反向传播梯度的确定方式，以及增加扰动方式。
[0043]
1、系统相关文本数据收集，比如从对话系统日志中获取多个用户输入文本。
[0044]
2、数据处理，收集来的原始数据中，有较多的噪音，比如无意义的特殊字符，空格，乱码的字符等，需要进行预处理，即对多个用户输入文本进行预处理，得到表达用户意图的多个目标文本。
[0045]
具体的预处理过程如下：比如，使用正则表达式进行清理，对话文本长度过长将其截断；口语化表达中经常出现语义不完整或者句法错误的情况，用依存句法分析、词性识别等手段进行过滤，留下可以完整地清晰地表达用户意图的文本。
[0046]
然后对每个目标文本标注意图标签，得到包含有多个标注有意图标签的问句的训练样本集。意图标签的标注需要人工完成，意图分类体系是和具体应用场景相关的，比如保险领域常用的意图有：“买保险”、“退保险”、“查询保单”、“保单贷款”等等。
[0047]
比如，问句为“你们[name]在哪能看到”，其对应的意图标签为“销售渠道”；再比如，问句为“你们现在停售的产品中包括[name]吗”，其对应的意图标签为“销售状态”等等。其中，[name]表示产品名称。
[0048]
3、训练集、验证集的准备，使用python脚本将处理后的数据集分成按合适比例进行切分。其中，训练集用于模型的训练，验证集用与训练过程中模型效果的验证。
[0049]
4、开源预训练模型bert的准备，从官方网站下载开源预训练模型bert文件。bert模型的全称是bidirectionalencoder representations from transformer，基于transformer的双向编码器表示，是一个预训练的语言表征模型，它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model(mlm)，以致能生成深度的双向语言表征。
[0050]
5、模型的训练，过程中使用验证集来检测模型的训练效果。比如，获取验证样本集；通过验证样本集对参数更新后的模型进行验证；当验证结果满足指定条件时，将参数更新后的模型作为意图识别模型。验证结果可以是模型的预测准确率，或者其它指标。
[0051]
6、模版及模型文件的输出，训练完毕后，保存训练好的模型参数二进制格式文件，用于线上系统进行意图识别。
[0052]
下面对上述第5步中的模型训练过程进行详细阐述：
[0053]
对于每个样本，执行以下步骤：
[0054]
步骤s201，采用样本对预训练模型进行训练，获取样本对应的初始输出向量；也就是，将样本输入至预训练模型中，通过该预训练模型输出该样本对应的输出向量，即词嵌入层向量y0。
[0055]
步骤s202，根据初始输出向量和损失函数，计算样本对应的初始损失值。根据输出向量y0和损失函数l计算损失值loss0。
[0056]
步骤s203，根据初始损失值进行反向传播，得到预训练模型的初始反向传播梯度。损失值loss0进行反向传播，得到预训练模型的初始反向传播梯度
[0057]
步骤s204，以初始反向传播梯度作为当前梯度，执行以下扰动操作：
[0058]
步骤s2042，根据当前梯度计算当前扰动向量。
[0059]
具体的，根据下式计算当前扰动向量：
[0060][0061]
其中，r0表示当前扰动向量；∈表示预设正数，很小的一个正数；sgn表示符号函数；表示当前梯度；l表示损失函数；θ,x,y分别表示模型参数、模型输入向量和模型输出向量。
[0062]
步骤s2044，以当前扰动向量和初始输出向量之和作为目标输出向量。即y1＝r0+y0。
[0063]
步骤s2046，根据目标输出向量及当前扰动次数确定当前梯度增量。
[0064]
根据目标输出向量y1和损失函数l计算目标损失值loss1；基于目标损失值loss1进行前后向传播处理，得到目标梯度利用下式计算当前梯度增量：
[0065]
[0066]
其中，δ0表示当前梯度增量，表示目标梯度；d表示衰减因子；t表示当前扰动次数。
[0067]
步骤s2048，以当前梯度增量和当前梯度之和，更新当前梯度，继续执行扰动操作，直至当前扰动次数达到预设次数时，将当前梯度增量和当前梯度之和作为目标反向传播梯度。
[0068]
比如，扰动之前，由y0可计算出梯度即初始梯度为
[0069]
由可计算出当前扰动向量r0，r0+y0＝y1；由y1可计算出梯度由和扰动次数1计算出梯度增量然后，第一次扰动之后，梯度为：第二次扰动之后，梯度为：第二次扰动之后，梯度为：依此类推，可以确定预设次数扰动后的目标反向传播梯度。
[0070]
步骤s205，根据目标反向传播梯度更新预训练模型的模型参数，得到意图识别模型。
[0071]
本技术实施例提供的意图识别模型的训练方法，利用bert预训练语言模型中反向传播的梯度，对模型样本对应的输出向量，即词嵌入层向量进行对抗扰动，这种对抗训练方法可以提高模型鲁棒性，进而针对输入的口语化的文本，模型具备较强的泛化能力。另外，模型训练过程中，由于只需要少量标注数据，并且不依赖外部数据资源，所以相较于传统模型，无需花费大量人工标注成本，训练时间减少，具有较强实用性。
[0072]
基于上述意图识别模型的训练方法实施例，本技术实施例还提供一种意图识别方法，参见图3所示，该方法具体包括以下步骤：
[0073]
步骤s302，获取待识别文本；
[0074]
步骤s304，将待识别文本输入至预设的意图识别模型；意图识别模型为采用意图识别模型的训练方法训练得到的模型；
[0075]
步骤s306，通过意图识别模型输出用于表征待识别文本对应意图的输出向量。
[0076]
基于上述意图识别模型的训练方法实施例，本技术实施例还提供一种意图识别模型的训练装置，参见图4所示，该装置包括：
[0077]
样本集获取模块41，用于获取训练样本集；训练样本集中的样本包括：标注有意图标签的问句；输出向量获取模块42，用于采用训练样本集中的样本对预训练模型进行训练，获取样本对应的初始输出向量；梯度确定模块43，用于根据初始输出向量确定预训练模型的初始反向传播梯度；扰动模块44，用于基于初始反向传播梯度，对初始输出向量增加预设次数的扰动，得到目标反向传播梯度；参数更新模块45，用于根据目标反向传播梯度更新预训练模型的模型参数，得到意图识别模型。
[0078]
在本技术较佳的实施方式中，上述扰动模块45，用于：以初始反向传播梯度作为当前梯度，执行以下扰动操作：根据当前梯度计算当前扰动向量；以当前扰动向量和初始输出向量之和作为目标输出向量；根据目标输出向量及当前扰动次数确定当前梯度增量；以当前梯度增量和当前梯度之和，更新当前梯度，继续执行扰动操作，直至当前扰动次数达到预设次数时，将当前梯度增量和当前梯度之和作为目标反向传播梯度。
[0079]
在本技术较佳的实施方式中，上述扰动模块45，用于根据下式计算当前扰动向量：
[0080][0081]
其中，r0表示当前扰动向量；∈表示预设正数，很小的一个正数；sgn表示符号函数；表示当前梯度；y0表示初始输出向量；l表示损失函数；θ,x,y分别表示模型参数、模型输入向量和模型输出向量。
[0082]
在本技术较佳的实施方式中，上述扰动模块45，用于：根据目标输出向量和损失函数计算目标损失值；基于目标损失值进行前后向传播处理，得到目标梯度；利用下式计算当前梯度增量：
[0083][0084]
其中，δ0表示当前梯度增量，表示目标梯度；y1表示目标输出向量；d表示衰减因子；t表示当前扰动次数。
[0085]
在本技术较佳的实施方式中，上述梯度确定模块44，用于根据初始输出向量和损失函数，计算样本对应的初始损失值；根据初始损失值进行反向传播，得到预训练模型的初始反向传播梯度。
[0086]
在本技术较佳的实施方式中，上述样本集获取模块41，用于从对话系统日志中获取多个用户输入文本；对多个用户输入文本进行预处理，得到表达用户意图的多个目标文本；对每个目标文本标注意图标签，得到包含有多个标注有意图标签的问句的训练样本集。
[0087]
在本技术较佳的实施方式中，上述装置还包括验证模块，用于：获取验证样本集；通过验证样本集对参数更新后的模型进行验证；当验证结果满足指定条件时，将参数更新后的模型作为意图识别模型。
[0088]
本技术实施例提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置的实施例部分未提及之处，可参考前述方法实施例中相应内容。
[0089]
基于上述意图识别方法实施例，本技术实施例还提供一种意图识别装置，参见图5所示，该装置包括：
[0090]
文本获取模块51，用于获取待识别文本；文本输入模块52，用于将待识别文本输入至预设的意图识别模型；意图识别模型为采用如第二方面所述的方法训练得到的模型；模型预测模块53，用于通过意图识别模型对待识别文本进行预测，输出用于表征待识别文本对应意图的输出向量。
[0091]
本技术实施例提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置的实施例部分未提及之处，可参考前述方法实施例中相应内容。
[0092]
本技术实施例还提供了一种电子设备，如图6所示，为该电子设备的结构示意图，其中，该电子设备包括处理器61和存储器60，该存储器60存储有能够被该处理器61执行的计算机可执行指令，该处理器61执行该计算机可执行指令以实现上述方法。
[0093]
在图6示出的实施方式中，该电子设备还包括总线62和通信接口63，其中，处理器61、通信接口63和存储器60通过总线62连接。
[0094]
其中，存储器60可能包含高速随机存取存储器(ram，random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通
信连接，可以使用互联网，广域网，本地网，城域网等。总线62可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线62可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0095]
处理器61可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器61读取存储器中的信息，结合其硬件完成前述实施例的方法的步骤。
[0096]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述方法，具体实现可参见前述方法实施例，在此不再赘述。
[0097]
本技术实施例所提供的方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
[0098]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本技术的范围。
[0099]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0100]
在本技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0101]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。