面向实体抽取的联邦学习优化方法、系统、设备及终端与流程

1.本发明属于自然语言处理技术领域，尤其涉及一种面向实体抽取的联邦学习优化方法、系统、设备及终端。


背景技术：

2.目前，实体抽取任务主要作用是从文本数据中识别出具有某种特别意义的词汇，其包含两个步骤首先识别文本序列中实体的起始位置和终止位置，其次对提取出的实体进行分类。实体抽取在各领域的应用中都具有重大意义，如医疗实体抽取识别电子病历中的疾病类型实体与药物类型实体，对构建药物警戒系统、临床决策支持系统和科研教学等方面具有重大作用。此外，自然语言处理各项技术大多需要以实体抽取任务作为基础。如在问答系统中，系统对用户提出问题的语义理解和分析的准确度依赖于问句中的实体信息，并且推理的答案通常由知识库中的实体构成。
3.近年来，基于深度学习的实体抽取方法具有良好的效果。深度学习可以挖掘文本中粒度更细的语义特征。同时基于它强大的自动提取特征的能力，研究人员无需对文本进行大量的特征工程工作，降低了对文本领域知识的要求，例如cnn-crf、bilstm-crf、cnn-bilstm-crf、bert-crf和albert-bilstm-crf等。但是这些方法通常需要大量的标注数据，而各平台上满足用于训练实体抽取任务的标注数据是有限的，并且人工为实体抽取任务标注数据是非常昂贵和耗时的，需要大量的领域专业知识。此外，部分领域的文本数据存在高度隐私性，如医疗领域涉及病人的病症、基因序列、病理报告等。并且相关法律法规明确颁布了企业单位需要保护用户数据隐私安全，严格限制数据交易范围的法案。这造成各平台无法共享实体标注数据，导致“数据孤岛”问题，这对传统实体抽取方法是巨大的挑战。
4.联邦学习可以有效解决上述问题，其使各平台在保护数据隐私，满足法律法规的前提下进行机器学习，解决了数据缺乏和数据孤岛问题。联邦学习旨在分布式环境下协调多个客户端共同构建机器学习模型。并且每个客户端的训练数据集无需暴露给其余客户端，只需交换模型训练的相关信息。最终得到的联邦学习模型的性能逼近于集中式模型(将所有客户端的训练数据集中在一起进行训练得到的机器学习模型)的性能。近几年联邦学习被广泛应用于医学图像处理、自然语言处理、推荐系统等领域中，帮助解决模型训练因数据隐私保护而缺乏数据的问题，推动了人工智能在企业界的发展，带来了巨大的商业应用价值。
5.目前只有ge s等人将联邦学习框架应用于实体抽取任务。该研究针对英文语料的医学文本提出了一种医学实体抽取模型，并基于fedavg算法搭建个性化联邦学习框架。该方案在数据集cadec，ade corpus和smm4h数据集上的f1值分别达到65.16，82.57和32.69。然而，该研究存在以下问题：客户端数据呈non-iid时造成客户端模型与全局模型偏差大，导致模型准确度下降。
6.综上所述，实体抽取是自然语言处理的一项关键技术。现有研究多采用深度学习模型处理实体抽取任务，需要充足的实体标注数据进行训练，但单个客户端的实体标注数
据通常是有限的，并且客户端之间的数据往往需要隐私保护而不能直接共享。现有研究提出利用联邦学习解决共享实体标注数据的隐私安全问题，但由于各个客户端数据呈非独立同分布导致客户端之间的模型参数空间差异较大，进而使得全局模型的准确率下降。
7.通过上述分析，现有技术存在的问题及缺陷为：
8.(1)现有基于深度学习的实体抽取方法需要大量的标注数据，而人工为实体抽取任务标注数据昂贵且耗时，同时需要大量的领域专业知识。
9.(2)部分领域的文本数据存在高度隐私性，造成各平台无法共享实体标注数据，导致“数据孤岛”问题，这对传统实体抽取方法是巨大的挑战。
10.(3)现有基于联邦学习的实体抽取方法中，由于各个客户端数据呈非独立同分布导致客户端间的模型参数空间差异较大，使得全局模型的准确率下降。


技术实现要素：

11.针对现有技术存在的问题，本发明提供了一种面向实体抽取的联邦学习优化方法、系统、设备及终端。
12.本发明是这样实现的，一种面向实体抽取的联邦学习优化方法，所述面向实体抽取的联邦学习优化方法包括：
13.在共享数据元信息传输阶段，服务端向各个被选中参与联邦学习的客户端发送共享数据请求，各个客户端计算共享数据集元信息，并将元信息上传至服务端；在构建近似iid实体标注数据阶段，服务器根据客户端上传的元信息构建构建近似iid实体标注数据索引集，并向对应的客户端请求索引集对应数据；在模型训练阶段，将服务端看作参与联邦学习训练的一个客户端，使用近似iid实体标注数据集进行模型训练，得到近似集中式模型w
iid
。
14.进一步，所述元信息包括样本的索引、实体数量和类别。
15.进一步，所述面向实体抽取的联邦学习优化方法包括以下步骤：
16.步骤一，对c
t
中每一个客户端服务端向发送数据共享请求，获取的本地共享数据元信息，保存至集合m；
17.步骤二，服务端基于m构建近似iid实体标注数据索引集u；获取索引集而不是数据集的主要原因在于降低数据通信量
18.步骤三，服务端向每一个请求u对应的样本数据，得到近似iid实体标注数据集d
iid
；构建的iid实体标注数据集可用于训练集中式模型。提出了一种构建适用于面向实体抽取的联邦学习的iid数据集构建；
19.步骤四，服务端基于使用d
iid
进行模型训练，得到近似集中式模型w
iid
。
20.进一步，所述m为实体标注数据集元信息集合，其中的一个元素是一条实体标注数据样本的元信息；u为数据样本索引集合，其中的一个元素是一条数据样本的索引；dk(i)表示dk中第i条实体标注样本；l表示实体类别集合。
21.进一步，所述步骤一中的实体标注数据集元信息的构建包括：
22.实体标注数据样本dk(i)的元信息m包含索引u和实体类别向量v两部分，其中v＝[v1，v2，
…
，v
|l|
]，vj表示dk(i)中属于lj实体出现的次数；将u和v分别编码为二进制数，再进
行拼接；用两位二进制数对向量v中每一个分量vj进行编码，共构成(2
×
|l|)位二进制数；当|dk|范围在0～2
32
内，使用32位二进制数对索引进行编码，则实体标注数据集dk生成的元信息数据量最多为个字节。
[0023]
进一步，所述步骤三中的实体标注数据索引集的构建包括：
[0024]
将m中所有样本的实体类别向量v累加，得到全局向量计算的方差作为实体标注数据集的评价指标，称为实体离散度；对于m中的一条元信息m，令u(m)和v(m)分别表示m对应的索引和实体类别向量；
[0025]
其中，所述实体离散度的计算公式如下所示：
[0026][0027]
所述近似iid实体标注数据索引集的构建方法包括：
[0028]
(1)服务端解码客户端发送的二进制实体标注数据元信息；
[0029]
(2)初始化近似iid实体标注数据索引集u和全局实体类别向量
[0030]
(3)遍历m，选择一条原信息m使得值达到最小；
[0031]
(4)如果小于阈值∈，则将u(m)加入u，并将m从m中移除，更新为重复步骤(3)和步骤(4)，直至大于阈值∈或m为空。
[0032]
本发明的另一目的在于提供一种应用所述的面向实体抽取的联邦学习优化方法的面向实体抽取的联邦学习优化系统，所述面向实体抽取的联邦学习优化系统包括：
[0033]
元信息传输模块，用于服务端向各个被选中参与联邦学习的客户端发送共享数据请求，各个客户端计算共享数据集元信息，并将元信息上传至服务端；
[0034]
近似iid实体标注数据构建模块，用于服务器根据客户端上传的元信息构建构建近似iid实体标注数据索引集，并向对应的客户端请求索引集对应数据；
[0035]
模型训练模块，用于将服务端看作参与联邦学习训练的一个客户端，使用近似iid实体标注数据集进行模型训练，得到近似集中式模型w
iid
。
[0036]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的面向实体抽取的联邦学习优化方法的步骤。
[0037]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述的面向实体抽取的联邦学习优化方法的步骤。
[0038]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的面向实体抽取的联邦学习优化系统。
[0039]
结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：
[0040]
第一，针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
[0041]
本发明提出了一种基于共享数据的联邦优化算法fedsd，降低客户端的模型参数
空间之间的差异性，提高全局模型的准确率和收敛速度，降低训练通信成本。实验结果表明，本发明所提的面向实体抽取的联邦学习优化方法方法能够有效克服各个客户端非独立同分布数据下全局模型准确度下降的问题。在降低数据隐私泄漏风险的前提下，本发明提供的模型准确度接近于集中式训练模型，模型f1值仅低于集中式训练模型1.91％。与现有基于联邦学习框架fedavg的实体抽取方法相比，本发明所提方法在boson数据集和微博数据集上的模型f1值有显著提升，单个客户端总数据传输量有显著下降；特别地，随着参与客户端比例和本地训练迭代次数的增大，模型性能的提升更加显著。
[0042]
本发明提出了一种面向联邦学习的实体抽取方法fedsd。该方法可以在各客户端数据不交换的前提下，协调训练实体抽取模型，在降低数据隐私泄漏风险的前提下，模型准确度接近于集中式训练模型。本发明提出的联邦学习框架分为以下四步，分别是客户端选择、模型训练、模型优化和模型聚合，重点根据基于共享数据的联邦优化算法fedsd提出了模型优化，其首先基于客户端的共享数据集构建近似独立同分布实体标注数据集，其次使用该数据集训练模型作为额外的客户端模型，参与后续的模型聚合模块，解决了客户端数据呈非独立同分布时导致模型准确度下降的问题。在多组数据集上的模拟实验表明，本发明所提的面向实体抽取的联邦学习优化方法有效克服了非独立同分布数据下模型准确度下降的问题、并能够降低模型训练的通信成本。
[0043]
第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
[0044]
本发明提出了一种面向实体抽取的联邦学习优化方法fedsd，其根据全体客户端的可共享数据集构建近似iid实体标注数据，并将该数据用于优化全局模型，减少各个客户端的参数空间之间的差异性，提高全局模型的准确率。
[0045]
在fedavg和fedsd算法中，本发明的fedsd算法的模型性能优于基线算法fedavg，说明fedsd算法能够提高在non-iid数据下的模型f1值，提高模型的收敛速度，减少模型训练需要的联邦通信轮次，降低了训练的通信成本。
[0046]
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
[0047]
本发明的技术方案填补了国内外业内技术空白：现有联邦学习并未有通过收集各个客户端的可公开数据集构建iid数据集，用于训练全局模型的技术。本发明首次提出根据各个客户端的可公开数据集构建iid数据集用于联邦学习，缓解由于各个客户端的数据集差异过大，而导致联邦学习收敛慢、收敛难的问题。
附图说明
[0048]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0049]
图1是本发明实施例提供的面向实体抽取的联邦学习优化方法流程图；
[0050]
图2是本发明实施例提供的基于共享数据的联邦优化算法过程示意图；
[0051]
图3是本发明实施例提供的实体标注数据集元信息构建过程示意图；
[0052]
图4是本发明实施例提供的iid实体标注数据构建过程示意图；
[0053]
图5是本发明实施例提供的两种算法的模型训练f1值曲线图；
[0054]
图6是本发明实施例提供的两种算法的模型训练通讯次数示意图。
具体实施方式
[0055]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0056]
针对现有技术存在的问题，本发明提供了一种面向实体抽取的联邦学习优化方法、系统、设备及终端，下面结合附图对本发明作详细的描述。
[0057]
一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
[0058]
如图1所示，本发明实施例提供的面向实体抽取的联邦学习优化方法包括以下步骤：
[0059]
s101，共享数据元信息传输；
[0060]
s102，构建近似iid实体标注数据集；
[0061]
s103，将数据上传至服务器，用于模型训练。
[0062]
作为优选实施例，本发明实施例提供的面向实体抽取的联邦学习优化方法，具体包括以下步骤：
[0063]
1.基本思路
[0064]
联邦学习模型优化的原理如下，客户端上传本地模型参数的同时，上传本地可共享的部分数据集，然后服务端进行模型优化，即基于客户端上传的共享数据集训练一个新的模型，用来参与模型聚合。
[0065]
面向实体抽取的联邦学习模型优化主要包含三个步骤，共享数据元信息传输、构建近似iid实体标注数据集和模型训练，如图2所示。
[0066]
在共享数据元信息传输阶段，服务端向各个被选中参与联邦学习的客户端发送共享数据请求，各个客户端计算共享数据集元信息，包括样本的索引、实体数量和类别，并将元信息上传至服务端。在构建近似iid实体标注数据阶段，服务器根据客户端上传的元信息构建构建近似iid实体标注数据索引集，并向对应的客户端请求索引集对应数据，最后将该数据上传至服务器，用于模型训练。该方法除上传近似iid实体标注数据集以外，额外的通讯开销来自第一次客户端向服务端发送的共享数据集元信息。元信息构建算法具体描述在第2节的算法2。构建近似iid实体标注数据算法具体描述在第3节的算法3。
[0067]
在模型训练阶段，将服务端看作参与联邦学习训练的一个客户端，使用近似iid实体标注数据集进行模型训练，得到近似集中式模型w
iid
。
[0068]
下面详细介绍fedsd算法，见算法1所示。为方便描述算法，现进行如下定义。m为实体标注数据集元信息集合，其中的一个元素是一条实体标注数据样本的元信息。u为数据样本索引集合，其中的一个元素是一条数据样本的索引。dk(i)表示dk中第i条实体标注样本。l表示实体类别集合。
[0069]
在第t轮联邦学习训练中，fedsd由如下四步组成：第一步，对c
t
中每一个客户端服务端向发送数据共享请求，获取的本地共享数据元信息，保存至集合m；第二步，服务
端基于m构建近似iid实体标注数据索引集u；第三步，服务端向每一个请求u对应的样本数据，得到近似iid实体标注数据集d
iid
；第四步，服务端基于使用d
iid
进行模型训练，得到近似集中式模型w
iid
。
[0070]
表1 fedsd算法
[0071][0072][0073]
2.构建元信息
[0074]
本发明描述构建实体标注数据集元信息的方法。实体标注数据集元信息构建过程如图3所示。实体标注数据样本dk(i)的元信息m包含索引u和实体类别向量v两部分，其中v＝[v1，v2，
…
，v
|l|
]，vj表示dk(i)中属于lj实体出现的次数。考虑到减少数据传输的通信成本，本发明将u和v分别编码为二进制数，再进行拼接。通常，dk(i)中属于某类实体出现的次数不超过4个。因此本发明用两位二进制数对向量v中每一个分量vj进行编码，共构成(2
×
|l|)位二进制数。基于上述算法，假设|dk|范围在0～2
32
内，使用32位二进制数对索引进行编码，则实体标注数据集dk生成的元信息数据量最多为个字节。共享数据元信息构建算法如算法2所示。
[0075]
表2 共享数据元信息构建算法
[0076][0077][0078]
3.构建实体标注数据索引集
[0079]
本发明介绍构建实体标注数据索引集的方法。首先介绍实体标注数据集的iid评价方法。将m中所有样本的实体类别向量v累加，得到全局向量然后，计算的方差将其作为实体标注数据集的评价指标，称为实体离散度，计算公式如(1)所示。对于m中的一条元信息m，令u(m)和v(m)分别表示m对应的索引和实体类别向量。
[0080][0081]
下面描述构建近似iid实体标注数据索引集的方法，构建过程如图4所示。第一步，服务端解码客户端发送的二进制实体标注数据元信息。第二步，初始化近似iid实体标注数据索引集u和全局实体类别向量第三步，遍历m，选择一条原信息m使得值达到最小。第四步，如果小于阈值∈，则将u(m)加入u，并将m从m中移除，更新为重复步骤三和四，直至大于阈值∈或m为空。具体细节见算法3所示。
[0082]
表3 构建近似iid实体标注数据索引集
[0083]
[0084][0085]
本发明实施例提供的面向实体抽取的联邦学习优化系统包括：
[0086]
元信息传输模块，用于服务端向各个被选中参与联邦学习的客户端发送共享数据请求，各个客户端计算共享数据集元信息，并将元信息上传至服务端；
[0087]
近似iid实体标注数据构建模块，用于服务器根据客户端上传的元信息构建构建近似iid实体标注数据索引集，并向对应的客户端请求索引集对应数据；
[0088]
模型训练模块，用于将服务端看作参与联邦学习训练的一个客户端，使用近似iid实体标注数据集进行模型训练，得到近似集中式模型w
iid
。
[0089]
二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
[0090]
实施流程如图1所示，通过收集各个客户端的公开数据集，构建iid数据，训练全局模型，缓解由于数据集差异导致的联邦学习收敛慢、收敛难的问题。采用本发明后，在1998年人民日报中文实体标注数据集、boson实体标注数据集和微博实体标注数据集这三个数据上，本发明所提出的算法fedsd的各个指标相对于fedavg都高出了大约1％左右。因此对于各类联邦学习任务，都可以通过收集各个客户端可公开数据集，构建iid数据，训练全局模型，从而提高最终模型的性能。
[0091]
三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。
[0092]
1.实验数据和评价指标
[0093]
本发明使用1998年人民日报中文实体标注数据集、boson实体标注数据集和微博实体标注数据集。
[0094]
首先介绍数据集预处理的方法。为防止输入序列过长导致bi-lstm模型出现梯度消失或下降的问题，本发明对数据集所有样本进行长度限制，最大长度为256个字符。对超过256个字符的样本进行截取，拆分为多个样本。对不足256个字符的样本以标签“o”进行填充。将数据集按照4：1的比例划分为训练集和测试集，其中训练集包含20864个样本，测试集包含4636个样本。
[0095]
其次介绍联邦学习环境的模拟方法。首先对训练集进行分类。具体做法如下，统计每个句子样本各个实体类别的数量，将句子分类为出现某类实体数量最多的类别，若该句子未出现实体，则将其记为类别“o”。其次，根据分类结果对训练集进行排序，再将除“o”类别的训练集按顺序均等的划分成n份子数据集作为n个不同的客户端。然后，为模拟客户端数据规模不一致和低质量数据集，将“o”类别的训练集均等的划分成n份子数据集，每个客户端以0.3的概率从中选取一份子数据集直至“o”类别的训练集为空。最后每个客户端使用本地子数据集进行模型训练后参与联邦聚合。
[0096]
本发明实验是在ubuntu16.04系统下，使用python3.6编程语言进行开发。硬件资源使用4个2.2ghz的10核cpu、12gb内存和geforce rtx 2080显卡。
[0097]
本发明使用精确率(precision)，召回率(recall)和f1值(f1-score)作为实体抽取模型的评价指标。定义tp为模型识别正确的实体数量，fp为模型识别实体边界或实体类别错误的实体数量，fn为没有被模型识别的真实实体数量。三个评价指标公式如下：
[0098][0099][0100][0101]
2.实验设定
[0102]
本节说明fedsd算法的优越性，所选基线算法为fedavg。
[0103]
联邦学习参数设置如下：客户端数量设置为10；每轮选择客户端的比例为0.2；联邦学习训练轮次为20。模型训练参数设置如下：采用albert-bilstm-crf模型，epoch为2，batchsize为32，crf层学习率为10-3
，神经网络模块学习率为10-5
。假定fedsd算法每轮联邦通信中客户端均提供本地训练集10％的共享数据集。
[0104]
3.消融实验
[0105]
两种算法的模型训练f1值曲线如图5所示。fedsd算法的模型收敛速度比fedavg算法更快，在第2轮联邦通信时模型f1值达到拐点，从第10轮联邦通信开始，模型f1值接近收敛。fedavg算法模型收敛速度较慢在第14轮联邦通信才接近收敛。最终实验结果如表4所示，在20轮联邦通信下，fedsd算法的模型f1值达到90.51％，高于fedavg算法0.81％左右。下面分析出现上述实验结果的原因。
[0106]
fedavg算法在non-iid数据下，各客户端以本地数据进行建模，并且本地数据集规模通常较小，模型容易出现过拟合的问题。这会造成各客户端模型更新趋势不同，导致模型聚合后的全局模型更新趋势相比于集中式模型训练更不平稳，模型的准确度下降。fedsd算法通过客户端共享数据集构建近似iid实体标注数据，并使用该数据集进行模型训练得到近似集中式模型。将集中式模型作为额外的客户端参与模型聚合，纠正因non-iid数据导致更新趋势不一致的客户端模型参数，增加了全局模型对整体数据分布建模的能力，从而提高了模型的准确度。
[0107]
表4 两种算法的模型训练结果
[0108][0109]
其次分析两种算法的模型训练通信成本。设定模型f1值达到88％所需要的通信次数，实验结果如图6所示。实验结果表明，fedsd算法模型f1值最早达到88％，仅需11轮联邦通信，而fedavg需要的通信轮次需要19次联邦通信。说明在达到相同的模型f1值，fedsd算法相比基线算法需要更少的联邦通信，模型训练效率高，减少了训练通信成本。
[0110]
进一步分析单个客户端的总数据传输量。本实验每轮联邦通信以0.2的概率随机
选择客户端参与联邦学习训练，所以不同客户端的总数据传输量可能不一致，因此本发明求得所有客户端总数据传输量的平均值作为单个客户端的总数据传输量，实验结果如表5所示。fedavg算法的总数据传输量为147.7mb，高于fedsd算法。这是因为fedavg算法模型训练效率低，需要进行更多的联邦通信，导致客户端上传的总数据传输量多。fedsd算法的总数据传输量分别为92.28mb。相比于fedavg，每轮联邦通信中fedsd算法的客户端需要额外传输共享数据集，其大小为445kb，共包含1259条数据样本，其中包含803个“人名”实体、1525个“地理位置”实体和917个“组织机构”实体。fedavg算法均只需上传模型参数，共41.5mb。虽然fedsd算法相比fedavg算法在每轮联邦通信中额外传输了共享数据集，但fedsd算法提高了模型的收敛速度，在更低联邦通信次数下，达到更高的模型f1值，因此客户端上传的总数据传输量更低。
[0111]
表5 两种算法的数据传输量
[0112][0113]
综上所述，在fedavg和fedsd算法中，fedsd算法的模型性能优于基线算法fedavg。说明fedsd算法能够提高在non-iid数据下的模型f1值，提高模型的收敛速度，减少模型训练需要的联邦通信轮次，降低了训练的通信成本。
[0114]
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
[0115]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。