神经网络模型量化方法、装置、设备及存储介质与流程

1.本发明涉及模型量化技术领域，尤其涉及一种神经网络模型量化方法、装置、设备及存储介质。


背景技术：

2.相关技术中，在对神经网络模型进行量化时，需要挑选一些输入样本完成模型量化，而现阶段往往采取人工挑选的方式，选择出可能具有代表性的以及不同种的样本进行后续量化处理。
3.但是，人工挑选的方式主观性较强，因此难以保证抽取所得样本的代表性和多样性，进而会导致后续量化过程中获取的权重和激活值的动态范围窄，引起量化后的模型精度较差、泛化能力较低的问题。


技术实现要素：

4.本发明的主要目的在于提供一种神经网络模型量化方法、装置、设备及存储介质，旨在解决现有技术中量化精度较差以及量化后所得模型的泛化能力较低的技术问题。
5.根据本发明的第一方面，提供了一种神经网络模型量化方法，所述方法包括：
6.获取多个训练样本与待量化神经网络模型；
7.根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组；
8.从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集；
9.根据所述模型量化输入样本集，获得权重和激活值的动态范围，确定量化参数对网络进行量化，获得量化后的神经网络模型。
10.可选地，所述根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组之前，所述方法还包括：
11.提取出多个所述训练样本的特征值；
12.基于多个所述训练样本的特征值的分布情况，利用非监督算法对多个所述训练样本的特征值进行聚类，从多个所述训练样本的特征值中筛选出预设分类数目的中心特征值；
13.根据所述中心特征值对应的特征类型，确定出多个所述训练样本的特征类型。
14.可选地，所述根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组，包括：
15.针对任一非中心特征值，基于多个所述训练样本的特征值的分布情况，从预设分类数目的所述中心特征值中筛选出与所述非中心特征值距离最近的目标中心特征值；
16.将所述非中心特征值对应的训练样本归集到所述目标中心特征值对应的训练样本所属的样本组中。
17.可选地，所述从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模
型量化输入样本集，包括：
18.针对任一所述样本组，对所述样本组进行随机抽样，从所述样本组中任意抽取出预设样本数量的训练样本；
19.基于从多个所述特征集中抽取出的训练样本，得到所述模型量化输入样本集。
20.可选地，所述从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集，包括：
21.针对任一所述样本组，确定出对应的训练样本的特征值分布；
22.根据所述特征值分布，从所述样本组中按规则抽取出预设样本数量的训练样本；
23.基于从多个所述特征集中抽取出的训练样本，得到所述模型量化输入样本集。
24.可选地，所述根据模型量化输入样本集，获得权重和激活值的动态范围，确定量化参数对网络进行量化，获得量化后的神经网络模型，包括：
25.根据所述模型量化输入样本集中的多个输入样本，获得权重和激活值的动态范围，并利用量化工具对所述权重进行量化，获得量化后的权重；
26.根据所述量化后的权重和多个所述输入样本，对所述激活值进行量化，获得量化后的神经网络模型。
27.可选地，所述根据所述模型量化输入样本集，更新所述权重参数，获得量化后的神经网络模型之后，所述方法还包括：
28.将所述量化后的神经网络模型移植到嵌入式设备中。
29.根据本发明的第二方面，提供了一种神经网络模型量化装置，所述装置包括：
30.样本获取模块，用于获取多个训练样本与待量化神经网络模型；
31.样本划分模块，用于根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组；
32.样本抽样模块，用于从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集；
33.模型量化模块，用于根据所述模型量化输入样本集，获得权重和激活值的动态范围，确定量化参数对网络进行量化，获得量化后的神经网络模型。
34.根据本发明的第三方面，提供了一种神经网络模型量化设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的神经网络模型量化程序，所述神经网络模型量化程序被所述处理器执行时实现第一方面的实现方式中的任一种可能的实现方式中所述的各个步骤。
35.根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有神经网络模型量化程序，所述神经网络模型量化程序被处理器执行时实现第一方面的实现方式中的任一种可能的实现方式中所述的各个步骤。
36.本发明实施例提出一种神经网络模型量化方法、装置、设备及存储介质，通过神经网络模型量化设备获取多个训练样本与待量化神经网络模型；根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组；从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集；根据所述模型量化输入样本集，获得权重和激活值的动态范围，确定量化参数对网络进行量化，获得量化后的神经网络模型。
37.本发明基于训练样本的特征对其进行分类，得到具有不同特征的多个样本组，每
个样本组都可以代表原始样本具有的某一种特征，再从不同的样本组分别中抽取出一定数量的代表不同特征的训练样本作为模型输入，从而得到具有多样性和代表性的输入样本集，最后利用该输入样本集对模型进行量化，可以提高权重和激活值的动态范围，即可提高模型量化的精度，进而提高量化后所得模型的泛化能力。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
39.图1为本发明实施例方案涉及的硬件运行环境的神经网络模型量化设备的结构示意图；
40.图2为本发明神经网络模型量化方法的第一实施例的流程示意图；
41.图3为本发明图2中s202的步骤的细化流程示意图；
42.图4为本发明图2中s203的步骤的细化流程示意图；
43.图5为本发明图2中s203的步骤的细化流程示意图；
44.图6为本发明图2中s204的步骤的细化流程示意图；
45.图7为本发明实施例涉及的神经网络模型量化装置的功能模块示意图。
46.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
47.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
48.本发明实施例的主要解决方案是：获取多个训练样本与待量化神经网络模型；根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组；从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集；根据所述模型量化输入样本集，获得权重和激活值的动态范围，确定量化参数对网络进行量化，获得量化后的神经网络模型。
49.相关技术中，在对神经网络模型进行量化时，需要挑选一些输入样本完成模型量化，而现阶段往往采取人工挑选的方式，选择出可能具有代表性的样本进行后续量化处理。但是，人工挑选的方式主观性较强，因此难以保证抽取所得样本的代表性和多样性，进而会导致后续量化过程中获取的权重和激活值的动态范围窄，引起量化后的模型精度较差、泛化能力较低的问题。
50.本发明提供一种解决方案，该方案用于神经网络模型量化设备，基于训练样本的特征对其进行分类，得到具有不同特征的多个样本组，每个样本组都可以代表原始样本具有的某一种特征，再从不同的样本组分别中抽取出一定数量的代表不同特征的训练样本作为模型输入，从而得到具有多样性和代表性的输入样本集，最后利用该输入样本集对模型进行量化，可以提高权重和激活值的动态范围，即可提高模型量化的精度，进而提高量化后所得模型的泛化能力。
51.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例
中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.本发明实施例的说明书和权利要求书中的“第一”、“第二”用于区别类似的对象，而不必用于描述特定的顺序或者先后次序，应该理解这样的数据在适当的情况下可以互换，以便这里描述的实施例能够以除了这里图示或者描述的那些以外的顺序实施。
53.参照图1，图1为本发明实施例方案涉及的硬件运行环境的神经网络模型量化设备的结构示意图。
54.如图1所示，该神经网络模型量化设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
55.本领域技术人员可以理解，图1中示出的结构并不构成对神经网络模型量化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
56.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、样本获取模块、样本处理模块、模型量化模块以及神经网络模型量化程序，其中，样本处理模块又可细化为样本划分模块以及样本抽样模块。
57.在图1所示的神经网络模型量化设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明神经网络模型量化设备中的处理器1001、存储器1005可以设置在神经网络模型量化设备中，神经网络模型量化设备通过处理器1001调用存储器1005中存储的神经网络模型量化程序，并执行本发明实施例提供的神经网络模型量化方法。
58.基于上述硬件结构但不限于上述硬件结构，本发明提供一种神经网络模型量化方法第一实施例。参照图2，图2为本发明神经网络模型量化方法第一实施例的流程示意图。
59.本实施例中，该方法包括：
60.步骤s201，获取多个训练样本与待量化神经网络模型；
61.在本实施例中，执行主体为神经网络模型量化设备，该设备可以实时接收用户输入的训练样本以及待量化的神经网络模型，也可以从后台数据库调取训练样本和待量化的神经网络模型。而在得到待量化神经网络模型后，神经网络模型量化设备可以读取出该模型的模型结构、权重参数等各项信息，以便于后续处理。其中，根据实际需求输入的训练样本可以有多种，如图像、音频、文本以及序列数据等，本实施例对此不作限制。
62.步骤s202，根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组；
63.对于一组具体的训练样本，其往往具有多种不同的特征，比如，对于图像样本，其可以提取的特征包括：灰度特征(均值、方差、能量、梯度、直方图、信息熵等)、矩特征、卷积
特征(进行多个卷积后，获得对应的卷积特征)、频率特征(fft、小波、dct)等；对于音频样本，其可以提取的特征包括但不限于：频率特征、能量特征、分布特征等；对于文本样本，其可以提取的特征包括但不限于：词频、语气、词性、词袋、词矢量等；对于序列数据样本，其可以提取的特征包括但不限于：统计特征、分布特征、时序特征、拟合特征等，当然，上述只是以几种常见的样本为例进行说明，不代表本实施例对所处理的样本进行限制。
64.不管对于何种样本，本实施例都可以基于样本所具有的不同特征类型对样本进行划分，也就是说，划分出的每一个样本组都对应于样本本身所具有的某一种特征，因此得到的样本组是具有代表性的；同时，多个不同的样本组有分别对应于不同的样本特征，因此得到的多个样本组又是具有多样性的，从而确保后续量化的精度以及所得量化模型的泛化能力。
65.而在基于特征类型进行划分之前，首先需要确定出多个不同的特征类型，具体方式如下：
66.首先会提取出每个训练样本的特征值，并将这些特征值组合成一个特征矢量，然后本实施例中会将这个特征矢量输入非监督分类模型，利用非监督算法对特征矢量中包含的多个特征值进行分类。具体的，以k-means算法(一种非监督算法)为例，首先，用户可以根据任务复杂程度和样本大致特征输入一个预设分类数目，任务越复杂、样本所具有的特征越多，相应的该预设分类数目也就越大，k-means算法模型从所有的特征值中随机选取出预设分类数目的中心特征值，假设预设分类数目为k，即有k个中心特征值，然后以这些中心特征值作为质心，将剩余的特征值归集到距离最近的质心处，形成k个簇，每次归集后，重新计算k个簇的质心，然后以重新计算得到的k个质心为标准，按照上述方法重新归集，重新归集得到k个簇，然后再次计算新的k个簇的质心，反复循环迭代执行上述步骤，直到每个簇及其质心不发生变化，将最后得到的k个质心对应的特征值作为中心特征值。其中，非监督分类是以不同影像地物在特征空间中类别特征的差别为依据的一种无先验(已知)类别标准的图像分类，是以集群为理论基础，通过计算机对图像进行集聚统计分析的方法。根据待分类样本特征参数的统计特征，建立决策规则来进行分类。而不需事先知道类别特征。把各样本的空间分布按其相似性分割或合并成一群集，每一集群代表的地物类别，需经实地调查或与已知类型的地物加以比较才能确定。是模式识别的一种方法。一般算法有:回归分析、趋势分析、等混合距离法、集群分析、主成分分析和图形识别等。
67.可以理解的，对应于相同特征的特征值相似度高，所以彼此之间的距离，更准确的说，彼此之间的欧式距离也更近，因此在上述基于距离进行的反复的迭代操作过程中，如果两个特征值对应于不同的特征，那么两者之间的欧式距离就较大，进而如果这两个特征值归集在一起就必然引起质心的变化，因此，在经过上述反复迭代后，最后得到的k个，即预设分类数目的中心特征值一定是对应于不同的特征类型的，因此最后即可根据这些中心特征值的特征类型，确定出训练样本的特征类型，或者更通俗的说，不同的中心特征值就代表着不同的特征类型。
68.在确定出不同特征类型对应的中心特征值后，即可基于此进行训练样本的划分。在一具体实施方式中，参照图3，图3为本发明图2中s202的步骤的细化流程示意图，所述根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组，包括：
69.步骤a10，针对任一非中心特征值，基于多个所述训练样本的特征值的分布情况，
从预设分类数目的所述中心特征值中筛选出与所述非中心特征值距离最近的目标中心特征值；
70.如上所述，不同的中心特征值就代表着不同的特征类型，因此在实际处理过程中，根据特征类型进行样本划分的过程实际上就是根据不同的中心特征值进行样本划分的过程。具体的，由于对应于相同特征类型的特征值彼此之间的欧式距离相较于对应于不同特征类型的特征值彼此之间的欧式距离更近，因此，可以根据各个特征值的分布情况，即各个非中心特征值与各个中心特征值之间的欧式距离进行聚类和划分，而对应于同一特征的特征值之间的欧式距离更近，因此对于每一个非中心特征值，就需要确定出与之欧式距离最近的那一个中心特征值。
71.步骤a20，将所述非中心特征值对应的训练样本归集到所述目标中心特征值对应的训练样本所属的样本组中。
72.对于任意一个非中心特征值，找出与之欧式距离最近的那一个中心特征值后，说明该非中心特征值和该中心特征值对应于同一种特征类型，因此即可将两者归为一类，即将该非中心特征值对应的训练样本归集到该目标中心特征值对应的训练样本所属的样本组中，而在完成对所有非中心特征值对应的训练样本的划分后，即可得到多个样本组，当然这些样本组的个数应当与中心特征值的个数，即上述预设分类数目一致。
73.步骤s203，从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集；
74.在得到上述多个样本组后，可以根据实际需求从每个样本组中抽取出预设样本数量的训练样本，并共同组成模型量化输入样本集，可以理解的，经过上述基于特征类型的分类，来自同一个样本组的训练样本能够代表样本的某一种特征，因此可以为模型的量化提供具有代表性的训练样本，而来自不同样本组的训练样本共同作为输入，因此又可以为模型的量化提供具有多样性的训练样本。需要说明的是，在实际操作过程中，有时也可以不必严格按照预设样本数量来进行样本抽取，也就是说，从每个样本组中抽取出数量大致相同或完全相同的样本即可。
75.在一具体实施方式中，参照图4，图4为本发明图2中s203的步骤的细化流程示意图，所述从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集，包括：
76.步骤b10，针对任一所述样本组，对所述样本组进行随机抽样，从所述样本组中任意抽取出预设样本数量的训练样本；
77.步骤b20，基于从多个所述特征集中抽取出的训练样本，得到所述模型量化输入样本集。
78.在抽取样本组中的训练样本时，一种可行的抽取方式为随机抽样，即从每个样本组中任意抽取出预设样本数量的训练样本，也就是说，这个过程是随机挑选的，没有具体的规则限制。然后，从每个样本组中都抽取出一定数量的训练样本后，将所有这些样本整合在一起，共同作为模型量化输入样本集。
79.在另一具体实施方式中，参照图5，图5为本发明图2中s203的步骤的细化流程示意图，所述从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集，还包括：
80.步骤c10，针对任一所述样本组，确定出对应的训练样本的特征值分布；
81.步骤c20，根据所述特征值分布，从所述样本组中按规则抽取出预设样本数量的训练样本；
82.步骤c30，基于从多个所述特征集中抽取出的训练样本，得到所述模型量化输入样本集。
83.在抽取样本组中的训练样本时，除了上述采用随机抽样的方式外，还可以根据每个样本组中的特征分布情况进行规律性的抽取。具体的，以音频样本的频率特征为例，可以对音频信号中的不同信号分量即不同训练样本对应的频率进行排序，比如从大到小排序，然后按照排序结果，从中等间隔的提取出预设样本数量的训练样本；或者还可以是根据各个不同分量频率的大小，将总的频率范围划分为多个频率区间，然后从每个区间中都选取出一定数量的训练样本，当然最后选取出的总数要满足预设样本数量或者至少是接近预设样本数量。最后，将从各个样本组中抽取出的所有训练样本整合在一起，共同作为模型量化输入样本集。需要说明的是，本实施例中以音频样本的频率特征为例，不代表仅限于对音频样本的频率特征使用，对于各种样本的各种特征，都可以采取上述方法进行抽样，且具体实施方式与上述基本一致。
84.步骤s204，根据所述模型量化输入样本集，获得权重和激活值的动态范围，确定量化参数对网络进行量化，获得量化后的神经网络模型；
85.在得到上述模型量化输入样本集后，即可利用该模型量化输入样本集对待量化的神经网络模型进行量化处理，具体的，是对神经网络模型中的权重和激活值进行量化处理，以得到量化后的神经网络模型。
86.在一具体实施方式中，参照图6，图6为本发明图2中s204的步骤的细化流程示意图，所述根据所述模型量化输入样本集，获得权重和激活值的动态范围，确定量化参数对网络进行量化，获得量化后的神经网络模型，包括：
87.步骤d10，根据所述模型量化输入样本集中的多个输入样本，获得权重和激活值的动态范围，并利用量化工具对所述权重进行量化，获得量化后的权重；
88.在得到上述模型量化输入样本集后，利用量化工具对神经网络模型进行后续的量化处理。其中，本实施例中所使用的量化工具可以是基于python、c++等开发环境的各种开源工具，如tensorflow lite、tensorrt、paddleslim、pytorch等等，也可以是深度学习芯片厂商提供的开/闭源工具，本实施例对此不做限制。
89.具体的，在输入模型量化输入样本集后，量化工具会按照一定的计算规则对权重参数进行量化计算，以完成对权重参数的量化。比如，统计张量中的最大最小值，然后以中间值做对称量化；又如，指定中间值，根据张量中权值到中间值的距离，做非对称量化，当然，具体的量化计算规则是由所用量化工具定义的规则确定，本实施例对此不作限制。
90.步骤d20，根据所述量化后的权重和多个所述输入样本，对所述激活值进行量化，获得量化后的神经网络模型。
91.在上述基础上，为了提高量化后神经网络模型的泛化能力，本实施例中还会对神经网络模型中的激活函数输出值进行量化，在上述对权重进行量化更新后，基于更新后的权重对模型量化输入样本集进行加权相加，然后将所得结果输入该激活函数，该激活函数是一个非线性函数，其作用相当于一个映射函数，可以将输入值映射到一个范围的输出值，
从而确定出神经网络模型的激活值参数范围，获得量化后的神经网络模型。
92.其中，模型量化输入样本集会对模型的激活值参数产生较大影响，比如若一个样本组中存在离群点，则可能会使得最后得到的激活值范围明显扩大，从而导致量化精度降低，而本实施例由于在先已经获得了具有代表性和多样性的模型量化输入样本集，也就是说每个样本都是严格基于特征进行分类的，所以不会出现离群点的问题，因此可以提升量化精度；在此基础上，如果不使用激活函数，这种情况下神经网络模型的每一层节点的输入都是上一层输出的线性函数，这时不管该模型有多少层，每层的输出都是输入的线性组合，这种情况类似于最原始的感知机，那么该模型的逼近能力即泛化能力就相当有限了，所以为了提升量化后神经网络模型的泛化能力，本实施例中引入了非线性函数如sigmoid函数、relu函数、leak-relu函数、tanh函数、elu等作为该激活函数，而为了提升对该激活函数进行量化处理的精度，就需要选取上述具有代表性和多样性的模型量化输入样本集。
93.最后，将量化得到的神经网络移植到嵌入式设备中即可正常使用。
94.本实施例中，基于训练样本的特征对其进行分类，得到具有不同特征的多个样本组，且每个样本组都对应于原始样本具有的某一种特征，也就是说，每个样本组都是具有代表性的，然后再分别从每个样本组中抽取出一定数量的训练样本，共同作为模型输入，也就是说，抽取出的训练样本是具有多样性的，从而利用具有多样性和代表性的输入样本集对模型进行量化，进而提高模型量化的精度以及量化后所得模型的泛化能力。
95.基于同一发明构思，本发明实施例还提供一种神经网络模型量化装置，参照图7所示，包括：
96.样本获取模块，用于获取多个训练样本与待量化神经网络模型；
97.样本划分模块，用于根据多个所述训练样本的特征类型，将多个所述训练样本划分为多个样本组；
98.样本抽样模块，用于从多个所述样本组中分别抽取出预设样本数量的训练样本，得到模型量化输入样本集；
99.模型量化模块，用于根据所述模型量化输入样本集，获得权重和激活值的动态范围，确定量化参数对网络进行量化，获得量化后的神经网络模型。
100.此外，在一实施例中，本技术还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现前述方法实施例中方法的步骤。
101.在一些实施例中，计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、闪存、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
102.在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
103.作为示例，可执行指令可以但不一定对应于文件系统中的文件，可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(html，hyper text markup language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
104.作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
105.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。