一种模型训练方法、装置及通用模型框架与流程

1.本技术涉及计算机技术领域，特别是涉及一种模型训练方法、装置及通用模型框架。


背景技术：

2.在一些场景中，可以训练模型来进行结果预测。例如，在内容推荐的场景中，可以训练模型来确定用户与内容交互的可能性，从而为用户合理推荐内容。
3.目前训练模型的方式是，针对各个业务场景(例如推荐场景)分别训练对应的模型，相应的，研发人员需要针对各个模型编写对应的软件代码，从而导致模型训练的效率较低。
4.因此，急需一种方案，能够解决上述问题。


技术实现要素：

5.为了解决或者至少部分解决上述技术问题，本技术实施例提供了一种模型训练方法、装置及通用模型框架。
6.第一方面，本技术实施例提供了一种模型训练方法，所述方法包括：
7.获取训练数据；
8.利用所述训练数据和通用模型框架，训练目标模型；其中：
9.所述通用模型框架包括特征处理模块和任务抽象模块，所述特征处理模块用于对多模态数据进行特征处理，所述任务抽象模块，用于计算多种预测任务对应的损失函数；所述多模态数据，包括所述训练数据所属的类型的数据，所述多种预测任务，包括所述目标模型的预测任务；在训练所述目标模型时，利用所述特征处理模块对所述训练数据进行特征处理，并利用所述任务抽象模块计算损失函数，所述多模态数据包括：图像、视频、音频以及文本中的至少一种。
10.可选的，所述特征处理模块，包括：
11.特征提取模块和特征融合模块；
12.所述特征提取模块，用于分别提取所述多模态数据中各个类型的数据的特征；
13.所述特征融合模块，用于对所述各个类型的数据的特征中的至少两种类型的数据的特征进行融合，得到融合特征。
14.可选的，所述特征融合模块，包括：
15.多种特征融合方式中各个融合方式分别对应的特征融合子模块。
16.可选的，所述多种融合方式，包括以下至少一项：
17.平均池化、串联融合以及基于注意力机制的特征融合。
18.可选的，利用所述特征处理模块对所述训练数据进行特征处理，包括：
19.利用所述特征提取模块和所述特征融合模块中的目标特征融合子模块对所述训练数据进行特征处理。
20.可选的，所述多种预测任务，包括：
21.分类任务、匹配任务、知识蒸馏任务、以及行为序列建模任务。
22.可选的，所述任务抽象模块，包括与各个预测任务分别对应的任务抽象子模块，所述利用所述任务抽象模块计算损失函数，包括：
23.利用与所述目标模型的预测任务对应的任务抽象子模块，计算所述目标模型的损失函数。
24.第二方面，本技术实施例提供了一种模型训练装置，所述装置包括：
25.获取单元，用于获取训练数据；
26.训练单元，用于利用所述训练数据和通用模型框架，训练目标模型；其中：
27.所述通用模型框架包括特征处理模块和任务抽象模块，所述特征处理模块用于对多模态数据进行特征处理，所述任务抽象模块，用于计算多种预测任务对应的损失函数；所述多模态数据，包括所述训练数据所属的类型的数据，所述多种预测任务，包括所述目标模型的预测任务；在训练所述目标模型时，利用所述特征处理模块对所述训练数据进行特征处理，并利用所述任务抽象模块计算损失函数，所述多模态数据包括：图像、视频、音频以及文本中的至少一种。
28.可选的，所述特征处理模块，包括：
29.特征提取模块和特征融合模块；
30.所述特征提取模块，用于分别提取所述多模态数据中各个类型的数据的特征；
31.所述特征融合模块，用于对所述各个类型的数据的特征中的至少两种类型的数据的特征进行融合，得到融合特征。
32.可选的，所述特征融合模块，包括：
33.多种特征融合方式中各个融合方式分别对应的特征融合子模块。
34.可选的，所述多种融合方式，包括以下至少一项：
35.平均池化、串联融合以及基于注意力机制的特征融合。
36.可选的，利用所述特征处理模块对所述训练数据进行特征处理，包括：
37.利用所述特征提取模块和所述特征融合模块中的目标特征融合子模块对所述训练数据进行特征处理。
38.可选的，所述多种预测任务，包括：
39.分类任务、匹配任务、知识蒸馏任务、以及行为序列建模任务。
40.可选的，所述任务抽象模块，包括与各个预测任务分别对应的任务抽象子模块，所述利用所述任务抽象模块计算损失函数，包括：
41.利用与所述目标模型的预测任务对应的任务抽象子模块，计算所述目标模型的损失函数。
42.第三方面，本技术实施例提供了一种通用模型框架，所述通用模型框架包括特征处理模块和任务抽象模块，所述特征处理模块用于对多模态数据进行特征处理，所述任务抽象模块，用于计算多种预测任务对应的损失函数，所述多模态数据包括：图像、视频、音频以及文本中的至少一种。
43.可选的，所述特征处理模块，包括：
44.特征提取模块和特征融合模块；
45.所述特征提取模块，用于分别提取所述多模态数据中各个类型的数据的特征；
46.所述特征融合模块，用于对所述各个类型的数据的特征中的至少两种类型的数据的特征进行融合，得到融合特征。
47.可选的，所述特征融合模块，包括：
48.多种特征融合方式中各个融合方式分别对应的特征融合子模块。
49.可选的，所述多种融合方式，包括以下至少一项：
50.平均池化、串联融合以及基于注意力机制的特征融合。
51.可选的，所述多种预测任务，包括：
52.分类任务、匹配任务、知识蒸馏任务、以及行为序列建模任务。
53.第四方面，本技术实施例提供了一种设备，所述设备包括处理器和存储器；
54.所述处理器用于执行所述存储器中存储的指令，以使得所述设备执行如以上第一方面中任一项所述的方法。
55.第五方面，本技术实施例提供了一种计算机可读存储介质，包括指令，所述指令指示设备执行如以上第一方面中任一项所述的方法。
56.第六方面，本技术实施例提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行以上第一方面任一项所述的方法。
57.与现有技术相比，本技术实施例具有以下优点：
58.本技术实施例提供了一种模型训练方法，该方法可以获取训练数据，获取训练数据之后，可以利用所述训练数据和通用模型框架，训练目标模型。所述通用模型框架，包括特征处理模块和任务抽象模块，所述特征处理模块用于对多模态数据进行特征处理，所述任务抽象模块，用于计算多种预测任务对应的损失函数。因此，该通用模型框架可以用于训练多个场景对应的模型。在一个示例中，所述多模态数据，包括所述训练数据所属的类型的数据，所述多种预测任务，包括所述目标模型的预测任务，这样一来，在训练所述目标模型时，可以利用所述特征处理模块对所述训练数据进行特征处理，并利用所述任务抽象模型计算损失函数。由此可见，在本技术实施例中，在训练目标模型时，基于通用模型框架进行模型训练，对于研发人员而言，其无需撰写与目标模型对应的软件代码，其重点关注训练目标模型的训练数据和目标模型的预测任务即可。利用本方案，能够有效提升训练目标模块的效率。作为一个示例，在需要训练模型的场景较多的场景下，各个场景下的模型训练均可以采用本技术实施例提供的方案，从而有效提升训练多个场景对应的模型的效率。
附图说明
59.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
60.图1为本技术实施例提供的一种模型训练方法的流程示意图；
61.图2为本技术实施例提供的一种通用模型框架的结构示意图；
62.图3为本技术实施例提供的一种模型训练装置的结构示意图。
具体实施方式
63.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
64.本技术的发明人经过研究发现，在一些业务场景中，可以训练模型来进行结果预测。例如，在内容推荐的场景中，可以训练模型来确定用户与内容交互的可能性，从而为用户合理推荐内容。目前，内容的体裁各种各样，例如包括短视频、视频、文章等等。而各个体裁的内容也可以包括多模态数据，例如，对于视频而言，其包括视频标题、视频帧、语音、背景音乐等等类型的数据。
65.目前训练模型的方式是，针对各个业务场景(例如推荐场景)分别训练对应的模型。例如：针对视频推荐文章的场景，训练对应的模型；针对文章推荐视频的场景，训练对应的模型；针对文章推荐文章的场景，训练对应的模型；针对视频推荐视频的场景，训练对应的模型。
66.而每训练一个模型，研发人员需要针对各个模型编写对应的软件代码，而编码对应的软件代码需要一定的时间，这就导致模型训练的效率较低。尤其是当需要训练的模型数量较多时，为每个模型分别编写对应的软件代码，模型训练的效率尤其低下。
67.为了解决上述问题，本技术实施例提供了一种模型训练方法、装置及通用模型框架。
68.下面结合附图，详细说明本技术的各种非限制性实施方式。
69.示例性方法
70.参见图1，该图为本技术实施例提供的一种模型训练方法的流程示意图。本技术实施例提供的模型训练方法，可以由客户端执行，也可以由服务端执行，本技术实施例不做具体限定。
71.在本实施例中，图1所示的方法例如可以包括以下步骤：s101-s102。
72.s101：获取训练数据。
73.本技术实施例不具体限定所述训练数据，所述训练数据待训练的目标模型的预测任务相关。作为一个示例，若所述预测任务为：预测在视频播放类应用程序(application，app)为用户推送的文章或者视频被用户查看的可能性，则所述训练数据例如可以包括用户在所述视频播放类app中历史观看的视频的信息。此处提及的视频的信息，可以是视频的视频标题、视频帧、语音以及背景音乐中的一项或者多项。作为又一个示例，若所述预测任务为：预测在文章阅读类app为用户推送的视频被用户查看的可能性，则所述训练数据例如可以包括用户在所述文章阅读类app中历史观看的文章的信息。此处提及的文章的信息，可以是文章的文章标题、文章正文等等中的一项或者多项。
74.s102：利用所述训练数据和通用模型框架，训练目标模型，其中：所述通用模型框架包括特征处理模块和任务抽象模块，所述特征处理模块用于对多模态数据进行特征处理，所述任务抽象模块，用于计算多种预测任务对应的损失函数；所述多模态数据，包括所述训练数据所属的类型的数据，所述多种预测任务，包括所述目标模型的预测任务；在训练所述目标模型时，利用所述特征处理模块对所述训练数据进行特征处理，并利用所述任务
抽象模型计算损失函数，所述多模态数据包括：图像、视频、音频以及文本中的至少一种。
75.在本技术实施例中，在利用所述训练数据训练目标模型时，研发人员无需单独为所述目标模型撰写对应的软件代码。或者说，无需利用研发人员单独为所述目标模型撰写的软件代码来训练所述目标模型，而是利用通用模型框架来训练所述目标模型。换言之，获取所述训练数据之后，可以利用所述训练数据和所述通用模型框架，训练所述目标模型。
76.关于所述通用模型框架，需要说明的是：所述通用模型框架可以用于训练多种业务场景对应的模型。在一个示例中，可以预先编写所述通用模型框架对应的软件代码，这样一来，当需要训练多种业务场景对应的模型时，均可以利用所述通用模型框架来训练，而无需研发人员为每个业务场景分别编写对应的软件代码，从而提升模型训练的效率。
77.在本技术实施例中，所述通用模型框架包括特征处理模块和任务抽象模块。其中：
78.所述特征处理模块，用于对多模态数据进行特征处理。此处提及的多模态数据，包括但不限于：图像、视频、音频以及文本中的至少一种。
79.在一个示例中，考虑到在一些业务场景中，用于训练模型的训练数据可以包括多模态数据，对于这种情况，往往需要对训练数据中包括的多模态数据的特征进行融合。而所述通用模型框架适用于多种业务场景，因此，在一个示例中，所述特征处理模块可以包括特征提取模块和特征融合模块。其中：
80.所述特征提取模块，用于分别提取所述多模态数据中各个类型的数据的特征。作为一个示例，所述特征提取模块可以包括多个特征处理子模块，一个特征处理子模块用于提取一种类型的数据的特征。例如，所述特征处理模块包括3个子模块，分别为文本特征提取子模块、图像特征提取子模块和音频特征提取子模块，文本特征提取子模块用于提取文本的特征，图像特征提取子模块用于提取图像的特征，音频特征提取子模块用于提取音频的特征。
81.所述特征融合模块，用于对所述各个类型的数据的特征中的至少两种类型的数据的特征进行融合，得到融合特征。作为一个示例，考虑到对于不同的业务场景，其需要融合的特征对应的数据类型不同。而所述通用模块框架能够适用于各种业务场景，因此，所述融合模块，可以对所述各个类型的数据的特征中的至少两种类型的数据的特征进行融合，得到融合特征。例如，所述特征融合模块，可以对文本的特征和图像的特征进行融合；所述特征融合模块，可以对文本的特征和音频的特征进行融合；所述特征融合模块，可以对图像的特征和音频的特征进行融合；所述特征融合模块，还可以对文本的特征、音频的特征以及图像的特征进行融合。
82.在一个示例中，考虑到对多模态数据的特征进行融合，可以有多种融合方式。而不同的融合方式可能会带来不同的模型训练效果。在一个示例中，为了使得所述通用模型框架能够适用于不同业务场景对模型训练效果的需求，所述特征融合模块，可以包括多种特征融合方式中各个融合方式分别对应的特征融合子模块。在训练目标模型时，研发人员可以根据具体业务场景，选择对应的特征融合子模块来参与所述目标模型的训练。
83.关于所述多种融合方式，本技术实施例不做具体限定。在一个示例中，所述多种融合方式可以包括平均池化(mean pooling)、串联(concatenate)融合以及基于注意力机制的特征融合。其中：
84.平均池化：指的是将多模态数据的特征取平均，然后将取平均之后的特征输入若
干层全连接神经网络，从而得到融合特征。
85.串联融合：指的是将多模态数据的特征在特征维度上进行拼接，然后过若干层全连接神经网络，从而得到融合特征。串联融合与平均池化相比，能够更精细建模多模态数据之间的信息交互。
86.基于注意力机制的特征融合，又可以被称为跨模态注意力(cross-modality attention，cma)融合，指的是采用transformer建模多模态数据之间的交互。关于cma融合，此处不做详细说明。
87.在一个示例中，若用于训练模型的训练数据仅包括一种类型的数据，例如，仅包括文本。对于这种情况，在一个示例中，可以无需对特征提取模块的输出的特征进行融合。在又一个示例中，可以由特征融合模块采用单一映射的方式，对所述特征提取模块输出的特征进行处理。所谓单一映射，指的是所述特征融合模块对所述特征提取模块输出的特征不做特殊处理，直接输出该特征提取模块输出的特征。
88.在一个示例中，当所述训练数据包括多模态数据时，利用所述特征处理模块对所述训练数据进行特征处理在具体实现时，可以利用所述特征提取模块和所述特征融合模块中的目标特征融合子模块对所述训练数据进行特征处理。例如，可以利用与所述训练数据对应的至少一个特征提取子模块，提取所述训练数据中各种类型的数据分别对应的特征，而后，利用所述特征融合模块中的目标特征融合子模块对所述至少一个特征提取子模块输出的特征进行特征融合。
89.举例说明：训练数据包括文本、图像和音频，则可以利用文本特征提取子模块对所述训练数据中的文本进行特征提取，得到文本特征，利用图像特征提取子模块对所述训练数据中的图像进行特征提取，得到图像特征，利用音频特征提取子模块对所述训练数据中的音频进行特征提取，得到音频特征。而后，采用基于注意力机制的特征融合对应的特征融合子模块，对所述文本特征、图像特征以及音频特征进行特征融合，得到融合特征。
90.如前所述，所述通用模型框架包括特征处理模块和任务抽象模块，接下来，对所述任务抽象模块进行介绍。
91.在本技术实施例中，所述任务抽象模块，用于计算多种预测任务对应的损失函数。其中，所述预测任务与模型对应的业务场景相关。本技术实施例不具体限定所述多种预测任务。在一个示例中，所述多种预测任务可以包括：分类任务、匹配任务、知识蒸馏任务、以及行为序列建模任务。
92.所谓分类任务，可以是对数据进行分类，例如，识别数据的类别。对于这种情况，在训练目标模型时，可以直接利用前述特征融合模块的输出和训练数据的标签，计算损失函数。其中，训练数据的标签，用于指示训练数据的实际分类。
93.所谓匹配任务，可以是建模多个训练样本(例如两个训练样本)之间的匹配程度。对于这种情况，可以基于多个训练样本对应的融合特征，计算损失函数。例如，可以基于训练样本1和训练样本2，计算损失函数。又如，可以采用moco模型计算损失函数的方式，计算损失函数。
94.所谓知识蒸馏任务，可以是利用教师网络的输出来监督学生网络的学习。此处提及的教师网络，可以是对不同数据进行特征处理之后得到的融合特征，相应的，所述学生网络，可以是对训练数据进行特征处理之后得到的融合特征。
95.所谓行为序列建模任务，可以是利用用户的历史行为预测用户未来行为。对于这种情况，用户的历史行为可以对应多个融合特征，对该多个融合特征再次进行融合，所得到的特征即可用于预测用户的未来行为。例如，用户历史点击过的(n-1)个视频可以对应n个融合特征，将该(n-1)融合特征进行融合，融合后的结果可以用来预测下一个视频是否会被点击。对于这种情况，在模型训练阶段，假设用户的历史行为包括m个行为，则可以基于前(m-1)个行为的融合特征和所述第m个行为的融合特征，计算损失函数。在一个示例中，所述任务抽象模块可以包括与各个预测任务分别对应的任务抽象子模块。例如，包括与分类任务对应的任务抽象子模块、与匹配任务对应的任务抽象子模块、与知识蒸馏任务对应的任务抽象子模块、以及与行为序列建模任务对应的任务抽象子模块。对于这种情况，在训练所述目标模型时，可以利用与所述目标模型的预测任务对应的任务抽象子模块，计算所述目标模型的损失函数，相应的，利用计算得到的损失函数，更新所述目标模型的参数。例如：目标模型用于基于用户历史点击的视频，预测用户是否会点击为用户推送的视频。则可以利用行为序列建模任务对应的任务抽象子模块，计算所述目标模型的损失函数。
96.接下来，结合图2介绍该通用模型框架。
97.参见图2，该图为本技术实施例提供的一种通用模型框架的结构示意图。
98.如图2所示，所述通用模型框架包括特征处理模块和任务抽象模型，其中，所述特征处理模块包括：特征提取模块和特征融合模块，所述特征提取模块包括文本特征提取子模块、图像特征提取子模块和音频特征提取子模块。所述特征融合模块包括平均池化对应的融合子模块、串联融合对应的融合子模块、跨模特注意力融合对应的融合子模块以及单一映射对应的融合子模块。所述任务抽象模块包括与分类任务对应的任务抽象子模块、与匹配任务对应的任务抽象子模块、与知识蒸馏任务对应的任务抽象子模块以及与行为序列建模对应的任务抽象子模块。
99.在训练目标模型时，训练数据首先由特征提取模块中的其中一个或者多个子模块进行处理，而后，所述特征提取模块中的其中一个或者多个子模块输出的特征，由其中一个融合子模块进行处理(具体可由研发人员指定)，进一步地，由其中一个任务抽象子模块(具体可由研发人员指定)对该融合子模块的输出进行处理，得到对应的损失函数。进一步地，基于该损失函数，更新所述目标模型的参数。
100.需要说明的是，图2只是为了方便理解本技术实施例的方案而示出，所述通用模型框架的结构不限于图2所示，例如，所述特征提取模块除了可以包括图2所示的3个子模块之外，还可以包括其它子模块。类似的，特征融合模块除了包括图2所示的4个子模块之外，还可以包括其它子模块；任务抽象模块除了包括图2所示的4个子模块之外，还可以包括其它子模块；等等，此处不一一详细说明。
101.示例性设备
102.基于以上实施例提供的方法，本技术实施例还提供了一种装置，以下结合附图介绍该装置。
103.参见图3，该图为本技术实施例提供的一种模型训练装置的结构示意图。所述装置300例如可以具体包括：获取单元301和训练单元302。
104.获取单元301，用于获取训练数据；
105.训练单元302，用于利用所述训练数据和通用模型框架，训练目标模型；其中：
106.所述通用模型框架包括特征处理模块和任务抽象模块，所述特征处理模块用于对多模态数据进行特征处理，所述任务抽象模块，用于计算多种预测任务对应的损失函数；所述多模态数据，包括所述训练数据所属的类型的数据，所述多种预测任务，包括所述目标模型的预测任务；在训练所述目标模型时，利用所述特征处理模块对所述训练数据进行特征处理，并利用所述任务抽象模块计算损失函数，所述多模态数据包括：图像、视频、音频以及文本中的至少一种。
107.可选的，所述特征处理模块，包括：
108.特征提取模块和特征融合模块；
109.所述特征提取模块，用于分别提取所述多模态数据中各个类型的数据的特征；
110.所述特征融合模块，用于对所述各个类型的数据的特征中的至少两种类型的数据的特征进行融合，得到融合特征。
111.可选的，所述特征融合模块，包括：
112.多种特征融合方式中各个融合方式分别对应的特征融合子模块。
113.可选的，所述多种融合方式，包括以下至少一项：
114.平均池化、串联融合以及基于注意力机制的特征融合。
115.可选的，利用所述特征处理模块对所述训练数据进行特征处理，包括：
116.利用所述特征提取模块和所述特征融合模块中的目标特征融合子模块对所述训练数据进行特征处理。
117.可选的，所述多种预测任务，包括：
118.分类任务、匹配任务、知识蒸馏任务、以及行为序列建模任务。
119.可选的，所述任务抽象模块，包括与各个预测任务分别对应的任务抽象子模块，所述利用所述任务抽象模块计算损失函数，包括：
120.利用与所述目标模型的预测任务对应的任务抽象子模块，计算所述目标模型的损失函数。
121.由于所述装置300是与以上方法实施例提供的方法对应的装置，所述装置300的各个单元的具体实现，均与以上方法实施例为同一构思，因此，关于所述装置300的各个单元的具体实现，可以参考以上方法实施例的描述部分，此处不再赘述。
122.本技术实施例提供了一种通用模型框架，所述通用模型框架包括特征处理模块和任务抽象模块，所述特征处理模块用于对多模态数据进行特征处理，所述任务抽象模块，用于计算多种预测任务对应的损失函数，所述多模态数据包括：图像、视频、音频以及文本中的至少一种。
123.可选的，所述特征处理模块，包括：
124.特征提取模块和特征融合模块；
125.所述特征提取模块，用于分别提取所述多模态数据中各个类型的数据的特征；
126.所述特征融合模块，用于对所述各个类型的数据的特征中的至少两种类型的数据的特征进行融合，得到融合特征。
127.可选的，所述特征融合模块，包括：
128.多种特征融合方式中各个融合方式分别对应的特征融合子模块。
129.可选的，所述多种融合方式，包括以下至少一项：
130.平均池化、串联融合以及基于注意力机制的特征融合。
131.可选的，所述多种预测任务，包括：
132.分类任务、匹配任务、知识蒸馏任务、以及行为序列建模任务。
133.关于所述通用模型框架，可以参考上文的相关描述部分，此处不做重复描述。
134.本技术实施例还提供了一种设备，所述设备包括处理器和存储器；
135.所述处理器用于执行所述存储器中存储的指令，以使得所述设备执行以上方法实施例提供的模型训练方法。
136.本技术实施例提供了一种计算机可读存储介质，包括指令，所述指令指示设备执行以上方法实施例提供的模型训练方法。
137.本技术实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行以上方法实施例提供的模型训练方法。
138.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
139.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。
140.以上所述仅为本技术的较佳实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。