基于跨特征类型交互与多尺度融合的人脸表情识别方法

1.本发明涉及图像处理与计算机视觉技术领域，特别涉及一种基于跨特征类型交互与多尺度融合的人脸表情识别方法。


背景技术：

2.面部表情是人类表达自我情绪的一种最自然、最直接的方式，因此弄清人类情绪状态是许多计算机视觉任务的基本前提，这些任务包括人际交互、驾驶员疲劳监测和医疗保健等。虽然基于rgb的跨特征类型交互与多尺度融合的人脸表情识别方法因深度学习的兴起已取得较大进展，但单一特征类型输入的基于跨特征类型交互与多尺度融合的人脸表情识别方法仍然面临诸多挑战，例如类间相似性、类内差异性、重要性特征提取不足等。
3.目前基于深度学习的基于跨特征类型交互与多尺度融合的人脸表情识别方法主要是基于单流网络结构来进行的，所谓的单流网络结构，指的是首先采用一个主干网络提取rgb人脸的特征向量，其次根据由rgb人脸生成的关键点热图，设计一些特定的深度网络模块，生成相应的注意力权重，然后用该注意力权重对rgb人脸的特征向量进行加权细化，最后将细化后的rgb人脸特征向量送入全连接层得到识别结果。
4.然而，由人脸的rgb图生成的人脸关键点热图中反映出来的关键点位置不一定完全准确，因此在现有的基于深度学习的基于跨特征类型交互与多尺度融合的人脸表情识别方法中，由关键点热图生成的注意力权重容易受到关键点热图中关键点位置不一定准确的影响，换言之，目前现有基于深度学习的基于跨特征类型交互与多尺度融合的人脸表情识别方法在特征提取阶段或不存在跨特征类型的交互，或只存在从关键点特征得到rgb特征的单方向交互，这就使得深度网络最终提取到的特征容易受到关键点热图不够准确的影响，从而进一步影响最终识别结果的准确性。


技术实现要素：

5.本发明的目的在于克服现有技术中所存在的现有基于深度学习的基于跨特征类型交互与多尺度融合的人脸表情识别方法在特征提取阶段或不存在跨特征类型的交互，或只存在从关键点特征到rgb特征的单向交互，这使得深度网络最终提取到的特征容易受到关键点热图不够准确的影响，从而进一步影响最终识别结果的准确性的不足，提供一种基于跨特征类型交互与多尺度融合的人脸表情识别方法。
6.为了实现上述发明目的，本发明提供了以下技术方案：
7.一种基于跨特征类型交互与多尺度融合的人脸表情识别方法，包括以下步骤：
8.s1：获取待识别表情的人脸的rgb图，并由所述rgb图生成关键点热图；
9.s2：将所述rgb图和所述关键点热图输入至预先训练好的人脸表情识别模型中，得到人脸表情识别结果；
10.所述人脸表情识别模型包括：特征提取网络和跨特征类型多尺度融合识别网络；
11.所述特征提取网络包括：相互平行的rgb子网络与关键点热图子网络，以及按层级
插入在所述rgb子网络与所述关键点热图子网络之间的多个跨特征类型交互模块；
12.所述跨特征类型多尺度融合识别网络包括：跨特征类型多尺度融合模块和全连接层分类识别模块；
13.所述跨特征类型交互模块接收所述rgb子网络与所述关键点热图子网络第i层输出的特征向量，并对接收到的所述特征向量进行跨特征类型交互得到跨特征类型交互特征，同时输出所述跨特征类型交互特征至所述rgb子网络与所述关键点热图子网络的第i+1层，然后，将所述rgb子网络与所述关键点热图子网络经过所述跨特征类型交互模块得到的多层跨特征类型交互特征，输出至所述跨特征类型多尺度融合识别模块中，所述跨特征类型融合网络与所述全连接层分类识别网络对接收到的所述跨特征类型交互特征，分别按序处理，最终得到人脸表情识别结果；
14.其中，i＝0、1...n；n为所述rgb子网络与关键点热图子网络的网络层级数。
15.采用上述技术方案，在提取rgb图和关键点热图的特征向量时，存在跨特征类型的交互和多尺度融合，使得两种特征类型能够更好地互补，相比特征提取阶段只存在单向交互或不存在交互的深度网络，本发明的人脸表情识别网络更具有鲁棒性，从而有效地提高了人脸表情的识别性能。
16.作为本发明的优选方案，所述步骤s2中，对接收到的所述特征向量进行跨特征类型交互包括以下步骤：
17.s21：所述跨特征类型交互模块根据接收到的所述特征向量，使用空间注意力机制产生相应的空间注意力权重和偏置，由所述空间注意力权重和所述偏置与所述特征向量生成空间注意力增强的特征向量；
18.s22：通过跨特征类型交叉自注意力机制对所述空间注意力增强的特征向量进行全局空间维度的加权，得到下一层跨特征类型交互特征。
19.作为本发明的优选方案，所述步骤s21中，所述空间注意力权重和所述偏置的生成公式为：
[0020][0021][0022][0023][0024]
其中，为所述rgb子网络第i层输出的特征向量；为所述关键点热图子网络第i层输出的特征向量；和分别表示用于rgb特征向量的卷积层和用于关键点特征向量的卷积层；和分别为根据生成的注意力权重和偏置；和分别为根据生成的空间注意力权重和偏置；
[0025]
所述生成空间注意力增强的特征向量的增强公式为：
[0026][0027][0028]
其中，为对rgb特征向量进行第一次卷积输出的特征向量；为对关键点特
征向量进行第一次卷积输出的特征向量；relu为线性修正单元激活函数；为空间注意力增强的特征向量。
[0029]
作为本发明的优选方案，所述步骤s22中的所述跨特征类型交叉自注意力处理过程为：
[0030][0031][0032][0033][0034]
其中，分别为卷积层对rgb特征向量进行卷积后输出的特征向量；分别为卷积层分别为卷积层对关键点特征向量进行卷积后输出的特征向量；进行卷积后输出的特征向量；为跨特征类型交互特征。
[0035]
作为本发明的优选方案，所述步骤s2中，将所述跨特征类型交互特征输出至所述跨特征类型多尺度融合识别模块中，所述跨特征类型融合网络与所述全连接层分类识别网络对接收到的所述跨特征类型交互特征，分别按序处理，最终得到人脸表情识别结果包括以下步骤：
[0036]
s201：所述跨特征融合识别模块对所述rgb子网络与所述关键点热图子网络第0层、第1层、.......、第i层、第i+1层，经过所述跨特征类型交互模块输出的跨特征类型交互特征分别进行最大池化，接着将前i层进行最大池化后的跨特征类型交互特征与第i+1层输出的跨特征类型交互特征在通道上串联起来，再通过一个卷积层后输出多尺度融合特征；
[0037]
s202：对接收到的所述rgb图和所述关键点热图的所述多尺度融合特征进行跨特征类型融合得到跨特征类型多尺度融合特征；
[0038]
s203：使所述跨特征类型多尺度融合特征依次通过平均池化层、全连接层，最终输出对人脸表情的识别结果。
[0039]
作为本发明的优选方案，所述步骤s201中，输出所述多尺度融合特征的公式为：
[0040][0041][0042]
其中，为来自多个尺度的跨特征类型交互特征；maxpool表示最大池化操作，用于将不同尺度的特征空间分辨率进行对齐；[
·
，
·
]表示通道串联操作；conv
r6
、conv
l6
为对通道串联的多尺度跨特征类型交互特征进行通道缩减与融合的卷积；i＝0、1...n；n为所述rgb子网络与关键点热图子网络的网络层级数；f
r2
、f
l2
为多尺度融合特征。
[0043]
作为本发明的优选方案，所述步骤s202中，对接收到的所述rgb图和关键点热图的多尺度融合特征进行跨特征类型融合的公式为：
[0044]
σr＝sigmoid((w
fc2
)t((w
fc1
)
t
[avgpool(f
r2
)，avgpool(f
l2
)]))
[0045]
σ
l
＝sigmoid((w
fc3
)
t
((w
fc1
)
t
[avgpool(f
r2
)，avgpool(f
l2
)]))
[0046]
f3＝σr×fr2
+σ
l
×fl2
[0047]
其中，f
r2
、f
l2
为多尺度融合特征；avgpool表示平均池化操作，用于对多尺度融合
特征进行降维；[
·
，
·
]表示通道串联操作；(w
fc1
)
t
、(w
fc2
)
t
、(w
fc3
)
t
为对通道串联的降维特征向量进行维度缩减与融合的全连接层；σr、σ
l
分别表示根据多尺度融合特征f
r2
、f
l2
生成的注意力权重；f3为跨特征类型融合特征。
[0048]
作为本发明的优选方案，所述步骤s203中，输出对人脸表情的识别结果的公式为：
[0049]
expression＝soft max((w
fc
)
t
avgpool(f3))
[0050]
其中，avgpool表示平均池化操作，用于对前述跨特征类型融合特征f3进行降维；w
fc
为用于对提取的特征向量进行分类的全连接层；soft max是归一化指数函数，用于将网络输出向量的每一个元素映射到[0，1]的范围；expression为网络输出的对人脸表情的识别结果。
[0051]
作为本发明的优选方案，采用多类交叉熵损失函数对所述人脸表情识别模型进行训练，公式为：
[0052][0053]
其中n为训练样本总数，m为样本的总类别数，y
ic
为第i个样本的标签值，p
ic
为网络对第i个样本的预测值，log一般为自然对数。
[0054]
另一方面公开了一种基于跨特征类型交互与多尺度融合的人脸表情识别系统，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。
[0055]
与现有技术相比，本发明的有益效果在于：在提取rgb图和关键点热图的特征向量时，存在跨特征类型的交互和多尺度融合，使得两种特征类型能够更好地互补，相比特征提取阶段只存在单向交互或不存在交互的深度网络，本发明的人脸表情识别网络更具有鲁棒性，从而有效地提高了人脸表情的识别性能。
附图说明
[0056]
图1为本发明实施例1所述的一种基于跨特征类型交互与多尺度融合的人脸表情识别方法的流程图；
[0057]
图2为本发明实施例1和2所述的一种基于跨特征类型交互与多尺度融合的人脸表情识别方法的网络结构示意图；
[0058]
图3为本发明实施例2所述的一种基于跨特征类型交互与多尺度融合的人脸表情识别方法的跨特征类型交互模块cfim网络结构详图；
[0059]
图4为本发明实施例2所述的一种基于跨特征类型交互与多尺度融合的人脸表情识别方法的跨特征类型多尺度融合识别模块cffm网络结构详图；
[0060]
图5为本发明实施例3所述的一种基于跨特征类型交互与多尺度融合的人脸表情识别设备的结构框图。
具体实施方式
[0061]
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本
发明的范围。
[0062]
实施例1
[0063]
一种基于跨特征类型交互与多尺度融合的人脸表情识别方法，如图1所示，包括以下步骤：
[0064]
s1：获取待识别表情的人脸的rgb图，并由所述rgb图生成的关键点热图，然后将关键点热图以通道复制的方式转换为三通道，同时将所述rgb图和所述关键点热图都缩放至224
×
224大小；
[0065]
s2：将所述rgb图和所述关键点热图输入至预先训练好的人脸表情识别模型中，得到人脸表情识别结果；
[0066]
如图2所示，所述人脸表情识别模型包括：特征提取网络和跨特征类型多尺度融合识别网络；
[0067]
所述特征提取网络包括：相互平行的rgb子网络与关键点热图子网络，以及按层级插入在所述rgb子网络与所述关键点热图子网络之间的多个跨特征类型交互模块；
[0068]
所述跨特征类型多尺度融合识别网络包括：跨特征类型多尺度融合模块和全连接层分类识别模块；；
[0069]
所述跨特征类型交互模块接收所述rgb子网络与所述关键点热图子网络第i层输出的特征向量，并对接收到的所述特征向量进行跨特征类型交互得到跨特征类型交互特征，同时输出所述跨特征类型交互特征至所述rgb子网络与所述关键点热图子网络的第i+1层，然后，将所述rgb子网络与所述关键点热图子网络经过所述跨特征类型交互模块得到的多层跨特征类型交互特征，输出至所述跨特征类型多尺度融合识别模块中，所述跨特征类型融合网络与所述全连接层分类识别网络对接收到的所述跨特征类型交互特征，分别按序处理，最终得到人脸表情识别结果；
[0070]
其中，i＝0、1...n；n为所述rgb子网络与关键点热图子网络的网络层级数。
[0071]
所述步骤s2中，对接收到的所述特征向量进行跨特征类型交互包括以下步骤：
[0072]
s21：所述跨特征类型交互模块根据接收到的所述特征向量，使用空间注意力机制产生相应的空间注意力权重和偏置，由所述空间注意力权重和所述偏置与所述特征向量生成空间注意力增强的特征向量，以突出特征向量在空间位置上较为关键的部分；
[0073]
s22：通过跨特征类型交叉自注意力机制对所述空间注意力增强的特征向量进行全局空间维度的加权，得到下一个所述层次化特征。其中，交叉自注意力机制通过交换由两种特征分别生成的查询值(query value,简称q)，来充分进行跨特征类型的交互，使得二者之间能够更好地互补。
[0074]
所述步骤s21中，所述空间注意力权重和所述偏置的生成公式为：
[0075][0076][0077][0078][0079]
其中，为所述rgb子网络第i层输出的特征向量；为所述关键点热图子网络第
i层输出的特征向量；和分别表示用于rgb特征向量的卷积层和用于关键点特征向量的卷积层；和分别为根据生成的注意力权重和偏置；和分别为根据生成的空间注意力权重和偏置；
[0080]
所述生成空间注意力增强的特征向量的增强公式为：
[0081][0082][0083]
其中，为对rgb特征向量进行第一次卷积输出的特征向量；为对关键点特征向量进行第一次卷积输出的特征向量；relu为线性修正单元激活函数；为空间注意力增强的特征向量。
[0084]
所述步骤s22中的所述跨特征类型交叉自注意力处理过程为：
[0085][0086][0087][0088][0089]
其中，分别为卷积层对rgb特征向量进行卷积后输出的特征向量；分别为卷积层分别为卷积层对关键点特征向量进行卷积后输出的特征向量；为跨特征类型交互特征。
[0090]
所述步骤s2中，将所述跨特征类型交互特征输出至所述跨特征类型多尺度融合识别模块中，所述跨特征类型融合网络与所述全连接层分类识别网络对接收到的所述跨特征类型交互特征，分别按序处理，最终得到人脸表情识别结果包括以下步骤：
[0091]
s201：所述跨特征融合识别模块对所述rgb子网络与所述关键点热图子网络第0层、第1层、.......、第i层、第i+1层，经过所述跨特征类型交互模块输出的跨特征类型交互特征分别进行最大池化，接着将前i层进行最大池化后的跨特征类型交互特征与第i+1层输出的跨特征类型交互特征在通道上串联起来，再通过一个卷积层后输出多尺度融合特征；
[0092]
s202：对接收到的所述rgb图和所述关键点热图的所述多尺度融合特征进行跨特征类型融合得到跨特征类型多尺度融合特征，其主要是依靠改进的通道注意力来进行的；
[0093]
s203：使所述跨特征类型多尺度融合特征依次通过平均池化层、全连接层，最终输出对人脸表情的识别结果。
[0094]
所述步骤s201中，输出所述多尺度融合特征的公式为：
[0095][0096][0097]
其中，为来自多个尺度的跨特征类型交互特征；maxpool表示最大池化操作；[
·
，
·
]表示通道串联操作；conv
r6
、conv
l6
为对通道串联的多尺度跨特征类型交互特征进行通道缩减与融合的卷积；i＝0、1...n；n为所述rgb子网络与关键点热图子网络的网络层级数；f
r2
、f
l2
为多尺度融合特征。
[0098]
所述步骤s202中，对接收到的所述rgb图和所述关键点热图的所述多尺度融合特征进行跨特征类型融合的公式为：
[0099]
σr＝sigmoid((w
fc2
)
t
((w
fc1
)
t
[avgpool(f
r2
)，avgpool(f
l2
)]))
[0100]
σ
l
＝sigmoid((w
fc3
)
t
((w
fc1
)
t
[avgpool(f
r2
)，avgpool(f
l2
)]))
[0101]
f3＝σr×fr2
+σ
l
×fl2
[0102]
其中，f
r2
、f
l2
为多尺度融合特征；avgpool表示平均池化操作，用于对多尺度融合特征进行降维；[
·
，
·
]表示通道串联操作；(w
fc1
)
t
、(w
fc2
)
t
、(w
fc3
)
t
为对通道串联的降维特征向量进行维度缩减与融合的全连接层；σr、σ
l
分别表示根据多尺度融合特征f
r2
、f
l2
生成的注意力权重；f3为跨特征类型融合特征。
[0103]
所述步骤s203中，输出对人脸表情的识别结果的公式为：
[0104]
expression＝soft max((w
fc
)
t
avgpool(f3))
[0105]
其中，avgpool表示平均池化操作，用于对前述跨特征类型融合特征f3进行降维；w
fc
为用于对提取的特征向量进行分类的全连接层；soft max是归一化指数函数，用于将网络输出向量的每一个元素映射到[0，1]的范围；expression为网络输出的对人脸表情的识别结果。
[0106]
采用上述技术方案，跨特征类型交互模块能够使rgb图的特征和关键点热图的特征在特征提取阶段充分利用不同特征类型间的互补性，提取出更高质量的鲁棒特征，并且本发明采用了跨特征类型融合模块对跨特征类型交互模块输出的多个尺度的层次化特征进行后续的融合，并输出最后的表情识别结果。
[0107]
实施例2
[0108]
本实施例为实施例1的具体实施例；
[0109]
本实施例的rgb子网络与关键点热图子网络是基于常见的resnet-50网络结构，所述rgb子网络与所述关键点热图子网络是由两个平行的resnet-50构成，其中本实施例的resnet-50共有0～n(n＝4)个层级，分别为：conv-head，residual-i(i＝1，...，4)，5个跨特征类型交互模块cfimi(i＝0，...，4)按层级插入到两个子网络对应的0-4层实现跨特征类型的交互。
[0110]
具体的，所述rgb子网络、所述关键点热图子网络第0-4层的输出为4层的输出为4层的输出为的通道数分别为c0＝64，c1＝64，c2＝128，c3＝256，c4＝512。被输入到对应的跨特征类型交互模块cfimi中，第i层的cfimi根据进行跨特征类型的双向交互后将输出第i层级的层次化特征至最大池化层max pool，同时以第i层级的层次化特征作为rgb子网络、关键点热图子网络第i+1层的输入，如图4所示，通过5个跨特征类型交互模块(cfim)，可以得到一组跨特征类型的层次化特征
[0111]
跨特征类型交互模块主要由空间注意力和交叉自注意力实现。如图3所示，跨特征类型交互模块的具体操作为：将所述rgb子网络、关键点热图子网络第i层的输出和作为输入，根据(1)式分别使用空间注意力机制产生注意力权重和偏置
[0112][0113][0114]
[0115][0116]
其中，和表示卷积核大小为3、步长为1、零填充为1、输出通道数为ci的卷积层；和表示卷积核大小为3、步长为1、输出通道数为2ci的卷积层；w和b与sf尺度相同、通道数为ci(i＝0，...，4)。
[0117]
然后按(2)式计算由空间注意力增强的特征向量
[0118][0119][0120]
其中，为对rgb图的特征向量进行第一次卷积输出的特征向量；为对关键点特征向量进行第一次卷积输出的特征向量；relu为线性修正单元激活函数。
[0121]
然后按(3)式计算跨特征类型交叉自注意力处理输出的跨特征类型交互特征
[0122][0123][0124][0125][0126]
其中，和都表示卷积核大小为1、步长为1、零填充为0、输出通道数为ci的卷积层。
[0127]
将步骤s1所述的rgb图和关键点热图输入到特征提取阶段中得到rgb图和关键点热图的一组跨特征类型交互特征其特征分辨率分别为：112
×
112
×
64，56
×
56
×
64，28
×
28
×
128，14
×
14
×
256，7
×7×
512，如图4所示。
[0128]
将s2得到的跨特征类型的多个层次化特征输入到设计的跨特征类型多尺度融合识别阶段中，得到识别结果。具体步骤如下：
[0129]
a1，如图4所示，对所述rgb子网络与所述关键点热图子网络第0层、第1层、第2层、第3层输出的跨特征类型交互特征向量按(4)式分别进行最大池化maxpool，以将这些多尺度的特征向量都统一成7
×
7的尺度，接着将它们与第4层输出的跨特征类型交互特征向量在通道上串联起来，再通过一个卷积层后输出多尺度融合特征f
r2
和f
l2
。
[0130][0131][0132]
其中，[
·
，
·
]表示通道串联操作；经通道串联输出的特征向量的分辨率为7
×7×
1024，conv
r6
和conv
l6
都表示卷积核大小为1、步长为1、零填充为0、输出通道数为512的卷积层；分别经conv
r6
和conv
l6
两个卷积后输出的多尺度融合特征向量f
r2
和f
l2
的分辨率都为7
×7×
512。
[0133]
a2，如图4所示，按公式(5)将多尺度融合特征f
r2
和f
l2
输入跨特征类型融合模块cffm输出跨特征类型融合特征f3。
[0134]
σr＝sigmoid((w
fc2
)
t
((w
fc1
)
t
[avgpool(f
r2
)，avgpool(f
l2
)]))
[0135]
σ
l
＝sigmoid((w
fc3
)
t
((w
fc1
)
t
[avgpool(f
r2
)，avgpool(f
l2
)]))
[0136]
f3＝σr×fr2
+σ
l
×fl2
ꢀꢀꢀ
(5)
[0137]
其中，avgpool表示平均池化操作；[
·
，
·
]表示通道串联操作；(w
fc1
)
t
、(w
fc2
)
t
、(w
fc3
)
t
分别为1024
×
256、256
×
512、256
×
512的权重矩阵；sigmoid表示sigmoid激活函数；注意力权重σr、σ
l
的分辨率都为1
×1×
512；最后输出的跨特征类型融合特征f3的分辨率为7
×7×
512。
[0138]
a3，再按公式(6)对跨特征类型融合特征f3进行分类以输出对人脸表情的识别结果。
[0139]
expression＝soft max((w
fc
)
t
avgpool(f3))
ꢀꢀꢀ
(6)
[0140]
其中，avgpool表示平均池化操作；w
fc
为512
×
7的权重矩阵；soft max是将网络输出向量的每一个元素映射到[0，1]范围内的归一化指数函数；expression为网络输出的对人脸表情的识别结果，是一个7维的特征向量。
[0141]
a4，使用网络前，先对人脸表情识别模型进行训练，计算得到的结果与真值结果的多类交叉熵损失函数并进行误差反向传播，进行梯度下降优化，即按(7)式对神经网络进行训练。
[0142][0143]
其中n为训练样本总数，m为样本的总类别数，y
ic
为第i个样本的标签值，p
ic
为网络对第i个样本的预测值，log一般为自然对数。
[0144]
实施例3
[0145]
如图5所示，一种基于跨特征类型交互与多尺度融合的人脸表情识别设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述实施例所述的一种方法。所述输入输出接口可以包括显示器、键盘、鼠标、以及usb接口，用于输入输出数据；电源用于为电子设备提供电能。
[0146]
本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
[0147]
当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
[0148]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。