一种多模态融合场景图生成方法、系统、设备和介质

1.本发明属于计算机视觉技术领域，具体涉及一种多模态融合场景图生成方法、系统、设备和介质


背景技术：

2.场景图可以表示出图像中的物体及其交互关系，它以图结构的形式展示图像信息，节点代表目标物体的类别，有向边代表物体间的交互关系。由图像直接生成场景图是指不使用外部信息，仅以图像作为输入。在探索图像信息时发现上下文信息对场景图的生成至关重要。但是现有技术中的场景图存在局部信息的不完整性，其一般采用对图像的全局上下文信息建模，一般有两种建模方式，一种是基于带有记忆网络的rnn，另一种是使用图神经网络计算各节点之间的交互关系，以此来预测物体以及交互关系的标签。
3.图像生成场景图(isg)，能够全面捕捉到图像中的目标，但只能够获得简单的位置关系或者常见的交互关系。现阶段目标间的关系预测存在很严重的长尾问题，图像中的目标交互关系通常被预测为简单的位置关系，比如“on”、“beside”、“under”等，或者被预测为最常见的从属关系，比如“has”、“of”等。


技术实现要素：

4.针对现有技术中存在的问题，本发明提供一种多模态融合场景图生成方法、系统、设备和介质，能够准确的生成场景图。
5.本发明是通过以下技术方案来实现：
6.一种多模态融合场景图生成方法，其特征在于，包括以下步骤：
7.s1：对给定图片进行目标识别得到目标特征以及子图特征，根据目标特征和子图特征推理关系类别，生成图像场景图；
8.s2：对给定图片中的文字语义描述生成依赖树得到语义图，将语义图转换为语义场景图；
9.s3：基于图像场景图和语义场景图节点的相似度程度将其进行对齐；
10.s4：使用ggnn在对齐后的图像场景图和语义场景图之间的节点间传递消息，将每个节点输入进一个完全连接网络，计算每个节点的输出信息，对图像场景图中的每个节点聚合语义场景图的传入信息以及本图的传入信息，得到每个节点的聚合信息，生成融合的目标场景图。
11.进一步，所述步骤s1中对给定图片目标识别包括以下步骤：
12.使用区域建议网络对给定图片进行识别得到n个目标，且目标区域建议为：
13.f
rpn
(i)＝{o0,o1,
…
,o
n-1
}；
14.其中，f
rpn
(
·
)为rpn模块，oi为检测出的第i个目标，由一个边界框bi表示，bi＝[xi,yi,wi,hi]；边界框由4个元素组成，(xi,yi)为其左上顶点的坐标， wi和hi分别表示边界框的宽和高；
[0015]
将n个目标两两结合组成短语区域建议，产生n(n-1)个对象对，这些短语区域建议用有向边完全连接生成关系图；
[0016]
对目标区域建议和短语区域建议采用最大值抑制方法，减小数量规模，得到目标建议和子图建议并生成相应的目标特征与子图特征。
[0017]
进一步，所述根据目标特征和子图特征推理关系类别包括以下步骤：
[0018]
基于目标特征采用faster r-cnn得到预测目标类别；基于图像中物体特征和子图特征联合预测得到关系类别，所述关系类别为：
[0019][0020]
其中，xo和xs分别为目标特征与子图特征，分别为目标oi、oj的特征，表示物体oi、oj所在的子图sk的特征；
[0021]
使用图像中的物体特征作为卷积核从特征图中提取关系，所述子图特征图卷积结果为：
[0022][0023]
其中，为子图特征图以第i个物体作为卷积核的卷积结果，为卷积操作，同理可以得到子图特征图以第j个物体作为卷积核的卷积结果
[0024]
将与子图特征拼接，使用一个全连接层来预测目标间的关系类别为：
[0025][0026]
其中，fc(
·
)为全连接层，其包含一层softmax层；
[0027]
在训练过程中，通过目标检测损失和关系分类损失来优化图像场景图的生成过程，使得生成的图像场景图更加接近真值，损失函数为：
[0028]
l＝λ
pc
l
pc
+λ
oc
l
oc
+λ
br
l
br
·
1(object)；
[0029]
其中，l
pc
为谓词分类损失，l
oc
为物体分类损失，l
br
为边界框回归损失；λ
pc
、λ
oc
和λ
br
为超参数；1(object)为如果边界框内是目标则为1，如果是背景信息则为0。
[0030]
进一步，对于l
pc
谓词的检测，使用softmax函数，输出为所有候选谓词的概率；l
pc
为交叉熵损失；
[0031]
目标检测分类的损失也定义为交叉熵损失，对于边界框回归损失，采用 smooth l1损失。
[0032]
进一步，生成图像场景图包括以下步骤：
[0033]
用一个矩阵表示场景图，其中对角位置(i,i)为第i个物体，(i,j)位置上的元素为第i和第j个物体的关系短语；对于第i个对象，根据其细化特征被预测为某个物体或者背景，第(i,j)个短语根据短语特征被预测为某个谓词或者无关，生成图像场景图。
[0034]
进一步，步骤s3基于图像场景图和语义场景图节点的相似度程度将其进行对齐包括以下步骤；
[0035]
图像场景图中的节点为vi(i＝1,
…
,n1)，语义场景图的节点为vj(j＝1,
…
,n2)，计算图像场景图中每个节点与语义场景图中每个节点的成对相似度：
[0036][0037]
其中，《
·
》为：
[0038]
《x,y》＝φ(x)
t
φ(y)；
[0039]
其中，φ(
·
)为可训练的全连接层，t为转置；
[0040]
选取最高的相似度值对应的节点作为对应节点，每次计算时不排除已经成对的节点，当某个节点对应的节点已经被选取成对，则再次比较，选取匹配度最大的一对作为成对节点，剩下的重新计算。
[0041]
进一步，所述步骤s4中聚合信息为：
[0042][0043]
其中，场景图中目标节点为vi，对应语义场景图中的节点为v
′i，φ
←
为另一个可训练的完全连接网络，为语义场景图中节点v
′i的输出信息；j为与节点i有边关联的节点，为边的权重；
[0044]
所述节点间传递消息的传播机制为：
[0045][0046][0047][0048][0049]
其中，为t时刻节点i的聚合信息，为上一时间步节点i的状态；σ为sigmoid函数；u和v是可训练矩阵，zi控制遗忘信息，ri控制新信息，为新产生的信息，
⊙
表示矩阵的点乘。
[0050]
基于语义描述的多模态融合场景图生成系统，包括：
[0051]
图像场景图生成模块，用于对给定图片进行目标识别得到目标特征以及子图特征，根据目标特征和子图特征推理关系类别，生成图像场景图；
[0052]
语义场景图生成模块，用于对给定图片中的文字语义描述生成依赖树得到语义图，将语义图转换为语义场景图；
[0053]
对齐模块，用于基于图像场景图和语义场景图节点的相似度程度将其进行对齐；
[0054]
融合模块，用于使用ggnn在对齐后的图像场景图和语义场景图之间的节点间传递消息，将每个节点输入进一个完全连接网络，计算每个节点的输出信息，对图像场景图中的每个节点聚合语义场景图的传入信息以及本图的传入信息，得到每个节点的聚合信息，生成融合的目标场景图。
[0055]
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种多模态融合场景图生成方法的步骤。
[0056]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现一种多模态融合场景图生成方法的步骤。
[0057]
与现有技术相比，本发明具有以下有益的技术效果：
[0058]
本发明提供一种多模态融合场景图生成方法、系统、设备和介质，对给定图片进行目标识别得到目标特征以及子图特征，根据目标特征与子图特征推理关系类别，生成图像场景图；对给定图片中的文字语义描述生成依赖树得到语义图，将语义图转换为语义场景图；基于图像场景图和语义场景图节点的相似度程度将其进行对齐；使用ggnn在对齐后的图像场景图和语义场景图之间的节点间传递消息，将每个节点输入进一个完全连接网络，计算每个节点的输出信息，对图像场景图中的每个节点聚合语义场景图的传入信息以及本图的传入信息，得到每个节点的聚合信息，生成融合的目标场景图；本技术利用两个场景图的优势实现互补，能够得到覆盖更全面、交互信息更精确的高质量场景图。基于图像生成场景图的方法能够全面捕捉到图像中的目标，且能够获得简单的位置关系或者常见的交互关系；基于语义描述生成场景图的方法虽然不能全面的获得图像中的目标，但是包含关键目标的交互信息，获得更精准的交互信息；利用语义场景图包含高级交互关系的特点，解决在场景图生成任务中数据集存在长尾分布、高级语义交互关系出现频次少的问题。
附图说明
[0059]
图1为本发明一种多模态融合场景图生成方法流程图；
[0060]
图2为本发明具体实施例中对目标区域建议和短语区域建议采用最大值抑制方法示意图；
[0061]
图3为本发明具体实施例中关系推测示意图；
[0062]
图4为本发明具体实施例中图像场景图生成示意图；
[0063]
图5为本发明具体实施例中生成融合的目标场景图示意图。
具体实施方式
[0064]
下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
[0065]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0066]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0067]
本发明提供一种多模态融合场景图生成方法，如图1所示，包括以下步骤：
[0068]
s1：对给定图片进行目标识别得到目标特征以及子图特征，根据目标特征与子图特征推理关系类别，生成图像场景图；
[0069]
s2：对给定图片中的文字语义描述生成依赖树得到语义图，将语义图转换为语义场景图；
[0070]
s3：基于图像场景图和语义场景图节点的相似度程度将其进行对齐；
[0071]
s4：使用ggnn在对齐后的图像场景图和语义场景图之间的节点间传递消息，将每个节点输入进一个完全连接网络，计算每个节点的输出信息，对图像场景图中的每个节点聚合语义场景图的传入信息以及本图的传入信息，得到每个节点的聚合信息，生成融合的目标场景图。
[0072]
优选的，所述步骤s1中对给定图片目标识别包括以下步骤：
[0073]
使用区域建议网络对给定图片进行识别得到n个目标，且目标区域建议为：
[0074]frpn
(i)＝{o0,o1,
…
,o
n-1
}；
[0075]
其中，f
rpn
(
·
)为rpn模块，oi为检测出的第i个目标，由一个边界框bi表示，bi＝[xi,yi,wi,hi]；边界框由4个元素组成，(xi,yi)为其左上顶点的坐标， wi和hi分别表示边界框的宽和高；
[0076]
将n个目标两两结合组成短语区域建议，产生n(n-1)个对象对，这些短语区域建议用有向边完全连接生成关系图；
[0077]
对目标区域建议和短语区域建议采用最大值抑制方法，减小数量规模，得到目标建议和子图建议并生成相应的目标特征与子图特征。
[0078]
具体的，使用区域建议网络(region proposal network，rpn)识别出n 个目标；
[0079]
对目标区域建议和短语区域建议采用最大值抑制方法，从而减小数量规模，如图2所示；由于很多关系设计到重叠区域，对这些区域共享特征表示以减少中间表示的数量，从而减少计算成本。候选关系对应于两个对象的联合边界框，将其得分定义为两个目标建议框得分的乘积，之后采用最大值抑制来控制相似的包围框的数量，这些合并的边界框共享一个统一的表示来描述他们的相互作用。
[0080]
针对图像目标以及子图得到两组建议即目标建议和子图建议，使用 roi-pooling来生成相应的特征。对于目标建议，采用特征向量表示边界框中的目标。对于子图建议，采用二维特征图来表示，二维特征图可以更清楚的表示目标之间的空间关系。
[0081]
优选的，所述根据目标特征与子图特征推理关系类别包括以下步骤：
[0082]
首先，将提取到的目标特征与子图特征分别记为xo和xs。对于物体类别，利用目标特征经faster r-cnn直接预测得到目标类别，对于关系类别的预测，使用图像中物体的特征结合子图特征来联合预测：
[0083][0084]
其中，分别为目标oi、oj的特征，为物体oi、oj所在的子图 sk的特征。
[0085]
其次，不同的目标物体对应子图特征的不同区域，一个子图涉及到多个目标对，因此使用图像中的物体特征作为卷积核从特征图中提取关系：
[0086]
[0087]
其中，表示子图特征图以第i个物体作为卷积核的卷积结果，代表卷积操作。同理可以得到子图特征图以第j个物体作为卷积核的卷积结果
[0088]
然后，将与子图特征拼接起来，使用一个全连接层来预测目标间的关系，即
[0089][0090]
其中，fc(
·
)为全连接层，包含一层softmax层。
[0091]
如图3所示为关系推测示意图。
[0092]
最后，在训练过程中，通过目标检测损失和关系分类损失来优化场景图的生成过程，使得生成的场景图更加接近真值。损失函数定义为：
[0093]
l＝λ
pc
l
pc
+λ
oc
l
oc
+λ
br
l
br
·
1(object)；
[0094]
其中，l
pc
为谓词分类损失，l
oc
为物体分类损失，l
br
为边界框回归损失；λ
pc
、λ
oc
和λ
br
为超参数；1(object)表示如果边界框内是目标则为1，如果是背景信息则为0。对于谓词检测，使用softmax函数，输出为所有候选谓词的概率。l
pc
定义为交叉熵损失。同理，目标检测分类的损失也定义为交叉熵损失。对于边界框回归损失，采用smooth l1损失。
[0095]
优选的，生成图像场景图包括以下步骤：
[0096]
用一个矩阵表示场景图，其中对角位置(i,i)为第i个物体，(i,j)位置上的元素为第i和第j个物体的关系短语；对于第i个对象，根据其细化特征被预测为某个物体或者背景，第(i,j)个短语根据短语特征被预测为某个谓词或者无关，生成图像场景图。
[0097]
具体的，如图4所示，矩阵示意图中不同的交互以不同的颜色区分，空的黑色表方格表示没有交互关系，左右以不同形式的格子区分节点的聚合信息和向外输出信息。右图中的方型表示节点，代表检测出的物体，圆形表示物体间的交互关系。
[0098]
优选的，步骤s3基于图像场景图和语义场景图节点的相似度程度将其进行对齐包括以下步骤；
[0099]
图像场景图中的节点为vi(i＝1,
…
,n1)，语义场景图的节点为vj(j＝1,
…
,n2)，计算图像场景图中每个节点与语义场景图中每个节点的成对相似度：
[0100][0101]
其中，《
·
》为：
[0102]
《x,y》＝φ(x)
t
φ(y)；
[0103]
其中，φ(
·
)为可训练的全连接层，t为转置。
[0104]
选取最高的相似度值对应的节点作为对应节点，每次计算时不排除已经成对的节点，当某个节点对应的节点已经被选取成对，则再次比较，选取匹配度最大的一对作为成对节点，剩下的重新计算。
[0105]
优选的，如图5所示，所述步骤s4中聚合信息为：
[0106][0107]
其中，场景图中目标节点为vi，对应语义场景图中的节点为v
′i，φ
←
为另一个可训
练的完全连接网络，为语义场景图中节点v
′i的输出信息；j为与节点i有边关联的节点，为边的权重；
[0108]
所述节点间传递消息的传播机制为：
[0109][0110][0111][0112][0113]
其中，为t时刻节点i的聚合信息，为上一时间步节点i的状态；σ为sigmoid函数；u和v是可训练矩阵，zi控制遗忘信息，ri控制新信息，为新产生的信息，
⊙
表示矩阵的点乘。
[0114]
本发明提供的一种优选实施例为：
[0115]
本技术采用视觉基因组(visual genome，vg)作为数据集，vg共包含 108077张图像，包含区域描述、目标及其边界框、属性、关系、区域的图结构、场景图等。平均每幅图像包含38个对象和22个关系。在场景图生成任务中，vg数据集是应用最广泛的基准。
[0116]
采用vg作为基础数据集，对数据集进行预处理，选择其中150个出现最频繁对象类别和50个关系。在清理之后，每张图像平均包含大约12个对象和6对关系。将清理后的数据集按照7:3划分训练集和测试集，其中训练集包含5000张图像作为验证集。
[0117]
对于图像场景图生成部分，使用faster r-cnn模型来预测对象类和关系，以resnet作为骨干网络。使用预训练模型初始化，使用随机梯度下降法训练模型参数，初始化学习率为0.001，批次大小为4。将真值对象类别和真值关系类别发送到网络训练模型，损失函数采用预测值与真值之间的交叉熵损失。
[0118]
由于数据集部分标注稀疏，可能导致预测错误，所以准确度、精确度已经不能够证明模型的好坏。针对这个问题，本实施例采用召回率top k recall(r@k)作为评价场景图生成模型的指标，表示预测的分数最高的三元组出现在真值三元组中的比例。在我们的实验中k分别取50、100来观测实验结果。
[0119]
为了说明本技术提出的融合方法对场景图生成有促进作用，设置对比试验，对比模型包括imp、imp+模型、msdn模型、kern模型以及motifs模型。
[0120]
模型评估在三个子任务上进行，分别为：
①
谓词分类(predcls)：给定物体的真值边界框，识别物体之间的交互关系；
②
短语识别(phrcls)：根据物体的真实位置来预测谓词类别和物体类别；
③
场景图生成(sggen)：检测物体并识别他们之间的关系。对于物体，如果其分类正确且边界框与真值重合度大于50％，则判定其被检测到；对于关系，如果主语物体和宾语物体识别成功且谓词预测正确，则判定其被检测到。实验结果如表1所示。
[0121]
表1实验数据表
[0122][0123]
表1为本技术提出方法与imp+、msdn、kern、motifs、gb-net在r@50 和r@100的对比结果中，加粗数据为表现最好的。imp是直接从图像生成场景图，仅考虑单一模态的信息，imp+是对数据集优化而提出的改进版的imp。 msdn是在三个不同语义层次进行场景理解，提出一种结构用于细化特征，这种结构在三个不同的语义层次之间进行信息传递。motifs模型指出有效的场景图必须捕获对象之间的依赖关系，其设计了一种机制来编码全局上下文，从而提高模型的质量。kern针对数据集中关系的分布严重不均匀的情况，探索物体对之间的统计相关性，学习路由机制来传播节点之间的消息。 gb-net和本技术类似，他利用常识图作为先验知识，在常识图和场景图之间传递消息，从而提升模型的质量。表中可以看出在predcls任务上，当k 取50时，本技术结果与gb-net模型的差距不大，提升0.3％；k取100时， gb-net表现最好，这表明引入外部知识对模型有积极作用。在phrcls任务上，本技术方法表现最优，当k分别取50、100时，比现有模型提高1.2％和 1.0％。在sggen任务上，在k取50时，本技术方法表现最好，而k取100 时，motifs模型比本技术结果高0.3％。综合三个任务的综合表现，本技术模型在场景图生成任务上表现较好。
[0124]
本技术提出的融合模型是利用数据集中已经存在的语义描述，在场景图级别上做融合。为了验证语义场景图对融合场景图的贡献，针对是否融入语义场景图进行消融实验，将仅基于图像场景图的模型记为isg，将融合模型记为isg+ssg，对比结果如表2所示。
[0125]
表2消融实验结果
[0126][0127]
表2中的实验结果表明，基于语义描述的语义场景图对融合场景图有积极贡献，在三个子任务上均有提升效果。其中，在ssgen任务上提升效果最为明显，当k分别取50和100时，isg+ssg比isg方法提升6.2％和7％。
[0128]
本发明提供基于语义描述的多模态融合场景图生成系统，包括：
[0129]
图像场景图生成模块，用于对给定图片进行目标识别得到目标特征以及子图特征，根据目标特征与子图特征推理关系，生成图像场景图；
[0130]
语义场景图生成模块，用于对给定图片中的文字语义描述生成依赖树得到语义图，将语义图转换为语义场景图；
[0131]
对齐模块，用于基于图像场景图和语义场景图节点的相似度程度将其进行对齐；
[0132]
融合模块，用于使用ggnn在对齐后的图像场景图和语义场景图之间的节点间传递消息，将每个节点输入进一个完全连接网络，计算每个节点的输出信息，对图像场景图中的每个节点聚合语义场景图的传入信息以及本图的传入信息，得到每个节点的聚合信息，生成融合的目标场景图。
[0133]
本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor、dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于一种多模态融合场景图生成方法的操作。
[0134]
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速ram 存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关一种多模态融合场景图生成方法的相应步骤。
[0135]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0136]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0137]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0138]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0139]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。