图像处理方法和装置、计算机设备、计算机可读存储介质

1.本发明涉及图像处理的技术领域，尤其涉及一种图像处理方法和装置、计算机设备、计算机可读存储介质。


背景技术：

2.在进行图像处理时，需要基于辅助图像进行图像融合。例如，在处理磁共振成像(magnetic resonance imaging，mri)图像时，mri图像的采集往往呈现出“成对获取”的形式。例如，mri对于膝盖部位的成像，就有质子密度加权及其带有脂肪抑制的版本两种；这两种图像在视觉上具有相似的解剖学结构与截然不同的对比度，并且前者的扫描耗时往往低于后者。因此，一种自然的想法是，结合深度学习技术，利用辅助对比度采集的图像来辅助目标对比度的成像加速。相关技术中，有一些基于辅助对比度图像的图像重建方法，但重建效果较差，无法保证诊断结果的准确性。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种图像处理方法和装置、计算机设备、计算机可读存储介质，能够提高图像重建质量。
4.根据本发明的第一方面实施例的图像处理方法，包括：
5.获取欠采样目标图像和全采样辅助图像；
6.对所述欠采样目标图像进行特征提取处理，以得到欠采样目标特征图，并对所述全采样辅助图像进行特征提取处理，以得到全采样辅助特征图；
7.对所述欠采样目标特征图进行降维处理，以得到欠采样目标对比度通道特征，并对所述全采样辅助特征图进行降维处理，以得到全采样辅助对比度通道特征；
8.根据所述欠采样目标对比度通道特征和所述全采样辅助对比度通道特征进行对比度通道特征相似处理，以得到相似对比度通道特征集合；
9.根据所述相似对比度通道特征集合和所述欠采样目标对比度通道特征进行特征融合，得到融合图像。
10.根据本发明实施例的图像处理方法，至少具有如下有益效果：本发明实施例的融合图像是基于欠采样目标图像和全采样辅助图像生成的，通过对欠采样目标特征图和全采样辅助特征图进行通道特征相似处理，以得到相似对比度通道特征集合，根据相似对比度通道特征集合和欠采样对比度通道特征进行特征融合，根据融合特征进行图像重建，保证了图像重建的质量。
11.根据本发明的一些实施例，所述对所述欠采样目标特征图进行降维处理，以得到欠采样目标对比度通道特征，并对所述全采样辅助特征图进行降维处理，以得到全采样辅助对比度通道特征，包括：
12.将所述欠采样目标特征图进行多尺度分块处理，以得到欠采样目标特征块，并对所述全采样辅助特征图进行多尺度分块处理，以得到全采样辅助特征块；
13.对所述欠采样目标特征块进行降维处理，以得到欠采样目标对比度通道特征，并对所述全采样辅助特征块进行降维处理，以得到全采样辅助对比度通道特征。
14.根据本发明的一些实施例，所述根据所述相似对比度通道特征集合和所述欠采样目标对比度通道特征进行特征融合，得到融合图像，包括：
15.将所述相似对比度通道特征集合和所述欠采样目标对比度通道特征输入预设神经网络进行采样、编码和解码处理，得到融合图像。
16.根据本发明的一些实施例，所述预设神经网络通过以下步骤得到，包括：
17.获取全采样目标图像；
18.将所述全采样目标图像和所述融合图像输入预设第一损失函数，以得到第一损失数值；
19.根据所述第一损失数值进行所述预设神经网络的参数调节。
20.根据本发明的一些实施例，所述根据所述第一损失数值进行所述预设神经网络的参数调节，还包括：
21.将所述欠采样目标对比度通道特征和所述全采样辅助对比度通道特征输入预设第二损失函数，以得到第二损失数值；
22.根据所述第二损失数值和所述第一损失数值进行所述预设神经网络的参数调节。
23.根据本发明的一些实施例，所述获取欠采样目标图像和全采样辅助图像，包括：
24.获取欠采样目标图像数据和全采样辅助图像数据；
25.对所述欠采样目标图像数据进行傅里叶逆变换处理，得到欠采样目标图像，并对所述全采样辅助图像数据进行傅里叶逆变换处理，得到全采样辅助图像。
26.根据本发明的一些实施例，所述对所述欠采样目标图像进行特征提取处理，以得到欠采样目标特征图，并对所述全采样辅助图像进行特征提取处理，以得到全采样辅助特征图，包括：
27.对所述欠采样目标图像进行双层卷积处理，以得到欠采样目标特征图，并对所述全采样辅助图像进行双层卷积处理，以得到全采样辅助特征图。
28.根据本发明的第二方面实施例的图像处理装置，包括：
29.获取图像模块：用于获取欠采样目标图像和全采样辅助图像；
30.特征提取模块：用于对所述欠采样目标图像进行特征提取处理，以得到欠采样目标特征图，并对所述全采样辅助图像进行特征提取处理，以得到全采样辅助特征图；
31.降维处理模块：用于对所述欠采样目标特征图进行降维处理，以得到欠采样目标对比度通道特征，并对所述全采样辅助特征图进行降维处理，以得到全采样辅助对比度通道特征；
32.特征相似处理模块：用于根据所述欠采样目标对比度通道特征和所述全采样辅助对比度通道特征进行对比度通道特征相似处理，以得到相似对比度通道特征集合；
33.图像融合模块：用于根据所述相似对比度通道特征集合和所述欠采样目标对比度通道特征进行特征融合，得到融合图像。
34.根据本发明实施例的图像处理装置，至少具有如下有益效果：本公开实施例的装置的融合图像是基于欠采样目标图像和全采样辅助图像生成，且根据相似对比度通道特征集合和欠采样对比度通道特征进行特征融合，根据融合特征进行图像融合，以实现图像重
建，保证了图像重建的质量。
35.根据本发明的第三方面实施例的计算机设备，包括：
36.至少一个处理器，以及，
37.与所述至少一个处理器通信连接的存储器；其中，
38.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本发明实施例中任一项所述的图像处理方法。
39.根据本发明的第四方面实施例的计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本发明实施例中任一项所述的图像处理方法。
40.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
41.下面结合附图和实施例对本发明做进一步的说明，其中：
42.图1为本发明一个公开实施例提供的图像处理方法的流程图；
43.图2为图1中的步骤s130的流程图；
44.图3为图1中的步骤s150的流程图；
45.图4是图3中的步骤s310的流程图；
46.图5是图4中的步骤s430的流程图；
47.图6为图1中的步骤s110的流程图；
48.图7是图1中的步骤s120的流程图。
具体实施方式
49.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
50.在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
51.在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
52.本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
53.本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示
例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
54.首先，对本发明中涉及的名词进行解析：
55.磁共振成像(magnetic resonance imaging，mri)：是利用原子核在强磁场内发生共振产生的信号经图像重建的一种成像技术，是一种重要且应用广泛的医学成像技术，这种技术可用于人体内部结构的成像。
56.在实际生活中，医生需结合多种对比度的完整mri图像进行疾病诊断，因而需要对病人进行多次长时间的扫描，但增加扫描时间不仅会引起患者的不适，而且可能引入运动伪影，降低磁共振的使用效率；而降低扫描时间将减少数据的采集量，会导致mri图像质量的下降，不利于医疗系统的精确诊断。需要有效进行多对比度图像的融合，现有方法是在将特征输入网络前，采取拼接、加法等简单的融合手段。例如，简单地将目标和辅助对比度的图像拼接后作为网络输入，或者局限于对拼接后的多对比度特征进行简单的线性组合。不能处理来自不同对比度的特征的融合，使得这些特征融合的效率及其可解释性较低。
57.基于此，本发明实施例提出一种图像处理方法和装置、计算机设备、计算机可读存储介质，公开了一种更具解释性的特征融合机制，通过利用特征图的多对比度特性，利用特征图中对比度的相似性依赖性进行图像融合，提高图像融合的准确性。本发明实施例提出一种跨对比度通道选择模块来更好地融合多对比度特征，是因为在实际中，某些辅助对比度的通道图与目标对比度很相似，因而通过跨对比度通道进行特征融合，提高图像重建效果。进一步地，目标和辅助特征图的通道之间的确切相似关系有时取决于其相应的空间位置。例如，在特征图的某些部分，这两种对比度的通道图看起来是互补的，而在其他区域则可能非常相似，本发明在进行跨对比度通道选择之前先通过多尺度分块的形式对该辅助特征图进行扩展，以提高其在特征通道相似处理时的空间自适应性，更进一步提高图像重建效果。
58.本公开实施例提供图像处理方法和装置、计算机设备、计算机可读存储介质，具体通过如下实施例进行说明，首先描述本公开实施例中的图像处理方法。
59.参照图1，根据本公开实施例第一方面实施例的图像处理方法，包括但不限于步骤s110至步骤s150。
60.s110，获取欠采样目标图像和全采样辅助图像；
61.s120，对欠采样目标图像进行特征提取处理，以得到欠采样目标特征图，并对全采样辅助图像进行特征提取处理，以得到全采样辅助特征图；
62.s130，对欠采样目标特征图进行降维处理，以得到欠采样目标对比度通道特征，并对全采样辅助特征图进行降维处理，以得到全采样辅助对比度通道特征；
63.s140，根据欠采样目标对比度通道特征和全采样辅助对比度通道特征进行对比度通道特征相似处理，以得到相似对比度通道特征集合；
64.s150，根据所述相似对比度通道特征集合和所述欠采样目标对比度通道特征进行特征融合，得到融合图像。
65.在步骤s110中，全采样目标图像的采集量大，因而扫描时间长，这会增加患者的不
适。因此降低采集量以获得欠采样目标图像，但采集量的减少会影响目标图像质量，因而引入全采样辅助图像，需要说明的是，虽然辅助图像是全采样得到的，但得到全采样辅助图像的扫描时间较短。通过欠采样目标图像和全采样辅助图像的结合，得到重建图像。既有效减少采集量减轻用户不适，又提高目标图像重建效果，保证了图像重建质量。
66.在步骤s120中，欠采样目标图像和全采样辅助图像并不完全相似，有的欠采样目标图像对比度特征与全采样辅助图像对比度特征相似，有的却完全不同，若是将图像进行简单融合，则会影响成像质量。因而在本步骤中，进行特征提取处理，以得到欠采样目标特征图和全采样辅助特征图。
67.在步骤s130中，首先用一个全局平均池化w
p
操作来将欠采样目标特征图f
t
和全采样辅助特征图fa降维，通过以下公式(1)生成两个通道表征p
t
和pa。
68.p＝w
p
(f)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
69.其中f∈rc×h×w和p∈rc×1×1，后者可以进一步通过归一化转换成一个维向量，它总结了特征图的每个通道所包含的信息，即其中|| ||2是l2范数。
70.在步骤s140中，通过对和的矩阵乘法，可以生成一个c
×
c大小的交叉对比通道相似度矩阵，请参照以下公式(2)：
[0071][0072]
其中，相似度s表示第i行第j列元素描述了f
t
第i个通道和fa第j个通道之间的相似度。然后我们通过对s的每一行应用argmax操作，从fa中挑选出与f
t
中的那些最相似的通道的索引，得到一个索引向量ω∈rc×1。而后，ω被用来从fa筛选出与f
t
最相关的那些通道，组成通道筛选后的辅助对比度特征即相似对比度通道特征集合。旨在根据相似对比度通道特征集合提高图像重建质量。
[0073]
在步骤s150中，融合图像是基于相似对比度通道特征集合和欠采样目标对比度通道特征得到的，因而与全采样目标图像相比减少了采集量和扫描时间，且基于相似对比度通道特征集合进行特征融合，克服当前大多数模型针对多对比度的图像重建时效果差的弊端，提升图像的重建质量，保证医疗系统诊断结果的准确与可靠性。
[0074]
本发明公开实施例提供的图像处理方法，通过对欠采样目标图像进行特征提取处理，以得到欠采样目标特征图，并对全采样辅助图像进行特征提取处理，以得到全采样辅助特征图；对欠采样目标特征图进行降维处理，以得到欠采样目标对比度通道特征，并对全采样辅助特征图进行降维处理，以得到全采样辅助对比度通道特征；根据欠采样目标对比度通道特征和全采样辅助对比度通道特征进行对比度通道特征相似处理，以得到相似对比度通道特征集合；根据相似对比度通道特征集合和欠采样目标对比度通道特征进行特征融合，得到融合图像，以实现对图像的重建。本发明实施例的融合图像是由欠采样目标图像和全采样辅助图像生成，由于欠采样目标图像和全采样辅助图像的扫描量小，因此减少机器的扫描时间和患者的不适感。进一步地，通过对欠采样目标特征图和全采样辅助特征图进行通道特征相似处理，以得到相似对比度通道特征集合，根据相似对比度通道特征集合和欠采样对比度通道特征进行特征融合，根据融合特征进行图像重建，保证了图像重建的质量。
[0075]
在一些实施例中，如图2所示，步骤s130具体包括步骤：
[0076]
s210，将欠采样目标特征图进行多尺度分块处理，以得到欠采样目标特征块，并对全采样辅助特征图进行多尺度分块处理，以得到全采样辅助特征块；
[0077]
s220，对欠采样目标特征块进行降维处理，以得到欠采样目标对比度通道特征，并对全采样辅助特征块进行降维处理，以得到全采样辅助对比度通道特征。
[0078]
在步骤s210至s220中，欠采样目标特征图和全采样辅助特征图的通道之间的确切相似关系有时取决于其相应的空间位置。例如，在特征图的某些部分，这两种对比度的通道图看起来是互补的，而在其他区域则可能非常相似。因此，像w
p
这样对信息的粗略表征，可能会误导跨对比度通道特征融合的过程。因此，本发明实施例提出在进行通道特征相似处理之前，先对每个特征图划分为多个不同尺度的块，进行多尺度的分块式特征学习。
[0079]
在一实施例中，对于某个对比度的特征图f，我们在空间上将其划分为大小为m
×
m的若干块，总共产生块。并且，通过改变块大小m，可以很容易地获得不同尺度的块分割方案。然后，对于欠采样目标特征块和全采样辅助特征块，每个特征块都被送到通道特征相似处理模块以产生其相应的融合特征，请参照以下公式(3)所示：
[0080][0081]
其中表示原特征图第j种尺度的第i个块，f表示通道特征相似模块。最后，我们将单个尺度的所有融合后的特征块在空间上进行组合，进而恢复成该分块尺度下原始特征的大小。对于不同分块尺度下得到的融合后特征，我们将其拼接并通过一个1
×
1的卷积层来实现最终合并。
[0082]
在一些实施例中，如图3所示，步骤s150具体包括步骤：
[0083]
s310，将相似对比度通道特征集合和欠采样目标对比度通道特征输入预设神经网络进行采样、编码和解码处理，得到融合图像。
[0084]
在步骤s310中，将相似对比度特征集合和欠采样目标对比度特征进行加法融合手段来产生最终的融合特征，请参照以下公式(4)所示：
[0085][0086]
融合特征fs而后再送入一个深度全卷积网络，进行上下采样与编码解码操作生成重建的对比度图像，即得到融合图像。
[0087]
在一些实施例中，如图4所示，步骤s310具体还包括步骤：
[0088]
s410，获取全采样目标图像；
[0089]
s420，将全采样目标图像和融合图像输入预设第一损失函数，以得到第一损失数值；
[0090]
s430，根据第一损失数值进行预设神经网络的参数调节。
[0091]
在步骤s410至步骤s430中，通过全采样扫描得到全采样目标图像，将全采样目标图像和融合图像输入第一损失函数，得到第一损失数值，其中如下公式(5)所示为第一损失函数：
[0092][0093]
其中，和分别为融合图像和全采样目标图像。
[0094]
并根据第一损失数值进行预设神经网络的参数调节，在本实施例中，将全采样目标图像作为参考图像，用于指导预设神经网络的训练，旨在得到图像重建质量更好的神经网络模型。
[0095]
在一些实施例中，如图5所示，步骤s430具体还包括步骤：
[0096]
s510，将欠采样目标对比度通道特征和全采样辅助对比度通道特征输入预设第二损失函数，以得到第二损失数值；
[0097]
s520，根据第二损失数值和第一损失数值进行预设神经网络的参数调节。
[0098]
在步骤s510中，第二损失函数为如下公式(6)所示：
[0099][0100]
本发明实施例的第二损失函数是逐通道且逐块的，即与在特定的通道维度与相应的块空间位置上进行独立的损失约束，最后再整体加和，目的是为了增加约束的通道与空间自适应性。
[0101]
需要说明的是，在实际中，某些全采样辅助图像的通道图与欠采样目标图像的通道图很相似，因而通过跨通道进行特征融合，可以提高图像重建效果。再进一步地，目标和辅助特征图的通道之间的确切相似关系有时取决于其相应的空间位置。例如，在特征图的某些部分，这两种对比度的通道图看起来是互补的，而在其他区域则可能非常相似，在本实施例中，损失函数是逐通道且逐块的，更能挖掘出图像潜在的相似特征，根据第二损失函数的损失数值调节，提高辅助对比度特征图在特征通道选择时的空间自适应性，更进一步提高图像重建效果。
[0102]
在步骤s520中，根据第二损失数值和第一损失数值得到最终损失函数，最终损失函数使用二者的线性组合，并由超参数λ控制，如下公式(7)所示：
[0103][0104]
根据最终损失函数计算损失与相应的梯度后进行预设神经网络的参数调节。
[0105]
在一些实施例中，如图6所示，步骤s110具体包括步骤：
[0106]
s610，获取欠采样目标图像数据和全采样辅助图像数据；
[0107]
s620，对欠采样目标图像数据进行傅里叶逆变换处理，得到欠采样目标图像，并对全采样辅助图像数据进行傅里叶逆变换处理，得到全采样辅助图像。
[0108]
在步骤s610至步骤s620中，使用mri仪器，欠采样地获取欠采样目标对比度k空间数据，并进行与0填充得到欠采样目标图像数据，全采样的获取辅助图像k空间数据，以得到全采样辅助图像数据。对欠采样目标图像数据和全采样辅助图像数据进行傅里叶逆变换处理，得到欠采样目标图像和全采样辅助图像。
[0109]
在一些实施例中，如图7所示，步骤s120具体包括步骤：
[0110]
s710，对欠采样目标图像进行双层卷积处理，以得到欠采样目标特征图，并对全采样辅助图像进行双层卷积处理，以得到全采样辅助特征图。
[0111]
在步骤s710中，欠采样目标图像和全采样辅助图像分别通过两个独立的双层卷积模块(结构为conv(1,64)+conv(64,64))，分别抽取出特征图，得到欠采样对比度特征图和辅助对比度特征图。
[0112]
本公开实施例还提供了一种图像处理装置，用于实现以上图像处理方法，该图像处理装置包括：
[0113]
获取图像模块：用于获取欠采样目标图像和全采样辅助图像；
[0114]
特征提取模块：用于对欠采样目标图像进行特征提取处理，以得到欠采样目标特征图，并对全采样辅助图像进行特征提取处理，以得到全采样辅助特征图；
[0115]
降维处理模块：用于对欠采样目标特征图进行降维处理，以得到欠采样目标对比度通道特征，并对全采样辅助特征图进行降维处理，以得到全采样辅助对比度通道特征；
[0116]
特征相似处理模块：用于根据欠采样目标对比度通道特征和辅助对比度通道特征进行对比度通道特征相似处理，以得到相似对比度通道特征集合；
[0117]
图像融合模块：用于根据相似对比度特征集合和欠采样目标对比度特征进行特征融合，得到融合图像。
[0118]
本公开实施例还提供了一种计算机设备，包括：
[0119]
至少一个处理器，以及，
[0120]
与至少一个处理器通信连接的存储器；其中，
[0121]
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本发明实施例中任一项的方法。例如，执行以上描述的图1中的方法步骤s110至s150、图2中的方法步骤s210至s220、图3中的方法步骤s310、图4中的方法步骤s410至s430、图5中的方法步骤s510至s520、图6中的方法步骤s610至s620、图7中的方法步骤s710。
[0122]
本公开实施例的计算机设备通过执行本发明实施例中任一项的方法，使得本公开实施例的设备的融合图像是基于欠采样目标图像和全采样辅助图像生成，减少机器的扫描时间和患者的不适感。且根据相似对比度通道特征集合和欠采样目标通道特征进行特征融合，根据融合特征进行图像重建，在保证了扫描时间少的基础上，保证了图像重建的质量。
[0123]
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使计算机执行本发明公开实施例的方法。例如，执行以上描述的图1中的方法步骤s110至s150、图2中的方法步骤s210至s220、图3中的方法步骤s310、图4中的方法步骤s410至s430、图5中的方法步骤s510至s520、图6中的方法步骤s610至s620、图7中的方法步骤s710。
[0124]
本公开实施例提供的图像处理方法、图像处理装置、计算机设备、计算机可读存储介质，通过对欠采样目标图像进行特征提取处理，以得到欠采样目标特征图，并对全采样辅助图像进行特征提取处理，以得到全采样辅助特征图；对欠采样目标特征图进行降维处理，以得到欠采样目标对比度通道特征，并对全采样辅助特征图进行降维处理，以得到全采样辅助对比度通道特征；根据欠采样目标对比度通道特征和全采样辅助对比度通道特征进行对比度通道特征相似处理，以得到相似对比度通道特征集合；根据相似对比度通道特征集合和欠采样目标对比度通道特征进行特征融合，得到融合图像，以实现对图像的重建。本发明实施例的融合图像是由欠采样目标图像和全采样辅助图像生成，由于欠采样目标图像和全采样辅助图像的扫描量小，因此减少机器的扫描时间和患者的不适感。进一步地，通过对欠采样目标特征图和全采样辅助特征图进行特征相似处理，以得到相似对比度通道特征集合，根据相似对比度通道特征集合和欠采样对比度通道特征进行特征融合，根据融合特征
进行图像重建，保证了图像重建的质量。
[0125]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0126]
本公开实施例描述的实施例是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。
[0127]
本领域技术人员可以理解的是，图1至图7中示出的技术方案并不构成对本公开实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
[0128]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0129]
本发明的说明书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0130]
应当理解，在本发明中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0131]
在本发明所提供的几个实施例中，应该理解到，所揭露的方法，可以通过其它的方式实现。例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0132]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0133]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单
元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0134]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
[0135]
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。