点云超分辨率方法、装置、电子设备及存储介质

1.本技术涉及视频图像处理技术领域，具体涉及一种点云超分辨率方法、装置、电子设备及存储介质。


背景技术：

2.超分辨率指的是通过硬件或软件提高原有图像分辨率的技术。随着3d采集技术的飞速发展，3d传感器(例如lidar)变得越来越容易获得，由此获取的点云数据也越来越多，越来越多的研究者们也逐渐投入到三维点云数据的研究中。然而，处理3d点云而非2d像素网格，这带来了新的挑战。与以规则网格表示的图像空间不同，点云没有任何空间顺序和规则结构。生成的点应描述潜在目标对象的基本几何形状，这意味着它们应大致位于目标对象的表面上。生成的点应该是信息性的，并且不应杂乱无章。点云数据的无序且不规则以及以上难题限制了深度学习网络在点云超分辨率任务上的发展。类比图像处理的3d卷积网络大大限制了点云输出的分辨率，逐点卷积不能对点云这种杂乱无结构的数据进行有效地建模，缺少点云上下文信息。


技术实现要素：

3.本技术的目的是提供一种点云超分辨率方法、装置、电子设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
4.根据本技术实施例的一个方面，提供一种点云超分辨率方法，包括：
5.构建并训练点云初始超分辨率模型，得到满足精度阈值的点云超分辨率模型；所述点云初始超分辨率模型包括生成器和判别器；
6.将待处理点云划分为分片点云，将所述分片点云输入所述点云超分辨率模型；
7.通过所述生成器提取所述分片点云的几何信息特征和颜色信息特征，并由所述生成器利用所述几何信息特征和所述颜色信息特征重建超分辨率点云；
8.通过所述判别器判断重建的所述超分辨率点云是否达到预设置信度阈值，并输出达到预设置信度阈值的超分辨率点云。
9.在本技术的一些实施例中，所述生成器包括并行的点云坐标生成通道和点云颜色生成通道；所述点云坐标生成通道用于提取所述分片点云的几何信息特征；所述点云颜色生成通道用于提取所述分片点云的颜色信息特征。
10.在本技术的一些实施例中，所述训练点云初始超分辨率模型，包括：
11.将训练集中的点云输入所述生成器，所述点云坐标生成通道和所述点云颜色生成通道进行连续两次上采样操作，得到预测点云；
12.计算所述预测点云的预测误差，根据所述预测误差反向更新所述生成器中的参数，迭代直至所述预测误差达到预设阈值为止，得到第一次训练完成的生成器；
13.将所述训练集中的点云以及对应的所述预测点云输入所述判别器以判断所述预测点云的置信度，根据置信度判断结果更新整个所述点云初始超分辨率模型，迭代直至所述置信度达到预设置信度阈值为止。
14.在本技术的一些实施例中，所述训练点云初始超分辨率模型，包括：使用复合损失作为超分辨率任务训练损失的一部分以训练所述点云初始超分辨率模型；其中，所述复合损失包括对抗损失、形状感知损失和基于几何位置的颜色损失。
15.在本技术的一些实施例中，所述形状感知损失包含整体约束和细节约束；所述整体约束使用emd计算预测点云和真实点云两个数据分布的距离进行约束；所述细节约束使用预测点云和真实点云间逐点对的平均距离以及生成点云的密度度量进行约束。
16.在本技术的一些实施例中，所述将待处理点云划分为分片点云，包括：
17.将所述待处理点云均匀地划分为体积相同的小立方体，以所述小立方体为单位进行分片采样，采样时以预设重叠率采集相邻立方体的点，得到所述分片点云。
18.在本技术的一些实施例中，所述通过所述生成器提取所述分片点云的几何信息特征和颜色信息特征，包括：
19.通过所述生成器使用基于三维空间k近邻的图卷积操作，提取所述分片点云的几何信息特征和颜色信息特征。
20.根据本技术实施例的另一个方面，提供一种点云超分辨率装置，包括：
21.构建训练模块，用于构建并训练点云初始超分辨率模型，得到满足精度阈值的点云超分辨率模型；所述点云初始超分辨率模型包括生成器和判别器；
22.划分模块，用于将待处理点云划分为分片点云，将所述分片点云输入所述点云超分辨率模型；
23.重建模块，用于通过所述生成器提取所述分片点云的几何信息特征和颜色信息特征，并由所述生成器利用所述几何信息特征和所述颜色信息特征重建超分辨率点云；
24.判断输出模块，用于通过所述判别器判断重建的所述超分辨率点云是否达到预设置信度阈值，并输出达到预设置信度阈值的超分辨率点云。
25.根据本技术实施例的另一个方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述任一项的点云超分辨率方法。
26.根据本技术实施例的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述任一项的点云超分辨率方法。
27.本技术实施例的其中一个方面提供的技术方案可以包括以下有益效果：
28.本技术实施例提供的点云超分辨率方法，利用点云超分辨率模型处理分片点云，通过生成器提取分片点云的几何信息特征和颜色信息特征，并由生成器利用几何信息特征和颜色信息特征重建超分辨率点云，通过判别器判断重建的超分辨率点云是否达到预设置信度阈值，并输出达到预设置信度阈值的超分辨率点云，可满足点云处理的上游任务的要求，有效地解决了点云无序的问题，而且可以有效地利用上下文信息，对点云特征进行整合，能够得到轮廓准确、细节清晰的高分辨率点云。
29.本技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施
本技术实施例了解。
附图说明
30.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1示出了本技术一些实施方式的点云超分辨率方法流程图；
32.图2示出了本技术一些实施方式中的训练点云初始超分辨率模型的流程图；
33.图3示出了本技术一个实施例的点云超分辨率装置结构框图；
34.图4示出了本技术一个实施例的电子设备结构框图；
35.图5示出了本技术一个实施例的计算机可读存储介质的示意图。
36.本技术的目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
37.为了使本技术的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本技术做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
38.本领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
39.原始点云数据为未经处理的大型完整点云，模型中生成器的输入点云为稀疏的分片点云，生成器的输出为密集分片点云。完整点云由所有分片点云聚集得到。
40.如图1所示，本技术的一个实施例提供了一种点云超分辨率方法，在本实施例的一些实施方式中，该点云超分辨率方法包括步骤s10至s40：
41.s10、构建并训练点云初始超分辨率模型，得到满足精度阈值的点云超分辨率模型。该点云初始超分辨率模型包括生成器和判别器。
42.该生成器包括并行的点云坐标生成通道和点云颜色生成通道；该点云坐标生成通道用于提取所述分片点云的几何信息特征；该点云颜色生成通道用于提取所述分片点云的颜色信息特征。
43.在某些实施方式中，生成器的并行通道即点云坐标生成通道和点云颜色生成通道，两个不同属性的通道均以结构感知的图卷积为基本操作，构成不同层结构的通道子模块。并行的两通道在特征提取时，将不同属性的特征进行融合，以融合后的高维特征表征结构寻找相似点集构成图结构，进行下一步的特征提取。
44.如图2所示，在某些实施方式中，所述训练点云初始超分辨率模型，包括：
45.s101、将训练集中的点云输入所述生成器，所述点云坐标生成通道和所述点云颜
色生成通道进行连续两次上采样操作，得到预测点云；
46.s102、计算所述预测点云的预测误差，根据所述预测误差反向更新所述生成器中的参数，反复迭代直至所述预测误差达到预设阈值为止，得到第一次训练完成的生成器；
47.s103、将所述训练集中的点云以及对应的所述预测点云输入所述判别器以判断所述预测点云的置信度，根据置信度判断结果更新整个所述点云初始超分辨率模型，迭代操作直至所述置信度达到预设置信度阈值为止。
48.在某些实施方式中，所述训练点云初始超分辨率模型，包括：使用复合损失作为超分辨率任务训练损失的一部分以训练所述点云初始超分辨率模型；其中，所述复合损失包括对抗损失、形状感知损失和基于几何位置的颜色损失。
49.在某些实施方式中，所述形状感知损失包含整体约束和细节约束；所述整体约束使用emd计算预测点云和真实点云两个数据分布的距离进行约束；所述细节约束使用预测点云和真实点云间逐点对的平均距离以及生成点云的密度度量进行约束。
50.在某些实施方式中，训练点云初始超分辨率模型分为两部分，一是对生成器进行训练，二是生成器联合判别器共同训练。
51.第一部分对生成器训练，以分片的点云输入(包含几何坐标和颜色)，两个并行的通道进行连续两次上采样模块操作，得到4倍上采样率的高分辨率彩色点云，计算生成器预测点云和真实点云之间的误差，反向更新生成器中特征提取模块和上采样模块的参数，反复迭代，直至完成生成器的训练。
52.第二部分同时对生成器和判别器训练，生成器以同第一部分一样大小的点云作为输入，两个并行的通道同样进行两次上采样操作得到高分辨率点云；判别器以真实点云和生成器预测点云为输入，对同一点云连续采样并判断生成点云的真假，此时整个网络同时进行更新，生成器以真实点云与预测点云间的误差进行更新，判别器以判断预测点云的正确与否斤葱更新，反复迭代，直至完成整个模型的训练。
53.s20、将待处理点云划分为分片点云，将所述分片点云输入所述点云超分辨率模型。
54.在某些实施方式中，所述将待处理点云划分为分片点云，包括：
55.将所述待处理点云均匀地划分为体积相同的小立方体，以所述小立方体为单位进行分片采样，采样时以预设重叠率采集相邻立方体的点，得到所述分片点云。
56.例如，统计完整点云的所占最小立方体空间的参数，根据参数将原始点云均匀地划分为体积相同的小立方体，以划分的小立方体为单位进行分片采样，采样时以一定重叠率采集相邻立方体的点，防止小立方体的边缘信息丢失。
57.在某些实施方式中，输入数据由原始数据按立方体彼此之间有一定重合的方式分片采样得出，输入的点云坐标和颜色信息均进行相应的归一化，便于模型的学习。
58.s30、通过所述生成器提取所述分片点云的几何信息特征和颜色信息特征，并由所述生成器利用所述几何信息特征和所述颜色信息特征重建超分辨率点云。
59.在某些实施方式中，所述通过所述生成器提取所述分片点云的几何信息特征和颜色信息特征，包括：
60.通过所述生成器使用基于三维空间k近邻的图卷积操作，提取所述分片点云的几何信息特征和颜色信息特征。
61.例如，模型输入的点云属性信息(坐标和颜色)首先使用传统的基于三维空间k近邻的图卷积操作，对点云的几何和颜色属性进行初步的特征处理，得到关于两属性的高维空间特征。此特征作为结构感知图卷积的输入。
62.在某些实施方式中，以分片点云的几何坐标和颜色信息作为输入，生成器使用结构感知图卷积作为基本操作对点云进行特征提取，此外生成器采用并行的网络框架，并将多属性信息进行融合，共同完成几何和颜色的超分辨率。
63.生成器所使用的结构感知图卷积的方法利用高维空间的相似性来寻找高维空间结构相似的点集，使用这些点集来构成局部图进行图卷积，并在卷积之间加入残差，提取到更加相关而有效的特征并防止特征丢失。结构感知图卷积如定义公式(1.1)所下
[0064][0065]
其中,是第l+1层第i个局部图的中心点，是按相似度排序第j相似的点，是包含关于中心的所有结构相似点集，σ是激活函数。w
l
和u
l
第l层中心点和局部图的可学习参数，b
l
是第l层的偏置项。
[0066]
高维度结构的相似性度量采用的是余弦相似度。如定义公式(1.2)所示，
[0067][0068]
其中，xi代表点云中一个点特征第i维特征值，yi代表点云中另一点第i维特征值。
[0069]
生成式对抗网络中的判别器根据输入的点云点数确定采样次数，进行连续的下采样并判断，得到输入点云的最终真假值。
[0070]
在某些实施方式中，根据所使用网络的本身的结构，本发明使用对抗损失作为超分辨率任务训练损失的一部分，其定义如公式(1.3)和公式(1.4)所示，
[0071][0072][0073]
其中，y代表真实值，代表生成器的预测值，代表被判别器评估的置信度值。生成器的目的是通过最小化l
gan
(g)生成预测值来欺骗判别器。
[0074]
训练过程中几何损失使用的是本发明提出的形状感知损失。形状感知损失包含整体和细节两部分约束，整体使用emd计算预测点云和真实点云两个数据分布的距离进行约束；细节使用预测点云和真实点云间逐点对的平均距离——cd距离和生成点云的密度度量进行约束。通过整体和细节的双重约束，可得到轮廓清晰、细节完整且分布均匀的高质量密集点云。emd距离和cd距离如公式(1.5)和公式(1.6)所示，
[0075][0076][0077]
其中，s1,s2分别为真实点云和预测点云，是根据具体点云得出的从真实点云到预测点云间的映射关系。
[0078]
形状感知损失定义如公式(1.7)所示，
[0079]
l
shape
(s1,s2)＝λ
cd
·
l
cd
(s1,s2)+λ
emd
·
l
emd
(s1,s2)+λ
uni
·
l
uni
,
ꢀꢀꢀ
(1.7)
[0080]
其中，l
uni
为均匀分布损失，λ
cd
，λ
emd
和λ
uni
是相应项的超参数。这些超参数值是根据特定实验设置的。
[0081]
在某些实施方式中，结合点云的几何属性，对点云的颜色属性进行约束，以达到准确约束的效果。点云颜色的约束根据点云的几何对应关系，使用l2距离计算对应点颜色rgb的距离来约束点云颜色的生成。基于几何位置的颜色损失定义如公式(1.8)所示，
[0082][0083]
其中，c1是预测rgb的值，c2是对应的点云真实rgb颜色值。
[0084]
在某些实施方式中，复合损失包括对抗损失、形状感知损失和基于几何位置的颜色损失，其复合关系如公式(1.9)所示，lg组成如公式(1.10)所示，
[0085]
l
total
＝l
gan
(g)+l
gan
(d)+λ
shape
l
shape
+λ
color
l
color
,
ꢀꢀꢀ
(1.9)
[0086]
lg＝λ
gan
l
gan
(g)+λ
shape
l
shape
+λ
color
l
color
,
ꢀꢀꢀ
(1.10)
[0087]
其中，λ
gan
，λ
shape
和λ
color
是相应的权重项。
[0088]
在某些实施方式中，以点云的坐标、颜色以及初步提取的几何和颜色信息特征作为输入。不同属性的基本特征由原始数据和初步特征连接得到，并行通道中的结构感知图卷积则是对基本特征进一步地学习和提取。结构感知图卷积以上一步初步提取的点云属性的高维特征为依据计算得到结构相似点集构成卷积需要的结构相似局部图，之后进行卷积操作，依次类推，每次进行结构感知图卷积时，均以上层的高维特征输出为凭借得到结构相似局部图，以进行图卷积操作。两属性通道仅在计算计算结构相似局部图时，进行特征融合，得到属性互补的结构相似局部图，两属性彼此之间帮助去除局部图中的结构偏离点，以期得到最相关的结构相似图，完成图卷积。
[0089]
s40、通过所述判别器判断重建的所述超分辨率点云是否达到预设置信度阈值，并输出达到预设置信度阈值的超分辨率点云。
[0090]
在某些实施方式中，判别器以预测的分片点云为输入，对统一分片点云进行连续地多次下采样，判断不同情况下的点云真假，使用多次值，最终确定置信度的输出。
[0091]
针对本实施例提出的方法以及现有技术的多种方法进行实验，该实验是在nvidia geforce-gtx 2080gpu的硬件环境和python的软件环境下进行的。
[0092]
本实验使用的数据集为jpeg pleno database。jpeg pleno database是一个公开的点云数据集，此数据集中的动态体素化点云序列称为8i体素化完整实体(8ivfb)。数据集中有四个序列，分别是长裙，战利品，红黑军人和士兵。在每个序列中，在10s的时间内，以30fps的速度将30个帧中的42个rgb摄像机配置为14个群集，以捕获人体的整个身体。为每个序列提供一个空间分辨率：一个1024*1024*1024体素的立方体，称为深度10。每个人物有300帧不同姿态的点云呈现。
[0093]
本仿真实验采用本方法与多种超分辨率方法在相同数据集上进行超分辨率结果对比。
[0094]
下列表是本实施例的方法与7种其他几何超分辨率方法对各种评价指标进行对比的统计表。
[0095]
下列表中的cd为chamfer distance距离，emd为earth mover's distance距离，hd为hausdorffdistance距离。jsd衡量两个分布的相似程度，pre
→
gt误差计算从预测中的每个点到地面真实情况中最近的点的平均平方距离。gt
→
pre误差计算出地面真实情况中每
个点到预测中最接近点的平均平方距离。f-score是一种综合评价指标，由精确度和召回率计算得到。
[0096]
表1超分辨率距离指标结果比较一览表
[0097]
方法cdemdhdpcl-upsample0.01750.02200.1296fc0.10050.21281.3662pcn-cd0.08010.18080.5499pcn-emd0.15790.18690.5572folding0.14430.22200.9099pu-net0.17420.13141.6710ar-gcn0.02080.03490.1527本发明方法0.00570.02330.0368
[0098]
表2超分辨率非距离指标结果比较一览表
[0099][0100]
由于适用于几何超分辨率的方法一般不适用于颜色超分辨率且直接针对颜色超分辨率任务相对较少，所以根据实验要求设计以下实验。
[0101]
下列表是本技术的方法与现有技术的3种其他颜色超分辨率方法对各种评价指标进行对比的统计表。
[0102]
表3
[0103][0104][0105]
表4
[0106][0107]
从结果表中可以看出，本实施例方法的评价指标均优于其他现有方法。
[0108]
本技术实施例提供的点云超分辨率方法，生成器结合点云的多属性信息，利用属性之间的互补性，构建结构相似的局部图，从而获取更有效的点云高阶特征，有利于点云的几何坐标和颜色的密集重建；判别器以单片点云多次采样的形式，提高判别器判断的准确度，有利于网络模型的整体训练；模型训练完成后，生成器可将稀疏的点云坐标和颜色重建出高质量密集点云几何和颜色信息，可满足点云处理的上游任务的要求；图卷积以图对点云进行建模，有效地解决了点云无序的问题，而且可以有效地利用上下文信息，对点云特征进行整合，是点云处理中较为有效的卷积操作方法，本技术实施例与现有的超分辨率方法相比，通过使用结构感知图卷积，得到更相关点集形成局部图，便于点云高维特征的获取；根据属性间的互补性，通过信息融合，使用更相关的图信息，得到局部一致且相关的高维特征；使用复合损失，约束超分辨率网络的训练，得到轮廓准确、细节清晰的高分辨率点云。
[0109]
如图3所示，本技术的另一个实施例提供了一种点云超分辨率装置，包括：
[0110]
构建训练模块，用于构建并训练点云初始超分辨率模型，得到满足精度阈值的点云超分辨率模型；所述点云初始超分辨率模型包括生成器和判别器；
[0111]
划分模块，用于将待处理点云划分为分片点云，将所述分片点云输入所述点云超分辨率模型；
[0112]
重建模块，用于通过所述生成器提取所述分片点云的几何信息特征和颜色信息特征，并由所述生成器利用所述几何信息特征和所述颜色信息特征重建超分辨率点云；
[0113]
判断输出模块，用于通过所述判别器判断重建的所述超分辨率点云是否达到预设置信度阈值，并输出达到预设置信度阈值的超分辨率点云。
[0114]
本技术实施例提供的点云超分辨率装置与本技术实施例提供的点云超分辨率方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
[0115]
本技术的另一个实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述任一实施方式的点云超分辨率方法。
[0116]
如图4所示，所述电子设备10可以包括：处理器100，存储器101，总线102和通信接
口103，所述处理器100、通信接口103和存储器101通过总线102连接；所述存储器101中存储有可在所述处理器100上运行的计算机程序，所述处理器100运行所述计算机程序时执行本技术前述任一实施方式所提供的方法。
[0117]
其中，存储器101可能包含高速随机存取存储器(ram：random access memory)，也可能还可以包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
[0118]
总线102可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器101用于存储程序，所述处理器100在接收到执行指令后，执行所述程序，前述本技术实施例任一实施方式揭示的所述方法可以应用于处理器100中，或者由处理器100实现。
[0119]
处理器100可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器100可以是通用处理器，可以包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器101，处理器100读取存储器101中的信息，结合其硬件完成上述方法的步骤。
[0120]
本技术实施例提供的电子设备与本技术实施例提供的方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
[0121]
本技术的另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述任一实施方式的点云超分辨率方法。
[0122]
本技术实施方式还提供一种与前述实施方式所提供的方法对应的计算机可读存储介质，请参考图5，其示出的计算机可读存储介质为光盘20，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的方法。
[0123]
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
[0124]
本技术的上述实施例提供的计算机可读存储介质与本技术实施例提供的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
[0125]
需要说明的是：
[0126]
术语“模块”并非意图受限于特定物理形式。取决于具体应用，模块可以实现为硬件、固件、软件和/或其组合。此外，不同的模块可以共享公共组件或甚至由相同组件实现。
不同模块之间可以存在或不存在清楚的界限。
[0127]
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示例一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本技术也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本技术的内容，并且上面对特定语言所做的描述是为了披露本技术的最佳实施方式。
[0128]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0129]
以上所述实施例仅表达了本技术的实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。