一种融合多传感器的室外大场景三维建图方法

本发明涉及无人驾驶技术领域，特别是一种融合多传感器的室外大场景三维建图方法。

背景技术：

同时定位与地图构造建(simultaneouslocalizationandmapping,slam)在无人驾驶车辆上的应用受到越来越多科研工作者的注目。其目的是使无人车在gps失效后，可以根据自身搭载的传感器在依靠slam技术所建立的环境地图中，且没有先验信息的情况下，自主完成无人车的位姿估计和导航。主流的slam方法可根据传感器的类型分为两种，基于图像的视觉slam和基于雷达的激光slam。此外，融合惯性测量器件(inertialmeasurementunit,imu)的视觉slam也是当今的研究热点。

然而，纯视觉slam需要适度的光照条件和明显的图像特征，且在室外无法构建三维地图。激光slam在运动中易产生非匀速运动畸变，且在退化场景中定位不准确。

技术实现要素：

有鉴于此，本发明的目的是提出一种融合多传感器的室外大场景三维建图方法，相对于传统的激光建图，大大提升了建图精度，能够很好的适配无人驾驶系统。

本发明采用以下方案实现：一种融合多传感器的室外大场景三维建图方法，具体包括以下步骤：

用光流追踪相邻两帧图像，并将imu的预积分作为相邻两帧图像运动的预测值；参数初始化将视觉与imu预积分进行松耦合求解出陀螺仪bias、尺度因子、重力方向和相邻两帧间的速度；通过滑窗优化基于视觉构造的残差项和基于imu构造的残差项，并用边缘化充分利用离开滑窗的图像帧，将输出的高频vio位姿通过激光雷达相机联合标定转换到激光雷达坐标系下，同时构建词袋模型；

将点云分类成不同类型的点，再融合高频vio位姿将传统的雷达匀速运动模型改进为多阶段的匀加速模型，以去除点云畸变；然后进行点云特征提取，将特征点进行帧间匹配，匹配后的点云用lm优化得到两帧点云间的位姿变换矩阵，并转换到初始点云坐标系下，最后融合基于词袋模型的回环检测构建三维地图。

进一步地，所述用光流追踪相邻两帧图像，并将imu的预积分作为相邻两帧图像运动的预测值具体为：

对图像数据的预处理；提取图像的fast特征，并使用klt光流对特征点进行追踪；为了求取光流沿x，y方向上的速度分量，构建一个5×5的像素窗口，该邻域中25个像素点的运动一致：

式中，ix、iy表示图像中像素点亮度在x、y方向上的图像梯度，it表示在t方向上的时间梯度，u、v为光流沿x、y方向上的速度矢量，pi表示第i个像素；其中，klt光流追踪从角点检测开始：

对imu数据的预处理；对imu进行预积分处理，将高频率输出的加速度和角速度测量值转化为单个观测值：

式中，b系是imu坐标系，w系为世界坐标系，at和wt是imu所测得的加速度和角速度，qt^bk为t时刻从imu坐标系到世界坐标系的旋转，ω为四元数右乘；表示第k帧的位姿，表示第k帧的速度，表示t时刻从imu系到世界坐标系的旋转矩阵，表示imu测得的加速度，表示t时刻加速度偏置，g^w表示重力加速度，表示第k帧的旋转，表示imu测得的角速度，表示t时刻角速度偏置。

进一步地，所述通过滑窗优化基于视觉构造的残差项和基于imu构造的残差项，具体为：

使用滑动窗口法优化窗口内的状态变量：

式中，xi是在i时刻窗口中的优化向量，ri，pi为相机位姿的旋转和平移部分，vi为相机在世界坐标系下的速度，bai、bgi分别为imu的加速度bias和陀螺仪bias；

设在k时刻参与优化滑窗中的所有帧的所有xi的集合为xk，系统的所有观测量为zk；用最大后验概率估计系统的状态量：

式中，x0表示初始时刻参与优化滑窗中的所有优化向量的集合，kk表示在k时刻参与优化的滑窗内所有关键帧的集合，iij表示在关键帧时刻i和关键帧时刻j这段时间内所有imu测量值的集合，zil表示i时刻相机观测到的三维特征点，ci表示关键帧时刻i系统内视觉测量值的集合；

再将该最大后验问题转化为优化问题：

式中，xk^*代表最大估计后验值，r0代表滑窗初值残差，代表imu观测残差，代表相机观测残差，∑0表示滑窗初值的协方差，∑ij表示imu观测值的协方差，∑c表示相机观测值的协方差。

进一步地，所述构建的词袋模型为：

式中，v1,v2为两不同时刻的词袋向量，s为相似度评分，当s趋近于1时，则判定为回环。

进一步地，所述将点云分类成不同类型的点具体为：

为减低系统实时的运算量，对点云数据进行预处理，将原始点云划分为三类点：

地面点：将点云划分为0.5m×0.5m的栅格，计算栅格内的最高点和最低点的高度差，将高度差低于0.15m的栅格归类于地面点；

离群点：使用随机一致性采样算法剔除离群点；

有效聚类点：标记地面点后，对点云进行欧式聚类，将聚类点数少于30或在竖直方向上占据的线束小于3的点进行滤除，余下的点均为有效聚类点。

进一步地，所述融合高频vio位姿将传统的雷达匀速运动模型改进为多阶段的匀加速模型，以去除点云畸变具体为：融合将视觉惯性里程计滑窗优化后的位姿，将传统激光雷达的匀速运动模型改进为多阶段的匀加速模型如下：

式中，tlq为激光雷达在第q次扫描时的时间戳，tk，tk+1，tk+2，tk+3为在tv-ik，tv-ik+1，tv-ik+2，tv-ik+3这四个时刻视觉惯性里程计输出的四个绝对位姿，a1、a2为两阶段的加速度；v1，v2，v3为第一阶段的初始度，第一阶段的末速度，第二阶段的末速度，通过两阶段的位移和速度，插值计算点云的速度，位移和欧拉角，消除非匀速运动产生的畸变。

进一步地，在去除点云畸变前，进行传感器时间戳对齐：

式中，tlq为雷达在第q次扫描时的时间戳，tv-ik为vio系统第k次位姿输出时的时间戳。

进一步地，所述融合基于词袋模型的回环检测构建三维地图具体包括以下步骤：

步骤s1：利用fast特征提取算法，从每张图像中提取视觉词汇，将所有的的词汇汇合在一起；

步骤s2：利用k-means算法构造单词表，将词义相近的视觉词汇合并，同时构造一个包含k个词汇的单词表；

步骤s3：统计单词表中每个单词在图像中出现的次数，从而将图像表示成为一个k维数值向量；

步骤s4：重复步骤s1至步骤s3，将描述子建立成树形结构；

步骤s5：将两个词袋的描述子进行相似度比较，当相似度趋近于1时，即认为是回环；

步骤s6：在点云数据回环检测上，采用点云近邻搜索算法，以激光雷达当前位姿为搜索点，查找半径范围为5m内的若干个位姿；

步骤s7：同步词袋模型的回环检测结果和点云数据回环检测结果，当两者同时检测为回环时，才判定为该无人车经过了同一个点；为保证在无人车启动时初始速度较慢造成误回环检测，设置连续回环检测的判定，只有在5秒内10次同时检测到回环，才判定为回环。

本发明还提供了一种融合多传感器的室外大场景三维建图系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。

本发明还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。

与现有技术相比，本发明有以下有益效果：本发明提出的融合多传感器的室外大场景三维建图方法，相对于单一的雷达建图方案，融合视觉惯性里程计的高频位姿，具有点云畸变去除效果好，回环检测精度高，建图精度高的特点。解决了室外大场景三维地图精度较低的问题，为无人驾驶的进一步发展提供了突破口。相对于传统的激光建图，大大提升了建图精度，能够很好的适配无人驾驶系统。

附图说明

图1为本发明实施例的一种融合多传感器的室外大场景三维建图方法的框架结构。

图2为本发明实施例的imu预积分示意图。

图3为本发明实施例的滑窗优化示意图。

图4为本发明实施例的相机雷达系统位姿转换关系示意图。

图5为本发明实施例的匹配提取示意图。

图6为本发明实施例的大场景建图结果俯视图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种融合多传感器的室外大场景三维建图方法，具体包括以下步骤：

用光流追踪相邻两帧图像，并将imu的预积分作为相邻两帧图像运动的预测值；参数初始化将视觉与imu预积分进行松耦合求解出陀螺仪bias、尺度因子、重力方向和相邻两帧间的速度；通过滑窗优化基于视觉构造的残差项和基于imu构造的残差项，并用边缘化充分利用离开滑窗的图像帧，将输出的高频vio位姿通过激光雷达相机联合标定转换到激光雷达坐标系下，同时构建词袋模型；

将点云分类成不同类型的点，再融合高频vio位姿将传统的雷达匀速运动模型改进为多阶段的匀加速模型，以去除点云畸变；然后进行点云特征提取，将特征点进行帧间匹配，匹配后的点云用lm优化得到两帧点云间的位姿变换矩阵，并转换到初始点云坐标系下，最后融合基于词袋模型的回环检测构建三维地图。

在本实施例中，所述用光流追踪相邻两帧图像，并将imu的预积分作为相邻两帧图像运动的预测值具体为：

对图像数据的预处理；提取图像的fast特征，并使用klt光流对特征点进行追踪；为了求取光流沿x，y方向上的速度分量，构建一个5×5的像素窗口，该邻域中25个像素点的运动一致：

式中，ix、iy表示图像中像素点亮度在x、y方向上的图像梯度，it表示在t方向上的时间梯度，u、v为光流沿x、y方向上的速度矢量，pi表示第i个像素；其中，klt光流追踪从角点检测开始：

构建该5×5的像素窗口的hessian矩阵m，当hessian矩阵的两个特征值都很大时才可满足光流法的空间一致性假设，故klt光流追踪必须从角点检测开始：

对imu数据的预处理；如果在相机位姿估算时将imu所有采样时刻所对应的全部位姿插入帧间进行优化，将会降低程序运行效率。本发明为保证该方法在计算机的运算效率，对imu进行预积分处理，将高频率输出的加速度和角速度测量值转化为单个观测值：

式中，b系是imu坐标系，w系为世界坐标系，at和wt是imu所测得的加速度和角速度，qt^bk为t时刻从imu坐标系到世界坐标系的旋转，ω为四元数右乘，位置(p)、速度(v)和旋转(q)为视觉估计的初始值，此处的旋转为四元数形式；表示第k帧的位姿，表示第k帧的速度，表示t时刻从imu系到世界坐标系的旋转矩阵，表示imu测得的加速度，表示t时刻加速度偏置，g^w表示重力加速度，表示第k帧的旋转，表示imu测得的角速度，表示t时刻角速度偏置。

较佳的，本实施例中，所述的初始化参数求解具体为：首先用sfm求解滑动窗内所有帧的位姿与所有路标点的三维位置，再将其与之前求得的imu预积分值进行对齐初始化模块恢复单目相机的尺度，从而解出角速度bias，重力方向、尺度因子、和每一帧所对应的速度。

在本实施例中，所述通过滑窗优化基于视觉构造的残差项和基于imu构造的残差项，具体为：

为减少系统中逐渐增多的状态变量。使用滑动窗口法优化窗口内的状态变量：

式中，xi是在i时刻窗口中的优化向量，ri，pi为相机位姿的旋转和平移部分，vi为相机在世界坐标系下的速度，bai、bgi分别为imu的加速度bias和陀螺仪bias；

设在k时刻参与优化滑窗中的所有帧的所有xi的集合为xk，系统的所有观测量为zk；用最大后验概率估计系统的状态量：

式中，x0表示初始时刻参与优化滑窗中的所有优化向量的集合，kk表示在k时刻参与优化的滑窗内所有关键帧的集合，iij表示在关键帧时刻i和关键帧时刻j这段时间内所有imu测量值的集合，zil表示i时刻相机观测到的三维特征点，ci表示关键帧时刻i系统内视觉测量值的集合；

再将该最大后验问题转化为优化问题：

式中，xk^*代表最大估计后验值，r0代表滑窗初值残差，代表imu观测残差，代表相机观测残差，∑0表示滑窗初值的协方差，∑ij表示imu观测值的协方差，∑c表示相机观测值的协方差。

在本实施例中，所述的边缘化具体为：滑窗外的变量不可直接丢弃，这样会损失约束信息。采用边缘化将约束信息转化为待优化变量的先验分布。

本实施例将边缘化分为两种：

a.如果次新帧是关键帧，则将边缘化最老帧，并将看到的路标点和imu数据转化为先验。流程如下：

①将上一次先验残差项传递给边缘化模块

②将第0帧和第1帧间的imu因子添加到边缘化模块中

③将第一次观测为第0帧的所有路标点对应的视觉观测，添加到边缘化模块中。

④计算每个残差的雅克比矩阵，并将各参数块拷贝到统一的内存中。

⑤多线程构造先验项舒尔补ax＝b的结构，在x0处线性化计算雅克比矩阵和残差。

⑥调整参数块在下一次窗口中对应的位置。

b.如果次新帧不是关键帧，流程如下：

①保留次新帧的imu测量，丢弃该帧的视觉测量，将上一次先验残差项传递给边缘化模块

②计算每个残差的雅克比矩阵，并将各参数块拷贝到统一的内存中。

③构造先验项舒尔补ax＝b的结构，计算雅克比矩阵和残差。

④调整参数块在下一次窗口中对应的位置。

进一步地，高精度的地图需要良好的回环检测机制，构造词袋模型，在回环检测时融合词袋模型的回环检测结果。所述构建的词袋模型为：

式中，v1,v2为两不同时刻的词袋向量，s为相似度评分，当s趋近于1时，则判定为回环。

在本实施例中，所述将点云分类成不同类型的点具体为：

在进行点云特征点提取前对点云数据进行预处理，可有效降低算法的运行时间。为减低系统实时的运算量，对点云数据进行预处理，将原始点云划分为三类点：

地面点：将点云划分为0.5m×0.5m的栅格，计算栅格内的最高点和最低点的高度差，将高度差低于0.15m的栅格归类于地面点；

离群点：使用随机一致性采样算法ransac剔除离群点；

有效聚类点：标记地面点后，对点云进行欧式聚类，将聚类点数少于30或在竖直方向上占据的线束小于3的点进行滤除，余下的点均为有效聚类点。

在本实施例中，所述融合高频vio位姿将传统的雷达匀速运动模型改进为多阶段的匀加速模型，以去除点云畸变具体为：融合将视觉惯性里程计滑窗优化后的位姿，将传统激光雷达的匀速运动模型改进为多阶段的匀加速模型如下：

式中，tlq为激光雷达在第q次扫描时的时间戳，tk，tk+1，tk+2，tk+3为在tv-ik，tv-ik+1，tv-ik+2，tv-ik+3这四个时刻视觉惯性里程计输出的四个绝对位姿，a1、a2为两阶段的加速度；v1第一阶段的初速度，v2第一阶段的末速度，v3为第二阶段的末速度，通过两阶段的位移和速度，插值计算点云的速度，位移和欧拉角，消除非匀速运动产生的畸变。

在本实施例中，在去除点云畸变前，进行传感器时间戳对齐：

式中，tlq为雷达在第q次扫描时的时间戳，tv-ik为vio系统第k次位姿输出时的时间戳。

在本实施例中国，所述的特征提取和帧间匹配具体为：去除完点云运动畸变后，对分类好的点云数据进行特征提取帧间匹配。为保证特征点的均匀分布，将雷达每次扫描的点云划分为均等的12个点云块，每个点云块呈扇形，扇形角度均为30°。选取类粗糙度ck,i特征来分割平面点与边缘点：

式中，sk,i为雷达在k时刻的扫描中距离某点云pk,i所在线束最近的前后6个点的集合。从之前分类好的地面点中，取ck,i值小的点标记为平面特征点。此类特征点数量较多，且总体分布趋于稳定。从之前分类好的有效聚类点中，取ck,i值大的点记为边缘特征点，此类点一遍在环境中曲率突变的物体处，如墙角等。

在进行点云的帧间匹配时，首先需要在点云中确定特征点位置，用kd-tree的形式保存点云。

平面特征点的匹配。设在第k帧平面特征点的集合为sk^p，第k-1帧平面特征点的集合为sk-1^p。p为sk^p中的一个点，在sk-1^p查找距离p最近的点q。再从q的同一线和其相邻两线中找到距离q最近的两个点m,n。q，m，n即为p的匹配点。为了衡量匹配效果，构建距离约束方程：

边缘特征点的匹配。设在第k帧边缘特征点的集合为sk^p，第k-1帧边缘特征点的集合为sk-1^p。p为sk^e中的一个点，在sk-1^p查找距离p最近的点q。再从q相近的雷达线束上寻找距离q最近的点m。q，m即为p的匹配点。为了衡量匹配效果，构建距离约束方程：

将匹配点之间的距离范数和作为误差函数f(pk-1,pk)：

式中，p(k,i)为第k帧中的第i个点云，t^l(k-1,k)为k帧与k-1帧间的变换矩阵。

地面通常平行于激光雷达坐标系的x-o-y平面，平面特征点由地面特征点中提取。利用这一特性，先提取平面特征点求解的六自由度中的[rx,ry,tz]这三个分量，rx为绕x轴的旋转向量，ry为绕y轴的旋转向量，tz为沿z轴的平移向量。构建误差方程：

式中，d(k，k-1)为各点之间欧式聚类构造的向量，sk为sk^p和sk^e的集合。对误差函数f(pk-1,pk)求其对t(k-1，k)^l的雅克比矩阵：则目标函数变为：

用l-m非线性优化算法迭代求解上式，当t^l(k-1,k)趋近0时，迭代终止。即可得到tk时刻的位姿；

对边缘特征点的三个分量[rz,tx,ty]重复以上操作。

在本实施例中，所述融合基于词袋模型的回环检测构建三维地图具体包括以下步骤：

步骤s1：利用fast特征提取算法，从每张图像中提取视觉词汇，将所有的的词汇汇合在一起；

步骤s2：利用k-means算法构造单词表，将词义相近的视觉词汇合并，同时构造一个包含k个词汇的单词表；

步骤s3：统计单词表中每个单词在图像中出现的次数，从而将图像表示成为一个k维数值向量；

步骤s4：重复步骤s1至步骤s3，将描述子建立成树形结构；

步骤s5：将两个词袋的描述子进行相似度比较，当相似度趋近于1时，即认为是回环；

步骤s6：在点云数据回环检测上，采用点云近邻搜索算法，以激光雷达当前位姿为搜索点，查找半径范围为5m内的若干个位姿；

其中，雷达建图模块以2hz频率运行。匹配特征点sk^e，sk^p到当前的点云地图qk上，得到最后的变换。

步骤s7：同步词袋模型的回环检测结果和点云数据回环检测结果，当两者同时检测为回环时，才判定为该无人车经过了同一个点；为保证在无人车启动时初始速度较慢造成误回环检测，设置连续回环检测的判定，只有在5秒内10次同时检测到回环，才判定为回环。

本实施例还提供了一种融合多传感器的室外大场景三维建图系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。

本实施例还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。

接下来，本实施例结合附图进行更进一步的说明。

图1是本实施例方法的框架结构。将框架分为两个模块，视觉惯性里程计模块，激光里程计与建图模块。视觉惯性里程计模块用光流追踪相邻两帧，并将imu的预积分作为相邻两帧图像运动的预测值。将预测值初始化后将视觉与imu预积分进行松耦合求解出陀螺仪bias、尺度因子、重力方向和相邻两帧间的速度。将以上状态变量通过滑窗优化基于视觉构造的残差项和基于imu构造的残差项，并用边缘化充分利用离开滑窗的图像帧，将输出的高频的vio位姿通过激光雷达相机联合标定转换到激光雷达坐标系下，同时构建词袋模型。激光历程计与建图模块将点云分类成不同类型的点，方便后续特征提取，再融合视觉惯性里程计模块输出的高频vio位姿将传统的雷达匀速运动模型改进为多阶段的匀加速模型，以去除点云畸变。然后进行点云特征提取，将特征点进行帧间匹配，匹配后的点云用lm优化得到两帧点云间的位姿变换矩阵，并转换到初始点云坐标系下，最后融合基于词袋模型的回环检测构建三维地图。

图2是imu预积分示意图。将k到k+1帧间的所有imu数据进行预积分，即可得到k+1帧的位姿速度和旋转(pvq)：

式中：式中：b系是imu坐标系，w系为世界坐标系，at和wt是imu所测得的加速度和角速度，qt^bk为t时刻从imu坐标系到世界坐标系的旋转，ω为四元数右乘。

图3是滑窗优化示意图。将视觉约束、imu约束和闭环约束放在一个大的目标函数中进行非线性优化，求解滑窗内所有帧的pvq、bias等。

构建状态向量，包括滑窗内的n+1个所有相机的状态(速度、加速度、加速度bias、陀螺仪bias、位置、朝向)；相机到imu的外参数、m+1个点3d的逆深度：

式中：xk是第k帧imu的转态向量。分别包含imu在世界坐标系中的位置，速度和方向，加速度bias和陀螺仪bias。n为关键帧的数量，m为滑动窗口的特征数。λi是第1次观测的第i个特征的逆深度。由此得到最大后验估计：

式中：rβ和rc是imu和视觉测量的残差；{rp,hp}是边缘化的先验信息。

图4是相机雷达位姿关系转化示意图，物体p在像素坐系o′-x′-y′下的坐标u,v和在雷达坐标系ol-xl-yl-zl下的坐标xl,yl,zl。通过rviz上的点云和像素抓取功能，建立至少8对点云到图像上对应点的三维点-二维点点对。三维点和二维点的对应关系如下：

式中：r为外参矩阵的旋转部分，t为平移向量，此二者即是相机相对于雷达的旋转与平移。通过pnp求解多对点对，即可得出r,t。

图5特征匹配示意图。如图5中左图所示，设在第k帧平面特征点的集合为sk^p，第k-1帧平面特征点的集合为sk-1^p。p为sk^p中的一个点，在sk-1^p查找距离p最近的点q。再从q的同一线和其相邻两线中找到距离q最近的两个点m,n。q，m，n即为p的匹配点。为了衡量匹配效果，构建距离约束方程：

边缘特征点的匹配。设在第k帧边缘特征点的集合为sk^p，第k-1帧边缘特征点的集合为sk-1^p。p为sk^e中的一个点，在sk-1^p查找距离p最近的点q。再从q相近的雷达线束上寻找距离q最近的点m。q，m即为p的匹配点。为了衡量匹配效果，构建距离约束方程：

图6为大场景建图俯视图。将地图构成多个关键帧所构成的特征点的集合，用集合qk＝{sk^e，sk^p}表示每一帧的特征点云，地图mk-1表示为mk-1＝{{s1^e,s1^p}…{sk-1^e,sk-1^p}}。将这些集合存储在kd-tree中，将当前关键帧的特征点云qk和周围地图点云进行icp匹配并优化位姿，并将当前关键帧的特征点云更新至全局地图，实现地图构建。如图可见，点云俯视图和卫星地图重合度高，建图效果良好。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。