结构光系统标定方法及装置、结构光系统及移动设备与流程

本发明涉及计算机视觉技术领域，尤其涉及结构光系统标定方法及装置、结构光系统及移动设备。

背景技术：

结构光三维扫描技术由于其具有低成本、非接触、高精度、高效率等优点，已广泛应用于产品设计与制造、工业测量、质量检测、医学、影视娱乐等行业，被誉为最有前途的三维测量方法。结构光三维扫描技术通过主动控制光源来实现三维扫描，与其他三维扫描技术相比具有更高的可靠度。在进行结构光三维重建前须先对结构光系统进行标定，即获知结构光系统中相机与投影设备的内部参数，以及两者之间的转换关系，亦称为外部参数。标定精度的高低直接影响三维重建的质量。目前针对相机的标定技术业已成熟，可利用棋盘格标定板对其进行标定，而投影设备为非成像设备，难以准确获取三维空间点与三维空间点在投影图像上相应位置的对应关系，从而导致投影设备的标定相对困难。

技术实现要素：

本发明实施例提供一种结构光系统标定方法，用以提高结构光系统标定精度，该方法包括：

获得标定板图像和标定板被投影模组投影后的投影图像，其中投影模组的投影图案基于二值几何空间编码图案形成；

利用标定板图像和投影图像对包括相机和投影模组的结构光系统进行标定。

在一个实施例中，所述相机为红外相机；所述投影模组为投影光栅模组；所述结构光系统为光栅结构光系统。

本发明实施例还提供一种结构光系统标定装置，用以提高结构光系统标定精度，该装置包括：

图像获得模块，用于获得标定板图像和标定板被投影模组投影后的投影图像，其中投影模组的投影图案基于二值几何空间编码图案形成；

系统标定模块，用于利用标定板图像和投影图像对包括相机和投影模组的结构光系统进行标定。

在一个实施例中，所述相机为红外相机；所述投影模组为投影光栅模组；所述结构光系统为光栅结构光系统。

在本发明实施例的结构光系统标定方法及装置中，投影模组的投影图案是基于二值几何空间编码图案形成，而二值几何空间编码图案具有强鲁棒性、高编码密度和小窗口特征，因此利用标定板被投影模组投影后的投影图像对结构光系统进行标定，能够提高结构光系统标定精度；并且，标定结构光系统是基于标定板图像和投影图像，标定过程中没有引入相机标定误差，也能够提高结构光系统标定精度。进一步的，实施例中，在相机采用红外相机，投影模组采用投影光栅模组，结构光系统为光栅结构光系统时，可以实现可靠度高、体积小、成本低廉的光栅结构光系统高精度标定。

本发明实施例还提供一种结构光系统，用以提高结构光系统标定精度，该系统包括：

相机，用于拍摄标定板图像和标定板被投影模组投影后的投影图像；

投影模组，用于将基于二值几何空间编码图案形成的投影图案投影至标定板；

所述标定板图像和投影图像用于对包括相机和投影模组的结构光系统进行标定。

在一个实施例中，所述相机为红外相机；所述投影模组为投影光栅模组；所述结构光系统为光栅结构光系统。

本发明实施例的结构光系统，能够提供标定板图像和标定板被投影模组投影后的投影图像，用于对结构光系统进行标定，其中投影模组的投影图案是基于二值几何空间编码图案形成，而二值几何空间编码图案具有强鲁棒性、高编码密度和小窗口特征，有利于提高结构光系统标定精度。进一步的，实施例中，在相机采用红外相机，投影模组采用投影光栅模组，结构光系统为光栅结构光系统时，可以为移动设备提供可靠度高、体积小、成本低廉的结构光系统，适应于移动设备高精度三维扫描的需求。

本发明实施例还提供一种移动设备，用以提高结构光系统标定精度，该移动设备包括：上述的结构光系统标定装置，以及上述的结构光系统。

本发明实施例的移动设备使用上述结构光系统及结构光系统标定装置，可以实现移动设备的高精度三维扫描，进一步的，实施例中，在相机采用红外相机，投影模组采用投影光栅模组，结构光系统为光栅结构光系统时，可以为移动设备提供可靠度高、体积小、成本低廉的结构光系统，实现移动设备的高精度三维扫描。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中结构光系统标定方法的示意图；

图2为本发明实施例中投影图案的示例图；

图3为本发明实施例中结构光系统标定装置的示意图；

图4为本发明实施例中结构光系统的示意图；

图5为本发明实施例中移动设备的示意图；

图6为本发明实施例中实验对象标准平面板的示例图；

图7为本发明实施例中实验所得特征点检测结果的示例图；

图8为本发明实施例中实验所得三维扫描后的点云示例图；

图9为本发明实施例中实验所得利用点云重建的曲面示例图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

发明人发现，在结构光系统标定过程中，投影设备的标定相对困难，这是由于投影设备为非成像设备，难以准确获取三维空间点与三维空间点在投影图像上相应位置的对应关系，虽然有一些现有方案采用投影方格、圆点或条纹的方式标定结构光系统，但是这些方案也无法实现高精度的结构光系统标定。还有一些现有方案利用相机标定结果对投影设备进行标定，然而这样会引入相机标定误差，降低结构光系统标定精度。针对这一问题，在本发明实施例中提供一种结构光系统标定方法，如图1所示，该方法可以包括：

步骤101、获得标定板图像和标定板被投影模组投影后的投影图像，其中投影模组的投影图案基于二值几何空间编码图案形成；

步骤102、利用标定板图像和投影图像对包括相机和投影模组的结构光系统进行标定。

由图1所示流程可以得知，在本发明实施例中，投影模组的投影图案是基于二值几何空间编码图案形成，而不同于现有单纯采用投影方格、圆点或条纹的方式，由于二值几何空间编码图案具有强鲁棒性、高编码密度和小窗口特征，因此利用标定板被投影模组投影后的投影图像对结构光系统进行标定，能够提高结构光系统标定精度。并且，本发明实施例中标定结构光系统是基于标定板图像和投影图像，标定过程中没有引入相机标定误差，可以确保结构光系统标定的高精度。

下面结合具体实例详细介绍本发明实施例中如何进行结构光系统标定。

首先，实施时先获得标定板图像和标定板被投影模组投影后的投影图像。标定板图像和投影图像由相机拍摄，在实施例中，相机可以拍摄多组标定板图像和投影图像，后续利用多组标定板图像和投影图像标定结构光系统，可以进一步提高标定精度。例如，可以将标定板置于相机及投影模组视域内，相机首先拍摄标定板图像，然后利用投影模组将投影图案投影至标定板上，再利用相机拍摄在标定板上投影形成的投影图像，变换标定板与相机的相对位置，利用相机拍摄多组标定板图像和投影图像，拍摄图像数量越多，标定精度越高，实施例中以拍摄15-20组为宜，这样既可以提高标定精度也不会增加太多计算量。需要说明的是，在后面的具体实施例中，采用了张正友平面标定法实现结构光系统标定，此种情况下需要相机拍摄至少3组标定板图像和投影图像，而本领域技术人员容易理解，在选用其它的具体标定方法时也可以拍摄更少的标定板图像和投影图像，同样可以实现结构光系统标定。标定板可以采用棋盘格标定板，也可以采用其它图形的标定板。

投影模组的投影图案是基于二值几何空间编码图案形成。实施例中，二值几何空间编码图案可以是利用伪随机阵列将多种码字图形嵌入特征图形而生成，码字图形为黑白二值几何图形，特征图形为栅格，码字图形中的线条、点为白色，背景色为黑色；投影图案可以是将二值几何空间编码图案中白色置为透光，黑色置为不透光而形成。其中，作为特征图形的栅格可以采用多种形状，例如可以由垂直相交直线形成，或者也可以采用其它图案替代。基于二值几何空间编码图案形成的投影图案既可以用于实现结构光系统的高精度标定，也可用于实现高精度的三维测量。

图2给出了投影图案的一个实例。如图2所示，本例中可以利用伪随机编码原理生成窗口大小为2×2、编码元素为8的大小为65×63的伪随机阵列，设计8个结构简单、形态各异、差别较大的黑白二值几何图形作为码字图形，同时设计由垂直相交直线形成的栅格作为特征图形，将码字图形嵌入特征图形内，选择黑色作为背景色，由此生成一幅二值几何空间编码图案，定位两垂直相交直线的交点为二值几何空间编码图案的特征点，对应的标定板采用棋盘格标定板。如图2所示，该二值几何空间编码图案具有三个特点：编码密度高、窗口尺寸小、鲁棒性强。再将该二值几何空间编码图案中白色置为透光，黑色置为不透光，由此便可形成投影图案。图2中所示采用的8个黑白二值几何图形仅为一例，本领域技术人员容易理解，在具体实施时可以根据实际需求选用其它图形，也能满足结构光系统标定要求和三维扫描需求。

在获得标定板图像和投影图像后，利用标定板图像和投影图像对包括相机和投影模组的结构光系统进行标定。利用标定板图像和投影图像标定结构光系统，可以准确获取三维空间点与三维空间点在投影图像上相应位置的对应关系，标定过程中也不会引入相机标定误差。在具体的实施例中，可以先提取投影图像在相机图像上的坐标，结合投影图像在投影模组图像上的坐标，建立相机图像坐标与投影模组图像坐标之间的对应关系；再利用该对应关系和标定板图像对结构光系统进行标定。

具体的，提取投影图像在相机图像上的坐标，结合投影图像在投影模组图像上的坐标，建立相机图像坐标与投影模组图像坐标之间的对应关系，可以包括：将投影图像转化为灰度图像，利用滤波器对灰度图像进行平滑处理；从平滑处理后的灰度图像提取特征点，获得特征点的拓扑结构；根据特征点的拓扑结构提取栅格内的码字图形；对提取的码字图形进行识别，确定特征点的码字；根据已识别的特征点的码字信息与投影特征点的码字信息，确定相机图像坐标与投影模组图像坐标之间的对应关系。

举一例，建立相机图像坐标与投影模组图像坐标之间对应关系的具体过程例如可以包括：

1、将相机拍摄的投影图像转化为灰度图像，利用滤波器对灰度图像进行平滑处理。本例设计一个十字型模板对灰度图像进行滤波，该十字型模板可用公式表示如下：

其中，H表示滤波阈值，I表示相机拍摄的投影图像，w表示十字型模板的半径，l为w/3，α、β、i、j、γ、η为模板内坐标变量。设定合适的阈值H即可提取候选特征点，利用旋转180°对称性不变的原理可剔除错误特征点。需要说明的是，本例设计了上述十字型模板对灰度图像进行滤波，本领域技术人员容易理解，具体实施时可以根据实际需求选用其它的模板对灰度图像进行滤波。

2、从平滑处理后的灰度图像提取特征点，获得特征点的拓扑结构，根据特征点的拓扑结构提取栅格内的码字图形。根据提取的特征点便可获得所有特征点的拓扑结构，在标定板采用棋盘格标定板时，由于每个栅格图像具有4个特征点，因此根据拓扑结构便可提取到栅格内的码字图形，例如可以借助构成内部存在码字图形的栅格的4个特征点，利用射影变换原理和双线性插值法将码字图形规范化成大小均为28×28的图像。

3、对提取的码字图形进行识别，确定特征点的码字。

4、根据已识别的特征点的码字信息与投影特征点的码字信息，确定相机图像坐标与投影模组图像坐标之间的对应关系。

在具体的实施例中，由于投影图像被投射至标定板上时，容易受到标定板上颜色的影响，使得码字图形不易被正确识别，因此可以按如下方式利用卷积神经网络对提取的码字图形进行识别：识别前先将多幅含单一码字图形的投影图案分别投射至标定板用于采集训练样本，通过调节高斯噪声、执行仿射变换及施行高斯滤波扩大样本数量，利用样本训练识别网络，利用已训练的网络对提取的码字图形进行识别。例如，可以利用卷积神经网络Lenet-5对码字图形进行识别，在识别之前，首先将每一幅仅含有单一码字图形的投影图案分别投射至标定板上用于采集训练样本，通过调节高斯噪声、执行轻微的仿射变换及施行高斯滤波，以扩大样本数量，使得利用样本训练出的网络识别能力更强。再利用已训练的网络对提取的码字图形进行识别，进而确定特征点的码字。

在获得相机图像坐标与投影模组图像坐标之间的对应关系后，则可以利用该对应关系和标定板图像对结构光系统进行标定。具体的实例中，可以先利用该对应关系将标定板在相机图像上的坐标转换至投影模组图像上，再利用张正友平面标定法对结构光系统进行标定。本领域技术人员容易理解，本例中选用张正友平面标定法标定结构光系统仅为一例，具体实施时还可以选用其它标定法标定结构光系统。

具体的，在选用张正友平面标定法标定结构光系统前，可以先利用相机图像坐标与投影模组图像坐标之间的对应关系计算相机图像与投影模组图像之间的单应性矩阵，利用该单应性矩阵将标定板在相机图像上的特征点坐标转换至投影模组图像上。后续可以以标定板上的特征点为数据源，结合张正友平面标定法对结构光系统进行标定。

下面举一例说明标定结构光系统的具体过程，本例中选用张正友平面标定法对结构光系统进行标定。

本例中标定板采用棋盘格标定板，采用角点检测算法检测出棋盘格标定板图像上角点坐标，利用相机图像与投影模组图像之间的单应性矩阵，将棋盘格标定板在相机图像上的角点坐标转换至投影模组图像上，以棋盘格标定板上的角点为数据源结合张正友平面标定法同时标定相机及投影模组，获得相机与投影模组的内外参数，利用相机及投影模组的外参数计算结构光系统的外参数，包括旋转矩阵Rs和平移矩阵Ts，其计算公式如下所示：

其中，Rc表示相机的旋转矩阵，Rp表示投影模组的旋转矩阵，Tc表示相机的平移矩阵，Tp表示投影模组的平移矩阵。由于直接通过式(2)计算出的结构光系统外参数具有较大误差，可以根据相机标定的反向投射误差原理进行进一步优化：

ec＝mc-g^-1(m′p,Kc,θc,Rc,Tc,Kp,θp) (3)

其中，ec表示反向投影误差；mc是投影图案在相机图像上的实际特征点坐标；g^-1()表示投影模组图像到相机图像的变换；m′p是投影图案在投影模组图像上的理想角点坐标；Kc与θc分别表示已标定的相机内参数和畸变系数；Rc和Tc为相机的外参数，此处取Tc＝Ts+RsTp；Kp与θp分别表示已标定的投影模组内参数和畸变系数；由式(3)得到最优化目标函数：

式(4)优化问题是一个非线性最小二乘问题，可根据式(2)计算出Rs与Ts的初值，再利用Levenberg-Marquart算法求解，由此便可得到优化后的相机-投影模组结构光系统的内外参数。

基于同一发明构思，本发明实施例中还提供了一种结构光系统标定装置，如下面的实施例所述。由于结构光系统标定装置解决问题的原理与结构光系统标定方法相似，因此结构光系统标定装置的实施可以参见结构光系统标定方法的实施，重复之处不再赘述。

如图3所示，本发明实施例中结构光系统标定装置可以包括：

图像获得模块301，用于获得标定板图像和标定板被投影模组投影后的投影图像，其中投影模组的投影图案基于二值几何空间编码图案形成；

系统标定模块302，用于利用标定板图像和投影图像对包括相机和投影模组的结构光系统进行标定。

在具体的实施例中，二值几何空间编码图案可以是利用伪随机阵列将多种码字图形嵌入特征图形而生成，码字图形为黑白二值几何图形，特征图形为栅格，背景色为黑色；投影图案可以是将二值几何空间编码图案中白色置为透光，黑色置为不透光而形成。

在具体的实施例中，栅格可以由垂直相交直线形成。

在具体的实施例中，系统标定模块302具体可以用于：提取投影图像在相机图像上的坐标，结合投影图像在投影模组图像上的坐标，建立相机图像坐标与投影模组图像坐标之间的对应关系；利用该对应关系和标定板图像对所述结构光系统进行标定。

在具体的实施例中，系统标定模块302具体可以用于：将投影图像转化为灰度图像，利用滤波器对灰度图像进行平滑处理；从平滑处理后的灰度图像提取特征点，获得特征点的拓扑结构；根据特征点的拓扑结构提取栅格内的码字图形；对提取的码字图形进行识别，确定特征点的码字；根据已识别的特征点的码字信息与投影特征点的码字信息，确定相机图像坐标与投影模组图像坐标之间的对应关系。

在具体的实施例中，系统标定模块302具体可以用于按如下方式利用卷积神经网络对提取的码字图形进行识别：识别前先将多幅含单一码字图形的投影图案分别投射至标定板用于采集训练样本，通过调节高斯噪声、执行仿射变换及施行高斯滤波扩大样本数量，利用样本训练识别网络，利用已训练的网络对提取的码字图形进行识别。

在具体的实施例中，系统标定模块302具体可以用于：利用相机图像坐标与投影模组图像坐标之间的对应关系，将标定板在相机图像上的坐标转换至投影模组图像上；利用张正友平面标定法对结构光系统进行标定。

在具体的实施例中，系统标定模块302具体可以用于：利用相机图像坐标与投影模组图像坐标之间的对应关系计算相机图像与投影模组图像之间的单应性矩阵；利用该单应性矩阵将标定板在相机图像上的特征点坐标转换至投影模组图像上；以标定板上的特征点为数据源，结合张正友平面标定法对结构光系统进行标定。

如上所述，在本发明实施例的结构光系统标定装置中，投影模组的投影图案是基于二值几何空间编码图案形成，而二值几何空间编码图案具有强鲁棒性、高编码密度和小窗口特征，因此利用标定板被投影模组投影后的投影图像对结构光系统进行标定，能够提高结构光系统标定精度；并且，标定结构光系统是基于标定板图像和投影图像，标定过程中没有引入相机标定误差，也能够提高结构光系统标定精度。

基于同一发明构思，本发明实施例中还提供了一种结构光系统，如下面的实施例所述。由于结构光系统解决问题的原理也与结构光系统标定方法相似，因此结构光系统的实施可以参见结构光系统标定方法的实施，重复之处不再赘述。

如图4所示，本发明实施例中结构光系统可以包括：相机401，用于拍摄标定板图像和标定板被投影模组投影后的投影图像；投影模组402，用于将基于二值几何空间编码图案形成的投影图案投影至标定板；其中，标定板图像和投影图像用于对包括相机和投影模组的结构光系统进行标定。

本发明实施例的结构光系统，能够提供标定板图像和标定板被投影模组投影后的投影图像，用于对结构光系统进行标定，其中投影模组的投影图案是基于二值几何空间编码图案形成，而二值几何空间编码图案具有强鲁棒性、高编码密度和小窗口特征，有利于提高结构光系统标定精度。

在具体的实施例中，二值几何空间编码图案可以是利用伪随机阵列将多种码字图形嵌入特征图形而生成，码字图形为黑白二值几何图形，特征图形为栅格，背景色为黑色；投影图案可以是将二值几何空间编码图案中白色置为透光，黑色置为不透光而形成。

在具体的实施例中，栅格可以由垂直相交直线形成。

进一步的，发明人发现，继Microsoft公司与Google公司分别推出Kinect系列和Tango系列三维扫描产品之后，目前全球众多科技企业试图在移动设备端(如：手机，Pad)增添高精度三维扫描功能，以吸引消费者眼球，提高产品销量。然而，现有技术中并没有能够在移动设备端增添高精度三维扫描功能的方案。

为此，考虑在本发明实施例的结构光系统中，相机采用红外相机，投影模组采用投影光栅模组，则结构光系统为光栅结构光系统，即可针对移动终端设计一个可靠度高、体积小、成本低廉的结构光系统。在具体的实施例中，可以由一个摄像头和一个微型结构光投射光栅模组构成光栅结构光系统，该光栅结构光系统采用光刻工艺制作结构光模板，并配合相关的微型光学投射模块，形成一个能投影特定结构光的投影光栅模组，使得光栅结构光系统整体小型化，为移动设备提供可靠度高、体积小、成本低廉的结构光系统，实现移动设备的高精度三维扫描。

从光学模型的角度来看，投影光栅模组可被视为一个“逆向”的相机，将二维图像投射至三维场景，一个基本的光栅结构光系统等同于一个双目立体视觉系统。双目立体视觉采用双相机模仿人眼功能，从不同视角获取物体表面信息，利用视差实现三维重构。由于用投影光栅模组代替了双目视觉中的一个相机，可借助投影光栅模组投影一系列特征点到待测表面，解决双目视觉中不同图像难以实现对应点匹配的问题。

光栅结构光系统采用的是投影光栅模组，所以在对光栅结构光系统进行标定时，需要借助于投影光栅模组中的光刻图案。该光刻图案即前述的基于二值几何空间编码图案形成的投影图案。在具体的实施例中，二值几何空间编码图案可以是利用伪随机阵列将多种码字图形嵌入特征图形而生成，码字图形为黑白二值几何图形，特征图形为栅格，背景色为黑色；当投影模组采用投影光栅模组时，可以利用光刻工艺将二值几何空间编码图案中白色光刻为透光，黑色光刻为不透光，从而形成光刻图案。投影光栅模组将该光刻图案投影至标定板，相机拍摄被投影模组投影光刻图案后的投影图像。

基于同一发明构思，本发明实施例中还提供了一种移动设备，该移动设备包括上述的结构光系统标定装置，以及上述的结构光系统。

图5为本发明实施例中移动设备的结构示意图，如图5所，本发明实施例中移动设备包括结构光系统51和结构光系统标定装置52，其中结构光系统51包括相机401和投影模组402。在具体的实施例中，相机401可以采用红外相机，投影模组402可以采用投影光栅模组，结构光系统51可以是光栅结构光系统。

根据前述实施例描述，可以得知，本发明实施例的移动设备使用上述结构光系统及结构光系统标定装置，可以实现移动设备的高精度三维扫描，进一步的，实施例中，在相机采用红外相机，投影模组采用投影光栅模组，结构光系统为光栅结构光系统时，可以为移动设备提供可靠度高、体积小、成本低廉的结构光系统，实现移动设备的高精度三维扫描。

根据前述实施例描述，可以理解，在本发明实施例的结构光系统标定方法及装置中，所获得的标定板图像和投影图像可以由红外相机拍摄，投影模组也可以采用投影光栅模组，向标定板投影基于二值几何空间编码图案形成的光刻图案，所标定的结构光系统可以是光栅结构光系统，以实现可靠度高、体积小、成本低廉的光栅结构光系统高精度标定。本发明实施例的结构光系统标定方法及装置，不但可以标定一般性的摄像机-投影仪结构光系统，例如适应于由单个投影仪和单个相机构成的标准结构光系统，还可以适用于投影图案固定不变的投影设备，如前述的投影光栅模组。投影光栅模组所投影的光刻图案是固定不变的，而在标准结构光系统中，投影仪可以通过数字化手段控制投影图案的变化。在实施本发明实施例的结构光系统标定过程中，投影仪可以通过数字化手段实现基于二值几何空间编码图案形成的投影图案。显然，本发明实施例的结构光系统可以是一般性的摄像机-投影仪结构光系统，例如由单个投影仪和单个相机构成的标准结构光系统，还可以是前述的光栅结构光系统。

本发明实施例经过实验证明可行，实验对象为一个标准平面板，如图6所示。图7与图8所示分别为特征点检测结果与三维扫描后的点云，利用点云数据拟合平面，计算点到平面的距离，由此计算出三维扫描的平均误差为0.12mm，标准误差为0.23mm，图9所示为利用点云重建的曲面，实验结果表明：本发明实施例的结构光系统标定方法完全可行、且利用本发明实施例的结构光系统再进行三维扫描可获得较为精确的三维信息，这充分反映了本发明实施例具有结构光系统标定高精度的特点。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。