一种基于3D传感器的栈板识别及定位方法、系统与流程

一种基于3d传感器的栈板识别及定位方法、系统
技术领域
1.本发明涉及机器人视觉定位技术，尤其涉及基于传统3d传感器采集的数据来进行栈板面形状识别及定位的方法、系统。


背景技术：

2.本发明所称的机器人是一种能够自动运行的移动机器人，如轮式机器人，其根据工作属性的不同可以分为：清扫机器人、消毒机器人、巡检机器人、搬运机器人等。
3.在工业应用领域，具有移动和搬运功能的自动化机器人正逐步替代人工介入到现有的生产体系之中，以实现物料搬运、插取等任务，然而这机器人之所以能够实现自动化控制，主要仰赖于不断发展的机器人的识别及定位技术。
4.比如自动叉车机器人通过插取栈板来进行货物转运，如果事先不知道栈板的具体位姿，那么在机器人插取过程中，很容易出现插取失败的情况，因此如何快速识别及定位此类栈板的位置，则是目前本领域一直在迭代改进的目标。
5.目前现有技术中，比较成熟的技术通常会使用rgb-d相机根据特征来确定栈板的位置，这种技术也是目前应用比较广泛的技术，但是该技术的问题在于通用性不强，依赖于特定的深度相机设备。
6.另一方面，基于样本学习的技术也是目前比较热门的技术，也叫深度学习，深度学习可以使识别达到很高的准确度，但是对计算性能要求较高。


技术实现要素：

7.为此，本发明的主要目的在于提供一种基于3d传感器的栈板识别及定位方法、系统，以普适多种3d传感器提高通用性，同时降低计算性能要求。
8.为了实现上述目的，根据本发明的一个方面，提供了一种基于3d传感器的栈板识别方法，其步骤包括：s1确定目标栈板用于识别的各端面参数，建立特征模板；s2 基于3d传感器采集的传感数据建立目标点云,并对目标点云进行预处理，在滤除地面点云后，合并目标栈板同一端面的点云获得面状点云块；s3 通过3d传感器外部参数将面状点云块转化为相机坐标系下的2d平面;s4建立编码图将2d平面放入其中，在编码图中构造预设特征识别距离的双线滑窗并根据预设步长同步移动，以对路径上所遇到的2d平面上的点进行线段拟合扫描，当判断双线滑窗各自拟合的当前线条长度皆符合特征模板时，输出该特征模块所对应的识别结果。
9.在可能的优选实施方式中，所述特征模板包括：第一子特征，其为一条连续线段特征，且长度存在于目标栈板的端面参数范围中；第二子特征，其为多条间隔线段特征，且各条间隔线段的长度以及间隔距离存在于目标栈板的端面参数范围中。
10.在可能的优选实施方式中，步骤s2中对目标点云进行预处理的步骤包括：
s21对目标点云进行滤波处理，根据3d传感器的外部参数将目标点云转换到机器人坐标系下，以获得对应点云坐标，从而参照目标栈板的高度参数，滤除不匹配的目标点云；s22对步骤s21处理后的目标点云采用统计滤波处理，除去离群点。
11.在可能的优选实施方式中，步骤s2中滤除地面点云的步骤包括：s23分别多次随机从目标点云中抽取多个点以拟合出多个基准平面；s24统计各基准平面与目标点云所有的点之间在容差距离范围内所对应点的数量；s25选择对应点数量最多的基准平面作为地面，以将该基准平面上的所有的点归属于地面成分以剔除，而其余点归属于物体成分。
12.在可能的优选实施方式中，步骤s2中合并目标栈板同一端面的点云获得面状点云块的步骤包括：s26从物体成分点云中随机选取种子点，并判断种子点与作为种子点周围的非种子点是否处于同一平面内，其中种子点的法向量与地面法向量垂直，当确定种子点和非种子点处于同一平面内时，确定将该非种子点作为新的种子点；s27迭代判断新的种子点与其周围的非种子点是否处于同一平面内，以通过点云区域生长的方式统计出所有的种子点;s28判断所统计的种子点的数量是否处于预设定的数量范围内，并当种子点数量在数量范围内时，基于所统计的种子点构建所述面状点云块，同时对判断为同一物体的同一面的所有面状点云块做合并处理。
13.在可能的优选实施方式中，所述判断同一物体的同一面的步骤包括：将各面状点云块转为平面方程ax+by+cz=1，判断各个面状点云块的平面方程式中a、b、c三个因子是否相似且因子之差的绝对值小于预设阈值，若符合的则判断为同一物体的同一面。
14.在可能的优选实施方式中，步骤s3中通过3d传感器外部参数转换面状点云块至相机坐标系下的2d平面步骤包括：s31将面状点云块中每一个点编码为(h,w,z,a,b,c,yaw)，其中h和w为其在相机坐标系下的坐标，a，b，c为面状点云的平面方程ax+by+cz=1的因子，进而计算出；s32以面状点云块的中心点将各面状点云旋转yaw，以使其与h和w轴平行，从而获取2d平面。
15.为了实现上述目的，根据本发明的另一方面，还提供了一种基于3d传感器的栈板定位方法，其步骤包括：s1根据如权利要求1至7任一所述基于3d传感器的栈板识别方法，获取匹配双线滑窗拟合线条的中心点的平均值，作为当前识别的目标栈板端面的中心点坐标，并以此作为6dpose的x、y、z参数；s2 将roll和pitch的角度设为0；s3 根据面状点云块建立的平面方程ax+by+cz=1，依据该平面方程及其a、b、c三个
因子，计算出yaw参数值，以获取目标栈板6d pose。
16.为了实现上述目的，根据本发明的另一方面，还提供了一种基于3d传感器的栈板识别系统，其包括：存储单元，其存有实现如权利要求1至7任一所述基于3d传感器的栈板识别方法步骤的程序，以供控制单元及处理单元适时调取执行；控制单元操控3d传感器采集场景中的目标点云以向处理单元发送；处理单元从目标点云中滤除地面点云，合并目标栈板同一端面的点云获得面状点云块；再通过3d传感器外部参数将面状点云块转化为相机坐标系下的2d平面，而后建立编码图将2d平面放入其中，并在编码图中构造预设特征识别距离的双线滑窗并根据预设步长同步移动，以对路径上所遇到的2d平面上的点进行线段拟合扫描，当判断双线滑窗各自拟合的当前线条长度皆符合特征模板时，输出该特征模块所对应的识别结果。
17.为了实现上述目的，根据本发明的另一方面，还提供了一种基于3d传感器的栈板定位系统，其包括：存储单元，其存有实现如权利要求1至7任一所述基于3d传感器的栈板识别方法步骤的程序，以供控制单元及处理单元适时调取执行；控制单元操控3d传感器采集场景中的目标点云以向处理单元发送；处理单元从目标点云中滤除地面点云，合并目标栈板同一端面的点云获得面状点云块；再通过3d传感器外部参数将面状点云块转化为相机坐标系下的2d平面，而后建立编码图将2d平面放入其中，并在编码图中构造预设特征识别距离的双线滑窗并根据预设步长同步移动，以对路径上所遇到的2d平面上的点进行线段拟合扫描，当判断双线滑窗各自拟合的当前线条长度皆符合特征模板时，输出该特征模块所对应的识别结果；处理单元进一步将匹配双线拟合线条的中心点的平均值，作为当前识别的目标栈板端面的中心点坐标，并以此作为6dpose的x、y、z参数，同时将roll和pitch的角度设为0，并计算出yaw参数值，以获取目标栈板6d pose。
18.通过本发明提供的该基于3d传感器的栈板识别及定位方法、系统，其不但特别适用于对于栈板的识别和定位，同时对于其他需要与机器人交互的物体，只要物体在传感器能够扫描的角度存在一定的、连续的面特征，即可准确、快速的识别该物体及其位置。并且拓展性非常强，例如本案示例中的栈板，无论是标准的栈板还是非标准的栈板，只需提前获得栈板的各个结构参数即可进行后续匹配识别步骤。
19.此外本发明还能够普适多种3d传感器，通用性较强，无论是深度相机、多线激光雷达还是固态激光雷达，都能适用，并且不需要对点云进行拼接即可直接进行计算。另一方面本发明的方案也不需要预先训练样本，就可以时时进行识别判断及目标位姿计算，因此相比深度学习方案占用的计算性能更低也更巧妙。
附图说明
20.构成本技术的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明示例目标栈板的端面参数示意图；图2为本发明基于3d传感器的栈板识别方法的步骤示意图；图3为本发明的3d传感器坐标系（相机坐标系）示意图；图4为本发明基于3d传感器的栈板识别方法中双线滑窗在编码图中对栈板端面点云进行拟合的示意图；图5为本发明基于3d传感器的栈板识别方法中双线滑窗在编码图中对栈板端面点云进行拟合匹配，当符合特征模板时停止的示意图；图6为本发明基于3d传感器的栈板识别方法中特征模板的示意图；图7为本发明基于3d传感器的栈板识别及定位系统的结构示意图。
具体实施方式
21.为了使本领域的技术人员能够更好的理解本发明的技术方案，下面将结合实施例来对本发明的具体技术方案进行清楚、完整地描述，以助于本领域的技术人员进一步理解本发明。显然，本案所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思及相互不冲突的前提下，本技术中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，在本领域普通技术人员没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的揭露及保护范围。
22.此外本发明的说明书和权利要求书及附图中的术语“第一”、“第二”、“s1”、“s2”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里描述的那些以外的顺序实施。同时本发明中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。除非另有明确的规定和限定，术语“设置”、“布设”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况，结合现有技术来理解上述术语在本案中的具体含义。
23.其中需要说明的是，本发明的示例中，所述3d传感器可以是3d激光传感器，也可以使用3d相机传感器并且只使用深度信息。具体来说，本发明的方案可适用于非重复式扫描模式的3d激光雷达，但对于机械式扫描的3d激光雷达以及深度相机同样适用。对于机械式扫描的3d激光雷达，不需要对点云进行拼接即可直接进行计算；对于深度相机，需要先把深度图转换为3d点云，也不需要进行点云拼接即可进行计算。
24.进一步来说，本发明的方案构思上，通过将离散的3d点云经过特殊编码转化为2d平面，同时运用双线遍历的方法，只需要简单的计算就可以识别定位到栈板，因此适普适于深度相机、多线激光雷达以及固态激光雷达等多种3d传感器。
25.此外，下述示例中虽然示例了一种结构的栈板的识别及定位处理过程，但本领域技术人员可以根据下述实施例理解到，本发明的方案也可适用于识别多个不同种类的栈板，甚至可以拓展为非标准的栈板。只需要预先的配置好栈板的参数，建立特征模板，即可快速、准确的识别并定位到栈板的位姿。
26.具体来说，如图1至图6所示，本发明提供的该基于3d传感器的栈板识别方法，其步骤包括：步骤s1确定目标栈板用于识别的各端面参数，建立特征模板。
27.具体来说，如图1所示，预先确定目标栈板端面上的各个参数，然后根据不同栈板端面上的特点来建立特征模板，如本案中示例的栈板为三条腿的形态，因此为了对应本案提出的双线遍历法，该特征模板可示例为栈板端面上特定位置处的两条不同尺寸和形态的线段。
28.例如所述特征模板包括：第一子特征，其为一条连续线段特征，且长度存在于目标栈板的端面参数范围中；第二子特征，其为多条间隔线段特征，且各条间隔线段的长度以及间隔距离存在于目标栈板的端面参数范围中。
29.如图6所示，由于栈板存在3条腿，因此l1处线条代表着栈板上部板体连续的特征，同时其长度尺寸以a1为参照，而l2处的间隔线条代表着3条腿相互间隔设置的板体特征，同时各个线条本身的长度分别与b1,c1为参照，而间隔距离则以d1为参照，此外l1与l2之间的间隔以e1为参照，籍此通过这些预设的识别约束来建立特征模板，并用于后续的识别。
30.其中上述a1,b1,c1,d1,e1分别为与栈板各个参数a，b，c，d，e对应且基本相同或相近的尺寸。
31.此外本领域技术人员应当知晓，上述特征模板仅为示例，而并未进行任何限制，本领域技术人员也可以根据栈板的具体结构在不脱离本案发明构思的前提下进行类似的设置，而该些设置也属于本发明的揭露范围。
32.步骤s2基于3d传感器采集的传感数据建立目标点云，对目标点云进行预处理，在滤除地面点云后，合并目标栈板同一端面的点云获得面状点云块。
33.具体来说，该目标点云预处理步骤，首先需要对栈板点云数据进行滤波的预处理操作，然后再经滤波的栈板点云数据中分离出地面成分和物体成分。其中关于滤波的处理操作，其具体可以是将所获取的栈板点云数据赋予为对应于自然三轴坐标系的点云坐标，然后获取待识别的栈板的需求高度，进而根据需求高度，滤除点云坐标下与需求高度不匹配的栈板点云数据。
34.例如示例中，当栈板的高度为15cm时，若栈板放在水平地面上，则可以是使用直通滤波器仅获取距离地面0~15cm的点云，而若栈板堆叠在两层同样高度的栈板上，则用直通滤波器获取距离地面30~45cm的点云。
35.然后再对上述处理后获取的点云采用统计滤波器，除去离群点。由此，便可通过多次滤波的预处理方式，有效减少噪音和冗余的数据，以提高后续算法的准确率和运算速度，以及算法的鲁棒性和实时性进一步的，该滤除地面点云的步骤包括：选择目标点云数据下所有的点距离基准平面的在容差距离范围内的点的数量最多的基准平面作为地面，并将该面上的所有的点归属于地面成分，而其余点归属于物体成分。
36.具体来说，要对上述预处理之后的点云进行地面点云剔除，首先需要分别提取出栈板点云数据中地面成分和物体成分，为此本示例中，以随机抽样一致算法与平面模型匹
配方式，来分离点云数据中的地面成分和物体成分。具体的，可以是分别多次随机从栈板点云数据中抽取多个点，并相应地拟合出多个基准平面；之后统计点云数据下所有的点分别与多个基准平面的距离在容差距离范围内的相应的点的数量；然后比较所统计的点的数量，以从多个基准平面确定地面成分。
37.例如，可以是选择点云数据下所有的点距离基准平面的在容差距离范围内的点的数量最多的基准平面作为地面，并将该面上的所有的点归属于地面成分，从而分离出栈板点云数据中地面成分和物体成分。
38.进一步的，合并目标栈板同一端面的点云获得面状点云块的步骤包括：提取出垂直于地面的面状点云块，如从物体成分点云数据中随机选取种子点，并判断种子点与作为种子点周围的非种子点是否处于同一平面内，其中种子点的法向量与地面法向量垂直，当确定种子点和非种子点处于同一平面内时，确定将该非种子点作为新的种子点。
39.然后迭代判断新的种子点与其周围的非种子点是否处于同一平面内，以通过点云区域生长的方式统计出所有的种子点。
40.基于前述统计的种子点，构建垂直于地面的面状点云块。具体来说，即判断所统计的种子点的数量是否处于预设定的数量范围内，并当该种子点数量在数量范围内时，可以基于所统计的种子点构建垂直于地面的面状点云块。
41.同时若该种子点数量过高或过低时，则可以认定所统计的种子点所对应的面不属于面状点云块，该做法同时可以得出平面方程参数。
42.之后，在获取所有的面状点云块之后，为了保证同一物体的同一面的完整性，本示例中还进一步对所有垂直于地面的面状点云块做合并处理。如通过前述平面方程以及距离做判断，如果平面方程的因子相似且距离满足阈值时，则将两个点云块合并为同一点云块。
43.如示例中，任何平面方程都可以写成ax+by+cz=1，如果两个面状点云块的平面方程式中a、b、c三个因子相似并且因子之差的绝对值小于阈值，则可将两个面状点云块合并为同一点云块。籍此保证同一物体同一面的完整性。
44.此外，为了便于后续步骤的计算，还可以进一步计算面状点云块的中心点，如本发明中，由于示例的栈板是对称的，因此可直接计算相机坐标系下z轴的面状点云块的最大和最小值，通过平均两个点云即可得到面状点云块的中心坐标。
45.步骤s3通过3d传感器外部参数将面状点云块转化为相机坐标系下的2d平面。具体来说， 首先将面状点云块中每一个点编码为(h,w,z,a,b,c,yaw)，其中h和w为其在相机坐标系下的的y和x轴的平移坐标，这里可将原点转化到左上角，而a，b，c为面状点云的平面方程ax+by+cz=1的因子，进而可计算出。
46.此时因为步骤s2中已经得出了面状点云块的中心坐标，因而此时以该面状点云块的中心点将各面状点云旋转yaw，便可将所有的面状点云旋转到和x、y轴平行，从而获取相机坐标系下目标栈板的端面2d平面，如图4所示，以供后续进行识别。
47.步骤s4如图4至图5所示，首先建立编码图，其中该编码图的尺寸可参照3d传感器支持的
分辨率尺寸来构建如图4至图5所示w*h大小的编码图，然后将步骤s3得到的2d平面放入其中。
48.进一步的，从该编码图的最上端开始构造双线滑窗，其中该双线滑窗的l1与l2之间平行设置，其间隔距离本示例中优选为比栈板参数e稍小的e1。
49.进一步的，设置双线滑窗的移动步长，并令双线滑窗平行于w轴沿着h正方向开始移动，且双线滑窗之间的距离不变，之后每移动一次需要对此双线滑窗内的点进行计算，即对l1和l2上的点进行线段拟合扫描，拟合根据相邻两点直接的距离以及相邻两点的编码参数的a，b，c作为拟合基准，由于同一个面上都满足ax+by+cz=1方程式，且点与点之间的距离可以判断是否为同一个面。
50.接着进行长度判断，由于特征模板中的l1需要识别的第一子特征的长度示例为与栈板a尺寸对应的a1参数范围；l2需要识别的第二子特征的长度以及间隔距离为与栈板b，c，d尺寸对应的b1，c1，d1参数范围，因此可以根据下述逻辑进行模板匹配的判断：其中为误差阈值。
51.如此持续移动双线滑窗进行匹配判断，当判断双线滑窗各自拟合的当前线条长度皆符合特征模板时，则将此结果记录。接下来判断滑动是否结束，如果没有结束，需要继续滑动，否则结束识别，输出该特征模块所对应的识别结果。
52.此处需要说明的是，本示例中图5所示的栈板端面为理想面，展示的较为完整，但实际过程中如该栈板的三个脚处，可能会存在部分点云缺失的现象，因此如图5所示，该双线滑窗在前进过程中可以选择一路上匹配度最高的一次作为识别结果以输出。
53.从而通过上述步骤s1至s4的识别过程，便可判断出该目标点云所代表的物体是否为对应的栈板。另一方面也可为计算栈板的位姿提供依据。
54.为此本发明另一方面还提供了一种基于3d传感器的栈板定位方法，其步骤包括：步骤s1根据上述基于3d传感器的栈板识别方法，获取匹配双线滑窗拟合线条的中心点的平均值，作为当前识别的目标栈板端面的中心点坐标，并以此作为6dpose的x、y、z参数。
55.具体来说，栈板的位姿在空间中存在6个自由度，即平移量x，y，z和旋转量roll，pitch，yaw，即6d pose。因此根据双线滑窗拟合出的符合条件的最优线段，选取a1和c1的中点的平均值作为识别到栈板的中心位置，接着再将该中心点恢复到相机坐标系下，即可得到x、y、z参数。
56.步骤s2由于栈板和叉车机器人都是默认在同一空间，且地面是水平的，那么此时可以认为栈板相对于叉车叉齿是平行的，即不存在roll和pitch的角度，因此可将roll和pitch的角度设为0。
57.此时只需要计算yaw角值，就可得到栈板的6d pose。
58.步骤s3基于此前在基于3d传感器的栈板识别方法的步骤中，已经获得的栈板面状点云的
平面方程ax+by+cz=1及其a、b、c三个方程因子，便可根据计算出yaw参数值，以获取目标栈板完整的6d pose，至此完成对其定位。
59.另一方面，对应上述识别方法，请参阅图7所示，本发明还提供了一种基于3d传感器的栈板识别系统，其包括：存储单元，其存有实现如上述实施例中所述基于3d传感器的栈板识别方法步骤的程序，以供控制单元及处理单元适时调取执行。
60.控制单元操控3d传感器采集场景中的目标点云以向处理单元发送。
61.处理单元从目标点云中滤除地面点云，合并目标栈板同一端面的点云获得面状点云块；再通过3d传感器外部参数将面状点云块转化为相机坐标系下的2d平面，而后建立编码图将2d平面放入其中，并在编码图中构造预设特征识别距离的双线滑窗并根据预设步长同步移动，以对路径上所遇到的2d平面上的点进行线段拟合扫描，当判断双线滑窗各自拟合的当前线条长度皆符合特征模板时，输出该特征模块所对应的识别结果。
62.另一方面，对应上述识别方法，请参阅图7所示，本发明还提供了一种基于3d传感器的栈板定位系统，其包括：存储单元，其存有实现如上述实施例中所述基于3d传感器的栈板识别方法步骤的程序，以供控制单元及处理单元适时调取执行。
63.控制单元操控3d传感器采集场景中的目标点云以向处理单元发送。
64.处理单元从目标点云中滤除地面点云，合并目标栈板同一端面的点云获得面状点云块；再通过3d传感器外部参数将面状点云块转化为相机坐标系下的2d平面，而后建立编码图将2d平面放入其中，并在编码图中构造预设特征识别距离的双线滑窗并根据预设步长同步移动，以对路径上所遇到的2d平面上的点进行线段拟合扫描，当判断双线滑窗各自拟合的当前线条长度皆符合特征模板时，输出该特征模块所对应的识别结果。
65.处理单元进一步将匹配双线拟合线条的中心点的平均值，作为当前识别的目标栈板端面的中心点坐标，并以此作为6dpose的x、y、z参数，同时将roll和pitch的角度设为0，并计算出yaw参数值，以获取目标栈板6d pose，至此完成对其定位。
66.综上所述，本发明提供的该基于3d传感器的栈板识别及定位方法、系统，不但特别适用于对于栈板的识别和定位，同时对于其他需要与机器人交互的物体，只要物体在传感器能够扫描的角度存在一定的、连续的面特征，即可准确、快速的识别该物体及其位置。并且拓展性非常强，例如本案示例中的栈板，无论是标准的栈板还是非标准的栈板，只需提前获得栈板的各个结构参数即可进行后续匹配识别步骤。
67.此外本发明还能够普适多种3d传感器，通用性较强，无论是深度相机、多线激光雷达还是固态激光雷达，都能适用，并且不需要对点云进行拼接即可直接进行计算。另一方面本发明的方案也不需要预先训练样本，就可以时时进行识别判断及目标位姿计算，因此相比深度学习方案占用的计算性能更低也更巧妙。
68.以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，
可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
69.本领域技术人员可以理解，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
70.此外实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器（processor）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
71.此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。