信息处理方法及装置、电子设备与流程

本公开涉及一种信息处理方法、装置以及电子设备。

背景技术：

同时定位与建图系统是根据移动终端上的摄像头和惯性测量单元等传感器采集的数据构建移动终端周围环境的地图，并对移动终端进行空间定位的技术。目前，同时定位与建图系统在运行时通常需要先进行初始化过程，即对同时定位与建图系统的一系列参数进行初始赋值，这一初始化过程要求摄像头采集的图像具有一定视差，在实际应用中，需要用户在使用前通过轻晃设备从而提供一定的旋转和平移激励，但是该初始化过程复杂，导致用户体验差。

技术实现要素：

本公开的一个方面提供了一种信息处理方法，包括在目标系统运行的过程中，获取多个图像采集单元采集的二维图像信息，其中，上述目标系统用于构建地图和对目标对象进行定位；根据上述多个图像采集单元的参数信息和上述二维图像信息构建三维图像；以及根据上述二维图像信息和上述三维图像信息对上述目标系统所包含的参数进行初始化赋值，以实现对上述目标系统进行初始化。

根据本公开的实施例，根据上述二维图像信息和上述三维图像信息对上述目标系统所包含的参数进行初始化赋值，以实现对上述目标系统进行初始化包括：根据上述二维图像信息和上述三维图像信息确定上述多个图像采集单元采集二维图像信息时的位姿信息；对上述多个图像采集单元的位姿信息进行优化；以及根据优化后的位姿信息对上述目标系统所包含的参数进行初始化赋值。

根据本公开的实施例，对上述多个图像采集单元的位姿信息进行优化包括：采用光束平差方法对上述多个图像采集单元采集二维图像信息时的位姿信息进行全局优化，得到优化的位姿信息。

根据本公开的实施例，根据上述多个图像采集单元的参数信息和上述二维图像信息构建三维图像包括对上述多个图像采集单元采集的二维图像信息进行特征匹配，确定多帧关联图像；以及根据上述多个图像采集单元的参数信息和上述多帧关联图像构建上述三维图像。

根据本公开的实施例，上述多个图像采集单元的参数信息包括上述多个图像采集单元之间的位置变换信息。

本公开的另一方面提供了一种信息处理装置，包括：获取模块，用于在目标系统运行的过程中，获取多个图像采集单元采集的二维图像信息，其中，上述目标系统用于构建地图和对目标对象进行定位；构建模块，用于根据上述多个图像采集单元的参数信息和上述二维图像信息构建三维图像；以及处理模块，用于根据上述二维图像信息和上述三维图像信息对上述目标系统所包含的参数进行初始化赋值，以实现对上述目标系统进行初始化。

根据本公开的实施例，上述处理模块包括：确定单元，用于根据上述二维图像信息和上述三维图像信息确定上述多个图像采集单元采集二维图像信息时的位姿信息；优化单元，用于对上述多个图像采集单元的位姿信息进行优化；以及处理单元，用于根据优化后的位姿信息对上述目标系统所包含的参数进行初始化赋值。

根据本公开的实施例，上述优化单元用于采用光束平差方法对上述多个图像采集单元采集二维图像信息时的位姿信息进行全局优化，得到优化的位姿信息。

根据本公开的实施例，上述构建模块包括：匹配单元，用于对上述多个图像采集单元采集的二维图像信息进行特征匹配，确定多帧关联图像；以及构建单元，用于根据上述多个图像采集单元的参数信息和上述多帧关联图像构建上述三维图像。

根据本公开的实施例，上述多个图像采集单元的参数信息包括上述多个图像采集单元之间的位置变换信息。

本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的信息处理方法。

本公开的另一方面提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现如上所述的信息处理方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的信息处理方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开实施例的信息处理方法及装置的应用场景；

图2示意性示出了相关技术中的系统初始化方法的流程图；

图3示意性示出了根据本公开实施例的信息处理方法的流程图；

图4示意性示出了根据本公开实施例的根据二维图像信息和三维图像信息对目标系统所包含的参数进行初始化赋值的流程图；

图5示意性示出了根据本公开实施例的根据多个图像采集单元的参数信息和二维图像信息构建三维图像的流程图；

图6示意性示出了根据本公开实施例的信息处理装置的框图；

图7示意性示出了根据本公开实施例的处理模块的框图；

图8示意性示出了根据本公开实施例的构建模块的框图；以及

图9示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

本公开的实施例提供了一种信息处理方法及装置，该方法包括在目标系统运行的过程中，获取多个图像采集单元采集的二维图像信息，其中，目标系统用于构建地图和对目标对象进行定位；根据多个图像采集单元的参数信息和二维图像信息构建三维图像；以及根据二维图像信息和三维图像信息对目标系统所包含的参数进行初始化赋值，以实现对目标系统进行初始化。

图1示意性示出了根据本公开实施例的信息处理方法及装置的应用场景。需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，在该应用场景中，移动终端100可以包括图像采集单元102和图像采集单元103，图像采集单元102和图像采集单元103在空间位置上相距一定距离，用于构建地图和对目标对象进行定位的目标系统101可以运行在移动终端100中，目标系统101中可以预先配置有图像采集单元102和图像采集单元103的设备参数。

根据本公开的实施例，通过图像采集单元102和图像采集单元103可以采集周围的二维图像，通过相关算法可以构建三维图像。

根据本公开的实施例，移动终端100还可以包括惯性测量单元(图中未示出)，惯性测量单元(inertialmeasurementunit或imu)用于测量物体三轴姿态角(或角速率)以及加速度的装置，一般地，一个惯性传感单元内会装有三轴的陀螺仪和三个方向的加速度计，来测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。

根据本公开的实施例，根据二维图像信息和三维图像信息可以对目标系统所包含的参数进行初始化赋值。例如，在初始化步骤时，可以无需大视差激励，结合已有二维图像信息和三维图像信息观测，利用pespective-n-point(简称pnp)算法进行较高精度的初始位姿估计和参数赋值。具体地，例如，可以对目标系统中的重力加速度进行赋值，初始化重力加速度，或者对惯性测量单元的相关参数进行赋值等等。

通过本公开的实施例，通过多个图像采集单元采集二维图像信息，并建立三维图像，根据二维图像信息和三维图像信息可以对目标系统所包含的参数进行初始化赋值，本申请无需激励判断过程，缩减了初始化流程，解决了相关技术中系统初始化流程复杂的问题，并且因为构建了三维地图，获得了先验信息，提高了初始化成功概率。

为了较为清楚的描述本申请，说明本申请与相关技术的区别，对相关技术进行简要说明。例如，图2示意性示出了相关技术中的系统初始化方法的流程图。

在相关技术中，为了实现系统初始化，需要用户使用前通过轻晃设备提供一定的旋转和平移激励。如图2所示，在系统运行之后，需要判断运动激励是否足够。一般可以通过多次实验取一个经验阈值，运动激励量化后小于阈值可以认为激励不够。运动激励一般需要用户使用前通过轻晃设备提供一定的旋转和平移激励，这一过程通常需要数十秒，尤其在一些参数整定不当的时候，可能需要多次初始化才能成功，如果激励不够或者初始化不成功，都需要重新进行激励，这无疑会降低用户体验。可见，采用相关技术对系统进行初始化的过程复杂，导致用户体验差。

图3示意性示出了根据本公开实施例的信息处理方法的流程图。

如图3所示，该方法包括操作s210～s230。

在操作s210，在目标系统运行的过程中，获取多个图像采集单元采集的二维图像信息，其中，目标系统用于构建地图和对目标对象进行定位。

根据本公开的实施例，目标系统可以是同时定位与建图系统，即slam系统，或者vslam系统(visual-slam)，用于进行“无真实尺度”的三维重建和对目标对象进行定位，或者vislam系统(visual-inertial-slam)，用于进行“有真实尺度”的三维重建和对目标对象进行定位。

在操作s220，根据多个图像采集单元的参数信息和二维图像信息构建三维图像。

根据本公开的实施例，多个图像采集单元的参数信息包括多个图像采集单元之间的位置变换信息，例如，可以是左目相机相对右目相机的旋转矩阵和平移向量。根据本公开的实施例，可以预先对多个图像采集单元进行参数标定，参数标定的方法可以采用较为常规的方式，例如，过程可简单概括为如下：1)打印一张棋盘格，把它贴在一个平面上，作为标定物；2)通过调整标定物的方向，为标定物拍摄一些不同方向的照片；3)从照片中提取棋盘各角点；4)理想无畸变的情况下，求出摄像机的内参数和外参数；5)应用最小二乘法估算实际存在径向畸变下的畸变系数；6)极大似然法，优化估计，提升估计精度。标定后的多个图像采集单元可以提供精确的尺度信息，系统的定位精度因此也有一定提升。

根据本公开的实施例，图像采集单元的参数信息还可以包括焦距，基线距离等等。二维图像信息可以是特征点的像素，采集每一帧图像时图像采集单元的pose(位姿)、velocity(速度)等等。在构建三维地图时，可以选择合适的三维重建算法，包括但不限于lsd-slam算法等。

在操作s230，根据二维图像信息和三维图像信息对目标系统所包含的参数进行初始化赋值，以实现对目标系统进行初始化。

根据本公开的实施例，三维图像信息可以是带深度的三维点云，可以利用pespective-n-point(简称pnp)算法进行较高精度的初始位姿估计和参数赋值，pnp算法可以是在已知三维点云和二维投影点信息的情况下，计算出对应两帧间的旋转矩阵r和平移向量t，且可以获取尺度信息。利用pnp算法可以进行较高精度的初始位姿估计和参数赋值。具体地，例如，可以对目标系统中的重力加速度进行赋值，初始化重力加速度，或者对惯性测量单元的相关参数进行赋值等等。

根据本公开的实施例，可以获得先验的尺度信息和三维点云信息，使得初始化要求大大降低，无需运动激励即可完成初始化，提高了用户体验，在多个图像采集单元为双目相机的情况下，相比单目提供了更多观测和尺度信息，初始参数估计更鲁棒且精确，初始化质量大大提高。

通过本公开的实施例，通过多个图像采集单元采集二维图像信息，并建立三维图像，根据二维图像信息和三维图像信息可以对目标系统所包含的参数进行初始化赋值，本申请无需激励判断过程，缩减了初始化流程，解决了相关技术中系统初始化流程复杂的问题，并且因为构建了三维地图，获得了先验信息，提高了初始化成功概率。

下面参考图4～图5，结合具体实施例对图3所示的方法做进一步说明。

图4示意性示出了根据本公开实施例的根据二维图像信息和三维图像信息对目标系统所包含的参数进行初始化赋值的流程图。

如图4所示，根据二维图像信息和三维图像信息对目标系统所包含的参数进行初始化赋值，以实现对目标系统进行初始化包括操作s231～s233。

在操作s231，根据二维图像信息和三维图像信息确定多个图像采集单元采集二维图像信息时的位姿信息。

根据本公开的实施例，位姿信息可以包括位置和姿态(朝向)，例如：在二维中一般是(x，y，yaw)，三维中一般是(x，y，z，aw，pitch，roll)，后三个元素描述物体的姿态。其中yaw是航向角，绕z轴旋转，pitch是俯仰角，绕y轴旋转，roll是翻滚角，绕x轴旋转。

在操作s232，对多个图像采集单元的位姿信息进行优化。

根据本公开的实施例，对多个图像采集单元的位姿信息进行优化包括：采用光束平差方法对多个图像采集单元采集二维图像信息时的位姿信息进行全局优化，得到优化的位姿信息。

光束平差(bundleadjustment或ba)是指给定多张有共同视场的图像，以某一帧图像的位姿为参考坐标系，从二维图像中提取特征点特征，优化该特征在参考坐标系中的三维位置，优化二维图像在参考坐标系中的三维位姿(pose)。

通过本公开的实施例，在完成初始帧位姿估计后结合所有观测和已有帧信息进行全局bundleadjustment(ba)优化，一旦全局优化完成即初始化成功，可以获取较精确的初始化结果，稳定性高，提高了初始化成功概率。

在操作s233，根据优化后的位姿信息对目标系统所包含的参数进行初始化赋值。

通过本公开的实施例，根据优化后的位姿信息对目标系统所包含的参数进行初始化赋值，相比单目提供了更多观测和尺度信息，初始参数估计更鲁棒且精确，初始化质量大大提高。

图5示意性示出了根据本公开实施例的根据多个图像采集单元的参数信息和二维图像信息构建三维图像的流程图。

如图5所示，根据多个图像采集单元的参数信息和二维图像信息构建三维图像包括操作s221～s222。

在操作s221，对多个图像采集单元采集的二维图像信息进行特征匹配，确定多帧关联图像。

根据本公开的实施例，可以对多帧二维图像进行特征提取，在每帧二维图像中确定多个特征点，然后计算确定出的多个特征点之间的相似度，找出相似度大于d(相似度阈值)的特征点，基于相似度大于d(相似度阈值)的特征点可以确定不同的二维图像之间是否为相似图像，从而确定出多帧关联图像，并对关联图像进行跟踪关联。

在操作s222，根据多个图像采集单元的参数信息和多帧关联图像构建三维图像。

根据本公开的实施例，可以根据多帧关联图像中相似度大于d的特征点以及因为图像采集单元运动造成的图像差异反过来计算相机的位姿和特征点的三维坐标，构建三维图像。

通过本公开的实施例，通过特征匹配构建三维图像，可以提供更多观测和尺度信息，初始参数估计更鲁棒且精确，提高了初始化质量。

图6示意性示出了根据本公开实施例的信息处理装置的框图。

如图6所示，信息处理装置300包括获取模块310、构建模块320和处理模块330。

获取模块310用于在目标系统运行的过程中，获取多个图像采集单元采集的二维图像信息，其中，目标系统用于构建地图和对目标对象进行定位。

构建模块320用于根据多个图像采集单元的参数信息和二维图像信息构建三维图像。

处理模块330用于根据二维图像信息和三维图像信息对目标系统所包含的参数进行初始化赋值，以实现对目标系统进行初始化。

通过本公开的实施例，通过多个图像采集单元采集二维图像信息，并建立三维图像，根据二维图像信息和三维图像信息可以对目标系统所包含的参数进行初始化赋值，本申请无需激励判断过程，缩减了初始化流程，解决了相关技术中系统初始化流程复杂的问题，并且因为构建了三维地图，获得了先验信息，提高了初始化成功概率。

图7示意性示出了根据本公开实施例的处理模块的框图。

如图7所示，根据本公开的实施例，处理模块330包括确定单元331、优化单元332和处理单元333。

确定单元331用于根据二维图像信息和三维图像信息确定多个图像采集单元采集二维图像信息时的位姿信息。

优化单元332用于对多个图像采集单元的位姿信息进行优化。

处理单元333用于根据优化后的位姿信息对目标系统所包含的参数进行初始化赋值。

通过本公开的实施例，根据优化后的位姿信息对目标系统所包含的参数进行初始化赋值，相比单目提供了更多观测和尺度信息，初始参数估计更鲁棒且精确，初始化质量大大提高。

根据本公开的实施例，优化单元332用于采用光束平差方法对多个图像采集单元采集二维图像信息时的位姿信息进行全局优化，得到优化的位姿信息。

通过本公开的实施例，在完成初始帧位姿估计后结合所有观测和已有帧信息进行全局bundleadjustment(ba)优化，一旦全局优化完成即初始化成功，可以获取较精确的初始化结果，稳定性高，提高了初始化成功概率。

图8示意性示出了根据本公开实施例的构建模块的框图。

如图8所示，构建模块320包括匹配单元321和构建单元322。

匹配单元321用于对多个图像采集单元采集的二维图像信息进行特征匹配，确定多帧关联图像。

构建单元322用于根据多个图像采集单元的参数信息和多帧关联图像构建三维图像。

通过本公开的实施例，通过特征匹配构建三维图像，可以提供更多观测和尺度信息，初始参数估计更鲁棒且精确，提高了初始化质量。

根据本公开的实施例，多个图像采集单元的参数信息包括多个图像采集单元之间的位置变换信息。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，获取模块310、构建模块320和处理模块330、匹配单元321、构建单元322、确定单元331、优化单元332和处理单元333中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获取模块310、构建模块320和处理模块330、匹配单元321、构建单元322、确定单元331、优化单元332和处理单元333中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块310、构建模块320和处理模块330、匹配单元321、构建单元322、确定单元331、优化单元332和处理单元333中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

根据本公开的实施例，电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现本公开实施例的信息处理方法。

图9示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的方框图。图9示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图9所示，电子设备400包括处理器410和存储器420。该电子设备400可以执行根据本公开实施例的方法。

具体地，处理器410例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器410还可以包括用于缓存用途的板载存储器。处理器410可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

存储器420，例如可以是非易失性的存储器，具体示例包括但不限于：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存；等等。

存储器420可以包括计算机程序421，该计算机程序421可以包括代码/计算机可执行指令，其在由处理器410执行时使得处理器410执行根据本公开实施例的方法或其任何变形。

计算机程序421可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序421中的代码可以包括一个或多个程序模块，例如包括421a、模块421b、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器410执行时，使得处理器410可以执行根据本公开实施例的方法或其任何变形。

根据本公开的实施例，处理器410可以与信号发送器430和信号接收器440进行交互，来执行根据本公开实施例的方法或其任何变形。

根据本发明的实施例，获取模块310、构建模块320和处理模块330、匹配单元321、构建单元322、确定单元331、优化单元332和处理单元333中的至少一个可以实现为参考图9描述的计算机程序模块，其在被处理器410执行时，可以实现上面描述的相应操作。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。