一种图像的三维姿态标注的方法、装置、电子设备及介质与流程

本申请涉及图像技术领域，具体而言，涉及一种图像的三维姿态标注的方法、装置、电子设备及介质。

背景技术：

随着三维技术的发展，通常需要对二维图像进行三维姿态标注，从而可以通过三维姿态标注后的二维图像进行模型训练，获得可以预估目标对象的三维姿态的三维姿态预估模型如，人体头部的三维姿态。

现有技术下，通常采用陀螺仪的方式进行标注，即数据采集人员佩戴陀螺仪后进行姿态改变，以采集相应的图像和陀螺仪的三维数据。

但是，这需要大量的数据采集人员耗费大量的时间进行数据采集，图像标注的操作步骤复杂，会耗费大量的人力成本和时间成本。

技术实现要素：

本申请实施例的目的在于提供一种图像的三维姿态标注的方法、装置、电子设备及介质，用以在针对图像进行三维姿态标注时，简化图像的三维姿态标注的复杂步骤，减少图像的三维姿态标注耗费的人力成本和时间成本。

一方面，提供一种图像的三维姿态标注的方法，包括：

控制目标三维模型从指定参考位置执行旋转操作，使得目标三维模型与待标注的目标图像重合；

获取旋转后的目标三维模型的欧拉角；

将欧拉角进行数据转换，获得标注四元数，标注四元数用于表示目标图像的三维姿态信息；

根据标注四元数，对目标图像进行标注。

在上述实现过程中，通过标注四元数可以直接对目标图像进行三维姿态标注，简化了图像的三维姿态标注的繁杂操作，减少了耗费的时间成本和人力成本。

较佳的，控制目标三维模型从指定参考位置执行旋转操作，包括：

若确定不存在目标图像的图像位置信息，则根据用户的旋转操作指示，控制目标三维模型执行旋转操作，直至确定目标三维模型与待标注的目标图像重合；

若确定存在目标图像的图像位置信息，则控制目标三维模型按照图像位置信息，从指定参考位置执行旋转操作；若确定旋转后的目标三维模型与目标图像不重合，则根据用户的旋转操作指示，控制旋转后的目标三维模型再次执行旋转操作，直至确定目标三维模型与待标注的目标图像重合。

在上述实现过程中，可以通过图像位置信息和/或用户的指示进行模型旋转，使得目标三维模型与待标注的目标图像拟合。

较佳的，将欧拉角进行数据转换，获得标注四元数，包括：

基于欧拉角中各独立角参量的余弦值和正弦值，获得相应的旋转矩阵；

根据旋转矩阵，分别获得标注四元数中的每一维度参数的值。

在上述实现过程中，可以将欧拉角转换为标注四元数。

较佳的，进一步包括：

将各目标图像以及相应的标注四元数，作为训练样本数据；

根据训练样本数据对三维姿态预估模型进行训练，获得训练好的三维姿态预估模型；

其中，三维姿态预估模型是基于深度学习算法构建的，三维姿态预估模型用于预估目标对象的三维姿态。

在上述实现过程中，通过标注后的目标图像进行模型训练。

一方面，提供一种图像的三维姿态标注的装置，包括：

执行单元，用于控制目标三维模型从指定参考位置执行旋转操作，使得目标三维模型与待标注的目标图像重合；

获取单元，用于获取旋转后的目标三维模型的欧拉角；

转换单元，用于将欧拉角进行数据转换，获得标注四元数，标注四元数用于表示目标图像的三维姿态信息；

标注单元，用于根据标注四元数，对目标图像进行标注。

较佳的，执行单元用于：

若确定不存在目标图像的图像位置信息，则根据用户的旋转操作指示，控制目标三维模型执行旋转操作，直至确定目标三维模型与待标注的目标图像重合；

若确定存在目标图像的图像位置信息，则控制目标三维模型按照图像位置信息，从指定参考位置执行旋转操作；若确定旋转后的目标三维模型与目标图像不重合，则根据用户的旋转操作指示，控制旋转后的目标三维模型再次执行旋转操作，直至确定目标三维模型与待标注的目标图像重合。

较佳的，转换单元用于：

基于欧拉角中各独立角参量的余弦值和正弦值，获得相应的旋转矩阵；

根据旋转矩阵，分别获得标注四元数中的每一维度参数的值。

较佳的，标注单元用于：

将各目标图像以及相应的标注四元数，作为训练样本数据；

根据训练样本数据对三维姿态预估模型进行训练，获得训练好的三维姿态预估模型；

其中，三维姿态预估模型是基于深度学习算法构建的，三维姿态预估模型用于预估目标对象的三维姿态。

一方面，提供了一种电子设备，包括处理器以及存储器，存储器存储有计算机可读取指令，当计算机可读取指令由处理器执行时，运行如上述任一种图像的三维姿态标注的各种可选实现方式中提供的方法的步骤。

一方面，提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时运行如上述任一种图像的三维姿态标注的各种可选实现方式中提供的方法的步骤。

本申请实施例提供的一种图像的三维姿态标注的方法、装置、电子设备及介质中，控制目标三维模型从指定参考位置执行旋转操作，使得目标三维模型与待标注的目标图像重合；获取旋转后的目标三维模型的欧拉角；将欧拉角进行数据转换，获得标注四元数，标注四元数用于表示目标图像的三维姿态信息；根据标注四元数，对目标图像进行标注。这样，通过标注四元数可以直接对目标图像进行三维姿态标注，不需要重新进行图像采集，简化了图像的三维姿态标注的繁杂操作，减少了耗费的时间成本和人力成本，提高了图像标注的速率和精确度。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种图像的三维姿态标注的方法的流程图；

图2为本申请实施例提供的一种unity3d引擎的应用界面示例图；

图3为本申请实施例提供的一种图像的三维姿态标注的装置的结构框图；

图4为本申请实施方式中一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

首先对本申请实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。

终端设备：可以是移动终端、固定终端或便携式终端，例如移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统设备、个人导航设备、个人数字助理、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，终端设备能够支持任意类型的针对用户的接口（例如可穿戴设备）等。

服务器：可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器。

游戏引擎（unity）三维（threedimensional，3d）：是实时3d互动内容创作和运营平台，包括游戏开发、美术、建筑、汽车设计、影视在内的所有创作者，可以借助unity将创意变成现实。

欧拉角：由章动角θ、旋进角（即进动角）ψ和自转角φ三个独立角参量组成，用来确定定点转动刚体位置。

为了在针对图像进行三维姿态标注时，可以简化图像的三维姿态标注的复杂步骤，减少图像的三维姿态标注耗费的人力成本和时间成本，本申请实施例提供了一种图像的三维姿态标注的方法、装置、电子设备及介质。

本申请实施例中，执行主体为电子设备，可选的，电子设备可以为服务器或终端设备。

参阅图1所示，为本申请实施例提供的一种图像的三维姿态标注的方法的流程图，该方法的具体实施流程如下：

步骤100：控制目标三维模型从指定参考位置执行旋转操作，使得目标三维模型与待标注的目标图像重合。

具体的，指定参考位置是预先设置的参考位置，可以根据实际应用场景进行设置，在此不作限制。图像位置信息为预先获取的目标图像的三维姿态的初始信息，如，目标图像中的人体头部在三维空间坐标轴的方位，在此不作限制。目标图像为2d图像，即二维图像。

可选的，旋转操作可以包括俯仰操作、偏航操作以及翻滚操作。

其中，待标注的目标图像可以是从本地获取的，也可以是其它设备发送的。

一种实施方式中，按照指定的文件存储路径，获取待标注的图像文件夹内的目标图像。

其中，指定的文件存储路径可以根据实际应用场景进行设置，在此不作限制。

其中，执行步骤100时，可以采用以下任一方式或组合：

方式1：按照待标注的目标图像的图像位置信息，控制目标三维模型从指定参考位置执行旋转操作。

具体的，执行方式1时，可以采用以下步骤：

s1001：若确定存在目标图像的图像位置信息，则控制目标三维模型按照图像位置信息，从指定参考位置执行旋转操作。

s1002：若确定旋转后的目标三维模型与目标图像不重合，则根据用户的旋转操作指示，控制旋转后的目标三维模型再次执行旋转操作，直至确定目标三维模型与待标注的目标图像重合。

这样，就可以按照目标图像的图像位置信息自动旋转目标3d模型，进一步的，若旋转后的目标三维模型与目标图像不重合，还可以进一步根据用户的旋转操作指示，控制目标三维模型与目标图像重合。

方式2：根据用户的旋转操作指示，控制目标三维模型从指定参考位置执行旋转操作。

具体的，若确定不存在目标图像的图像位置信息，则根据用户的旋转操作指示，控制目标三维模型执行旋转操作，直至确定目标三维模型与待标注的目标图像重合。

这样，可以根据用户的旋转操作指示，控制目标3d模型旋转。

进一步的，还可以根据用户的操作指示，将目标3d模型进行缩放以及平移等，在此不作限制。

可选的，用户可以通过语音、键盘以及鼠标等方式下发操作指示，在此不作限制。

其中，在执行步骤100之前，用户预先通过三维应用程序制作或下载目标3d模型。

可选的，目标3d模型可以是人体头部3d模型，本申请实施例中，仅以人体头部3d模型为例进行说明，实际应用中，目标3d模型也可以是其它3d模型，在此不作限制。需要说明的是，目标3d模型并非实体模型，而是应用程序中的虚拟模型。

可选的，三维应用程序可以采用unity3d引擎，也可以为其它可以制作或下载3d模型的应用程序，在此不做限制。

一种实施方式中，用户将获取的目标3d模型放置在unity3d引擎的应用界面中的指定位置，unity3d引擎就可以自动或者根据用户的指示加载目标3d模型。

例如，参阅图2所示，为本申请实施例提供的一种unity3d引擎的应用界面示例图。应用界面中显示有人体头部三维模型（即目标3d模型），且人体头部三维模型当前位于指定参考位置，即初始位置。用户可以通过unity3d引擎，控制人体头部三维模型，从当前的指定参考位置，执行俯仰操作、偏航操作以及翻滚操作。

步骤101：获取旋转后的目标三维模型的欧拉角。

具体的，获取旋转后的目标三维模型旋转的章动角θ、旋进角ψ和自转角φ。

其中，欧拉角由章动角θ、旋进角ψ和自转角φ三个独立角参量组成，用来确定定点转动刚体即目标三维模型的位置。

图2中，图像存储路径用于获取存储的图像，标注存储路径用于存储标注数据。通过选择图像存储路径，可以进行图像文件夹的选择，通过下一张按键和上一张按键，可以进行目标图像的选择，还可以通过保存按键进行图像以及标注数据的保存。目标图像旋转前，位于指定参考位置，因此，目标图像的章动角θ、旋进角ψ和自转角φ均为0。其中，章动角θ、旋进角ψ和自转角φ分别对应俯仰操作、偏航操作以及翻滚操作，即俯仰操作会导致章动角θ的变化，偏航操作会导致旋进角ψ的变化，翻滚操作会导致自转角φ的变化。

这样，就可以通过欧拉角确定目标三维模型旋转后的位置。

步骤102：将欧拉角进行数据转换，获得标注四元数。

具体的，标注四元数用于表示目标图像的三维姿态信息，标注四元数包括四个维度参数。

其中，执行步骤102时，可以采用以下步骤：

s1021：基于欧拉角中各独立角参量的余弦值和正弦值，获得相应的旋转矩阵。

可选的，确定旋转矩阵r时，可以采用以下公式：

。

其中，r为旋转矩阵，θ为章动角，ψ为旋进角以及φ为自转角。

这样，就可以确定欧拉角对应的旋转矩阵。

s1022：根据旋转矩阵，分别获得标注四元数中的每一维度参数的值。

具体的，标注四元数q可以表示为：q=（e0，e1，e2，e3）。e0，e1，e2和e3均为标注四元数q的维度参数。

为后续描述方便，将r表示为：

。

其中，auv表示r中第u行第v列的元素，u和v为自然数。

其中，e1可以采用以下公式确定：

。

若e0²>0，则e1，e2和e3可以采用以下公式确定：

。

若e0=0，则e1可以采用以下公式确定：

。

若e0=0，且e1²>0，则e2和e3可以采用以下公式确定：

。

若e0=0，且e1=0，则e2可以采用以下公式确定：

。

若e0=0，e1=0，且e2²>0，则e3可以采用以下公式确定：

。

若e0=0，e1=0，且e2=0，则e3=1。

需要说明的是，标注四元数是一个四维向量空间加上一个向量乘法形成的一个非交换的结合代数。与写作ai+b，i²=-1的复数类似，标注四元数轴定义为以下关系：i²=j²=k²=ijk=-1。标注四元数还可以表示为：q=e0+e1i+e2j+e3k。i、j、k均为复数的虚数单位。

其中，e0称为q的实部，e1i+e2j+e3k称为q的虚部（或矢量部分）。每一个标注四元数q都对应于三维欧几里德空间上的一个线性算子。对于i、j、k本身的几何意义可以理解为一种旋转。i旋转代表x轴与y轴相交平面中x轴正向，向y轴正向的旋转。j旋转代表z轴与x轴相交平面中z轴正向，向x轴正向的旋转。k旋转代表y轴与z轴相交平面中y轴正向，向z轴正向的旋转，-i、-j、-k分别代表i、j、k旋转的反向旋转。x、y和z均为坐标轴。

这样，就可以将欧拉角转换为标注四元数。

步骤103：根据标注四元数，对目标图像进行标注。

具体的，可以将标注四元数，作为目标图像的标注数据，还可以将标注四元数和图像位置信息，作为目标图像的标注数据，进一步的，将目标图像以及相应的标注数据关联存储，实现对目标图像进行标注。

一种实施方式中，将目标图像的标注数据导出至相应标注文件目录下。

一种实施方式中，可以开发基于本申请实施例提供的图像的三维姿态标注的方法的图像标注软件，这样，就可以通过该图像标注软件进行图像标注。

这样，就可以通过标注四元数对目标图像进行标注，由于标注四元数不受轴先后顺序的影响，因此，可以大大提高数据标注的速度和准确度，以及还可以通过标注四元数和图像位置信息进行图像标注，进一步提高了图像标注的精确度。

进一步的，在对目标图像进行标注后，还可以通过标注后的多个目标图像进行模型训练。

其中，模型训练时，可以采用以下步骤：

s1031：将各目标图像以及相应的标注四元数，作为训练样本数据。

s1032：根据训练样本数据对三维姿态预估模型进行训练，获得训练好的三维姿态预估模型。

其中，三维姿态预估模型是基于深度学习算法构建的，三维姿态预估模型用于预估目标对象的三维姿态。

进一步的，在获得训练好的三维姿态预估模型之后，可以通过训练好的三维姿态预估模型对输入图像进行姿态预估，获得输入图像中的目标对象的三维姿态。

本申请实施例中，可以通过标注四元数，对各角度和场景的二维图像进行标注，不需要重新采集图像，简化了标注的繁琐操作，不需要数据采集人员佩戴陀螺仪并重新采集图像，提高了图像标注的速率以及精确度，降低了图像标注的成本。

基于同一发明构思，本申请实施例中还提供了一种图像的三维姿态标注的装置，由于上述装置及设备解决问题的原理与一种图像的三维姿态标注的方法相似，因此，上述装置的实施可以参见方法的实施，重复之处不再赘述。

如图3所示，其为本申请实施例提供的一种图像的三维姿态标注的装置的结构示意图，包括：

执行单元301，用于控制目标三维模型从指定参考位置执行旋转操作，使得目标三维模型与待标注的目标图像重合；

获取单元302，用于获取旋转后的目标三维模型的欧拉角；

转换单元303，用于将欧拉角进行数据转换，获得标注四元数，标注四元数用于表示目标图像的三维姿态信息；

标注单元304，用于根据标注四元数，对目标图像进行标注。

较佳的，执行单元301用于：

若确定不存在目标图像的图像位置信息，则根据用户的旋转操作指示，控制目标三维模型执行旋转操作，直至确定目标三维模型与待标注的目标图像重合；

若确定存在目标图像的图像位置信息，则控制目标三维模型按照图像位置信息，从指定参考位置执行旋转操作；若确定旋转后的目标三维模型与目标图像不重合，则根据用户的旋转操作指示，控制旋转后的目标三维模型再次执行旋转操作，直至确定目标三维模型与待标注的目标图像重合。

较佳的，转换单元303用于：

基于欧拉角中各独立角参量的余弦值和正弦值，获得相应的旋转矩阵；

根据旋转矩阵，分别获得标注四元数中的每一维度参数的值。

较佳的，标注单元304用于：

将各目标图像以及相应的标注四元数，作为训练样本数据；

根据训练样本数据对三维姿态预估模型进行训练，获得训练好的三维姿态预估模型；

其中，三维姿态预估模型是基于深度学习算法构建的，三维姿态预估模型用于预估目标对象的三维姿态。

本申请实施例提供的一种图像的三维姿态标注的方法、装置、电子设备及介质中，控制目标三维模型从指定参考位置执行旋转操作，使得目标三维模型与待标注的目标图像重合；获取旋转后的目标三维模型的欧拉角；将欧拉角进行数据转换，获得标注四元数，标注四元数用于表示目标图像的三维姿态信息；根据标注四元数，对目标图像进行标注。这样，通过标注四元数可以直接对目标图像进行三维姿态标注，简化了图像的三维姿态标注的繁杂操作，减少了耗费的时间成本和人力成本，提高了图像标注的速率和精确度。

图4示出了一种电子设备4000的结构示意图。参阅图4所示，电子设备4000包括：处理器4010、存储器4020、电源4030、显示单元4040、输入单元4050。

处理器4010是电子设备4000的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在存储器4020内的软件程序和/或数据，执行电子设备4000的各种功能，从而对电子设备4000进行整体监控。

本申请实施例中，处理器4010调用存储器4020中存储的计算机程序时执行如图1中所示的实施例提供的图像的三维姿态标注的方法。

可选的，处理器4010可包括一个或多个处理单元；优选的，处理器4010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器4010中。在一些实施例中，处理器、存储器、可以在单一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

存储器4020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、各种应用等；存储数据区可存储根据电子设备4000的使用所创建的数据等。此外，存储器4020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。

电子设备4000还包括给各个部件供电的电源4030（比如电池），电源可以通过电源管理系统与处理器4010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。

显示单元4040可用于显示由用户输入的信息或提供给用户的信息以及电子设备4000的各种菜单等，本发明实施例中主要用于显示电子设备4000中各应用的显示界面以及显示界面中显示的文本、图片等对象。显示单元4040可以包括显示面板4041。显示面板4041可以采用液晶显示屏（liquidcrystaldisplay，lcd）、有机发光二极管（organiclight-emittingdiode，oled）等形式来配置。

输入单元4050可用于接收用户输入的数字或字符等信息。输入单元4050可包括触控面板4051以及其他输入设备4052。其中，触控面板4051，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触摸笔等任何适合的物体或附件在触控面板4051上或在触控面板4051附近的操作）。

具体的，触控面板4051可以检测用户的触摸操作，并检测触摸操作带来的信号，将这些信号转换成触点坐标，发送给处理器4010，并接收处理器4010发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板4051。其他输入设备4052可以包括但不限于物理键盘、功能键（比如音量控制按键、开关机按键等）、轨迹球、鼠标、操作杆等中的一种或多种。

当然，触控面板4051可覆盖显示面板4041，当触控面板4051检测到在其上或附近的触摸操作后，传送给处理器4010以确定触摸事件的类型，随后处理器4010根据触摸事件的类型在显示面板4041上提供相应的视觉输出。虽然在图4中，触控面板4051与显示面板4041是作为两个独立的部件来实现电子设备4000的输入和输出功能，但是在某些实施例中，可以将触控面板4051与显示面板4041集成而实现电子设备4000的输入和输出功能。

电子设备4000还可包括一个或多个传感器，例如压力传感器、重力加速度传感器、接近光传感器等。当然，根据具体应用中的需要，上述电子设备4000还可以包括摄像头等其它部件，由于这些部件不是本申请实施例中重点使用的部件，因此，在图4中没有示出，且不再详述。

本领域技术人员可以理解，图4仅仅是电子设备的举例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

本申请实施例中，一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使得通信设备可以执行上述实施例中的各个步骤。

为了描述的方便，以上各部分按照功能划分为各模块（或单元）分别描述。当然，在实施本申请时可以把各模块（或单元）的功能在同一个或多个软件或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。