本申请涉及移动终端技术领域，尤其涉及一种基于结构光的图像处理方法、装置和移动终端。
背景技术：
随着移动终端技术的不断发展，越来越多的用户选择使用移动终端进行拍照。并且为了达到较佳的拍摄效果，还可以采用相关的图像处理手段对图像进行处理。
但在实际图像处理过程中，存在图像处理后图像效果恶化的情况。以背景虚化处理为例，用户佩戴耳坠、发钗等物品时，用户可能希望所佩戴物品显示清晰，不希望所佩戴物品被虚化，但实际操作中，饰品会被虚化损失大量图像细节。另外，当用户开启摄像头进行美颜拍照时，同样会出现类似的情况。
因此，现有技术中，在进行图像处理时，在一些场景下，存在图像处理后图像效果恶化的情况，图像的处理效果不佳。
技术实现要素：
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请提出一种基于结构光的图像处理方法，以实现当图像处理操作为美颜的情况下，可以避免模糊成像对象所佩戴物品，从而可以提升所佩戴物品的显示效果。当图像处理操作为背景虚化的情况下，可以避免误虚成像对象所佩戴物品，从而提升可见光图像虚化效果。同时，根据结构光图像指示的深度数据，识别可见光图像中成像对象的第一成像区域，以及识别成像对象所佩戴物品的第二成像区域，进而在确定操作区域并执行图像处理操作后，一方面提高了成像照片的成像效果，另一方面提高了深度数据的准确性，从而使得图像处理效果较好。
本申请提出一种基于结构光的图像处理装置。
本申请提出一种移动终端。
本申请提出一种计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种基于结构光的图像处理方法，包括：
获取成像对象的可见光图像；
获取所述成像对象的结构光图像指示的深度数据；
根据所述深度数据，识别所述可见光图像中所述成像对象的第一成像区域，以及识别所述成像对象所佩戴物品的第二成像区域；
根据所述第一成像区域和所述第二成像区域的相对位置，在所述可见光图像中，确定图像处理操作的操作区域；
对所述操作区域执行所述图像处理操作。
本申请实施例的基于结构光的图像处理方法，通过获取成像对象的可见光图像；获取成像对象的结构光图像指示的深度数据；根据深度数据，识别可见光图像中成像对象的第一成像区域，以及识别成像对象所佩戴物品的第二成像区域；根据第一成像区域和第二成像区域的相对位置，在可见光图像中，确定图像处理操作的操作区域；对操作区域执行图像处理操作。由此，可以实现当图像处理操作为美颜的情况下，可以避免模糊成像对象所佩戴物品，从而可以提升所佩戴物品的显示效果。当图像处理操作为背景虚化的情况下，可以避免误虚成像对象所佩戴物品，从而提升可见光图像虚化效果。同时，根据结构光图像指示的深度数据，识别可见光图像中成像对象的第一成像区域，以及识别成像对象所佩戴物品的第二成像区域，进而在确定操作区域并执行图像处理操作后，一方面提高了成像照片的成像效果，另一方面提高了深度数据的准确性，从而使得图像处理效果较好。
为达上述目的，本申请第二方面实施例提出了一种基于结构光的图像处理装置，包括：
获取模块，用于获取成像对象的可见光图像；获取所述成像对象的结构光图像指示的深度数据；
识别模块，用于根据所述深度数据，识别所述可见光图像中所述成像对象的第一成像区域，以及识别所述成像对象所佩戴物品的第二成像区域；
确定模块，用于根据所述第一成像区域和所述第二成像区域的相对位置，在所述可见光图像中，确定图像处理操作的操作区域；
处理模块，用于对所述操作区域执行所述图像处理操作。
本申请实施例的基于结构光的图像处理装置，通过获取成像对象的可见光图像；获取成像对象的结构光图像指示的深度数据；根据深度数据，识别可见光图像中成像对象的第一成像区域，以及识别成像对象所佩戴物品的第二成像区域；根据第一成像区域和第二成像区域的相对位置，在可见光图像中，确定图像处理操作的操作区域；对操作区域执行图像处理操作。由此，可以实现当图像处理操作为美颜的情况下，可以避免模糊成像对象所佩戴物品，从而可以提升所佩戴物品的显示效果。当图像处理操作为背景虚化的情况下，可以避免误虚成像对象所佩戴物品，从而提升可见光图像虚化效果。同时，根据结构光图像指示的深度数据，识别可见光图像中成像对象的第一成像区域，以及识别成像对象所佩戴物品的第二成像区域，进而在确定操作区域并执行图像处理操作后，一方面提高了成像照片的成像效果，另一方面提高了深度数据的准确性，从而使得图像处理效果较好。
为达上述目的，本申请第三方面实施例提出了一种移动终端，包括：成像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器根据从所述成像传感器获取的可见光图像或结构光图像，执行所述程序时，实现如本申请第一方面实施例所述的基于结构光的图像处理方法。
为了实现上述目的，本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请第一方面实施例所述的基于结构光的图像处理方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的基于结构光的图像处理方法的流程示意图；
图2为本申请实施例二所提供的电子设备的结构示意图；
图3为本申请实施例三所提供的基于结构光的图像处理方法的流程示意图；
图4为本申请实施例提供的一种基于结构光的图像处理装置的结构示意图；
图5为本申请实施例提供的另一种基于结构光的图像处理装置的结构示意图；
图6为本申请实施例提供的一种移动终端的结构示意图；
图7为本申请实施例提供的另一种移动终端的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于结构光的图像处理方法、装置和移动终端。
图1为本申请实施例一所提供的基于结构光的图像处理方法的流程示意图。
如图1所示，该基于结构光的图像处理方法包括以下步骤：
步骤101，获取成像对象的可见光图像。
本申请实施例中，电子设备可以包括可见光图像传感器，可以基于电子设备中的可见光图像传感器根据成像对象反射的可见光进行成像，得到可见光图像。具体地，可见光图像传感器可以包括可见光摄像头，可见光摄像头可以捕获由成像对象反射的可见光进行成像，得到可见光图像。
步骤102，获取成像对象的结构光图像指示的深度数据。
本申请实施例中，电子设备还可以包括结构光图像传感器，可以基于电子设备中的结构光图像传感器获取成像对象的结构光图像。具体地，结构光图像传感器可以包括镭射灯以及激光摄像头。脉冲宽度调制(pulsewidthmodulation，简称pwm)可以调制镭射灯以发出结构光，结构光照射至成像对象，激光摄像头可以捕获由成像对象反射的结构光进行成像，得到结构光图像。深度引擎可以根据结构光图像，计算获得成像对象对应的深度数据，具体而言，深度引擎解调结构光图像中变形位置像素对应的相位信息，将相位信息转化为高度信息，根据高度信息确定被摄物对应的深度数据。
步骤103，根据深度数据，识别可见光图像中成像对象的第一成像区域，以及识别成像对象所佩戴物品的第二成像区域。
本申请实施例中，为了避免在对可见光图像进行背景虚化操作时，成像对象所佩戴物品，例如耳环、耳坠、发钗等被误虚，从而导致可见光图像虚化效果不佳，或者，为了避免在对可见光图像进行美颜操作时，模糊成像对象所佩戴物品，例如模糊成像对象所佩戴项链、额饰、鼻环等，本申请实施例中，可以根据深度数据，识别可见光图像中成像对象的第一成像区域，以及识别成像对象所佩戴物品的第二成像区域。
作为一种可能的实现方式，在获取成像对象的结构光图像指示的深度数据之后，可以根据结构光图像中各对象的深度数据，确定出该对象为前景还是背景。一般来说，深度数据指示对象距离摄像头所在平面较近，深度取值较小时，可以确定该对象为前景，否则，该对象为背景。进而可以根据各个对象，确定可见光图像的前景部分和背景部分。在确定可见光图像的前景部分和背景部分后，可以基于人体检测算法在前景部分识别成像对象是否为人体，若是，则将人体轮廓所包围的部分作为第一成像区域。具体而言，可以从可见光图像中提取图像的边缘像素点，以及像素值的差值小于预设阈值的像素点，即像素值相近的像素点，以得到人体轮廓，从而将人体轮廓所包围的部分作为第一成像区域。
需要说明的是，成像对象所佩戴物品可以在第一成像区域内部，例如项链、耳钉、鼻环、额饰等，或者，成像对象所佩戴物品可以与第一成像区域的距离小于预设距离，例如耳环、耳坠、发钗等。因此，本申请实施例中，可以在第一成像区域内部，以及与第一成像区域的距离小于预设距离的前景部分，识别得到第二成像区域，从而可以节省计算量，提升处理效率。作为一种可能的实现方式，可以采集各类饰品的深度数据作为样本数据，利用样本数据训练得到用于对饰品进行识别的识别模型，而后可以采用经过训练的识别模型，识别得到成像对象所佩戴物品。在识别得到成像对象所佩戴物品后，可以将成像对象所佩戴物品轮廓所包围的部分作为第二成像区域。
可以理解的是，第二成像区域与肤色存在色差，且第一成像区域中距离第二成像区域最近的第一像素点对应的深度，与第二成像区域中距离第一成像区域最近的第二像素点对应的深度之差在预设深度范围内。如果第一像素点的个数为多个，则第一像素点对应的深度可以取多个第一像素点对应的深度的均值，同理，如果第二像素点的个数为多个，则第二像素点对应的深度可以取多个第二像素点对应的深度的均值。
步骤104，根据第一成像区域和第二成像区域的相对位置，在可见光图像中，确定图像处理操作的操作区域。
本申请实施例中，用户可以根据自身需求，对可见光图像进行图像处理操作。其中，图像处理操作可以为背景虚化、美颜(祛痘、瘦脸、提亮面部、磨皮等)等处理操作。可以理解的是，在不同图像处理操作的情况下，操作区域可以相同或者不同。
例如，当图像处理操作为美颜的情况下，且相对位置为第一成像区域包含第二成像区域，或者第一成像区域与第二成像区域相交叠时，例如成像对象所佩戴物品为项链、鼻环、额饰等，此时，为了避免对成像对象进行美颜时模糊所佩戴物品，操作区域可以为第一成像区域中除第二成像区域以外的部分。
或者，当图像处理操作为美颜的情况下，且相对位置为第一成像区域与第二成像区域相邻时，例如成像对象所佩戴物品为发钗、耳坠等，此时，对成像对象进行美颜并不影响成像对象所佩戴物品的显示效果，因此，操作区域可以为可见光图像中第一成像区域。
再例如，当图像处理操作为背景虚化的情况下，且相对位置为第一成像区域包含第二成像区域，例如成像对象所佩戴物品为项链、鼻环、额饰等，此时，对成像对象的第一成像区域以外的部分进行背景虚化并不影响成像对象所佩戴物品的显示效果，因此，操作区域可以为可见光图像中除第一成像区域以外的部分。
或者，当图像处理操作为背景虚化的情况下，且相对位置为第一成像区域与第二成像区域相邻或相交叠，例如成像对象所佩戴物品为发钗、耳坠等，此时，对成像对象的第一成像区域以外的部分进行背景虚化时，成像对象所佩戴物品将被误虚，从而严重影响所佩戴物品显示效果，因此，本申请实施例中，操作区域可以为可见光图像中除第一成像区域和第二成像区域以外的部分。
步骤105，对操作区域执行图像处理操作。
本申请实施例中，在确定操作区域后，可以对操作区域执行图像处理操作。
举例而言，当用户佩戴鼻环时，此时，如果用户想对可见光图像进行美颜操作，则可以对身体除鼻环之外的区域进行美颜，如果用户想对可见光图像进行背景虚化，则可以对用户身体之外的区域进行背景虚化。
本申请实施例中基于结构光的图像处理方法可被配置于基于结构光的图像处理装置中，该基于结构光的图像处理装置可以应用于电子设备中。
作为一种可能的实现方式，电子设备的结构可以参见图2，图2为本申请实施例二所提供的电子设备的结构示意图。
如图2所示，该电子设备包括：激光摄像头、泛光灯、可见光摄像头、镭射灯以及微处理器(microcontrollerunit，简称mcu)。其中，mcu包括pwm、深度引擎、总线接口以及随机存取存储器ram。另外，电子设备还包括处理器，该处理器具有可信执行环境，mcu为可信执行环境专用硬件，执行可信应用程序运行于该可信执行环境下；处理器还可以具有普通执行环境，该普通执行环境与可信执行环境相互隔离。
需要说明的是，本领域技术人员可以知晓，图1对应方法不仅适用于图2所示的电子设备，图2所示电子设备仅作为一种示意性描述，图1对应方法还可以用于其他具有可信执行环境，以及可信执行环境专用硬件的电子设备，本实施例中对此不作限定。
其中，pwm用于调制泛光灯以使发出红外光，以及调制镭射灯以发出结构光；激光摄像头，用于采集成像对象的结构光图像或可见光图像；深度引擎，用于根据结构光图像，计算获得成像对象对应的深度数据；总线接口，用于将深度数据发送至处理器，并由处理器上运行的可信应用程序利用深度数据执行相应的操作。其中，总线接口包括：移动产业处理器接口(mobileindustryprocessorinterface简称mipi)、i2c同步串行总线接口、串行外设接口(serialperipheralinterface，简称spi)。
本申请实施例中，可信执行环境是电子设备(包含智能手机、平板电脑等)主处理器上的一个安全区域，相对普通执行环境，其可以保证加载到该环境内部的代码和数据的安全性、机密性以及完整性。可信执行环境提供一个隔离的执行环境，提供的安全特征包含：隔离执行、可信应用程序的完整性、可信数据的机密性、安全存储等。总之，可信执行环境提供的执行空间比常见的移动操作系统，如iso、android等，提供更高级别的安全性。
本实施例的基于结构光的图像处理方法，通过获取成像对象的可见光图像；获取成像对象的结构光图像指示的深度数据；根据深度数据，识别可见光图像中成像对象的第一成像区域，以及识别成像对象所佩戴物品的第二成像区域；根据第一成像区域和第二成像区域的相对位置，在可见光图像中，确定图像处理操作的操作区域；对操作区域执行图像处理操作。由此，可以实现当图像处理操作为美颜的情况下，可以避免模糊成像对象所佩戴物品，从而可以提升所佩戴物品的显示效果。当图像处理操作为背景虚化的情况下，可以避免误虚成像对象所佩戴物品，从而提升可见光图像虚化效果。同时，根据结构光图像指示的深度数据，识别可见光图像中成像对象的第一成像区域，以及识别成像对象所佩戴物品的第二成像区域，进而在确定操作区域并执行图像处理操作后，一方面提高了成像照片的成像效果，另一方面提高了深度数据的准确性，从而使得图像处理效果较好。
本申请实施例中，第二成像区域可以相邻于第一成像区域的目标子区域，或者，第二成像区域可以处于目标子区域内部，其中，目标子区域用于对颈部、耳部、鼻部、唇部或前额成像。
需要说明的是，本申请实施例中，目标子区域不仅可以用于对颈部、耳部、鼻部、唇部或前额成像，目标子区域还可以用于对手指、手腕、肚脐、脚踝等部分成像。举例而言，当用户手戴戒指，且手腕佩戴手表时，当用户自拍时，如果用户在脸旁做出一个“yeah”的动作，在图像处理操作为美颜的情况下，用户同样不想戒指和手表被模糊掉，因此，在美颜时，操作区域为第一成像区域中除第二成像区域以外的部分。
作为一种可能的实现方式，在步骤105之后，还可以增强第一成像区域的表现力。具体地，可以在第二区域内进行锐化处理、调整对比度和/或饱和度等，从而增强所佩戴物品的显示效果。
作为一种可能的实现方式，参见图3，在图1所示实施例的基础上，步骤104具体可以包括以下子步骤：
步骤201，在多种图像处理操作中，确定需执行的图像处理操作。
本申请实施例中，用户可以根据自身需求，从多种图像处理操作中，确定需执行的图像处理操作，例如为背景虚化、美颜等。
作为一种可能的实现方式，电子设备上可以具有不同图像处理操作的控件，用户可以通过触发相应的控件，确定需执行的图像处理操作。
步骤202，根据需执行的图像处理操作，以及相对位置，在可见光图像中确定对应的操作区域。
作为一种可能的实现方式，可以预先图像处理操作、相对位置和操作区域之间的映射关系，根据映射关系配置映射表，映射表用于指示图像处理操作、相对位置和操作区域之间的映射关系。在确定需执行的图像处理操作后，可以根据需执行的图像处理操作，以及相对位置查询映射表，确定操作区域，操作简单，且易于实现。
本实施例的基于结构光的图像处理方法，通过在多种图像处理操作中，确定需执行的图像处理操作；根据需执行的图像处理操作，以及相对位置，在可见光图像中确定对应的操作区域，操作简单，且易于实现。
为了实现上述实施例，本申请还提出一种基于结构光的图像处理装置。
图4为本申请实施例提供的一种基于结构光的图像处理装置的结构示意图。
如图4所示，该基于结构光的图像处理装置100包括：获取模块110、识别模块120、确定模块130，以及处理模块140。其中，
获取模块110，用于获取成像对象的可见光图像；获取成像对象的结构光图像指示的深度数据。
识别模块120，用于根据深度数据，识别可见光图像中成像对象的第一成像区域，以及识别成像对象所佩戴物品的第二成像区域。
作为一种可能的实现方式，识别模块120，具体用于根据深度数据，在可见光图像中识别得到前景部分和背景部分，前景部分的深度小于背景部分的深度；在前景部分识别成像对象是否为人体；若前景部分成像对象为人体，在前景部分，将人体轮廓所包围的部分作为第一成像区域；在第一成像区域内部，以及与第一成像区域的距离小于预设距离的前景部分，识别得到第二成像区域；其中，第二成像区域与肤色存在色差，且第一成像区域中距离第二成像区域最近的第一像素点对应的深度，与第二成像区域中距离第一成像区域最近的第二像素点对应的深度之差在预设深度范围内。
本申请实施例中，第二成像区域相邻于第一成像区域的目标子区域，或者处于目标子区域内部；目标子区域用于对颈部、耳部、鼻部、唇部或前额成像。
确定模块130，用于根据第一成像区域和第二成像区域的相对位置，在可见光图像中，确定图像处理操作的操作区域。
作为一种可能的实现方式，确定模块130，具体用于在多种图像处理操作中，确定需执行的图像处理操作；根据需执行的图像处理操作，以及相对位置，在可见光图像中确定对应的操作区域。
可选地，确定模块130，还用于获取预先配置的映射表，映射表用于指示图像处理操作、相对位置和操作区域之间的映射关系；根据需执行的图像处理操作，以及相对位置查询映射表，确定操作区域。
作为另一种可能的实现方式，确定模块130，具体用于若相对位置为第一成像区域包含第二成像区域，或者第一成像区域与第二成像区域相交叠，在图像处理操作为美颜的情况下，操作区域包括：第一成像区域中除第二成像区域以外的部分；若相对位置为第一成像区域包含第二成像区域，在图像处理操作为背景虚化的情况下，操作区域包括：可见光图像中除第一成像区域以外的部分；若相对位置为第一成像区域与第二成像区域相邻，在图像处理操作为美颜的情况下，操作区域包括：第一成像区域；若相对位置为第一成像区域与第二成像区域相邻或相交叠，在图像处理操作为背景虚化的情况下，操作区域包括：可见光图像中除第一成像区域和第二成像区域以外的部分。
处理模块140，用于对操作区域执行图像处理操作。
进一步地，在本申请实施例的一种可能的实现方式中，参见图5，在图4所示实施例的基础上，该基于结构光的图像处理装置100还可以包括：增强模块150。
增强模块150，用于增强第二成像区域的表现力。
作为一种可能的实现方式，增强模块150，具体用于在第二区域内进行锐化、调整对比度和/或饱和度。
需要说明的是，前述对基于结构光的图像处理方法实施例的解释说明也适用于该实施例的基于结构光的图像处理装置100，此处不再赘述。
本实施例的基于结构光的图像处理装置，通过获取成像对象的可见光图像；获取成像对象的结构光图像指示的深度数据；根据深度数据，识别可见光图像中成像对象的第一成像区域，以及识别成像对象所佩戴物品的第二成像区域；根据第一成像区域和第二成像区域的相对位置，在可见光图像中，确定图像处理操作的操作区域；对操作区域执行图像处理操作。由此，可以实现当图像处理操作为美颜的情况下，可以避免模糊成像对象所佩戴物品，从而可以提升所佩戴物品的显示效果。当图像处理操作为背景虚化的情况下，可以避免误虚成像对象所佩戴物品，从而提升可见光图像虚化效果。同时，根据结构光图像指示的深度数据，识别可见光图像中成像对象的第一成像区域，以及识别成像对象所佩戴物品的第二成像区域，进而在确定操作区域并执行图像处理操作后，一方面提高了成像照片的成像效果，另一方面提高了深度数据的准确性，从而使得图像处理效果较好。
为了实现上述实施例，本申请还提出一种移动终端。
图6为本申请实施例提供的一种移动终端的结构示意图。
本实施例中，移动终端包括但不限于手机、平板电脑等设备。
如图6所示，该移动终端包括：成像传感器210、存储器220、处理器230及存储在存储器220上并可在处理器230上运行的计算机程序(图6中未示出)，处理器230根据从成像传感器210获取的可见光图像或结构光图像，执行程序时，实现如本申请前述实施例中提出的基于结构光的图像处理方法。
在本申请实施例的一种可能的实现方式中，参见图7，在图6所示实施例的基础上，该移动终端还可以包括：微处理芯片mcu2140。
处理器230具有可信执行环境，程序运行于可信执行环境。
mcu240，为可信执行环境的专用硬件，与成像传感器210和处理器230连接，用于控制成像传感器210进行成像，将成像得到的可见光图像发送至处理器230，以及将成像得到的结构光图像指示的深度数据发送至处理器230。
在本实施例一种可能的实现方式中，成像传感器210可包括：红外传感器、结构光图像传感器和可见光图像传感器。
其中，红外传感器包括激光摄像头和泛光灯；结构光图像传感器包括：镭射灯，以及与红外传感器共用的激光摄像头，可见光图像传感器包括：可见光摄像头。
在本实施例一种可能的实现方式中，mcu240包括pwm、深度引擎、总线接口以及随机存取存储器ram。
其中，pwm用于调制泛光灯以使发出红外光，以及调制镭射灯以发出结构光；
激光摄像头，用于采集成像对象的结构光图像；
深度引擎，用于根据结构光图像，计算获得成像对象对应的深度数据；以及
总线接口，用于将深度数据发送至处理器230，并由处理器230上运行的可信应用程序利用深度数据执行相应的操作。
例如，可以根据深度数据识别可见光图像中成像对象的第一成像区域，以及识别成像对象所佩戴物品的第二成像区域，并根据第一成像区域和第二成像区域的相对位置，在可见光图像中，确定图像处理操作的操作区域，从而对操作区域执行图像处理操作，具体过程可参见上述实施例，在此不再赘述。
为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述实施例提出的基于结构光的图像处理方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。