眼部图像处理方法、设备、图像处理设备、介质与流程

本发明涉及图像处理技术，尤其涉及眼部图像处理方法、设备、图像处理设备、介质。

背景技术：

基于卷积神经网络(convolutionalneuralnetworks,cnn)的人脸检测方法在各种复杂数据集上都有良好的表现。

例如，在zhangk,zhangz,liz等人的论文jointfacedetectionandalignmentusingmultitaskcascadedconvolutionalnetworks[j].ieeesignalprocessingletters,2016,23(10):1499-1503.中，采用卷积神经网络技术，结合人脸检测与人脸关键点回归方法，不仅能得出人脸所在矩形框，还可以同时得出眼、嘴与鼻子的初步定位。

但是，由于该论文中，对图像分辨率进行了缩减，最后一层的输入图像分辨率(整个脸部图像的分辨率)仅为48×48，导致双眼的图像分辨率过低，因此所得的眼部关键点的坐标精度较低，无法基于双眼位置来实现眼睛变形效果。

另外，传统的人脸关键点回归算法的计算量较大，无法充分使用已取得的眼睛初步定位信息。

因此，需要有效的解决方案来解决现有技术的卷积神经网络关键点回归算法在性能上难以处理高分辨率输入图像的问题。

技术实现要素：

为了解决以上问题之一，本发明提供了一种眼部图像处理方法、设备、图像处理设备、介质。

本发明针对现有技术的卷积神经网络关键点回归算法在性能上难以处理高分辨率输入图像的问题，提出由粗到精的双眼的轮廓关键点回归方法，并根据双眼的轮廓关键点提出了一种实现眼睛放大与缩小效果的方案。

根据本发明的一个示例性实施例，提供一种眼部图像处理方法，包括：对经由人脸检测方法得到的脸部图像进行裁剪处理以得到眼部图像；使经过裁剪处理得到的眼部图像通过卷积神经网络模型，以预测得到眼部的轮廓关键点的坐标；基于眼部的轮廓关键点的坐标，计算得到眼睛变形所需数据；以及基于所述眼睛变形所需数据，执行图像的眼睛变形处理。

可选地，上述裁剪处理包括：根据通过人脸检测方法得到的针对左眼和右眼的部位标记点的坐标，定位眼部图像的区域；根据左眼和右眼的所述部位标记点的间距来确定要裁剪得到的眼部图像的大小；基于确定的要裁剪得到的眼部图像的大小，把眼部图像的区域从所述脸部图像中裁剪出来，从而得到裁剪后的眼部图像。

可选地，上述卷积神经网络模型包括不超过5个的卷积层和/或不超过5个的池化层。

可选地，上述眼部变形所需数据包括左眼和右眼的中心点以及左眼和右眼的半径，其中，所述中心点和半径均由眼部的轮廓关键点的坐标计算得出。

可选地，上述眼部图像包括左右眼分开的左眼图像和右眼图像。

其中，通过卷积神经网络模型来预测得到眼部的轮廓关键点的坐标包括：使左眼图像和右眼图像之中的一个图像经过所述卷积神经网络模型以预测得到所述一个图像的轮廓关键点的坐标；对左眼图像和右眼图像之中的另一个图像做镜像操作，以使用所述卷积神经网络模型预测得到所述另一个图像在镜像操作后的轮廓关键点的坐标；将所述另一个图像在所述镜像操作后的轮廓关键点的坐标进行坐标变换，得到所述另一个图像在所述镜像操作前的轮廓关键点的坐标，作为所述另一个图像的轮廓关键点的坐标。

这里，通过使左眼图像和右眼图像使用同一个卷积神经网络模型，能够减少复杂度，降低计算量，节约系统计算和处理资源。

另一方面，可选地，通过卷积神经网络模型来预测得到眼部的轮廓关键点的坐标包括：使左眼图像通过第一卷积神经网络模型以预测得到左眼的轮廓关键点的坐标，使右眼图像通过第二卷积神经网络模型以预测得到右眼的轮廓关键点的坐标。

根据本发明的一个示例性实施例，提供一种眼部图像处理设备，包括：裁剪装置，被配置用于对经由人脸检测方法得到的脸部图像进行裁剪处理以得到眼部图像；预测装置，被配置用于使经过裁剪处理得到的眼部图像通过卷积神经网络模型，以预测得到眼部的轮廓关键点的坐标；计算装置，被配置用于基于眼部的轮廓关键点的坐标，计算得到眼睛变形所需数据；以及变形执行装置，被配置用于基于所述眼睛变形所需数据，执行图像的眼睛变形处理。

可选地，上述裁剪处理装置包括：定位部件，被配置用于根据通过人脸检测方法得到的针对左眼和右眼的部位标记点的坐标，定位眼部图像的区域；图像大小确定部件，被配置用于根据左眼和右眼的所述部位标记点的间距来确定要裁剪得到的眼部图像的大小；裁剪执行部件，被配置用于基于确定的要裁剪得到的眼部图像的大小，把眼部图像的区域从所述脸部图像中裁剪出来，从而得到裁剪后的眼部图像。

可选地，上述卷积神经网络模型包括分别不超过5个的卷积层和池化层。

可选地，上述眼部变形所需数据包括左眼和右眼的中心点以及左眼和右眼的半径，其中，所述中心点和半径均由眼部的轮廓关键点的坐标计算得出。

根据本发明的一个示例性实施例，提供一种图像处理设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上述方法之一。

根据本发明的一个示例性实施例，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行上述方法之一。

本发明通过对经由人脸检测方法得到的粗略的眼部图像进行裁剪并经由神经网络预测的结果数据来计算眼睛变形所需数据，能够有效处理高分辨率输入图像以得到眼睛相关的位置信息，而不会像现有技术那样消耗过多的计算资源，而且，本发明还能够基于眼睛的这些位置信息，进行眼部的变形处理。请注意，现有技术中一般是通过降低图像分辨率来减少计算负担的，而本发明中，没有对图像分辨率进行缩减，而是直接从高分辨率的脸部图像裁剪出高分辨率的眼部图像进行处理，从而能够基于得到的眼部数据进行变形处理(现有技术缩减图像分辨率之后，无法进行变形处理)，这是本发明相比于现有技术能够取得的有益技术效果之一。

另外，本发明能够在移动端视频场景中实时运行，能够以较低的计算代价较准确地得到例如眼睛中心点及半径的眼睛变形所需数据，并可以实现较好的眼睛变形效果。

另外，本发明提供一种新颖的移动端眼睛变形特效实现方式，可应用于短视频、直播、拍摄录制等场景中。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的附图标记通常代表相同部件。

图1给出了根据本发明的一个示例性实施例的眼部图像处理方法的流程图。

图2示出了经由人脸检测方法得到的粗略人脸图像。

图3给出了一种根据本发明的一个示例性实施例的小型的卷积神经网络模型的例子。

图4给出了一种人脸标定方法的图示例子。

图5给出了根据本发明的另一个示例性实施例的脸部图像处理设备的框图。

图6给出了根据本发明的一个示例性实施例的对脸部图像进行裁剪处理的过程。

图7给出了根据本发明的一个示例性实施例的裁剪处理装置的框图。

图8给出了根据本发明的一个示例性实施例的数据处理设备的示意性框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。这里需要说明的是，本申请中的数字、序号以及附图标记仅是为了方便描述而出现的，对于本发明的步骤、顺序等等均不构成任何限制，除非在说明书中明确指出了步骤的执行有特定的先后顺序。

本发明基于人脸检测方法的关键点输出结果，得到双眼的初步位置，然后从原图裁减得到分辨率较高的眼睛局部图像，然后基于裁剪得到的眼睛局部图像，通过cnn模型来完成眼睛关键点预测，最后还可以根据眼睛关键点预测得到的数据来计算眼睛的中心与半径，由此实现眼睛变形效果。

图1给出了根据本发明的一个示例性实施例的眼部图像处理方法的流程图。

如图1所示，在步骤s110，对于经过人脸检测方法得到的人脸图像进行裁剪处理而得到眼睛局部图像。

使用人脸检测方法完成图像中的人脸的检测后，如图2所示，不仅可以得到人脸的矩形框，还可以得到例如5个关键部位(左眼、右眼、鼻子、左嘴角、右嘴角)的粗略坐标信息，并且在得到的关键部位的坐标信息中，每个关键部位只有一个点(在本文中，将人脸检测方法得到的关键部位的点称为“部位标记点”，以与本文在后续通过cnn模型预测得到的眼睛轮廓的关键点，即“轮廓关键点”，来进行区分)来表示，所以很难确定该关键部位的轮廓、大小。

因此，如上所述，仅通过人脸检测方法检测到的关键部位的少量并且粗略的信息，很难确定眼睛的轮廓和大小。

然后，如图1所示，在步骤s120，通过cnn眼睛轮廓回归模型，以预测得到眼部的各轮廓关键点的坐标。

本发明采用cnn模型对眼睛轮廓进行回归。这里，将上面描述的通过裁剪得到的眼睛图像作为该cnn模型的输入。

为了更便于理解和描述，下面先以单个左眼的图像为例来进行说明。

cnn模型已被广泛应用于计算机视觉问题中，其通常由多个卷积层与池化层组合来实现图像中的特征提取。在本发明中，同样可以通过组合卷积层与池化层来完成人脸图像中眼部的提取。

不过，一般来说，问题越复杂，需要的cnn模型也越复杂，计算量也相应更大。在本发明中，由于针对的是眼睛变形的场景，所以可以将问题规模缩小为眼睛部位标记点的回归问题。因而，在本发明中，可以通过组合较少的卷积层与池化层来完成眼睛部位标记点的定位。

例如，在本发明中，可以使用不超过5个的卷积层、以及/或者不超过5个池化层(另外还可以有激活层，例如可以有不超过5个的激活层)来实现所需的cnn模型，例如图3示出了根据本发明的一个示例性实施例的一个小型的cnn模型的例子。采用小型cnn模型可以简化计算，由此节省计算和处理资源，并且能提高处理效率。

进一步地，举一个例子，假设在本发明中可以使用的一个cnn模型的输入为：从经由人脸检测方法得到的人脸图像中，裁剪出来的一个眼部图像，该图像例如为24×16分辨率的一只眼睛的图像(经过裁剪的rgb图像)，经过该cnn模型之后的输出例如为12×1的矩阵，用于表示该眼睛的轮廓关键点的6个点坐标，该眼睛的轮廓关键点可以采用例如图4的68点人脸标定方法(ibug-300w数据集，参见https://ibug.doc.ic.ac.uk/resources/300-w/)，其中每只眼睛可以有6个轮廓关键点，可以记为s＝{s0，s1，s2，s3，s4，s5}。

这里，请注意，上述的cnn模型可以是任何能够提供轮廓关键点的cnn模型，即，其能够对输入的图像进行处理，以提取(或者更准确地说，预测)轮廓关键点。即，本发明对于cnn模型没有特别额外的限制。

更具体地，对于左眼而言，图4中的37～42号点即左眼的6个轮廓关键点。这里，可以将左眼的这6个轮廓关键点的坐标用集合sleft来表示：sleft＝{sleft0，sleft1，sleft2，sleft3，sleft4，sleft5}。其中，例如，sleft0可以对应37号点，sleft1可以对应38号点，sleft2可以对应39号点，sleft3可以对应40号点，sleft4可以对应41号点，sleft5可以对应42号点。

请注意，上面描述的是对于左眼图像的处理，对于右眼而言，右眼图像可以进行镜像处理之后进行类似的处理。比如，可以在执行右眼对齐(意指从右眼图像中定位出上述的6个轮廓关键点)时，对该右眼图像先做镜像(例如左右反转使得最左侧点变成最右侧点)，再使用该cnn模型进行回归，得到右眼图像上的在镜像后的6个轮廓关键点坐标，即完成右眼对齐；然后，将对齐结果，即，将在上面得到的镜像后的6个轮廓关键点的坐标进行坐标变换，将其变换为镜像前坐标，即可得到右眼的6个轮廓关键点坐标。假如在同样采用图4的68点人脸标定方法的情况下，其中的43～48号点即右眼的6个轮廓关键点坐标，可以类似地用集合sright来表示：sright＝{sright0，sright1，sright2，sright3，sright4，sright5}。例如，sright0可以对应43号点，sright1可以对应44号点，sright2可以对应45号点，sright3可以对应46号点，sright4可以对应47号点，sright5可以对应48号点。

这里需要解释的是，对于上面的示例，左眼的6个轮廓关键点的坐标是直接通过cnn模型预测得到的，而因为这个cnn模型是针对左眼的，所以右眼需要先做镜像，变成好像左眼一样，再用cnn模型进行回归，所以需要先做右眼对齐(即先镜像再用模型回归)的操作。

请注意，虽然上面的例子是针对左眼的cnn模型，但是针对右眼的cnn模型也是可以的，或者，分别针对左眼和右眼来设计两个cnn模型当然也可以。不过，只使用一个cnn模型会比较简单，耗费资源少，使用两个cnn模型分别对两只眼睛的图像进行预测会比较耗费资源。

再进一步地，举一个例子，本发明的cnn模型中使用的损失函数可以采用线性回归时常用的均方误差mse(meansquarederror，可参见例如https://tensorflow.google.cn/api_docs/python/tf/losses/mean_squared_error)。

请注意，上面示出的人脸标定方法和人眼的轮廓表示方法都只是例子，本发明并不限于仅采用这样的方法来进行标定和表示。另外，上面举出的损失函数也只是一个例子，本发明对于损失函数的使用也不进行额外的限制。

上面为了便于理解和描述，先以单个左眼的图像为例来进行了说明。但是本领域普通技术人员应该明白，本发明不限于处理左眼单个图像的情况，而是可以类似地处理右眼的图像，左眼与上面描述的那样做镜像处理即可。而且，本发明也可以处理两只眼睛在一个图像上的情况，例如只要变换一下进行预测的cnn模型，使得两只眼睛可以同时处理；或者，虽然是两只眼睛在一个图像上，但是对两只眼睛分别地单独进行处理(即，两只眼睛的处理可以同时，也可以不同时)也都是可以的。更进一步地，本发明不限于所描述的这些方式，而是只要能够有可用的眼部图像输入，便可以进行相应的类似处理。

然后，在步骤s130，基于得到的眼睛的轮廓关键点集合，计算眼睛变形所需信息。

经过在步骤s120进行的上述的cnn模型预测之后，便可以分别得到左眼和右眼的轮廓关键点集合sleft与sright。

接下来，需要计算眼睛变形所需的信息。

例如，可以计算眼睛变形所需的眼睛中心点与半径的信息。

具体地，考虑到眨眼动作，一只眼睛的中心点可以由下式计算得出

center＝(so+s3)/2(1)。

更具体地，左眼的中心点centerleft可以根据上面的式子1由sleft0与sleft3得到，相应地，右眼的中心点centerright可以根据上面的式子1由sright0与srightt3得到，其中sleft0与sleft3、sright0与sright3如上所述，可以分别对应图4的68点人脸标定方法中的37与40号点、以及43与46号点。

一只眼睛的半径根据下式计算得出

radius＝||s0-s3||/2(2)。

与上面的中心点类似地，左眼的半径radiusleft可以根据上面的式子2由sleft0与sleft3得到；相应地，右眼的半径radiusright可以根据上面的式子1由sright0与srightt3得到。

请注意，上面举例的眼睛变形所需的信息虽然是中心点和半径，但是应该理解，眼睛变形所需的信息不限于眼睛的中心点和半径这样的参数，而是也可以包括其它的参数，只要它能够用于眼睛变形即可。

然后，在步骤s140，基于上面在步骤s130得到的眼睛变形所需的信息或数据，执行图像的眼睛变形处理。

具体地，例如，可以在着色器(例如shader)中执行眼睛的变形计算或处理。

进一步地，例如，可以在着色器中采用例如gustafssona.interactiveimagewarping[j].helsinkiuniversityoftechnology.may,1993.中的局部尺度变形方法实现眼睛放大缩小效果。

通过在步骤s130得到的眼睛变形所需数据，例如上面例示出的中心点和半径，作为眼睛的变形中心点与变形半径，可以对于由在步骤s120得到的眼睛的轮廓关键点勾勒出的眼睛进行放大或缩小，从而在脸部图像中进行眼睛放大或缩小的呈现，以获得眼睛变形的效果。

这里，请注意，将在步骤s130得到的眼睛变形所需数据，采用上述的局部尺度变形方法，应用于由上述的眼睛的轮廓关键点勾勒出的眼睛之后，可以得到变形后的眼睛的(在所述脸部图像上的)坐标数据。鉴于变形后的眼睛上的某些点的坐标位置与变形之前不同了，所以自然会产生变形的效果。

本发明通过对经由人脸检测方法得到的粗略的眼部图像进行裁剪并经由卷积神经网络模型进行预测，然后基于卷积神经网络模型预测的结果数据来计算眼睛变形所需数据，能够有效处理高分辨率输入图像以得到眼睛相关的位置信息，而且基于眼睛的这些位置信息能够进行眼部的变形处理。

另外，本发明能够在移动端视频场景中实时运行，能够以较低的计算代价较准确地得到例如眼睛中心点及半径的眼睛变形所需数据，并可以实现较好的眼睛变形效果。

另外，本发明提供一种新颖的移动端眼睛变形特效实现方式，可应用于短视频、直播、拍摄录制等场景中。

图5给出了根据本发明的另一个示例性实施例的脸部图像处理设备的框图。

如图5所示，根据本发明的另一个示例性实施例的脸部图像处理设备100可以包括裁剪装置110、预测装置120、计算装置130、变形执行装置140。

其中，裁剪装置110可以被配置用于，对经由人脸检测方法得到的脸部图像进行裁剪处理以得到眼部图像。

预测装置120可以被配置用于使经过裁剪处理得到的眼部图像通过卷积神经网络模型，以预测得到眼部的轮廓关键点的坐标。

计算装置130可以被配置用于基于眼部的轮廓关键点的坐标，计算得到眼睛变形所需数据。

变形执行装置140可以被配置用于基于所述眼睛变形所需数据，执行图像的眼睛变形处理。

这里，脸部图像处理设备100的各装置的操作与上述的脸部图像处理方法的各步骤的操作类似，在此不再赘述。

本发明通过对经由人脸检测方法得到的粗略的眼部图像进行裁剪并经由卷积神经网络模型进行预测得到的结果数据来计算眼睛变形所需数据，能够有效处理高分辨率输入图像以得到眼睛相关的位置信息，而且基于眼睛的这些位置信息能够进行眼部的变形处理。

另外，本发明能够在移动端视频场景中实时运行，能够以较低的计算代价较准确地得到例如眼睛中心点及半径的眼睛变形所需数据，并可以实现较好的眼睛变形效果。

另外，本发明提供一种新颖的移动端眼睛变形特效实现方式，可应用于短视频、直播、拍摄录制等场景中。

为了更清楚地描述本发明，以下将参照图6来说明上面提到的裁剪处理过程。

图6给出了根据本发明的一个示例性实施例的对粗略脸部图像进行裁剪处理以得到眼部图像的过程。

如图6所示，在本发明中，在步骤s111，可以根据通过人脸检测方法得到的粗略脸部图像上的左眼、右眼的粗略的部位标记点(每只眼睛仅得到对应的一个点)的坐标，来定位眼部图像的区域(例如，双眼的大概位置)。

然后，在步骤s112，再根据两眼的该粗略的部位标记点的坐标的间距(两标记点之间的距离)来确定要裁剪得到的图像的大小。

然后，步骤s113，基于确定的要裁剪得到的图像大小，把眼部图像的区域从原人脸图像中裁剪出来，从而得到双眼的高分辨率图像。

这里，可以分别裁剪得到左眼和右眼的图像(两个图像)，也可以裁剪得到双眼在一起的一个图像，本发明对此不作限制，并且，无论是双眼的一个图像还是分别对应两只眼睛的两个图像，本发明都可以进行类似的相应处理，因此，眼睛图像的数量不构成对本发明的任何限制。

与图7的裁剪处理过程相对应地，图7给出了根据本发明的一个示例性实施例的裁剪处理装置110的框图。

如图7所示，根据本发明的一个示例性实施例的裁剪处理装置110可以包括定位部件111、图像大小确定部件112、裁剪执行部件113。

其中，定位部件111可以被配置用于根据通过人脸检测方法得到的针对左眼和右眼的部位标记点的坐标，定位眼部图像的区域(例如，双眼的大概位置)。

图像大小确定部件112可以被配置用于被配置用于根据左眼和右眼的所述部位标记点的间距来确定要裁剪得到的眼部图像的大小。

裁剪执行部件113可以被配置用于被配置用于基于确定的要裁剪得到的眼部图像的大小，把眼部图像的区域从所述脸部图像中裁剪出来，从而得到裁剪后的眼部图像。

上面的对人脸图像进行裁剪处理的方法仅是一个例子，本领域普通技术人员应该明白，本发明不限于这一种裁剪处理方法。

通过对粗略的人脸图像进行裁剪处理，可以得到高分辨率的眼部图像供后续处理以得到眼睛的更全面和细致的数据。

图8给出了根据本发明的一个示例性实施例的数据处理设备的示意性框图。

参见图8，该数据处理设备1包括存储器10和处理器20。

本发明的处理器20可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器20可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(gpu)、数字信号处理器(dsp)等等。在一些实施例中，处理器20可以使用定制的电路实现，例如特定用途集成电路(asic，applicationspecificintegratedcircuit)或者现场可编程逻辑门阵列(fpga，fieldprogrammablegatearrays)。

存储器10上存储有可执行代码，当所述可执行代码被所述处理器20执行时，使所述处理器20执行上面描述的数据迁移方法之一。其中，存储器10可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)，和永久存储装置。其中，rom可以存储处理器20或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器10可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器10可以包括可读和/或写的可移除的存储设备，例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom，双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、minsd卡、micro-sd卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图等等显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。