一种显示屏的位姿计算方法及系统与流程

本发明涉及计算机视觉应用领域，尤其涉及一种显示屏的位姿计算方法及系统。

背景技术：

目前，为了实现以固定视角显示设备场景以达到3d模型凸出屏幕的效果，通常采用对显示设备的显示区域放置若干个标记物以辅助识别的方法。这种方法通过识别特定编码类型和不同编码的标记物，获得标记物的位置，实现对显示设备的检测锁定及位姿估计。

现有技术中，基于特定编码的标记物识别方法，通常受距离、角度、光照等外部因素的影响较大，易导致屏幕锁定失效及位姿估计不准确等问题。

技术实现要素：

本发明所要解决的技术问题是针对现有技术的不足，提供一种无需辅助标记物的显示屏的位姿计算方法及系统。

本发明解决上述技术问题的技术方案如下：

一种显示屏的位姿计算方法，包括：

通过拍摄装置获取显示屏的多帧运动前景图像；

对多帧所述运动前景图像在所述显示屏的范围内进行扩大处理；

对扩大处理后的多帧所述运动前景图像进行凸包检测，并选取得到面积最大的凸包；

根据所述凸包的全部凸包点与所述显示屏的各边缘的距离，将全部所述凸包点分成n组，其中，n为所述显示屏的边缘数量；

分别对每组所述凸包点进行线性拟合，得到n组凸包点直线；

选取由全部所述凸包点直线组成的封闭图形中所包含的全部交点，得到全部所述交点的像素坐标；

获取所述显示屏的各顶点的世界坐标，根据全部所述像素坐标和全部所述世界坐标得到所述显示屏相对于所述拍摄装置的位姿。

本发明的有益效果是：本发明提供的一种显示屏的位姿计算方法，利用无辅助标记物的计算机视觉技术，通过对运动前景图像进行检测和识别，并结合显示屏各顶点的世界坐标获取显示屏的位姿，不需要对显示屏进行标记，就能完成对显示屏的锁定及显示屏相对拍摄装置的位姿估计，具有应用的灵活性大的优点，并且本发明是对运动前景图像进行检测，避免了基于标记的方法会因标记物识别不良导致算法失效的情形，在拍摄装置与显示屏之间的角度更大，距离更远时，依然能够准确识别，应用范围更广，例如，可以应用在增强现实系统中用于锁定显示屏的方位，或对显示屏进行定位定姿。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步地，所述通过拍摄装置获取显示屏的多帧运动前景图像之后，还包括：

对每帧所述运动前景图像进行二值化处理和开运算处理。

采用上述进一步方案的有益效果是：通过对每帧所述运动前景图像进行二值化处理和开运算处理，可以避免图像中的杂质、噪点等对图像效果的影响，可以滤除零散的干噪点，提高识别准确度。

进一步地，所述对扩大处理后的多帧所述运动前景图像进行凸包检测，具体包括：

对扩大处理后的多帧所述运动前景图像进行轮廓检测，得到多帧所述运动前景图像的外部轮廓；

对得到的全部所述外部轮廓进行凸包检测，得到多帧所述运动前景图像的凸包。

进一步地，所述根据所述凸包的全部凸包点与所述显示屏的各边缘的距离，将全部所述凸包点分成n组，具体包括：

根据所述凸包的全部凸包点与所述显示屏的各边缘的距离以及预存的ransac算法，将全部所述凸包点分成n组。

进一步地，所述获取所述显示屏的各顶点的世界坐标，根据全部所述像素坐标和全部所述世界坐标得到所述显示屏相对于所述拍摄装置的位姿，具体包括：

获取所述显示屏的各顶点的世界坐标；

根据pnp求解模型对全部的所述像素坐标和全部的所述世界坐标进行处理，得到所述显示屏相对于所述拍摄装置的位姿。

本发明解决上述技术问题的另一种技术方案如下：

一种显示屏的位姿计算系统，包括：

拍摄装置，用于获取显示屏的多帧运动前景图像；

图像处理单元，用于对多帧所述运动前景图像在所述显示屏的范围内进行扩大处理；

凸包检测单元，用于对扩大处理后的多帧所述运动前景图像进行凸包检测，并选取得到面积最大的凸包；

凸包处理单元，用于根据所述凸包的全部凸包点与所述显示屏的各边缘的距离，将全部所述凸包点分成n组，其中，n为所述显示屏的边缘数量；

坐标计算单元，用于分别对每组所述凸包点进行线性拟合，得到多组凸包点直线，并选取各组所述凸包点直线围成的包含全部所述凸包点直线的图形中所包含的全部交点，得到全部所述交点的像素坐标；

位姿计算单元，用于获取所述显示屏的各顶点的世界坐标，根据全部所述像素坐标和全部所述世界坐标得到所述显示屏相对于所述拍摄装置的位姿。

本发明的有益效果是：本发明提供的一种显示屏的位姿计算系统，利用无辅助标记物的计算机视觉技术，通过对运动前景图像进行检测和识别，并结合显示屏各顶点的世界坐标获取显示屏的位姿，不需要对显示屏进行标记，就能完成对显示屏的锁定及显示屏相对拍摄装置的位姿估计，具有应用的灵活性大的优点，并且本发明是对运动前景图像进行检测，避免了基于标记的方法会因标记物识别不良导致算法失效的情形，在拍摄装置与显示屏之间的角度更大，距离更远时，依然能够准确识别，应用范围更广，例如，可以应用在增强现实系统中用于锁定显示屏的方位，或对显示屏进行定位定姿。

进一步地，所述图像处理单元还用于对每帧所述运动前景图像进行二值化处理和开运算处理。

进一步地，所述凸包检测单元具体用于对扩大处理后的多帧所述运动前景图像进行轮廓检测，得到多帧所述运动前景图像的外部轮廓，并对得到的全部所述外部轮廓进行凸包检测，得到多帧所述运动前景图像的凸包。

进一步地，所述凸包处理单元具体包括：

根据所述凸包的全部凸包点与所述显示屏的各边缘的距离以及预存的ransac算法，将全部所述凸包点分成n组。

进一步地，所述位姿计算单元具体用于获取所述显示屏的各顶点的世界坐标，并根据pnp求解模型对全部的所述像素坐标和全部的所述世界坐标进行处理，得到所述显示屏相对于所述拍摄装置的位姿。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明实施例提供的一种显示屏的位姿计算方法的流程示意图；

图2为本发明另一实施例提供的一种显示屏的位姿计算方法的流程示意图；

图3为本发明另一实施例提供的一种显示屏的位姿计算系统的结构框架图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明实施例提供的一种显示屏的位姿计算方法的流程示意图，在类似于增强现实系统或混合现实系统中，以固定视角显示场景达到3d虚拟模型凸出屏幕的效果，给他人以第三方视角观看和实时分享人机交互体验过程，或者录制操作虚拟场景的交互过程的相关应用中，常常需要对显示屏的显示区域进行提取识别并给定其相对于拍摄装置的相对位置变换关系。

本实施例提供的显示屏的位姿计算方法，显示屏的位姿指的是显示屏相对于拍摄装置的位姿，具体可以体现为显示屏相对于拍摄装置的位置变换关系，例如，变换矩阵和平移向量等。该方法包括：

s1，通过拍摄装置获取显示屏的多帧运动前景图像。其中，拍摄装置可以为摄像机等具有拍摄功能的终端设备，显示屏可以为平板电脑、手机、显示器等具有显示屏的终端设备，多帧运动前景图像可以为在预定时间间隔内，以预定次数连续拍摄的多帧图像经运动场景检测后得到的多帧运动前景图像，例如，可以在1秒内连续拍摄10张显示屏的图像，经运动场景检测后得到10帧连续的运动前景图像。

优选地，通过拍摄装置获取显示屏的多帧运动前景图像，可以通过以下方法来实现：通过拍摄装置拍摄包含完整显示屏的多帧图像，然后对这多帧图像进行运动场景检测，例如，可以使用vibe算法，vibe算法是一种像素级的视频背景建模或前景检测算法，vibe算法采取随机的更新策略，在背景模型的更新上具有一定的优势，而且对硬件内存占用少。

需要说明的是，在拍摄装置获取显示屏的多帧运动前景图像之前，需要调整拍摄装置的位置和姿态，以使显示屏能够完全处于拍摄装置的视野中。

s2，对多帧运动前景图像在显示屏的范围内进行扩大处理，使多帧运动前景图像贴近显示屏的边缘。

优选地，可以使用膨胀这种形态学操作，在本实施例中，为了使运动前景能够尽可能的贴近显示屏的边缘，可以采用膨胀区域的方法使原始图像上的运动前景扩大。

优选地，可以当运动前景在扩大过程中，运动前景边缘首次接触到显示屏边缘时，可以认为此时运动前景贴近了显示屏的边缘，且运动前景仍在显示屏内。

s3，对扩大处理后的多帧运动前景图像进行凸包检测，并选取得到面积最大的凸包。也就是需要对每一帧的运动前景图像都进行凸包检测，得到每一帧的凸包，然后从这些帧中选取一个面积最大的凸包保留，这样做的好处是可以防止某些帧之间场景运动不明显的情况，便于后续的计算，这个面积最大的凸包和显示屏的边缘已经大致重合。

需要说明的是，由于运动场景结构由分离的情况，所以每帧运动前景图像检测到的凸包可能不止一个，这就需要在每帧运动前景图像检测到的凸包中，选择一个面积最大的凸包，作为该帧运动前景图像的凸包，然后再对全部帧运动前景图像检测到的凸包进行检测，选取其中面积最大的凸包，亦即和显示屏的显示区域大致重合的凸包。

s4，根据凸包的全部凸包点与显示屏的各边缘的距离，将全部凸包点分成n组，其中，n为显示屏的边缘数量。

例如，当显示屏为三角形时，那么n就为3，由于凸包与显示屏的边缘已经大致重合，那么就可以将这些凸包点与3条边缘的距离分为三类，例如，可以将与某一边距离最近的分为一类。

又例如，当显示屏为矩形时，那么n就为4，由于凸包与显示屏的边缘已经大致重合，那么就可以将这些凸包点与4条边缘的距离分为4组，例如，可以将与某一边距离最近的分为一组，就可以分为与上边最近的凸包点组、与下边最近的凸包点组、与左边最近的凸包点组和与右边最近的凸包点组。

优选地，可以通过计算机识别各凸包点与显示屏各边缘的距离，进而将凸包点进行分组。

优选地，也可以通过将任意两个凸包点进行连线，然后检测与标准线的角度，根据角度对全部的凸包点进行分组。

s5，分别对每组凸包点进行线性拟合，得到n组凸包点直线。

例如，当显示屏为矩形时，那么，凸包点就被分为4组，分别进行线性拟合后，就可以得到4组凸包点直线。

又例如，当显示屏为六边形时，那么，凸包点就被分为6组，分别进行线性拟合后，就可以得到6组凸包点直线。

s6，选取由全部凸包点直线组成的封闭图形中所包含的全部交点，得到全部交点的像素坐标。

需要说明的是，当显示屏为不规则的四边形或六边形等时，各条直线会在显示屏的范围外也形成封闭图形，然而只有贴合显示屏边缘的封闭图形包含了全部的凸包点直线和各凸包点直线两两相交形成的交点，这些交点就是显示屏的各顶点在图像中的位置。

其中，各交点像素坐标指的是各交点在图像坐标系中的坐标，图像坐标系是预先建立在图像中的，拍摄装置拍摄得到的图像通常都是矩形，那么就很容易建立图像坐标系了，例如，可以以图像的任意顶点为坐标原点，沿相邻的两边建立图像坐标系。又例如，还可以以图像的中心点为坐标原点，沿任意相邻两边的方向建立图像坐标系。

s7，获取显示屏的各顶点的世界坐标，根据全部像素坐标和全部世界坐标得到显示屏相对于拍摄装置的位姿信息。

需要说明的是，由于一般来说，显示屏的各顶点都在同一平面，所以可以以显示屏的中心为原点建立世界坐标系，显示屏所在的平面可以设为z＝0的平面，那么就可以容易获得显示屏各顶点的世界坐标。

优选地，可以利用pnp求解模型，将显示屏的各顶点的世界坐标和求出的各交点的像素坐标以一一对应的关系代入pnp求解模型，求得显示屏相对于拍摄装置的位姿信息。

在获取到显示屏相对于拍摄装置的位姿信息后，可以将位姿信息和各顶点的像素坐标发送给增强现实系统或混合现实系统的渲染场景中进行应用。

本实施例提供的一种显示屏的位姿计算方法，利用无辅助标记物的计算机视觉技术，通过对运动前景图像进行检测和识别，并结合显示屏各顶点的世界坐标获取显示屏的位姿，不需要对显示屏进行标记，就能完成对显示屏的锁定及显示屏相对拍摄装置的位姿估计，具有应用的灵活性大的优点，并且本发明是对运动前景图像进行检测，避免了基于标记的方法会因标记物识别不良导致算法失效的情形，在拍摄装置与显示屏之间的角度更大，距离更远时，依然能够准确识别，应用范围更广，例如，可以应用在增强现实系统中用于锁定显示屏的方位，或对显示屏进行定位定姿。

如图2所示，为本发明另一实施例提供的一种显示屏的位姿计算方法的流程示意图，该方法包括：

s1，通过拍摄装置获取显示屏的多帧运动前景图像。其中，拍摄装置可以为摄像机等具有拍摄功能的终端设备，显示屏可以为平板电脑、手机、显示器等具有显示屏的终端设备，多帧运动前景图像可以为在预定时间间隔内，以预定次数连续拍摄的多帧图像经运动场景检测后得到的多帧运动前景图像，例如，可以在1秒内连续拍摄10张显示屏的图像，经运动场景检测后得到10帧连续的运动前景图像。

优选地，通过拍摄装置获取显示屏的多帧运动前景图像，可以通过以下方法来实现：通过拍摄装置拍摄包含完整显示屏的多帧图像，然后对这多帧图像进行运动场景检测，例如，可以使用vibe算法，vibe算法是一种像素级的视频背景建模或前景检测算法，vibe算法采取随机的更新策略，在背景模型的更新上具有一定的优势，而且对硬件内存占用少。

具体地，步骤s1可以细化为以下步骤：

s11，通过拍摄装置拍摄包含完整显示屏的多帧图像。

s12，对这多帧图像进行运动场景检测，得到多帧运动前景图像。

需要说明的是，在拍摄装置获取显示屏的多帧运动前景图像之前，需要调整拍摄装置的位置和姿态，以使显示屏能够完全处于拍摄装置的视野中。

优选地，在获取显示屏的多帧运动前景图像之后，步骤s1还可以包括以下步骤：

s13，对每帧运动前景图像进行二值化处理和开运算处理。

例如，可以用灰度值为255的像素代表运动前景，灰度值为0的像素代表静态背景。

由于受光照等外部因素的影响，检测算法会误检测到一些噪点，扩大运动模型的范围，因此，可以采用3*3的模板对二值化后的运动前景图像进行开运算处理，以滤除零散的干扰点。

通过对每帧运动前景图像进行二值化处理和开运算处理，可以避免图像中的杂质、噪点等对图像效果的影响，可以滤除零散的干噪点，提高识别准确度。

s2，对多帧运动前景图像在显示屏的范围内进行扩大处理，使多帧运动前景图像贴近显示屏的边缘。

优选地，可以使用膨胀这种形态学操作，在本实施例中，为了使运动前景能够尽可能的贴近显示屏的边缘，可以采用膨胀区域的方法使原始图像上的运动前景扩大。为确保膨胀后新的运动区域不超过显示屏自身范围，可以使用10*10的运算模板。

优选地，可以当运动前景在扩大过程中，运动前景边缘首次接触到显示屏边缘时，可以认为此时运动前景贴近了显示屏的边缘，且运动前景仍在显示屏内。

s3，对扩大处理后的多帧运动前景图像进行凸包检测，并选取得到面积最大的凸包。也就是需要对每一帧的运动前景图像都进行凸包检测，得到每一帧的凸包，然后从这些帧中选取一个面积最大的凸包保留，这样做的好处是可以防止某些帧之间场景运动不明显的情况，便于后续的计算，这个面积最大的凸包和显示屏的边缘已经大致重合。

需要说明的是，由于运动场景结构由分离的情况，所以每帧运动前景图像检测到的凸包可能不止一个，这就需要在每帧运动前景图像检测到的凸包中，选择一个面积最大的凸包，作为该帧运动前景图像的凸包，然后再对全部帧运动前景图像检测到的凸包进行检测，选取其中面积最大的凸包，亦即和显示屏的显示区域大致重合的凸包。

优选地，对扩大处理后的多帧运动前景图像进行凸包检测可以细化为以下两个步骤：

首先，对扩大处理后的多帧运动前景图像进行轮廓检测，得到多帧运动前景图像的外部轮廓。

然后，对得到的全部外部轮廓进行凸包检测，得到多帧运动前景图像的凸包。

s4，根据凸包的全部凸包点与显示屏的各边缘的距离，将全部凸包点分成n组，其中，n为显示屏的边缘数量。

例如，当显示屏为三角形时，那么n就为3，由于凸包与显示屏的边缘已经大致重合，那么就可以将这些凸包点与3条边缘的距离分为三类，例如，可以将与某一边距离最近的分为一类。

又例如，当显示屏为矩形时，那么n就为4，由于凸包与显示屏的边缘已经大致重合，那么就可以将这些凸包点与4条边缘的距离分为4组，例如，可以将与某一边距离最近的分为一组，就可以分为与上边最近的凸包点组、与下边最近的凸包点组、与左边最近的凸包点组和与右边最近的凸包点组。

优选地，可以通过计算机识别各凸包点与显示屏各边缘的距离，进而将凸包点进行分组。

优选地，当显示屏为矩形时，可以以显示屏的左下顶点为坐标原点，以下边缘为x轴，以左边缘为y轴，建立平面直角坐标系。然后就可以通过ransac算法对所有凸包上的点进行归类，根据各凸包点与显示屏上下边缘和左右边缘的距离，将各凸包点初步分为与显示屏的左边缘或右边缘最近的左右点集，以及与显示屏的上边缘或下边缘最近的上下点集。

然后在上述两类点集的基础上，利用上下点集中所有点的y坐标值到过所有点的坐标中心点并且斜率与上下两类点组成直线的斜率相同的直线的距离将凸包点细分为两类即上边缘和下边缘；同样，利用左右点集中所有点x坐标值到过所有点的坐标中心点并且斜率与左右两类点组成直线的斜率相同的直线的距离将凸包点集再细分为两类即左边缘和右边缘，这样，就将所有的凸包点分成了靠近4个边缘的4组点。

基于同样的方法，也可以对其他形状的显示屏上的凸包点进行分组，在此不再赘述。

s5，分别对每组凸包点进行线性拟合，得到n组凸包点直线。

例如，当显示屏为矩形时，那么，凸包点就被分为4组，分别进行线性拟合后，就可以得到4组凸包点直线。

又例如，当显示屏为六边形时，那么，凸包点就被分为6组，分别进行线性拟合后，就可以得到6组凸包点直线。

s6，选取由全部凸包点直线组成的封闭图形中所包含的全部交点，得到全部交点的像素坐标。

需要说明的是，当显示屏为不规则的四边形或六边形等时，各条直线会在显示屏的范围外也形成封闭图形，然而只有贴合显示屏边缘的封闭图形包含了全部的凸包点直线和各凸包点直线两两相交形成的交点，这些交点就是显示屏的各顶点在图像中的位置。

其中，各交点像素坐标指的是各交点在图像坐标系中的坐标，图像坐标系是预先建立在图像中的，拍摄装置拍摄得到的图像通常都是矩形，那么就很容易建立图像坐标系了，例如，可以以图像的任意顶点为坐标原点，沿相邻的两边建立图像坐标系。又例如，还可以以图像的中心点为坐标原点，沿任意相邻两边的方向建立图像坐标系。

s7，获取显示屏的各顶点的世界坐标，根据全部像素坐标和全部世界坐标得到显示屏相对于拍摄装置的位姿信息。

需要说明的是，由于一般来说，显示屏的各顶点都在同一平面，所以可以以显示屏的中心为原点建立世界坐标系，显示屏所在的平面可以设为z＝0的平面，那么就可以容易获得显示屏各顶点的世界坐标。

优选地，可以利用pnp求解模型，将显示屏的各顶点的世界坐标和求出的各交点的像素坐标以一一对应的关系代入pnp求解模型，求得显示屏相对于拍摄装置的位姿信息。

具体地，可以包括以下步骤：

s71，获取显示屏的各顶点的世界坐标。

s72，根据pnp求解模型对全部的像素坐标和全部的世界坐标进行处理，得到显示屏相对于拍摄装置的位姿。

在获取到显示屏相对于拍摄装置的位姿信息后，可以将位姿信息和各顶点的像素坐标发送给增强现实系统或混合现实系统的渲染场景中进行应用。

本实施例提供的一种显示屏的位姿计算方法，利用无辅助标记物的计算机视觉技术，通过对运动前景图像进行检测和识别，并结合显示屏各顶点的世界坐标获取显示屏的位姿，不需要对显示屏进行标记，就能完成对显示屏的锁定及显示屏相对拍摄装置的位姿估计，具有应用的灵活性大的优点，并且本发明是对运动前景图像进行检测，避免了基于标记的方法会因标记物识别不良导致算法失效的情形，在拍摄装置与显示屏之间的角度更大，距离更远时，依然能够准确识别，应用范围更广，例如，可以应用在增强现实系统中用于锁定显示屏的方位，或对显示屏进行定位定姿。

如图3所示，为本发明另一实施例提供的一种显示屏2的位姿计算系统1的结构框架图，位姿计算系统1用于拍摄包含完整显示屏2的图像，该系统包括：

拍摄装置11，用于获取显示屏2的多帧运动前景图像。

图像处理单元12，用于对多帧运动前景图像进行扩大处理，使多帧运动前景图像贴近显示屏2的边缘。

凸包检测单元13，用于对扩大处理后的多帧运动前景图像进行凸包检测，并选取得到面积最大的凸包。

凸包处理单元14，用于根据凸包的全部凸包点与显示屏2的各边缘的距离，将全部凸包点分成n组，其中，n为显示屏2的边缘数量。

坐标计算单元15，用于分别对每组凸包点进行线性拟合，得到多组凸包点直线，并选取各组凸包点直线围成的包含全部凸包点直线的图形中所包含的全部交点，得到全部交点的像素坐标。

位姿计算单元16，用于获取显示屏2的各顶点的世界坐标，根据全部像素坐标和全部世界坐标得到显示屏2相对于拍摄装置的位姿。

进一步地，图像处理单元12还用于对每帧运动前景图像进行二值化处理和开运算处理。

进一步地，凸包检测单元13具体用于对扩大处理后的多帧运动前景图像进行轮廓检测，得到多帧运动前景图像的外部轮廓，并对得到的全部外部轮廓进行凸包检测，得到多帧运动前景图像的凸包。

进一步地，凸包处理单元14具体用于根据凸包的全部凸包点与显示屏2的各边缘的距离以及预存的ransac算法，将全部凸包点分成n组。

进一步地，位姿计算单元15具体用于获取显示屏2的各顶点的世界坐标，并根据pnp求解模型对全部的像素坐标和全部的世界坐标进行处理，得到显示屏2相对于拍摄装置的位姿。

本实施例提供的一种显示屏2的位姿计算系统1，利用无辅助标记物的计算机视觉技术，通过对运动前景图像进行检测和识别，并结合显示屏2各顶点的世界坐标获取显示屏2的位姿，不需要对显示屏2进行标记，就能完成对显示屏2的锁定及显示屏2相对拍摄装置11的位姿估计，具有应用的灵活性大的优点，并且本发明是对运动前景图像进行检测，避免了基于标记的方法会因标记物识别不良导致算法失效的情形，在拍摄装置11与显示屏2之间的角度更大，距离更远时，依然能够准确识别，应用范围更广，例如，可以应用在增强现实系统中用于锁定显示屏2的方位，或对显示屏2进行定位定姿。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。