基于深度学习的图像识别方法与流程

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的图像识别方法。

背景技术：

在智能家装设计领域，随着互联网技术与人工智能技术的飞速发展，各种线上体验需求激增，不管是在自动布局方面，还是三维重建方面，户型图元素自动提取都具有重要的现实意义。建筑平面户型图中信息的理解可以准确地表达真实场景的几何和语义信息，这些几何和语义信息通常包括：房间的区域信息、门窗的位置以及对象的几何布置信息；为此，对平面户型图中几何、语义信息的识别成为当前研究的热点。

户型图中信息的理解可以通过人工标注的方法也可以通过图像自动识别技术；人工标注的方法通常是采用纯人工的方法或者简单的借助一些制图工具，工作效率极其低下，浪费大量的人力、物力资源，远远不能满足批量化生产的任务。现有技术中提供两种自动识别户型图的方法，第一种是采用传统的opencv模型检测户型图中直线的方法来识别，第二种是采用深度学习技术。第一种方法的缺点是精确度低，并且无法同时识别多种类型的户型图，通常需要手动调整一些超参数才能识别，通用性差；第二种方法的深度学习技术当前最流行的图像识别技术，但是目前应用在户型图识别方面的算法还是有所欠缺，户型图识别之前需要对户型图做大量的预处理工作，算法对户型图本身的质量要求过高；同时由于技术单一直接导致识别算法实时性差、硬件要求高、可扩展性不强，精确度无法满足用户的使用需求。

技术实现要素：

(一)要解决的技术问题

鉴于现有技术的上述缺点、不足，本发明提供一种基于深度学习的图像识别方法，其解决了现有技术中户型图识别结果精度不高，识别过程计算复杂且扩展性差的问题。

(二)技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

第一方面，本发明实施例提供一种基于深度学习的图像识别方法。

s1、获取待识别的户型图的角点信息和字符信息，并将所述角点信息输入到二次规划模型中，获取墙线和门窗的连接信息；

所述二次规划模型为预先建立的、包括多个对应角点连接规则、墙线与门窗的位置关系的约束条件的模型；

s2、将所述墙线和门窗的连接信息输入到图论优化模型中，获取所述户型图中各房间区域的区域构成信息；

所述图论优化模型为预先建立的，基于图论知识改进的graham算法模型；

s3、将所述字符信息和所述区域构成信息进行匹配，获取识别结果。

可选地，所述s1中的获取待识别的户型图的角点信息，包括：

将待识别的户型图输入训练好的神经网络中，获取角点信息；

所述神经网络为预先采用标注的户型图数据进行训练获得的网络。

可选地，所述角点信息包括：

墙线的角点类型、门窗的角点类型以及角点位置信息；

和/或，

所述识别结果包括：户型图中房间的区域构成、房间名称、房间面积大小、门和窗的位置、比例尺信息。

可选地，所述s1中的获取待识别的户型图的字符信息，包括：

基于ocr识别技术识别所述待识别的户型图中的字符信息。

可选地，所述墙线和门窗的连接信息包括：构成墙线的两个角点之间的连线关系、构成门或窗的两个角点之间的连线关系；

对应角点连接规则的约束条件包括：

如果两个角点中包含的若干个方向有相互指向的两个方向出现，则能够连接，否则不能连接；

如果两个角点连线方向近似于预定义的四种直线中的任何一种则能够连接，否则不能连接；

对应墙线与门窗的位置关系的约束条件包括：

门或窗的角点连接结果必须在墙线上，否则调整墙线连接关系或者调整门窗连接关系，最终连接结果要保证门和窗必须在墙线上面。

可选地，所述区域构成信息包括：构成房间顺时针或逆时针墙线的起点和终点的点集合、门窗的起点信息、门窗的终点信息、门窗的分类信息。

可选地，所述s1之前，还包括：

建立包括多个墙线、门窗、角点的约束条件的二次规划模型和建立图论优化模型。

可选地，所述s1中将所述角点信息输入到二次规划模型中，获取墙线和门窗的连接信息包括：

将神经网络输出的角点信息输入到预先定义的二次规划模型中，借助于二次规划模型中的损失函数进行迭代优化，获得输出的墙线和门窗的连接信息；

其中，损失函数的自变量对应约束条件中的角点变量和角点之间的连接关系，存在连接关系，则定义为1，否则定义为0；

迭代优化的过程就是不断调整墙线和门窗的连接方式的过程，以保证损失函数最小；

和/或，

所述s2包括：

基于墙线和门窗的连接信息，抽象墙线和门窗的连接关系，将墙线和门窗的起点、终点作为顶点；

改进graham算法，在顶点中加入点与点之间的连接关系，并定义新的搜索规则，构成改进后的graham算法；

将抽象的墙线和门窗的连接关系、顶点输入到改进后的graham算法，获得搜索的户型图中各房间区域的区域构成信息；

区域构成信息包括：房间区域的坐标点信息和门窗的起点、终点信息以及门窗的分类信息。

第二方面，本发明还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的基于深度学习的图像识别方法的步骤。

第三方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面任一项所述的基于深度学习的图像识别方法的步骤。

(三)有益效果

本发明的有益效果是：本发明的方法借助于神经网络获取户型图中墙线和门窗的角点信息，对角点信息进行二次规划得到墙线和门窗的连接信息，把连接信息进行图论线性规划得到具体的区域信息、门窗的起点和终点信息，最后结合户型图的区域信息和ocr识别出来的字符信息做优化匹配，可较好的获得识别结果，节约了大量的人工成本，完全满足实时性要求，最重要的是准确率得到了极大的提高。

在本申请中，采用深度学习技术、二次规划模型、图论线性优化模型和ocr识别等一系列技术，首先，结合注意力机制搭建深层次神经网络模型，通过对大量标注数据进行训练得到神经网络模型，进而对未知的户型图直接输入训练后的神经网络模型预测出户型图角点类型；其次，把神经网络识别出来的角点类型全部输入定义好的二次规划模型，通过二次规划模型的优化理论得到角点之间的连接信息；再次通过图论优化模型中大量图论知识对角点之间的连接信息进行区域分类，得到包括区域分类结果、门窗信息的区域构成信息；最后，通过ocr识别技术识别出未知户型图中的字符信息，再结合前面获取的区域构成信息进行位置和区域名称匹配。

本实施例的识别方法可以识别各种角点类型的户型图，其角点类型可以在神经网络模型训练阶段实现扩充，进而在应用中具有很强的扩展性。也就是说，方便角点类型的扩充，可以用来识别各种类型的角点类型(如直线角点、斜线角点)，同时可以识别不同风格类型的户型图。

需要说明的是，训练神经网络时采用注意力机制模型，由此，提取角点特征能力更强，最终识别准确率得到很大提高。

上述的二次规划模型由一系列约束条件构成，这些约束条件主要是角点的连接规则以及墙线、门窗的位置关系组成；二次规划模型规划速度很快，可以在毫秒级完成，完全满足实时需求。

附图说明

图1为本发明一实施例提供的基于深度学习的图像识别方法的流程示意图；

图2为本发明抽象出来的墙线和门窗的角点类型；

图3为本发明基于注意力机制的深层神经网络模型训练流程图；

图4为本发明另一实施例提供的基于深度学习的户型图识别方法流程示意图；

图5为本发明一实施例提供的电子设备的结构示意图。

具体实施方式

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

实施例一

如图1所示，图1示出了本发明一实施例提供的基于深度学习的图像识别方法的流程图，本实施例的方法的执行主体是任一具有计算处理能力的电子设备，方法具体包括下述步骤：

s1、获取待识别的户型图的角点信息和字符信息，并将所述角点信息输入到二次规划模型中，获取墙线和门窗的连接信息。

举例来说，连接信息可包括构成墙线的两个端点的连线、构成门或窗图标的两个端点之间的连线。

所述二次规划模型预先建立的、包括多个对应角点连接规则、墙线与门窗的位置关系的约束条件的模型。例如，对应角点连接规则的约束条件包括：如果两个角点中包含的若干个方向有相互指向的两个方向出现，则能够连接，否则不能连接；如果两个角点连线方向近似于预定义的四种直线中的任何一种则能够连接，否则不能连接；

对应墙线与门窗的位置关系的约束条件包括：门或窗的角点连接结果必须在墙线上，否则调整墙线连接关系或者调整门窗连接关系，最终连接结果要保证门和窗必须在墙线上面。

举例来说，可通过训练好的神经网络获取待识别的户型图的角点信息。可通过ocr识别技术识别户型图中的字符信息等。

s2、将所述墙线和门窗的连接信息输入到图论优化模型中，获取所述户型图中各房间区域的区域构成信息。

举例来说，区域构成信息可包括：构成房间顺时针或逆时针墙线的起点和终点的点集合、门窗的起点信息、门窗的终点信息、门窗的分类信息。

其中，所述图论优化模型为预先建立的，基于图论知识改进的graham算法模型。

s3、将所述字符信息和所述区域构成信息进行匹配，获取识别结果。

举例来说，所述识别结果可包括：户型图中房间的区域构成、房间名称、房间面积大小、门和窗的位置、比例尺信息等。

举例来说，可预先获取户型图中的比例尺，并对获取的比例尺进行校正(可以自动校正或人工校正)，获取准确的、完整的比例尺信息。

然后，将户型区域和字符信息匹配，例如，对ocr识别的结果进行筛选、整理和矫正；然后根据比例尺信息、户型区域信息和ocr整理结果进行最优化匹配。

在具体应用中，可通过比例尺和房间区域像素信息可以得到房间区域的面积大小，然后和ocr识别的房间面积做比较。如果相差太大，说明计算的房间区域不是对应的ocr识别出来的房间位置，或者是几个房间构成的共同区域(比如客厅、门厅)，这样的结果就需要调整匹配信息。

本实施例的方法中涉及到深度学习、二次规划问题、图论线性规划和ocr识别等一系列技术。在实际应用过程中只需把待识别的二维户型图通过上述举例的神经网络模型，得到户型图中墙线和门窗的角点信息，对角点信息进行二次规划得到墙线和门窗的连接信息，把连接信息进行图论线性规划得到具体的区域信息、门窗的起点和终点信息，最后结合户型图的区域信息和ocr识别出来的字符信息做优化匹配；其可扩展性强，可以用来识别各种角点类型、风格类型的二维户型图，节约了大量的人工成本，完全满足实时性要求，最重要的是准确率得到了极大的提高。

在一种可选的方式中，在执行前述图1的方法中的步骤s1之前，方法还包括下述的图中未示出的步骤a1：

a1：训练神经网络模型。

例如，可获取训练集，训练集中的每一个户型图数据可为预先手工标注的户型图数据，例如标注墙线和门窗的角点类型。

将上述训练集中的数据输入选定参数的神经网络模型进行训练，不断调整参数，直至收敛，进而获得训练后的神经网络模型。

训练集中的每一个户型图数据可包括：

预先标注户型图中的墙线和门窗，用线段表示墙线和门窗标注数据；

整理标注数据，并计算角点的类型，作为输入神经网络模型的标签数据。

在具体应用中，将待识别的户型图输入训练好的神经网络模型中，得到户型图中墙线、门窗的角点信息。即，通过神经网络模型处理所述户型图，得到户型图中墙线、门窗等的角点类型和角点位置信息。

如图2所示，将户型图中墙线和门窗的角点抽象成图2中所示的几种角点类型。图2中仅仅示出一些角点类型，本实施例并不限定角点类型，可以在训练神经网络模型的阶段，对角点类型进行扩充，由此，本申请的方法可以较好的实现扩展性，且可以识别各种风格的户型图。

特别说明的是，输入神经网络模型的每一个户型图不需要任何预处理操作，原图输入即可。

进一步地，如图3所示，图3示出了训练过程的示意图，在训练过程中，可首先获取人工手动标注的各种数据的信息，然后，将其作为训练集输入神经网络模型进行训练，直至神经网络模型收敛，进而获得收敛后的神经网络模型的参数信息，输出训练后的神经网络模型。

需要说明的是，在训练过程中，本申请可应用基于注意力机制的方式进行训练，即，通过快速扫描全局图像，获得需要重点关注的目标区域/注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。

在训练过程中，利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，可以极大地提高视觉信息处理的效率与准确性。

由此，在训练神经网络模型的过程中使用注意力机制，可以提高神经网络模型的处理速度和处理准确率。

在第二种可选的方式中，在执行前述图1的方法中的步骤s1之前，方法还包括下述的图中未示出的步骤a2：

a2：建立二次规划模型。

也就是说，定义一个二次规划模型，该模型由一系列约束条件构成，这些约束条件主要是角点的连接规则以及墙线、门窗的位置关系组成。

举例来说，角点的连接规则定义：这里以角点最多含有8个方向类型(米字型)说明，每个角点都包含8个方向中的若干个，每个角点的连接方式只能有水平、垂直、45度斜线和135度斜线四个方向；

本实施例中角点连接规则包括：如果两个角点中包含的若干个方向有相互指向的两个方向出现可以连接，否则不能连接；如果两个角点连线方向近似于预定义中四种直线中的任何一种可以连接，否则不能连接；墙线与门窗的位置关系定义为：门或窗的角点连接结果必须要在墙线上，否则调整墙线连接关系或者调整门窗连接关系，最终结果要保证门和窗必须在墙线上面。

在应用二次规划模型的时候，即将上述神经网络输出的角点信息输入到预先建立的二次规划模型中，经过迭代优化直接输出墙线和门窗的连接信息。

其中，二次规划模型中损失函数的自变量是上面约束条件中的角点变量和角点之间的连接关系(有连接为1，否则为0)，损失函数是衡量角点不能正确连接的一个损失值。迭代优化的过程：不断调整墙线和门窗的连接方式保证损失函数最小的过程。本实施例中迭代优化的过程其时间极短，平均0.003秒，由此，可以满足识别过程中的实时要求。即本实施例中二次规划模型在处理户型图的过程中规划速度很快，可以在毫秒级完成，提升用户的体验性。

在第三种可选的方式中，在执行前述图1的方法中的步骤s2之前，方法还包括下述的图中未示出的步骤a3：

a3：建立图论优化模型。

所述图论优化模型为预先建立的，基于图论知识改进的graham算法模型。

单纯的graham算法模型基本思想是先找到凸包上的一个点，然后从那个点开始按逆时针方向逐个找凸包上的点，实际上就是进行极角排序，然后对其查询使用；这里本实施例中用graham算法模型扫描的点不仅仅是点的坐标信息还包括点之间的连接信息，通过一个点搜索另外一个点的时候要考虑这两个点之间是否有连接关系，没有连接关系的点不能参与搜索。

相应地，s2的步骤可包括：

首先，抽象墙线和门窗为连接关系，墙线和门窗的起点和终点为顶点。

其次，根据graham算法基本原理，在顶点中加入点与点之间的连接关系，重新定义搜索规则，构成新的graham算法；即通过对现有graham算法的改进包括，在顶点中加入点与点之间的连接关系，重新定义搜索规则。

再者，把抽象过的墙线和门窗数据(如连接关系和顶点等)输入到新的graham算法，返回房间区域的坐标点信息和门窗的起点、终点信息以及门窗的分类信息。

可理解的是，新的graham算法具体实现步骤可包括：

l1.先找墙线点集的凸包点；

l2.在凸包点中随机选取一点(凸包点肯定在外轮廓上)；

l3.按照顺时针方向，按照直线查找最左边的直线加入，端点(即直线的起点和/或终点)迭代，该过程中如果某条直线的另外一个端点没有连接其它的直线(即沿着外墙上某一点向外延伸单独形成一道墙的)，直线加入，端点返回，沿着该端点所在的其它直线继续搜索，直到查找点回到原点。至此，走过的路径即为最外轮廓。

或者，搜索房间区域时，可按照逆时针方向，按照直线查找最左边的直线加入，端点迭代，该过程中如果某条直线的另外一个端点没有连接其它的直线(即沿着外墙上某一点向外延伸单独形成一道墙的)，直线加入，端点返回，沿着该端点所在的其它直线继续搜索，直到查找点回到原点。

需要说明的是，本申请实施例中的点包括如图2中所示的角点类型中的角点信息，顶点指二维户型图中的二维点坐标，包括如图2中所示的角点的二维点坐标。

本实施例的方法可以用来识别各种类型的二维户型图，节约了大量的人工成本，完全满足实时性要求，最重要的是准确率得到了极大的提高。

实施例二

如图4所示，本实施例的基于深度学习的图像识别方法可包括如下的步骤：

步骤01：将待识别的二维户型图输入到训练后的神经网络，然后得到角点信息。

需要说明的是，该训练后的神经网络可以是图3中进行训练获得的神经网络。

步骤02：将神经网络输出的角点信息输入到二次规划模型中，得到角点之间的连接信息模型。

本实施例中的二次规划模型可为包括多个约束条件的模型。

步骤03：将连接信息输入到图论优化模型，得到连通区域信息、门窗信息对应的区域构成信息即房间的区域构成信息。

需要说明的是，图论优化模型为预先建立的，基于图论知识改进的graham算法。

步骤04：将待识别的二维户型图输入到ocr识别模型中，得到二维户型图中的字符信息；

步骤05：将房间的区域构成信息和户型图中字符信息进行匹配，输出最终识别结果。

本实施例的方法可以用来识别各种类型的二维户型图，节约了大量的人工成本，完全满足实时性要求，最重要的是准确率得到了极大的提高。

需要说明的是，在步骤05中，将房间的区域构成信息和户型图中字符信息进行匹配之前，可先对识别的字符信息中的比例尺信息进行自动校正，具体的校正过程可说明如下：

步骤p1、针对待处理的户型图，采用ocr识别方式获取所述户型图中所有字符的字符信息。

在实施例中，字符信息可包括：文字字符、文字字符的位置信息、数字字符、数字字符的位置信息、各房间的面积信息等。

步骤p2、从所述户型图中分割出比例尺区域，根据所述字符信息和所述比例尺区域，获取第一种处理方式对应的比例尺值一s1。

举例来说，该步骤p2可包括下述的子步骤：

p2-1、根据比例尺信息的分布特性，在所述户型图中分割出含有比例尺信息的区域图像作为比例尺区域，根据比例尺区域将所述字符信息中属于比例尺区域的字符信息进行转换，获取转换后的比例尺区域的字符信息。

通常，户型图中的比例尺绘制在户型图的四周，区域背景一般比较单调，很少有较复杂的干扰出现，由线段和该线段对应的真实长度组成。

为此，本实施例中，可从户型图中分割出四周区域作为比例尺区域。

p2-2、结合转换后的比例尺区域的字符信息，在比例尺区域中识别出标识刻度；并根据识别的标识刻度，获取所述比例尺值一s1。

步骤p3、根据所述户型图中各房间区域信息，获取第二种处理方式对应的比例尺值二s2。

举例来说，该步骤p3可具体实现如下：

p3-1、根据每一个连通区域的像素个数和该连通区域的实际面积信息，采用公式二获取一组比例尺值二的阵列；

公式二为：比例尺值二＝sqrt(区域实际面积大小/区域总像素个数)；

每一连通区域为所述户型图中预先确定的每一个房间区域，所述连通区域的实际面积信息为字符信息中各房间的面积信息；

p3-2、采用格拉布斯准则法，剔除一组比例尺值二的阵列中的异常值，对筛选后的数据求平均值，得到所述户型图中的比例尺值二。

步骤p4、采用所述比例尺值二校正所述比例尺值一，获取最终确定的比例尺值。

具体地，校正过程可包括：判断比例尺值一和比例尺值二是否都不为零，若比例尺值一为零，则将比例尺值二作为最终的比例尺值；若比例尺值二为零，则将比例尺值一作为最终的比例尺值；

否则，判断比例尺值一和比例尺值二的误差是否小于预设阈值，若是，则将比例尺值一作为最终的比例尺值，否则，重新获取比例尺值一，重复p4中判断的过程。

本实施例的方法采用图像处理技术、数据精度处理技术、数据矫正方法和ocr识别技术对户型图进行处理，其借助于ocr技术和图像技术获取比例尺值一，借助于户型图中的房间的信息获取比例尺值二，进而根据比例尺值二校正比例尺值一，由此，可以较好的获取精度更高的比例尺值，采用精度高的比例尺值实现对字符信息的校正，由此，可以准确率更好的户型图的识别结果。

实施例三

另外，图5是本发明实施例提供的电子设备的结构示意图。该移动设备可以是移动终端、ipad、计算机等。上述图1和图4所描述的方法可由电子设备来实现。

图5所示的移动设备可包括：至少一个处理器61、至少一个存储器62、至少一个网络接口64和其他的用户接口63。移动设备中的各个组件通过总线系统65耦合在一起。可理解，总线系统65用于实现这些组件之间的连接通信。总线系统65除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为总线系统65。

其中，用户接口63可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)或者触感板等。

可以理解，本实施例中的存储器62可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。在一些实施方式中，存储器62存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统621和应用程序622。

其中，操作系统621，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序622，包含各种应用程序，例如媒体播放器(mediaplayer)、浏览器(browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序622中。

在本发明实施例中，处理器61通过调用存储器62存储的程序或指令，具体的，可以是应用程序622中存储的程序或指令，处理器61用于执行第一方面所提供的方法步骤，例如包括以下步骤：

获取待识别的户型图的角点信息和字符信息，并将所述角点信息输入到二次规划模型中，获取墙线和门窗的连接信息；

所述二次规划模型预先建立的、包括多个对应角点连接规则、墙线与门窗的位置关系的约束条件的模型；

将所述墙线和门窗的连接信息输入到图论优化模型中，获取所述户型图中各房间区域的区域构成信息；

所述图论优化模型为预先建立的，基于图论知识改进的graham算法；

将所述字符信息和所述区域构成信息进行匹配，获取识别结果。

上述本发明实施例揭示的方法可以应用于处理器61中，或者由处理器61实现。处理器61可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器62，处理器61读取存储器62中的信息，结合其硬件完成上述方法的步骤。

另外，结合上述实施例中的基于深度学习的图像识别方法，本发明实施例可提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上方法实施例中的任意一种基于深度学习的图像识别方法。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspdevice，dspd)、可编程逻辑设备(pld)、现场可编程门阵列(fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，方法实施例的步骤之间除非存在明确的先后顺序，否则执行顺序可任意调整。所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。