前景图像的获取方法及装置与流程

本公开涉及计算机技术领域，特别涉及一种前景图像的获取方法及装置。

背景技术：

一般来说，人们在拍摄图像时，距离想要拍摄的目标人或物比较近，拍摄出的目标人或物一般处于图像的前景中。有时，人们可能只关心图像中的前景，例如，拍摄包括目标人物的图像，只获取图像中目标人物的影像，以更换不同的背景图像等。在相关技术中，一般采用单目相机拍摄图像，根据图像中像素点的颜色值确定图像中的前景区域，然后，将前景图像从图像中分割出来。但是，算法较为复杂，计算速度较慢，并且，对于纹理和色彩比较复杂的图像来说，前景图像分割的准确度低，效果比较差。

技术实现要素：

为了解决上述技术问题，本公开提供一种前景图像的获取方法及装置。

根据本公开实施例的第一方面，提供一种前景图像的获取方法，包括：

获取由双目摄像设备采集的主图像及每一帧所述主图像所对应的辅助图像；

针对所述主图像中的像素点，从对应的辅助图像中查找出匹配的像素点；

基于所述匹配的像素点确定所述主图像中的像素点对应的深度，所述深度为所述主图像中的像素点对应的实物区域到摄像设备镜头的距离；

根据所述深度从所述主图像中提取前景图像。

可选的，所述针对所述主图像中的像素点，从对应的辅助图像中查找出匹配的像素点，包括：

获取所述主图像中的像素点与辅助图像中匹配的像素点的映射关系；

根据所述映射关系从所述辅助图像中查找出与所述主图像中的像素点匹配的像素点。

可选的，所述获取所述主图像中的像素点与辅助图像中匹配的像素点的映射关系，包括：

获取参考像素点，所述参考像素点为所述主图像中的部分像素点；

获取所述参考像素点在所述主图像中的第一位置信息；

从所述辅助图像中查找出与所述参考像素点匹配的像素点；

获取所述参考像素点匹配的像素点在所述辅助图像中的第二位置信息；

根据所述第一位置信息以及第二位置信息确定所述主图像中的像素点与辅助图像中匹配的像素点的映射关系。

可选的，所述获取参考像素点，包括：

获取所述主图像中的像素点对应的颜色值或者灰度值的梯度大小；

将所述主图像中梯度大小满足预定条件的像素点作为参考像素点。

可选的，所述将所述主图像中梯度大小满足预定条件的像素点作为参考像素点，包括以下一项或多项：

将所述主图像中对应的梯度为零的像素点作为参考像素点；

按照对应的梯度从大到小的顺序对所述主图像中的像素点进行排列，将前预定个数的像素点作为参考像素点。

可选的，针对每个所述的参考像素点，通过如下方式从所述辅助图像中查找出与该参考像素点匹配的像素点：

获取该参考像素点在所述主图像中的纹理特征；

将辅助图像中与该参考像素点位于相同行的像素点作为备选像素点；

遍历所述备选像素点，以获取每个备选像素点与该参考像素点的纹理特征的第一相似度和颜色的第二相似度；

将第一相似度与第二相似度的和最大的备选像素点作为与该参考像素点匹配的像素点。

可选的，所述根据所述第一位置信息以及第二位置信息确定所述主图像中的像素点与辅助图像中匹配的像素点的映射关系，包括：

根据所述第一位置信息生成所述参考像素点的第一矢量表达式；

根据所述第二位置信息生成所述辅助图像中匹配的像素点的第二矢量表达式；

计算从所述第一矢量表达式转换到所述第二矢量表达式的转换矩阵，所述转换矩阵用于表达所述映射关系。

可选的，所述根据所述深度从所述主图像中提取前景图像，包括：

将所述主图像中对应的深度小于或者等于预定深度的像素点构成的图像作为前景图像；

提取所述前景图像。

根据本公开实施例的第二方面，提供一种前景图像的获取装置，包括：

获取模块，被配置为获取由双目摄像设备采集的主图像及每一帧所述主图像所对应的辅助图像；

查找模块，被配置为针对所述获取模块获取的主图像中的像素点，从对应的辅助图像中查找出匹配的像素点；

确定模块，被配置为基于所述查找模块查找出的匹配的像素点确定所述主图像中的像素点对应的深度，所述深度为所述主图像中的像素点对应的实物区域到摄像设备镜头的距离；

提取模块，被配置为根据所述确定模块确定的所述深度从所述主图像中提取前景图像。

可选的，所述查找模块包括：

获取子模块，被配置为获取所述主图像中的像素点与辅助图像中匹配的像素点的映射关系；

查找子模块，被配置为根据所述获取子模块获取的所述映射关系从所述辅助图像中查找出与所述主图像中的像素点匹配的像素点。

可选的，所述获取子模块包括：

像素点获取子模块，被配置为获取参考像素点，所述参考像素点为所述主图像中的部分像素点；

第一位置获取子模块，被配置为获取所述像素点获取子模块获取的所述参考像素点在所述主图像中的第一位置信息；

像素点查找子模块，被配置为从所述辅助图像中查找出与所述参考像素点匹配的像素点；

第二位置获取子模块，被配置为获取所述像素点获取子模块获取的所述参考像素点匹配的像素点在所述辅助图像中的第二位置信息；

映射关系获取子模块，被配置为根据所述第一位置获取子模块获取的所述第一位置信息以及第二位置获取子模块获取的所述第二位置信息确定所述主图像中的像素点与辅助图像中匹配像素的点的映射关系。

可选的，所述像素点获取子模块包括：

梯度获取子模块，被配置为获取所述主图像中的像素点对应的颜色值或者灰度值的梯度大小；

像素点确定子模块，被配置为将所述主图像中梯度大小满足预定条件的像素点作为参考像素点。

可选的，所述像素点确定子模块被配置用于以下一项或多项：

将所述主图像中对应的梯度为零的像素点作为参考像素点；

按照对应的梯度从大到小的顺序对所述主图像中的像素点进行排列，将前预定个数的像素点作为参考像素点。

可选的，所述像素点查找子模块包括：纹理特征获取子模块，备选子模块，遍历子模块，确定子模块；

针对每个所述的参考像素点：

纹理特征获取子模块，被配置为获取该参考像素点在所述主图像中的纹理特征；

备选子模块，被配置为将辅助图像中与该参考像素点位于相同行的像素点作为备选像素点；

遍历子模块，被配置为遍历所述备选子模块选取的所述备选像素点，以获取每个备选像素点与该参考像素点的纹理特征的第一相似度和颜色的第二相似度；

确定子模块，被配置为将第一相似度与第二相似度的和最大的备选像素点作为与该参考像素点匹配的像素点。

可选的，所述映射关系获取子模块被配置用于：

根据所述第一位置信息生成所述参考像素点的第一矢量表达式；

根据所述第二位置信息生成所述辅助图像中匹配的像素点的第二矢量表达式；

计算从所述第一矢量表达式转换到所述第二矢量表达式的转换矩阵，所述转换矩阵用于表达所述映射关系。

可选的，所述提取模块包括：

选取子模块，被配置为将所述主图像中对应的深度小于或者等于预定深度的像素点构成的图像作为前景图像；

提取子模块，被配置为提取所述选取子模块选取出的所述前景图像。

根据本公开实施例的第三方面，提供一种前景图像的获取装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取由双目摄像设备采集的主图像及每一帧所述主图像所对应的辅助图像；

针对所述主图像中的像素点，从对应的辅助图像中查找出匹配的像素点；

基于所述匹配的像素点确定所述主图像中的像素点对应的深度，所述深度为所述主图像中的像素点对应的实物区域到摄像设备镜头的距离；

根据所述深度从所述主图像中提取前景图像。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开的实施例提供的前景图像的获取方法，通过获取由双目摄像设备采集的主图像及每帧主图像所对应的辅助图像，针对主图像中的像素点，从对应的辅助图像中查找出匹配的像素点，基于匹配的像素点确定主图像中的像素点对应的深度，根据深度从主图像中提取前景图像。由于算法较为简单，从而提高了计算速度，并且，提高了前景图像分割的准确度。

本公开的实施例提供的前景图像的获取方法，通过获取主图像中的像素点与辅助图像中匹配的像素点的映射关系，并根据映射关系从辅助图像中查找出与主图像中的像素点匹配的像素点，从而可以基于匹配的像素点确定主图像中的像素点对应的深度，并根据深度从主图像中提取前景图像。使得算法更加简单，进一步提高了计算速度，并且，提高了前景图像分割的准确度。

本公开的实施例提供的前景图像的获取方法，可以根据参考像素点在主图像中的第一位置信息以及与参考像素点匹配的像素点在辅助图像中的第二位置信息，确定主图像中的像素点与辅助图像中匹配的像素点的映射关系。从而可以基于该映射关系从辅助图像中查找出与主图像中的像素点匹配的像素点。并基于匹配的像素点确定主图像中的像素点对应的深度，根据深度从主图像中提取前景图像。进一步提高了计算速度以及前景图像分割的准确度。

本公开的实施例提供的前景图像的获取方法，可以获取主图像中的像素点对应的颜色值或者灰度值的梯度大小，并将主图像中梯度大小满足预定条件的像素点作为参考像素点。从而可以基于参考像素点获取主图像中的像素点与辅助图像中匹配的像素点的映射关系，基于该映射关系从辅助图像中查找出与主图像中的像素点匹配的像素点。并基于匹配的像素点确定主图像中的像素点对应的深度，根据深度从主图像中提取前景图像。进一步提高了计算速度以及前景图像分割的准确度。

本公开的实施例提供的前景图像的获取方法，可以通过参考像素点在主图像中的纹理特征以及颜色特征，从备选像素点中查找出相似度最大的像素点作为与该参考像素点匹配的像素点，有助于提高计算速度以及前景图像分割的准确度。

本公开的实施例提供的前景图像的获取方法，可以将主图像中对应的深度小于或者等于预定深度的像素点构成的图像作为前景图像，提取前景图像。从而有助于提高计算速度以及前景图像分割的准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1A是本公开根据一示例性实施例示出的一种前景图像的获取方法的流程图；

图1B是本公开根据一示例性实施例示出的一种双目摄像设备成像的示意图；

图1C是本公开根据一示例性实施例示出的另一种双目摄像设备成像的示意图；

图2A是本公开根据一示例性实施例示出的另一种前景图像的获取方法的流程图；

图2B是本公开根据一示例性实施例示出的一种从辅助图像中查找出与参考像素点匹配的像素点的方法的流程图；

图3是本公开根据一示例性实施例示出的一种前景图像的获取装置的框图；

图4是本公开根据一示例性实施例示出的另一种前景图像的获取装置的框图；

图5是本公开根据一示例性实施例示出的另一种前景图像的获取装置的框图；

图6是本公开根据一示例性实施例示出的另一种前景图像的获取装置的框图；

图7是本公开根据一示例性实施例示出的另一种前景图像的获取装置的框图；

图8是本公开根据一示例性实施例示出的另一种前景图像的获取装置的框图；

图9是本公开根据一示例性实施例示出的一种前景图像的获取装置的一结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在…...时”或“当…...时”或“响应于确定”。术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。

需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解所述术语的具体含义。

如图1A所示，图1A是根据一示例性实施例示出的一种前景图像的获取方法的流程图，该方法可以应用于终端设备或者服务器中。本领域技术人员可以理解，该终端设备可以包括但不限于诸如智能手机的移动终端设备、智能穿戴式设备、平板电脑、个人数字助理、膝上型便携计算机以及台式电脑等等。该方法包括以下步骤：

在步骤101中，获取由双目摄像设备采集的主图像及每一帧主图像所对应的辅助图像。

在本实施例中，该方法的执行主体可以是终端设备，也可以是服务器。当执行主体是终端设备时，终端设备自身可以携带双目摄像设备，也可以不携带双目摄像设备。并且，终端设备可以获取由该终端设备自身携带的双目摄像设备采集的主图像及每帧主图像所对应的辅助图像，也可以获取由其它双目摄像设备采集的主图像及每帧主图像所对应的辅助图像，本公开对此方面不限定。

在本实施例中，双目摄像设备一般具有两个摄像头，可以将其中一个摄像头所采集的图像作为主图像，另一个摄像头所采集的图像作为辅助图像。双目摄像设备可以是具有双目摄像功能的设备，例如，双目摄像设备可以是双目摄像头，也可以是双目摄像机，也可以是具有双目摄像头的智能穿戴式设备等等，本领域中已知的以及将来可能出现的任何具有双目摄像功能的设备都可以应用于本公开，本公开对双目摄像功能的设备的具体形式方面不限定。

在步骤102中，针对主图像中的像素点，从对应的辅助图像中查找出匹配的像素点。

在本实施例中，由于每帧主图像及对应的辅助图像分别由双目摄像设备的两个摄像头同时拍摄，因此，主图像中的大部分像素点在辅助图像中均对应有匹配的像素点。其中，匹配的像素点指的是在不同图像中对应于所拍摄景物同一点的像素点。如图1B所示，物体111在主图像112中所成的像为影像113，物体111在辅助图像114中所成的像为影像115。其中，物体111上的点P在主图像112上成像的像素点为P’，在辅助图像114上成像的像素点为P”。则像素点P”为辅助图像114中，与像素点P’匹配的像素点。

在步骤103中，基于匹配的像素点确定主图像中的像素点对应的深度。

在本实施例中，上述深度为主图像中的像素点对应的实物区域到摄像设备镜头的距离。可以基于匹配的像素点确定主图像中的像素点对应的深度，具体来说，如图1C所示，其中，点P为空间中的某点，图像121为主图像，图像122为辅助图像。P₁为点P在图像121上所成的像，其坐标可以用(u₁，v₁)来表示，P₂为点P在图像122上所成的像，其坐标可以用(u₂，v₂)来表示。假设，图像121与图像122在同一个平面上，则P₁和P₂在纵轴方向的坐标相同，即v₁＝v₂。设两个摄像头的中心之间的距离为B，两个摄像头的焦距为f，点P到两个摄像头的中心所在平面的距离为H(即点P到摄像设备镜头的距离，为点P在图像上的深度)，则由三角几何关系可以得到：

$\frac{B-(u_1-u_2)}{B}=\frac{H-f}{H}$

其中，u₂-u₁为视差，令u₂-u₁＝d，从而进一步得到：

$H=\frac{fB}{d}$

式中，H即为点P在图像上对应的深度，B为两个摄像头的中心之间的距离，f为两个摄像头的焦距，d为点P在图像121与图像122上成像点之间的视差。可以根据上述数据和公式计算得到像素点对应的深度。

在步骤104中，根据上述深度从主图像中提取前景图像。

在本实施例中，可以获取主图像中像素点对应的深度，根据深度的值确定该像素点对应前景图像还是背景图像，从而可以从主图像中提前出前景图像。具体来说，可以将主图像中对应的深度小于或者等于预定深度的像素点构成的图像作为前景图像，提取出该前景图像。

本公开的上述实施例提供的前景图像的获取方法，通过获取由双目摄像设备采集的主图像及每帧主图像所对应的辅助图像，针对主图像中的像素点，从对应的辅助图像中查找出匹配的像素点，基于匹配的像素点确定主图像中的像素点对应的深度，根据深度从主图像中提取前景图像。由于算法较为简单，从而提高了计算速度，并且，提高了前景图像分割的准确度。

如图2A所示，图2A根据一示例性实施例示出的另一种前景图像的获取方法的流程图，该实施例详细描述了针对主图像中的像素点，从该主图像对应的辅助图像中查找出匹配的像素点的过程，该方法可以应用于终端设备或者服务器中，包括以下步骤：

在步骤201中，获取由双目摄像设备采集的主图像及每一帧主图像所对应的辅助图像。

在步骤202中，获取主图像中的像素点与辅助图像中匹配的像素点的映射关系。

在本实施例中，主图像中的像素点与辅助图像中匹配的像素点之间具有一定的映射关系，该映射关系可以通过数学表达式来表示，也可以通过其它形式表示，可以理解，映射关系可以通过任意合理的形式来表示，本公开对映射关系的具体表示形式方面不限定。

在本实施例中，首先，可以从主图像中获取部分像素点作为参考像素点。具体来说，可以获取主图像中的像素点对应的颜色值的梯度大小或者灰度值的梯度大小，并将主图像中梯度大小满足预定条件的像素点作为参考像素点。主图像中梯度大小满足预定条件的像素点为与周边像素点颜色或者灰度差异比较大的像素点，将这种像素点作为用于获取映射关系的参考像素点，所求得的映射关系更为准确。

在一种实现方式中，可以将主图像中对应的梯度为零的像素点作为参考像素点。在另一种实现方式中，还可以按照对应的梯度从大到小的顺序对主图像中的像素点进行排列，将前预定个数的像素点作为参考像素点。在又一种实现方式中，还可以按照对应的梯度从大到小的顺序对主图像中的像素点进行排列，将前预定个数的像素点，以及将主图像中对应的梯度为零的像素点均作为参考像素点。可以理解，本公开对参考像素点的具体选取方式方面不限定。

接着，获取参考像素点在主图像中的位置信息作为第一位置信息，该第一位置信息可以是参考像素点在主图像中的坐标值的信息。然后，从辅助图像中查找出与参考像素点匹配的像素点。并获取参考像素点匹配的像素点在辅助图像中的位置信息作为第二位置信息，该第二位置信息可以是参考像素点匹配的像素点在辅助图像中的坐标值的信息。

最后，根据第一位置信息以及第二位置信息确定主图像中的像素点与辅助图像中匹配的像素点的映射关系。具体来说，可以根据第一位置信息生成参考像素点的第一矢量表达式。根据第二位置信息生成辅助图像中匹配的像素点的第二矢量表达式。然后计算从第一矢量表达式转换到第二矢量表达式的转换矩阵，该转换矩阵可以用于表达上述映射关系。

如图2B所示，图2B是根据一示例性实施例示出的一种从辅助图像中查找出与参考像素点匹配的像素点的方法的流程图，针对每个参考像素点，可以通过步骤211-214，从辅助图像中查找出与该参考像素点匹配的像素点。该步骤可以包括：

在步骤211中，获取该参考像素点在主图像中的纹理特征。

在本实施例中，纹理特征指存在于图像中某一范围内形状很小、半周期性或规律性排列的图案的特征。可以使用纹理特征表示图像的均匀、细致、粗糙等特性。纹理特征可以通过图像灰度等级的变化来获得，该变化与空间统计相关。图像的纹理特征反应了图像本身的属性，因此，可以利用图像的纹理特征对不同的图像区域进行区分。

在本实施例中，参考像素点在主图像中的纹理特征，可以是以该参考像素点为中心的预定大小图像区域的纹理特征。提取像素点在主图像中的纹理特征的方法有很多，例如，可以基于分形维数的方法提取像素点在主图像中的纹理特征，也可以基于小波变换的方法提取像素点在主图像中的纹理特征，还可以基于灰度共生矩阵的方法提取像素点在主图像中的纹理特征等等。可以理解，本领域中已知的以及将来可能出现的任何可以提取像素点在主图像中的纹理特征的方法，都可以应用于本公开，本公开对提取像素点在主图像中的纹理特征的具体方式方面不限定。

在步骤212中，将辅助图像中与该参考像素点位于相同行的像素点作为备选像素点。

在本实施例中，由于双目摄像设备的两个摄像头一般位于同一水平位置，因此，在分别由两个摄像头同时采集的主图像与辅助图像中，相匹配的像素点对应于相同的行数。所以，为了减小计算量，可以仅将辅助图像中与该参考像素点位于相同行的像素点作为备选像素点，从而可以提高计算速度。

在步骤213中，遍历备选像素点，以获取每个备选像素点与该参考像素点的纹理特征的第一相似度和颜色的第二相似度。

在本实施例中，将该参考像素点分别与每个备选像素点进行比较，获取该参考像素点与备选像素点的纹理特征的相似度，作为该备选像素点对应的第一相似度，并获取该参考像素点与备选像素点的颜色的相似度，作为该备选像素点对应的第二相似度。

在本实施例中，可以采用任意合理的方式计算参考像素点与备选像素点的纹理特征以及颜色的相似度。例如，可以基于灰度共生矩阵和小波变换的方法计算参考像素点与备选像素点的纹理特征的相似度。可以根据像素点的颜色的色值差确定参考像素点与备选像素点的颜色的相似度等。本领域中已知的以及将来可能出现的任何可以计算参考像素点与备选像素点的纹理特征以及颜色的相似度的方法，都可以应用于本公开，本公开对计算参考像素点与备选像素点的纹理特征以及颜色的相似度的具体方式方面不限定。

在步骤214中，将第一相似度与第二相似度的和最大的备选像素点作为与该参考像素点匹配的像素点。

在本实施例中，针对每个备选像素点，可以计算该备选像素点对应的第一相似度与该备选像素点对应的第二相似度的和，其中，这个和越大，说明这个和对应的备选像素点与参考像素点越相似。将这个和最大的备选像素点作为与该参考像素点匹配的像素点。

在步骤203中，根据上述映射关系从辅助图像中查找出与主图像中的像素点匹配的像素点。

在本实施例中，针对主图像中的每个像素点，当从辅助图像中查找与该像素点匹配的像素点时，首先获得用于表达上述映射关系的转换矩阵。然后获取主图像中该像素点的位置信息，生成该位置的矢量表达式，用该位置的矢量表达式与用于表达上述映射关系的转换矩阵相乘，可以得到新的位置的矢量表达式。该新的位置的矢量表达式为在辅助图像中与该像素点匹配的像素点的位置矢量表达式。

在步骤204中，基于匹配的像素点确定主图像中的像素点对应的深度。

在步骤205中，根据上述深度从主图像中提取前景图像。

需要说明的是，对于与图1A实施例中相同的步骤，在上述图2A实施例中不再进行赘述，相关内容可参见图1A实施例。

本公开的上述实施例提供的前景图像的获取方法，通过获取主图像中的像素点与辅助图像中匹配的像素点的映射关系，并根据映射关系从辅助图像中查找出与主图像中的像素点匹配的像素点，从而可以基于匹配的像素点确定主图像中的像素点对应的深度，并根据深度从主图像中提取前景图像。使得算法更加简单，进一步提高了计算速度，并且，提高了前景图像分割的准确度。

应当注意，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

与前述前景图像的获取方法实施例相对应，本公开还提供了前景图像的获取装置的实施例。

如图3所示，图3是本公开根据一示例性实施例示出的一种前景图像的获取装置框图，该装置包括：获取模块301，查找模块302，确定模块303以及提取模块304。

其中，获取模块301，被配置为获取由双目摄像设备采集的主图像及每一帧主图像所对应的辅助图像。

在本实施例中，双目摄像设备一般具有两个摄像头，可以将其中一个摄像头所采集的图像作为主图像，另一个摄像头所采集的图像作为辅助图像。双目摄像设备可以是具有双目摄像功能的设备，例如，双目摄像设备可以是双目摄像头，也可以是双目摄像机，也可以是具有双目摄像头的智能穿戴式设备等等，本领域中已知的以及将来可能出现的任何具有双目摄像功能的设备都可以应用于本公开，本公开对双目摄像功能的设备的具体形式方面不限定。

查找模块302，被配置为针对获取模块301获取的主图像中的像素点，从对应的辅助图像中查找出匹配的像素点。

在本实施例中，由于主图像及对应的辅助图像分别由双目摄像设备的两个摄像头同时拍摄，因此，主图像中的大部分像素点在辅助图像中均对应有匹配的像素点。其中，匹配的像素点指的是在不同图像中对应于所拍摄景物同一点的像素点。

确定模块303，被配置为基于查找模块302查找出的匹配的像素点确定所述主图像中的像素点对应的深度，该深度为主图像中的像素点对应的实物区域到摄像设备镜头的距离。

在本实施例中，上述深度为主图像中的像素点对应的实物区域到摄像设备镜头的距离。可以基于匹配的像素点确定主图像中的像素点对应的深度，具体来说，该深度的表达式可以为：

$H=\frac{fB}{d}$

式中，H为空间中的某点P在图像上对应的深度，B为两个摄像头的中心之间的距离，f为两个摄像头的焦距，d为点P在主图像与辅助图像上成像点之间的视差。可以根据上述数据和公式计算得到像素点对应的深度。

提取模块304，被配置为根据确定模块303确定的深度从主图像中提取前景图像。

在本实施例中，可以获取主图像中像素点对应的深度，根据深度的值确定该像素点对应前景图像还是背景图像，从而可以从主图像中提前出前景图像。具体来说，可以将主图像中对应的深度小于或者等于预定深度的像素点构成的图像作为前景图像，提取出该前景图像。

由上述实施例可见，该实施例可以通过获取由双目摄像设备采集的主图像及每帧主图像所对应的辅助图像，针对主图像中的像素点，从对应的辅助图像中查找出匹配的像素点，基于匹配的像素点确定主图像中的像素点对应的深度，根据深度从主图像中提取前景图像。由于算法较为简单，从而提高了计算速度，并且，提高了前景图像分割的准确度。

如图4所示，图4是本公开根据一示例性实施例示出的另一种前景图像的获取装置框图，该实施例在前述图3所示实施例的基础上，查找模块302可以包括：获取子模块401和查找子模块402。

其中，获取子模块401，被配置为获取主图像中的像素点与辅助图像中匹配的像素点的映射关系。

在本实施例中，主图像中的像素点与辅助图像中匹配的像素点之间具有一定的映射关系，该映射关系可以通过数学表达式来表示，也可以通过其它形式表示，可以理解，映射关系可以通过任意合理的形式来表示，本公开对映射关系的具体表示形式方面不限定。

查找子模块402，被配置为根据获取子模块401获取的映射关系从辅助图像中查找出与主图像中的像素点匹配的像素点。

在本实施例中，针对主图像中的每个像素点，当从辅助图像中查找与该像素点匹配的像素点时，首先获得用于表达上述映射关系的转换矩阵。然后获取主图像中该像素点的位置信息，生成该位置的矢量表达式，用该位置的矢量表达式与用于表达上述映射关系的转换矩阵相乘，可以得到新的位置的矢量表达式。该新的位置的矢量表达式为在辅助图像中与该像素点匹配的像素点的位置矢量表达式。

由上述实施例可见，该实施例可以通过获取主图像中的像素点与辅助图像中匹配的像素点的映射关系，并根据映射关系从辅助图像中查找出与主图像中的像素点匹配的像素点，从而可以基于匹配的像素点确定主图像中的像素点对应的深度，并根据深度从主图像中提取前景图像。使得算法更加简单，进一步提高了计算速度，并且，提高了前景图像分割的准确度。

如图5所示，图5是本公开根据一示例性实施例示出的另一种前景图像的获取装置框图，该实施例在前述图4所示实施例的基础上，获取子模块401可以包括：像素点获取子模块501，第一位置获取子模块502，像素点查找子模块503，第二位置获取子模块504和映射关系获取子模块505。

其中，像素点获取子模块501，被配置为获取参考像素点，所述参考像素点为主图像中的部分像素点作为参考像素点。

第一位置获取子模块502，被配置为获取参考像素点在主图像中的第一位置信息。

像素点查找子模块503，被配置为从辅助图像中查找出与参考像素点匹配的像素点。

第二位置获取子模块504，被配置为获取参考像素点匹配的像素点在辅助图像中的第二位置信息。

映射关系获取子模块505，被配置为根据第一位置获取子模块502获取的第一位置信息以及第二位置获取子模块504获取的第二位置信息确定主图像中的像素点与辅助图像中匹配像素的点的映射关系。

在本实施例中，映射关系获取子模块505被配置用于：根据第一位置信息生成参考像素点的第一矢量表达式，根据第二位置信息生成辅助图像中匹配的像素点的第二矢量表达式，计算从第一矢量表达式转换到第二矢量表达式的转换矩阵，该转换矩阵用于表达上述映射关系。

由上述实施例可见，该实施例可以根据参考像素点在主图像中的第一位置信息以及与参考像素点匹配的像素点在辅助图像中的第二位置信息，确定主图像中的像素点与辅助图像中匹配的像素点的映射关系。从而可以基于该映射关系从辅助图像中查找出与主图像中的像素点匹配的像素点。并基于匹配的像素点确定主图像中的像素点对应的深度，根据深度从主图像中提取前景图像。进一步提高了计算速度以及前景图像分割的准确度。

如图6所示，图6是本公开根据一示例性实施例示出的另一种前景图像的获取装置框图，该实施例在前述图5所示实施例的基础上，像素点获取子模块501可以包括：梯度获取子模块601和像素点确定子模块602。

其中，梯度获取子模块601，被配置为获取主图像中的像素点对应的颜色值或者灰度值的梯度大小。

像素点确定子模块602，被配置为将主图像中梯度大小满足预定条件的像素点作为参考像素点。

在本实施例中，可以获取主图像中的像素点对应的颜色值的梯度大小或者灰度值的梯度大小，并将主图像中梯度大小满足预定条件的像素点作为参考像素点。主图像中梯度大小满足预定条件的像素点为与周边像素点颜色或者灰度差异比较大的像素点，将这种像素点作为用于获取映射关系的参考像素点，所求得的映射关系更为准确。

在一种实现方式中，可以将主图像中对应的梯度为零的像素点作为参考像素点。在另一种实现方式中，还可以按照对应的梯度从大到小的顺序对主图像中的像素点进行排列，将前预定个数的像素点作为参考像素点。在又一种实现方式中，还可以按照对应的梯度从大到小的顺序对主图像中的像素点进行排列，将前预定个数的像素点，以及将主图像中对应的梯度为零的像素点均作为参考像素点。可以理解，本公开对参考像素点的具体选取方式方面不限定。

由上述实施例可见，该实施例可以获取主图像中的像素点对应的颜色值或者灰度值的梯度大小，并将主图像中梯度大小满足预定条件的像素点作为参考像素点。从而可以基于参考像素点获取主图像中的像素点与辅助图像中匹配的像素点的映射关系，基于该映射关系从辅助图像中查找出与主图像中的像素点匹配的像素点。并基于匹配的像素点确定主图像中的像素点对应的深度，根据深度从主图像中提取前景图像。进一步提高了计算速度以及前景图像分割的准确度。

如图7所示，图7是本公开根据一示例性实施例示出的另一种前景图像的获取装置框图，该实施例在前述图5所示实施例的基础上，像素点查找子模块503可以包括：纹理特征获取子模块701，备选子模块702，遍历子模块703和确定子模块704。

其中，针对每个参考像素点：

纹理特征获取子模块701，被配置为获取该参考像素点在主图像中的纹理特征。

在本实施例中，纹理特征指存在于图像中某一范围内形状很小、半周期性或规律性排列的图案的特征。可以使用纹理特征表示图像的均匀、细致、粗糙等特性。纹理特征可以通过图像灰度等级的变化来获得，该变化与空间统计相关。图像的纹理特征反应了图像本身的属性，因此，可以利用图像的纹理特征对不同的图像区域进行区分。

在本实施例中，参考像素点在主图像中的纹理特征，可以是以该参考像素点为中心的预定大小图像区域的纹理特征。提取像素点在主图像中的纹理特征的方法有很多，例如，可以基于分形维数的方法提取像素点在主图像中的纹理特征，也可以基于小波变换的方法提取像素点在主图像中的纹理特征，还可以基于灰度共生矩阵的方法提取像素点在主图像中的纹理特征等等。可以理解，本领域中已知的以及将来可能出现的任何可以提取像素点在主图像中的纹理特征的方法，都可以应用于本公开，本公开对提取像素点在主图像中的纹理特征的具体方式方面不限定。

备选子模块702，被配置为将辅助图像中与该参考像素点位于相同行的像素点作为备选像素点。

在本实施例中，由于双目摄像设备的两个摄像头一般位于同一水平位置，因此，在分别由两个摄像头同时采集的主图像与辅助图像中，相匹配的像素点对应于相同的行数。所以，为了减小计算量，可以仅将辅助图像中与该参考像素点位于相同行的像素点作为备选像素点，从而可以提高计算速度。

遍历子模块703，被配置为遍历备选子模块702选取的备选像素点，以获取每个备选像素点与该参考像素点的纹理特征的第一相似度和颜色的第二相似度。

在本实施例中，将该参考像素点分别与每个备选像素点进行比较，获取该参考像素点与备选像素点的纹理特征的相似度，作为该备选像素点对应的第一相似度，并获取该参考像素点与备选像素点的颜色的相似度，作为该备选像素点对应的第二相似度。

在本实施例中，可以采用任意合理的方式计算参考像素点与备选像素点的纹理特征以及颜色的相似度。例如，可以基于灰度共生矩阵和小波变换的方法计算参考像素点与备选像素点的纹理特征的相似度。可以根据像素点的颜色的色值差确定参考像素点与备选像素点的颜色的相似度等。本领域中已知的以及将来可能出现的任何可以计算参考像素点与备选像素点的纹理特征以及颜色的相似度的方法，都可以应用于本公开，本公开对计算参考像素点与备选像素点的纹理特征以及颜色的相似度的具体方式方面不限定。

确定子模块704，被配置为将第一相似度与第二相似度的和最大的备选像素点作为与该参考像素点匹配的像素点。

在本实施例中，针对每个备选像素点，可以计算该备选像素点对应的第一相似度与该备选像素点对应的第二相似度的和，其中，这个和越大，说明这个和对应的备选像素点与参考像素点越相似。将这个和最大的备选像素点作为与该参考像素点匹配的像素点。

由上述实施例可见，该实施例可以通过参考像素点在主图像中的纹理特征以及颜色特征，从备选像素点中查找出相似度最大的像素点作为与该参考像素点匹配的像素点，有助于提高计算速度以及前景图像分割的准确度。

如图8所示，图8是本公开根据一示例性实施例示出的另一种前景图像的获取装置框图，该实施例在前述图3所示实施例的基础上，提取模块304可以包括：选取子模块801和提取子模块802。

其中，选取子模块801，被配置为将主图像中对应的深度小于或者等于预定深度的像素点构成的图像作为前景图像。

提取子模块802，被配置为提取选取子模块801选取出的前景图像。

由上述实施例可见，该实施例可以将主图像中对应的深度小于或者等于预定深度的像素点构成的图像作为前景图像，提取前景图像。从而有助于提高计算速度以及前景图像分割的准确度。

应当理解，上述装置可以预先设置在终端设备或者服务器中，也可以通过下载等方式而加载到终端设备或者服务器中。上述装置中的相应模块可以与终端设备或者服务器中的模块相互配合以实现前景图像的获取方案。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本公开还提供一种前景图像的获取装置，该装置包括有处理器；用于存储处理器可执行指令的存储器；其中，该处理器被配置为：

获取由双目摄像设备采集的主图像及每一帧主图像所对应的辅助图像；

针对所述主图像中的像素点，从对应的辅助图像中查找出匹配的像素点；

基于所述匹配的像素点确定所述主图像中的像素点对应的深度，所述深度为所述主图像中的像素点对应的实物区域到摄像设备镜头的距离；

根据所述深度从所述主图像中提取前景图像。

图9是根据一示例性实施例示出的一种前景图像的获取装置9900的一结构示意图。例如，装置9900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图9，装置9900可以包括以下一个或多个组件：处理组件9902，存储器9904，电源组件9906，多媒体组件9908，音频组件9910，输入/输出(I/O)的接口9912，传感器组件9914，以及通信组件9916。

处理组件9902通常控制装置9900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件9902可以包括一个或多个处理器9920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件9902可以包括一个或多个模块，便于处理组件9902和其他组件之间的交互。例如，处理组件9902可以包括多媒体模块，以方便多媒体组件9908和处理组件9902之间的交互。

存储器9904被配置为存储各种类型的数据以支持在装置9900的操作。这些数据的示例包括用于在装置9900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器9904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件9906为装置9900的各种组件提供电力。电源组件9906可以包括电源管理系统，一个或多个电源，及其他与为装置9900生成、管理和分配电力相关联的组件。

多媒体组件9908包括在所述装置9900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件9908包括一个前置摄像头和/或后置摄像头。当装置9900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件9910被配置为输出和/或输入音频信号。例如，音频组件9910包括一个麦克风(MIC)，当装置9900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器9904或经由通信组件9916发送。在一些实施例中，音频组件9910还包括一个扬声器，用于输出音频信号。

I/O接口9912为处理组件9902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件9914包括一个或多个传感器，用于为装置9900提供各个方面的状态评估。例如，传感器组件9914可以检测到装置9900的打开/关闭状态，组件的相对定位，例如所述组件为装置9900的显示器和小键盘，传感器组件9914还可以检测装置9900或装置9900一个组件的位置改变，用户与装置9900接触的存在或不存在，装置9900方位或加速/减速和装置9900的温度变化。传感器组件9914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件9914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件9914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器，微波传感器或温度传感器。

通信组件9916被配置为便于装置9900和其他设备之间有线或无线方式的通信。装置9900可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件9916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件9916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置9900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器9904，上述指令可由装置9900的处理器9920执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。