一种图像处理方法、装置及电子设备与流程

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及电子设备。

背景技术：

在处理图像时，人们经常会对图像进行抠图处理。抠图处理就是指通过一定的图像处理方法抠出图像中人们感兴趣的图像(即前景图像)，去除人们不感兴趣的图像(即背景图像)。

现有技术中的一类抠图方法使用背景相减技术将纯背景图像与混有前景物体和背景的图像进行对比，从而抠出前景图像。但是，当前景物体和背景的颜色接近时，通过这类抠图方式获得的前景图像的效果较差。

技术实现要素：

有鉴于此，本发明提供一种图像处理方法、装置及电子设备，用以提高抠图获得的前景掩码图的效果。

第一方面，本发明提供一种图像处理方法，包括：

一种图像处理方法，包括：

利用可见光拍摄装置获取至少一张可见光背景图像和利用非可见光拍摄装置获取至少一张非可见光背景图像，其中所述可见光背景图像和所述非可见光背景图像中不包括前景物体；

利用所述可见光拍摄装置获取至少一张可见光待处理图像和利用所述非可见光拍摄装置获取至少一张非可见光待处理图像，其中所述可见光待处理图像和所述非可见光待处理图像中包括所述前景物体；

利用所述可见光背景图像对应的目标可见光背景图像和所述可见光待处理图像中的当前一张可见光待处理图像获得所述当前一张可见光待处理图像 对应的可见光差异图像，利用所述非可见光背景图像对应的目标非可见光背景图像和所述非可见光待处理图像中的当前一张非可见光图像获得所述当前一张非可见光待处理图像对应的非可见光差异图像；

对所述可见光差异图像和所述非可见光差异图像进行前景融合，获得前景掩码图。

其中，所述利用所述可见光背景图像对应的目标可见光背景图像和所述可见光待处理图像中的当前一张可见光待处理图像获得所述当前一张可见光待处理图像对应的可见光差异图像，包括：

利用所述目标可见光背景图像和所述当前一张可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述当前一张可见光待处理图像对应的可见光差异图像；

所述利用所述非可见光背景图像对应的目标非可见光背景图像和所述非可见光待处理图像中的当前一张非可见光图像获得所述当前一张非可见光待处理图像对应的非可见光差异图像，包括：

利用所述目标非可见光背景图像和所述当前一张非可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述当前一张非可见光待处理图像对应的非可见光差异图像。

其中，在所述利用可见光拍摄装置获取至少一张可见光背景图像和利用非可见光拍摄装置获取至少一张非可见光背景图像之后，所述方法还包括：

获取所述各可见光背景图像和所述各非可见光背景图像的曝光时间；

在所述利用所述可见光拍摄装置获取至少一张可见光待处理图像和利用所述非可见光拍摄装置获取至少一张非可见光待处理图像之后，所述方法还包括：

获取所述各可见光待处理图像和所述各非可见光待处理图像的曝光时间。

其中，所述目标可见光背景图像是从所述至少一张可见光背景图像中选取的，其中所述目标可见光背景图像的曝光时间和所述当前一张可见光待处理图像的曝光时间相同；

所述目标非可见光背景图像是从所述至少一张非可见光背景图像中选取的，其中所述目标非可见光背景图像的曝光时间和所述当前一张非可见光待处 理图像的曝光时间相同。

其中，根据所述至少一张可见光背景图像获得所述目标可见光背景图像，其中所述目标可见光背景图像中各像素的灰度值是预定数量的可见光背景图像中对应像素灰度值的均值；

根据所述至少一张非可见光背景图像获得所述目标非可见光背景图像，其中所述目标非可见光背景图像中各像素的灰度值是预定数量的非可见光背景图像中对应像素灰度值的均值。

其中，所述对所述可见光差异图像和所述非可见光差异图像进行前景融合，获得前景掩码图，包括：

获取可见光前景灰度值差异阈值和非可见光前景灰度值差异阈值；

将所述可见光差异图像中各像素的灰度值和所述可见光前景灰度差异值阈值进行比较，并将所述可见光差异图像中灰度值大于或等于所述可见光前景灰度值差异阈值的像素组成的图像区域作为可见光前景掩码图；

将所述非可见光差异图像中各像素的灰度值和所述非可见光前景灰度值差异阈值进行比较，并将所述非可见光差异图像中灰度值大于或等于所述非可见光前景灰度值差异阈值的像素组成的图像区域作为非可见光前景掩码图；

将所述可见光前景掩码图和所述非可见光前景掩码图进行合并，并将合并的结果作为所述前景掩码图。

其中，所述对所述可见光差异图像和所述非可见光差异图像进行前景融合，获得前景掩码图，包括：

获取综合前景灰度值差异阈值；

利用所述可见光差异图像和所述非可见光差异图像获得综合差异图像；

将所述综合差异图像中各像素的灰度值和所述综合前景灰度值差异阈值进行比较，并将所述综合差异图像中灰度值大于或等于所述综合前景灰度值差异阈值的像素组成的图像区域作为前景掩码图。

其中，在所述对所述可见光差异图像和所述非可见光差异图像进行前景融合，获得前景掩码图之后，所述方法还包括：对所述前景掩码图进行边缘优化处理。

其中，所述对所述前景掩码图进行边缘优化处理，包括：

对所述前景掩码图进行形态学滤波，获得所述前景掩码图中的提示trimap掩码图，并利用所述trimap掩码图获取所述前景掩码图中的trimap区域图像；

计算所述trimap区域图像中各像素的前景比例参数。

其中，在所述利用可见光拍摄装置获取至少一张可见光背景图像和利用非可见光拍摄装置获取至少一张非可见光背景图像之前，所述方法还包括：

对所述可见光拍摄装置和所述非可见光拍摄装置进行配准。

第二方面，本发明提供一种图像处理装置，包括：

可见光图像获取单元，用于分别获取至少一张可见光背景图像和至少一张可见光待处理图像；

非可见光图像获取单元，用于分别获取至少一张非可见光背景图像和至少一张非可见光待处理图像；

差异图像获取单元，用于利用所述可见光背景图像对应的目标可见光背景图像和所述可见光待处理图像中的当前一张可见光待处理图像获得所述当前一张可见光待处理图像对应的可见光差异图像，利用所述非可见光背景图像对应的目标非可见光背景图像和所述非可见光待处理图像中的当前一张非可见光图像获得所述当前一张非可见光待处理图像对应的非可见光差异图像；

图像处理单元，用于对所述可见光差异图像和所述非可见光差异图像进行前景融合，获得前景掩码图；

其中所述可见光背景图像和所述非可见光背景图像中不包括前景物体，所述可见光待处理图像和所述非可见光待处理图像中包括所述前景物体。

其中，所述差异图像获取单元包括：

第一图像获取模块，用于利用所述目标可见光背景图像和所述当前一张可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述当前一张可见光待处理图像对应的可见光差异图像；

第二图像获取模块，用于利用所述目标非可见光背景图像和所述当前一张非可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述当前一张非可见光待处理图像对应的非可见光差异图像。

其中，所述装置还包括：

存储单元，用于存储所述各可见光背景图像和所述各非可见光背景图像的 曝光时间，以及存储所述各可见光待处理图像和所述各非可见光待处理图像的曝光时间。

其中，所述第一图像获取模块包括：

选取子模块，用于从所述至少一张可见光背景图像中选取所述目标可见光背景图像，其中所述目标可见光背景图像的曝光时间和所述当前一张可见光待处理图像的曝光时间相同；

处理子模块，用于利用所述目标可见光背景图像和所述当前一张可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述当前一张可见光待处理图像对应的可见光差异图像。

其中，所述装置还包括：

图像选择单元，用于根据所述至少一张可见光背景图像获得目标可见光背景图像，其中所述目标可见光背景图像中各像素的灰度值是预定数量的可见光背景图像中对应像素灰度值的均值；根据所述至少一张非可见光背景图像获得目标非可见光背景图像，其中所述目标非可见光背景图像中各像素的灰度值是预定数量的非可见光背景图像中对应像素灰度值的均值。

其中，所述图像处理单元包括：

参数获取模块，用于获取可见光前景灰度值差异阈值和非可见光前景灰度值差异阈值；

图像获取模块，用于将所述可见光差异图像中各像素的灰度值和所述可见光前景灰度差异值阈值进行比较，并将所述可见光差异图像中灰度值大于或等于所述可见光前景灰度值差异阈值的像素组成的图像区域作为可见光前景掩码图；将所述非可见光差异图像中各像素的灰度值和所述非可见光前景灰度值差异阈值进行比较，并将所述非可见光差异图像中灰度值大于或等于所述非可见光前景灰度值差异阈值的像素组成的图像区域作为非可见光前景掩码图；

图像处理模块，用于将所述可见光前景掩码图和所述非可见光前景掩码图进行合并，并将合并的结果作为所述前景掩码图。

其中，所述图像处理单元包括：

参数获取模块，用于获取综合前景灰度值差异阈值；

图像获取模块，用于利用所述可见光差异图像和所述非可见光差异图像获 得综合差异图像；

图像处理模块，用于将所述综合差异图像中各像素的灰度值和所述综合前景灰度值差异阈值进行比较，并将所述综合差异图像中灰度值大于或等于所述综合前景灰度值差异阈值的像素组成的图像区域作为前景掩码图。

其中，所述装置还包括：

图像优化单元，用于对所述前景掩码图进行边缘优化处理。

其中，所述图像优化单元包括：

图像提取模块，用于对所述前景掩码图进行形态学滤波，获得所述前景掩码图中的提示trimap掩码图，并利用所述trimap掩码图获取所述前景掩码图中的trimap区域图像；

图像优化模块，用于计算所述trimap区域图像中各像素的前景比例参数。

其中，所述图像处理单元还用于，对所述可见光拍摄装置和所述非可见光拍摄装置进行配准。

第三方面，本发明提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行以下步骤：

利用可见光拍摄装置获取至少一张可见光背景图像和利用非可见光拍摄装置获取至少一张非可见光背景图像，其中所述可见光背景图像和所述非可见光背景图像中不包括前景物体；

利用所述可见光拍摄装置获取至少一张可见光待处理图像和利用所述非可见光拍摄装置获取至少一张非可见光待处理图像，其中所述可见光待处理图像和所述非可见光待处理图像中包括所述前景物体；

利用所述可见光背景图像对应的目标可见光背景图像和所述可见光待处理图像中的当前一张可见光待处理图像获得所述当前一张可见光待处理图像对应的可见光差异图像，利用所述非可见光背景图像对应的目标非可见光背景图像和所述非可见光待处理图像中的当前一张非可见光图像获得所述当前一张非可见光待处理图像对应的非可见光差异图像；

对所述可见光差异图像和所述非可见光差异图像进行前景融合，获得前景掩码图。

本发明的上述技术方案的有益效果如下：

由上可以看出，在本发明实施例中，处理利用可见光拍摄装置获得可见光图像(包括可见光背景图像和可见光待处理图像)外，还利用了额外的非可见光拍摄装置获得非可见光图像(包括非可见光背景图像和非可见光待处理图像)。由于补充了利用额外光源获得的非可见光图像，因此使得前景物体在各背景图像中的成像的强度与在待处理图像中的成像的强度相比有了明显的变化，而该强度的变化又与前景物体或者背景的颜色无关。那么，在利用本发明时候实施例的方案进行抠图处理时就可同时利用获得的可见光图像的信息和非可见光图像的信息，并使得两种信息在前景融合时相互补充，因此即使前景物体和背景颜色接近，与现有技术相比，利用本发明时候实施例的方案进行抠图仍能获得效果更好的前景掩码图。

附图说明

图1为本发明实施例一的图像处理方法的流程图；

图2为本发明实施例二的图像处理方法的流程图；

图3(a)为利用本发明实施例获得的可见光背景图像示意图；

图3(b)为利用本发明实施例获得的可见光差异图像示意图；

图3(c)为利用现有技术的方法获得的可见光前景掩码图示意图；

图3(d)为利用现有技术的方法获得的非可见光前景掩码图示意图；

图3(e)为利用本发明实施例的方案后获得的前景掩码图示意图；

图4为本发明实施例三的图像处理装置的示意图；

图5为本发明实施例三的图像处理装置的第一结构图；

图6为本发明实施例三的图像处理装置的第二结构图；

图7为本发明实施例三的图像处理装置的第三结构图；

图8为本发明实施例四的电子设备的示意图。

具体实施方式

下面将结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本发明实施例一的图像处理方法包括：

步骤11、利用可见光拍摄装置获取至少一张可见光背景图像和利用非可见光拍摄装置获取至少一张非可见光背景图像。

在此，所述可见光背景图像和所述非可见光背景图像中不包括前景物体，并且在本发明实施例中可分别获取一张或多张可见光背景图像和非可见光背景图像。所述前景物体可以任意设置，比如杯子等。

其中，所述可见光拍摄装置可包括可见光摄像头，所述非可见光拍摄装置可包括非可见光光源和非可见光摄像头。在具体应用中该可见光拍摄装置和非可见光拍摄装置可以组成一深度摄像头。其中，可见光摄像头可以是传统的彩色或单色摄像头，非可见光光源可以是红外激光发射器或红外led(light-emittingdiode，发光二极管)，非可见光摄像头是可以为利用非可见光光源成像的摄像头，比如红外摄像头。

步骤12、利用所述可见光拍摄装置获取至少一张可见光待处理图像和利用所述非可见光拍摄装置获取至少一张非可见光待处理图像。

在此，所述可见光待处理图像和所述非可见光待处理图像中不包括所述前景物体，并且在本发明实施例中可分别获取一张或多张可见光待处理图像和非可见光待处理图像。

步骤13、利用所述可见光背景图像对应的目标可见光背景图像和所述可见光待处理图像中的当前一张可见光待处理图像获得所述当前一张可见光待处理图像对应的可见光差异图像，利用所述非可见光背景图像对应的目标非可见光背景图像和所述非可见光待处理图像中的当前一张非可见光图像获得所述当前一张非可见光待处理图像对应的非可见光差异图像。

在实际处理过程中可实时获取多张可见光待处理图像或者非可见光待处理图像，而在具体的处理过程中，本发明实施例是针对每一张可见光或非可见光待处理图像进行处理的，因此在此将当前正在处理的一张可见光或非可见光待处理图像称为当前一张可见光或非可见光待处理图像。

由于在此实施例中可获取多张可见光背景图像和非可见光背景图像，因 此，为了提高抠图效果，在本发明实施例中可分别利用可见光背景图像和非可见背景图像对应的目标可见光背景图像和目标非可见光背景图像对获得的待处理图像进行处理。

以目标可见光背景图像为例，在本发明实施例中可有多种获取方法获得。例如，在本发明实施例中可存储各背景图像和待处理图像的曝光时间。因此，可从至少一张可见光背景图像中选取一张与当前一张可见光待处理图像的曝光时间相同的图像作为在此的目标可见光背景图像。又例如，还可根据所述至少一张可见光背景图像获得第二可见光背景图像，其中所述第二可见光背景图像中各像素的灰度值是预定数量的可见光背景图像中对应像素灰度值的均值，然后将该第二可见光背景图像作为所述目标非可见光背景图像。

同理，也可按照上述方式获得目标非可见光背景图像。

在此步骤中，主要是包括以下过程：

(1)、对所述目标可见光背景图像和所述当前一张可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述当前一张可见光待处理图像对应的可见光差异图像；

(2)、对所述目标非可见光背景图像和所述当前一张非可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述当前一张非可见光待处理图像对应的非可见光差异图像。

其中，背景相减的方法有多种，比如静态帧差法，动态背景维持法，混合高斯模型(gaussianmixturemodel，gmm)方法等。

以gmm方法为例，对可见光背景图像来说，使用gmm来表示每一个像素在可见光背景图像中的分布。然后对可见光背景图像进行混合高斯分布统计，计算出可见光背景图像的混合高斯分布。然后根据可见光背景图像的混合高斯分布的结果判断当前一张可见光待处理图像中的每一像素是否与该分布匹配。如果某个像素与该混合高斯分布匹配，则该像素可作为背景像素，如果不匹配，则该像素可作为前景像素。与单纯使用像素灰度均值或中位数值来表示像素的变化的方式相比，使用混合高斯模型来模拟某一像素在某一时段内的变化更为准确。同时，使用高斯模型则可以利用高斯模型模拟周期性变化或缓慢移动的背景，从而使得本发明实施例对场景的适应性更强。

步骤14、对所述可见光差异图像和所述非可见光差异图像进行前景融合，获得前景掩码图。

在本发明实施例中，可通过以下两种方式对所述可见光差异图像和所述非可见光差异图像进行前景融合。

方式一、在该方式下，首先获取可见光前景灰度值差异阈值和非可见光前景灰度值差异阈值。其中该两个阈值可任意设置。然后，将所述可见光差异图像中各像素的灰度值和所述可见光前景灰度值差异阈值进行比较，并将所述可见光差异图像中灰度值大于或等于所述可见光前景灰度值差异阈值的像素组成的图像区域作为可见光前景掩码图。同时，将所述非可见光差异图像中各像素的灰度值和所述非可见光前景灰度值差异阈值进行比较，并将所述非可见光差异图像中灰度值大于或等于所述非可见光前景灰度值差异阈值的像素组成的图像区域作为非可见光前景掩码图。最后，再将所述可见光前景掩码图和所述非可见光前景掩码图进行合并，并将合并的结果作为所述前景掩码图。

在本发明实施例中，“合并”指的是对获得的可见光前景掩码图和非可见光前景掩码图进行逻辑“或”运算。也即，获得的前景掩码图中包括了可见光前景掩码图和非可见光前景掩码图中的所有可作为前景掩码图的区域。

方式二、在该方式下，首先获取综合前景灰度值差异阈值。其中该阈值可任意设置。然后，利用所述可见光差异图像和所述非可见光差异图像获得综合差异图像。最后，再将所述综合差异图像中各像素的灰度值和所述综合前景灰度值差异阈值进行比较，并将所述综合差异图像中灰度值大于或等于所述综合前景灰度值差异阈值的像素组成的图像区域作为前景掩码图。

由上可以看出，在本发明实施例中，处理利用可见光拍摄装置获得可见光图像(包括可见光背景图像和可见光待处理图像)外，还利用了额外的非可见光拍摄装置获得非可见光图像(包括非可见光背景图像和非可见光待处理图像)。由于补充了利用额外光源获得的非可见光图像，因此使得前景物体在各背景图像中的成像的强度与在待处理图像中的成像的强度相比有了明显的变化，而该强度的变化又与前景物体或者背景的颜色无关。那么，在利用本发明时候实施例的方案进行抠图处理时就可同时利用获得的可见光图像的信息和非可见光图像的信息，并使得两种信息在前景融合时相互补充，因此即使前景 物体和背景颜色接近，与现有技术相比，利用本发明时候实施例的方案进行抠图仍能获得效果更好的前景掩码图。

以下结合本发明实施例二详细描述一下本发明实施例的图像处理方法的实现过程。

如图2所示，本发明实施例二的图像处理方法包括：

步骤21、利用可见光拍摄装置获取可见光背景图像和利用非可见光拍摄装置获取非可见光背景图像。

如前所述，所述可见光拍摄装置可包括可见光摄像头，所述非可见光拍摄装置可包括非可见光光源和非可见光摄像头。在此，可获得一幅可见光背景图像或非可见光背景图像，也可以获得多幅可见光背景图像或非可见光背景图像。其中所述可见光背景图像和所述非可见光背景图像中不包括前景物体。

步骤22、存储所述可见光背景图像和非可见光背景图像的曝光时间。

在具体应用中，可预先设定每个可见光背景图像或者可见光背景图像的曝光时间并存储，例如设定为10ms等。

步骤23、对所述可见光拍摄装置和所述非可见光拍摄装置进行配准。

在本发明实施例的实现过程中，通过双目相机标定的方法，对所述可见光拍摄装置和所述非可见光拍摄装置进行配准，进而预先设定好两个摄像头的相对空间关系。通过这种方式，可使得拍摄空间中的同一点在两个摄像头所拍摄的图像中的位置相同。

步骤24、利用所述可见光拍摄装置获取可见光待处理图像和利用所述非可见光拍摄装置获取非可见光待处理图像。

其中所述可见光待处理图像和所述非可见光待处理图像中包括所述前景物体。在执行步骤21和步骤24的过程中，为了获得较好的抠图效果，可保持拍摄背景不发生变化。

在此，可获得一幅可见光待处理图像和非可见光待处理图像，也可以获得多幅可见光待处理图像或非可见光待处理图像。同时，在此实施例中还可获取并存储各可见光待处理图像和各非可见光待处理图像的曝光时间。

步骤25、利用所述可见光背景图像对应的目标可见光背景图像和所述可见光待处理图像中的当前一张可见光待处理图像获得所述当前一张可见光待 处理图像对应的可见光差异图像，利用所述非可见光背景图像对应的目标非可见光背景图像和所述非可见光待处理图像中的当前一张非可见光图像获得所述当前一张非可见光待处理图像对应的非可见光差异图像。

其中所述目标可见光背景图像、目标非可见光背景图像、当前一张可见光待处理图像、当前一张非可见光图像的含义可参照前述实施例的描述。

在本发明实施例中主要是利用背景相减法获得可见光差异图像和非可见光差异图像。常用的背景相减的方法有多种，比如静态帧差法，动态背景维持法，混合高斯模型gmm方法等。通过获得的差异图像，可获得前景物体所在的大致区域。

在本发明实施例中，可以获得多幅可见光背景图像和非可见光背景图像。在此步骤中，可仅利用其中的一幅可见光背景图像和非可见光背景图像，或者同时利用多幅可见光背景图像和非可见光背景图像。

如果仅是利用获得的单幅可见光背景图像，那么在此步骤中即是利用背景相减方法对所述可见光背景图像和所述当前一张可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述可见光差异图像。

同理，如果仅是获得一幅非可见光背景图像，那么在此步骤中即是利用背景相减方法对所述非可见光背景图像和所述当前一张非可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述非可见光差异图像。

优选的，在这种情况下，可从获得的多幅可见光背景图像中选取第一可见光背景图像作为目标可见光背景图像，其中所述第一可见光背景图像的曝光时间和所述可见光待处理图像的曝光时间相同。然后，对所述第一(目标)可见光背景图像和所述当前一张可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述可见光差异图像。

同理，可从获得的多幅非可见光背景图像中选取第一非可见光背景图像作为目标非可见光背景图像，其中所述第一非可见光背景图像的曝光时间和所述非可见光待处理图像的曝光时间相同。然后，对所述第一(目标)非可见光背景图像和所述当前一张非可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述非可见光差异图像。

如果是利用获得的多幅可见光背景图像，那么为了降低噪声，在此步骤中 可根据获得的多幅可见光背景图像获得第二可见光背景图像作为目标可见光背景图像，其中所述第二可见光背景图像中各像素的灰度值是预定数量的可见光背景图像中对应像素灰度值的均值。其中该预定数量可以任意设置。那么在此步骤中即是对所述第二(目标)可见光背景图像和所述当前一张可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述可见光差异图像。

同理，如果是利用获得的多幅非可见光背景图像，那么为了降低噪声，在此步骤中可根据获得的多幅非可见光背景图像获得第二非可见光背景图像作为目标非可见光背景图像。那么在此步骤中即是对所述第二(目标)非可见光背景图像和所述当前一张非可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述非可见光差异图像。

步骤26、对所述可见光差异图像和所述非可见光差异图像进行前景融合，获得前景掩码图。

由于可见光图像的背景条件不可控，当前景物体的颜色与背景颜色相近时，在可见光差异图像中很难提取出有效的前景部分。而在本发明实施例中使用非可见光光源照射拍摄场景，并使用非可见光摄像头获取非可见光背景图像和非可见光待处理图像并计算二者之间的差异图像。由于使用了额外的光源，因此使得前景部分的成像与初始化阶段的背景图像有明显强度上的变化，且该变化与颜色无关，因此该计算结果与可见光差异图像融合在之后可以起到互相补充的作用。

在本发明实施例中，可通过如下方式进行前景融合。

方式一、在此方式中，主要包括以下步骤：

步骤261、获取可见光前景灰度值差异阈值和非可见光前景灰度值差异阈值。

步骤262、将所述可见光差异图像中各像素的灰度值和所述可见光前景灰度值差异阈值进行比较，并将所述可见光差异图像中灰度值大于或等于所述可见光前景灰度值差异阈值的像素组成的图像区域作为可见光前景掩码图。

步骤263、将所述非可见光差异图像中各像素的灰度值和所述非可见光前景灰度值差异阈值进行比较，并将所述非可见光差异图像中灰度值大于或等于所述非可见光前景灰度值差异阈值的像素组成的图像区域作为非可见光前景 掩码图。

步骤264、将所述可见光前景掩码图和所述非可见光前景掩码图进行合并，并将合并的结果作为所述前景掩码图。

如前所述，在本发明实施例中，所谓的“合并”指的是对获得的可见光前景掩码图和非可见光前景掩码图进行逻辑“或”运算。可见光前景灰度值差异阈值和非可见光前景灰度值差异阈值可以任意设置。

方式二、在此方式中，主要包括以下步骤：

步骤265、获取综合前景灰度值差异阈值。

步骤266、利用所述可见光差异图像和所述非可见光差异图像获得综合差异图像。

具体的，在此步骤中对可见光差异图像中各像素的灰度值乘以第一加权系数，获得第一结果；以及对非可见光差异图像中的各像素的灰度值乘以第二加权系数，获得第一结果；然后将第一结果和第二结果求和，据此构成综合差异图像。

步骤267、将所述综合差异图像中各像素的灰度值和所述综合前景灰度值差异阈值进行比较，并将所述综合差异图像中灰度值大于或等于所述综合前景灰度值差异阈值的像素组成的图像区域作为前景掩码图。

其中，综合前景灰度值差异阈值、第一加权系数、第二加权系数可任意设置。

步骤27、对所述前景掩码图进行边缘优化处理。

为了进一步提高获得的前景掩码图的效果，在本发明实施例中还可对前景掩码图进行边缘优化处理。

在此步骤中，首先，使用形态滤波(open滤波)的方法获取处于前景掩码图边缘的可见光图像，也即提示(trimap)掩码图。然后对trimap掩码图使用图像分割的方法进行切割，并使用α抠图技术计算出trimap掩码图中每一像素的前景比例参数和背景比例参数，也即确定每一像素是优选的作为前景成分还是作为背景成分。例如，某个像素的前景成分为60％，背景成分是40％，那么在抠图时可将该像素作为前景掩码图中的像素处理。

对于通过步骤21-26获得的前景掩码图，如果将其去掉trimap区域图像之 后则可作为纯前景掩码图，在标准四通道图像中，该区域的α通道值为255。对于步骤27中获得的trimap区域图像可以作为部分前景掩码图，在标准四通道图像中，该区域的α通道值位于[0-255]区间内。

接下来，对于获得的每幅可见光待处理图像和非可见光待处理图像都按照步骤25-27的方式进行处理，直到处理完成。

由上可以看出，在本发明实施例中，处理利用可见光拍摄装置获得可见光图像(包括可见光背景图像和可见光待处理图像)外，还利用了额外的非可见光拍摄装置获得非可见光图像(包括非可见光背景图像和非可见光待处理图像)。由于补充了利用额外光源获得的非可见光图像，因此使得前景物体在各背景图像中的成像的强度与在待处理图像中的成像的强度相比有了明显的变化，而该强度的变化又与前景物体或者背景的颜色无关。那么，在利用本发明时候实施例的方案进行抠图处理时就可同时利用获得的可见光图像的信息和非可见光图像的信息，并使得两种信息在前景融合时相互补充，因此即使前景物体和背景颜色接近，与现有技术相比，利用本发明时候实施例的方案进行抠图仍能获得效果更好的前景掩码图。

其中，图3(a)为利用本发明实施例获得的可见光背景图像示意图，图3(b)为利用本发明实施例获得的可见光差异图像示意图，图3(c)为利用现有技术的方法获得的可见光前景掩码图示意图，图3(d)为利用现有技术的方法获得的非可见光前景掩码图示意图，图3(e)为利用本发明实施例的方案后获得的前景掩码图示意图。由几幅图可以看出，利用本发明实施例获得的图3(e)的抠图效果要远好于图3(c)或者图3(d)的抠图效果。

如图4所示，本发明实施例三的图像处理装置，包括：

可见光图像获取单元41，用于分别获取至少一张可见光背景图像和至少一张可见光待处理图像；非可见光图像获取单元42，用于分别获取至少一张非可见光背景图像和至少一张非可见光待处理图像；差异图像获取单元43，用于利用所述可见光背景图像对应的目标可见光背景图像和所述可见光待处理图像中的当前一张可见光待处理图像获得所述当前一张可见光待处理图像对应的可见光差异图像，利用所述非可见光背景图像对应的目标非可见光背景图像和所述非可见光待处理图像中的当前一张非可见光图像获得所述当前一 张非可见光待处理图像对应的非可见光差异图像；图像处理单元44，用于对所述可见光差异图像和所述非可见光差异图像进行前景融合，获得前景掩码图；其中所述可见光背景图像和所述非可见光背景图像中不包括前景物体，所述可见光待处理图像和所述非可见光待处理图像中包括所述前景物体。

具体的，所述差异图像获取单元43可包括：

第一图像获取模块，用于利用所述目标可见光背景图像和所述当前一张可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述当前一张可见光待处理图像对应的可见光差异图像；第二图像获取模块，用于利用所述目标非可见光背景图像和所述当前一张非可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述当前一张非可见光待处理图像对应的非可见光差异图像。

在具体应用中，如图5所示，所述装置还包括：存储单元45，用于存储所述各可见光背景图像和所述各非可见光背景图像的曝光时间，以及存储所述各可见光待处理图像和所述各非可见光待处理图像的曝光时间。

此时，所述第一图像获取模块包括：

选取子模块，用于从所述至少一张可见光背景图像中选取所述目标可见光背景图像，其中所述目标可见光背景图像的曝光时间和所述当前一张可见光待处理图像的曝光时间相同；处理子模块，用于利用所述目标可见光背景图像和所述当前一张可见光待处理图像进行背景相减处理，将背景相减处理的结果作为所述当前一张可见光待处理图像对应的可见光差异图像。

如图6所示，在图5所示的基础上，所述装置还包括：图像选择单元46，所述第一图像获取模块包括：

选取子模块，用于根据所述至少一张可见光背景图像获得目标可见光背景图像，其中所述目标可见光背景图像中各像素的灰度值是预定数量的可见光背景图像中对应像素灰度值的均值；根据所述至少一张非可见光背景图像获得目标非可见光背景图像，其中所述目标非可见光背景图像中各像素的灰度值是预定数量的非可见光背景图像中对应像素灰度值的均值。

其中，在本发明实施例中可按照不同的方式获取前景掩码图。因此，所述图形处理单元44可包括不同的组成。

其中，所述图像处理单元44可包括：参数获取模块，用于获取可见光前景灰度值差异阈值和非可见光前景灰度值差异阈值；图像获取模块，用于将所述可见光差异图像中各像素的灰度值和所述可见光前景灰度差异值阈值进行比较，并将所述可见光差异图像中灰度值大于或等于所述可见光前景灰度值差异阈值的像素组成的图像区域作为可见光前景掩码图；将所述非可见光差异图像中各像素的灰度值和所述非可见光前景灰度值差异阈值进行比较，并将所述非可见光差异图像中灰度值大于或等于所述非可见光前景灰度值差异阈值的像素组成的图像区域作为非可见光前景掩码图；图像处理模块，用于将所述可见光前景掩码图和所述非可见光前景掩码图进行合并，并将合并的结果作为所述前景掩码图。

或者，所述图像处理单元44可包括：参数获取模块，用于获取综合前景灰度值差异阈值；图像获取模块，用于利用所述可见光差异图像和所述非可见光差异图像获得综合差异图像；图像处理模块，用于将所述综合差异图像中各像素的灰度值和所述综合前景灰度值差异阈值进行比较，并将所述综合差异图像中灰度值大于或等于所述综合前景灰度值差异阈值的像素组成的图像区域作为前景掩码图。

如图7所示，为了进一步提高抠图效果，所述装置还包括：图像优化单元47，用于对所述前景掩码图进行边缘优化处理。具体的，所述图像优化单元47可包括：图像提取模块，用于对所述前景掩码图进行形态学滤波，获得所述前景掩码图中的提示trimap掩码图，并利用所述trimap掩码图获取所述前景掩码图中的trimap区域图像；图像优化模块，用于计算所述trimap区域图像中各像素的前景比例参数。

为了进一步提高抠图效果，所述图像处理单元44还用于，对所述可见光拍摄装置和所述非可见光拍摄装置进行配准。

本发明所述装置的工作原理可参照前述方法实施例的描述。在具体应用中，上述装置可位于深度摄像头中。

由上可以看出，在本发明实施例中，处理利用可见光拍摄装置获得可见光图像(包括可见光背景图像和可见光待处理图像)外，还利用了额外的非可见光拍摄装置获得非可见光图像(包括非可见光背景图像和非可见光待处理图 像)。由于补充了利用额外光源获得的非可见光图像，因此使得前景物体在各背景图像中的成像的强度与在待处理图像中的成像的强度相比有了明显的变化，而该强度的变化又与前景物体或者背景的颜色无关。那么，在利用本发明时候实施例的方案进行抠图处理时就可同时利用获得的可见光图像的信息和非可见光图像的信息，并使得两种信息在前景融合时相互补充，因此即使前景物体和背景颜色接近，与现有技术相比，利用本发明时候实施例的方案进行抠图仍能获得效果更好的前景掩码图。

本发明实施例四还提供了一种电子设备，可以实现本发明图1-2所示实施例的流程。如图8所示，上述电子设备可以包括：壳体61、处理器62、存储器63、电路板64和电源电路65，其中，电路板64安置在壳体61围成的空间内部，处理器62和存储器63设置在电路板64上；电源电路65，用于为上述电子设备的各个电路或器件供电；存储器63用于存储可执行程序代码；处理器62通过读取存储器63中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行以下步骤：

利用可见光拍摄装置获取至少一张可见光背景图像和利用非可见光拍摄装置获取至少一张非可见光背景图像，其中所述可见光背景图像和所述非可见光背景图像中不包括前景物体；

利用所述可见光拍摄装置获取至少一张可见光待处理图像和利用所述非可见光拍摄装置获取至少一张非可见光待处理图像，其中所述可见光待处理图像和所述非可见光待处理图像中包括所述前景物体；

利用所述可见光背景图像对应的目标可见光背景图像和所述可见光待处理图像中的当前一张可见光待处理图像获得所述当前一张可见光待处理图像对应的可见光差异图像，利用所述非可见光背景图像对应的目标非可见光背景图像和所述非可见光待处理图像中的当前一张非可见光图像获得所述当前一张非可见光待处理图像对应的非可见光差异图像；

对所述可见光差异图像和所述非可见光差异图像进行前景融合，获得前景掩码图。

由上可以看出，在本发明实施例中，处理利用可见光拍摄装置获得可见光图像(包括可见光背景图像和可见光待处理图像)外，还利用了额外的非可见 光拍摄装置获得非可见光图像(包括非可见光背景图像和非可见光待处理图像)。由于补充了利用额外光源获得的非可见光图像，因此使得前景物体在各背景图像中的成像的强度与在待处理图像中的成像的强度相比有了明显的变化，而该强度的变化又与前景物体或者背景的颜色无关。那么，在利用本发明时候实施例的方案进行抠图处理时就可同时利用获得的可见光图像的信息和非可见光图像的信息，并使得两种信息在前景融合时相互补充，因此即使前景物体和背景颜色接近，与现有技术相比，利用本发明时候实施例的方案进行抠图仍能获得效果更好的前景掩码图。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。