图像分割方法、背景替换方法、装置、设备及存储介质与流程

本发明涉及基于人工智能的图像处理技术，尤其涉及一种图像分割方法、图像背景替换方法、装置、电子设备及存储介质。

背景技术：

人工智能(artificialintelligence，ai)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

在基于人工智能的图像处理技术中，图像分割是一个重要的研究方向，能够从图像中将前景和背景识别出来，以便后续对识别出的前景或者背景进行相应的处理，例如替换处理。

但是，相关技术识别出的前景和背景容易出现误差，精准度低。

技术实现要素：

本发明实施例提供一种图像分割方法、图像背景替换方法、装置、电子设备及存储介质，能够减小识别误差，提高图像分割的精准度。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种图像分割方法，包括：

对包括前景和背景的待分割图像进行下采样编码，将得到的下采样特征图进行上采样解码，得到上采样特征图；

对所述上采样特征图进行分类处理，得到所述上采样特征图中各个像素对应前景和背景的分类概率；

对所述各个像素对应前景和背景的分类概率的误差进行补偿处理，得到所述上采样特征图的补偿特征图；

对所述补偿特征图、所述上采样特征图、以及所述下采样特征图进行融合处理，得到融合特征图；

基于所述融合特征图中各个像素对应前景和背景的分类概率，从所述待分割图像中识别出前景和背景。

本发明实施例提供一种图像背景替换方法，包括：

呈现待分割图像；

响应于针对所述待分割图像的替换操作，通过图像分割模型从所述待分割图像中识别出前景和背景；

将所述识别出的背景替换为目标背景，得到背景替换后的新图像，并

在客户端中呈现所述新图像；

其中，所述图像分割模型用于对所述前景和背景的分类概率的误差进行补偿处理，以得到所述前景和背景。

本发明实施例提供一种图像分割装置，包括：

编码模块，用于对包括前景和背景的待分割图像进行下采样编码；

解码模块，用于将得到的下采样特征图进行上采样解码，得到上采样特征图；

补偿模块，用于对所述上采样特征图进行分类处理，得到所述上采样特征图中各个像素对应前景和背景的分类概率；

对所述各个像素对应前景和背景的分类概率的误差进行补偿处理，得到所述上采样特征图的补偿特征图；

对所述补偿特征图、所述上采样特征图、以及所述下采样特征图进行融合处理，得到融合特征图；

分割模块，用于基于所述融合特征图中各个像素对应前景和背景的分类概率，从所述待分割图像中识别出前景和背景。

上述技术方案中，用于图像分割的神经网络模型包括编码网络和解码网络；

所述编码模块还用于通过所述编码网络对包括前景和背景的待分割图像进行下采样编码，得到所述下采样特征图；

所述解码模块还用于通过所述解码网络对所述编码网络输出的下采样特征图进行上采样解码，得到所述上采样特征图。

上述技术方案中，所述下采样编码的编码网络中包括多个级联的编码层；

所述编码模块还用于通过所述多个级联的编码层的第一个编码层，对所述包括前景和背景的待分割图像进行下采样编码；

将所述第一编码层的编码结果输出到后续级联的编码层，以在后续级联的编码层中继续进行下采样编码和编码结果输出，直至最后一个编码层；

将所述最后一个编码层输出的编码结果作为所述编码网络输出的下采样特征图。

上述技术方案中，当所述下采样编码的编码网络中包括多个级联的编码层时，所述上采样解码的解码网络中包括多个级联的解码层，且相同层次的所述解码层与所述编码层之间存在跨层连接；

所述解码模块还用于通过所述多个级联的解码层中的第一个解码层，对所述下采样特征图进行上采样解码；

将上采样解码的解码结果与所述第一个解码层跨层连接的编码层输出的编码结果进行融合，将融合结果作为所述第一个解码层的最终解码结果输出到后续级联的解码层，以

在后续级联的解码层中继续进行上采样解码、解码结果融合和最终解码结果输出；

将最后一个解码层输出的最终解码结果作为所述解码网络输出的包括前景和背景的特征的上采样特征图。

上述技术方案中，用于图像分割的神经网络模型中还包括补偿网络；

所述补偿模块还用于通过所述补偿网络对所述上采样解码的中间解码结果和/或最终解码结果包括的上采样特征图执行以下处理：

对所述上采样特征图进行卷积处理，并对卷积处理后的所述上采样特征图进行归一化处理，得到所述上采样特征图中各个像素属于前景的概率和属于背景的概率；

将所述各个像素属于前景的概率和属于背景的概率中的最大值、确定为对应所述各个像素的分类概率。

上述技术方案中，当上采样解码的解码网络中包括多个级联的解码层时，所述补偿模块还用于通过补偿网络对所述至少一个解码层的上采样解码输出包括的上采样特征图执行以下处理：

针对所述上采样特征图中的各个像素执行以下处理：将分类误差阈值与所述像素对应前景和背景的分类概率的差值，确定为所述像素的补偿值；

对所述上采样特征图中各个像素的补偿值进行组合处理，得到所述上采样特征图的补偿特征图。

上述技术方案中，当上采样解码的解码网络中包括多个级联的解码层时，所述补偿模块还用于通过所述补偿网络对所述至少一个解码层的上采样解码输出包括的上采样特征图执行以下处理：

当所述上采样特征图中任一像素的分类概率小于分类阈值时，将分类误差阈值与所述像素的分类概率的差值，确定为所述像素的补偿值；

当所述像素的分类概率大于或者等于分类阈值时，将所述像素的分类概率确定为所述像素的补偿值；

对所述上采样特征图中各个像素的补偿值进行组合处理，得到所述上采样特征图的补偿特征图。

上述技术方案中，所述补偿模块还用于针对所述下采样特征图中各个像素的特征执行以下处理：

将所述像素的特征与所述补偿特征图中对应所述像素的补偿值进行相乘处理，得到所述像素的补偿特征；

将所述像素的补偿特征与所述上采样特征图中相同位置的像素的特征进行相加处理，得到所述像素的融合特征；

将所述各个像素的融合特征进行组合，得到所述待分割图像的融合特征图。

上述技术方案中，所述分割模块还用于针对所述融合特征图中的各个像素执行以下处理：

当所述像素对应前景分类概率大于前景概率阈值时，将所述像素确定为前景像素；

当所述像素对应背景的分类概率大于背景概率阈值时，将所述像素确定为背景像素；

对所述前景像素形成的前景像素集合和所述背景像素形成的背景像素集合分别进行连通处理，得到所述待分割图像中的多个连通域；

将所述多个连通域中的最大连通域确定为所述待分割图像的前景，并

将所述待分割图像中所述前景之外的区域确定为所述待分割图像的背景。

上述技术方案中，所述装置还包括：

训练模块，用于通过图像分割模型对待分割图像样本进行下采样编码，将得到的下采样特征图进行上采样解码，得到上采样特征图；

对所述上采样特征图进行分类处理，得到所述上采样特征图中各个像素对应前景和背景的分类概率；

对所述各个像素对应前景和背景的分类概率的误差进行补偿处理，得到所述上采样特征图的补偿特征图；

对所述补偿特征图、所述上采样特征图、以及所述下采样特征图进行融合处理，得到融合特征图；

对所述融合特征图中各个像素进行分类处理，得到所述待分割图像样本中属于前景的像素和属于背景的第二像素；

对所述融合特征图中各个像素进行边缘识别处理，得到所述待分割图像样本中属于边缘的像素；

基于所述属于前景的像素形成的前景像素集合、所述属于背景的像素形成的背景像素集合、所述属于边缘的像素形成的边缘像素集合、所述待分割图像样本的分割标签、以及所述待分割图像样本的边缘标签，构建所述图像分割模型的损失函数；

更新所述图像分割模型的参数直至所述损失函数收敛，将所述损失函数收敛时更新得到的参数，作为训练后的所述图像分割模型的参数。

本发明实施例提供一种图像背景替换装置，所述装置包括：

呈现模块，用于呈现待分割图像；

识别模块，用于响应于针对所述待分割图像的替换操作，通过图像分割模型从所述待分割图像中识别出前景和背景；

替换模块，将所述识别出的背景替换为目标背景，得到背景替换后的新图像，并在客户端中呈现所述新图像；

其中，所述图像分割模型用于对所述前景和背景的分类概率的误差进行补偿处理，以得到所述前景和背景。

本发明实施例提供一种用于图像分割的电子设备，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的图像分割方法。

本发明实施例提供一种用于图像背景替换的电子设备，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的图像背景替换方法。

本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的图像分割方法。

本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的图像背景替换方法。

本发明实施例具有以下有益效果：

通过对上采样特征图中各个像素进行补偿，从而减小各个像素的识别误差；通过融合补偿特征图、上采样特征图、以及下采样特征图，能够有效地保留待分割图像的各种局部细节信息，以便后续能够从待分割图像中准确识别前景和背景，提高图像分割的精准度。

附图说明

图1是本发明实施例提供的图像分割系统10的应用场景示意图；

图2是本发明实施例提供的用于图像分割的电子设备500的结构示意图；

图3a-3b是本发明实施例提供的图像分割方法的流程示意图；

图4是本发明实施例提供的图像分割模型的结构示意图；

图5是本发明实施例提供的图像分割模型的另一结构示意图；

图6是本发明实施例提供的用于图像背景替换的电子设备600的结构示意图；

图7是本发明实施例提供的图像背景替换方法的流程示意图；

图8为本发明提供的图像分割方法的一个可选的流程示意图；

图9a是本发明实施例提供的视频中的任一帧图像的示意图；

图9b是本发明实施例提供的前景人像区域的示意图；

图9c是本发明实施例提供的边缘区域的示意图；

图9d是本发明实施例提供的背景替换图；

图10是本发明实施例提供的图像分割模型的框架示意图；

图11是本发明实施例提供的深度可分离卷积残差模块的结构示意图；

图12是本发明实施例提供的边缘优化模块的结构示意图；

图13是本发明实施例提供的卷积模块的结构示意图；

图14是本发明实施例提供的人像背景替换的应用示意图；

图15a是本发明实施例提供的未经过背景替换的输入图像；

图15b是采用其他背景替换方法的背景替换图像；

图15c是本发明实施例提供的背景替换图像。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)前景：图像中靠近前沿的人或物，即感兴趣的对象。例如，一张包括山水的人像图，该人像图中靠近前言的人像则为前景。

2)背景：图像中靠近后方的人或物，即不感兴趣的对象(图像中除前景以外的部分)。例如，一张包括山水的人像图，该人像图中靠近后方的山水则为背景。

3)下采样：缩小图像使得图像符合固定大小，降低图像的分辨率。对于一幅图像i的尺寸为m*n，对图像i进行s倍下采样，即得到(m/s)*(n/s)尺寸的分辨率图像，其中，s为m和n的公约数。例如，矩阵形式的图像，则将原始图像s*s窗口内的图像变成一个像素，该像素点的值就是s*s窗口内所有像素的均值。

4)上采样：放大图像使得图像符合固定大小，提高图像的分辨率。图像放大可以采用内插值方法，即在原有图像像素的基础上，在像素点之间采用合适的插值算法插入新的像素。

本发明实施例提供一种图像分割方法、装置、电子设备和存储介质，能够对图像中各个像素的误差进行补偿，减小识别误差，提高图像分割的精准度。下面说明本发明实施例提供的用于图像分割的电子设备的示例性应用，本发明实施例提供的用于图像分割的电子设备可以是服务器，例如部署在云端的服务器，根据其他设备或者用户提供的待分割图像，对该待分割图像进行一系列处理，从待分割图像中识别出前景和背景；也可是笔记本电脑，平板电脑，台式计算机，移动设备(例如，移动电话，个人数字助理)等各种类型的用户终端，例如手持终端，根据用户在手持终端上输入的待分割图像，从待分割图像中识别出前景和背景，并将前景和背景显示在手持终端的显示界面上。

作为示例，参见图1，图1是本发明实施例提供的图像分割系统10的应用场景示意图，终端200通过网络300连接服务器100，网络300可以是广域网或者局域网，又或者是二者的组合。

终端200可以被用来获取待分割图像，例如，当用户通过输入界面输入待分割图像，输入完成后，终端自动获取待分割图像。

在一些实施例中，终端200本地执行本发明实施例提供的图像分割方法来完成根据用户输入的待分割图像，得到待分割图像的背景和前景，例如，在终端200上安装图像分割助手，用户在图像分割助手中，输入待分割图像，终端200根据输入的待分割图像，对该待分割图像进行上采样编码、下采样解码、分类、补偿、融合、识别等处理，得到待分割图像的背景和前景，并将待分割图像的背景和前景显示在终端200的显示界面210上。

在一些实施例中，终端200也可以通过网络300向服务器100发送用户在终端200上输入的待分割图像，并调用服务器100提供的图像分割功能，服务器100通过本发明实施例提供的图像分割方法获得待分割图像的背景和前景，例如，在终端200上安装图像分割助手，用户在图像分割助手中，输入待分割图像，终端200通过网络300向服务器100发送待分割图像，服务器100接收到该待分割图像，对该待分割图像进行上采样编码、下采样解码、分类、补偿、融合、识别等处理，得到待分割图像的背景和前景，并将待分割图像的背景和前景返回至图像分割助手，将待分割图像的背景和前景显示在终端200的显示界面210上，或者，服务器100直接给出待分割图像的背景和前景。

作为示例，在监控应用场景中，当用于图像分割的电子设备(服务器100或者终端200)记录进出关键区域的出入记录时，用于图像分割的电子设备对记录的出入视频中的每一帧图像通过图像分割方法，识别出每一帧图像中的前景、即人脸，并将识别出的人脸与数据库中的人脸进行匹配，以确定出入视频中人物的身份信息，并记录该人物的身份信息在该关键区域的出入记录，从而实现监控功能；在医学应用场景中，当用于图像分割的电子设备(服务器100或者终端200)对输入的医学图像，通过本发明实施例提供的图像分割方法，识别出医学图像中的前景、即病患部分，例如肠炎等，并将识别出的病患部分进行放大，以供医生进行准确的诊断。

下面说明本发明实施例提供的用于图像分割的电子设备的结构，用于图像分割的电子设备可以是各种终端，例如手机、电脑等，也可以是如图1示出的服务器100。

参见图2，图2是本发明实施例提供的用于图像分割的电子设备500的结构示意图，图2所示的用于图像分割的电子设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。用于图像分割的电子设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统540。

处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(dsp，digitalsignalprocessor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，readonlymemory)，易失性存储器可以是随机存取存储器(ram，randomaccessmemory)。本发明实施例描述的存储器550旨在包括任意适合类型的存储器。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。

在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(wifi)、和通用串行总线(usb，universalserialbus)等；

显示模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；

输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本发明实施例提供的图像分割装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的图像分割装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图片的操作意图处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(asic，applicationspecificintegratedcircuit)、dsp、可编程逻辑器件(pld，programmablelogicdevice)、复杂可编程逻辑器件(cpld，complexprogrammablelogicdevice)、现场可编程门阵列(fpga，field-programmablegatearray)或其他电子元件。

在另一些实施例中，本发明实施例提供的图像分割装置可以采用软件方式实现，图2示出了存储在存储器550中的图像分割装置555，其可以是程序和插件等形式的软件，并包括一系列的模块，包括编码模块5551、解码模块5552、补偿模块5553、分割模块5554、以及训练模块5555；其中，编码模块5551、解码模块5552、补偿模块5553、分割模块5554用于实现本发明实施例提供的图像分割功能，训练模块5555用于训练图像分割模型，使得训练后的图像分割模型实现图像分割功能。

根据上文可以理解，本发明实施例提供的图像分割方法可以由各种类型的用于图像分割的电子设备实施，例如智能终端和服务器等。

下面结合本发明实施例提供的服务器的示例性应用和实施，说明本发明实施例提供的图像分割方法。参见图3a，图3a是本发明实施例提供的图像分割方法的流程示意图，结合图3a示出的步骤进行说明。

在步骤101中，对包括前景和背景的待分割图像进行下采样编码，将得到的下采样特征图进行上采样解码，得到上采样特征图。

例如，用户可以在终端的输入界面上输入待分割图像，当输入完成后，终端可以将待分割图像转发至服务器，服务器接收到待分割图像后，可以对待分割图像进行下采样编码，并将得到的下采样特征图进行上采样解码，得到上采样特征图，以便后续可以根据上采样特征图以及下采样特征图进行图像分割。

在一些实施例中，用于图像分割的神经网络模型包括编码网络和解码网络；对包括前景和背景的待分割图像进行下采样编码，包括：通过编码网络对包括前景和背景的待分割图像进行下采样编码，得到下采样特征图；将得到的下采样特征图进行上采样解码，得到上采样特征图，包括：通过解码网络对编码网络输出的下采样特征图进行上采样解码，得到上采样特征图。

作为示例，参见图4，用于图像分割的神经网络模型为图像分割模型，通过图像分割模型中编码网络(编码模块5551)对包括前景和背景的待分割图像进行下采样编码，得到下采样特征图，并将下采样特征图输入至解码网络，解码网络对编码网络输出的下采样特征图进行上采样解码，得到上采样特征图。

在一些实施例中，下采样编码的编码网络中包括多个级联的编码层；通过编码网络对包括前景和背景的待分割图像进行下采样编码，得到下采样特征图，包括：通过多个级联的编码层的第一个编码层，对包括前景和背景的待分割图像进行下采样编码；将第一编码层的编码结果输出到后续级联的编码层，以在后续级联的编码层中继续进行下采样编码和编码结果输出，直至最后一个编码层；将最后一个编码层输出的编码结果作为编码网络输出的下采样特征图。

作为示例，参见图5，图5示出图4中的编码网络包括多个级联的编码层。通过编码网络中的第一个编码层接收到包括前景和背景的待分割图像后，对待分割图像进行下采样编码，得到第一编码层的编码结果、即下采样特征图，并将第一编码层的编码结果输出到后续级联的编码层、即第二个编码层，以在后续级联的编码层中继续进行下采样编码和编码结果输出，直至最后一个编码层，最后一个编码层进行下采样编码后，得到的编码结果、即最后一个编码层输出下采样特征图作为编码网络输出的下采样特征图。

例如，通过多个级联的编码层中的第1个编码层，对待分割图像进行下采样编码，得到第1下采样特征图并作为编码结果输出，通过多个级联的编码层中的第i个编码层对第i-1个编码层输出的第i-1下采样特征图进行下采样编码，得到第i下采样特征图并作为编码结果输出，其中，i取值满足2≤i≤i，i为编码网络中编码层的数量。其中，将第i个编码层输出的第i下采样特征图，作为编码网络输出的包括前景和背景的特征的下采样特征图。

其中，对待分割图像进行多个层次的下采样编码，对应得到待分割图像的多个下采样特征图。对于多个级联的编码层中的任一编码层的下采样编码，执行以下处理：通过第j个编码层对第j-1个编码层输出的下采样特征图进行卷积处理，得到第一特征图；对第一特征图进行多通道的编码处理，将编码处理对应得到的多个的编码特征图进行串接处理，得到第二特征图；将第一特征图、以及第二特征图相加得到的第j下采样特征图输出到第j+1个编码层；其中，j为大于1且小于i的自然数i，i为编码网络中编码层的数量。

在一些实施例中，当下采样编码的编码网络中包括多个级联的编码层时，上采样解码的解码网络中包括多个级联的解码层，且相同层次的解码层与编码层之间存在跨层连接；通过解码网络对编码网络输出的下采样特征图进行上采样解码，得到上采样特征图，包括：通过多个级联的解码层中的第一个解码层，对下采样特征图进行上采样解码；将上采样解码的解码结果与第一个解码层跨层连接的编码层输出的编码结果进行融合，将融合结果作为第一个解码层的最终解码结果输出到后续级联的解码层，以在后续级联的解码层中继续进行上采样解码、解码结果融合和最终解码结果输出；将最后一个解码层输出的最终解码结果作为解码网络输出的包括前景和背景的特征的上采样特征图。

作为示例，参见图5，相同层次的解码层与编码层之间存在跨层连接，即级联的解码层将编码结果(该解码层的下采样特征图)输入至相同层次的编码层。通过解码网络中的第一个解码层，编码网路中最后一层编码层输出的下采样特征图进行上采样解码，并将上采样解码的解码结果与第一个解码层跨层连接的编码层(最后一层编码层)输出的编码结果(下采样特征图)进行融合，将融合结果作为第一个解码层的最终解码结果输出到后续级联的解码层，后续级联的解码层将继续进行上述的上采样解码、解码结果融合(对于任意一个解码层，将解码层的上采样解码的解码结果、与解码层存在跨层连接的编码层输出的编码结果进行融合)和最终解码结果输出，并将最后一个解码层输出的最终解码结果(最后一层解码层输出的下采样特征图)作为解码网络输出的包括前景和背景的特征的上采样特征图。

其中，编码网络的低层以及解码网络的低层(u型的上部分)，由于特征图比较大，因此具有待分割图像的细节信息。编码网络的高层以及解码网络的高层(u型的下部分)，具有待分割图像的低频信息，感受野很大，便于获取大的轮廓信息。通过跨层连接，可以保留各个层次的信息，使得编码网络以及解码网络可以很好的学习待分割图像的所有信息。

在步骤102中，对上采样特征图进行分类处理，得到上采样特征图中各个像素对应前景和背景的分类概率。

在服务器得到待分割图像的上采样特征图后，可以通过补偿网络对上采样特征图进行分类处理，以得到上采样特征图中各个像素对应前景和背景的分类概率，以便后续进行补偿处理。

在一些实施例中，用于图像分割的神经网络模型中还包括补偿网络；对上采样特征图进行分类处理，得到上采样特征图中各个像素对应前景和背景的分类概率，包括：通过补偿网络对上采样解码的中间解码结果和/或最终解码结果包括的上采样特征图执行以下处理：对上采样特征图进行卷积处理，并对卷积处理后的上采样特征图进行归一化处理，得到上采样特征图中各个像素属于前景的概率和属于背景的概率；将各个像素属于前景的概率和属于背景的概率中的最大值、确定为对应各个像素的分类概率。

作为示例，参见图5，图像分割模型还包括补偿网络，该补偿网络可以嵌入在解码网络中，通过补偿网络对上采样解码的中间解码结果(解码网络中除最后一个的解码层输出的解码结果)和/或最终解码结果(解码网络中最后一个的解码层输出的解码结果)包括的上采样特征图对上采样特征图进行卷积处理，并对卷积处理后的上采样特征图进行归一化处理，得到上采样特征图中各个像素属于前景的概率和属于背景的概率，并将各个像素属于前景的概率和属于背景的概率中的最大值、确定为对应各个像素的分类概率，即通过逻辑回归(softmax)函数得到各个像素的分类概率，例如，某像素属于前景的概率为0.7、属于背景的概率为0.3，则该像素属于背景的概率(0.3)为该像素的分类概率。

在步骤103中，对各个像素对应前景和背景的分类概率的误差进行补偿处理，得到上采样特征图的补偿特征图。

在识别图像中的背景和前景的过程中，容易出现识别误差，例如将属于前景的像素点错误地识别成属于背景的像素点，或者将属于背景的像素点错误地识别成属于前景的像素点。为了避免误识别的问题，可以通过图像分割模型对各个像素对应前景和背景的分类概率的误差进行补偿处理，使得图像分割模型可以对误差进行有效地弥补，注意到所有像素点的分类信息。

在一些实施例中，当上采样解码的解码网络中包括多个级联的解码层时，对各个像素对应前景和背景的分类概率的误差进行补偿处理，得到上采样特征图的补偿特征图，包括：通过补偿网络对至少一个解码层的上采样解码输出包括的上采样特征图执行以下处理：针对上采样特征图中的各个像素执行以下处理：将分类误差阈值与像素对应前景和背景的分类概率的差值，确定为像素的补偿值；对上采样特征图中各个像素的补偿值进行组合处理，得到上采样特征图的补偿特征图。

作为示例，参见图5，图像分割模型还包括补偿网络，该补偿网络可以嵌入在解码网络中的解码层中，可以嵌入在所有解码层中，也可以嵌入在不相邻的解码层，特别是嵌入在间隔的解码层中，通过补偿网络对至少一个解码层(不相邻的解码层)的上采样解码输出包括的上采样特征图中的各个像素执行以下处理：将分类误差阈值(例如，1)与像素对应前景和背景的分类概率的差值，确定为像素的补偿值，并对上采样特征图中各个像素的补偿值进行组合处理，从而得到上采样特征图的补偿特征图。

其中，当解码网络仅包括一个编码层时，只对编码层输出的编码结果(即最终编码结果)包括的上采样特征图进行补偿处理。当解码网络包括多个级联解码层时，解码层的类型包括：基础解码层和补偿解码层，其中，基础解码层可以完成上采样解码，补偿解码层是植入有补偿网络的基础解码层，补偿解码层可以有一个或多个，特别地，补偿解码层可以与基础解码层交替级联；在一些实施例中，解码网络中所有的解码层都可以是补偿解码层。其中，每个补偿解码层执行以下处理，以完成上采样解码、补偿和融合的操作；补偿解码层中的基础解码层将解码网络的解码路径中位于补偿解码层的前一解码层输出的编码结果(上采样特征图)进行上采样解码，得到包括前景特征和背景的特征的上采样特征图；补偿解码层中的补偿网络对上采样特征图中各个像素对应前景和背景的分类概率的误差进行补偿处理，得到上采样特征图的补偿特征图；补偿解码层中的补偿网络对上采样特征图的补偿特征图、上采样特征图、以及与补偿解码层跨层连接的编码层下采样编码输出的下采样特征图进行融合处理，并将得到的融合特征图作为补偿解码层的上采样解码结果输出到补偿解码层的后一解码层。

作为示例，基础解码层(包括独立的基础解码层和补偿解码层中的基础解码层)执行以下处理，以完成上采样解码操作：将上采样解码的路径中位于基础解码层的前一解码层输出的上采样特征图进行上采样解码，得到包括前景和背景的特征的上采样特征图；对与基础解码层跨层连接的编码层输出的下采样特征图进行卷积处理，得到过渡特征图；将上采样特征图与过渡特征图相加得到的特征图，作为基础解码层的最终解码结果输出到后一个级联的解码层。

在一些实施例中，当上采样解码的解码网络中包括多个级联的解码层时，对各个像素对应前景和背景的分类概率的误差进行补偿处理，得到上采样特征图的补偿特征图，包括：通过补偿网络对至少一个解码层的上采样解码输出包括的上采样特征图执行以下处理：当上采样特征图中任一像素的分类概率小于分类阈值时，将分类误差阈值与像素的分类概率的差值，确定为像素的补偿值；当像素的分类概率大于或者等于分类阈值时，将像素的分类概率确定为像素的补偿值；对上采样特征图中各个像素的补偿值进行组合处理，得到上采样特征图的补偿特征图。

作为示例，通过补偿网络对上采样解码的中间解码结果(解码网络中除最后一个的解码层输出的解码结果)和/或最终解码结果(解码网络中最后一个的解码层输出的解码结果)包括的上采样特征图执行以下处理：当上采样特征图中任一像素的分类概率小于分类阈值时，说明该像素的分类概率比较低，即该像素容易出现误识别，不能明确该像素的类别，该像素可能是边缘像素，因此，将分类误差阈值与像素的分类概率的差值，确定为像素的补偿值，以对该像素进行补偿；否则，说明该像素的分类概率比较高，即该像素不容易出现误识别，可以明确该像素的类别，即直接将像素的分类概率确定为像素的补偿值，并对上采样特征图中各个像素的补偿值进行组合处理，得到上采样特征图的补偿特征图，例如，分类阈值为0.8，当某像素的分类概率为0.9时，将1-0.9＝0.1作为该像素的补偿值。

在步骤104中，对补偿特征图、上采样特征图、以及下采样特征图进行融合处理，得到融合特征图。

为了保留待分割图像中的更多信息，可以对补偿特征图、上采样特征图、以及下采样特征图进行融合处理，以得到融合特征图，该融合特征图中保留有待分割图像中的更多信息。

在一些实施例中，对补偿特征图、上采样特征图、以及下采样特征图进行融合处理，得到融合特征图，包括：针对下采样特征图中各个像素的特征执行以下处理：将像素的特征与补偿特征图中对应像素的补偿值进行相乘处理，得到像素的补偿特征；将像素的补偿特征与上采样特征图中相同位置的像素的特征进行相加处理，得到像素的融合特征；将各个像素的融合特征进行组合，得到待分割图像的融合特征图。

作为示例，参见图5，图像分割模型还包括补偿网络，通过补偿网络对下采样特征图中各个像素的特征与补偿特征图中对应像素的补偿值进行相乘处理，得到像素的补偿特征，并将像素的补偿特征与上采样特征图中相同位置的像素的特征进行相加处理，得到像素的融合特征，最后将各个像素的融合特征进行组合，得到待分割图像的融合特征图。例如，下采样特征图中某像素的特征为a，补偿特征图中对应像素的补偿值为0.2，与上采样特征图中相同位置的像素的特征为b，则该像素的补偿特征为0.2a，该像素的融合特征为0.2a+b。

在步骤105中，基于融合特征图中各个像素对应前景和背景的分类概率，从待分割图像中识别出前景和背景。

在服务器得到包含待分割图像细节信息的融合特征图后，可以基于融合特征图中各个像素对应前景和背景的分类概率，从待分割图像中识别出前景和背景，以便后续对待分割图像中的背景进行替换操作。

在一些实施例中，基于融合特征图中各个像素对应前景和背景的分类概率，从待分割图像中识别出前景和背景，包括：针对融合特征图中的各个像素执行以下处理：当像素对应前景分类概率大于前景概率阈值时，将像素确定为前景像素；当像素对应背景的分类概率大于背景概率阈值时，将像素确定为背景像素；对前景像素形成的前景像素集合和背景像素形成的背景像素集合分别进行连通处理，得到待分割图像中的多个连通域；将多个连通域中的最大连通域确定为待分割图像的前景，并将待分割图像中前景之外的区域确定为待分割图像的背景。

作为示例，在服务器得到融合特征图后，通过解码网络可以对融合特征图进行识别，从而确定融合特征图中各个像素对应前景和背景的分类概率，当像素对应前景分类概率大于前景概率阈值时，将像素确定为前景像素；当像素对应背景的分类概率大于背景概率阈值时，将像素确定为背景像素。对前景像素组合，形成前景像素集合，对背景像素组合，形成背景像素集合，并对前景像素集合和背景像素集合分别进行连通处理，形成待分割图像中的多个连通域，由于待分割图像中前景所属的区域最大，因此将多个连通域中的最大连通域确定为待分割图像的前景，并将待分割图像中前景之外的区域确定为待分割图像的背景，从而识别出待分割图像中的前景和背景。

在一些实施例中，针对图像分割模型的训练进行说明，参见图3b，基于图3a，图3b是本发明实施例提供的图像分割方法的流程示意图，在步骤106中，通过图像分割模型对待分割图像样本进行下采样编码，将得到的下采样特征图进行上采样解码，得到上采样特征图；在步骤107中，对上采样特征图进行分类处理，得到上采样特征图中各个像素对应前景和背景的分类概率；对各个像素对应前景和背景的分类概率的误差进行补偿处理，得到上采样特征图的补偿特征图；对补偿特征图、上采样特征图、以及下采样特征图进行融合处理，得到融合特征图；在步骤108中，对融合特征图中各个像素进行分类处理，得到待分割图像样本中属于前景的像素和属于背景的第二像素；对融合特征图中各个像素进行边缘识别处理，得到待分割图像样本中属于边缘的像素；在步骤109中，基于属于前景的像素形成的前景像素集合、属于背景的像素形成的背景像素集合、属于边缘的像素形成的边缘像素集合、待分割图像样本的分割标签、以及待分割图像样本的边缘标签，构建图像分割模型的损失函数；在步骤110中，更新图像分割模型的参数直至损失函数收敛，将损失函数收敛时更新得到的参数，作为训练后的图像分割模型的参数。

其中，步骤106-110与步骤101至步骤105并无明显的先后顺序。当服务器基于属于前景的像素形成的前景像素集合、属于背景的像素形成的背景像素集合、属于边缘的像素形成的边缘像素集合、待分割图像样本的分割标签、以及待分割图像样本的边缘标签，确定图像分割模型的损失函数的值后，可以判断损失函数的值是否超出预设阈值，当损失函数的值超出预设阈值时，基于损失函数确定图像分割模型的误差信号，将误差信息在图像分割模型中反向传播，并在传播的过程中更新各个层的模型参数。

这里，对反向传播进行说明，将训练样本数据输入到神经网络模型的输入层，经过隐藏层，最后达到输出层并输出结果，这是神经网络模型的前向传播过程，由于神经网络模型的输出结果与实际结果有误差，则计算输出结果与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层，在反向传播的过程中，根据误差调整模型参数的值；不断迭代上述过程，直至收敛，其中，图像分割模型属于神经网络模型。

至此已经结合本发明实施例提供的服务器的示例性应用和实施，说明本发明实施例提供的图像分割方法，下面继续说明本发明实施例提供的图像分割装置555中各个模块配合实现图像分割的方案。

编码模块5551，用于对包括前景和背景的待分割图像进行下采样编码；解码模块5552，用于将得到的下采样特征图进行上采样解码，得到上采样特征图；补偿模块5553，用于对所述上采样特征图进行分类处理，得到所述上采样特征图中各个像素对应前景和背景的分类概率；对所述各个像素对应前景和背景的分类概率的误差进行补偿处理，得到所述上采样特征图的补偿特征图；对所述补偿特征图、所述上采样特征图、以及所述下采样特征图进行融合处理，得到融合特征图；分割模块5554，用于基于所述融合特征图中各个像素对应前景和背景的分类概率，从所述待分割图像中识别出前景和背景。

在一些实施例中，用于图像分割的神经网络模型包括编码网络和解码网络；所述编码模块5551还用于通过所述编码网络对包括前景和背景的待分割图像进行下采样编码，得到所述下采样特征图；所述解码模块5552还用于通过所述解码网络对所述编码网络输出的下采样特征图进行上采样解码，得到所述上采样特征图。

在一些实施例中，所述下采样编码的编码网络中包括多个级联的编码层；所述编码模块5551还用于通过所述多个级联的编码层的第一个编码层，对所述包括前景和背景的待分割图像进行下采样编码；将所述第一编码层的编码结果输出到后续级联的编码层，以在后续级联的编码层中继续进行下采样编码和编码结果输出，直至最后一个编码层；将所述最后一个编码层输出的编码结果作为所述编码网络输出的下采样特征图。

在一些实施例中，当所述下采样编码的编码网络中包括多个级联的编码层时，所述上采样解码的解码网络中包括多个级联的解码层，且相同层次的所述解码层与所述编码层之间存在跨层连接；所述解码模块5552还用于通过所述多个级联的解码层中的第一个解码层，对所述下采样特征图进行上采样解码；将上采样解码的解码结果与所述第一个解码层跨层连接的编码层输出的编码结果进行融合，将融合结果作为所述第一个解码层的最终解码结果输出到后续级联的解码层，以在后续级联的解码层中继续进行上采样解码、解码结果融合和最终解码结果输出；将最后一个解码层输出的最终解码结果作为所述解码网络输出的包括前景和背景的特征的上采样特征图。

在一些实施例中，用于图像分割的神经网络模型中还包括补偿网络；所述补偿模块5553还用于通过所述补偿网络对所述上采样解码的中间解码结果和/或最终解码结果包括的上采样特征图执行以下处理：对所述上采样特征图进行卷积处理，并对卷积处理后的所述上采样特征图进行归一化处理，得到所述上采样特征图中各个像素属于前景的概率和属于背景的概率；将所述各个像素属于前景的概率和属于背景的概率中的最大值、确定为对应所述各个像素的分类概率。

在一些实施例中，当上采样解码的解码网络中包括多个级联的解码层时，所述补偿模块5553还用于通过补偿网络对所述至少一个解码层的上采样解码输出包括的上采样特征图执行以下处理：针对所述上采样特征图中的各个像素执行以下处理：将分类误差阈值与所述像素对应前景和背景的分类概率的差值，确定为所述像素的补偿值；对所述上采样特征图中各个像素的补偿值进行组合处理，得到所述上采样特征图的补偿特征图。

在一些实施例中，当上采样解码的解码网络中包括多个级联的解码层时，所述补偿模块5553还用于通过所述补偿网络对所述至少一个解码层的上采样解码输出包括的上采样特征图执行以下处理：当所述上采样特征图中任一像素的分类概率小于分类阈值时，将分类误差阈值与所述像素的分类概率的差值，确定为所述像素的补偿值；当所述像素的分类概率大于或者等于分类阈值时，将所述像素的分类概率确定为所述像素的补偿值；对所述上采样特征图中各个像素的补偿值进行组合处理，得到所述上采样特征图的补偿特征图。

在一些实施例中，所述补偿模块5553还用于针对所述下采样特征图中各个像素的特征执行以下处理：将所述像素的特征与所述补偿特征图中对应所述像素的补偿值进行相乘处理，得到所述像素的补偿特征；将所述像素的补偿特征与所述上采样特征图中相同位置的像素的特征进行相加处理，得到所述像素的融合特征；将所述各个像素的融合特征进行组合，得到所述待分割图像的融合特征图。

在一些实施例中，所述分割模块5554还用于针对所述融合特征图中的各个像素执行以下处理：当所述像素对应前景分类概率大于前景概率阈值时，将所述像素确定为前景像素；当所述像素对应背景的分类概率大于背景概率阈值时，将所述像素确定为背景像素；对所述前景像素形成的前景像素集合和所述背景像素形成的背景像素集合分别进行连通处理，得到所述待分割图像中的多个连通域；将所述多个连通域中的最大连通域确定为所述待分割图像的前景，并将所述待分割图像中所述前景之外的区域确定为所述待分割图像的背景。

在一些实施例中，所述图像分割装置555还包括：训练模块5555，用于通过图像分割模型对待分割图像样本进行下采样编码，将得到的下采样特征图进行上采样解码，得到上采样特征图；对所述上采样特征图进行分类处理，得到所述上采样特征图中各个像素对应前景和背景的分类概率；对所述各个像素对应前景和背景的分类概率的误差进行补偿处理，得到所述上采样特征图的补偿特征图；对所述补偿特征图、所述上采样特征图、以及所述下采样特征图进行融合处理，得到融合特征图；对所述融合特征图中各个像素进行分类处理，得到所述待分割图像样本中属于前景的像素和属于背景的第二像素；对所述融合特征图中各个像素进行边缘识别处理，得到所述待分割图像样本中属于边缘的像素；基于所述属于前景的像素形成的前景像素集合、所述属于背景的像素形成的背景像素集合、所述属于边缘的像素形成的边缘像素集合、所述待分割图像样本的分割标签、以及所述待分割图像样本的边缘标签，构建所述图像分割模型的损失函数；更新所述图像分割模型的参数直至所述损失函数收敛，将所述损失函数收敛时更新得到的参数，作为训练后的所述图像分割模型的参数。

下面结合本发明实施例提供的终端的示例性应用和实施，说明本发明实施例提供的图像背景替换方法。参见图6，图6是本发明实施例提供的用于图像背景替换的电子设备600的结构示意图，图6所示的用于图像背景替换的电子设备600包括：至少一个处理器610、存储器650、至少一个网络接口620和用户接口630。其中，处理器610、存储器650、至少一个网络接口620和用户接口630的功能分别与处理器510、存储器550、至少一个网络接口520和用户接口530的功能类似，即输出装置631、输入装置632的功能与输出装置531、输入装置532的功能类似，操作系统651、网络通信模块652、显示模块653、输入处理模块654的功能分别与操作系统551、网络通信模块552、显示模块553、输入处理模块554的功能类似，不做赘述。

在另一些实施例中，本发明实施例提供的图像背景替换装置可以采用软件方式实现，图6示出了存储在存储器650中的图像背景替换装置655，其可以是程序和插件等形式的软件，并包括一系列的模块，包括呈现模块6551、识别模块6552、以及替换模块6553；其中，呈现模块6551、识别模块6552、以及替换模块6553用于实现本发明实施例提供的图像背景替换方法。

下面结合本发明实施例提供的终端的示例性应用和实施，说明本发明实施例提供的图像背景替换方法。参见图7，图7是本发明实施例提供的图像背景替换方法的流程示意图，结合图7示出的步骤进行说明。

在步骤201中，呈现待分割图像。

例如，用户可以在客户端的输入界面上输入待分割图像，当输入完成后，客户端可以呈现待分割图像，并将待分割图像发送至服务器，以使服务器通过图像分割模型从待分割图像中识别出前景和背景。

在步骤202中，响应于针对待分割图像的替换操作，通过图像分割模型从待分割图像中识别出前景和背景。

其中，图像分割模型用于对前景和背景的分类概率的误差进行补偿处理，以得到前景和背景。例如，当用户点击客户端显示的“替换”按钮时，客户端响应于针对待分割图像的替换操作，从服务器中获取待分割图像的前景和背景。

在步骤203中，将识别出的背景替换为目标背景，得到背景替换后的新图像，并在客户端中呈现新图像。

其中，目标背景可以是用户替换操作指定的背景，也可以是客户端随机选定的背景。在客户端获得待分割图像的前景和背景后，可以将待分割图像的背景替换为目标背景，得到背景替换后的新图像，并在客户端中呈现新图像。

至此已经说明本发明实施例提供的图像背景替换方法，下面继续说明本发明实施例提供的图像背景替换装置655中各个模块配合实现图像背景替换的方案。

呈现模块6551，用于呈现待分割图像；识别模块6552，用于响应于针对所述待分割图像的替换操作，通过图像分割模型从所述待分割图像中识别出前景和背景；替换模块6553，将所述识别出的背景替换为目标背景，得到背景替换后的新图像，并在客户端中呈现所述新图像；其中，所述图像分割模型用于对所述前景和背景的分类概率的误差进行补偿处理，以得到所述前景和背景。

接下来结合终端(包括客户端)以及服务器继续对本发明实施例提供的图像分割方法进行介绍，图8为本发明提供的图像分割方法的一个可选的流程示意图，参见图8，本发明实施例提供的图像分割方法包括：

在步骤301中，客户端发送待分割图像。

用户可以在客户端的输入界面上输入待分割图像，当输入完成后，客户端可以呈现待分割图像，并将待分割图像发送至服务器。

在步骤302中，服务器对包括前景和背景的待分割图像进行下采样编码，将得到的下采样特征图进行上采样解码，得到上采样特征图。

在步骤303中，服务器对上采样特征图进行分类处理，得到上采样特征图中各个像素对应前景和背景的分类概率。

在步骤304中，服务器对各个像素对应前景和背景的分类概率的误差进行补偿处理，得到上采样特征图的补偿特征图。

在步骤305中，服务器对补偿特征图、上采样特征图、以及下采样特征图进行融合处理，得到融合特征图。

在步骤306中，服务器基于融合特征图中各个像素对应前景和背景的分类概率，从待分割图像中识别出前景和背景。

在步骤307中，客户端响应于针对待分割图像的替换操作，从服务器中获取待分割图像的前景和背景。

例如，当用户点击客户端显示的“替换”按钮时，客户端响应于针对待分割图像的替换操作，从服务器中获取待分割图像的前景和背景。

在步骤308中，客户端将识别出的背景替换为目标背景，得到背景替换后的新图像。

在步骤309中，客户端呈现新图像。

本发明实施例还提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的图像分割方法，例如，如图3a-3b示出的图像分割方法，或本发明实施例提供的图像背景替换方法，例如，如图7示出的图像背景替换方法。

在一些实施例中，存储介质可以是fram、rom、prom、eprom、eeprom、闪存、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(html，hypertextmarkuplanguage)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备(包括智能终端和服务器在内的设备)上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。

本发明实施例可以应用于各种图像分割的场景，例如视频背景替换、即对视频中的每一帧图像中除人像以外的背景进行替换，如图1所示，终端200通过网络300连接部署在云端的服务器100，在终端上安装视频应用，视频应用会自动将实时视频通过网络300同步到服务器100，服务器100执行本发明实施例提供的图像分割方法，对该视频中的每一帧图像照片进行识别(上采样、下采样、补偿，二分类等处理)，识别出每一帧图像的背景和人像(前景)，并将每一帧图像的背景和人像反馈至终端200的视频应用。视频应用对每一帧图像的背景进行替换、即将每一帧图像的背景替换为目标背景(例如，用户预先选择的黑色背景)，例如，视频应用将包括人像的图像的背景替换为黑色背景，形成新图像，该新图像只存在人像，其他部分均为黑色。这样，当用户进行视频时，用户或者对方就只会人像，其他的部分就都被遮盖掉，以便用户可以保护自己的物件的隐私。

相关技术中，人像背景替换可以采用图像分割将一幅图像分割为前景(人像)与背景两部分，并在此基础之上将背景替换为任意用户想要的背景图像。根据人像分割方式的不同，可以将人像背景替换技术分为两类：1)基于分类的分割方式，该类方法利用分类器对图像中的每个像素进行二分类，从而每个像素可以明确地被归类为前景类或背景类，最后将属于背景类的区域采用任意图片进行替换，以达到背景替换的目的；2)基于抠图的分割方式，该类方法中，图像中的每个像素被认为是由前景与背景按一定比例混合而成(每个像素属于前景或背景的概率)，借助简单的前景与背景标注信息(例如，人工标注图像中的前景区域)，估计出图像中每个像素属于前景以及背景的比例成分，从而根据每个像素属于前景以及背景的比例成分，对每个像素进行归类(前景类或背景类)，进而实现图像分割。

虽然，相关技术可以实现图像分割，从图像中分割前景(人像)和背景，从而将图像中的背景替换掉，实现人像背景替换。然而，相关技术是通过特征编码得到输入图片的特征图谱，再利用特征解码对每个像素进行类别标注。由于在特征编码时，对特征图的分辨率会逐级降低，容易导致图像中的细节信息的丢失，从而容易出现误分割的现象，例如将真实人像部分分割为背景部分，将真实背景部分分割为人像部分。

为了解决上述问题，本发明实施例提出一种图像分割方法，利用分辨率特征图有效地弥补置信度区域的信息，从而更准确地筛选出图像中的前景人物，实现更加精准的前景人像识别，并进行背景替换。对于视频背景替换场景，对视频进行抽帧处理，将视频中的每一帧图像都进行图像分割，从每一帧图像中识别出前景人物以及背景，并采用预先选择的背景，替换掉每一帧图像中的背景，从而实现视频背景替换。例如，如图9a所示，图9a是本发明实施例提供的视频中的任一帧图像的示意图，需要将图9a中的除人像以外的背景替换掉，通过本发明实施例的图像分割方法对图9a进行分割，解析出图像的前景人像区域，如图9b所示，图9b是本发明实施例提供的前景人像区域的示意图，图9b中的901为前景人像区域，并解析出图像的边缘区域，如图9c所示，图9c是本发明实施例提供的边缘区域的示意图，图9c中的902为边缘区域，将进行图像分割处理识别出的背景进行背景替换、即采用预先存储的背景图像对识别出的背景进行替换，从而得到最终背景替换得到的背景替换图，如图9d所示，图9d是本发明实施例提供的背景替换图，即将图9a中的背景替换为图9d中的背景903，从而实现图像背景替换，将每一帧图像进行图像背景替换后的图像进行组合，则实现视频背景替换，从而在用户视频的过程中，不用展示用户不想展示的视频中原来的背景。其中，具体的图像分割方法如下所述：

如图10所示，图10是本发明实施例提供的图像分割模型的框架示意图，本发明实施例基于深度学习模型，并利用人像分割，实现高效的人像检测分割。在训练阶段，图像分割模型包含特征编码模块(enc，或编码网络)和人像分割模块(seg，或解码网络)，其具体构成如图10所示，convk×k表示核大小为k×k的卷积操作。其中，特征编码模块包括密集连接的深度可分离卷积残差模块(denseseparableblock，或编码层)对图像进行高效编码，每一层denseseparableblock输出的特征图都作为下层denseseparableblock的输入，每一层denseseparableblock输出的特征图的尺度都不同，使得每一层denseseparableblock输出的特征图包含不同尺度的丰富信息，denseseparableblock的具体构成如图11所示。人像分割模块利用特征编码模块输出的特征图由低尺度到高尺度逐步恢复出人像分割的结果，其中人像分割模块包括卷积模块(convblock，或基础解码层)和边缘优化模块(edgeoptimization，或补偿解码层)(对每个像素的置信度都进行弥补，以便后续识别过程中可以准确地获取边缘信息，从而实现边缘优化)。如图12所示，图12为边缘优化模块的具体构成，upsample的输入为人像分割模块的输出，conv1×1的输入为特征编码模块的输出，对于边缘优化模块，首先对上一层convblock输出的分辨率特征图进行上采样，利用softmax函数(图12中的conv1×1和归一化处理)获取每个像素点的置信度c(即像素点属于前景/背景的概率)，为了利用高分辨率的特征对网络学习到的低置信度区域进行有效补偿，将高分辨率特征(图12中conv1×1输出的特征图)与1-c执行逐元素特征相乘(mul)操作，同时将相乘的结果与上采样(upsample)的输出进行特征相加(add)，从而保留高置信度区域特征，以便后续能获取更准确的前景和背景的边缘信息，并通过边缘信息将前景和背景划分开。例如，输入图像中的椅子属于背景，但是输出椅子属于前景的概率c可能比较高，为了弥补椅子属于背景的概率，可以将椅子特征与1-c执行mul操作，并通过add操作保留高置信度区域特征(椅子属于前景的概率c的原特征)。其中，convblock的具体构成如图13所示，upsample的输入为人像分割模块的输出，conv3×3的输入为特征编码模块的输出。输入图像i经过如图10的框架后，可以得到人像分割的像素集合和边缘分界的像素集合，计算公式如公式(1)所示：

s,e＝seg(enc(i))(1)

其中，enc(i)表示特征编码模块的像素集合，s表示人像分割的像素集合(背景、前景集合)，e表示前景和背景的边缘分界的像素集合。

在图像分割模型训练时，本发明实施例联合人像分割(图10中的conv3×3二分类)与边缘预测(图10中的conv3×3边缘)两个任务，在扩大数据规模的同时，使得图像分割模型能够同时获取来自人像分割任务提供的人体整体感知激励与边缘优化模块补偿的人体局部细节感知激励，从而提升图像分割模型的性能。图像分割模型具体的训练损失(loss)如下所示：

其中，crossentropy(.)表示交叉熵损失函数，hs表示人像分割数据集，包含n个训练实例，sgt表示图像i对应的真实人像分割标签，egt表示图像i对应的真实边缘标签。

在图像分割模型完成训练之后，本发明实施例保留特征编码模块与人像分割模块，但是会移除人像分割模块中用于边缘损失的卷积操作(conv3×3边缘模块)以加速图像分割模型的运算。如图14所示，图14是本发明实施例提供的人像背景替换的应用示意图，最终背景替换的具体实施步骤如下：

1)输入：如图14所示，输入一张待处理的图像i；

2)人像分割：将待处理图像i输入图像分割模型，获得分割集合和边缘集合s,e＝seg(enc(i))；

3)前景提取：对分割结果图进行连通域检测得到连通域集合d＝{d1,...,di,...,dn}，其中di表示第i个连通集的像素集合，选取面积最大的连通区域作为前景区域f，如公式(3)所示；

f＝max({di|sum(di),di∈d})(3)

其中，sum()为面积求取函数，max()为最大面积求取函数。则背景区域集合为b＝u-f，其中u为图像i中全体像素构成的集合。

4)背景替换：保持前景区域不变，并对背景区域采用选取的目标背景图片(例如黑色背景图像)进行替换，得到最终的背景替换结果i′(例如，图像i′中的背景为黑色)，计算公式如公式(4)所示：

i′＝replace(i)*b+i*f(4)

其中，replace(.)表示将原始图片i替换为任意其他图片操作，代数运算i*f表示通过f索引(取)出图像i中对应下标的元素。

5)输出：输出背景替换图像i′。

当终端获得了视频每一帧的背景替换图像后，背景替换图像可以只存在人像，其他部分均为黑色。这样，当用户进行视频通话时，用户或者对方就只会看见人像部分，其他的部分就都被遮盖掉，以便用户可以保护自己的物件的隐私。

综上，本发明实施例能够有效地减少图像分割场景中非人体部分的误分割情况，尤其是人体部分与周围物体颜色相近的情况。如图15a-15c所示，图15a为未经过背景替换的输入图像，该输入图像包括椅子1501和人像；图15b为采用其他背景替换方法的背景替换图像，图中的椅子1501被误识别成人像；图15c为采用本发明实施例的背景替换方法的背景替换图像，能够正确地将椅子1501识别为背景，从而准确地将人像识别出来。本发明实施例能够有效地保留局部细节信息，进而准确地划分出人体区域与非人体区域的边缘部分，实现准确地背景替换。

以上，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。