前景分割方法、装置、设备及介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种前景分割方法、装置、设备及介质。


背景技术：

2.图像分割是计算机视觉中不可缺少的任务之一，但该任务比其他视觉任务更加复杂，对精度的要求也更高。如今智能手机的功能日渐趋于多样化，人们对拍摄图像的质量和后处理方法要求也越来越高。有时会期望改变物体的位置进行组合或拼接，因此需要研究一种前景分割方法。目前的前景分割方法一般是训练前景分割模型，通过训练好的前景分割模型得到前景分割图像，但是当数据分布发生较大偏移时，目前的前景分割模型依然有可能给出自信但不准确的预测。因此通过事后校准方法对前景分割模型的置信度分数进行校准对模型的可靠性是非常重要的。


技术实现要素：

3.针对上述技术问题，本技术的目的在于提供一种前景分割方法，旨在解决目前前景分割模型的可靠性低的技术问题。
4.为了解决上述技术问题，第一方面，本技术实施例提供一种前景分割检测方法，包括：
5.获取待处理图像；
6.将所述待处理图像输入预先训练好的分割模型，得到分割图像；其中，预先训练好的分割模型通过基于图像训练样本数据集，采用损失函数对待训练分割模型进行训练得到；其中，x表示图像训练样本，y表示标注好前景和背景的分割图像，c表示一批图像训练样本中的样本数量，a是设定的值，n
ac
表示图像训练样本中正确并且确定的像素数量，n
au
表示图像训练样本中正确但不确定的像素数量，n
ic
表示图像训练样本中不正确并且确定的像素数量，n
iu
表示图像训练样本中不正确又不确定的像素，w表示模型的权重，yj表示第j个图像训练样本对应的标注好前景和背景的分割图像，pj表示第j个图像训练样本对应的分割模型的输出。
7.进一步的，所述n
ac
根据公式确定，所述n
au
根据公式确定，所述n
ic
根据公式确定，所述n
iu
根据公式确定；其中，表示第j个图像训练样本的第i个像素的预测结果，y
i,j
表示第j个图像训练样本的第i个像素的实际结果，
μ
th
为预设的不确定估计的阈值。
8.进一步的，所述uj根据公式μj＝-σ
y∈υ
pj(y|xj，w)log pj(y|xj，w)确定；其中，μj表示预测得到的第j个图像样本的置信度分数，即模型预测的不确定性估计，t表示输入图像训练样本随机正向传递的总次数，表示第j个样本第t次传递的输出，w
t
表示第t次传递的模型权重，υ＝{0,1}。
9.进一步的，所述待训练分割模型为unet模型。
10.第二方面，本技术实施例提供一种前景分割装置，包括：
11.获取模块，用于获取待处理图像；
12.输入模块，用于将所述待处理图像输入预先训练好的分割模型，得到分割图像；其中，预先训练好的分割模型通过基于图像训练样本数据集，采用损失函数对待训练分割模型进行训练得到；其中，x表示图像训练样本，y表示标注好前景和背景的分割图像，c表示一批图像训练样本中的样本数量，a是设定的值，n
ac
表示图像训练样本中正确并且确定的像素数量，n
au
表示图像训练样本中正确但不确定的像素数量，n
ic
表示图像训练样本中不正确并且确定的像素数量，n
iu
表示图像训练样本中不正确又不确定的像素，w表示模型的权重，yj表示第j个图像训练样本对应的标注好前景和背景的分割图像，pj表示第j个图像训练样本对应的分割模型的输出。
13.进一步的，所述n
ac
根据公式确定，所述n
au
根据公式确定，所述n
ic
根据公式确定，所述n
iu
根据公式确定；其中，表示第j个图像训练样本的第i个像素的预测结果，y
i,j
表示第j个图像训练样本的第i个像素的实际结果，μ
th
为预设的不确定估计的阈值。
14.进一步的，所述uj根据公式μj＝-σ
y∈υ
pj(y|xj，w)log pj(y|xj，w)确定；其中，μj表示预测得到的第j个图像样本的置信度分数，即模型预测的不确定性估计，t表示输入图像训练样本随机正向传递的总次数，表示第j个样本第t次传递的输出，w
t
表示第t次传递的模型权重，υ＝{0,1}。
15.进一步的，所述待训练分割模型为unet模型。
16.第三方面，本技术实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
17.第四方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
18.本技术实施例提供一种前景分割检测方法，包括：获取待处理图像；将所述待处理图像输入预先训练好的分割模型，得到分割图像；其中，预先训练好的分割模型通过基于图像训练样本数据集，采用损失函数对待训练分割模型进行训练得到。由于本技术实施例在训练前景分割模型的损失函数中引入不确定度损失惩罚项，即将avuc损失函数作为一个惩罚项与交叉熵损失函数相结合，因此，能够减少因数据分布偏移而带来的预测不可靠性，从而提高了模型的准确性和可信度，此外，对于图像细节部分的处理能力增强。
附图说明
19.为了更清楚地说明本技术的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1是本技术第一实施例提供的一种前景分割方法的流程示意图；
21.图2是本技术第二实施例提供的一种前景分割装置的结构示意图；
22.图3为本技术第三实施例提供的计算机设备的结构示意框图。
具体实施方式
23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
24.实施例一：
25.请参阅图1，本技术实施例提供的一种前景分割检测方法，包括步骤
26.s1、获取待处理图像；
27.s2、将所述待处理图像输入预先训练好的分割模型，得到分割图像；其中，预先训练好的分割模型通过基于图像训练样本数据集，采用损失函数对待训练分割模型进行训练得到；其中，x表示图像训练样本，y表示标注好前景和背景的分割图像，c表示一批图像训练样本中的样本数量，a是设定的值，n
ac
表示图像训练样本中正确并且确定的像素数量，n
au
表示图像训练样本中正确但不确定的像素数量，n
ic
表示图像训练样本中不正确并且确定的像素数量，n
iu
表示图像训练样本中不正确又不确定的像素，w表示模型的权重，yj表示第j个图像训练样本对应的标注好前景和背景的分割图像，pj表示第j个图像训练样本对应的分割模型的输出。
28.如上述步骤s1，所述待处理图像从图像采集设备或具有图像数据存储功能的电子设备获取得到，所述图像采集设备和具有图像存储功能的电子设备可以是移动终端，所述
移动终端可以是智能手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、手持计算机、pc设备、个人数字助理(personal digital assistant，pda)、路由设备、虚拟现实设备等。当待处理图像从移动终端获取得到时，移动终端获取该待处理图像的方式可通过设置在移动终端的摄像头获取或是由移动终端在第三方应用程序搜索获取。可能的，当以移动终端的摄像头获取时，可由用户控制移动终端打开可执行拍照功能的应用程序，例如，相机。可能的，当以移动终端在第三方应用程序搜索获取时，可由用户打开安装在移动终端上的搜索类第三方应用程序，例如但不局限于浏览器等。
29.如上述步骤s2，图像分割包括语义分割和实例分割，语义分割算法不区分相同类别的不同个体，图像中相同的类别标记成相同的颜色，而在实例中分割中，模型会区域不同的实例，表现为每个个体都被标记成唯一的颜色。所述待训练分割模型优选采用unet模型，unet模型是一种语义分割模型。unet是一种常见的有效利用低层次信息的框架，它最早应用在医学图像分割上。unet在encoder-decoder的基础上通过直接连接对称的下采样层和上采样层来实现不同层之间的信息融合，使得解码器在上采样过程中能够利用对称的低层次局部信息，提升分割的精度。还需要说明的是，由于图像分割是逐像素遍历的，因此，分割的逐像素输出可以分为四个类别，正确并且确定的(ac)，正确但不确定的(au)，不正确并且确定的(ic)，既不正确又不确定的(iu)。在本技术实施例中，所述分割模型的输出p为模型预测对应的逐像素的概率。
30.如上述步骤s2，需要说明的是，我们将avu的负对数定义为avuc损失函数,即avuc损失函数为由于本技术实施例在训练前景分割模型的损失函数中引入不确定度损失惩罚项，即将avuc损失函数作为一个惩罚项与交叉熵损失函数相结合，因此，能够减少因数据分布偏移而带来的预测不可靠性，从而提高了模型的准确性和可信度，此外，对于图像细节部分的处理能力也增强了。
31.在一个实施例中，所述n
ac
根据公式确定，所述n
au
根据公式确定，所述n
ic
根据公式确定，所述n
iu
根据公式确定；其中，表示第j个图像训练样本的第i个像素的预测结果，y
i,j
表示第j个图像训练样本的第i个像素的实际结果，μ
th
为预设的不确定估计的阈值。
32.在本技术实施例中，需要说明的是，μ
th
为不确定估计的阈值，当大于该阈值时认为
网络(模型)给出的结果不确定性较高。
33.在一个实施例中，所述uj根据公式μj＝-σ
y∈υ
pj(y|xj，w)log pj(y|xj，w)确定；其中，μj表示预测得到的第j个图像样本的置信度分数，即模型预测的不确定性估计，t表示输入图像训练样本随机正向传递的总次数，表示第j个样本第t次传递的输出，w
t
表示第t次传递的模型权重，υ＝{0,1}。
34.在本技术实施例中，应当理解的是，pj(y|xj,w)是输入图片经t次的随机正向传递得到最终的预测分布。
35.在一个实施例中，所述待训练分割模型为unet模型。
36.基于与前景分割方法相同的发明构思，本技术实施例提供的一种前景分割检测装置，如图2所示，包括：
37.获取模块1，用于获取待处理图像；
38.输入模块2，用于将所述待处理图像输入预先训练好的分割模型，得到分割图像；其中，预先训练好的分割模型通过基于图像训练样本数据集，采用损失函数对待训练分割模型进行训练得到；其中，x表示图像训练样本，y表示标注好前景和背景的分割图像，c表示一批图像训练样本中的样本数量，a是设定的值，n
ac
表示图像训练样本中正确并且确定的像素数量，n
au
表示图像训练样本中正确但不确定的像素数量，n
ic
表示图像训练样本中不正确并且确定的像素数量，n
iu
表示图像训练样本中不正确又不确定的像素，w表示模型的权重，yj表示第j个图像训练样本对应的标注好前景和背景的分割图像，pj表示第j个图像训练样本对应的分割模型的输出。
39.如上述获取模块1，所述待处理图像从图像采集设备或具有图像数据存储功能的电子设备获取得到，所述图像采集设备和具有图像存储功能的电子设备可以是移动终端，所述移动终端可以是智能手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、手持计算机、pc设备、个人数字助理(personal digital assistant，pda)、路由设备、虚拟现实设备等。当待处理图像从移动终端获取得到时，移动终端获取该待处理图像的方式可通过设置在移动终端的摄像头获取或是由移动终端在第三方应用程序搜索获取。可能的，当以移动终端的摄像头获取时，可由用户控制移动终端打开可执行拍照功能的应用程序，例如，相机。可能的，当以移动终端在第三方应用程序搜索获取时，可由用户打开安装在移动终端上的搜索类第三方应用程序，例如但不局限于浏览器等。
40.如上述输入模块2，图像分割包括语义分割和实例分割，语义分割算法不区分相同类别的不同个体，图像中相同的类别标记成相同的颜色，而在实例中分割中，模型会区域不同的实例，表现为每个个体都被标记成唯一的颜色。所述待训练分割模型优选采用unet模型，unet模型是一种语义分割模型。unet是一种常见的有效利用低层次信息的框架，它最早应用在医学图像分割上。unet在encoder-decoder的基础上通过直接连接对称的下采样层和上采样层来实现不同层之间的信息融合，使得解码器在上采样过程中能够利用对称的低层次局部信息，提升分割的精度。还需要说明的是，由于图像分割是逐像素遍历的，因此，分
割的逐像素输出可以分为四个类别，正确并且确定的(ac)，正确但不确定的(au)，不正确并且确定的(ic)，既不正确又不确定的(iu)。在本技术实施例中，所述分割模型的输出p为模型预测对应的逐像素的概率。
41.如上述输入模块2，需要说明的是，我们将avu的负对数定义为avuc损失函数,即avuc损失函数为由于本技术实施例在训练前景分割模型的损失函数中引入不确定度损失惩罚项，即将avuc损失函数作为一个惩罚项与交叉熵损失函数相结合，因此，能够减少因数据分布偏移而带来的预测不可靠性，从而提高了模型的准确性和可信度，此外，对于图像细节部分的处理能力也增强了。
42.在一个实施例中，所述n
ac
根据公式确定，所述n
au
根据公式确定，所述n
ic
根据公式确定，所述n
iu
根据公式确定；其中，表示第j个图像训练样本的第i个像素的预测结果，y
i,j
表示第j个图像训练样本的第i个像素的实际结果，μ
th
为预设的不确定估计的阈值。
43.在本技术实施例中，需要说明的是，μ
th
为不确定估计的阈值，当大于该阈值时认为网络(模型)给出的结果不确定性较高。
44.在一个实施例中，所述uj根据公式μj＝-σ
y∈υ
pj(y|xj，w)log pj(y|xj，w)确定；其中，μj表示预测得到的第j个图像样本的置信度分数，即模型预测的不确定性估计，t表示输入图像训练样本随机正向传递的总次数，表示第j个样本第t次传递的输出，w
t
表示第t次传递的模型权重，υ＝{0,1}。
45.在本技术实施例中，应当理解的是，pj(y|xj,w)是输入图片经t次的随机正向传递得到最终的预测分布。
46.在一个实施例中，所述待训练分割模型为unet模型。
47.实施例三：
48.参照图3，本技术实施例还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计
算机设备的数据库用于储存适用于一种前景分割方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种前景分割检测方法，获取待处理图像；将所述待处理图像输入预先训练好的分割模型，得到分割图像；其中，预先训练好的分割模型通过基于图像训练样本数据集，采用损失函数对待训练分割模型进行训练得到；其中，x表示图像训练样本，y表示标注好前景和背景的分割图像，c表示一批图像训练样本中的样本数量，a是设定的值，n
ac
表示图像训练样本中正确并且确定的像素数量，n
au
表示图像训练样本中正确但不确定的像素数量，n
ic
表示图像训练样本中不正确并且确定的像素数量，n
iu
表示图像训练样本中不正确又不确定的像素，w表示模型的权重，yj表示第j个图像训练样本对应的标注好前景和背景的分割图像，pj表示第j个图像训练样本对应的分割模型的输出。
49.在本技术实施例中，所述待处理图像从图像采集设备或具有图像数据存储功能的电子设备获取得到，所述图像采集设备和具有图像存储功能的电子设备可以是移动终端，所述移动终端可以是智能手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、手持计算机、pc设备、个人数字助理(personal digital assistant，pda)、路由设备、虚拟现实设备等。当待处理图像从移动终端获取得到时，移动终端获取该待处理图像的方式可通过设置在移动终端的摄像头获取或是由移动终端在第三方应用程序搜索获取。可能的，当以移动终端的摄像头获取时，可由用户控制移动终端打开可执行拍照功能的应用程序，例如，相机。可能的，当以移动终端在第三方应用程序搜索获取时，可由用户打开安装在移动终端上的搜索类第三方应用程序，例如但不局限于浏览器等。
50.需要说明的是，图像分割包括语义分割和实例分割，语义分割算法不区分相同类别的不同个体，图像中相同的类别标记成相同的颜色，而在实例中分割中，模型会区域不同的实例，表现为每个个体都被标记成唯一的颜色。所述待训练分割模型优选采用unet模型，unet模型是一种语义分割模型。unet是一种常见的有效利用低层次信息的框架，它最早应用在医学图像分割上。unet在encoder-decoder的基础上通过直接连接对称的下采样层和上采样层来实现不同层之间的信息融合，使得解码器在上采样过程中能够利用对称的低层次局部信息，提升分割的精度。还需要说明的是，由于图像分割是逐像素遍历的，因此，分割的逐像素输出可以分为四个类别，正确并且确定的(ac)，正确但不确定的(au)，不正确并且确定的(ic)，既不正确又不确定的(iu)。在本技术实施例中，所述分割模型的输出p为模型预测对应的逐像素的概率。
51.具体地，所述n
ac
根据公式确定，所述n
au
根据公式确定，所述n
ic
根据公式确定，所述n
iu
根据公式确定；其中，表示第j个图像训练样本的第i个像素的预测结果，y
i,j
表示第j个图像训练样本的第i个像素的实际结果，
μ
th
为预设的不确定估计的阈值。所述uj根据公式μj＝-σ
y∈υ
pj(y|xj，w)log pj(y|xj，w)确定；其中，μj表示预测得到的第j个图像样本的置信度分数，即模型预测的不确定性估计，t表示输入图像训练样本随机正向传递的总次数，表示第j个样本第t次传递的输出，w
t
表示第t次传递的模型权重，υ＝{0,1}。所述待训练分割模型为unet模型。
52.由于本技术实施例在训练前景分割模型的损失函数中引入不确定度损失惩罚项，即将avuc损失函数作为一个惩罚项与交叉熵损失函数相结合，因此，能够减少因数据分布偏移而带来的预测不可靠性，从而提高了模型的准确性和可信度，此外，对于图像细节部分的处理能力增强。
53.实施例四：
54.本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种前景分割检测方法，包括步骤：获取待处理图像；将所述待处理图像输入预先训练好的分割模型，得到分割图像；其中，预先训练好的分割模型通过基于图像训练样本数据集，采用损失函数对待训练分割模型进行训练得到；其中，x表示图像训练样本，y表示标注好前景和背景的分割图像，c表示一批图像训练样本中的样本数量，a是设定的值，n
ac
表示图像训练样本中正确并且确定的像素数量，n
au
表示图像训练样本中正确但不确定的像素数量，n
ic
表示图像训练样本中不正确并且确定的像素数量，n
iu
表示图像训练样本中不正确又不确定的像素，w表示模型的权重，yj表示第j个图像训练样本对应的标注好前景和背景的分割图像，pj表示第j个图像训练样本对应的分割模型的输出。
55.在本技术实施例中，所述待处理图像从图像采集设备或具有图像数据存储功能的电子设备获取得到，所述图像采集设备和具有图像存储功能的电子设备可以是移动终端，所述移动终端可以是智能手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、手持计算机、pc设备、个人数字助理(personal digital assistant，pda)、路由设备、虚拟现实设备等。当待处理图像从移动终端获取得到时，移动终端获取该待处理图像的方式可通过设置在移动终端的摄像头获取或是由移动终端在第三方应用程序搜索获取。可能的，当以移动终端的摄像头获取时，可由用户控制移动终端打开可执行拍照功能的应用程序，例如，相机。可能的，当以移动终端在第三方应用程序搜索获取时，可由用户打开安装在移动终端上的搜索类第三方应用程序，例如但不局限于浏览器等。
56.需要说明的是，图像分割包括语义分割和实例分割，语义分割算法不区分相同类别的不同个体，图像中相同的类别标记成相同的颜色，而在实例中分割中，模型会区域不同的实例，表现为每个个体都被标记成唯一的颜色。所述待训练分割模型优选采用unet模型，
unet模型是一种语义分割模型。unet是一种常见的有效利用低层次信息的框架，它最早应用在医学图像分割上。unet在encoder-decoder的基础上通过直接连接对称的下采样层和上采样层来实现不同层之间的信息融合，使得解码器在上采样过程中能够利用对称的低层次局部信息，提升分割的精度。还需要说明的是，由于图像分割是逐像素遍历的，因此，分割的逐像素输出可以分为四个类别，正确并且确定的(ac)，正确但不确定的(au)，不正确并且确定的(ic)，既不正确又不确定的(iu)。在本技术实施例中，所述分割模型的输出p为模型预测对应的逐像素的概率。
57.具体地，所述n
ac
根据公式确定，所述n
au
根据公式确定，所述n
ic
根据公式确定，所述n
iu
根据公式确定；其中，表示第j个图像训练样本的第i个像素的预测结果，y
i,j
表示第j个图像训练样本的第i个像素的实际结果，μ
th
为预设的不确定估计的阈值。所述uj根据公式μj＝-σ
y∈υ
pj(y|xj，w)log pj(y|xj，w)确定；其中，μj表示预测得到的第j个图像样本的置信度分数，即模型预测的不确定性估计，t表示输入图像训练样本随机正向传递的总次数，表示第j个样本第t次传递的输出，w
t
表示第t次传递的模型权重，υ＝{0,1}。所述待训练分割模型为unet模型。
58.上述执行的适用于一种前景分割检测方法，由于本技术实施例在训练前景分割模型的损失函数中引入不确定度损失惩罚项，即将avuc损失函数作为一个惩罚项与交叉熵损失函数相结合，因此，能够减少因数据分布偏移而带来的预测不可靠性，从而提高了模型的准确性和可信度，此外，对于图像细节部分的处理能力增强。
59.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
60.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有
的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
61.以上所述仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。