基于深度感知的单目视觉图像背景快速虚化的方法及系统与流程

本发明涉及一种基于对抗生成网络的散景效果渲染方法及系统，涉及一般的图像数据处理和基于机器深度学习的图像重建技术，尤其涉及基于神经网络构建的散景效果处理分析领域。

背景技术：

背景虚化是摄影领域的一项重要技巧，通常拍摄者为了突出图像中的某一区域而将图像中的不感兴趣的部分模糊处理即背景虚化。

现有技术中，背景虚化的算法局限于对含人像的数据，或是将深度估计和图像显著性分割作为先验知识和原始图像一起作为输入数据训练一个端到端的网络。然而这两种思路衍生的方法缺点很明显。第一类方法的数据集没有包含一般场景中的图像如自然风光，导致这类算法通常对除人像外的图像不起作用。第二类方法，只是将深度估计和图像显著性作为先验知识输入一个端到端的神经网络训练，其可解释性较差，且运行速度较慢。

技术实现要素：

发明目的：一个目的是提出一种基于深度感知的单目视觉图像背景快速虚化的方法，以解决现有技术存在的上述问题。进一步目的是提出一种实现上述方法的系统。

技术方案：一种基于深度感知的单目视觉图像背景快速虚化的方法包括以下步骤：

步骤一、建立模型训练数据集；

步骤二、构建深度感知的单目视觉图像训练网络；

步骤三、经过训练的神经网络模型接收待进行散景渲染的图片，完成散景渲染后将图片输出。

在进一步的实施例中，所述步骤一进一步为：建立用于步骤二中模型训练的图片数据集，为提高对真实场景中包含数据的学习，采用数据集均为真实场景图片。数据集中图片均已成对的方式存储，即分别为原始图片和对应带有散景渲染效果的图片。其中该数据集中的原始图片作为模型训练过程中的输入数据，数据集中带有散景效果的图片作为模型训练过程中用于与模型输出图片进行比对的对比数据。

在进一步的实施例中，所述步骤二进一步为：

构建深度感知的单目视觉图像训练网络，训练该网络形成产生散景效果渲染的网络模型。该网络的训练方式为首先接收步骤一建立数据集中的输入图片数据iorg；其次，通过设计的卷积层和激活函数的协同方式进行特征图像的提取；然后，利用损失函数激活学习权重；最后，通过模糊函数的迭代形成预定模糊程度效果的呈现，并通过权重与模糊函数迭代结果的加权和实现最终图像的输出。通过上述流程完成网络学习训练，得到输出图片为ibokeh的网络模型，其中ibokeh为带有散景效果渲染的图片。产生带有散景渲染效果图片的模型具体可以构建为：

即将步骤一建立的数据集中的对比数据看作为数据集中输入数据平滑版本的加权和。其中，iorg表示原始图像，表示矩阵逐元素相乘，bi(·)表示第i级模糊函数，wi表示第i层数据图像的特征权重矩阵值，且wi还满足所采用的第i级模糊函数bi(·)为浅层模糊神经网络循环迭代i次获得的，其具体表示为：

训练过程中，损失函数l采用重构函数和结构相似性ssim的结合，提高输出数据和对比数据之间的紧密度分析，通过误差值的反向传播，达到有效减少模型与实际数据的差距的目的，进而更好的优化模型。其中l具体为：

其中ibokeh表示模型生成带有散景效果的图像，表示数据集中实际带有散景效果的图像的原始图像，表示产生的图像ibokeh与实际图像之间的结构相似性，具体如下：

其中α、β、γ为预设定的常数，表示产生的图像ibokeh与实际图像之间的亮度关系，表示产生的图像ibokeh与实际图像之间的对比度关系，表示产生的图像ibokeh与实际图像之间的结构关系。

在进一步的实施例中，所述步骤三进一步为：

首先，步骤二中获得的散景效果渲染的网络模型接收待进行背景虚化的图片；其次，将接收的图片进行预设定倍数值的规格调整，使其大小符合模型中深度网络能接受的图片大小，得到经过深度估计网络的估计图，并通过反卷积进行上采样，进而获得深度图；随后将深度图输入散景效果渲染网络模型中的卷积层、并结合激活函数提取计算接收到图像的特征图权重，将获得的数值作为模糊层加权和的对应数据；再次，散景效果渲染网络模型中的浅层模糊网络将接收到的待进行背景虚化的图片信号通过模糊函数进行模糊化操作；从次，利用散景效果渲染网络模型中设定的加权和计算方式，将获得的权重和模糊函数进行加权和的计算，获得处理后图像的数值；最后，散景效果渲染网络模型将获得处理后的图像数值输出，即将产生具有散景效果渲染的图像输出。

一种基于深度感知的单目视觉图像背景快速虚化的系统，具体包括；

用于建立训练集的第一模块；

用于获得具有散景效果网络模型的第二模块；

用于实现散景效果的第三模块。

在进一步的实施例中，所述第一模块进一步为：

建立用于第二模块中模型训练的图片数据集，该模块中所含有数据集均是成对出现的照片集，即成对出现的是单目视觉图像的平面图和其对应具有散景渲染效果的图像。该模块数据集中的单目视觉图像的平面图作为模型训练过程中的输入数据，数据集中带有散景效果的图片作为模型训练过程中用于与模型输出图片进行比对的对比数据。为保证对不同场景下产生散景效果的有效提高，图片集中所描述场景和包含的事物景均为真实场景和不同的主体。

在进一步的实施例中，所述第二模块进一步为：

该模块首先建立用于获得深度图的深度估计网络，该网络通过接收第一模块中单目视觉图像的平面图作为训练数据，并将具有散景渲染效果的图像作为经过网络学习处理产生图像的对比数据，从而利用产生的误差进行反向传播，获得深度估计网络的参数优化；然后在深度估计网络训练完成后，通过将进过深度估计网络获得的深度图输入至带有预设定层数的卷积层和激活函数中获得特征图，进而获得其权重，并通过预设定模糊网络迭代的次数获得模糊图像；最后将特征权重结合模糊图像利用加权和计算获得最终含有散景效果的图像，从而完成散景效果网络模型的建立。

其中深度估计网络的训练过程为，首先将第一模块中作为输入图像数据的图片进行大小的重置，即按照预设定倍数进行图片大小的调整，获得符合网络输入大小的图片；然后将处理后的图片输入深度估计网络，产生深度估计图；最后，将获得的深度估计图在通过反卷积层进行图像大小的恢复。

经过深度估计网络产生的深度图再次经过与设定次数的卷积和激活函数获得特征图权重，然后经过预定次模糊网络函数的迭代，最后通过加权和获得最终具有散景效果的图像。

最终产生带有散景渲染效果图片的模型具体可以构建为：

即将第一模块建立的数据集中的对比数据看作为数据集中输入数据平滑版本的加权和。其中，ibokeh表示最终产生的图像，iorg表示原始图像，表示矩阵逐元素相乘，bi(·)是第i级模糊函数，wi表示第i层数据图像的特征权重矩阵值，涉及的第i级模糊函数bi(·)为浅层模糊神经网络迭代i次获得的，其表示为：

训练过程中，损失函数l采用重构函数和结构相似性ssim的结合，提高输出数据和对比数据之间的紧密度分析，达到有效减少模型与实际数据的差距的目的，进而更好的优化模型。其中l具体为：

其中iboke表示模型生成带有散景效果的图像，表示实际带有散景效果的图像的原始图像，表示产生的图像iboke与实际图像之间的结构相似性，具体如下：

其中α、β、γ为预设定的常数，表示产生的图像ibokeh与实际图像之间的亮度关系，表示产生的图像ibokeh与实际图像之间的对比度关系，表示产生的图像ibo与实际图像之间的结构关系。

在进一步的实施例中，所述第三模块进一步为：

该模块首先，利用第二模块中获得的散景效果渲染的网络模型接收待进行背景虚化的图片，并将其输入模型中的深度估计网络；其次，将经过深度估计网络获得的深度图，进行反卷积的上采样，从而还原输入图像数据的大小，接着将深度网络获得的深度图输入散景效果渲染网络模型中的卷积层，并结合激活函数进行针对接收到图像特征图的权重计算，将获得的数值作为模糊网络层加权和的对应数据；再次，散景效果渲染网络模型中的浅层模糊网络将接收到的待进行背景虚化图片的深度图信号进行模糊化操作；从次，利用散景效果渲染网络模型中设定的加权和计算方式，将获得的权重和模糊函数进行加权和的计算，获得处理后图像的数值；最后，散景效果渲染网络模型将获得处理后的图像数值输出，即将产生具有散景效果渲染的图像输出。

有益效果：本发明提出了基于深度感知的单目视觉图像背景快速虚化的方法及实现该方法的系统，通过构建单目深度估计学网络进行图片背景虚化的学习，利用进一步修改后的卷积层来学习空间权值的变化。与其他算法相比，本发明采用的背景虚化算法技术的泛化性能较强，误差较小，可适应各种场景，以及利用大量数据集训练端到端的神经输出网络，解决背景虚化算法的运行速度问题。

附图说明

图1为本发明的方法流程示意图。

图2为基于人像分割的背景虚化流程图。

图3为基于软硬件结合的背景虚化流程图。

图4为深度估计网络结构图。

图5为根据深度网络图获得权重合成焦外成像流程图。

图6为车座产生背景虚化的效果图。

图7为多种树叶产生背景虚化的效果图b。

图8为单种产生背景虚化的效果图c。

具体实施方式

申请人认为，单反相机由于其光圈较大且集成了众多传感器，通过一些参数的调整很容易做到这点；双目摄像头由于在拍摄时可以感受到一定的场景深度，通过一定的深度算法也能够产生背景虚化的效果。但单目摄像头、光学传感器较少的设备中，直接从任意一张图像中实现既快又好的背景虚化效果一直没有得到有效的解决。

现有技术中对散景渲染采用的方法为对人像照片的集中处理以及将深度估计和图像显著性分割作为先验知识和原始图像一起作为输入数据训练一个端到端的网络。其中，对人像照片的提取通常使用语义分割方法将人像从图像中分割出来，然后模糊剩下的区域。部分人采用硬件与软件相结合的算法，如下图3。首先利用神经网络对图像中的人物进行分割，在人物图像的情况下生成前景遮罩。然后，他们使用带有双像素自动对焦硬件的传感器生成密集深度图，并将此深度图与前景遮罩一起用于浅景深图像的深度依赖渲染。还有一些人，使用现成的网络进行人像分割和单张图像的深度估计，将除人像外的场景根据深度进行不同层次模糊。如上所述，第一类方法的数据集没有包含一般场景中的图像如自然风光，导致这类算法通常对除人像外的图像不起作用。第二类方法，将深度估计和图像显著性作为先验知识输入一个端到端的神经网络训练，其可解释性较差，且运行速度较慢。

为解决现有技术存在的问题，本发明提出了基于深度感知的单目视觉图像背景快速虚化的方法及实现该方法的系统，该方法设计了一种用于散景效果渲染的端到端深度学习方法。

下面通过实施例，并结合附图对本方案做进一步具体说明。

在本申请中，我们提出基于深度感知的单目视觉图像背景快速虚化的方法及实现该方法的系统，其中包含的一种基于深度感知的单目视觉图像背景快速虚化的方法，具体为包括以下步骤：

步骤一、建立模型训练数据集；该步骤中建立用于步骤二中模型训练的图片数据集，为提高对真实场景中包含数据的学习，采用数据集均为真实场景图片。数据集中图片均已成对的方式存储，即分别为原始图片和对应带有散景渲染效果的图片。其中该数据集中的原始图片作为模型训练过程中的输入数据，数据集中带有散景效果的图片作为模型训练过程中用于与模型输出图片进行比对的对比数据。

步骤二、构建深度感知的单目视觉图像训练网络；该步骤构建深度感知的单目视觉图像训练网络，训练该网络形成产生散景效果渲染的网络模型。该网络的训练方式为首先接收步骤一建立数据集中的输入图片数据iorg；其次，通过设计的卷积层进行特征提取；然后，通过模糊函数的迭代形成预定模糊程度效果的呈现，最后，利用损失函数激活学习权重。通过上述流程完成网络学习训练，得到输出图片为ibokeh的网络模型，其中ibok为带有散景效果渲染的图片。产生带有散景渲染效果图片的模型具体可以构建为：

即将步骤一建立的数据集中的对比数据看作为数据集中输入数据平滑版本的加权和。其中，iorg表示原始图像，表示矩阵逐元素相乘，bi(·)是第i级模糊函数，wi表示第i层数据图像的特征权重矩阵值，涉及的第i级模糊函数bi(·)为浅层模糊神经网络迭代i次获得的，其表示为：

训练过程中，损失函数l1采用重构函数和结构相似性ssim的结合，提高输出数据和对比数据之间的紧密度分析，达到有效减少模型与实际数据的差距的目的，进而更好的优化模型。其中l1具体为：

其中ibokeh表示模型生成带有散景效果的图像，表示实际带有散景效果的图像的原始图像，表示产生的图像ibokeh与实际图像之间的结构相似性，具体如下：

其中α、β、γ为预设定的常数，表示产生的图像ibokeh与实际图像之间的亮度关系，表示产生的图像ibokeh与实际图像之间的对比度关系，表示产生的图像ibokeh与实际图像之间的结构关系。

步骤三、经过训练的神经网络模型接收待进行散景渲染的图片，完成散景渲染后将图片输出；该步骤具体为首先，步骤二中获得的散景效果渲染的网络模型接收待进行背景虚化的图片；其次，散景效果渲染网络模型中的卷积层和激活函数提取计算接收到图像的特征图权重，并将获得的数值作为模糊层加权和的对应数据；再次，散景效果渲染网络模型中的浅层模糊网络将接收到的待进行背景虚化的图片信号进行模糊化操作；从次，利用散景效果渲染网络模型中设定的加权和计算方式，将获得的权重和模糊函数进行加权和的计算，获得处理后图像的数值；最后，散景效果渲染网络模型将获得处理后的图像数值输出，即将产生具有散景效果渲染的图像输出。

基于上述方法，可以构建一种用于实现上述方法的系统，具体为包括：

用于建立训练集的第一模块；该模块中建立用于第二模块中模型训练的图片数据集，该模块中所含有数据集均是成对出现的照片集，即成对出现的是单目视觉图像的平面图和其对应具有散景渲染效果的图像。该模块数据集中的单目视觉图像的平面图作为模型训练过程中的输入数据，数据集中带有散景效果的图片作为模型训练过程中用于与模型输出图片进行比对的对比数据。为保证对不同场景下产生散景效果的有效提高，图片集中所描述场景和包含的事物景均为真实场景中和不同的主体。

用于获得具有散景效果网络模型的第二模块；该模块首先建立用于获得深度图的深度估计网络，该网络通过接收第一模块中单目视觉图像的平面图作为训练数据，并将具有散景渲染效果的图像作为经过网络学习处理产生图像的对比数据，从而利用产生的误差进行反向传播，获得深度估计网络的参数优化；然后在深度估计网络训练完成后，通过将进过深度估计网络获得的深度图输入至带有预设定层数的卷积层和激活函数中获得特征图，进而获得其权重，并通过预设定模糊网络迭代的次数获得模糊图像；最后将特征权重结合模糊图像利用加权和计算获得最终含有散景效果的图像，从而完成散景效果网络模型的建立。

其中深度估计网络的训练过程为，首先将第一模块种作为输入图像的图片进行大小的重置，即按照与设定倍数进行图片大小的调整，获得符合网络输入大小的图片；然后将处理后的图片输入深度估计网络，产生深度估计图；最后，将获得的深度估计图在通过反卷积层进行图像大小的恢复。

经过深度估计网络产生的深度图再次经过与设定次数的卷积和激活函数获得特征图权重，然后经过预定次模糊网络函数的迭代，最后通过加权和获得最终具有散景效果的图像。

最终产生带有散景渲染效果图片的模型具体可以构建为：

即将第一模块建立的数据集中的对比数据看作为数据集中输入数据平滑版本的加权和。其中，ibokeh表示最终产生的图像，iorg表示原始图像，表示矩阵逐元素相乘，bi(·)是第i级模糊函数，wi表示第i层数据图像的特征权重矩阵值，涉及的第i级模糊函数bi(·)为浅层模糊神经网络迭代i次获得的，其表示为：

训练过程中，损失函数l采用重构函数和结构相似性ssim的结合，提高输出数据和对比数据之间的紧密度分析，达到有效减少模型与实际数据的差距的目的，进而更好的优化模型。其中l具体为：

其中ibokeh表示模型生成带有散景效果的图像，表示实际带有散景效果的图像的原始图像，表示产生的图像ibok与实际图像之间的结构相似性，具体如下：

其中α、β、γ为预设定的常数，表示产生的图像ibok与实际图像之间的亮度关系，表示产生的图像ibokeh与实际图像之间的对比度关系，表示产生的图像ibo与实际图像之间的结构关系。

用于实现散景效果的第三模块。该模块首先，利用第二模块中获得的散景效果渲染的网络模型接收待进行背景虚化的图片，并将其输入模型中的深度估计网络；其次，将经过深度估计网络获得的深度图，进行反卷积的上采样，从而还原输入图像数据的大小，接着将深度网络获得的深度图输入散景效果渲染网络模型中的卷积层，并结合激活函数进行针对接收到图像特征图的权重计算，将获得的数值作为模糊网络层加权和的对应数据；再次，散景效果渲染网络模型中的浅层模糊网络将接收到的待进行背景虚化图片的深度图信号进行模糊化操作；从次，利用散景效果渲染网络模型中设定的加权和计算方式，将获得的权重和模糊函数进行加权和的计算，获得处理后图像的数值；最后，散景效果渲染网络模型将获得处理后的图像数值输出，即将产生具有散景效果渲染的图像输出。

本发明可以应用于电脑pc端的图像虚化处理和移动端拍摄自动虚化等，实现对照片的背景虚化。如图6至图8所示为利用本发明实现对照片进行背景虚化处理的结果。其中左边为原始照片，右边为经过处理后附带散景效果的照片，根据效果图验证了本发明实现背景虚化的同时也保持了主体部分的清晰度。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。