本发明实施例涉及计算机视觉技术领域，尤其涉及一种神经网络训练方法、装置、计算机可读存储介质和电子设备，以及一种图像处理方法、装置、计算机可读存储介质和电子设备。
背景技术：
图像的背景虚化能够使拍摄主体清晰显示，深受摄影爱好者的喜爱。由于图像的虚化效果主要是利用光学成像原理，在硬件上采用大的镜头光圈来实现，因此，图像的虚化功能主要集成在单反相机等专业的摄像机上，对于智能手机、平板电脑等厚度受限而只能安装小光圈镜头的移动终端设备，用户在使用移动终端设备拍照时，只能生成没有具有虚化效果的或者只具有微弱虚化效果的图像。
目前，采用单镜头背景虚化技术(单目虚化技术)能够使得具有单个镜头的移动终端设备，模拟单反相机的背景虚化拍照效果。在单目虚化技术应用过程中，需要对图像进行前背景分割处理，提取目标前景区域或背景区域。但是，现有的前背景分割处理技术存在前背景分割准确度较低，或者处理速度较低的问题，在处理速度受限的情况下前背景分割准确度也会受限，导致最终的单目虚化效果较差。
技术实现要素：
本发明实施例的目的在于，提供一种神经网络训练技术，以及一种图像处理技术。
根据本发明实施例的第一方面，提供一种神经网络训练方法，包括：通过神经网络系统对训练样本图像进行第一卷积处理，获取所述训练样本图像的前背景分割的第一分割结果；以及，对所述第一分割结果进行第二卷积处理，获取所述训练样本图像的前背景分割的第二分割结果；根据所述训练样本图像的前背景分割的标注分割结果与所述第一分割结果之间的差异，以及所述标注分割结果与所述第二分割结果之间的差异，训练所述神经网络系统。
可选地，所述根据所述训练样本图像的前背景分割的标注分割结果与所述第一分割结果之间的差异，以及所述标注分割结果与所述第二分割结果之间的差异，训练所述神经网络系统，包括：获取所述标注分割结果与所述第一分割结果之间的第一差异数据，以及所述标注分割结果与所述第二分割结果之间的第二差异数据；根据所述第一差异数据与所述第二差异数据的和调整所述神经网络系统的网络参数。
可选地，所述神经网络包括系统第一卷积子网络和第二卷积子网络；通过所述第一卷积子网络对所述训练样本图像进行所述第一卷积处理，获取所述第一分割结果；通过所述第二卷积子网络对所述第一分割结果进行所述第二卷积处理，获取所述第二分割结果。
可选地，所述第一卷积子网络包括位于不同深度的多个卷积层；所述对所述第一分割结果进行第二卷积处理，包括：获取所述多个卷积层中位于第一深度的卷积层的浅层输出结果和/或位于第二深度的卷积层的深层输出结果；其中，所述第一深度小于所述第二深度；将所述第一分割结果与所述浅层输出结果和/或所述深层输出结果进行合并，获得第一合并结果；对所述第一合并结果进行第二卷积处理。
可选地，所述神经网络系统包括位于不同深度的至少二个第二卷积子网络；通过所述至少二个第二卷积子网络中位于最小深度的第二卷积子网络对所述第一分割结果进行第二卷积处理，获取所述第二分割结果；通过位于第三深度的第二卷积子网络对位于第四深度的第二卷积子网络获取的第二分割结果进行新的第二卷积处理，获取新的第二分割结果；其中，所述第三深度大于所述第四深度；所述根据所述训练样本图像的前景分割的标注分割结果与所述第一分割结果之间的差异，以及所述标注分割结果与所述第二分割结果之间的差异，训练所述神经网络系统，包括：根据所述训练样本图像的前景分割的标注分割结果与所述第一分割结果之间的差异，所述标注分割结果与所述第二分割结果之间的差异，以及所述标注分割结果与所述新的第二分割结果之间的差异，训练所述神经网络系统。
可选地，所述通过位于第三深度的第二卷积子网络对位于第四深度的第二卷积子网络获取的第二分割结果进行新的第二卷积处理，包括：将位于第四深度的第二卷积子网络获取的第二分割结果与所述浅层输出结果和/或所述深层输出结果进行合并，获得第二合并结果；通过位于第三深度的第二卷积子网络对所述第二合并结果进行所述新的第二卷积处理。
可选地，所述根据所述训练样本图像的前景分割的标注分割结果与所述第一分割结果之间的差异，所述标注分割结果与所述第二分割结果之间的差异，以及所述标注分割结果与所述新的第二分割结果之间的差异，训练所述神经网络系统，包括：获取所述标注分割结果与所述第一分割结果之间的第一差异数据，所述标注分割结果与所述第二分割结果之间的第二差异数据，以及所述标注分割结果与所述新的第二分割结果之间的第三差异数据；根据所述第一差异数据、所述第二差异数据以及所述第三差异数据的和调整所述神经网络系统的网络参数。
根据本发明实施例的第二方面，提供一种图像处理方法，包括：将待处理图像输入神经网络系统，通过所述神经网络系统对所述待处理图像进行前背景分割处理；获取进行所述前背景分割处理之后的待处理图像的背景部分，对所述背景部分进行分段虚化处理。
可选地，所述通过所述神经网络系统对所述待处理图像进行前背景分割处理，包括：通过神经网络系统对待处理图像进行第一卷积处理，获取所述待处理图像的前背景分割的第一分割结果；对所述第一分割结果进行第二卷积处理，获取所述待处理图像的前背景分割的第二分割结果；根据所述第二分割结果对所述待处理图像进行前背景分割处理，以对所述待处理图像进行与前背景分割处理相关的处理。
可选地，所述神经网络系统为采用如权利要求1至7中任一项所述的神经网络训练方法训练获得的神经网络系统。
可选地，在所述通过所述神经网络系统对所述待处理图像进行前背景分割处理之后，所述方法还包括：对进行所述前背景分割处理之后的待处理图像进行导向滤波处理和/或alphamatting处理。
可选地，所述对所述背景部分进行分段虚化处理，包括：
根据所述背景部分中每个像素点到所述待处理图像的指定边缘的距离，对所述每个像素点进行模糊处理。
根据本发明实施例的第三方面，提供一种神经网络训练装置，包括：第一分割模块，用于通过神经网络系统对训练样本图像进行第一卷积处理，获取所述训练样本图像的前背景分割的第一分割结果；以及，对所述第一分割结果进行第二卷积处理，获取所述训练样本图像的前背景分割的第二分割结果；训练模块，用于根据所述训练样本图像的前背景分割的标注分割结果与所述第一分割结果之间的差异，以及所述标注分割结果与所述第二分割结果之间的差异，训练所述神经网络系统。
可选地，所述训练模块用于获取所述标注分割结果与所述第一分割结果之间的第一差异数据，以及所述标注分割结果与所述第二分割结果之间的第二差异数据；根据所述第一差异数据与所述第二差异数据的和调整所述神经网络系统的网络参数。
可选地，所述神经网络包括系统第一卷积子网络和第二卷积子网络；所述分割模块包括：第一分割单元，用于通过所述第一卷积子网络对所述训练样本图像进行所述第一卷积处理，获取所述第一分割结果；第二分割单元，用于通过所述第二卷积子网络对所述第一分割结果进行所述第二卷积处理，获取所述第二分割结果。
可选地，所述第一卷积子网络包括位于不同深度的多个卷积层；所述分割模块还包括：第一合并单元，用于获取所述多个卷积层中位于第一深度的卷积层的浅层输出结果和/或位于第二深度的卷积层的深层输出结果；其中，所述第一深度小于所述第二深度；以及，将所述第一分割结果与所述浅层输出结果和/或所述深层输出结果进行合并，获得第一合并结果；所述第二分割单元用于对所述第一合并结果进行第二卷积处理。
可选地，所述神经网络系统包括位于不同深度的至少二个第二卷积子网络；所述第二分割单元用于通过所述至少二个第二卷积子网络中位于最小深度的第二卷积子网络对所述第一分割结果进行第二卷积处理，获取所述第二分割结果；所述第一分割模块还包括第三分割单元，用于通过位于第三深度的第二卷积子网络对位于第四深度的第二卷积子网络获取的第二分割结果进行新的第二卷积处理，获取新的第二分割结果；其中，所述第三深度大于所述第四深度；所述训练模块用于根据所述训练样本图像的前景分割的标注分割结果与所述第一分割结果之间的差异，所述标注分割结果与所述第二分割结果之间的差异，以及所述标注分割结果与所述新的第二分割结果之间的差异，训练所述神经网络系统。
可选地，所述第一分割模块还包括第二合并单元，用于将位于第四深度的第二卷积子网络获取的第二分割结果与所述浅层输出结果和/或所述深层输出结果进行合并，获得第二合并结果；所述第三分割单元用于通过位于第三深度的第二卷积子网络对述第二合并结果进行所述新的第二卷积处理。
可选地，所述训练模块用于获取所述标注分割结果与所述第一分割结果之间的第一差异数据，所述标注分割结果与所述第二分割结果之间的第二差异数据，以及所述标注分割结果与所述新的第二分割结果之间的第三差异数据；根据所述第一差异数据、所述第二差异数据以及所述第三差异数据的和调整所述神经网络系统的网络参数。
根据本发明实施例的第四方面，提供了一种图像处理装置，包括：第二分割模块，用于将待处理图像输入神经网络系统，通过所述神经网络系统对所述待处理图像进行前背景分割处理；虚化模块，用于获取进行所述前背景分割处理之后的待处理图像的背景部分，对所述背景部分进行分段虚化处理。
可选地，所述第二分割模块包括：第三分割单元，用于通过神经网络系统对待处理图像进行第一卷积处理，获取所述待处理图像的前背景分割的第一分割结果；第四分割单元，用于对所述第一分割结果进行第二卷积处理，获取所述待处理图像的前背景分割的第二分割结果；第五分割单元，用于根据所述第二分割结果对所述待处理图像进行前背景分割处理，以对所述待处理图像进行与前背景分割处理相关的处理。
可选地，所述神经网络系统为采用本发明实施例提供的任一神经网络训练装置训练获得的神经网络系统。
可选地，所述装置还包括：处理模块，用于对进行所述前背景分割处理之后的待处理图像进行导向滤波处理和/或alphamatting处理。
可选地，所述虚化模块用于根据所述背景部分中每个像素点到所述待处理图像的指定边缘的距离，对所述每个像素点进行模糊处理。
根据本发明实施例的第五方面，提供了一种计算机程序，其包括有计算机程序指令，所述程序指令被处理器执行时用于实现本发明实施例提供的任一神经网络训练方法对应的步骤。
根据本发明实施例的第六方面，提供了一种计算机程序，其包括有计算机程序指令，所述程序指令被处理器执行时用于实现本发明实施例提供的任一图像处理方法对应的步骤。
根据本发明实施例的第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述程序指令被处理器执行时用于实现本发明实施例提供的任一神经网络训练方法对应的步骤。
根据本发明实施例的第八方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述程序指令被处理器执行时用于实现本发明实施例提供的任一图像处理方法对应的步骤。
根据本发明实施例的第九方面，提供了一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行本发明实施例提供的任一神经网络训练方法对应的步骤。
根据本发明实施例的第十方面，提供了一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行本发明实施例提供的任一图像处理方法对应的步骤。
根据本发明实施例的图像处理方案，通过在训练神经网络时对训练样本图像进行初步的卷积处理，并对得到的初步分割结果进行进一步的卷积处理，得到训练样本图像的前背景分割的优化分割结果，从而根据训练样本图像与初步分割结果和优化分割结果之间的差异训练神经网络系统，以通过神经网络系统对待处理图像进行二次卷积处理，在初步分割结果的基础上进一步优化分割结果，可有效地提高前背景分割精确度，并保证较高的处理速度；在此基础上进行单目虚化处理，可以有效地提升虚化效果。
附图说明
图1是示出根据本发明实施例一的神经网络训练方法的流程图；
图2是示出根据本发明实施例二的神经网络训练方法的流程图；
图3是示出根据本发明实施例二提供的神经网络训练系统的示意性结构图；
图4示出了根据本发明实施例三的图像处理方法的流程图；
图5是示出根据本发明实施例四的神经网络训练装置的第一结构框图；
图6是示出根据本发明实施例四的神经网络训练装置的第二结构框图；
图7是示出根据本发明实施例五的图像处理装置的结构框图；
图8是根据本发明实施例六的一种电子设备的结构示意图；
图9是根据本发明实施例七的一种电子设备的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
实施例一
图1是示出根据本发明实施例一的神经网络训练方法的流程图。
参照图1，在步骤s110，通过神经网络系统对训练样本图像进行第一卷积处理，获取训练样本图像的前背景分割的第一分割结果；以及，对第一分割结果进行第二卷积处理，获取训练样本图像的前背景分割的第二分割结果。
在本发明实施例中，训练样本图像用于训练对图像进行前背景分割处理的神经网络系统。训练样本图像可以为任意摄像头在任意场景下拍摄得到的图像。可选地，神经网络系统为深度神经网络系统。神经网络系统中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如深度卷积神经网络中卷积层的层数、卷积核的大小等等，本发明实施例对此不作限制。
根据本发明的示例性实施方式，将训练样本图像输入神经网络系统后，通过神经网络系统对训练样本图像进行第一卷积处理，获得第一分割结果。这里，第一卷积处理可以包括多个卷积操作，例如，多个串联的卷积层分别进行卷积操作形成第一卷积处理，用于对训练样本图像进行特征提取、特征学习等。第一分割结果用于指示训练样本图像中前景部分(前景区域)和/或背景部分(背景区域)，例如，第一分割结果具体可以为一个矩阵，用于标识训练样本图像中每个像素点属于前景部分或者背景部分的概率。根据第一分割结果可对训练样本图像进行前景部分和背景区域的分割处理(前背景分割)。
在获取第一分割结果之后，通过神经网络系统对第一分割结果进行第二卷积处理。这里，第二卷积处理可以与第一卷积处理包括相同的操作，第二分割结果可以与第一分割结果具有相同的表述形式。第二卷积处理用于对第一分割结果进行再次的卷积处理，对待处理图像进行更深层次的特征学习和提取，以进一步获取精确度更高的第二分割结果。
也就是说，第一卷积处理为对训练样本图像进行的初步前背景分割处理，第一分割结果为得到的初步分割结果；第二卷积处理为对初步分割结果进行的进一步优化处理，第二分割结果为得到的优化分割结果。
在步骤s120，根据训练样本图像的前背景分割的标注分割结果与第一分割结果之间的差异，以及标注分割结果与第二分割结果之间的差异，训练神经网络系统。
可选地，获取标注分割结果与第一分割结果之间的第一差异数据，以及与第二分割结果之间的第二差异数据，以根据第一差异数据和第二差异数据调整神经网络系统的网络参数。例如，根据预设的损失函数或者偏差函数，计算标注分割结果与第一分割结果之间的损失值或者偏差值，以及与第二分割结果之间的损失值或者偏差值，并根据计算得到的损失值或偏差值调整神经网络系统的网络参数。
在实际应用中，可基于多张相同或不同的训练样本图像，重复执行上述神经网络训练方法对神经网络系统的网络参数进行调整，直至神经网络系统较好地收敛。
训练完成的神经网络系统可用于图像进行前背景分割的处理，通过神经网络系统对待处理图像进行第一卷积处理得到初步分割结果，并对初步分割结果进行进一步的第二卷积处理，得到的优化分割结果具有较高的分割精确度；并且，通过神经网络系统进行前背景分割处理，还可以通过控制第二卷积处理包括的具体操作步骤，来保证较高的处理速度；从而在处理速度受限的情况下实现高精确度的前背景分割处理。
根据本发明实施例一的神经网络训练方法，通过对训练样本图像进行初步的卷积处理，得到训练样本图像的前背景分割的初步分割结果；并通过对初步分割结果进行进一步的卷积处理，得到训练样本图像的前背景分割的优化分割结果；从而根据训练样本图像与初步分割结果和优化分割结果之间的差异训练神经网络系统。采用本实施例的神经网络训练方法训练得到的神经网络系统，通过对训练样本图像进行二次卷积处理，在初步分割结果的基础上进一步优化分割结果，可有效地提高前背景分割精确度，并保证较高的处理速度。
本实施例的神经网络训练方法可以由任意适当的具有相应的图像和数据处理能力的设备执行，包括但不限于：例如计算机等终端设备，以及集成在终端设备上的计算机程序、处理器等。
实施例二
图2是示出根据本发明实施例二的神经网络训练方法的流程图。
参照图2，在步骤s210，通过神经网络系统的第一卷积子网络对训练样本图像进行第一卷积处理，获取训练样本图像的前背景分割的第一分割结果。
本发明实施例中，神经网络系统用于对图像进行前背景分割，神经网络系统包括第一卷积子网络，用于对图像进行第一卷积处理，获取第一分割结果。这里，第一卷积子网络可包括多个卷积层，第一卷积处理包括多个卷积层分别执行的卷积操作。在第一卷积子网络中，卷积层的个数、卷积核(滤波器)的大小、通道数以及下采样位置等具体参数的设置，可以由本领域技术人员根据实际需求适当设定，本发明实施例对此不作限制。
在一种可选实施方式中，第一卷积子网络包括的多个卷积层位于神经网络系统的不同深度，如图3所示，神经网络系统中设置有多个串联的conv(convolution，卷积层)。将训练样本图像输入神经系统后，通过多个卷积层分别执行卷积操作，其中，多个卷积层所执行的卷积操作用于提取训练样本图像中不同抽象等级的特征。
在步骤s220，获取第一卷积子网络中的浅层输出结果和/或深层输出结果，将第一分割结果与浅层输出结果和/或深层输出结果进行合并，得到第一合并结果。
其中，浅层输出结果为第一卷积子网络的多个卷积层中位于第一深度的浅层卷积层的输出结果，深层输出结果为位于第二深度的深层卷积层的输出结果。这里，第一深度小于第二深度，也即，浅层卷积层可以为多个卷积层中深度较小或较浅的卷积层中的任一个，深层卷积层可以为深度较大或较深的卷积层中任一个。
根据本发明的示例性实施方式，在对获取的第一分割结果进行第二卷积处理之前，将第一分割结果与浅层输出结果和/或深层输出结果进行合并处理，得到第一合并结果。其中，浅层分割结果为第一卷积子网络中的浅层卷积层的输出结果，包含了浅层卷积层从训练样本图像中提取的例如图像纹理、材质等特征；深层分割结果为第一卷积子网络中的深层卷积层的输出结果，包含了深层卷积层从训练样本图像中提取的例如图像主体细节等更加抽象、高级的信息。优选地，将浅层输出结果和深层输出结果同时与第一分割结果进行合并处理，使得第一合并结果包含训练样本图像的细节信息和整体语义信息。
图3中示出了合并处理方式，是将第一分割结果与浅层输出结果和/或深层输出结果一起输入第二卷积子网络refineconv，由第二卷积子网络执行合并处理。在实际应用中，还可以在执行合并处理并获得第一合并结果后，再将第一合并结果输入第二卷积子网络进行第二卷积处理。
在步骤s230，通过神经网络系统的至少一个第二卷积子网络对第一合并结果进行第二卷积处理，获取训练样本图像的前背景分割的第二分割结果。
本发明实施例中，神经网络系统的第一卷积子网络为第一阶段的卷积网络，用于对训练样本图像进行初步前背景分割的第一卷积处理；至少一个第二卷积子网络为第二阶段的卷积网络，用于对第一分割结果进行优化前背景分割精确度的第二卷积处理。
图3中示出的神经网络系统包括一个第二卷积子网络，通过该第二卷积子网络对第一合并结果进行第二卷积处理，获取第二分割结果。其中，第一合并结果包含训练样本图像的细节信息和整体语义信息，基于第一合并结果进行第二卷积处理，可以进一步提高第二分割结果的精确度。
可选地，在神经网络系统包括至少二个第二卷积子网络时，通过至少二个第二卷积子网络中位于最小深度的第二卷积子网络对第一分割结果进行第二卷积处理，获取第二分割结果。这里，位于最小深度的第二卷积子网络可以为图3中示出的第二卷积子网络，用于对第一分割结果进行首次的第二卷积处理。
以及，通过位于第三深度的第二卷积子网络对位于第四深度的第二卷积子网络获取的第二分割结果进行新的第二卷积处理，获取新的第二分割结果；其中，第三深度大于第四深度。也即，通过位于较大深度的第二卷积子网络对位于较小深度的第二卷积子网络获取的第二分割结果，再次进行第二卷积处理，以获取精确度较高的新的第二分割结果。这里，位于最大深度的第二卷积子网络输出的第二分割结果为最终的前背景分割结果。
可选地，获取第一卷积子网络中的浅层输出结果和/或深层输出结果，将位于第四深度的第二卷积子网络获取的第二分割结果与第一输出结果和/或第二输出结果进行合并，获得第二合并结果；通过位于第三深度的第二卷积子网络对第二合并结果进行新的第二卷积处理，实现对第二分割结果执行优化前背景分割进精确度的第二卷积处理。这里，获取的深层输出结果还可以为位于较小深度(小于第四深度)的第二卷积子网络输出的第二分割结果。
在这里说明，第二卷积子网络的数量可以根据前背景分割处理中实际的处理速度需求进行设定。例如，如果需求的处理速度较高，可以设置2或3个第二卷积子网络，从而不增加过多处理时间，提高处理速度。
也就是说，在通过第一卷积子网络对训练样本图像进行初步分割处理，获取初步分割结果(第一分割结果)之后，可通过设置一个第二卷积子网络对初步分割结果进行优化处理，以提高分割精确度；以及通过设置多个第二卷积子网络，对优化后的第二分割结果进行多次的优化处理，以进一步提高分割精确度。
在步骤s240，获取训练样本图像的前背景分割的标注分割结果与第一分割结果之间的第一差异数据，以及与第二分割结果之间的第二差异数据，根据第一差异数据与第二差异数据的和调整神经网络系统的网络参数。
这里，在根据标注分割结果与第一分割结果和第二分割结果之间的差异，训练神经网络系统时，将第一差异数据与第二差异数据的和，作为神经网络系统获取的最终分割结果与目标分割结果之间的差异的度量值，进而根据该度量值调整神经网络系统的网络参数。
其中，如果神经网络系统包括多个第二卷积子网络，则根据标注分割结果与第一分割结果之间的差异，以及与各第二卷积子网络获取的第二分割结果之间的差异，训练神经网络系统。可选地，获取标注分割结果与第一分割结果之间的第一差异数据，与第二分割结果之间的第二差异数据，以及与各新的第二分割结果之间的各第三差异数据；根据第一差异数据、第二差异数据以及各第三差异数据的和调整神经网络系统的网络参数。
基于大量的训练样本图像执行本发明实施例的神经网络训练方法，根据每次得到的度量值调整神经网络系统的网络参数，直至神经网络系统较好的收敛，也即，直至得到的度量值降低至预设的差异阈值或者不在降低。
根据本发明实施例二的神经网络训练方法，通过对训练样本图像进行初步的卷积处理，得到训练样本图像的前背景分割的初步分割结果；并通过对初步分割结果进行进一步的卷积处理，得到训练样本图像的前背景分割的优化分割结果；从而根据训练样本图像与初步分割结果和优化分割结果之间的差异训练神经网络系统，提高训练完成的神经网络系统进行前背景分割的精确度；以及，通过在对初步分割结果进行优化处理时，考虑了初步卷积处理过程中的浅层输出结果和深层输出结果，也就是说考虑了训练样本图像的细节信息和整体语义信息，进一步提高了训练完成的神经网络系统进行前背景分割的精确度；以及，通过对优化后的分割结果进行再多次的优化处理，又进一步提高了获取的优化分割结果的精确度，从而进一步提高训练完成的神经网络系统进行前背景分割的精确度。采用本实施例的神经网络训练方法训练得到的神经网络系统，可以有效地提高前背景分割精确度，并保证较高的处理速度。
本实施例的神经网络训练方法可以由任意适当的具有相应的图像或数据处理能力的设备执行，包括但不限于：例如计算机的终端设备，以及集成在终端设备上的计算机程序、处理器等。
实施例三
图4是示出根据本发明实施例三的图像处理方法的流程图。
参照图4，在步骤s410，将待处理图像输入神经网络系统，通过神经网络系统对待处理图像进行前背景分割处理。
本发明实施例中，神经网络系统用于对图像进行前背景分割处理，具体可以为经过本发明实施例一或实施例二的神经网络训练方法训练得到的神经网络系统。
可选地，通过神经网络系统对待处理图像进行第一卷积处理，获取待处理图像的前背景分割的第一分割结果；以及，对第一分割结果进行第二卷积处理，获取待处理图像的前背景分割的第二分割结果；并根据第二分割结果对待处理图像进行前背景分割处理，以对待处理图像进行与前背景分割处理相关的处理。
其中，第一卷积处理可视为通过神经网络系统对待处理图像进行初步的卷积处理，得到待处理图像的前背景分割的初步分割结果；第二卷积处理可视为通过对初步分割结果进行进一步优化的卷积处理，得到待处理图像的前背景分割的优化分割结果，从而提高前背景分割的精确度，并保证较高的处理速度。
并且，可在对第一分割结果进行第二卷积处理时，获取用于进行第一卷积处理的多个卷积层中浅层卷积层的输出结果以及深层卷积层的输出结果，也即，获取第一卷积处理过程中的浅层输出结果和深层输出结果，并将第一分割结果与浅层输出结果和深层输出结果进行合并，从而通过对得到合并结果进行第二卷积处理，进一步提高神经网络系统进行前背景分割的精确度。
以及，可在对第一分割结果进行第二卷积处理后，对第二分割结果再进行用于优化精确度的卷积处理，以更进一步地提高神经网络系统进行前背景分割的精确度。
在步骤s420，获取进行前背景分割处理之后的待处理图像的背景部分，对背景部分进行分段虚化处理。
例如，基于前背景分割处理结果，确定待处理图像中背景部分，将背景部分中每个像素点的模糊力度，设置为与像素点到图像下边缘的距离成正比，并基于设置的模糊力度对背景部分进行模糊处理，从而使得背景部分的虚化程度与前景区域的虚化程度进行区分，提高背景虚化处理的真实度。
可选地，在执行本步骤之前，可对进行前背景分割处理之后的待处理图像进行导向滤波处理和/或alphamatting处理。其中，导向滤波处理用于图像中分割出的前景部分与背景部分的边缘进行平滑降噪，提高分割结果对边缘细节的保留度。alphamatting处理用于使得前景部分与背景部分之间的过渡区域更加自然。
也就是说，本实施例的图像处理方法在对图像进行前背景分割处理之后，可以对图像进行包括但不限于导向滤波处理、背景分段虚化处理等与前背景分割相关的处理。
本实施例的图像处理方法可以由任意适当的具有相应的图像和数据处理能力的设备执行，包括但不限于：终端设备以及集成在终端设备上的计算机程序、处理器等，例如，智能手机、平板电脑等移动终端设备。
实施例四
参照图5，示出了根据本发明实施例四的一种神经网络训练装置的结构框图。
本发明实施例的神经网络训练装置包括：第一分割模块502，用于通过神经网络系统对训练样本图像进行第一卷积处理，获取所述训练样本图像的前背景分割的第一分割结果；以及，对所述第一分割结果进行第二卷积处理，获取所述训练样本图像的前背景分割的第二分割结果；训练模块504，用于根据所述训练样本图像的前背景分割的标注分割结果与所述第一分割结果之间的差异，以及所述标注分割结果与所述第二分割结果之间的差异，训练所述神经网络系统。
可选地，所述训练模块504用于获取所述标注分割结果与所述第一分割结果之间的第一差异数据，以及所述标注分割结果与所述第二分割结果之间的第二差异数据；根据所述第一差异数据与所述第二差异数据的和调整所述神经网络系统的网络参数。
可选地，所述神经网络包括系统第一卷积子网络和第二卷积子网络；在图5所示装置的基础上，所述第一分割模块502包括：第一分割单元5021，用于通过所述第一卷积子网络对所述训练样本图像进行所述第一卷积处理，获取所述第一分割结果；第二分割单元5022，用于通过所述第二卷积子网络对所述第一分割结果进行所述第二卷积处理，获取所述第二分割结果。
可选地，所述第一卷积子网络包括位于不同深度的多个卷积层；所述第一分割模块502还包括：第一合并单元5023，用于获取所述多个卷积层中位于第一深度的卷积层的浅层输出结果和/或位于第二深度的卷积层的深层输出结果；其中，所述第一深度小于所述第二深度；以及，将所述第一分割结果与所述浅层输出结果和/或所述深层输出结果进行合并，获得第一合并结果；所述第二分割单元5022用于对所述第一合并结果进行第二卷积处理。
可选地，所述神经网络系统包括位于不同深度的至少二个第二卷积子网络；所述第二分割单元5022用于通过所述至少二个第二卷积子网络中位于最小深度的第二卷积子网络对所述第一分割结果进行第二卷积处理，获取所述第二分割结果；所述第一分割模块502还包括第三分割单元5024，用于通过位于第三深度的第二卷积子网络对位于第四深度的第二卷积子网络获取的第二分割结果进行新的第二卷积处理，获取新的第二分割结果；其中，所述第三深度大于所述第四深度；所述训练模块504用于根据所述训练样本图像的前景分割的标注分割结果与所述第一分割结果之间的差异，所述标注分割结果与所述第二分割结果之间的差异，以及所述标注分割结果与所述新的第二分割结果之间的差异，训练所述神经网络系统。
可选地，所述第一分割模块502还包括第二合并单元5025，用于将位于第四深度的第二卷积子网络获取的第二分割结果与所述浅层输出结果和/或所述深层输出结果进行合并，获得第二合并结果；所述第三分割单元5024用于通过位于第三深度的第二卷积子网络对述第二合并结果进行所述新的第二卷积处理。
可选地，所述训练模块504用于获取所述标注分割结果与所述第一分割结果之间的第一差异数据，所述标注分割结果与所述第二分割结果之间的第二差异数据，以及所述标注分割结果与所述新的第二分割结果之间的第三差异数据；根据所述第一差异数据、所述第二差异数据以及所述第三差异数据的和调整所述神经网络系统的网络参数。
本实施例的神经网络训练装置用于实现前述方法实施例中相应的神经网络训练方法，并具有相应的方法实施例的有益效果，在此不再赘述。
本实施例还提供一种计算机程序，其包括有计算机程序指令，所述程序指令被处理器执行时用于实现本发明实施例提供的任一神经网络训练方法的步骤。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本发明实施例提供的任一神经网络训练方法的步骤。
实施例五
参照图7，示出了根据本发明实施例五的一种图像处理装置的结构框图。
本发明实施例的图像处理装置包括：第二分割模块702，用于将待处理图像输入神经网络系统，通过所述神经网络系统对所述待处理图像进行前背景分割处理；虚化模块704，用于获取进行所述前背景分割处理之后的待处理图像的背景部分，对所述背景部分进行分段虚化处理。
可选地，所述第二分割模块702包括：第三分割单元7021，用于通过神经网络系统对待处理图像进行第一卷积处理，获取所述待处理图像的前背景分割的第一分割结果；第四分割单元7022，用于对所述第一分割结果进行第二卷积处理，获取所述待处理图像的前背景分割的第二分割结果；第五分割单元7023，用于根据所述第二分割结果对所述待处理图像进行前背景分割处理，以对所述待处理图像进行与前背景分割处理相关的处理。
可选地，所述神经网络系统为采用本发明实施例四的神经网络训练装置训练获得的神经网络系统。
可选地，所述装置还包括：处理模块706，用于对进行所述前背景分割处理之后的待处理图像进行导向滤波处理和/或alphamatting处理。
可选地，所述虚化模块704用于根据所述背景部分中每个像素点到所述待处理图像的指定边缘的距离，对所述每个像素点进行模糊处理。
本实施例的神经网络训练装置用于实现前述方法实施例中相应的图像处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
本实施例还提供一种计算机程序，其包括有计算机程序指令，所述程序指令被处理器执行时用于实现本发明实施例提供的任一图像处理方法的步骤。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本发明实施例提供的任一图像处理方法的步骤。
实施例六
本发明实施例六提供了一种电子设备，例如可以是移动终端、个人计算机(pc)、平板电脑、服务器等。下面参考图8，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备800的结构示意图：如图8所示，电子设备800包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(cpu)801，和/或一个或多个图像处理器(gpu)813等，处理器可以根据存储在只读存储器(rom)802中的可执行指令或者从存储部分808加载到随机访问存储器(ram)803中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件812和/或通信接口809。其中，通信组件812可包括但不限于网卡，所述网卡可包括但不限于ib(infiniband)网卡，通信接口809包括诸如lan卡、调制解调器等的网络接口卡的通信接口，通信接口809经由诸如因特网的网络执行通信处理。
处理器可与只读存储器802和/或随机访问存储器803中通信以执行可执行指令，通过通信总线804与通信组件812相连、并经通信组件812与其他目标设备通信，从而完成本发明实施例提供的任一项神经网络训练方法对应的操作，例如，通过神经网络系统对训练样本图像进行第一卷积处理，获取所述训练样本图像的前背景分割的第一分割结果；以及，对所述第一分割结果进行第二卷积处理，获取所述训练样本图像的前背景分割的第二分割结果；根据所述训练样本图像的前背景分割的标注分割结果与所述第一分割结果之间的差异，以及所述标注分割结果与所述第二分割结果之间的差异，训练所述神经网络系统。
此外，在ram803中，还可存储有装置操作所需的各种程序和数据。cpu801或gpu813、rom802以及ram803通过通信总线804彼此相连。在有ram803的情况下，rom802为可选模块。ram803存储可执行指令，或在运行时向rom802中写入可执行指令，可执行指令使处理器执行上述通信方法对应的操作。输入/输出(i/o)接口805也连接至通信总线804。通信组件812可以集成设置，也可以设置为具有多个子模块(例如多个ib网卡)，并在通信总线链接上。
以下部件连接至i/o接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信接口809。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
需要说明的，如图8所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图8的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如gpu和cpu可分离设置或者可将gpu集成在cpu上，通信元件可分离设置，也可集成设置在cpu或gpu上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的神经网络训练方法步骤对应的指令，例如，通过神经网络系统对训练样本图像进行第一卷积处理，获取所述训练样本图像的前背景分割的第一分割结果；以及，对所述第一分割结果进行第二卷积处理，获取所述训练样本图像的前背景分割的第二分割结果；根据所述训练样本图像的前背景分割的标注分割结果与所述第一分割结果之间的差异，以及所述标注分割结果与所述第二分割结果之间的差异，训练所述神经网络系统。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器执行时，执行本发明实施例的方法中限定的上述功能。
实施例七
本发明实施例七提供了一种电子设备，例如可以是移动终端、个人计算机(pc)、平板电脑、服务器等。下面参考图9，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备900的结构示意图：如图9所示，电子设备900包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(cpu)901，和/或一个或多个图像处理器(gpu)913等，处理器可以根据存储在只读存储器(rom)902中的可执行指令或者从存储部分908加载到随机访问存储器(ram)903中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件912和/或通信接口909。其中，通信组件912可包括但不限于网卡，所述网卡可包括但不限于ib(infiniband)网卡，通信接口909包括诸如lan卡、调制解调器等的网络接口卡的通信接口，通信接口909经由诸如因特网的网络执行通信处理。
处理器可与只读存储器902和/或随机访问存储器903中通信以执行可执行指令，通过通信总线904与通信组件912相连、并经通信组件912与其他目标设备通信，从而完成本发明实施例提供的任一项图像处理方法对应的操作，例如，将待处理图像输入神经网络系统，通过所述神经网络系统对所述待处理图像进行前背景分割处理；获取进行所述前背景分割处理之后的待处理图像的背景部分，对所述背景部分进行分段虚化处理。
此外，在ram903中，还可存储有装置操作所需的各种程序和数据。cpu901或gpu913、rom902以及ram903通过通信总线904彼此相连。在有ram903的情况下，rom902为可选模块。ram903存储可执行指令，或在运行时向rom902中写入可执行指令，可执行指令使处理器执行上述通信方法对应的操作。输入/输出(i/o)接口905也连接至通信总线904。通信组件912可以集成设置，也可以设置为具有多个子模块(例如多个ib网卡)，并在通信总线链接上。
以下部件连接至i/o接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如lan卡、调制解调器等的网络接口卡的通信接口909。驱动器910也根据需要连接至i/o接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
需要说明的，如图9所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图9的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如gpu和cpu可分离设置或者可将gpu集成在cpu上，通信元件可分离设置，也可集成设置在cpu或gpu上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的图像处理方法步骤对应的指令，例如，将待处理图像输入神经网络系统，通过所述神经网络系统对所述待处理图像进行前背景分割处理；获取进行所述前背景分割处理之后的待处理图像的背景部分，对所述背景部分进行分段虚化处理。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被处理器执行时，执行本发明实施例的方法中限定的上述功能。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cdrom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。