一种视频帧图像分割方法、装置、电子设备及存储介质与流程

文档序号:19895975发布日期:2020-02-11 13:16阅读:184来源:国知局
一种视频帧图像分割方法、装置、电子设备及存储介质与流程

本申请涉及图像处理技术领域,特别是涉及一种视频帧图像分割方法、装置、电子设备及存储介质。



背景技术:

目前,语义分割作为短视频应用和拍照图片编辑应用中的常见算法,在短视频编辑和图像编辑中有着广泛的应用。例如,通过语义分割可以进行人体抠像、头发分割、场景分割等,为背景替换或者特效制作提供区域信息。而在对视频帧图像进行语音分割时,通过将前一帧图像的语义分割结果作为下一帧图像语义分割的指导,有助于提高语义分割的精度。

然而,在视频图像中,由于前后连续两帧的图像变化很小,直接利用上一帧的语义分割结果,作为下一帧图像语义分割的指导,可能存在上一帧图像的语义分割错误或存在误差的情况,从而会对下一帧图像的语义分割造成误导,导致语义分割的延迟以及错误的累积。



技术实现要素:

本申请实施例的目的在于提供一种视频帧图像分割方法、装置、电子设备及存储介质,以实现如何解决上一帧图像的分割错误下一帧图像的语音分割的影响。具体技术方案如下:

根据本公开实施例的第一方面,提供一种视频帧图像分割方法,包括:

获取待处理视频帧的上一视频帧与上一视频帧的语义分割结果;

对上一视频帧的语义分割结果进行边界模糊处理,得到模糊后的边界图像;

将待处理视频帧、模糊后的边界图像、上一视频帧输入到预先训练的网络模型中,得到待处理视频帧的语义分割结果。

可选的,预先训练的网络模型的训练方法包括:

步骤a,获取待处理视频帧的上一帧图像与上一帧图像的语义分割结果,其中,待处理视频帧标记有标准语义分割结果;

步骤b,对上一帧图像的语义分割结果进行边界模糊处理,得到模糊处理后的目标模糊边界图像;

步骤c,将目标模糊边界图像、上一帧图像、待处理视频帧输入到网络模型中得到待处理视频帧的语义分割结果;

步骤d,计算待处理视频帧的语义分割结果与标准语义分割结果的误差;

步骤e,根据误差,判断网络模型是否收敛,若网络模型收敛,得到训练好的网络模型,若网络模型没有收敛,调整网络模型的参数继续对网络模型进行训练直至收敛。

可选的,对上一视频帧的语义分割结果进行边界模糊处理,得到模糊后的边界图像,包括:

对上一视频帧的语义分割结果的边界扩大为预设像素宽度,得到模糊后的边界图像。

可选的,对上一视频帧的语义分割结果的边界扩大为预设像素宽度,得到模糊后的边界图像,包括:

对上一视频帧的语义分割结果的边界向内扩大预设像素宽度,得到模糊后的边界图像;

或,对上一视频帧的语义分割结果的边界向外扩大预设像素宽度,得到模糊后的边界图像;

或,对上一视频帧的语义分割结果的边界向内扩大第一像素宽度,向外扩大第二像素宽度,得到模糊后的边界图像,其中,第一像素宽度与第二像素宽度的和为预设像素宽度。

可选的,将待处理视频帧、模糊后的边界图像、上一视频帧输入到预先训练的网络模型中,得到待处理视频帧的语义分割结果之前,上述方法还包括:

根据待处理视频帧、模糊后的边界、上一视频帧,将待处理视频帧与上一视频帧进行数据预处理,其中,经过数据预处理后的待处理视频帧与上一视频帧之间的差异增大。

可选的,数据预处理包括:位移变化、尺度变化、旋转变化、薄板样条变化中的一种或多种。

可选的,将待处理视频帧、模糊后的边界图像、上一视频帧输入到预先训练的网络模型中,得到待处理视频帧的语义分割结果之后,上述方法还包括:

根据语义分割结果确定待处理视频帧中的前景目标及前景目标的位置;

按照前景目标的位置,将前景目标添加到预设背景图像中的相应位置,得到替换后的视频帧。

可选的,按照前景目标的位置,将前景目标添加到预设背景图像中的相应位置,得到替换后的视频帧之后,上述方法还包括:

利用多个替换后的视频帧生成目标视频。

根据本公开实施例的第二方面,提供一种视频帧图像分割装置,包括:

结果获取模块,用于获取待处理视频帧的上一视频帧与上一视频帧的语义分割结果;

模糊处理模块,用于对上一视频帧的语义分割结果进行边界模糊处理,得到模糊后的边界图像;

网络模型模块,用于将待处理视频帧、模糊后的边界图像、上一视频帧输入到预先训练的网络模型中,得到待处理视频帧的语义分割结果。

可选的,预先训练的网络模型的训练方法包括:

步骤a,获取待处理视频帧的上一帧图像与上一帧图像的语义分割结果,其中,待处理视频帧标记有标准语义分割结果;

步骤b,对上一帧图像的语义分割结果进行边界模糊处理,得到模糊处理后的目标模糊边界图像;

步骤c,将目标模糊边界图像、上一帧图像、待处理视频帧输入到网络模型中得到待处理视频帧的语义分割结果;

步骤d,计算待处理视频帧的语义分割结果与标准语义分割结果的误差;

步骤e,根据误差,判断网络模型是否收敛,若网络模型收敛,得到训练好的网络模型,若网络模型没有收敛,调整网络模型的参数继续对网络模型进行训练直至收敛。

可选的,模糊处理模块,包括:

边界扩大子模块,用于对上一视频帧的语义分割结果的边界扩大为预设像素宽度,得到模糊后的边界图像。

可选的,边界扩大子模块,包括:

向内扩大单元,用于对上一视频帧的语义分割结果的边界向内扩大预设像素宽度,得到模糊后的边界图像;

向外扩大单元,用于对上一视频帧的语义分割结果的边界向外扩大预设像素宽度,得到模糊后的边界图像;

内外扩大单元,用于对上一视频帧的语义分割结果的边界向内扩大第一像素宽度,向外扩大第二像素宽度,得到模糊后的边界图像,其中,第一像素宽度与第二像素宽度的和为预设像素宽度。

可选的,上述装置还包括:

预处理模块,用于根据待处理视频帧、模糊后的边界、上一视频帧,将待处理视频帧与上一视频帧进行数据预处理,其中,经过数据预处理后的待处理视频帧与上一视频帧之间的差异增大。

可选的,数据预处理包括:位移变化、尺度变化、旋转变化、薄板样条变化中的一种或多种。

可选的,上述装置还包括:

视频替换模块,用于根据语义分割结果确定待处理视频帧中的前景目标及前景目标的位置;

背景添加模块,用于按照前景目标的位置,将前景目标添加到预设背景图像中的相应位置,得到替换后的视频帧。

可选的,上述装置还包括:

视频生成模块,用于利用多个替换后的视频帧生成目标视频。

根据本公开实施例的第三方面,提供一种电子设备,包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,处理器被配置为执行指令,以实现上述任一视频帧图像分割方法。

根据本公开实施例的第四方面,提供一种存储介质,

当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一视频帧图像分割方法。

根据本公开实施例的第五方面,提供一种计算机程序产品,当计算机程序产品被计算机执行时,使得计算机能够执行上述任一视频帧图像分割方法。

本申请实施例提供的一种视频帧图像分割方法、装置、电子设备及存储介质,该方法包括:获取待处理视频帧的上一视频帧与上一视频帧的语义分割结果;对上一视频帧的语义分割结果进行边界模糊处理,得到模糊后的边界图像;将待处理视频帧、模糊后的边界图像、上一视频帧输入到预先训练的网络模型中,得到待处理视频帧的语义分割结果。根据本申请的技术方案,实现通过视频帧的上一帧图像对待处理视频帧的语义分割过程进行指导,并通过对上一帧图像的语义分割结果的边界进行模糊处理,可以避免上一帧图像的语义分割结果的错误对下一阵图像的影响,提高上述语义分割过程的准确性。当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种视频帧图像分割方法的流程图;

图2是根据一示例性实施例示出的一种视频帧图像分割方法的又一流程图;

图3是根据一示例性实施例示出的一种视频帧图像分割装置框图;

图4是根据一示例性实施例示出的一种视频帧图像分割装置又一框图;

图5是根据一示例性实施例示出的一种电子设备示意图;

图6是根据一示例性实施例示出的一种存储介质示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开实施例的视频帧图像分割方法针对的是智能终端设备中的视频,因此可以通过智能终端设备执行,具体的,该智能终端设备可以为手机、电脑或服务器。

语义分割:是指将标签或类别与图片的每个像素关联的一种深度学习算法,用来识别构成可区分类别的像素集合。

图1是根据一示例性实施例示出的一种视频帧图像分割方法的流程图,如图1所示,视频帧图像分割方法应用于智能终端,包括以下步骤:

步骤101中,获取待处理视频帧的上一视频帧与上一视频帧的语义分割结果。

其中,上述待处理视频帧可以为已预先得到视频中各视频帧图像语义分割结果的视频中的视频帧。其中上一帧图像的语义分割结果可以包括上述上一帧图像按照语义分割得到的不同语义以及上述不同语义对应的对应的区域。

其中,语义分割是短视频应用或者拍照图片编辑应用中的基本常见算法,比如人体抠像、头发分割、场景分割等等,语义分割提供了精确的人体、头发、物体等区域,通过语义分割为背景替换或者特效制作提供区域信息。

步骤102中,对上一视频帧的语义分割结果进行边界模糊处理,得到模糊后的边界图像。

其中,对上一视频帧的语义分割结果进行边界模糊处理,可以为对上述上一帧图像按照语义分割得到的多个不同语义对应的对应区域的划分边界进行模糊处理,例如膨胀处理等。

可选的,对上一视频帧的语义分割结果进行边界模糊处理,得到模糊后的边界图像,包括:对上一视频帧的语义分割结果的边界扩大为预设像素宽度,得到模糊后的边界图像。

可选的,对上一视频帧的语义分割结果的边界扩大为预设像素宽度,得到模糊后的边界图像,包括:对上一视频帧的语义分割结果的边界向内扩大预设像素宽度,得到模糊后的边界图像;或,对上一视频帧的语义分割结果的边界向外扩大预设像素宽度,得到模糊后的边界图像;或,对上一视频帧的语义分割结果的边界向内扩大第一像素宽度,向外扩大第二像素宽度,得到模糊后的边界图像,其中,第一像素宽度与第二像素宽度的和为预设像素宽度。

例如,对上述边界向内和向外扩大指定像素,得到一个灰色的指定宽度的条带。其中上述指定像素可以为认为设定的指定像素宽度,也可以是通过网络模型对待处理视频帧进行预估得到的像素宽度,本申请对此不进行限定。

步骤103中,将待处理视频帧、模糊后的边界图像、上一视频帧输入到预先训练的网络模型中,得到待处理视频帧的语义分割结果。

其中,上述将待处理视频帧、模糊后的边界、上一视频帧输入到预先训练的网络模型中,该网络模型可以为多种形式的网络模型,本申请对上述模型的类型不进行限定。

通过,上述将待处理视频帧、模糊后的边界、上一视频帧输入到预先训练的网络模型中,得到待处理视频帧的语义分割结果,可以对上述待处理视频帧进行语义分割,通过上述语义分割结果可以进行人体抠像、头发分割、场景分割等,为背景替换或者特效制作提供区域信息。

可选的,将待处理视频帧、模糊后的边界图像、上一视频帧输入到预先训练的网络模型中,得到待处理视频帧的语义分割结果之前,上述方法还包括:根据待处理视频帧、模糊后的边界、上一视频帧,将待处理视频帧与上一视频帧进行数据预处理,其中,经过数据预处理后的待处理视频帧与上一视频帧之间的差异增大。

可选的,数据预处理包括:位移变化、尺度变化、旋转变化、薄板样条变化中的一种或多种。本申请对该预处理的方法不进行限定。

其中,由于在视频中,前后两个视频帧的图像的变化往往较小,直接通过输入先后两帧的视频帧,不利于通过网络模型学习视频帧变化。而通过增大上述视频帧的变化后输入网络模型,可以便于网络模型获取所述前后两帧图像的变化。

可选的,预先训练的网络模型的训练方法包括:

步骤a,获取待处理视频帧的上一帧图像与上一帧图像的语义分割结果,其中,待处理视频帧标记有标准语义分割结果;

步骤b,对上一帧图像的语义分割结果进行边界模糊处理,得到模糊处理后的目标模糊边界图像;

步骤c,将目标模糊边界图像、上一帧图像、待处理视频帧输入到网络模型中得到待处理视频帧的语义分割结果;

步骤d,计算待处理视频帧的语义分割结果与标准语义分割结果的误差;

步骤e,根据误差,判断网络模型是否收敛,若网络模型收敛,得到训练好的网络模型,若网络模型没有收敛,调整网络模型的参数继续对网络模型进行训练直至收敛。

可选的,将待处理视频帧、模糊后的边界图像、上一视频帧输入到预先训练的网络模型中,得到待处理视频帧的语义分割结果之后,上述方法还包括:根据语义分割结果确定待处理视频帧中的前景目标及前景目标的位置;按照前景目标的位置,将前景目标添加到预设背景图像中的相应位置,得到替换后的视频帧。

可选的,按照前景目标的位置,将前景目标添加到预设背景图像中的相应位置,得到替换后的视频帧之后,上述方法还包括:利用多个替换后的视频帧生成目标视频。

可将通过本申请实施例的视频帧图像分割方法,可以通过待处理视频帧的上一帧图像对待处理视频帧的语义分割过程进行指导,并通过对上一帧图像的语义分割结果的边界进行模糊处理,可以避免上一帧图像的语义分割结果的错误对下一阵图像的影响,提高上述语义分割过程中的容错率。

图2是根据一示例性实施例示出的一种视频帧图像分割方法的又一流程图,如图2所示,视频帧图像分割方法应用于智能终端,包括以下步骤:

步骤101中,获取待处理视频帧的上一视频帧与上一视频帧的语义分割结果。

其中,上述待处理视频帧可以为多种类型的视频中的任一视频帧,例如长视频或者短视频,通过上述视频的视频格式可以为多种类型的视频格式,本申请对此不进行限定。

步骤201中,对上一视频帧的语义分割结果的边界扩大为预设像素宽度,得到模糊后的边界图像。

可选的,对上一视频帧的语义分割结果的边界扩大为预设像素宽度,得到模糊后的边界图像,包括:对上一视频帧的语义分割结果的边界向内扩大预设像素宽度,得到模糊后的边界图像;或,对上一视频帧的语义分割结果的边界向外扩大预设像素宽度,得到模糊后的边界图像;或,对上一视频帧的语义分割结果的边界向内扩大第一像素宽度,向外扩大第二像素宽度,得到模糊后的边界图像,其中,第一像素宽度与第二像素宽度的和为预设像素宽度。

例如对上述边界向内和向外扩大指定像素,得到一个灰色的指定宽度的条带。其中上述指定像素可以为认为设定的指定像素宽度,也可以是通过网络模型对待处理视频帧进行预估得到的像素宽度,本申请对此不进行限定。

其中,通过上述对上一视频帧的语义分割结果的边界向内和向外扩大预设像素宽度,得到预设宽度的模糊后的边界图像,可以通过所得到的较大宽度的边界图像降低上一帧图像的分割结果对下一帧图像的影响,防止错误的累积。

步骤202中,根据待处理视频帧、模糊后的边界、上一视频帧,将待处理视频帧与上一视频帧进行数据预处理。

其中,经过数据预处理后的待处理视频帧与上一视频帧之间的差异增大。

可选的,数据预处理包括:位移变化、尺度变化、旋转变化、薄板样条变化中的一种或多种。例如,对上述待处理视频帧进行预设角度的旋转,从而增加待处理视频帧与上一视频帧的差别。

其中,经过数据预处理可以使待处理视频帧与上一视频帧的变化性增大,由于在视频中,前后两个视频帧的图像的变化往往较小,直接通过输入先后两帧的视频帧,不利于通过网络模型学习视频帧变化。而通过增大上述视频帧的变化后输入网络模型,可以便于网络模型获取所述前后两帧图像的变化,从而便于利用网络模型,将利用上一视频帧对待处理视频帧的语义分割过程进行指导。可以增强深度学习模型对更大范围变化的鲁棒性,提高该网络模型的容错率,避免前一帧的错误对下一帧的影响。

步骤103中,将待处理视频帧、模糊后的边界图像、上一视频帧输入到预先训练的网络模型中,得到待处理视频帧的语义分割结果。

可选的,预先训练的网络模型的训练方法包括:

步骤a,获取待处理视频帧的上一帧图像与上一帧图像的语义分割结果,其中,待处理视频帧标记有标准语义分割结果;

步骤b,对上一帧图像的语义分割结果进行边界模糊处理,得到模糊处理后的目标模糊边界图像;

步骤c,将目标模糊边界图像、上一帧图像、待处理视频帧输入到网络模型中得到待处理视频帧的语义分割结果;

步骤d,计算待处理视频帧的语义分割结果与标准语义分割结果的误差;

步骤e,根据误差,判断网络模型是否收敛,若网络模型收敛,得到训练好的网络模型,若网络模型没有收敛,调整网络模型的参数继续对网络模型进行训练直至收敛。

可见,通过本申请实施例的视频帧图像分割方法,可以通过待处理视频帧的上一帧图像对待处理视频帧的语义分割过程进行指导,并通过增大上一帧图像与待处理视频帧图像的变化,可以提高网络模型识别精度,并通过对上一帧图像的语义分割结果的边界进行模糊处理,可以避免上一帧图像的语义分割结果的错误对下一阵图像的影响,提高上述语义分割过程中的容错率。

本申请实施例还提供了一种网络模型的训练方法,包括:

步骤a,获取待处理视频帧的上一帧图像与上一帧图像的语义分割结果,其中,待处理视频帧标记有标准语义分割结果;

步骤b,对上一帧图像的语义分割结果进行边界模糊处理,得到模糊处理后的目标模糊边界图像;

步骤c,将目标模糊边界图像、上一帧图像、待处理视频帧输入到网络模型中得到待处理视频帧的语义分割结果;

步骤d,计算待处理视频帧的语义分割结果与标准语义分割结果的误差;

步骤e,根据误差,判断网络模型是否收敛,若网络模型收敛,得到训练好的网络模型,若网络模型没有收敛,调整网络模型的参数继续对网络模型进行训练直至收敛。

可选的,将待处理视频帧、模糊后的边界图像、上一视频帧输入到预先训练的网络模型中,得到待处理视频帧的语义分割结果之前,上述方法还包括:根据待处理视频帧、模糊后的边界、上一视频帧,将待处理视频帧与上一视频帧进行数据预处理,其中,经过数据预处理后的待处理视频帧与上一视频帧之间的差异增大。

可选的,数据预处理包括:位移变化、尺度变化、旋转变化、薄板样条变化中的一种或多种。

其中,通过扩增前后俩帧的图片变化,可以增强深度学习模型对更大范围变化的鲁棒性,提高该网络模型的容错率,避免前一帧的错误对下一帧的影响。

可选的,对上一视频帧的语义分割结果进行边界模糊处理,得到模糊后的边界图像,包括:对上一视频帧的语义分割结果的边界扩大为预设像素宽度,得到模糊后的边界图像。

可选的,对上一视频帧的语义分割结果的边界扩大为预设像素宽度,得到模糊后的边界图像,包括:对上一视频帧的语义分割结果的边界向内扩大预设像素宽度,得到模糊后的边界图像;或,对上一视频帧的语义分割结果的边界向外扩大预设像素宽度,得到模糊后的边界图像;或,对上一视频帧的语义分割结果的边界向内扩大第一像素宽度,向外扩大第二像素宽度,得到模糊后的边界图像,其中,第一像素宽度与第二像素宽度的和为预设像素宽度。

其中,通过对上述上一帧的语义分割结果的边界做膨胀处理,将边界向内和向外扩大,得到预设宽度的模糊处理后的目标模糊边界图像,可以降低上一帧的语义分割结果对目标视频帧的影响,从而提高该网络模型的容错率,避免前一帧的错误对下一帧的影响。

可将通过本申请实施例的网络模型的训练方法,可以通过训练得到用于进行视频帧语义分割的网络模型,通过上述网络模型不但可以利用上一帧的语义分割结果对下一帧的语义分割进行指导,同时和可以提高该网络模型的容错率,避免前一帧的错误对下一帧的影响。

图3是根据一示例性实施例示出的一种视频帧图像分割装置框图。参照图3,该装置包括结果获取模块131,模糊处理模块132,网络模型模块133。

该结果获取模块131被配置为用于获取待处理视频帧的上一视频帧与上一视频帧的语义分割结果。

该模糊处理模块132被配置为用于对上一视频帧的语义分割结果进行边界模糊处理,得到模糊后的边界图像。

该网络模型模块133被配置为用于将待处理视频帧、模糊后的边界图像、上一视频帧输入到预先训练的网络模型中,得到待处理视频帧的语义分割结果。

可选的,模糊处理模块132,包括:

边界扩大子模块,用于对上一视频帧的语义分割结果的边界扩大为预设像素宽度,得到模糊后的边界图像。

可选的,上述装置还包括:

预处理模块,用于根据待处理视频帧、模糊后的边界、上一视频帧,将待处理视频帧与上一视频帧进行数据预处理,其中,经过数据预处理后的待处理视频帧与上一视频帧之间的差异增大。

可选的,数据预处理包括:位移变化、尺度变化、旋转变化、薄板样条变化中的一种或多种。

可选的,预先训练网络模型的步骤包括:

步骤a,获取待处理视频帧的上一帧图像与上一帧图像的语义分割结果,其中,待处理视频帧标记有标准语义分割结果;

步骤b,对上一帧图像的语义分割结果进行边界模糊处理,得到模糊处理后的目标模糊边界图像;

步骤c,将目标模糊边界图像、上一帧图像、待处理视频帧输入到网络模型中得到待处理视频帧的语义分割结果;

步骤d,计算待处理视频帧的语义分割结果与标准语义分割结果的误差;

步骤e,根据误差,判断网络模型是否收敛,若网络模型收敛,得到训练好的网络模型,若网络模型没有收敛,调整网络模型的参数继续对网络模型进行训练直至收敛。

可将通过本申请实施例的视频帧图像分割装置,可以通过待处理视频帧的上一帧图像对待处理视频帧的语义分割过程进行指导,并通过对上一帧图像的语义分割结果的边界进行模糊处理,可以避免上一帧图像的语义分割结果的错误对下一阵图像的影响,提高上述语义分割过程中的容错率。

图4是根据一示例性实施例示出的一种视频帧图像分割装置又一框图。参照图3,该装置包括结果获取模块131,边界扩大子模块141,预处理模块142,网络模型模块133。

该结果获取模块131被配置为用于获取待处理视频帧的上一视频帧与上一视频帧的语义分割结果。

该边界扩大子模块141被配置为用于对上一视频帧的语义分割结果的边界扩大为预设像素宽度,得到模糊后的边界图像。

该预处理模块142被配置为用于根据待处理视频帧、模糊后的边界、上一视频帧,将待处理视频帧与上一视频帧进行数据预处理。

其中,经过数据预处理后的待处理视频帧与上一视频帧之间的差异增大。

可选的,数据预处理包括:位移变化、尺度变化、旋转变化、薄板样条变化中的一种或多种。

该网络模型模块133被配置为用于将待处理视频帧、模糊后的边界图像、上一视频帧输入到预先训练的网络模型中,得到待处理视频帧的语义分割结果。

可选的,预先训练网络模型的步骤包括:

步骤a,获取待处理视频帧的上一帧图像与上一帧图像的语义分割结果,其中,待处理视频帧标记有标准语义分割结果;

步骤b,对上一帧图像的语义分割结果进行边界模糊处理,得到模糊处理后的目标模糊边界图像;

步骤c,将目标模糊边界图像、上一帧图像、待处理视频帧输入到网络模型中得到待处理视频帧的语义分割结果;

步骤d,计算待处理视频帧的语义分割结果与标准语义分割结果的误差;

步骤e,根据误差,判断网络模型是否收敛,若网络模型收敛,得到训练好的网络模型,若网络模型没有收敛,调整网络模型的参数继续对网络模型进行训练直至收敛。

可将通过本申请实施例的视频帧图像分割装置,可以通过待处理视频帧的上一帧图像对待处理视频帧的语义分割过程进行指导,并通过增大上一帧图像与待处理视频帧图像的变化,可以提高网络模型识别精度,并通过对上一帧图像的语义分割结果的边界进行模糊处理,可以避免上一帧图像的语义分割结果的错误对下一阵图像的影响,提高上述语义分割过程中的容错率。

图5是根据一示例性实施例示出的一种电子设备示意图。

在示例性实施例中,电子设备还包括通信接口502和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信。

上述处理器用于执行上述存储器存放的计算机程序时,能够实现上述任一视频帧图像分割方法。

图6是根据一示例性实施例示出的一种存储介质示意图。例如,装置600可以被提供为一服务器。参照图6,装置600包括处理组件622,其进一步包括一个或多个处理器,以及由存储器632所代表的存储器资源,用于存储可由处理组件622的执行的指令,例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件622被配置为执行指令,以执行上述视频帧图像分割方法。

装置600还可以包括一个电源组件626被配置为执行装置600的电源管理,一个有线或无线的网络接口650被配置为将装置600连接到网络,和一个输入输出接口658。装置600可以操作基于存储在存储器632的操作系统,例如windowsservertm,macosxtm,unixtm,linuxtm,freebsdtm或类似。

根据本公开实施例还提供一种计算机程序产品,当计算机程序产品被计算机执行时,使得计算机能够执行上述任一视频帧图像分割方法。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。

应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1