一种图像处理方法及设备与流程

文档序号:21369322发布日期:2020-07-04 04:45阅读:205来源:国知局
一种图像处理方法及设备与流程

本发明涉及图像处理技术领域,尤指一种图像处理方法及设备。



背景技术:

由于深度学习具有强大的学习能力、以及良好的适应性,所以能够有效解决传统方法中不能或难以解决的问题,使得被广泛应用于图像处理等技术领域。

以运动估计与运动补偿(motionestimatemotioncompensation,memc)为例,目前训练模型的训练过程基本停留于离线训练,且在训练之前,需要准备大量的样本集,在形成样本集时,因手动干预的程度较大,所以需要花费大量的人力成本与时间成本,又因训练本身需要较长的训练周期,所以离线训练是一个费时费力的过程。并且,利用离线训练后得到的memc模型对待显示数据进行图像处理时,处理的结果可能会出现较大的偏差,处理结果较差,且无法满足用户的要求。

基于此,如何提高图像处理结果,满足用户要求,是本领域技术人员亟待解决的技术问题。



技术实现要素:

本发明实施例提供了一种图像处理方法及设备,用以提高图像处理结果,满足用户要求。

第一方面,本发明实施例提供了一种显示设备的图像处理方法,包括:

接收当前待显示数据;

在确定出所述当前待显示数据作为待训练的样本数据时,对所述当前待显示数据进行处理,得到样本帧数据和目标帧数据;

根据所述样本帧数据,对预设的训练模型进行训练,且根据所述目标帧数据,确定出训练结果满足预设条件时,根据满足所述预设条件时对应的所述训练模型的当前参数,确定运动估计与运动补偿memc模型;

根据确定出的所述memc模型对所述当前待显示数据进行图像处理。

可选地,在本发明实施例中,所述训练模型的结构与所述memc模型的结构相同时,根据满足所述预设条件时对应的所述训练模型的当前参数,确定运动估计与运动补偿memc模型,具体包括:

将满足所述预设条件时对应的所述训练模型的当前参数确定为所述memc模型的参数,得到所述memc模型。

可选地,在本发明实施例中,所述当前待显示数据包括多个序列,所述当前待显示数据包括n帧数据,每个所述序列包括m帧数据,每个所述序列包括多个所述样本帧数据和一个目标帧数据,且所述目标帧数据位于任意两个所述样本帧数据之间;

m为不小于3的整数,且n为大于或等于m的整数。

可选地,在本发明实施例中,所述训练结果为插值帧数据;

所述预设条件包括:

根据预设的代价函数,确定出所述插值帧数据与所述目标帧数据之间的差异在预设范围内。

可选地,在本发明实施例中,还包括:

在确定出所述差异不在所述预设范围内时,根据预设的调整算法,调整所述训练模型的参数;

继续根据所述样本帧数据对所述训练模型进行训练,直至所述差异在所述预设范围内。

可选地,在本发明实施例中,在根据确定出的所述memc模型对所述当前待显示数据进行图像处理之后,还包括:

显示根据确定出的所述memc模型对所述当前待显示数据进行图像处理后的结果,以使用户根据显示的结果判断是否满足用户要求后反馈相应的消息;

确定是否接收到用户反馈的确认消息;

若是,则确定完成对所述当前待显示数据的图像处理;

若否,则根据预设的调整算法,调整所述训练模型的参数,并继续根据所述样本帧数据,对所述训练模型进行训练。

可选地,在本发明实施例中,还包括:

在确定出所述当前待显示数据不作为待训练的样本数据时,根据已确定出的memc模型对所述待显示数据进行图像处理。

第二方面,本发明实施例提供了一种显示设备,包括:

存储器,用于存储程序指令;

处理器,用于调用所述存储器中存储的所述程序指令,按照获得的程序执行:

接收当前待显示数据;

在确定出所述当前待显示数据作为待训练的样本数据时,对所述当前待显示数据进行处理,得到样本帧数据和目标帧数据;

根据所述样本帧数据,对预设的训练模型进行训练,且根据所述目标帧数据,确定出训练结果满足预设条件时,根据满足所述预设条件时对应的所述训练模型的当前参数,确定运动估计与运动补偿memc模型;

根据确定出的所述memc模型对所述当前待显示数据进行图像处理。

可选地,在本发明实施例中,所述处理器还用于:

在根据确定出的所述memc模型对所述当前待显示数据进行图像处理之后,显示根据确定出的所述memc模型对所述当前待显示数据进行图像处理后的结果,以使用户根据显示的结果判断是否满足用户要求后反馈相应的消息;

确定是否接收到用户反馈的确认消息;

若是,则确定完成对所述当前待显示数据的图像处理;

若否,则根据预设的调整算法,调整所述训练模型的参数,并继续根据所述样本帧数据,对所述训练模型进行训练。

第三方面,本发明实施例提供了一种计算机可读的非易失性存储介质,所述计算机可读的非易失性存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算执行上述方法。

本发明有益效果如下:

本发明实施例提供的一种图像处理方法及设备,通过将当前待显示数据作为待训练的样本数据,且在确定出memc模型之后直接对当前待显示数据进行图像处理,可以实现在线训练,如此,不仅使得训练结果具有较强的实时性,还可以对确定出的memc模型的参数进行有效地修正,提高训练的效率和训练结果,使得确定出的memc模型更加适用于当前待显示数据,提高图像处理的结果。

并且,由于本发明实施例提供的方案可以实现在线训练,所以可以在用户观看显示内容的同时进行同步训练,无需离线准备大量的训练样本,可以有效节省挑选样本数据所需要的人力成本和实践成本,避免费时费力,提高训练的效率。

附图说明

图1为本发明实施例中提供的一种显示设备的图像处理方法的流程图;

图2为本发明实施例中提供的训练和优化过程的流程图;

图3为本发明实施例中提供的实施例一的流程图;

图4为本发明实施例中提供的实施例二的流程图;

图5为本发明实施例中提供的一种显示设备的结构示意图。

具体实施方式

下面将结合附图,对本发明实施例提供的一种图像处理方法及设备的具体实施方式进行详细地说明。需要说明的是,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供了一种显示设备的图像处理方法,如图1所示,可以包括:

s101、接收当前待显示数据;

s102、在确定出当前待显示数据作为待训练的样本数据时,对当前待显示数据进行处理,得到样本帧数据和目标帧数据;

其中,可选地,可以将每一个待显示数据作为样本数据,相应地,可以利用接收到的每一个待显示数据确定出一个对应的memc模型,再利用确定出的memc模型对相应的待显示数据进行图像处理,以实现对memc模型的实时调整和修正,进而对待显示数据进行实时处理,提高处理的准确性和效果。

当然,可选地,还可以将接收到的部分待显示数据作为样本数据,例如但不限于:

可以将接收到的第i个待显示数据作为样本数据,以确定出一个对应的memc模型;

然后,在接收p个待显示数据之后,将第i+p+1个待显示数据作为样本数据。

也就是说,从连续接收到的各待显示数据中,每隔p个待显示数据,选取一个待显示数据作为样本数据,以减少确定memc模型的次数,进而减少处理量和运算量,提高图像处理效率。

其中,p的取值,可以根据显示设备的执行能力、运算量、以及制作成本等因素进行确定,以满足各种应用场景的需要,提高设计的灵活性。

s103、根据样本帧数据,对预设的训练模型进行训练,且根据目标帧数据,确定出训练结果满足预设条件时,根据满足预设条件时对应的训练模型的当前参数,确定memc模型;

其中,训练模型可以为本领域技术人员所熟知的任何模型,例如但不限于为自适应可分离全卷积神经网络或u-net神经网络等,可根据经验或前期预训练结果进行选择,在此并不限定。

并且,利用样本帧数据对训练模型的训练过程可以参见现有技术,在此不再详述。

s104、根据确定出的memc模型对当前待显示数据进行图像处理。

在本发明实施例中,首先,通过将当前待显示数据作为待训练的样本数据,且在确定出memc模型之后直接对当前待显示数据进行图像处理,可以实现在线训练,如此,不仅使得训练结果具有较强的实时性,还可以对确定出的memc模型的参数进行有效地修正,提高训练的效率和训练结果,使得确定出的memc模型更加适用于当前待显示数据,提高图像处理的结果。

其次,由于本发明实施例提供的方案可以实现在线训练,所以可以在用户观看显示内容的同时进行同步训练,无需离线准备大量的训练样本,可以有效节省挑选样本数据所需要的人力成本和实践成本,避免费时费力,提高训练的效率。

可选地,在本发明实施例中,训练模型的结构与memc模型的结构相同时,根据满足预设条件时对应的训练模型的当前参数,确定运动估计与运动补偿memc模型,具体包括:

将满足预设条件时对应的训练模型的当前参数确定为memc模型的参数,得到memc模型。

也就是说,在训练模型的结构与memc模型的结构相同时,可以将满足预设条件时对应的训练模型称之为训练好的训练模型,此时可以将训练好的训练模型作为memc模型。

如此,可以提高memc模型确定的效率和准确性,以及简化memc模型确定的过程,进而提高图像处理的效率,从而实现对图像的有效处理。

可选地,在本发明实施例中,当前待显示数据包括多个序列,当前待显示数据包括n帧数据,每个序列包括m帧数据,每个序列包括多个样本帧数据和一个目标帧数据,且目标帧数据位于任意两个样本帧数据之间;

m为不小于3的整数,且n为大于或等于m的整数。

在实际情况中,拍摄的视频大小一般可以为但不限于24hz或者30hz,目前的显示设备所支持的视频大小为50hz或60hz,甚至还可以为120hz等,如果用支持60hz的显示设备直接播放30hz的视频,可能会出现卡顿现象,导致视频播放不流畅,影响视频的观看。

因此,为了避免卡顿,提高播放的流畅度,可以进行帧率转换,例如但不限于,将30hz的视频转换为60hz,将24hz的视频转换为50hz等等。

并且,帧率转换的方式,可以但不限于采用以下方式:

利用图像插值算法,将相邻两帧数据进行插值计算得到中间帧数据,从而将原本相邻的两帧数据转变为相邻的三帧数据,且中间帧数据位于这相邻两帧数据之间的位置。

因此,在本发明实施例中,在对样本数据进行处理以得到样本帧数据和目标帧数据时,可以提取样本数据中包括多个序列,且每个序列包括多帧数据;然后,以序列包括三帧数据为例,可以将处于中间位置的数据作为目标帧数据,将处于首尾位置的数据作为样本帧数据。

当然,每个序列包括的帧数据并不限于三帧,还可以包括四帧、五帧或六帧等,在此并不限定,可以根据实际需要进行设置,以提高设计的灵活性。

还有,若拍摄的视频大小与显示设备支持的播放视频大小相对应或相接近时,则无需进行上述帧率转换过程,可以直接提取样本数据中的样本帧数据和目标帧数据即可,并且,目标帧数据可以位于任意两个样本帧数据之间,或者还可以位于所在序列中的任意位置,可以根据实际需要进行设置,以提高设计的灵活性。

可选地,在本发明实施例中,训练结果为插值帧数据;

预设条件包括:

根据预设的代价函数,确定出插值帧数据与目标帧数据之间的差异在预设范围内。

其中,插值帧数据与目标帧数据之间的差异,可以理解为:

若以代价函数为抛物线方程为例,目标帧数据可以看作是抛物线上的最小值对应的点(若抛物线位于xy坐标系中,那么最小值可以理解为抛物线在y轴上的最小值),而插指帧数据可能是抛物线上的任意值对应的点,此时,插值帧数据与目标帧数据分别对应在抛物线上的点之间偏差,即为插值帧数据与目标帧数据之间的差异。

并且,若插值帧数据与目标帧数据之间偏差越小,说明插值帧数据与目标帧数据分别对应在抛物线上的点的就越接近,若插值帧数据与目标帧数据之间偏差越大,说明插值帧数据与目标帧数据分别对应在抛物线上的点就越远。

因此,在设置预设范围时,可以根据实际需要、以及插值帧数据与目标帧数据分别对应在抛物线上的点之间的偏差来设置,以满足不同应用场景的需要,提高设计的灵活性。

可选地,在本发明实施例中,还包括:

在确定出差异不在预设范围内时,根据预设的调整算法,调整训练模型的参数;

继续根据样本帧数据对训练模型进行训练,直至差异在预设范围内。

其中,预设的调整算法可以但不限于为梯度下降算法,以使得调整后的参数尽可能地满足预设条件。

并且,在具体实施时,在开始训练之后,且在确定memc模型之前,如图2所示,具体的训练和优化过程可以包括:

s201、根据样本帧数据,采用训练模型的当前参数,对训练模型进行模型;

说明一点,若样本帧数据属于第1帧待显示数据,且第一次进行训练时,当前参数可以为训练模型预设的初始参数;若样本帧数据不属于第1帧待显示数据,且第一次进行训练时,当前参数可以为上一次确定出的memc模型的参数。

s202、根据预设的代价函数,判断插值帧数据与目标帧数据之间的差异是否在预设范围内;若是,则执行s203;若否,则执行s204;

s203、确定当前的训练结果满足预设条件;

s204、根据预设的调整算法,调整训练模型的当前参数,将得到的调整后的参数作为当前参数;回到s201。

其中,在回到s201之后,继续进行训练,直至训练结果满足预设条件。

如此,通过上述对训练模型进行的至少一次训练,可以确定出训练模型的最优参数,也即得到具有最优参数的训练模型,此时可将该模型确定为memc模型,从而实现对待显示数据的图像处理,提高图像处理的效果。

可选地,在本发明实施例中,在根据确定出的memc模型对当前待显示数据进行图像处理之后,还包括:

显示根据确定出的memc模型对当前待显示数据进行图像处理后的结果,以使用户根据显示的结果判断是否满足用户要求后反馈相应的消息;

确定是否接收到用户反馈的确认消息;

若是,则确定完成对当前待显示数据的图像处理;

若否,则根据预设的调整算法,调整训练模型的参数,并继续根据样本帧数据,对训练模型进行训练。

其中,由于某些原因(例如但不限于用户要求不同),可能会导致利用确定出的memc模型对当前待显示数据进行图像处理后,显示出的数据(例如但不限于图像)并不能得到用户的满意,使得显示结果无法满足用户要求,也即说明图像处理的结果并没有达到用户要求。

此时,可以利用当前待显示数据中的样本帧数据,调整训练模型的参数,继续进行训练,直至接收到用户反馈的确认消息。

在接收到用户反馈的确认消息时,则说明图像处理后的结果可以达到用户要求,所以完成了对当前待显示数据(若记为第i个待显示数据)的图像处理;之后,可以继续对接收到的第i+1个待显示数据进行图像处理,且处理过程与第i个待显示数据的图像处理过程类似,在此不再赘述。

如此,可以有效提高图像处理的准确性,满足用户的需求,提高用户的体验感受。

可选地,在本发明实施例中,还包括:

在确定出当前待显示数据不作为待训练的样本数据时,根据已确定出的memc模型对待显示数据进行图像处理。

例如,以每隔3个待显示数据作为样本数据,且接收到的第i个待显示数据已经作为样本数据为例,若将第i个待显示数据作为样本数据时确定出的memc模型记为模型a时,那么:

第i+1个待显示数据则不会作为样本数据,此时,则可以根据模型a对第i+1个待显示数据进行图像处理后进行显示;

同理,第i+2个、第i+3个待显示数据也均不会作为样本数据,此时,可以根据模型a对第i+2个、第i+3个待显示数据分别进行图像处理后进行显示;

第i+4个待显示数据则需要作为样本数据,此时,根据前面内容提及的确定memc模型的过程,确定出对应的memc模型,记为模型b,然后根据模型b对第i+4个待显示数据进行图像处理后进行显示。

如此,可以减少图像处理的运算量,提高图像处理的效率,将图像设备的功耗。

下面以具体实施例,对本发明实施例提供的上述方法进行说明。

实施例一:结合图3所示的流程图,以将接收到的第i个待显示数据作为样本数据为例进行说明。

s301、接收第i个待显示数据;

s302、对第i个待显示数据进行处理,得到样本帧数据和目标帧数据;

s303、根据样本帧数据,对预设的训练模型进行训练,得到插值帧数据;

s304、根据目标帧数据、以及预设代价函数,判断插值帧数据是否满足预设条件;若否,执行s305;若是,执行s306;

s305、根据梯度下降算法,调整训练模型的当前参数;回到s303;

s306、根据满足预设条件时对应的训练模型的当前参数,确定memc模型,并保存确定出的memc模型的相关参数;

s307、利用确定出的memc模型对第i个待显示数据进行图像处理后显示,完成对第i个待显示数据的图像处理。

实施例二:结合图4所示的流程图,以将接收到的第i个待显示数据作为样本数据为例,且增加了用户反馈的内容进行说明。

s401、接收第i个待显示数据;

s402、对第i个待显示数据进行处理,得到样本帧数据和目标帧数据;

s403、根据样本帧数据,对预设的训练模型进行训练,得到插值帧数据;

s404、根据目标帧数据、以及预设代价函数,判断插值帧数据是否满足预设条件;若否,执行s405;若是,执行s406;

s405、根据梯度下降算法,调整训练模型的当前参数;回到s403;

s406、根据满足预设条件时对应的训练模型的当前参数,确定memc模型;

s407、利用确定出的memc模型对第i个待显示数据进行图像处理后显示;

s408、判断是否接收到用户反馈的确认消息;若是,执行s409;若否,回到s405;

s409、完成对第i个待显示数据的图像处理,并保存确定出的memc模型的相关参数。

基于同一发明构思,本发明实施例提供了一种显示设备,该显示设备的实施原理与前述一种图像处理方法的实施原理类似,该显示设备的实施方式可以参见前述一种图像处理方法的实施例,重复之处不再赘述。

具体地,本发明实施例提供的一种显示设备,如图5所示,可以包括:

存储器501,用于存储程序指令;

处理器502,用于调用存储器501中存储的程序指令,按照获得的程序执行:

接收当前待显示数据;

在确定出当前待显示数据作为待训练的样本数据时,对当前待显示数据进行处理,得到样本帧数据和目标帧数据;

根据样本帧数据,对预设的训练模型进行训练,且根据目标帧数据,确定出训练结果满足预设条件时,根据满足预设条件时对应的训练模型的当前参数,确定运动估计与运动补偿memc模型;

根据确定出的memc模型对当前待显示数据进行图像处理。

可选地,在本发明实施例中,训练模型的结构与memc模型的结构相同时,处理器502具体用于:

将满足预设条件时对应的训练模型的当前参数确定为memc模型的参数,得到memc模型。

可选地,在本发明实施例中,处理器502还用于:

在确定出差异不在预设范围内时,根据预设的调整算法,调整训练模型的参数;

继续根据样本帧数据对训练模型进行训练,直至差异在预设范围内。

可选地,在本发明实施例中,处理器502还用于:

在根据确定出的memc模型对当前待显示数据进行图像处理之后,显示根据确定出的memc模型对当前待显示数据进行图像处理后的结果,以使用户根据显示的结果判断是否满足用户要求后反馈相应的消息;

确定是否接收到用户反馈的确认消息;

若是,则确定完成对当前待显示数据的图像处理;

若否,则根据预设的调整算法,调整训练模型的参数,并继续根据样本帧数据,对训练模型进行训练。

可选地,在本发明实施例中,处理器502还用于:

在确定出当前待显示数据不作为待训练的样本数据时,根据已确定出的memc模型对待显示数据进行图像处理。

基于同一发明构思,本发明实施例提供了一种计算机可读的非易失性存储介质,计算机可读的非易失性存储介质存储有计算机可执行指令,计算机可执行指令用于使计算执行上述图像处理方法。

本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1