用户设备以及图像处理的方法及装置与流程

文档序号:12906869阅读:151来源:国知局
用户设备以及图像处理的方法及装置与流程

本发明涉及信息技术领域,特别涉及一种用户设备以及图像处理的方法及装置。



背景技术:

随着信息技术的发展,计算机图像技术也随着发展,其中,在计算机图像领域,将三维信息投影成二维的图像,使得图像失去深度信息,然而在某些情况下,需要获取图像的深度信息。

获取图像的深度信息的方法有很多,主要可以分成基于多帧图像的获取方法和基于单帧图像的获取方法两类。在某些实际应用的场景中,不一定能够得到多帧的输入数据。一类基于单帧图像的深度获取,通常是只能针对特定的图片内容的情况,需要图中有明显的结构信息,或者利用平行线的几何关系等。另一类单帧图像深度获取,利用了不同深度的区域失焦模糊情况不同,进而获取图像深度。然而,现有的利用失焦模糊的方法对于模糊的类型有所假定,而且通常处理的是前景背景差距较大,失焦模糊严重的情形。



技术实现要素:

本发明提供一种用户设备以及图像处理的方法及装置,可以提高确定图像深度信息的准确度。

第一方面,本发明实施例提供了一种图像处理的方法,所述方法包括:

获取原始图像;

根据所述原始图像以及预设的至少两个边界图像块,确定所述原始图像中的像素对应的目标模糊值,所述边界图像块包括用于描述曲线的像素,所述曲线为圆弧或椭圆弧,所述至少两个边界图像块中两个边界图像块的模糊值、方向值以及曲率值中有至少一项不相同,所述边界图像块的曲率为所述边界图像块中圆弧或椭圆弧的曲率,所述边界图像块的方向为所述边界图像块中圆弧或椭圆弧的方向;

根据所述原始图像中像素对应的目标模糊值,确定所述原始图像中像素对应的深度值。

其中,圆弧的方向可以是过圆弧的中点的沿顺时针方向的切线方向,也可以是过圆弧的中点的沿逆时针方向的切线方向,也可以是由圆弧的中点指向圆弧对应的圆心的方向。

结合第一方面,在第一方面的第一种可能的实现方式中,

所述根据所述原始图像以及预设的至少两个边界图像块,确定所述原始图像中的像素对应的目标模糊值,包括:

根据所述原始图像以及所述至少两个边界图像块,建立所述原始图像中像素对应的模糊值的能量函数;

确定使得所述能量函数的函数值最小的所述原始图像中像素对应的模糊值,作为所述原始图像中像素对应的目标模糊值。

第一方面的第一种可能的实现方式,通过原始图像以及至少两个边界图像块,建立原始图像中像素对应的能量函数,并能够能量函数确定出原始图像中像素对应的目标模糊值,从而可以根据原始图像中像素对应的目标模糊值,确定出原始图像中像素对应的深度值,而不需要根据图像的几何关系或者对图像失焦模糊类型进行假设,以确定出图像中像素的深度信息,进而可以提高确定图像深度信息的准确度。

结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,

所述能量函数包括:

其中,i为所述原始图像中像素,ii为所述原始图像,为ii的梯度图像,中所述原始图像中像素i所在的图像块,f(·)为归一化函数,τ(θ,r,b)为所述至少两个边界图像块中方向值为θ,曲率值为r,模糊值为bi的边界图像块,ωij为与i,j对应的光滑权重,bi为所述原始图像中像素i对应的模糊值,bj为所述原始图像中像素j对应的模糊值,mi用于表示所述原始图像中像素i是否为所述原始图像的边缘像素,其中,mi=1,表示所述原始图像的像素i为所述原始图像的边缘像素,mi=0,表示所述原始图像中像素i不是所述原始图像的边缘像素,ρ(·)为单元函数,w为位置相邻像素的集合。

第一方面的第二种可能的实现方式,该能量函数为根据原始图像以及边缘图像块得到的,并且通过该能量函数确定出原始图像中像素的目标模糊值,能够根据目标模糊值确定原始图像中像素的深度值,从而可以提高确定深度信息的准确度。

结合第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,

所述确定使得所述能量函数的函数值最小的所述原始图像中像素对应的模糊值,作为所述原始图像中像素对应的目标模糊值包括:

分解所述能量函数获得第一子函数和第二子函数,其中,所述第一子函数为:

所述第二子函数为:

其中,α、η为预设的系数,ti为所述原始图像中像素i对应的中间模糊值,tj为所述原始图像中像素j对应的中间模糊值;

循环执行以下步骤,直到ti与bi之间的差值满足预设的条件,则将bi作为所述原始图像中像素i对应的目标模糊值,;

所述以下步骤包括:

将ti的值固定,确定使得所述第一子函数的函数值最小的所述原始图像中像素i对应的模糊值bi;

将bi的值固定,确定使得所述第二子函数的函数值最小的所述原始图像中像素i对应的中间模糊值ti。

第一方面的第三种可能的实现方式,通过将该能量函数通过引用中间变量分成两个子函数,能够根据这两个子函数,确定原始图像中像素的目标模糊值,从而可以降低确定原始图像中像素的目标模糊值的复杂度。

结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,

所述ti与bi之间的差值满足预设的条件包括:ti与bi之间的差值的绝对值小于或等于预设的阈值。

结合第一方面的第三种可能的实现方式,在第一方面的第五种可能的实现方式中,

所述将所述能量函数分解为第一子函数和第二子函数的步骤之前,还包括:

获取所述ti对应的初始值。

结合第一方面、第一方面的第一种可能的实现方式、第一方面的第二种可能的实现方式、第一方面的第三种可能的实现方式、第一方面的第四种可能的实现方式以及第一方面的第五种可能的实现方式中的任意一项,在第一方面的第六种可能的实现方式中,

所述根据所述原始图像中像素对应的目标模糊值,确定所述原始图像中像素对应的深度值的步骤之后,还包括:

根据所述原始图像中像素对应的目标模糊值以及所述原始图像中像素对应的深度顺序,确定所述原始图像中像素深度值对应的能量函数;

确定使得所述原始图像中像素深度值对应的能量函数的函数值最小的所述原始图像中的像素对应的深度值,作为所述原始图像中的像素对应的目标深度值。

第一方面的第六种可能的实现方式,通过将原始图像中像素的深度值通过原始图像中像素对应的深度顺序,能够将原始图像中的像素的深度值进行校正,得到目标深度值,从而可以进一步地提高确定原始图像中像素对应的深度值的准确度。

结合第一方面的第六种可能的实现方式,在第一方面的第七种可能的实现方式中,

所述原始图像中像素深度值对应的能量函数为:

其中,s为二值变量,si用于表示所述原始图像中像素i为远焦距像素还是近焦距像素,sj用于表示所述原始图像中像素j为远焦距像素还是近焦距像素,t(·)为示性函数,其中,当si≠sj时,返回结果为1,否则为0,bi为所述原始图像中像素i对应的目标模糊值,bj为所述原始图像中像素j对应的目标模糊值,pi为所述原始图像中像素i对应的深度排序值,pf为所述原始图像中焦点像素对应的深度排序值,n为所述原始图像中相邻像素的集合,sign(·)为符号函数。

结合第一方面的第七种可能的实现方式,在第一方面的第八种可能的实现方式中,

所述根据所述原始图像中像素对应的目标模糊值以及所述原始图像中像素对应的深度顺序,确定所述原始图像中像素深度值对应的能量函数的步骤,之前还包括:

确定所述原始图像中的像素为远焦距像素还是近焦距像素以及原始图像中像素对应的深度排序值。

第二方面,本发明实施例提供了一种图像处理的装置,所述装置包括:

获取单元,用于获取原始图像;

模糊确定单元,用于根据所述获取单元获取的原始图像以及预设的至少两个边界图像块,确定所述原始图像中的像素对应的目标模糊值,所述边界图像块包括用于描述曲线的像素,所述曲线为圆弧或椭圆弧,所述至少两个边界图像块中两个边界图像块的模糊值、方向值以及曲率值中有至少一项不相同,所述边界图像块的曲率为所述边界图像块中圆弧或椭圆弧的曲率,所述边界图像块的方向为所述边界图像块中圆弧或椭圆弧的方向;

深度确定单元,用于根据所述模糊确定单元确定的原始图像中像素对应的目标模糊值,确定所述原始图像中像素对应的深度值。

结合第二方面,在第二方面的第一种可能的实现方式中,

所述模糊确定单元包括:建模模块、求解模块;

所述建模模块,用于根据所述原始图像以及所述至少两个边界图像块,建立所述原始图像中像素对应的模糊值的能量函数;

所述求解模块,用于确定使得所述能量函数的函数值最小的所述原始图像中像素对应的模糊值,作为所述原始图像中像素对应的目标模糊值。

结合第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,

所述能量函数包括:

其中,i为所述原始图像中像素,ii为所述原始图像,为ii的梯度图像,中所述原始图像中像素i所在的图像块,f(·)为归一化函数,τ(θ,r,b)为所述至少两个边界图像块中方向值为θ,曲率值为r,模糊程度值为bi的边界图像块,ωij为与i,j对应的光滑权重,bi为所述原始图像中像素i对应的模糊值,bj为所述原始图像中像素j对应的模糊值,mi用于表示所述原始图像中像素i是否为所述原始图像的边缘像素,其中,mi=1,表示所述原始图像的像素i为所述原始图像的边缘像素,mi=0,表示所述原始图像中像素i不是所述原始图像的边缘像素,ρ(·)为单元函数,w为位置相邻像素的集合。

结合第二方面的第二种可能的实现方式,在第二方面的第三种可能的实现方式中,

所述确定单元还包括:分解模块、循环单元;

所述分解模块,用于分解所述能量函数获得第一子函数和第二子函数,其中,所述第一子函数为:

所述第二子函数为:

其中,α、η为预设的系数,ti为所述原始图像中像素i对应的中间模糊值,tj为所述原始图像中像素j对应的中间模糊值;

循环模块,用于循环执行以下步骤,直到ti与bi之间的差值满足预设的条件,则将ti或bi作为所述原始图像中像素i对应的目标模糊值;

所述以下步骤包括:

所述确定模块,还用于将ti的值固定,确定使得所述第一子函数的函数值最小的所述原始图像中像素i对应的模糊值bi;

所述确定模块,还用于将bi的值固定,确定使得所述第二子函数的函数值最小的所述原始图像中像素i对应的中间模糊值ti。

结合第二方面的第三种可能的实现方式,在第二方面的第四种可能的实现方式中,

所述ti与bi之间的差值满足预设的条件包括:ti与bi之间的差值的绝对值小于或等于预设的阈值。

第三方面,本发明实施例提供了一种图像处理的装置,包括:存储器、处理器;其中,

所述存储器,用于存储所述处理器执行的程序代码;

所述处理器,用于读取所述存储器中的程序代码,以执行上述第一方面或第一方面的任意可能的实现方式中的方法。

第四方面,提供了一种计算机存储介质,该计算机存储介质中存储有程序代码,该程序代码用于指示执行上述第一方面或第一方面的任意可能的实现方式中的方法。

本发明提供的用户设备以及图像处理的方法及装置,首先获取原始图像,然后根据原始图像以及预设的至少两个边界图像块,确定原始图像中的像素对应的目标模糊值,其中,边界图像块包括用于描述曲线的像素,曲线为圆弧或椭圆弧,至少两个边界图像块中两个边界图像块的模糊值、方向值以及曲率值中有至少一项不相同,边界图像块的曲率为边界图像块中圆弧或椭圆弧的曲率,边界图像块的方向为边界图像块中圆弧或椭圆弧的方向,最后根据原始图像中像素对应的目标模糊值,确定原始图像中像素对应的深度值。与现有技术相比,本发明通过预设的至少两个边界图像块,确定原始图像中像素的模糊值,并能够根据原始图像中像素对应的模糊值,确定原始图像中的像素对应的深度值,因此针对多帧图像进行深度获取时,不需要多帧的输入数据,并且针对单帧图像进行深度获取时,不需要对失焦模糊的图形进行假设,从而可以提高确定图像深度信息的准确度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案,下面将对本发明或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。

图1为本发明实施例中图像处理的方法流程图;

图2为本发明实施例中确定图像中像素深度排序的示意图;

图3为本发明实施例中另一种图像处理的方法流程图;

图4为本发明实施例中又一种图像处理的方法流程图;

图5为本发明实施例中一种图像处理的装置示意图;

图6为本发明实施例中又一种图像处理的装置示意图;

图7为本发明实施例中一种图像处理的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

本发明实施例提供一种确定图像深度信息的方法,能够提高确定图像深度信息的准确度,如图1所示,所述方法包括:

101、用户设备获取原始图像。

102、用户设备根据原始图像以及预设的至少两个边界图像块,确定原始图像中的像素对应的目标模糊值。

其中,边界图像块包括用于描述曲线的像素,曲线为圆弧或椭圆弧,至少两个边界图像块中两个边界图像块的模糊值、方向值以及曲率值中有至少一项不相同,边界图像块的曲率为边界图像块中圆弧或椭圆弧的曲率,边界图像块的方向为边界图像块中圆弧或椭圆弧的方向。

例如,该边界图像块的尺寸可以为9*9、10*10以及11*11。

对于本发明实施例,用户设备可以预先生成上述至少两个边界图像块,并可以将预先生成的上述至少两个边界图像块存储至本地。

103、用户设备根据原始图像中像素对应的目标模糊值,确定原始图像中像素对应的深度值。

对于本发明实施例,用户设备可以根据原始图像中像素对应的目标模糊值,确定原始图像中像素对应的深度值。在本发明实施例中,步骤103之后还包括:用户设备首先根据原始图像中像素对应的目标模糊值以及原始图像中像素对应的深度顺序,确定原始图像中像素深度值对应的能量函数,然后确定使得原始图像中像素深度值对应的能量函数的函数值最小的原始图像中的像素对应的深度值,作为原始图像中的像素对应的目标深度值。

其中,原始图像中像素深度值对应的能量函数为:

其中,s为二值变量,si用于表示原始图像中像素i为远焦距像素还是近焦距像素,sj用于表示原始图像中像素j为远焦距像素还是近焦距像素,t(·)为示性函数,其中,当si≠sj时,返回结果为1,否则为0,bi为原始图像中像素i对应的目标模糊值,bj为原始图像中像素j对应的目标模糊值,pi为原始图像中像素i对应的深度排序值,pf为原始图像中焦点像素对应的深度排序值,n为原始图像中相邻像素的集合,sign(·)为符号函数。

对于本发明实施例,若bi-bj>0,则sign(bi-bj)=1,若bi-bj≤0,则sign(bi-bj)=-1;若pi-pf>0,则sign(pi-pf)=1,若pi-pf≤0,则sign(pi-pf)=-1。

在本发明实施例中,由于原始图像中像素对应的目标模糊值与原始图像中像素对应的深度值并不是简单的对应关系,即原始图像中两个像素对应的目标模糊值相同,但原始图像中两个像素对应的深度值不一定相同。因此用户设备需要确定相同模糊值的两个像素对应的深度值。

对于本发明实施例,现有技术中本领域的技术人员通过原始图像的几何遮挡关系,能够确定出原始图像中像素对应的深度排序值。在本发明实施例中,用户设备能够根据原始图像中像素对应的深度排序值,对根据原始图像中像素对应的目标模糊值,确定出的原始图像中像素对应的深度值,进行校正,得到更加准确的原始图像中像素对应的深度值。

例如,用户设备根据原始图像中边之间的几何遮挡关系,确定粗略的原始图像各个位置的深度信息排序值。如图2所示,4号区域的底部,1、2、4号区域三者之间形成了t形连接的结构关系,因此2号区域在1号、4号区域的上方。

本发明实施例提供的图像处理的方法,首先获取原始图像,然后根据原始图像以及预设的至少两个边界图像块,确定原始图像中的像素对应的目标模糊值,其中,边界图像块包括用于描述曲线的像素,曲线为圆弧或椭圆弧,至少两个边界图像块中两个边界图像块的模糊值、方向值以及曲率值中有至少一项不相同,边界图像块的曲率为边界图像块中圆弧或椭圆弧的曲率,边界图像块的方向为边界图像块中圆弧或椭圆弧的方向,最后根据原始图像中像素对应的目标模糊值,确定原始图像中像素对应的深度值。与现有技术相比,本发明实施例通过预设的至少两个边界图像块,确定原始图像中像素的模糊值,并能够根据原始图像中像素对应的模糊值,确定原始图像中的像素对应的深度值,因此针对多帧图像进行深度获取时,不需要多帧的输入数据,并且针对单帧图像进行深度获取时,不需要对失焦模糊的图形进行假设,从而可以提高确定图像深度信息的准确度。

本发明实施例的另一种可能的实现方式,在如图1所示的基础上,步骤102、用户设备根据原始图像以及预设的至少两个边界图像块,确定原始图像中的像素对应的目标模糊值,具体包括如图3所示的步骤301-302。

301、用户设备根据原始图像以及至少两个边界图像块,建立原始图像中像素对应的模糊值的能量函数。

其中,能量函数包括:

其中,i为原始图像中像素,ii为原始图像,为ii的梯度图像,中原始图像中像素i所在的图像块,f(·)为归一化函数,τ(θ,r,b)为至少两个边界图像块中方向值为θ,曲率值为r,模糊值为bi的边界图像块,ωij为与i,j对应的光滑权重,bi为原始图像中像素i对应的模糊值,bj为原始图像中像素j对应的模糊值,mi用于表示原始图像中像素i是否为原始图像的边缘像素,其中,mi=1,表示原始图像的像素i为原始图像的边缘像素,mi=0,表示原始图像中像素i不是原始图像的边缘像素,ρ(·)为单元函数,w为位置相邻像素的集合。

对于本发明实施例,ωij=exp(-|ii-ij|2/σi-|xi-xj|2/σx),其中,ii为原始图像中像素i的颜色,ij为原始图像中像素j的颜色,xi为原始图像中像素i的坐标,xj为原始图像像素j的坐标,σi的取值范围为(0,1),σx的取值范围为(5,10);

302、用户设备确定使得能量函数的函数值最小的原始图像中像素对应的模糊值,作为原始图像中像素对应的目标模糊值。

本发明实施例的另一种可能的实现方式,在如图3所示的基础上,步骤302、用户设备确定使得能量函数的函数值最小的原始图像中像素对应的模糊值,作为原始图像中像素对应的目标模糊值,具体包括如图4所示的步骤401-402。

401、用户设备分解能量函数获得第一子函数和第二子函数。

其中,第一子函数为:第二子函数为:

其中,α、η为预设的系数,ti为原始图像中像素i对应的中间模糊值,tj为原始图像中像素j对应的中间模糊值。

对于本发明实施例,ti的初始值一般为0。

402、用户设备循环执行以下步骤,直到ti与bi之间的差值满足预设的条件,则将ti或bi作为原始图像中像素i对应的目标模糊值。

其中,该以下步骤包括步骤302a-302b。

其中,ti与bi之间的差值满足预设的条件包括:ti与bi之间的差值的绝对值小于或等于预设的阈值。

402a、用户设备将ti的值固定,确定使得第一子函数的函数值最小的原始图像中像素i对应的模糊值bi。

402b、用户设备将bi的值固定,确定使得第二子函数的函数值最小的原始图像中像素i对应的中间模糊值ti。

对于本发明实施例,通过利用原始图像以及预设的至少两个边界图像块,能够建立原始图像中像素的模糊值对应的能量函数,并能够根据该能量函数,确定原始图像中像素对应的目标模糊值,并能够根据原始图像中像素对应的目标模糊值确定原始图像中像素对应的深度值,而不需要根据不同区域的失焦模糊图像进行获取,以获取出原始图像中像素的深度值,从而可以进一步地提高确定深度信息的准确度。

进一步地,作为对图1、图3、图4所示方法的实现,本发明实施例还提供了一种图像处理的装置,用于提高确定深度信息的准确度。如图5所示,装置包括:获取单元51、模糊确定单元52、深度确定单元53。

获取单元51,用于获取原始图像。

模糊确定单元52,用于根据获取单元51获取的原始图像以及至少两个边界图像块,确定原始图像中的像素对应的目标模糊值。

其中,边界图像块包括用于描述曲线的像素,曲线为圆弧或椭圆弧,至少两个边界图像块中两个边界图像块的模糊值、方向值以及曲率值中有至少一项不相同,边界图像块的曲率为边界图像块中圆弧或椭圆弧的曲率,边界图像块的方向为边界图像块中圆弧或椭圆弧的方向。

深度确定单元53,还用于根据模糊确定单元52确定的原始图像中像素对应的目标模糊值,确定原始图像中像素对应的深度值。

进一步地,如图6所示,模糊确定单元52包括:建模模块521、求解模块522。

建模模块521,用于根据原始图像以及至少两个边界图像块,建立原始图像中像素对应的模糊值的能量函数。

其中,能量函数包括:

其中,i为原始图像中像素,ii为原始图像,为ii的梯度图像,中原始图像中像素i所在的图像块,f(·)为归一化函数,τ(θ,r,b)为至少两个边界图像块中方向值为θ,曲率值为r,模糊程度值为bi的边界图像块,ωij为与i,j对应的光滑权重,bi为原始图像中像素i对应的模糊值,bj为原始图像中像素j对应的模糊值,mi用于表示原始图像中像素i是否为原始图像的边缘像素,其中,mi=1,表示原始图像的像素i为原始图像的边缘像素,mi=0,表示原始图像中像素i不是原始图像的边缘像素,ρ(·)为单元函数,w为位置相邻像素的集合。

求解模块522,用于确定使得能量函数的函数值最小的原始图像中像素对应的模糊值,作为原始图像中像素对应的目标模糊值。

如图6所示,该模糊确定单元52还包括:分解模块523。

分解模块523,用于分解能量函数获得第一子函数和第二子函数。

其中,第一子函数为:

第二子函数为:

其中,α、η为预设的系数,ti为原始图像中像素i对应的中间模糊值,tj为原始图像中像素j对应的中间模糊值。

其中,循环执行以下步骤,直到ti与bi之间的差值满足预设的条件,则将ti或bi作为原始图像中像素i对应的目标模糊值。

其中,ti与bi之间的差值满足预设的条件包括:ti与bi之间的差值的绝对值小于或等于预设的阈值。

以下步骤包括:

将ti的值固定,确定使得第一子函数的函数值最小的原始图像中像素i对应的模糊值bi;

将bi的值固定,确定使得第二子函数的函数值最小的原始图像中像素i对应的中间模糊值ti。

本发明实施例提供的图像处理的装置,首先获取原始图像,然后根据原始图像以及预设的至少两个边界图像块,确定原始图像中的像素对应的目标模糊值,其中,边界图像块包括用于描述曲线的像素,曲线为圆弧或椭圆弧,至少两个边界图像块中两个边界图像块的模糊值、方向值以及曲率值中有至少一项不相同,边界图像块的曲率为边界图像块中圆弧或椭圆弧的曲率,边界图像块的方向为边界图像块中圆弧或椭圆弧的方向,最后根据原始图像中像素对应的目标模糊值,确定原始图像中像素对应的深度值。与现有技术相比,本发明实施例通过预设的至少两个边界图像块,确定原始图像中像素的模糊值,并能够根据原始图像中像素对应的模糊值,确定原始图像中的像素对应的深度值,因此针对多帧图像进行深度获取时,不需要多帧的输入数据,并且针对单帧图像进行深度获取时,不需要对失焦模糊的图形进行假设,从而可以提高确定图像深度信息的准确度。

需要说明的是,本发明实施例中提供的图像处理中各设备所对应的其他相应描述,可以参考图1、图3至图4任意一项中的对应描述,在此不再赘述。

再进一步地,本发明实施例还提供了一种用户设备,如图7所示,该用户设备包括:存储器71、处理器72及收发器73,所述收发器73、存储器71分别与处理器72相连接,图7描述了本发明另一个实施例提供的用户设备的结构,用于执行前述图1、图3至图4所述实施例的用户设备实施的授权方法。

存储器71,用于存储处理器执行的程序代码。

处理器72,获取原始图像;根据原始图像以及预设的至少两个边界图像块,确定原始图像中的像素对应的目标模糊值;根据原始图像中像素对应的目标模糊值,确定原始图像中像素对应的深度值。

其中,边界图像块包括用于描述曲线的像素,曲线为圆弧或椭圆弧,至少两个边界图像块中两个边界图像块的模糊值、方向值以及曲率值中有至少一项不相同,边界图像块的曲率为边界图像块中圆弧或椭圆弧的曲率,边界图像块的方向为边界图像块中圆弧或椭圆弧的方向。

处理器72,具体用于根据原始图像以及至少两个边界图像块,建立原始图像中像素对应的模糊值的能量函数;确定使得能量函数的函数值最小的原始图像中像素对应的模糊值,作为原始图像中像素对应的目标模糊值。

其中,能量函数包括:

其中,i为原始图像中像素,ii为原始图像,为ii的梯度图像,中原始图像中像素i所在的图像块,f(·)为归一化函数,τ(θ,r,b)为至少两个边界图像块中方向值为θ,曲率值为r,模糊程度值为bi的边界图像块,ωij为与i,j对应的光滑权重,bi为原始图像中像素i对应的模糊值,bj为原始图像中像素j对应的模糊值,mi用于表示原始图像中像素i是否为原始图像的边缘像素,其中,mi=1,表示原始图像的像素i为原始图像的边缘像素,mi=0,表示原始图像中像素i不是原始图像的边缘像素,ρ(·)为单元函数,w为位置相邻像素的集合。

处理器72,具体还用于分解能量函数获得第一子函数和第二子函数;循环执行以下步骤,直到ti与bi之间的差值满足预设的条件,则将ti或bi作为原始图像中像素i对应的目标模糊值;以下步骤包括:将ti的值固定,确定使得第一子函数的函数值最小的原始图像中像素i对应的模糊值bi;将bi的值固定,确定使得第二子函数的函数值最小的原始图像中像素i对应的中间模糊值ti。

其中,第一子函数为:第二子函数为:

其中,α、η为预设的系数,ti为原始图像中像素i对应的中间模糊值,tj为原始图像中像素j对应的中间模糊值。

其中,ti与bi之间的差值满足预设的条件包括:ti与bi之间的差值的绝对值小于或等于预设的阈值。

收发器73,用于接收原始图像或者发送原始图像中像素对应的深度值。

本发明实施例提供的用户设备,首先获取原始图像,然后根据原始图像以及预设的至少两个边界图像块,确定原始图像中的像素对应的目标模糊值,其中,边界图像块包括用于描述曲线的像素,曲线为圆弧或椭圆弧,至少两个边界图像块中两个边界图像块的模糊值、方向值以及曲率值中有至少一项不相同,边界图像块的曲率为边界图像块中圆弧或椭圆弧的曲率,边界图像块的方向为边界图像块中圆弧或椭圆弧的方向,最后根据原始图像中像素对应的目标模糊值,确定原始图像中像素对应的深度值。与现有技术相比,本发明实施例通过预设的至少两个边界图像块,确定原始图像中像素的模糊值,并能够根据原始图像中像素对应的模糊值,确定原始图像中的像素对应的深度值,因此针对多帧图像进行深度获取时,不需要多帧的输入数据,并且针对单帧图像进行深度获取时,不需要对失焦模糊的图形进行假设,从而可以提高确定图像深度信息的准确度。

需要说明的是,本发明实施例中提供的图像处理中各设备所对应的其他相应描述,可以参考图1、图3至图4任意一项中的对应描述,在此不再赘述。

本发明实施例提供的图像处理的装置可以实现上述提供的方法实施例,具体功能实现请参见方法实施例中的说明,在此不再赘述。本发明实施例提供的用户设备以及图像处理的方法及装置可以适用于确定出图像中像素对应的模糊值,并根据图像中像素对应的模糊值,确定图像中像素对应的深度值。但不仅限于此。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1