一种图像处理方法、装置及移动终端与流程

文档序号:14121470阅读:267来源:国知局
本发明涉及通信
技术领域
:,尤其涉及一种图像处理方法、装置及移动终端。
背景技术
::随着通信技术的快速发展,智能手机以及平板电脑等移动终端越来越普及,并已成为了人们日常生活中不可或缺的工具,人们对于移动终端的要求也越来越高,尤其是移动终端对拍摄的照片等图像的处理功能。导向滤波技术作为一种应用于移动终端的图像处理技术,可以通过一张引导图,对输入图像进行滤波处理,使滤波处理后的输出图像与输入图像大致相似,但纹理部分与引导图相似,从而可以实现保持图像平滑以及精细抠图等,提升图像质量。但是,移动终端通过传统的导向滤波技术进行图像处理过程中,由于输入图像的图像分辨率通常较大,导向滤波处理过程中的计算量较大,从而使对输入图像的处理过程通常耗费较长的时间,导致移动终端的图像滤波处理不能满足实时运行的要求,降低用户体验效果。可见,目前移动终端对输入图像进行导向滤波处理过程中,存在因耗时长而导致处理实时性差的问题。技术实现要素:本发明实施例提供一种图像处理方法、装置及移动终端,以解决目前移动终端对输入图像进行导向滤波处理过程中,存在因耗时长而导致处理实时性差的问题。为解决上述技术问题,本发明是这样实现的:一种图像处理方法,应用于包括数字信号处理器的移动终端,包括:对输入图和引导图并行进行下采样处理,得到下采样输入图和下采样引导图;对所述下采样输入图和所述下采样引导图进行处理,得到滤波系数图以及与滤波偏移量图;对所述滤波系数图和所述滤波偏移量图并行进行上采样处理,得到第一上采样图和第二上采样图;对所述第一上采样图和所述第二上采样图进行滤波处理,得到与所述输入图对应的输出图。第一方面,本发明实施例提供了一种图像处理方法,应用于包括数字信号处理器的移动终端,包括:对输入图和引导图并行进行下采样处理,得到下采样输入图和下采样引导图;对所述下采样输入图和所述下采样引导图进行处理,得到滤波系数图以及与滤波偏移量图;对所述滤波系数图和所述滤波偏移量图并行进行上采样处理,得到第一上采样图和第二上采样图;对所述第一上采样图和所述第二上采样图进行滤波处理,得到与所述输入图对应的输出图。第二方面,本发明实施例还提供一种图像处理装置,包括数字信号处理器,所述装置还包括:下采样模块,用于对输入图和引导图并行进行下采样处理,得到下采样输入图和下采样引导图;滤波参数计算模块,用于对所述下采样输入图和所述下采样引导图进行处理,得到滤波系数图以及与滤波偏移量图;上采样模块,用于对所述滤波系数图和所述滤波偏移量图并行进行上采样处理,得到第一上采样图和第二上采样图;滤波处理模块,用于对所述第一上采样图和所述第二上采样图进行滤波处理,得到与所述输入图对应的输出图。第三方面,本发明实施例还提供一种移动终端,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述图像处理方法的步骤。第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述图像处理方法的步骤。本发明实施例在对图像进行导向滤波处理过程中,对输入图和引导图并行处理,能够加快图像处理过程中的计算速度,提升图像处理效率,从而提升图像处理的实时性。附图说明为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1是本发明实施例提供的一种图像处理方法的流程示意图;图2是本发明实施例提供的另一种图像处理方法的流程示意图;图3是本发明实施例提供的一种图像处理方法的应用实例的处理过程示意图;图4是本发明实施例提供的一种双线性插值技术对水平插值进行查表的示意图;图5是本发明实施例提供的一种缩放图的示意图;图6是本发明实施例提供的一种图像处理装置的结构示意图;图7是本发明实施例提供的一种图像处理装置中滤波参数计算模块的结构示意图;图8是本发明实施例提供的一种图像处理装置中计算子模块的结构示意图;图9是本发明实施例提供的一种图像处理装置中滤波参数图生成子模块的结构示意图;图10是本发明实施例提供的一种图像处理装置中计算单元的结构示意图;图11是本发明实施例提供的一种图像处理装置中第一查找子单元的结构示意图;图12是本发明实施例提供的一种图像处理装置中下采样模块的结构示意图;图13是本发明实施例提供的一种移动终端的硬件结构图。具体实施方式下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。参见图1,图1是本发明实施例提供的一种图像处理方法的流程示意图,应用于包括数字信号处理器(digitalsignalprocessor,dsp)的移动终端,如图1所示,包括以下步骤:步骤101、对输入图和引导图并行进行下采样处理,得到下采样输入图和下采样引导图。本发明实施例中,移动终端对输入图进行滤波处理过程中,可以对输入图和引导图并行进行下采样处理,得到下采样输入图和下采样引导图。其中,上述输入图为待处理的图像,上述引导图可以是与输入图像具有相同尺寸且具有特定的纹理部分的图像。例如:上述输入图和引导图的尺寸为m×n,且预设的采样倍数为s,移动终端的dsp可以同时执行至少两条线程,其中至少两条线程中一条线程对输入图进行下采样,下采样后得到下采样输入图的尺寸为(m/s)×(n/s);同理,dsp的另一条线程可以对引导图进行下采样,下采样后得到的下采样引导图的尺寸也为(m/s)×(n/s)。步骤102、对所述下采样输入图和所述下采样引导图进行处理,得到滤波系数图以及与滤波偏移量图。本发明实施例中,若上述步骤101中得到下采样输入图和下采样引导图,移动终端可以对下采样输入图和下采样引导图进行处理,得到滤波系数图以及滤波偏移量图。例如:移动终端的dsp可以通过直接求和方法,在下采样输入图中以每一像素点为中心,计算以预设宽度的正方形窗口内的所有像素点的像素值之和和;同样地,dsp还可以分别计算下采样引导图、两幅下采样输入图之间逐像素点相乘得到的第一图像以及下采样输入图与下采样引导图之间逐像素点线程得到的第二图像中,以每一像素点为中心,计算以预设宽度的正方形窗口内的所有像素点的像素值之和,并通过下采样输入图、下采样引导图、第一图像以及第二图像中各像素点对应的像素值之和,计算得到下采样输入图中每一像素点对应的像素值比例系数以及像素值偏移量,根据下采样输入图中每一像素点对应的比例系数,生成像素值比例系数图,并对比例系数图进行处理生成滤波系数图;以及根据下采样输入图中每一像素点对应的偏移量,生成像素值偏移量图,并对像素值偏移量图进行处理生成滤波偏移量图。步骤103、对所述滤波系数图和所述滤波偏移量图并行进行上采样处理,得到第一上采样图和第二上采样图。本发明实施例中,若上述步骤102中获取滤波系数图和滤波偏移量图,移动终端的dsp可以对滤波系数图和滤波偏移量图并行进行上采样处理,得到与输入图的图像尺寸一致的第一上采样图以及第二上采样图。例如:以上述尺寸为m×n的引导图为例,上述滤波系数图以及滤波偏移量图的尺寸为(m/s)×(n/s),则移动终端的dsp可以在一条线程中按照采样倍数s对滤波系数图进行上采样,得到图像尺寸为m×n的第一上采样图;同理,移动终端的dsp可以在另一线程中对滤波偏移量图进行上采样,得到图像尺寸为m×n的第二上采样图。步骤104、对所述第一上采样图和所述第二上采样图进行滤波处理,得到与所述输入图对应的输出图。本发明实施例中,若上述步骤103中获取到第一上采样图和第二上采样图,移动终端的dps可以对第一上采样图和第二上采样图进行滤波处理,得到与输入图对应的输出图,得到的输出图与输入图的大致相似,但输入图的纹理部分与引导图中特定的纹理部分相似。其中,上述对第一上采样图和第二上采样图进行滤波处理,可以是移动终端的dsp将引导图中目标像素点的值,与第一上采样图中与目标像素点对应的像素点的值即目标像素点对应的像素值比例系数相乘,将相乘获得的结果与第二上采样中,与目标像素点对应的像素点的值即目标像素点对应的像素值偏移量相加,并将相加获得的结果作为输出图中与目标像素点对应的像素点的像素值,从而生成上述输出图。本发明实施例中,上述移动终端可以任何包括数字信号处理器的移动终端,例如:手机、平板电脑(tabletpersonalcomputer)、膝上型电脑(laptopcomputer)、个人数字助理(personaldigitalassistant,简称pda)、移动上网装置(mobileinternetdevice,mid)或可穿戴式设备(wearabledevice)等。本发明实施例的图像处理方法,在对图像进行导向滤波处理过程中,对输入图和引导图并行处理,能够加快图像处理过程中的计算速度,提升图像处理效率,从而提升图像处理的实时性。参见图2,图2是本发明实施例提供的一种图像处理方法的流程示意图,如图2所示,包括以下步骤:步骤201、在至少一个输入图处理线程中对所述输入图进行下采样处理,得到下采样输入图,以及在至少一个引导图处理线程中对所述引导图进行下采样处理,得到下采样引导图。本发明实施例中,移动终端对输入图像进行滤波处理过程中,dsp可以通过一个或者多个输入图处理线程对输入图进行下采样处理,得到下采样输入图,以及通过一个或者多个引导图处理线程对引导图进行下采样处理,得到下采样引导图。其中,上述至少一个输入图处理线程和上述至少一个引导图处理线程分别为dsp中并行处理的线程。例如:dsp可以通过两个输入图像处理线程对尺寸为m×n的输入图进行下采样处理,在处理过程中,dsp的一个输入图像处理线程可以对输入图中包括m/2行的像素点的图像区域进行下采样处理,而另一个输入图先处理线程可以对输入图中包括另m/2行的像素点的图像区域进行下采样处理,从而提升图像移动终端的图像处理效率。可选的,上述步骤201,可以包括:在所述至少一个输入图处理线程中,利用预设的采样倍数将所述输入图进行缩放,获取与所述输入图对应的缩放图;利用双线性插值技术查找所述缩放图在水平方向和垂直方向上的各插值点的像素值;将各插值点的像素值作为所述缩放图中与该插值点对应的像素点的像素值,生成所述下采样输入图;在至少一个引导图处理线程中对所述引导图进行下采样处理,得到下采样引导图。本实施例中,dsp可以对输入图的下采样过程中,采用双线性插值技术,先后进行水平插值计算和垂直插值计算,由于通过双线性插值技术可以在dsp上用查表法根据索引值批量获取插值点像素值,可以实现多个像素点同时计算插值,进一步提升dsp在图像处理过程中的运算速度,提升图像滤波处理的效率。需要说明的是,上述对于引导图进行下采样处理,也可以通过双线性插值技术对引导图进行处理,得到下采样引导图,且该实现过程与上述对输入图的下采样过程类似,在此不再进行赘述。步骤202、对所述下采样输入图和所述下采样引导图进行处理,得到滤波系数图以及与滤波偏移量图。本发明实施例中,若上述步骤201中获取到下采样输入图和下采样引导图,移动终端可以对下采样输入图和下采样引导图进行处理,得到滤波系数图和滤波偏移量图。可选的,上述步骤202,可以包括:计算所述下采样输入图中的每一像素点的像素值方差以及像素值协方差;根据所述下采样输入图中的每一像素点的像素值方差以及像素值协方差,生成滤波系数图和滤波偏移量图。本发明实施例中,移动终端通过计算下采样输入图中每一像素点的像素值方差以及像素值协方差,并根据下采样输入图中每一像素点的像素值方差以及像素值协方差,生成滤波系数图和滤波偏移量图,从而使生成的滤波系数图和滤波偏移量图更准确,从而移动终端进行导向滤波处理后的输出图的纹理部分与引导图中的纹理部分更相似,提升图像质量。进一步可选的,上述计算所述下采样输入图中每一像素点的像素值方差以及像素值协方差的步骤,可以包括:利用像素值方差计算公式计算得到目标像素点的像素值方差,所述目标像素点为所述下采样输入图中的任一像素点,所述像素值方差计算公式为:var=t′*sumi′i′-sumi′·sumi′所述var表示目标像素点的像素值方差,;所述t′=r′*r′,r′=r/s,所述r表示预设滤波窗口宽度,所述s表示所述采样倍数,t′表示宽度为r′的滤波窗口内的像素点总数;所述sumi′表示在所述下采样引导图的积分图中,与所述目标像素点对应的像素点的像素和值;所述sumi′i′表示在两幅所述下采样引导逐像素点相乘得到的图像的积分图中,与所述目标像素点对应的像素点的像素和值;利用像素值协方差计算公式计算得到所述目标像素点的像素值协方差,所述像素值方差计算公式为:cov=t′*sumi′p′-sumi′·sump′所述cov表示目标像素点的像素值协方差;所述sump′表示在所述下采样输入图的积分图中与目标像素点对应的像素点的像素和值;所述sumi′p′表示在所述下采样引导图与所述下采样输入图逐像素点相乘得到的图像的积分图中,与该像素点对应的像素点的像素和值。本发明实施例中,若移动终端可以利用像素值方差计算公式计算得到目标像素点的像素值方差,以及利用像素值协方差计算公式计算得到所述目标像素点的像素值协方差,可以使计算得到的每一像素点的像素值方差以及像素值协方差更准确,进一步提升输出图的图像质量。进一步可选的,上述根据所述下采样输入图中的每一像素点的像素值方差以及像素值协方差,生成滤波系数图和滤波偏移量图的步骤,包括:计算与所述下采样输入图中的每一像素点的像素值方差以及像素值协方差对应的像素值比例系数以及像素值偏移量;生成与所述下采样输入图中每一像素点的像素值比例系数关联的像素值比例系数图,以及与所述下采样输入图中每一像素点的像素值偏移量关联的像素值偏移量图;对所述像素值比例系数图进行处理得到所述滤波系数图,以及对所述像素值偏移量图进行处理得到所述滤波偏移量图。本发明实施例中,移动终端可以计算下采样输入图中的每一像素点的像素值方差以及像素值协方差对应的像素值比例系数以及像素值偏移量,并生成与每一像素值比例系数关联的像素值比例系数图,以及与每一像素值偏移量关联的像素值偏移量图,从而通过对像素值比例系数图进行处理得到滤波系数图,以及对像素值偏移量图进行处理得到滤波偏移量图,进一步使滤波系数图和滤波偏移量图更准确,从而使得到的输出图的图像质量更高。进一步可选的,上述计算与所述下采样输入图中每一像素点的像素值方差以及像素值协方差对应的像素值比例系数以及像素值偏移量的步骤,包括:获取与所述目标像素点的像素值方差对应的至少两个相乘因子,并在所述数字信号处理器中的预设查找表中,查找所述至少两个相乘因子中每一相乘因子的对应值;基于所述至少两个相乘因子中每一相乘因子的对应值,计算得到所述目标像素点的像素值比例系数以及像素值偏移量。本实施例中,移动终端在数字信号处理器中的预设查找表,查找下采样输入图中一像素点的像素值方差对应的至少两个相乘因子以及每两相乘因子的对应值,并通过查找到的该像素点的像素值方差对应的至少两个相乘因子以及每一相乘因子的对应值,计算得到该像素点的像素值比例系数以及像素值偏移量,从而可以提升移动终端的dsp的运算速度以及计算准确度。进一步可选的,上述计算得到所述目标像素点的像素值比例系数以及像素值偏移量的步骤,可以包括:根据比例系数计算公式以及偏移量计算公式,计算得到所述目标像素点的像素值比例系数以及像素值偏移量,其中,所述比例系数计算公式为:所述a′为所述目标像素点的像素值比例系数;所述n为预设的移位量,且所述n大于7;所述s为所述目标像素点的像素值方差对应的相乘因子个数,且s大于或者等于2;所述wi为所述第二预设查找表中第i个相乘因子的对应值;所述偏移量计算公式为:所述b′为所述目标像素点的像素值偏移量。本实施例中,移动终端可以通过上述比例系数计算公式以及偏移量计算公式,计算得到下采样输入图中每一像素点的像素值比例系数以及像素值偏移量,从而可以将图像处理过程中的浮点运算转换成乘法运算以及移位运算,进一步提升移动终端的dsp的运算速度以及计算准确度。进一步可选的,上述在所述数字信号处理器中的第一预设查找表中查找与目标像素点的像素值方差对应的目标移位量的步骤,包括:判断所述目标像素点的像素值方差与预设偏差量之和是否处于预设查表值范围,并获取判断结果;若所述判断结果为否,将所述目标像素点的像素值方差与预设偏差量之和因式分解为至少两个相乘因子,并在所述预设查找表中查找与所述至少两个相乘因子中每一相乘因子对应的值,其中,所述至少两个相乘因子中每一相乘因子为处于所述预设查表值范围的值。本实施例中,当上述下采样输入图中一像素点的像素值方差与预设偏差量之和超出预设查表值范围时,则移动终端对该像素点的像素值方差与预设偏差量之和进行因式分解,通过因式分解至获取至少两个相乘因子,并在所述预设查找表中查找与所述至少两个相乘因子中每一相乘因子对应的值,从而使移动终端的计算方式更灵活,且降低移动终端的计算量,提升图像处理效率。步骤203、在至少一个滤波系数图处理线程中对所述滤波系数图进行上采样处理,得到第一上采样图,以及在所述至少一个滤波偏移量图处理线程中对所述滤波偏移量图进行上采样处理,得到第二上采样图。本发明实施例中,在上述步骤202中获得滤波系数图和滤波偏移量图时,移动终端可以在至少一个滤波系数图处理线程中对滤波系数图进行上采样处理,得到第一上采样图,以及在所至少一个滤波偏移量图处理线程中对滤波偏移量图进行上采样处理,得到第二上采样图。其中,上述至少一个滤波系数图处理线程和至少一个滤波偏移量图处理线程分别为所述数字信号处理器中并行处理的线程。例如:以对滤波系数图进行上采样为例,dsp可以通过两个滤波系数图处理线程对尺寸为(m/s)×(n/s)的滤波系数图进行上采样处理,在上采样处理过程中,dsp的一个滤波系数图处理线程可以对滤波系数图中包括m/(2s)行的像素点的图像区域进行上采样处理,而另一个滤波系数图处理线程可以对滤波系数图中包括m/(2s)行的像素点的图像区域进行上采样处理,从而提升图像移动终端的图像处理效率。需要说明的是,上述对滤波系数图和滤波偏移量图进行下采样处理,也可以通过双线性插值技术分别对滤波系数图和滤波偏移量图进行处理,得到第一上采样图以及第二上采样图,且该实现过程与上述对输入图的下采样过程类似,从而进一步提升移动终端的图像处理效率,在此不再进行赘述。步骤204、对所述第一上采样图和所述第二上采样图进行滤波处理,得到与所述输入图对应的输出图。本发明实施例中,若上述步骤203中获取到第一上采样图和第二上采样图,移动终端的dps可以对第一上采样图和第二上采样图进行滤波处理,得到与输入图对应的输出图,得到的输出图与输入图的大致相似,但输入图的纹理部分与引导图中特定的纹理部分相似。如图3所示,图3是本发明实施例中提供的一种图像处理方法的应用实例的处理过程示意图,其中,该应用实例中以单通道图像为例,假设输入图为p,引导图为i,预设的滤波窗口的宽度为r,缩放倍数为s,输出图为q,预设参数ε为一个较小的常量,该图像处理方法的应用实例的处理过程如下:步骤301、在dsp中的第一线程对输入图p进行下采样,生成下采样输入图p’;其中,dsp根据缩放倍数即采样倍数计算出来输入图p的缩放图中,并采样双线性插值技术获取缩放图中水平方向以及垂直方向的插值点,由于各插值点的索引值和权值依次存储在数组中,移动终端可以在dsp上用查表法根据索引批量获取各插值点的像素值,具体的查表过程以如图4所示中对水平插值进行查表为例,其中,表4a中数值表示插值点的索引值,表4b表示像素值,表4c表示查表结果。上述双线性插值原理如下:若输入图的尺寸为a×b,而缩放后的图像m×n,那么原图与缩放后的图在水平方向和垂直方向上的缩放比分别为和如图5所示,缩放后的图像像素点(x,y)应该对应于输入图在位置上的像素值。不过由于和都是浮点数,因此也可能是浮点数。由于像素的位置都是整数的,所以需要在输入图中找到附近的4个像素点位置,如图5中的g点就相当于由于输入图中并不存在点g的像素值,为了求得这个对应于缩放后的图像在(x,y)位置的像素值,我们就需要根据该位置周围相邻的4个像素点(q12、q22、q11、q21)的像素值进行双线性插值得到该点的像素值。首先在x轴方向上,对(q12,q22)和(q11,q21)分别进行水平插值,得到r2,r1。水平插值的时候,由于g点距离左右相邻像素点远近不同,则权重不同,与g点距离近的像素点对应的权值大。同理,对(r2,r1)进行垂直插值,得到g点像素值。遍历缩放图中的每个像素点可以得到下采样输入图。步骤302、在dsp中的第二线程对引导图i进行下采样,生成下采样引导图i’;与上步骤301中类似,dsp同样可以利用双线性插值技术生成下采样引导图p’。其中,上述第一线程和上述第二线程为并行处理的线程。步骤303、在第一线程中计算第一积分图中每一像素点的像素和值sump′,以及第二积分图中每一像素点的像素和值sumi′p′;其中,上述第一积分图为下采样输入图p’的积分图,且第一积分图中一像素点的像素和值sump′,为以该像素点为中心的长宽为r’的滤波窗口内的所有像素值之和,r′=r/s;第二积分图为下采样引导图i’与下采样输入图p’逐像素点相乘得到的图像,且第二积分图中一像素点的像素和值sumi′p′,为以该像素点为中心的长宽为r’的滤波窗口内的所有像素值之和。步骤304,在第二线程中计算第三积分图中每一像素点的像素和值sumi′,以及第四积分图中每一像素点的像素和值sumi′i′;其中,上述第三积分图为下采样引导图i’的积分图,且第三积分图中一像素点的像素和值sumi′,为以该像素点为中心的长宽为r’的滤波窗口内的所有像素值之和;第四积分图为两幅下采样引导图i’之间逐像素点相乘得到的图像,且第四积分图中一像素点的像素和值sumi′i′,为以该像素点为中心的长宽为r’的滤波窗口内的所有像素值之和步骤305、根据下采样输入图中的每一像素点的像素值方差以及像素值协方差,生成滤波系数图和滤波偏移量图;其中,若上述步骤303和步骤304中分别计算得到第一积分图、第二积分图、第三积分图以及第四积分图中每一像素点的像素和值,移动终端可以计算得到下采样输入图中每一像素点的像素值方差以及像素值协方差,即var=t′*sumi′i′-sumi′·sumi′;cov=t′*sumi′p′-sumi′·sump′;上述t′=r′*r′;则移动终端可以根据下采样输入图中每一像素点的像素值方差以及像素值协方差,生成滤波系数图以及滤波偏移量图。将采样输入图中每一像素点的像素值方差var设为x,且x作为被除数,以及将采样输入图中每一像素点的像素值协方差cov设为y,且y作为除数,则上述生成滤波系数图以及滤波偏移量图的实现过程如下:若y<127,通过y查表得到则可以将除法转换为乘法和移位操作,n表示移位量,其中,符号“>>”表示二进制数的向右移位操作,且此时s=1;若y≥127,则根据y的数量级,可以确定将y分成个相乘因子相乘,分别记为y0,y1……ys-1,则这样,可以将一个取值范围较大的除数,分解为2个或多个小于等于127的数,通过多次查表、乘法和移位来实现除法。移动终端可以通过查除法表获得y0,y1……ys-1对应的值,为w0,w1……ws-1,那么可以得到像素值比例系数和像素值偏移量,像素值比例系数为即像素值偏移量为由于a可能小于1,所以将a扩大2n倍,取整数值计算。移动终端可以将通过下采样输入图中的所有像素点的像素值方差以及像素值协方差计算得到的a′,作为像素值比例系数图中的像素点的像素值;以及将通过所有像素点的像素值方差以及像素值协方差计算得到的b′,作为像素值偏移量图中的像素点的像素值,并对像素值比例系数图进行处理得到滤波系数图,以及对像素值偏移量图进行处理得到滤波偏移量图。上述对像素值比例系数图进行处理得到滤波系数图,可以是移动终端获取上述比例系数图的积分图,并计算比例系数积分图中以每一像素点为中心,以长宽为r′的滤波窗口内的所有像素点的均值,将每一像素点的均值更新为计算得到的对应的均值,并将更新后的比例系数图的积分图作为滤波系数图;同理,上述对像素值偏移量图进行处理得到滤波偏移量图的过程,与对像素值比例系数图进行处理得到滤波系数图的过程类似,在此不再进行赘述。步骤306、在dsp中的第三线程中对滤波系数图进行上采样处理,得到第一上采样图;步骤307、在dsp中的第四线程中对滤波偏移量图进行上采样处理,得到第二上采样图;其中,第三线程和第四线程为dsp并行处理的线程。步骤308、对第一上采样图和第二上采样图进行滤波处理,得到与输入图p对应的输出图q。其中,对第一上采样图和第二上采样图进行滤波处理,得到与输入图p对应的输出图q,可以是通过第一上采样图、第二上采样图以及引导图中对应的像素点即坐标相同的像素点的像素值,计算得到输出图q中对应的像素点的像素值,计算公式为:q=(a′·i+b′)/2n;上述q表示输出图q中目标像素点的像素值;上述i表示引导图i中与目标像素点对应的像素点的像素值;上述a’表示滤波系数图中与目标像素点对应的像素点的像素值;上述b’表示滤波偏移量图中与目标像素点对应的像素点的像素值。本发明实施例的图像处理方法,通过在至少一个输入图处理线程中对所述输入图进行下采样处理,得到下采样输入图,以及在至少一个引导图处理线程中对所述引导图进行下采样处理,得到下采样引导图;在至少一个滤波系数图处理线程中对所述滤波系数图进行上采样处理,得到第一上采样图,以及在所述至少一个滤波偏移量图处理线程中对所述滤波偏移量图进行上采样处理,得到第二上采样图。这样可以进一步提升移动终端对图像进行导向滤波处理过程的计算速度,从而使移动终端图像处理的实时性更高。参见图6,图6是本发明实施例提供的一种图像处理装置的结构示意图,如图6所示,图像处理装置600包括数字信号处理器,所述图像处理装置600还包括依次连接的下采样模块601、滤波参数计算模块602、上采样模块603以及滤波处理模块604:下采样模块601,用于对输入图和引导图并行进行下采样处理,得到下采样输入图和下采样引导图;滤波参数计算模块602,用于对所述下采样输入图和所述下采样引导图进行处理,得到滤波系数图以及与滤波偏移量图;上采样模块603,用于对所述滤波系数图和所述滤波偏移量图并行进行上采样处理,得到第一上采样图和第二上采样图;滤波处理模块604,用于对所述第一上采样图和所述第二上采样图进行滤波处理,得到与所述输入图对应的输出图。可选的,所述下采样模块601,还用于在至少一个输入图处理线程中对所述输入图进行下采样处理,得到下采样输入图,以及在至少一个引导图处理线程中对所述引导图进行下采样处理,得到下采样引导图,其中,所述至少一个输入图处理线程和所述至少一个引导图处理线程分别为所述数字信号处理器中并行处理的线程;所述上采样模块603,还用于在至少一个滤波系数图处理线程中对所述滤波系数图进行上采样处理,得到第一上采样图,以及在所述至少一个滤波偏移量图处理线程中对所述滤波偏移量图进行上采样处理,得到第二上采样图,其中,所述至少一个滤波系数图处理线程和所述至少一个滤波偏移量图处理线程分别为所述数字信号处理器中并行处理的线程。可选的,如图7所示,所述滤波参数计算模块602,包括:计算子模块6021,用于计算所述下采样输入图中的每一像素点的像素值方差以及像素值协方差;滤波参数图生成子模块6022,用于根据所述下采样输入图中的每一像素点的像素值方差以及像素值协方差,生成滤波系数图和滤波偏移量图。可选的,如图8所示,所述计算子模块6021,包括:方差计算单元60211,用于利用像素值方差计算公式计算得到目标像素点的像素值方差,所述目标像素点为所述下采样输入图中的任一像素点,所述像素值方差计算公式为:var=t′*sumi′i′-sumi′·sumi′所述var表示目标像素点的像素值方差,;所述t′=r′*r′,r′=r/s,所述r表示预设滤波窗口宽度,所述s表示所述采样倍数;所述sumi′表示在所述下采样引导图的积分图中,与所述目标像素点对应的像素点的像素和值;所述sumi′i′表示在两幅所述下采样引导图逐像素点相乘得到的图像的积分图中,与所述目标像素点对应的像素点的像素和值;协方差计算单元60212,用于利用像素值协方差计算公式计算得到所述目标像素点的像素值协方差,所述像素值方差计算公式为:cov=t′*sumi′p′-sumi′·sump′所述cov表示目标像素点的像素值协方差;所述sump′表示在所述下采样输入图的积分图中与目标像素点对应的像素点的像素和值;所述sumi′p′表示在所述下采样引导图与所述下采样输入图逐像素点相乘得到的图像的积分图中,与该像素点对应的像素点的像素和值。可选的,如图9所示,所述滤波参数图生成子模块6022,包括:计算单元60221,用于计算与所述下采样输入图中的每一像素点的像素值方差以及像素值协方差对应的像素值比例系数以及像素值偏移量;图像生成单元60222,用于生成与所述下采样输入图中每一像素点的像素值比例系数关联的像素值比例系数图,以及与所述下采样输入图中每一像素点的像素值偏移量关联的像素值偏移量图;滤波参数处理单元60223,用于对所述像素值比例系数图进行处理得到所述滤波系数图,以及对所述像素值偏移量图进行处理得到所述滤波偏移量图。可选的,如图10所示,所述计算单元60221,包括:查找子单元602211,用于获取与所述目标像素点的像素值方差对应的至少两个相乘因子,并在所述数字信号处理器中的预设查找表中,查找所述至少两个相乘因子中每一相乘因子的对应值;计算子单元602212,用于基于所述至少两个相乘因子中每一相乘因子的对应值,计算得到所述目标像素点的像素值比例系数以及像素值偏移量。可选的,所述计算子单元602212,还用于根据比例系数计算公式以及偏移量计算公式,计算得到所述目标像素点的像素值比例系数以及像素值偏移量,其中,所述比例系数计算公式为所述a′为所述目标像素点的像素值比例系数;所述n为为预设的移位量,且所述n大于7;所述s为所述目标像素点的像素值方差对应的相乘因子个数,且s大于或者等于2;所述wi为所述第二预设查找表中第i个相乘因子的对应值;所述偏移量计算公式为:所述b′为所述目标像素点的像素值偏移量。可选的,如图11所示,所述第一查找子单元602211,还包括:判断子子单元6022111,用于判断所述目标像素点的像素值方差与预设偏差量之和是否处于预设查表值范围,并获取判断结果;查找子子单元6022112,用于若所述判断结果为否,将所述目标像素点的像素值方差与预设偏差量之和因式分解为至少两个相乘因子,并在所述预设查找表中查找与所述至少两个相乘因子中每一相乘因子对应的值,其中,所述至少两个相乘因子中每一相乘因子为处于所述预设查表值范围的值。可选的,如图12所示,所述下采样模块601包括:缩放图获取子模块6011,用于在所述至少一个输入图处理线程中,利用预设的采样倍数将所述输入图进行缩放,获取与所述输入图对应的缩放图;双线性插值子模块6012,用于利用双线性插值技术查找所述缩放图在水平方向和垂直方向上的各插值点的像素值;第一生成子模块6013,用于将各插值点的像素值作为所述缩放图中与该插值点对应的像素点的像素值,生成所述下采样输入图;第二生成子模块6014,用于在至少一个引导图处理线程中对所述引导图进行下采样处理,得到下采样引导图。图像处理装置600能够实现图1至图5的方法实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。本发明实施例的图像处理装置600,在对图像进行导向滤波处理过程中,对输入图和引导图并行处理,能够加快图像处理过程中的计算速度,提升图像处理效率,从而提升图像处理的实时性。图13为实现本发明各个实施例的一种移动终端的硬件结构示意图,该移动终端1300包括但不限于:射频单元1301、网络模块1302、音频输出单元1303、输入单元1304、传感器1305、显示单元1306、用户输入单元1307、接口单元1308、存储器1309、处理器1310、以及电源1311等部件,处理器1310为数字信号处理器。本领域技术人员可以理解,图13中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,移动终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。其中,处理器1310,用于对输入图和引导图并行进行下采样处理,得到下采样输入图和下采样引导图;对所述下采样输入图和所述下采样引导图进行处理,得到滤波系数图以及与滤波偏移量图;对所述滤波系数图和所述滤波偏移量图并行进行上采样处理,得到第一上采样图和第二上采样图;对所述第一上采样图和所述第二上采样图进行滤波处理,得到与所述输入图对应的输出图。可选的,所述处理器1310还用于:在至少一个输入图处理线程中对所述输入图进行下采样处理,得到下采样输入图,以及在至少一个引导图处理线程中对所述引导图进行下采样处理,得到下采样引导图,其中,所述至少一个输入图处理线程和所述至少一个引导图处理线程分别为所述数字信号处理器中并行处理的线程;在至少一个滤波系数图处理线程中对所述滤波系数图进行上采样处理,得到第一上采样图,以及在所述至少一个滤波偏移量图处理线程中对所述滤波偏移量图进行上采样处理,得到第二上采样图,其中,所述至少一个滤波系数图处理线程和所述至少一个滤波偏移量图处理线程分别为所述数字信号处理器中并行处理的线程。可选的,所述处理器1310还用于:计算所述下采样输入图中的每一像素点的像素值方差以及像素值协方差;根据所述下采样输入图中的每一像素点的像素值方差以及像素值协方差,生成滤波系数图和滤波偏移量图。可选的,所述处理器1310还用于:利用像素值方差计算公式计算得到目标像素点的像素值方差,所述目标像素点为所述下采样输入图中的任一像素点,所述像素值方差计算公式为:var=t′*sumi′i′-sumi′·sumi′,所述var表示目标像素点的像素值方差;所述t′=r′*r′,r′=r/s,所述r表示预设滤波窗口宽度,所述s表示所述采样倍数;所述sumi′表示在所述下采样引导图的积分图中,与所述目标像素点对应的像素点的像素和值;所述sumi′i′表示在两幅所述下采样引导图逐像素点相乘得到的图像的积分图中,与所述目标像素点对应的像素点的像素和值;利用像素值协方差计算公式计算得到所述目标像素点的像素值协方差,所述像素值方差计算公式为:cov=t′*sumi′p′-sumi′·sump′,所述cov表示目标像素点的像素值协方差;所述sump′表示在所述下采样输入图的积分图中与目标像素点对应的像素点的像素和值;所述sumi′p′表示在所述下采样引导图与所述下采样输入图逐像素点相乘得到的图像的积分图中,与该像素点对应的像素点的像素和值。可选的,所述处理器1310还用于:计算与所述下采样输入图中的每一像素点的像素值方差以及像素值协方差对应的像素值比例系数以及像素值偏移量;生成与所述下采样输入图中每一像素点的像素值比例系数关联的像素值比例系数图,以及与所述下采样输入图中每一像素点的像素值偏移量关联的像素值偏移量图;对所述像素值比例系数图进行处理得到所述滤波系数图,以及对所述像素值偏移量图进行处理得到所述滤波偏移量图。可选的,所述处理器1310还用于:获取与所述目标像素点的像素值方差对应的至少两个相乘因子,并在所述数字信号处理器中的预设查找表中,查找所述至少两个相乘因子中每一相乘因子的对应值;基于所述至少两个相乘因子中每一相乘因子的对应值,计算得到所述目标像素点的像素值比例系数以及像素值偏移量。可选的,所述处理器1310还用于:根据比例系数计算公式以及偏移量计算公式,计算得到所述目标像素点的像素值比例系数以及像素值偏移量,其中,所述比例系数计算公式为:所述a′为所述目标像素点的像素值比例系数;所述a′为所述目标像素点的像素值比例系数所述n为预设的移位量,且所述n大于7;所述s为所述目标像素点的像素值方差对应的相乘因子个数,且s大于或者等于2;所述wi为所述第二预设查找表中第i个相乘因子的对应值;所述偏移量计算公式为:所述b′为所述目标像素点的像素值偏移量。可选的,所述处理器1310还用于:判断所述目标像素点的像素值方差与预设偏差量之和是否处于预设查表值范围,并获取判断结果;若所述判断结果为否,将所述目标像素点的像素值方差与预设偏差量之和因式分解为至少两个相乘因子,并在所述预设查找表中查找与所述至少两个相乘因子中每一相乘因子对应的值,其中,所述至少两个相乘因子中每一相乘因子为处于所述预设查表值范围的值。可选的,所述处理器1310还用于:在所述至少一个输入图处理线程中,利用预设的采样倍数将所述输入图进行缩放,获取与所述输入图对应的缩放图;利用双线性插值技术查找所述缩放图在水平方向和垂直方向上的各插值点的像素值;将各插值点的像素值作为所述缩放图中与该插值点对应的像素点的像素值,生成所述下采样输入图;在至少一个引导图处理线程中对所述引导图进行下采样处理,得到下采样引导图。移动终端1300能够实现前述实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。本发明实施例的移动终端1300,通过对输入图和引导图并行进行下采样处理,得到下采样输入图和下采样引导图;对所述下采样输入图和所述下采样引导图进行处理,得到滤波系数图以及与滤波偏移量图;对所述滤波系数图和所述滤波偏移量图并行进行上采样处理,得到第一上采样图和第二上采样图;对所述第一上采样图和所述第二上采样图进行滤波处理,得到与所述输入图对应的输出图。这样,移动终端在对图像进行导向滤波处理过程中,可以对输入图和引导图并行处理,加快图像处理过程中的计算速度,提升图像处理效率,从而提升移动终端图像处理的实时性。应理解的是,本发明实施例中,射频单元1301可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器1310处理;另外,将上行的数据发送给基站。通常,射频单元1301包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元1301还可以通过无线通信系统与网络和其他设备通信。移动终端通过网络模块1302为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。音频输出单元1303可以将射频单元1301或网络模块1302接收的或者在存储器1309中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元1303还可以提供与移动终端1300执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元1303包括扬声器、蜂鸣器以及受话器等。输入单元1304用于接收音频或视频信号。输入单元1304可以包括图形处理器(graphicsprocessingunit,gpu)13041和麦克风13042,图形处理器13041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元1306上。经图形处理器13041处理后的图像帧可以存储在存储器1309(或其它存储介质)中或者经由射频单元1301或网络模块1302进行发送。麦克风13042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元1301发送到移动通信基站的格式输出。移动终端1300还包括至少一种传感器1305,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板13061的亮度,接近传感器可在移动终端1300移动到耳边时,关闭显示面板13061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器1305还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。显示单元1306用于显示由用户输入的信息或提供给用户的信息。显示单元1306可包括显示面板13061,可以采用液晶显示器(liquidcrystaldisplay,lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板13061。用户输入单元1307可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元1307包括触控面板13071以及其他输入设备13072。触控面板13071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板13071上或在触控面板13071附近的操作)。触控面板13071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1310,接收处理器1310发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板13071。除了触控面板13071,用户输入单元1307还可以包括其他输入设备13072。具体地,其他输入设备13072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。进一步的,触控面板13071可覆盖在显示面板13061上,当触控面板13071检测到在其上或附近的触摸操作后,传送给处理器1310以确定触摸事件的类型,随后处理器1310根据触摸事件的类型在显示面板13061上提供相应的视觉输出。虽然在图13中,触控面板13071与显示面板13061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板13071与显示面板13061集成而实现移动终端的输入和输出功能,具体此处不做限定。接口单元1308为外部装置与移动终端1300连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元1308可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端1300内的一个或多个元件或者可以用于在移动终端1300和外部装置之间传输数据。存储器1309可用于存储软件程序以及各种数据。存储器1309可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1309可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。处理器1310是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器1309内的软件程序和/或模块,以及调用存储在存储器1309内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器1310可包括一个或多个处理单元;优选的,处理器1310可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1310中。移动终端1300还可以包括给各个部件供电的电源1311(比如电池),优选的,电源1311可以通过电源管理系统与处理器1310逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。另外,移动终端1300包括一些未示出的功能模块,在此不再赘述。优选的,本发明实施例还提供一种移动终端,包括处理器1310,存储器1309,存储在存储器1309上并可在所述处理器1310上运行的计算机程序,该计算机程序被处理器1310执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(read-onlymemory,简称rom)、随机存取存储器(randomaccessmemory,简称ram)、磁碟或者光盘等。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1