本公开涉及图像处理技术领域，特别涉及一种图像处理方法及装置。
背景技术
随着设备(如手机、电视)的发展，设备的屏幕分辨率越来越高，有很多2k(2560x1440)、4k(3840x2160)，甚至8k(7680x4320)的屏幕出现。但是现在大部分的图像仍然为低分辨率图像，因此，亟需一种图像处理方法，将这些低分辨率图像转换为高分辨率图像，以实现在高分辨率的屏幕上高质量的显示。
传统的图像处理方法包括双线性插值、双三次插值以及多相位插值等，这些插值方法只考虑到插值点与邻近点之间的距离关系，而没有考虑图像的边缘特性，图像经过处理后会出现模糊、边缘锯齿等现象，大大影响图像质量。为了解决上述传统的图像处理方法存在的问题，相关技术采用基于方向的插值方法对图像进行处理，得到分辨率大于原始图像的目标图像，处理过程具体包括：
采用基于方向的插值方法，对原始图像进行一次目标倍数的上采样(也称为插值或放大处理)，然后对上采样得到的图像进行一次相同倍数的下采样(也称缩小处理)，得到多个与原始图像分辨率相同的相位图像，每个相位图像是由该上采样得到的图像中相位相同的像素点组成。对下采样得到的各个相位图像分别进行一次上采样，然后对每个相位图像上采样得到的图像分别进行一次下采样，针对每个相位图像，得到一个与该相位图像的相位相同的目标图像，进而获取每个目标图像与原始图像之间位置对应的像素点的像素值的差值，得到多个差值集合，并将这些差值集合组合成一个分辨率为原始图像分辨率目标倍数的差异图像，该差异图像的像素点的像素值即为上述多个差值集合中的各个差值。这样每一个方向的插值方法可以得到一个差异图像，对于多个方向的插值方法，就可以得到多个差异图像，每个差异图像对应一个方向，该差异图像的像素点的像素值用于指示原始图像与第二次下采样得到的图像之间对应像素点的像素值的差值。然后根据这些差异图像的像素点的像素值大小，确定目标图像中各个像素点最准确的插值方法，并获取基于各个像素点最准确的插值方法得到的各个像素点的像素值，将它们确定为该各个像素点的最终像素值，从而得到目标图像。
以目标图像中像素点a为例，设备将第二次下采样得到的图像中该像素点a的像素值与原始图像中对应位置处的像素点的像素值相减，得到差值。对于该像素点a，利用n个方向的插值方法，可以得到n个不同的差值，每个差值对应一个方向的插值方法。设备可以从这n个不同的差值中选出最小差值，并确定该最小差值对应的插值方法，进而获取基于该插值方法得到的该像素点a的像素值，并将该像素值作为目标图像中该像素点a的最终像素值。
在实现本公开的过程中，发明人发现现有技术至少存在以下问题：
上述技术在对图像的处理过程中，需要对第一次上采样后的图像进行相同倍数的下采样，相当于从第一次上采样图像中抽取相同相位的像素点组成一个和原始图像相同大小的图像，再对这些下采样得到的图像进行第二次上采样，然后从第二次上采样的图像中抽取出与原始图像的像素点位置一一对应的各个像素点，并将该各个像素点的像素值与原始图像中各自对应的像素点的像素值相减，得到差值，所以像素点之间的位置需要严格对应。对于非整数倍的缩放需求，例如需要得到分辨率为原始图像分辨率1.5倍的目标图像，由于每两个点之间插值的位置不是固定的，导致像素点之间的位置很难对应，故上述技术不能满足非整数倍的缩放需求，也即上述技术不适用于任意倍的缩放。
技术实现要素：
为了解决现有技术的问题，本公开实施例提供了一种图像处理方法及装置。所述技术方案如下：
第一方面，提供了一种图像处理方法，所述方法包括：
获取原始图像的多个差异图像；
根据所述多个差异图像中各个像素点的像素值，获取中间图像的各个第一像素点的边缘特性参数，所述边缘特性参数包括边缘方向和边缘强度，所述中间图像的分辨率为所述原始图像的分辨率的整数倍，所述整数倍与在获取所述多个差异图像时所使用的缩放倍数相同；
根据所述中间图像的各个第一像素点的边缘特性参数，得到目标图像中像素值未知的各个第二像素点的边缘特性参数，所述目标图像的分辨率为所述中间图像的分辨率的任意倍；
根据所述各个第二像素点的边缘特性参数，确定所述各个第二像素点的像素值，得到所述目标图像。
其中，像素点的像素值可以是灰度值或rgb值或其他能够代表像素点的色彩的表达方式；边缘方向是指图像边缘在像素点处的切线方向；边缘强度用于指示像素点处于图像边缘的可能性或者该像素点边缘的强弱；分辨率是指每英寸图像内有多少个像素点；边缘特性参数也可以称为纹理信息。
本公开实施例提供的方法，根据整数倍放大的中间图像的各个第一像素点的边缘特性参数，得到任意倍放大的目标图像中像素值未知的各个第二像素点准确的边缘特性参数，进而根据准确的边缘特性参数来插值得到各个第二像素点的像素值，在克服传统插值方法存在边缘锯齿、图像模糊等问题的同时，满足了对图像进行任意倍缩放的需求。
在第一方面的第一种可能实现方式中，所述根据所述多个差异图像中各个像素点的像素值，获取中间图像的各个第一像素点的边缘特性参数包括：
对于每个第一像素点，获取所述多个差异图像中与所述第一像素点的位置对应的像素点的像素值的最小值和平均值；
将所述最小值所在差异图像对应的方向获取为所述第一像素点的边缘方向，并根据所述最小值和所述平均值之间的差异大小，确定所述第一像素点的边缘强度。
本公开实施例提供的方法，由于该多个差异图像中的各个像素点的像素值是由基于方向插值得到的图像与原始图像之间各个像素点相减得到，因此根据该多个差异图像中各个像素点的像素值，可以准确地获取该第一像素点的边缘方向和边缘强度，提供了一种准确获取中间图像的各个第一像素点的边缘特性参数的方式。
在第一方面的第二种可能实现方式中，所述根据所述中间图像的各个第一像素点的边缘特性参数，得到目标图像中像素值未知的各个第二像素点的边缘特性参数包括：
对于每个第二像素点，将所述各个第一像素点中第一目标像素点的边缘特性参数获取为所述第二像素点的边缘特性参数，所述第一目标像素点在所述原始图像中所处的位置与所述第二像素点在所述第一图像中所处的位置之间的距离最小；或，
根据所述各个第一像素点中多个第二目标像素点的边缘特性参数，确定所述第二像素点的边缘特性参数，所述多个第二目标像素点在所述第一图像中所处的位置与所述第二像素点在所述第一图像中所处的位置之间的距离小于预设阈值。
本公开实施例提供的方法，既可以根据与第二像素点最近的第一像素点的边缘性参数来获取第二像素点的边缘特性参数，也可以根据与第二像素点邻近的多个第一像素点的边缘性参数来获取第二像素点的边缘特性参数，提供了两种获取目标图像中像素值未知的各个第二像素点的边缘特性参数的方式。
在第一方面的第三种可能实现方式中，所述根据所述各个第一像素点中多个第二目标像素点的边缘特性参数，确定所述第二像素点的边缘特性参数包括：
根据所述多个第二目标像素点的边缘特性参数，确定目标方向，所述多个第二目标像素点中边缘方向为所述目标方向的第二目标像素点的数量最多；
将所述目标方向获取为所述像素点的边缘方向，将所述多个第二目标像素点中边缘方向为所述目标方向的第二目标像素点的边缘强度的平均值或最小值获取为所述第二像素点的边缘强度。
本公开实施例提供的方法，将与第二像素点邻近的多个第一像素点中多数一致的边缘方向获取为该第二像素点的边缘方向，并将该多个第一像素点的边缘强度的平均值或最小值获取为该第二像素点的边缘强度，提供了一种根据像素点的多个邻近像素点的边缘特性参数来确定该像素点的边缘特性参数的方式。
在第一方面的第四种可能实现方式中，所述根据所述各个第二像素点的边缘特性参数，确定所述各个第二像素点的像素值包括：
对于每个第二像素点，基于所述第二像素点的边缘方向插值得到所述第二像素点的第一像素值；
基于非边缘方向插值得到所述第二像素点的第二像素值，所述非边缘方向插值包括双线性插值、双立方插值或多相位插值；
根据所述第二像素点的边缘强度，确定所述第一像素值和所述第二像素值各自所占的权重；
根据所述权重，对所述第一像素值和所述第二像素值进行加权求和，得到所述第二像素点的像素值。
本公开实施例提供的方法，根据第二像素点的边缘强度来确定边缘方向插值和非边缘方向插值得到的两个插值结果的权重，进而对这两个插值结果进行加权求和得到该第二像素点的像素值，提供了一种根据像素点的边缘特性参数来确定像素值的方式，且该方式可以在减少边缘锯齿、提高图像质量的同时，提高插值结果的准确性。
第二方面，提供了一种图像处理装置，所述装置包括多个功能模块，所述多个功能模块用于执行上述第一方面所提供的图像处理方法以及其任一种可能实现方式。
第三方面，提供了一种图像处理设备，所述图像处理设备包括：处理器，被配置为：获取原始图像的多个差异图像；根据所述多个差异图像中各个像素点的像素值，获取中间图像的各个第一像素点的边缘特性参数，所述边缘特性参数包括边缘方向和边缘强度，所述中间图像的分辨率为所述原始图像的分辨率的整数倍，所述整数倍与在获取所述多个差异图像时所使用的缩放倍数相同；根据所述中间图像的各个第一像素点的边缘特性参数，得到目标图像中像素值未知的各个第二像素点的边缘特性参数，所述目标图像的分辨率为所述中间图像的分辨率的任意倍；根据所述各个第二像素点的边缘特性参数，确定所述各个第二像素点的像素值，得到所述目标图像。
在一种可能实现方式中，所述处理器，被配置为：对于每个第一像素点，获取所述多个差异图像中与所述第一像素点的位置对应的像素点的像素值的最小值和平均值；
将所述最小值所在差异图像对应的边缘方向获取为所述第一像素点的边缘方向，并根据所述最小值和所述平均值之间的差异大小，确定所述第一像素点的边缘强度。
在一种可能实现方式中，所述处理器，被配置为：对于每个第二像素点，将所述各个第一像素点中第一目标像素点的边缘特性参数获取为所述第二像素点的边缘特性参数，所述第一目标像素点在所述原始图像中所处的位置与所述第二像素点在所述第一图像中所处的位置之间的距离最小；或，
根据所述各个第一像素点中多个第二目标像素点的边缘特性参数，确定所述第二像素点的边缘特性参数，所述多个第二目标像素点在所述第一图像中所处的位置与所述第二像素点在所述第一图像中所处的位置之间的距离小于预设阈值。
在一种可能实现方式中，所述处理器，被配置为：根据所述多个第二目标像素点的边缘特性参数，确定目标方向，所述多个第二目标像素点中边缘方向为所述目标方向的第二目标像素点的数量最多；
将所述目标方向获取为所述像素点的边缘方向，将所述多个第二目标像素点中边缘方向为所述目标方向的第二目标像素点的边缘强度的平均值或最小值获取为所述第二像素点的边缘强度。
在一种可能实现方式中，所述处理器，被配置为：对于每个第二像素点，基于所述第二像素点的边缘方向插值得到所述第二像素点的第一像素值；
基于非边缘方向插值得到所述第二像素点的第二像素值，所述非边缘方向插值包括双线性插值、双立方插值或多相位插值；
根据所述第二像素点的边缘强度，确定所述第一像素值和所述第二像素值各自所占的权重；
根据所述权重，对所述第一像素值和所述第二像素值进行加权求和，得到所述第二像素点的像素值。
附图说明
图1是本公开实施例提供的一种图像处理设备100的结构示意图；
图2是本公开实施例提供的一种处理器的功能结构示意图；
图3是本公开实施例提供的一种处理器的功能结构示意图；
图4是本公开实施例提供的一种di模块的示意图；
图5是本公开实施例提供的一种任意倍插值模块103的示意图；
图6是本公开实施例提供的一种图像处理方法的流程示意图；
图7是本公开实施例提供的一种边缘强度计算方法的示意图；
图8是本公开实施例提供的一种边缘特性分析方法的示意图；
图9是本公开实施例提供的一种图像处理装置的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
图1是本公开实施例提供的一种图像处理设备100的结构示意图。参照图1，图像处理设备100包括处理组件122，其进一步包括一个或多个处理器，以及由存储器132所代表的存储器资源，用于存储可由处理组件122的执行的指令，例如应用程序。存储器132中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件122被配置为执行指令，以执行下述实施例中的方法。
图像处理设备100还可以包括一个电源组件126被配置为执行图像处理设备100的电源管理，一个有线或无线网络接口150被配置为将图像处理设备100连接到网络，和一个输入输出(i/o)接口158。图像处理设备100可以操作基于存储在存储器112的操作系统，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm或类似。
其中，处理组件122所包括的处理器可以配置有多个功能，参见图2，图2是本公开实施例提供的一种处理器的功能结构示意图，该多个功能可以通过整数倍插值模块101、边缘特性分析模块102以及任意倍插值模块103来实现：
参见图3，图3是本公开实施例提供的一种处理器的功能结构示意图，整数倍插值模块101包括n个整数倍双插值(di，doubleinterpolation)模块，该n表示n个方向的插值方法。以n为4或8为例，如果n＝4，即是基于4个方向(0°、45°、90°、135°)插值；如果n＝8，即是基于8个方向(0°、22.5°、45°、67.5°、90°、112.5°、135°、157.5°)插值。以该整数倍为2倍为例，参见图4，图4是本公开实施例提供的一种di模块的示意图，di模块包括对原始图像交替进行两次整数倍的上采样(也称为插值或放大处理)和下采样(也称为缩小处理)，然后将第二次下采样得到的图像与原始图像中对应位置处的像素点的像素值各自相减，得到多个差值集合，如图4中的d1、d2或d3。然后将该多个差值集合和0元素集合(元素均为0，元素的数量和每个差值集合中差值的数量相同)进行组合，这样每一个方向的插值方法可以得到一个分辨率是原始图像分辨率两倍的差异图像，该差异图像的像素点的像素值即为该多个差值集合和0元素集合中元素的取值，n个di模块通过多个方向的插值方法可以得到多个差异图像。
参见图3，边缘特性分析模块102包括整数倍像素点分析模块1021和任意倍像素点分析模块1022，其中，整数倍像素点分析模块1021可以根据整数倍插值模块101输出的多个差异图像中各个像素点的像素值，分析得到整数倍像素点的边缘特性参数，该整数倍像素点为中间图像的像素点，该中间图像的分辨率为原始图像的分辨率的整数倍。任意倍像素点分析模块1022可以根据到整数倍像素点的边缘特性参数，进一步分析得到任意倍像素点边缘特性参数，该任意倍像素点为目标图像的像素点，该目标图像的分辨率为原始图像的分辨率的任意倍。
任意倍插值模块103可以根据任意倍像素点边缘特性参数，对原始图像进行插值处理，得到任意倍像素点的像素值。参见图5，图5是本公开实施例提供的一种任意倍插值模块103的示意图，任意倍插值模块103包括方向插值模块1031、非方向插值模块1032和融合模块1033，其中，方向插值模块1031基于方向插值得到像素值未知的像素点的第一像素值，非方向插值模块1032基于传统方法插值得到像素值未知的像素点的第二像素值，融合模块1033用于融合方向插值模块1031和非方向插值模块1032得到的插值结果，例如，对第一像素值和第二像素值进行加权求和，得到像素值未知的像素点的最终像素值。
图6是本公开实施例提供的一种图像处理方法的流程示意图。该图像处理方法可以由图像处理设备执行，下述由该图像处理设备执行的各个步骤实际上可以是由该图像处理设备的不同模块完成。参见图6，该图像处理方法包括：
601、当接收到对原始图像的指定指令时，获取原始图像的多个差异图像，该指定指令用于获取目标图像，该目标图像的分辨率为该原始图像的分辨率的任意倍。
其中，该指定指令可以为图像处理指令，该图像处理指令可以由用户对图像处理选项的选择操作来触发，该图像处理选项用于将低分辨率的原始图像转换为高分辨率的目标图像。当然，该指定指令也可以为显示指令，该显示指令可以由用户对原始图像的打开操作来触发。例如，图像处理设备可以提供显示图像的屏幕，且具有指定的屏幕分辨率。如果待显示的原始图像的分辨率低于该屏幕分辨率，则图像处理设备需要对该原始图像进行处理，将原始图像转换为分辨率等于该屏幕分辨率的目标图像，以实现在该图像处理设备的屏幕上高质量的显示。对此，该图像处理设备可以让显示之前的各个图像的分辨率相对低一些(720p或1080p)，然后在需要显示时将这些图像放大到2k或者4k来适应屏幕显示，这样可以保证高分辨率显示的同时，较大降低移动设备的功耗。上述是以图像处理设备显示的图像的分辨率等于该图像处理设备的屏幕分辨率为例进行说明，当然，图像处理设备也可以根据用户实际需要显示不同分辨率的图像或视频，本公开实施例对此不做限定。本公开实施例对该指定指令的具体类别以及触发条件也不做限定。
本公开实施例中，以图像处理设备在获取该多个差异图像时所使用的缩放倍数为2倍为例，该图像处理设备对每个差异图像的获取过程可以包括以下步骤a至步骤d：
a、对原始图像l(分辨率为a×b)进行2倍的上采样，得到图像h(分辨率为2a×2b)；再对h进行2倍的下采样，得到图像l1、l2和l3。
在该步骤a中，图像处理设备可以采用基于某个方向的插值方法，对原始图像l进行2倍的插值处理(即上采样)，得到分辨率放大了2倍(宽高都放大了2倍)的图像h。该插值处理是指在原始图像l中插入多个新像素点，其中每个新像素点的像素值可以通过将多个原始像素点的像素值带入插值函数中计算得到，该多个原始像素点是指基于该方向和该新像素点在该原始图像中的位置，从该原始图像中选取的像素点。
图像处理设备在得到h后，可以对该h进行两倍的下采样，例如，从h中抽取横坐标为奇数、纵坐标为偶数的像素点，得到图像l1；从h中抽取横坐标为偶数、纵坐标为奇数的像素点，得到图像l2；从h中抽取横坐标为奇数、纵坐标为奇数的像素点，得到图像l3。l1、l2和l3与h之间像素点的位置关系可以如下所示：
l1(x,y)＝h(2x+1,2y)，l2(x,y)＝h(2x,2y+1)，l3(x,y)＝h(2x+1,2y+1)。
需要说明的是，对h进行2倍的下采样实际上应该得到4个图像，但是其中一个图像和l完全相同，故不对该图像进行后续处理。其中，该完全相同指的是这两个图像的分辨率相同，且两个图像中相同位置处的像素点的像素值也相同。
b、对l1、l2和l3进行2倍的上采样，得到3个分辨率为l分辨率2倍的图像h1、h2和h3；再对h1、h2和h3进行2倍的下采样，得到3个与l分辨率相同的图像l11、l22和l33。
在该步骤b中，对l1、l2和l3进行上采样的过程与步骤a中对原始图像进行上采样的过程同理，在此不再赘述。而对h1、h2和h3进行下采样时，从h1中抽取横坐标为奇数、纵坐标为偶数的像素点，得到图像l11；从h2中抽取横坐标为偶数、纵坐标为奇数的像素点，得到图像l22；从h3中抽取横坐标为奇数、纵坐标为奇数的像素点，得到图像l33。该l11、l22和l33分别与h1、h2和h3之间像素点的位置关系可以如下所示：
l11(x,y)＝h1(2x-1,2y)，l22(x,y)＝h2(2x,2y-1)，l33(x,y)＝h3(2x-1,2y-1)。
c、将l11、l22和l33与l中对应像素点的像素值各自相减，得到3个差值集合d1、d2和d3。
在该步骤c中，每个差值集合是由多个差值按照坐标位置排列得到的一个集合，其中，d1＝|l(x,y)-l11(x,y)|，d2＝|l(x,y)-l22(x,y)|，d3＝|l(x,y)-l33(x,y)|。
以差值集合d1为例，d1中坐标位置为(x,y)的差值是由l11中坐标位置为(x,y)的像素点的像素值与l中坐标位置为(x,y)的像素点的像素值相减得到。例如，l11中坐标位置为(x,y)的像素点的像素值为a，l中坐标位置为(x,y)的像素点的像素值为b，则d1中坐标位置为(x,y)的差值为|a-b|。
d、将d1、d2、d3和0元素集合(元素均为0，元素的数量和每个差值集合中差值的数量相同)进行组合，这样每一个方向的插值方法可以得到一个分辨率为l分辨率2倍的差异图像(differencemap，dm)，dm的像素点的像素值即为d1、d2和d3和0元素集合中元素的取值。
在一种可能实现方式中，图像处理设备可以将d1中的各个差值获取为差异图像dm中横坐标为奇数、纵坐标为偶数的各个像素点的像素值；将d2中的各个差值获取为差异图像dm中横坐标为偶数、纵坐标为奇数的各个像素点的像素值；将d3中的各个差值获取为差异图像dm中横坐标为奇数、纵坐标为奇数的各个像素点的像素值；将0元素集合中的各个0元素获取为差异图像dm中横坐标为偶数、纵坐标为偶数的各个像素点的像素值。
图像处理设备采用基于多个方向的插值方法，对原始图像进行与上述步骤a至步骤d相同的处理，就可以得到多个差异图像，每个差异图像对应一个方向，该差异图像的像素点的像素值用于指示原始图像与第二次下采样得到的图像之间对应像素点的像素值的差值。
需要说明的是，该步骤601是以图像处理设备在获取该多个差异图像时所使用的缩放倍数为2倍为例，对每个差异图像的获取过程进行了说明，实际上，图像处理设备在获取该多个差异图像时所使用的缩放倍数还可以为其他整数倍，此情况下差异图像的获取过程与该缩放倍数为2倍时同理，在此不再赘述。
需要说明的是，该步骤601中获取多个差异图像的过程实际上可以由图像处理设备的多个di模块来完成。
602、根据该多个差异图像中各个像素点的像素值，获取中间图像的各个第一像素点的边缘特性参数，该边缘特性参数包括边缘方向和边缘强度，该中间图像的分辨率为该原始图像的分辨率的整数倍，该整数倍与在获取该多个差异图像时所使用的缩放倍数相同。
本公开实施例中，该获取各个第一像素点的边缘特性参数可以包括以下步骤a至步骤b：
a、对于每个第一像素点，获取该多个差异图像中与该第一像素点的位置对应的像素点的像素值的最小值和平均值。
该步骤a是图像处理设备获取各个第一像素点的边缘方向的过程，以第一像素点a为例，该多个差异图像dm1、dm2、……dmn中与该第一像素点的位置对应的像素点的像素值分别为a1、a1、……an，其中，a1最小，a1、a1、……an的平均值为p，则图像处理设备获取该a1和该p。
b、将该最小值所在差异图像对应的边缘方向获取为该第一像素点的边缘方向，并根据该最小值和该平均值之间的差异大小，确定该第一像素点的边缘强度。
该步骤b是图像处理设备获取各个第一像素点的边缘强度的过程，以第一像素点a为例，由于a1最小，表明基于该a1所在差异图像dm1所对应的方向插值的结果越准确，所以图像处理设备可以将该差异图像dm1对应的方向获取为第一像素点为a的边缘方向，并根据a1和p之间的差异大小，确定该第一像素点a的边缘强度。如果最小值a1相对于平均值p越小，则表明该第一像素点a的边缘强度越大。
在一种可能实现方式中，该第一像素点a的边缘强度的确定过程可以包括：根据该平均值p和两个经验系数a1、a2，得到两个新的平均值p1和p2，其中，p1＝a1*p,p2＝a2*p；a1<a2<1，其中“*”用于表示乘法运算。参见图7，图7是本公开实施例提供的一种边缘强度的计算方法示意图，在数轴上将p1和p2之间分成m等份，每个等份中对应一个边缘强度，以边缘强度最大为16为例，数轴从左到右边缘强度依次减弱，将最小值a1落入的那个等份中所对应的边缘强度获取为该一像素点a的边缘强度，如图7中a1所在等份的边缘强度为15。
由于该多个差异图像中的各个像素点的像素值是由基于方向插值得到的图像与原始图像之间各个像素点相减得到，因此图像处理设备根据该多个差异图像中各个像素点的像素值，可以准确地获取该第一像素点的边缘方向和边缘强度，提供了一种准确获取中间图像的各个第一像素点的边缘特性参数的方式。
需要说明的是，该步骤602中获取中间图像的各个第一像素点的边缘特性参数的过程实际上可以由图像处理设备的边缘特性分析模块所包括的2倍像素点分析模块来完成。
603、根据该中间图像的各个第一像素点的边缘特性参数，得到目标图像中像素值未知的各个第二像素点的边缘特性参数。
发明人认识到，在图像的一个很小区域内，边缘特性比较单一，因此可以利用当前像素点的周边像素点的边缘特性来预测当前像素点的边缘特性。相应地，本公开实施例可以利用各个第二像素点的周边像素点的边缘特征参数，获取该各个第二像素点的边缘特性参数，具体获取过程可以包括以下两种方式：
第一种方式，对于每个第二像素点，将该各个第一像素点中第一目标像素点的边缘特性参数获取为该第二像素点的边缘特性参数，该第一目标像素点在该原始图像中所处的位置与该第二像素点在该第一图像中所处的位置之间的距离最小。
该方式是将最近点的边缘特性参数直接获取为当前像素点的边缘特性参数。以第二像素点b为例，参见图8，图8是本公开实施例提供的一种边缘特性分析方法的示意图，如果在各个第一像素点中，第一像素点a1在原始图像中所处的位置与第二像素点b在原始图像中所处的位置之间的距离最小，则图像处理设备可以将该第一像素点a1作为该第一目标像素点，并将该第一像素点a1的边缘方向获取为该第二像素点b的边缘方向，将该第一像素点a1的边缘强度获取为该第二像素点b的边缘强度。
第二种方式，根据该各个第一像素点中多个第二目标像素点的边缘特性参数，确定该第二像素点的边缘特性参数，该多个第二目标像素点在该第一图像中所处的位置与该第二像素点在该第一图像中所处的位置之间的距离小于预设阈值。
该方式是根据最近的多个像素点的边缘特性参数，获取当前像素点的边缘特性参数，具体获取过程可以包括：根据该多个第二目标像素点的边缘特性参数，确定目标方向，该多个第二目标像素点中边缘方向为该目标方向的第二目标像素点的数量最多；将该目标方向获取为该像素点的边缘方向，将该多个第二目标像素点中边缘方向为该目标方向的第二目标像素点的边缘强度的平均值或最小值获取为该第二像素点的边缘强度。
参见图8，在各个第一像素点中，第一像素点a1、第一像素点a2、第一像素点a3以及第一像素点a4在原始图像中所处的位置与第二像素点b在原始图像中所处的位置之间的距离小于预设阈值，且a1、a2和a3的边缘方向一致，则图像处理设备可以将该a1、a2和a3保持一致的边缘方向确定为第二像素点b的边缘方向，将该a1、a2和a3的边缘强度的平均值或最小值获取为该第二像素点b的边缘强度。图像处理设备通过将与第二像素点邻近的多个第一像素点中多数一致的边缘方向获取为该第二像素点的边缘方向，并将该多个第一像素点的边缘强度的平均值或最小值获取为该第二像素点的边缘强度，提供了一种根据像素点的多个邻近像素点的边缘特性参数来确定该像素点的边缘特性参数的方式。
图像处理设备既可以根据与第二像素点最近的第一像素点的边缘性参数来获取第二像素点的边缘特性参数，也可以根据与第二像素点邻近的多个第一像素点的边缘性参数来获取第二像素点的边缘特性参数，提供了两种获取目标图像中像素值未知的各个第二像素点的边缘特性参数的方式。
需要说明的是，该步骤603中获取目标图像中像素值未知的各个第二像素点的边缘特性参数的过程实际上可以由图像处理设备的边缘特性分析模块所包括的任意倍像素点分析模块来完成。
604、根据该各个第二像素点的边缘特性参数，确定该各个第二像素点的像素值，得到该目标图像。
本公开实施例中，该确定各个第二像素点的像素值的过程可以包括以下步骤a至步骤d：
a、对于每个第二像素点，基于该第二像素点的边缘方向插值得到该第二像素点的第一像素值。
该基于边缘方向插值与步骤601中进行上采样同理，以第二像素点a为例，图像处理设备可以从原始图像中该第二像素点a所在位置附近，基于该第二像素点a的边缘方向选取多个原像素点，将这些原像素点的像素值带入边缘方向插值函数中计算得到第二像素点a的像素值。
基于每个第二像素点的边缘方向插值得到该第二像素点的像素值，可以减少边缘锯齿，提高清晰度。
b、基于非边缘方向插值得到该第二像素点的第二像素值，该非边缘方向插值包括双线性插值、双立方插值或多相位插值。
以第二像素点a为例，图像处理设备可以根据双线性插值、双立方插值或多相位插值中任一种传统插值方法来插值得到该第二像素点a的像素值，具体过程不做赘述。
c、根据该第二像素点的边缘强度，确定该第一像素值和该第二像素值各自所占的权重。
在该步骤c中，该第二像素点的边缘强度越大，该第一像素值的权重越大。针对步骤602中边缘强度最大为16，如果第二像素点a的边缘强度为16，则该第一像素值的权重为1，第二像素值的权重为0；第二像素点a的边缘强度为8，则该第一像素值的权重为0.5，第二像素值的权重为0.5。
d、根据该权重，对该第一像素值和该第二像素值进行加权求和，得到该第二像素点的像素值。
例如，第二像素点a的第一像素值的权重为0.5，第二像素值的权重为0.5，则该第二像素点a的像素值可以确定为“0.5*第一像素值+0.5*第二像素值”，其中“*”用于表示乘法运算。
通过上述步骤a至步骤d得到各个第二像素点的像素值后，则完成了对该目标图像中各个像素值未知的第二像素点的赋值，故图像处理设备可以基于该各个第二像素点的像素值，得到最终的该目标图像。
图像处理设备根据第二像素点的边缘强度来确定边缘方向插值和非边缘方向插值得到的两个插值结果的权重，进而对这两个插值结果进行加权求和得到该第二像素点的像素值，提供了一种根据像素点的边缘特性参数来确定像素值的方式。通过融合非边缘方向插值和边缘方向插值的结果，可以避免图像中有的位置弱边缘时，如果直接基于边缘方向插值，可能会导致插值结果不准确的问题，故该方式可以在减少边缘锯齿、提高图像质量的同时，提高插值结果的准确性。
需要说明的是，该步骤604中确定各个第二像素点的像素值的过程实际上可以由图像处理设备的任意倍插值模块来完成。
本公开实施例中，根据整数倍像素点(整数倍放大的中间图像的各个第一像素点)的边缘特性参数，得到任意倍像素点(任意倍放大的目标图像中的各个第二像素点)的边缘特性参数，然后基于该任意倍像素点的边缘特性参数插值得到任意倍像素点的像素值。
针对任意倍为整数倍的情况，以该任意倍为6倍为例，图像处理设备可以根据2倍像素点的边缘特性参数、4倍像素点的边缘特性参数来得到该6倍像素点的边缘特性参数，进而基于该6倍像素点的边缘特性参数插值得到6倍像素点的像素值。其中，为了获取2倍(或4倍)像素点的边缘特性参数，图像处理设备可以对原始图像2倍(或4倍)上采样得到的结果进行2倍(或4倍)的下采样，得到4个(或16个)与原始图像分辨率相同的图像，然后需要对这些图像进行上采样。相比于现有技术需要对原始图像6倍上采样得到的结果进行6倍的下采样，得到36个与原始图像分辨率相同的图像，然后需要对这些图像进行上采样的过程，本公开实施例的计算量大大减少。
而针对任意倍为非整数倍的情况，以该任意倍为2.5倍为例，图像处理设备可以根据2倍像素点的边缘特性参数来得到该2.5倍像素点的边缘特性参数，进而基于该2.5倍像素点的边缘特性参数插值得到2.5倍像素点的像素值。相比于现有技术，本公开实施例可以适用于任意倍的缩放。
本公开实施例提供的方法，根据整数倍放大的中间图像的各个第一像素点的边缘特性参数，得到任意倍放大的目标图像中像素值未知的各个第二像素点准确的边缘特性参数，进而根据准确的边缘特性参数来插值得到各个第二像素点的像素值。上述将低分辨率的原始图像放大任意倍得到目标图像的技术方案，在克服传统插值方法进行图像缩放时存在边缘锯齿、图像模糊等问题的同时，满足了对图像进行任意倍缩放的需求。
图9是本公开实施例提供的一种图像处理装置的结构示意图。参照图9，该装置包括获取模块901和确定模块902。
获取模块901，用于获取原始图像的多个差异图像；
该获取模块901，还用于根据该多个差异图像中各个像素点的像素值，获取中间图像的各个第一像素点的边缘特性参数，该边缘特性参数包括边缘方向和边缘强度，该中间图像的分辨率为该原始图像的分辨率的整数倍，该整数倍与在获取该多个差异图像时所使用的缩放倍数相同；
该获取模块901，还用于根据该中间图像的各个第一像素点的边缘特性参数，得到目标图像中像素值未知的各个第二像素点的边缘特性参数，该目标图像的分辨率为该中间图像的分辨率的任意倍；
确定模块902，用于根据该各个第二像素点的边缘特性参数，确定该各个第二像素点的像素值，得到该目标图像。
在一种可能实现方式中，该获取模块901，用于执行上述步骤602中获取中间图像的各个第一像素点的边缘特性参数的过程。
在一种可能实现方式中，该获取模块901，用于执行上述步骤603中获取目标图像中像素值未知的各个第二像素点的边缘特性参数的过程。
在一种可能实现方式中，该获取模块901，用于执行上述步骤603中获取目标图像中像素值未知的各个第二像素点的边缘强度的过程。
在一种可能实现方式中，该确定模块902，用于执行上述步骤604中确定该各个第二像素点的像素值的过程。
本公开实施例中，根据整数倍放大的中间图像的各个第一像素点的边缘特性参数，得到任意倍放大的目标图像中像素值未知的各个第二像素点准确的边缘特性参数，进而根据准确的边缘特性参数来插值得到各个第二像素点的像素值，在克服传统插值方法存在边缘锯齿、图像模糊等问题的同时，满足了对图像进行任意倍缩放的需求。
需要说明的是：上述实施例提供的图像处理装置在图像处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理的装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由图像处理装置中的处理器执行以完成上述实施例中的图像处理方法。例如，所述非临时性计算机可读存储介质可以是只读内存(read-onlymemory,rom)、随机存取存储器(randomaccessmemory，ram)、只读光盘(compactdiscread-onlymemory，cd-rom)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。