图像处理方法、图像处理装置及芯片与流程

1.本技术实施例涉及图像领域，尤其涉及图像处理方法、图像处理装置及芯片。


背景技术：

2.随着诸如手机等电子设备的拍照技术的发展，对暗光场景的要求越来越高，因此出现了相较于拜尔(bayer)型排列的颜色滤波阵列(colorfilterarray,cfa)有更大的进光量的rgbwcfa。由于w通道相较于彩色通道(具体地，r通道、g通道和b通道)具有更高的信噪比，能带来更多的进光量，因此rgbwcfa具有更高的灵敏度，尤其在暗光场景下具有更好的成像性能。然而，w通道的引入使得r像素、g像素和b像素的分布更为稀疏，导致对rgbwcfa图像去马赛克处理后得到的rgb图像的图像质量退化。


技术实现要素：

3.有鉴于此，本技术实施例提供一种图像处理方法、图像处理装置及芯片，以至少部分解决上述问题。
4.根据本技术实施例的第一方面，提供了一种图像处理方法，用于处理由图像传感器采集的rgbw图像，所述rgbw图像中w通道与r、g、b各颜色通道在水平方向和垂直方向上间隔排布，所述方法包括：
5.对所述rgbw图像中的w通道进行采样，得到第一采样图，并对所述rgbw图像中各颜色通道分别进行采样，得到各颜色通道对应的第二采样图；
6.将所述第一采样图内插成全分辨率的全色图像；
7.利用所述全色图像进行引导，分别对所述各颜色通道对应的第二采样图进行第一插值处理，得到各颜色通道对应的第一插值图；
8.利用所述全色图像进行引导，分别对所述各颜色通道对应的第一插值图进行第二插值处理，得到各颜色通道对应的全分辨率的彩色图像；
9.对所述各颜色通道对应的全分辨率的彩色图像进行合并处理，生成rgb图像。
10.根据本技术实施例的第二方面，提供了一种图像处理装置，用于处理由图像传感器采集的rgbw图像，所述rgbw图像中w通道与r、g、b各颜色通道的彩色像素在水平方向和垂直方向上间隔排布，所述装置包括：
11.采样模块，用于对所述rgbw图像中的w通道进行采样，得到第一采样图，并对所述rgbw图像中各颜色通道分别进行采样，得到各颜色通道对应的第二采样图；
12.w插值模块，用于将所述第一采样图内插成全分辨率的全色图像；
13.第一插值模块，用于利用所述全色图像进行引导，分别对所述各颜色通道对应的第二采样图进行第一插值处理，得到各颜色通道对应的第一插值图；
14.第二插值模块，用于利用所述全色图像进行引导，分别对所述各颜色通道对应的第一插值图进行第二插值处理，得到各颜色通道对应的全分辨率的彩色图像；
15.生成模块，用于基于所述各颜色通道对应的全分辨率的彩色图像进行合并处理，
生成rgb图像。
16.根据本技术实施例的第三方面，提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如第一方面所述的图像处理方法。
17.根据本技术实施例的第四方面，提供了一种电子设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如第一方面所述的图像处理方法。
18.针对上述方案，基于w像素的数量最多且分布均匀的特点，首先对rgbw图像中的w通道进行插值，可以获得rgbw图像中较多的纹理细节信息，进而利用对w通道插值得到的全色图像进行引导，分别对rgbw图像中各颜色通道进行插值，可以使得插值得到的各颜色通道对应的全分辨率的彩色图像具有较高的颜色分辨率，提升最终得到的rgb图像的图像质量，并且采用第二插值处理可以校正在第一插值处理时引入的误差，更好地恢复各颜色通道的颜色信息，进一步提升了最终得到的rgb图像的图像质量。
附图说明
19.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
20.图1为本技术实施例提供的一种rgbwcfa的示意图；
21.图2为本技术实施例提供的一种图像处理方法的流程示意图；
22.图3为本技术实施例提供的一种图像处理流程的架构示意图；
23.图4为本技术实施例提供的一种图像处理方法的流程示意图；
24.图5为本技术实施例提供的一种示例性g通道对应的第二采样图、导向图和色差图的示意图；
25.图6a和图6b分别为本技术实施例提供的与图5对应的示例性插值方向和插值方法的示意图；
26.图7为本技术实施例提供的一种图像处理方法的流程示意图；
27.图8为本技术实施例提供的一种图像处理方法的流程示意图；
28.图9a和图9b分别为本技术实施例提供的与图8对应的一种示例性插值过程的示意图；
29.图10为本技术实施例提供的一种图像处理方法的示意图；
30.图11为本技术实施例提供的与图10对应的一种示例性插值方法的示意图；
31.图12为本技术实施例提供的与图10对应的一种示例性插值方法的示意图；
32.图13为本技术实施例提供的一种图像处理方法的流程示意图；
33.图14为本技术实施例提供的一种示例性第一插值图的示意图；
34.图15为本技术实施例提供的一种图像处理方法的流程示意图；
35.图16为本技术实施例提供的一种图像处理方法的流程示意图；
36.图17为本技术实施例提供的一种图像处理装置的结构示意图；
37.图18为本技术实施例提供的一种图像处理装置的结构示意图；
38.图19为本技术实施例提供的一种噪声抑制单元的结构示意图；
39.图20为本技术实施例提供的一种图像处理装置的结构示意图。
具体实施方式
40.为了使本领域的人员更好地理解本技术实施例中的技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本技术实施例保护的范围。
41.本技术实施例提供的图像处理方法适用于对图像传感器采集的rgbw图像进行处理。为了便于了解本技术提供的技术方案，下面首先对图像传感器(或称为像素阵列)进行简要说明。
42.像素阵列中的每个像素的结构类似。通常，每个像素的结构包括微透镜、滤光片和感光元件。微透镜位于滤光片的上方，滤光片位于感光元件的上方。成像对象返回的光经由微透镜聚焦后射出，经由滤光片过滤后射入感光元件，由感光元件将光信号转换为电信号。根据不同的滤波片可以透过的光的类型不同，因此像素阵列可以包括红色像素(以下称为r像素)、蓝色像素(以下称为b像素)和绿色像素(以下称为g像素)。例如，r像素是指经过滤光片过滤后仅红色光输入感光元件，由感光元件将其转换为电信号。b像素和g像素与r像素的原理类似，此处不再赘述。
43.由于像素阵列中每个像素仅能将一种类型的光信号转换为电信号，因此需要结合周围其他类型的像素采集的光信号进行插值运算，来还原该像素所采集的区域的图像颜色。这一过程被称为去马赛克，其通常在图像传感器后端的图像处理器或包含图像传感器的电子设备的处理器(以下统称为处理器)中完成。
44.为了采集彩色图像，需要在像素阵列中设置颜色特定布置的滤波器，也可称为颜色滤波阵列(colorfilterarray，cfa)。目前，常见的像素阵列主要是基于bayercfa形式的rgb阵列，其特点是其最小重复单元是一个2
×
2的四像素阵列，包括1个r像素、1个b像素和2个g像素，r像素与b像素对角相邻，2个g像素对角相邻。每个像素获取rgb中的一种颜色信息，通过采用去马赛克算法来还原每个像素的rgb信息。
45.这种bayercfa使得每个像素对一种类型的光信号敏感，减少了到达各像素的光量，由此降低了各像素的光敏感度，导致在暗光场景中获取的图像质量较差。随着诸如手机等电子设备的拍照技术的发展，对暗光场景的要求越来越高，因此出现基于rgbwcfa形式的像素阵列，其引入了允许全部波长光的全色像素(以下称为w像素)到rgb阵列中。由于w像素具有更宽的光谱响应，可以接收更多的光子，因此，与bayer cfa相比，rgbwcfa具有更高的进光量，从而具有更高的灵敏度，在一定程度上改善了暗光场景下的成像性能。
46.为了更大程度地提高暗光场景下的成像性能，相关技术中提到了一种如图1所示的rgbwcfa，该rgbwcfa包括8
×
8的最小重复单元，每个最小重复单元包括：8个蓝色(b)滤光单元与8个全色(w)滤光单元交替形成的4
×
4方形bw簇、8个红色滤光单元与8个全色滤光单元交替形成的4
×
4正方形rw簇、8个绿色(g)滤波单元与8个全色滤光单元交替形成的第一4
×
4方形gw簇和8个g滤光单元与8个w滤光单元交替形成的第二4
×
4方形gw簇，其中4
×
4正
方形rw簇与4
×
4方形bw簇对角相邻，第一4
×
4方形gw簇与4
×
4方形bw簇水平相邻，且第二4
×
4方形gw簇与所述第一4
×
4方形gw簇对角相邻。
47.在图像传感器中，由于感光单元阵列中的感光单元与滤光单元阵列中的滤光单元一一对应，感光单元阵列中与r滤光单元对应的感光单元输出r像素、与g滤光单元对应的感光单元输出g像素、与b滤光单元对应的感光单元输出b像素、与w滤光单元对应的感光单元输出w像素，即采用该图像传感器可以获取与图1所示的rgbwcfa对应的rgbwcfa图像(以下称为rgbw图像)。
48.在该rgbw图像包含四个通道，即全色w通道、红色r通道、绿色g通道和蓝色b通道。w通道位置均为全色w像素、r通道位置均为红色r像素、g通道位置均为绿色g像素、b通道位置均为蓝色b像素。在该rgbw图像中，w像素与r像素、g像素和b像素在水平方向和垂直方向上间隔排布。例如，与图1所示的rgbwcfa对应，rgbw图像包括8
×
8的最小重复单元，每个最小重复单元包括：8个b像素与8个w像素交替形成的4
×
4方形bw簇、8个r像素与8个w像素交替形成的4
×
4正方形rw簇、8个g像素与8个w像素交替形成的第一4
×
4方形gw簇和8个g像素与8个w像素交替形成的第二4
×
4方形gw簇，所述4
×
4正方形rw簇与所述4
×
4方形bw簇对角相邻，所述第一4
×
4方形gw簇与所述4
×
4方形bw簇水平相邻，且所述第二4
×
4方形gw簇与所述第一4
×
4方形gw簇对角相邻。
49.由于在该rgbw图像中引入了50％比例的w像素。w像素和各颜色通道的彩色像素(例如，r像素、g像素和b像素)在水平方向和垂直方向上间隔排布，使得r像素、g像素和b像素的分布更为稀疏。相比于bayer型的rgb图像，该rgbw图像的对称性不强且周期(8
×
8)较大，这使得基于对称性且周期(2
×
2)较小的rgb图像的主流去马赛克算法不适用。
50.此外，现有技术中提到一种rgbw图像的去马赛克算法，在该现有技术中，基于该rgbw图像中彩色像素生成低分辨率部分彩色图像，基于该图像中的w像素先插值出高分辨率全色图像，然后基于高分辨率全色图像生成与低分辨率部分彩色图像的分辨率相同的低分辨率全色图像，进而基于低分辨率部分彩色图像和低分辨率全色图像生成低分辨率色差，再基于低分辨率色差进行生成高分辨率色差进行最终颜色的估计。由于在生成低分辨率颜色信息的过程中已经丢失了部分颜色细节信息，该部分细节信息无法在后续的处理过程中进行恢复。而且，由于图1所示的rgbw图像中的最小重复单元的周期较大，其生成的低分辨率颜色信息丢失的信息会更严重，这会导致最终还原的rgb图像的质量更差。
51.为此，本技术实施例提供了一种图像处理的方法，利用rgbw图像中w通道分布均匀且采样率最高的优势，基于w通道的有效信息，对rgb三通道的颜色插值过程进行引导，提高了最终还原的rgb图像的图像质量。
52.下面参照附图对本技术实施例进行详细说明。
53.图2为本技术实施例提供的一种图像处理方法的流程示意图。该图像处理方法用于处理由图像传感器采集的rgbw图像。图像传感器可以是图1所示的rgbwcfa或其他w像素采样率较高且分布均匀的其他cfa的图像传感器。该图像处理方法可以由在图像传感器后端的图像处理器或包含图像传感器的电子设备的其他处理器(以下统称为处理器)。
54.参照图2，该图像处理方法包括：
55.s201、对rgbw图像中的w通道进行采样，得到第一采样图，并对rgbw图像中各颜色通道分别进行采样，得到各颜色通道对应的第二采样图；
56.本实施例中，图像传感器可以将采集到的rgbw图像发送给处理器，由处理器执行。图3示出了处理器执行本技术实施例的图像处理流程的架构。具体地，处理器对获取到的rgbw图像中的w像素的位置进行采样，也即对rgbw图像中的w通道进行采样，得到rgbw图像中w通道对应的第一采样图w1。在第一采样图w1中保留了w通道的值，去除r、g、b各颜色通道的值。
57.此外，处理器还对获取到的rgbw图像中的r像素、b像素和g像素的位置分别进行采样，也即，对rgbw图像中的r通道、b通道和g通道进行采样，得到rgbw图像中r通道对应的第二采样图r1、b通道对应的第二采样图b1和g通道对应的第二采样图g1，统称为各颜色通道对应的第二采样图。在各颜色通道对应的第二采样图中保留了对应颜色通道的值。换言之，在与r通道对应的第二采样图中保留了r通道的值。在与b通道对应的第二采样图中保留了b通道的值。在与g通道对应的第二采样图中保留了g通道的值。为了简化视图，图3中将r通道对应的第二采样图r1、b通道对应的第二采样图b1和g通道对应的第二采样图g1合并为图i1进行显示。
58.s202、将第一采样图内插成全分辨率的全色图像；
59.具体地，全分辨率与图像传感器采集的图像(即rgbw图像)的分辨率相同。将第一采样图内插成全分辨率的全色图像是指在第一采样图中进行w通道插值，即在第一采样图中与rgbw图像中的r通道、g通道和b通道对应的位置插入w通道值，得到全分辨率的全色图像w2。适用于s202的具体的插值方法可以是双线性插值方法、最邻近元插值法、三次内插法等，本技术实施例对此不做限定。
60.在一种具体的实现方式中，将第一采样图内插成全色图像可以包括：
61.步骤a、在第一采样图中确定目标待插值位置。
62.其中，目标待插值位置与rgbw图像中的r通道、g通道和b通道的位置对应；
63.步骤b、确定目标待插值位置的水平梯度和垂直梯度；
64.步骤c、计算目标待插值位置的在水平方向、垂直方向和同质区域的3个预测值；
65.步骤d、基于目标待插值位置的水平梯度和垂直梯度，将3个预测值中之一确定为目标待插值位置的w通道值。
66.下面以目标待插值位置为c且c坐标为(i，j)为例上述步骤b至d进行详细说明。
67.在步骤b中，根据公式(1)确定目标待插值位置c的水平梯度和垂直梯度。
68.gradh＝|w
i，j-1-w
i，j+1
|+|w
i，j-3-w
i，j-1
|+|w
i，j+1-w
i，j+3
|
69.gradv＝|w
i-1，j-w
i+1，j
|+|w
i-3，j-w
i-1，j
|+|w
i+1，j-w
i+3，j
|
ꢀꢀ
(1)
70.其中，gradh和gradv分别表示目标待插值位置c的水平梯度和垂直梯度，w
i，j-3
、w
i，j-1
、w
i，j+1
和w
i，j+3
分别表示目标待插值位置c在水平方向上的四个相邻w通道位置(也可以称为w像素)的w通道值，w
i-3，j
、w
i-1，j
、w
i+1，j
和w
i+3，j
分别表示目标待插值位置c在垂直方向上的四个相邻w通道位置的w通道值。
71.在步骤c中，根据公式(2)确定目标待插值位置c在水平方向、垂直方向和同质区域的3个预测值。
72.h_pred＝(w
i，j-1
+w
i，j+1
)/2
73.v_pred＝(w
i-1，j
+w
i+1，j
)/2
74.n-pred＝(h
pred
+v_pred)/2
ꢀꢀ
(2)
75.其中，h_pred、v
pred
和n_pred分别为目标待插值位置c在水平方向、垂直方向和同质区域的3个预测值，w
i，j-1
、w
i，j+1
分别表示目标待插值位置c在水平方向上的两个相邻w通道位置的w通道值，w
i-1，j
、w
i+1，j
分别表示目标待插值位置c在垂直方向上的两个相邻w通道位置的w通道值。
76.在步骤d中，基于目标待插值位置的水平梯度和垂直梯度，将3个预测值中之一确定为目标待插值位置的w通道值。
77.具体地，可以设置第一阈值thresh1和第二阈值thresh2，其中，第一阈值thresh1和第二阈值thresh2可以基于实际需要，根据实验数据或经验进行选择。
78.若gradh＜thresh1并且gradv＜thresh1，则将目标待插值位置c的w通道值确定为n_pred；若(gradh-gradv)＞thresh2，则将目标待插值位置c的w通道值确定为v_pred；若(gradv-gradh)＞thresh2，则将目标待插值位置c的w通道值确定为h_pred；否则，将目标待插值位置c的w通道值确定为n_pred。
79.以此方式遍历第一采样图，在第一采样图中与rgbw图像中的r通道、g通道和b通道对应的每个位置估计并插入w通道值，由此得到全分辨率的全色图像。应理解，此处的插值算法仅是一种示例，实际应用中可以根据需要选择其他插值算法，本实施例对此不做限定。
80.本实施例中，由于在rgbw图像中，w像素的采样率最高，且w像素分布较为均匀，首先在rgbw图像中对rgbw图像的w通道进行插值，可以获取rgbw图像中较好的纹理细节信息，有利于后续其他颜色通道的插值。
81.s203、利用全色图像进行引导，对各颜色通道对应的第二采样图进行第一插值处理，得到各颜色通道对应的第一插值图。
82.利用全色图像进行引导，对各颜色通道对应的第二采样图进行第一插值处理，可以理解为利用全色图像提供的w通道信息，对各颜色通道对应的第二采样图进行第一插值处理。由于全色图像中包含有rgbw图像中较好的纹理细节信息，利用全色图像提供的w通道信息对各颜色通道对应的第二采样图进行第一插值处理时，可以插值得到的各颜色通道对应的第一插值图具有较高的颜色分辨率，更能反映拍摄对象的客观颜色。
83.在本技术的一种实现方式中，步骤s203包括：分别以每个颜色通道作为目标颜色通道，利用全色图像进行引导，对目标颜色通道对应的第二采样图中的第一插值位置进行插值，得到目标颜色通道对应的第一插值图。其中，第一插值位置为rgbw图像的r通道、g通道和b通道中除目标颜色通道之外的位置。
84.具体地，以g通道作为目标颜色通道，则利用全色图像进行引导，在g通道对应的第二采样图中与rgbw图像中的r通道和b通道对应的位置估计并插入g通道值，得到g通道对应的第一插值图。在g通道对应的第一插值图中，与rgbw图像中的r通道、b通道和g通道对应的位置均具有g通道值，而与rgbw图像中的w通道对应的位置尚未插值g通道值。以r通道作为目标颜色通道，则利用全色图像进行引导，在r通道对应的第二采样图中与rgbw图像中的b通道和g通道对应的位置估计并插入r通道值，得到r通道对应的第一插值图。在r通道对应的第一插值图中，与rgbw图像中的r通道、b通道和g通道对应的位置均具有r通道值，而与rgbw图像中的w通道对应的位置尚未插值r通道值。以b通道作为目标颜色通道，则利用全色图像进行引导，在b通道对应的第二采样图中、与rgbw图像中的r通道和g通道对应的位置估计并插入b通道值。在b通道对应的第一插值图中，与rgbw图像中的r通道、b通道和g通道对
应的位置均具有b通道值，而与rgbw图像中的w通道对应的位置尚未插值b通道值。
85.为了简化视图，图3中将各颜色通道对应的第一插值图合并显示为图i2。图i2中与rgbw图像中的r通道、g通道和b通道对应的位置均具有r通道值、b通道值和g通道值，而与rgbw图像中w通道对应的位置尚未插值r通道值、b通道值和g通道值。
86.s204、利用全色图像进行引导，分别对各颜色通道对应的第一插值图进行第二插值处理，得到各颜色通道对应的全分辨率的彩色图像。
87.由于在对各颜色通道对应的第二采样图进行第一插值处理的过程中不可避免的会引入误差，在对各颜色通道对应的第二采样图插值得到的第一插值图进行第二插值处理时，进一步利用全色图像进行引导，可以校正在第一插值处理时引入的误差，更好地恢复各颜色通道的颜色信息，由此进一步提升了最终得到的rgb图像的图像质量。
88.在一种具体的实现方式中，步骤s204具体包括：分别以每个颜色通道为目标颜色通道，利用全色图像进行引导，对第一插值图中的第二插值位置进行插值，得到目标颜色通道对应的全分辨率的彩色图像，其中，第二插值位置与rgbw图像的w通道位置对应。
89.例如，以g通道为目标颜色通道，g通道对应的第一插值图中与rgbw图像的r通道和b通道对应的位置已插值得到g通道值。此时再次利用图像的引导，对第一插值图中与rgbw图像的w通道对应的位置插值g通道值，即可得到g通道对应的全分辨率的彩色图像。在对第一插值图中与rgbw图像的w通道对应的位置插值g通道值时，会用到第一插值图中与rgbw图像的r通道和b通道对应的位置插值得到g通道值。由于第一插值处理不可避免地会引入误差，此时进一步利用全色图像提供的w通道信息，引导对第一插值图中与rgbw图像的w通道对应的位置插值g通道值，可以校正第一插值处理时引入的误差，使得可以更为准确地恢复g通道对应的第一插值图中与rgbw图像的w通道对应位置的g通道值。
90.以类似的方式，对r通道对应的第二插值图和b通道对应的第二插值图进行第二插值处理，可以更为准确地恢复r通道对应的第一插值图中与rgbw图像的w通道对应位置的r通道值和b通道对应的第一插值图中与rgbw图像的w通道对应位置的b通道值，使得各颜色通道对应的全分辨率的彩色图像更好地恢复各颜色通道的颜色信息，由此进一步提升了最终得到的rgb图像的图像质量。
91.为了简化视图，图3中将各颜色通道对应的全分辨率的彩色图像合并显示为一个图i3。如图3所示，图i3中每个像素位置具有r通道值、b通道值和g通道值。
92.s205、对各颜色通道对应的全分辨率的彩色图像进行合并处理，生成rgb彩色图像。
93.本技术实施例中，基于w像素的数量最多且分布均匀的特点，首先对rgbw图像中的w通道进行插值，可以获得rgbw图像中较多的纹理细节信息，进而利用对w通道插值得到的全色图像进行引导，分别对rgbw图像中各颜色通道进行插值，可以使得插值得到的各颜色通道对应的全分辨率的彩色图像具有较高的颜色分辨率，提升最终得到的rgb图像的图像质量。此外，在对各颜色通道对进行插值时，首先利用全色图像进行引导，分别对各颜色通道对应的第二采样图进行第一插值处理，得到各颜色通道对应的第一插值图，然后再次利用全色图像进行引导，分别对各颜色通道对应的第一插值图进行第二插值处理，得到各颜色通道对应的全分辨率的彩色图像。由于在第二插值处理时进一步利用全色图像进行引导，可以校正在第一插值处理时引入的误差，更好地恢复各颜色通道的颜色信息，由此进一
步提升了最终得到的rgb图像的图像质量。
94.基于图2所示的实施例，如图4所示，在本技术的一种实现方式中，步骤s203可以包括：
95.s2031a、在目标颜色通道对应的第二采样图中确定用于对第一插值位置进行插值的多个第一候选位置。
96.取决于rgbw图像的各颜色像素的分布以及目标颜色通道的不同，多个第一候选位置存在不同。
97.例如，在一种实现方式中，目标颜色通道为g通道；相应地，步骤s2031a可以包括：将g通道对应的第二采样图中与第一插值位置在水平方向和垂直方向相邻的四个g通道位置，确定为多个第一候选位置。本实现方式中，在对第一插值位置进行插值时选用四个第一候选位置，这使得在对第一插值位置进行插值时可以获得较多的参考点，进而使得插值得到的第一插值位置的插值像素值的准确度更高。
98.s2032a、根据全色图像中第一插值位置对应的w通道值与多个第一候选位置对应的w通道值，确定多个第一候选位置对应的权重。
99.在一种实现方式中，可以根据全色图像中第一插值位置对应的w通道值与多个第一候选位置对应的w通道值之间的差值，确定多个第一候选位置对应的权重。例如，每个第一候选位置对应的权重可以与上述相应差值的倒数的绝对值成正比，差值越小，则对应的权重越大。
100.s2033a、基于多个第一候选位置对应的权重，对多个第一候选位置对应的色差值进行加权融合，得到第一插值位置对应的色差值。
101.其中，第一候选位置的色差值为第一候选位置对应的目标颜色通道值与w通道值的差值。例如，目标颜色通道为g通道，则第一候选位置的色差值为g通道对应的第二采样图中第一候选位置对应的g通道值与全色图像中第一候选位置对应的w通道值的差值。
102.在一种具体的实现方式中，在步骤s2033a中，可以基于多个第一候选位置对应的权重，对多个第一候选位置对应的色差值进行加权求和，得到第一插值位置对应的色差值。
103.s2034a、基于第一插值位置对应的w通道值和第一插值位置对应的色差值，对第一插值位置进行插值，得到目标颜色通道对应的第一插值图。
104.在一种具体的实现方式中，可以对第一插值位置对应的w通道值和第一插值位置对应的色差值求和，将求和结果作为第一插值位置的插值像素值。
105.以上述方式，遍历目标颜色通道对应的第二采样图中的每个第一插值位置执行上述操作，得到目标颜色通道对应的第一插值图。
106.为了便于理解，下面针对图1所示的rgbwcfa对应的rgbw图像，以g通道为目标颜色通道为例，对步骤s2031a至s2034a的过程进行详细说明。在g通道为目标颜色通道时，g通道对应的第二采样图中的第一插值位置与rgbw中的b通道和r通道的位置对应。由于r通道位置与b通道位置的插值过程类似，此处仅给出了在b通道位置插值g通道值的具体插值过程。此外，由于rgbw图像多个最小重复单元构成，每个最小重复单元由有不同颜色的4
×
4的区块(也称为簇)构成，为了便于图示，在该示例中，以针对g通道对应的第二采样图中b通道区块中的b通道位置进行插值为例进行说明。
107.图5中的(a)中标注有b的位置为g通道对应的第二采样图中的第一插值位置，标注
有g的位置为b通道区块上下左右相邻的4个g通道区块。图5中的(b)示出了全色图像中与图5中的(a)中的g通道区块对应位置处的全色值，图5中的(c)示出了与图5中的(a)中的g通道区块对应位置处的色差值。
108.为了更清楚的说明，图6a和图6b分别示出了对图5中的b通道区块中的b通道位置进行插值的示例性插值方向和插值方法。如图6a所示，对于b通道区块中的每个b通道位置，利用该b通道位置上下左右的4个g通道位置的色差值进行加权融合，得到该通道位置的色差值，进而基于该通道位置的色差值和w通道值，得到该位置的g通道值。如图6b所示，将第一插值位置(即待插值的8个b通道位置)分别表示为k1-k8，用于对b通道位置k1进行插值的多个第一候选位置为标识有a1、b1、c1和d1的位置,用于对b通道位置k2进行插值的多个第一候选位置为标识有a2、b1、c1和d2的位置,用于对b通道位置k3进行插值的多个第一候选位置为标识有a3、b2、c2和d3的位置,用于对b通道位置k4进行插值的多个第一候选位置为标识有a4、b2、c2和d4的位置。用于对b通道位置k5进行插值的多个第一候选位置为标识有a1、b3、c3和d1的位置,用于对b通道位置k6进行插值的多个第一候选位置为标识有a2、b3、c3和d2的位置,用于对b通道位置k7进行插值的多个第一候选位置为标识有a3、b4、c4和d3的位置,用于对b通道位置k8进行插值的多个第一候选位置表示为a4、b4、c4和d4的位置。k1-k8位置的g通道值可以通过公式(3)求得。
[0109][0110]
其中，g
k1
、g
k2
、
……
、g
k3
分别表示k1、k2、
……
、k8位置处的g通道值，w
k1
、w
k2
、
……
、w
k8
分别表示k1、k2、
……
、k8位置处的w通道值，g
a1
、g
a2
、
……
、g
d4
分别表示a1、a2、
……
、d4位置处的g通道值，w
a1
、w
a2
、
……
wa4分别表示a1、a2、
……
、d4位置处的w通道值，w
11
,w
12
,w
13
,w
14
…w81
,w
82
,w
83
,w
84
表示对应第一候选位置的权重。
[0111]
其中，权重w
11
,w
12
,w
13
,w
14
可以通过公式(4)计算得到，其余权重可依次类推。
[0112][0113]
遍历g通道对应的第二采样图中的每个b通道区块，通过以上方式，可以获得g通道对应的第二采样图中每个b通道位置的g通道值。应理解，以类似的方式，对g通道对应的第二采样图中每个r通道位置插值g通道值，可以得到g通道对应的第一插值图，即如图3中的i2所示的棋盘格形式的图像。
[0114]
应理解，本实施例仅提供了将各颜色通道对应的第二采样图经由第一插值处理插
值成各颜色通道对应的第一插值图的示例性实现方式，在其他实施例中，也其他合适的方式将各颜色通道对应的第二采样图插值成各颜色通道对应的第一插值图，本实施例对此不做限定。
[0115]
基于图2所示的实施例，如图7所示，在本技术的另一种实现方式中，第一插值位置包括第一目标插值位置和第二目标插值位置，第一目标插值位置和第二目标插值位置对应于rgbw图像中不同的颜色通道。例如，目标颜色通道为r通道，第一目标插值位置与rgbw图像中的b通道位置对应，第二目标插值位置与rgbw图像中的g通道位置对应。又例如，目标颜色通道为b通道，第一目标插值位置与rgbw图像中的r通道位置对应，第二目标插值位置与rgbw图像中的g通道位置对应。
[0116]
相应地，步骤s203包括：
[0117]
s2031b、利用全色图像进行引导，对目标颜色通道对应的第二采样图中的第一目标插值位置进行插值，得到目标颜色通道对应的中间插值图。
[0118]
s2032b、利用全色图像进行引导，对目标颜色通道对应的中间插值图中的第二目标插值位置进行插值，得到目标颜色通道对应的第一插值图。
[0119]
下面参照图8至图12对步骤s2031b和s2032b进行说明。
[0120]
如图8所示，在一种实现方式中，步骤s2031b可以包括：
[0121]
s801、在目标颜色通道对应的第二采样图中，确定用于对第一目标插值位置进行插值的多个第二候选位置。
[0122]
取决于rgbw图像的各颜色像素的分布以及目标颜色通道的不同，多个第二候选位置存在不同。
[0123]
在本技术的一种实现方式中，目标颜色通道为r通道，且第一目标插值位置与rgbw图像中的b通道的位置相同。相应地，步骤s801包括：
[0124]
将r通道对应的第二采样图中与所述第一目标插值位置在对角方向和反对角方向相邻的四个r通道位置，确定为多个第二候选位置。
[0125]
在本技术的另一种实现方式中，目标颜色通道为b通道，且第一目标插值位置与rgbw图像中的r通道的位置相同；相应地，步骤s801包括：
[0126]
将b通道对应的第二采样图中与第一目标插值位置在对角方向和反对角方向相邻的四个b通道位置，确定为多个第二候选位置。
[0127]
在上述两个实现方式中，在对第一目标插值位置进行插值时选用四个第二候选位置，这使得在对第一目标插值位置进行插值时获得更多的参考点，进而使得插值得到的第一目标插值位置的插值像素值的准确度更高。
[0128]
s802、根据全色图像中第一目标插值位置对应的w通道值与多个第二候选位置对应的w通道值，确定多个第二候选位置对应的权重。
[0129]
在一种实现方式中，可以根据全色图像中第一目标插值位置对应的w通道值与多个第二候选位置对应的w通道值之间的差值，确定多个第二候选位置对应的权重。例如，每个第二候选位置对应的权重可以与上述相应差值的倒数的绝对值成正比，差值越小，则对应的权重越大。
[0130]
s803、基于多个第二候选位置对应的权重，对多个第二候选位置对应的色差值进行加权融合，得到第一目标插值位置对应的色差值。
[0131]
其中，第二候选位置的色差值为第二候选位置对应的目标颜色通道值与w通道值的差值。例如，目标颜色通道为r通道，则第一候选位置的色差值为r通道对应的第二采样图中第二候选位置对应的g通道值与全色图像中第二候选位置对应的w通道值的差值。
[0132]
在一种实现方式中，在步骤s803中，可以基于多个第二候选位置对应的权重，对多个第二候选位置对应的色差值进行加权求和，得到第一目标插值位置对应的色差值。
[0133]
s804、基于第一目标插值位置对应的w通道值和第一目标插值位置对应的色差值，对第一目标插值位置进行插值，得到目标颜色通道对应的中间插值图。
[0134]
在实现方式中，可以对第一目标插值位置对应的w通道值和第一目标插值位置对应的色差值求和，将求和结果作为第一目标插值位置的插值像素值。
[0135]
以上述方式，遍历目标颜色通道对应的第二采样图中的每个第一目标插值位置执行上述操作，得到目标颜色通道对应的第一插值图。
[0136]
为了便于理解，下面针对图1所示的rgbwcfa对应的rgbw图像，以r通道为目标颜色通道为例，对步骤s801至s804的过程进行详细说明。在r通道为目标颜色通道时，r通道对应的第二采样图中的第一目标插值位置与rgbw中的b通道的位置对应。为了便于图示，在该示例中，以针对r通道对应的第二采样图中b通道区块中的b通道位置进行插值为例进行说明。
[0137]
如图9a所示，图9a示出了用于b通道区块中的b通道位置进行插值的相邻4个r通道区块中对应位置的色差值。其中，位于中心的空白区块为b通道区块，b通道区块中的每个b通道位置即为第一目标插值位置。标注有r-w的方框所在的位置用于对b通道区块内的8个b通道位置进行插值的多个第二候选位置。
[0138]
如图9b所示，对于每个b像素位置，使用其对角与反对角方向上最近的r像素位置的色差值(r-w)进行加权融合估计获得该b像素位置的色差值，并加上b像素位置w通道值，从而得到最终的r通道值。
[0139]
作为第一目标插值位置的8个b通道位置分别表示为k1-k8，用于对8个b像素位置进行插值的多个第二候选位置分别用a1-a3、b1-b4、c1-c4和d1-d3表示。其中，用于对b通道位置k1进行插值的多个第二候选位置为标识有a1、b1、c1和d1的位置,用于对b通道位置k2进行插值的多个第二候选位置为标识有a2、b2、c2和d2的位置,用于对b通道位置k3进行插值的多个第二候选位置为标识有a1、b2、c2和d1的位置,用于对b通道位置k4进行插值的多个第二候选位置为标识有a2、b3、c3和d2的位置。用于对b通道位置k5进行插值的多个第二候选位置为标识有a3、b2、c2和d3的位置,用于对b通道位置k6进行插值的多个第二候选位置为标识有a1、b3、c3和d1的位置,用于对b通道位置k7进行插值的多个第二候选位置为标识有a3、b3、c3和d3的位置,用于对b通道位置k8进行插值的多个第二候选位置表示为a1、b4、c4和d1的位置。k1-k8位置的r通道值可以通过公式(5)求得。
[0140][0141]
其中，r
k1
、r
k2
、
……
、r
k3
分别表示k1、k2、
……
、k8位置处的r通道值，w
k1
、w
k2
、
……
、w
k8
分别表示k1、k2、
……
、k8位置处的w通道值，r
a1
、r
a2
、
……rd3
分别表示a1、a2、
……
、d3位置处的r通道值，w
a1
、w
a2
、
……wd3
分别表示a1、a2、
……
、d3位置处的w通道值，w
11
,w
12
,w
13
，w
14
…w81
，w
82
,w
83
,w
84
表示对应第二候选位置的权重，各权重的计算过程可以参照公式(4)的权重计算过程，此处不做赘述。
[0142]
此外，在目标颜色通道为b通道，且b通道对应的第二采样图中的第一目标插值位置与rgbw中的r通道的位置对应时的计算过程与上述计算过程类似，为了避免赘述，此处不再赘述。
[0143]
如图10所示，在本技术的一种实现方式中，步骤s2032b包括：
[0144]
s1001、在目标颜色通道对应的中间插值图中，确定用于对第二目标插值位置进行插值的多个第三候选位置。
[0145]
取决于rgbw图像的各颜色像素的分布以及目标颜色通道的不同，多个第三候选位置存在不同。
[0146]
在本技术的一种实现方式中，目标颜色通道为r通道或b通道，且第二目标插值位置与rgbw图像中的g通道的位置相同。相应地，步骤s1001包括：将r或b通道对应的中间插值图中与所述第二目标插值位置在第一方向上相邻的2个r或b通道位置以及在第二方向上2个b或r通道位置，确定为所述多个第三候选位置。
[0147]
其中，若rgbw图像中g通道区块的左右为b通道区块且上下为r通道区块，则第一方向为垂直方向，第二方向为水平方向，也即，在目标颜色通道为b通道时，将b对应的中间插值图中与第二目标插值位置在垂直方向上相邻的2个r通道位置以及在水平方向上2个b通道位置，确定为多个第三候选位置；在目标颜色通道为r通道时，将r对应的中间插值图中与第二目标插值位置在垂直方向上相邻的2个b通道位置以及在水平方向上2个r通道位置，确定为多个第三候选位置。
[0148]
相反情况下，若rgbw图像中g通道区块的左右为r通道区块且上下为b通道区块，则第一方向为水平方向，第二方向为垂直方向，也即，在目标颜色通道为b通道时，将b对应的中间插值图中与第二目标插值位置在水平方向上相邻的2个r通道位置以及在垂直方向上2
个b通道位置，确定为多个第三候选位置；在目标颜色通道为r通道时，将r对应的中间插值图中与第二目标插值位置在水平方向上相邻的2个b通道位置以及在垂直方向上2个r通道位置，确定为多个第三候选位置。
[0149]
本实现方式中，在对第二目标插值位置进行插值时选用四个第三候选位置，这使得在对第二目标插值位置进行插值时可以获得较多的参考点，进而使得插值得到的第二目标插值位置的插值像素值的准确度更高。
[0150]
s1002、根据全色图像中第二目标插值位置对应的w通道值与多个第三候选位置对应的w通道值，确定多个第三候选位置对应的权重。
[0151]
在一种实现方式中，可以根据全色图像中第二目标插值位置对应的w通道值与多个第三候选位置对应的w通道值之间的差值，确定多个第三候选位置对应的权重。例如，每个第三候选位置对应的权重可以与上述相应差值的倒数的绝对值成正比，差值越小，则对应的权重越大。
[0152]
s1003、基于多个第三候选位置对应的权重，对多个第三候选位置对应的色差值进行加权融合，得到第二目标插值位置对应的色差值。
[0153]
其中，第三候选位置的色差值为第三候选位置对应的目标颜色通道值与w通道值的差值。
[0154]
具体地，可以基于多个第三候选位置对应的权重，对多个第三候选位置对应的色差值进行加权求和，得到第二目标插值位置对应的色差值。
[0155]
s1004、基于第二目标插值位置对应的w通道值和第二目标插值位置对应的色差值，对第二目标插值位置进行插值，得到目标颜色通道对应的第一插值图。
[0156]
在本实现方式中，可以对第二目标插值位置对应的w通道值和第二目标插值位置对应的色差值求和，将求和结果作为第二目标插值位置的插值像素值。
[0157]
以上述方式，遍历目标颜色通道对应的中间插值图中的每个第二目标插值位置执行上述操作，得到目标颜色通道对应的中间插值图。
[0158]
为了便于理解，下面结合图11和图12，针对图1所示的rgbwcfa对应的rgbw图像，通过两个示例对步骤s1001至s1004的过程进行说明。在该rgbw图像，g通道区块左右区块为b通道区块且上下区块为r通道区块。
[0159]
第一示例
[0160]
在该示例中，对r通道对应的中间插值图中的第二目标插值位置插值r通道值的过程进行说明。在r通道为目标颜色通道时，r通道对应的第二采样图中的第一目标插值位置与rgbw中的b通道的位置对应，r通道对应的第二采样图中的第二目标插值位置与rgbw中的g通道的位置对应。
[0161]
图11中的(a)为r通道对应的第二采样图，其中，r通道位置由稠密的网格型图案填充的方法表示，第一目标插值位置由稀疏的网格型图案填充的方框表示，第二目标插值位置由灰色填充的方格表示，该示例中以对中心区块中的第二目标插值位置(由k1-k8表示)进行插值为例进行说明。图11中的(b)示出了采用步骤s802至s804对r通道对应的第二采样图进行第一插值处理，得到r通道对应中间插值图的过程。图11中的(c)示出了利用步骤s1001至s1004对r通道对应中间插值图中由k1-k8表示的第二目标插值位置进行插值的过程。其中，利用由k1-k8表示的每个g通道位置在水平方向上的两个r通道位置的r通道值和
在垂直方向上的两个b通道位置的r通道值，对每个g通道位置插值r通道值。
[0162]
依此方式，遍历r通道对应的中间插值图中的每个g通道位置，在每个g通道位置插值r通道值，得到r通道对应的中间插值图，即r通道对应的棋盘格形式的图像。
[0163]
第二示例
[0164]
在该示例中，对b通道对应的中间插值图中的第二目标插值位置插值b通道值的过程进行说明。在b通道为目标颜色通道时，b通道对应的第二采样图中的第一目标插值位置与rgbw中的r通道的位置对应，b通道对应的第二采样图中的第二目标插值位置与rgbw中的g通道的位置对应。
[0165]
图12中的(a)为b通道对应的第二采样图，其中，b通道位置由稀疏的网格型图案填充的方法表示，第一目标插值位置由稠密的网格型图案填充的方框表示，第二目标插值位置由灰色填充的方格表示，该示例中以对中心区块中的第二目标插值位置(由k1-k8表示)进行插值为例进行说明。图12中的(b)示出了采用步骤s802至s804对b通道对应的第二采样图进行第一插值处理，得到b通道对应中间插值图的过程。图11中的(c)示出了利用步骤s1001至s1004对b通道对应中间插值图中由k1-k8表示的第二目标插值位置进行插值的过程。具体地，利用由k1-k8表示的g通道位置在垂直方向上的两个b通道位置的b通道值和在水平方向上的两个r通道位置的b通道值，对该g通道位置插值b通道值。
[0166]
依此方式，遍历b通道对应的中间插值图中的每个g通道位置，在每个g通道位置插值b通道值，得到b通道对应的中间插值图，即b通道对应的棋盘格形式的图像。
[0167]
根据利用步骤s2031a至2034a、步骤s801至s804以及步骤s1001至s1002的插值方法，可以得到r、g、b各颜色通道对应的棋盘格形式的图像，在每个图像中，仅w通道位置缺失rgb颜色信息。
[0168]
基于图2所示的实施例，如图13所示，在本技术的一种实现方式中，步骤s204包括：
[0169]
s2041、在目标颜色通道对应的第一插值图中确定用于对第二插值位置进行插值的多个第四候选位置。
[0170]
具体地，在r通道、g通道和b通道分别对应的第一插值图中，仅w通道位置缺失r通道值、g通道值和b通道值。因此，第一插值图中的第二插值位置与rgbw图像中的w通道位置相同。
[0171]
取决于第二插值位置在水平方向和垂直方向的梯度信息不同，第二候选位置的具体位置和数量均不同。
[0172]
在一种实现方式中，步骤s2041包括：
[0173]
步骤a、根据全色图像中与第二插值位置相邻的多个w通道位置对应的w通道值，计算第二插值位置的水平梯度和垂直梯度。
[0174]
步骤b根据水平梯度和垂直梯度，确定第二插值位置所在的第一区域的区域类型。
[0175]
其中，区域类型可以包括平坦区域、垂直边缘、水平边缘和各向同性区域。
[0176]
具体地，若水平梯度及垂直梯度均较小，则第一区域被确定为平坦区域。若水平梯度远大于垂直梯度，则第一区域被确定为垂直边缘。若水平梯度远小于垂直梯度，则第一区域被确定为水平边缘。否则，第一区域被确定为视为各向同性区域。
[0177]
步骤c、根据区域类型，在目标颜色通道对应的第一插值图中选择多个第四候选位置。
[0178]
对于平坦区域或者各向同性区域,可以选择以第二插值位置为中心的较大区域内的多个像素位置作为多个第四候选位置。对于水平边缘，可以选择第二插值位置在水平方向上相邻的两个像素位置作为多个第四候选位置。对于垂直边缘，可以选择在第二插值位置在竖直方向上相邻的两个像素位置作为多个第四候选位置。
[0179]
s2042、根据全色图像中第二插值位置对应的w通道值与多个第四候选位置对应的w通道值，确定多个第二候选位置对应的权重。
[0180]
例如，根据全色图像中第二插值位置对应的w通道值与多个第二候选位置对应的w通道值之间的差值，确定多个第二候选位置对应的权重。例如，每个第二候选位置对应的权重可以与上述相应差值的倒数的绝对值成正比，差值越小，则对应的权重越大。
[0181]
s2043、基于多个第四候选位置对应的权重，对多个第四候选位置对应的色差值进行加权融合，得到第二插值位置对应的色差值。
[0182]
其中，第四候选位置对应的色差值为第四候选位置的目标颜色通道值与w通道值的差值。
[0183]
具体地，可以基于多个第四候选位置对应的权重，对多个第四候选位置对应的色差值进行加权求和，得到第二插值位置对应的色差值。
[0184]
s2044、根据第二插值位置的w通道值和第二插值位置对应的色差值，对第二插值位置进行插值，得到目标颜色通道对应的全分辨率的彩色图像。
[0185]
根据第二插值位置对应的色差值和第二插值位置对应的w通道值进行求和，将求和的结果作为第二插值位置对应的插值像素值。
[0186]
依次方式，遍历目标颜色通道对应的第一插值图中的每个第二插值位置执行上述操作，得到目标颜色通道对应的全分辨率的彩色图像。
[0187]
下面结合图14对上述步骤s2032a至s2032d的过程进行说明。
[0188]
如图14所示，以第二插值位置为k且k的坐标为(i,j)为例对确定第二候选位置的插值过程进行说明。
[0189]
首先,根据公式(6)，基于全色图像中与第二插值位置k相邻的多个w通道位置对应的w通道值，确定第二插值位置k的水平梯度和垂直梯度。
[0190]
gradh＝|w
i，j-2-w
i，j
|+|w
i，j+2-w
i，j
|+|w
i-1，j-1-w
i-1，j+1
|+|w
i+1，j-1-w
i+1，j+1
|#(6)
[0191]
gradv＝|w
i-2，j-w
i，j
|+|w
i+2，j-w
i，j
|+|w
i-1，j-1-w
i+1，j-1
|+|w
i-1，j+1-w
i+1，j+1
|#
[0192]
其中，gradh和gradv分别表示第二待插值位置k的水平梯度和垂直梯度，w
i，j
、w
i，j-2
、w
i，j+2
、w
i-1，j-1
、w
i-1，j+1
、w
i+1，j-1
、w
i+1，j+1
、w
i-2，j
、w
i+2，j
、w
i+1，j-1
、w
i-1，j+1
分别表示第二待插值位置的邻域内的各颜色通道位置的w通道值。
[0193]
接着，根据计算的水平和垂直的梯度信息，对第二插值位置k所在的第一区域进行分类。
[0194]
具体地，若水平梯度及垂直梯度均较小，则第一区域被确定为平坦区域。若水平梯度远大于垂直梯度，则第一区域被确定为垂直边缘。若水平梯度远小于垂直梯度，则第一区域被确定为水平边缘。否则，第一区域被确定为视为各向同性区域。
[0195]
若第一区域被确定为平坦区域或者各向同性区域，则将第二插值位置k的5x5邻域范围内的多个像素位置确定为多个第四候选位置。若第一区域被确定为水平边缘，则将第二插值位置k在水平方向上相邻的两个像素位置确定为多个第四候选位置。若第一区域被
确定为垂直边缘，则将第二插值位置k在竖直方向上相邻的两个像素位置确定为多个第四候选位置。
[0196]
在确定用于对第二插值位置k进行插值的多个第四候选位置之后，可以利用全色图像计算用于对第二插值位置k进行插值的多个第四候选位置的加权系数，然后可以根据多个第四候选位置k对应的权重和多个第四候选位置对应的色差值进行加权融合处理，得到第二插值位置k对应的色差值，根据第二插值位置k对应的色差值和第二插值位置对应的w通道值进行融合处理，得到第二插值位置k对应的插值像素值。具体地，可以根据公式(7)对第二插值位置k进行插值。
[0197][0198][0199]
其中，c
i，j
表示第二插值位置k对应的插值像素值，c
i，j
可以表示r通道值、b通道值和g通道值中之一，w
i，j
表示第二插值位置k的w通道值，w
i+p，j+q
表示第二插值位置k领域内的多个第四候选位置的w通道值，(p，q)是坐标偏移量，n为归一化项。
[0200]
对于平坦区域或者各向同性区域，其对应的(p，q)范围较大，p，q)满足：
[0201][0202]
也即，多个第二候选位置为第二插值位置k的5x5邻域范围内的多个像素位置。
[0203]
对于水平边缘，其(p,q)满足：
[0204]
(p,q)＝{(0,-1),(0,1)
[0205]
也即，多个第二候选位置为第二插值位置在水平方向上相邻的两个像素位置。
[0206]
对于垂直边缘，其(p,q)满足：
[0207]
(p,q)＝{(-1,0),(1,0)，
[0208]
也即，多个第二候选位置为第二插值位置在竖直方向上相邻的两个像素位置。
[0209]
以上述方式遍历第一插值图中每个w通道位置(也即w像素位置)，对第一插值图中每个w通道位置进行插值，得到目标颜色通道值对应的全分辨率的彩色图像。分别以r、g和b通道作为目标颜色通道，由此，可以获得r、g、b通道对应的全分辨率彩色图像。
[0210]
应理解，此处给出了基于全色图像对在第一插值图中的第二插值位置进行第二插值处理的方法仅是一种示例，在其他实现中，也可以采用其他合适的插值方法，本技术实施例对此不做限定。
[0211]
本实现方式中，在对各颜色通道对应的第一插值图进行第二插值处理时，进一步利用全色图像进行引导，可以校正在对各颜色通道对应的第二采样图进行第一插值处理时引入的误差，更好地恢复各颜色通道的颜色信息，由此进一步提升了最终得到的rgb图像的图像质量。
[0212]
基于前述实施例，图15为本技术实施例提供的另一种图像处理方法的示意性流程
图。与前述实施例提供的图像处理方法相比，在本实施例中步骤s205包括：
[0213]
s2051、利用全色图像进行引导，分别对各颜色通道对应的全分辨率的彩色图像进行去噪处理，生成各颜色通道对应的去噪后的彩色图像；
[0214]
s2052、对各颜色通道对应的去噪后的彩色图像进行合并处理，生成rgb图像。
[0215]
如前文所述，由于在s202中得到的全分辨率的全色图像包括了rgbw图像中较多的纹理特征信息，在s204中获取到各颜色通道对应的全分辨率的彩色图像之后，可以利用全色图像提供的w通道信息，对全分辨率的彩色图像进行去噪处理，抑制彩色噪声，进而可以显著改善最终生成的rgb图像的图像质量，提升视觉效果。在噪声越高的情况下，去噪处理对于最终视觉效果的影响越大。
[0216]
在本技术的一种实现方式中，如图16所示，步骤s2051可以包括：
[0217]
s2051a、根据全色图像与各颜色通道对应的全分辨率的彩色图像，分别生成各颜色通道对应的色差图。
[0218]
在具体实现时，可以分别通过将各颜色通道对应的全色率的彩色图像与全色图像的对应位置相减，得到各颜色通道对应的色差图。
[0219]
s2051b、根据全色图像，确定用于各颜色通道对应的色差图的多个目标滤波核。
[0220]
在一种实现方式中，s2051b可以包括：针对每个颜色通道对应的色差图，确定所述颜色通道对应的色差图中待滤波的多个目标区域；针对各颜色通道对应的色差图中的每个目标区域，根据所述全色图像中所述目标区域对应的w通道值，确定所述目标区域的梯度信息；针对各颜色通道对应的色差图中的每个目标区域，根据所述目标区域的梯度信息，从多个预设滤波核中确定用于所述目标区域的目标滤波核。其中，所述多个预设滤波核可以是根据实验和/或经验、针对图像局部区域为平坦区域、边缘区域等情况预先设计的滤波核。
[0221]
例如，可以采用前述提到的梯度计算方法，计算全色图像中目标区域内各像素的梯度信息，根据该目标区域内各像素的梯度信息的分布，自适应地估计用于目标区域的目标滤波核。若梯度信息表示目标区域为平坦区域，则可以从预设的多个预设滤波核选择更强的滤波核，作为目标滤波核，若梯度信息表示目标区域为边缘区域，则可以从预设的多个预设滤波核选择更弱的滤波核，作为目标滤波核。更强的滤波核表示用于目标区域内各像素的权重基本相等，更弱的滤波核表示用于目标区域内靠近中心处的像素的权重较大，用于目标区域内远离中心处的像素的权重较小。
[0222]
s2051c、利用所述多个目标滤波核对各颜色通道对应的色差图进行滤波处理，得到各颜色通道对应的滤波后的色差图；
[0223]
由于根据全色图像的梯度信息，自适应地估计出图像局部的目标滤波核，在平坦区域，该目标滤波核为更强的滤波核，在边界区域，该目标滤波核为更弱的滤波核，因此在根据所确定的目标滤波核对色差图进行加权滤波时，可以在保留图像的边界的同时抑制噪声。
[0224]
s2051d、对全色图像和各颜色通道对应的滤波后的色差图进行融合处理，得到各颜色通道对应的去噪后的彩色图像。
[0225]
例如，可以将全色图像和各颜色通道对应的滤波后的色差图的对应位置进行点加运算，得到各颜色通道对应的去噪后的彩色图像。在获取到各颜色通道对应的去噪后的彩色图像之后，基于各颜色通道对应的去噪后的彩色图像进行合并处理，生成rgb图像。
[0226]
由于rgb通道的插值过程不可避免地受到噪声的干扰，本技术实施例利用全色图像提供的较为干净清晰的纹理信息对rgb通道上的噪声进行抑制，进一步改善了最终rgb图像的图像质量，提升了图像的视觉效果。
[0227]
基于图15所示的实施例，在本技术的一种实施方式中，在对所述全色图像和所述各颜色通道对应的滤波后的色差图进行融合处理之前，还可以包括：对所述全色图像进行低通滤波处理，由此可以进一步减少全色图像的噪声残留，也即减少w通道上的噪声残留。进而，使得进一步减少融合处理之后得到的彩色图像上噪声残留。本实施例中，可以使用任何合适的图像去噪算法对w图像进行去噪，本技术对此不做限定。
[0228]
参照图17，示出了根据本技术实施例的一种图像处理装置的结构示意图。该装置170用于处理由图像传感器采集的rgbw图像，rgbw图像中w通道与r、g、b各颜色通道在水平方向和垂直方向上间隔排布。如图17所示，该装置170包括：
[0229]
采样模块1701，用于对rgbw图像中的w通道进行采样，得到第一采样图，并对rgbw图像中各颜色通道分别进行采样，得到各颜色通道对应的第二采样图；
[0230]
w插值模块1702，用于将第一采样图内插成全分辨率的全色图像；
[0231]
第一插值模块1703，用于利用所述全色图像进行引导，分别对所述各颜色通道对应的第二采样图进行第一插值处理，得到各颜色通道对应的第一插值图；
[0232]
第一插值模块1704，用于利用所述全色图像进行引导，分别对各颜色通道对应的第一插值图进行第二插值处理，得到各颜色通道对应的全分辨率的彩色图像
[0233]
生成模块1705，用于对各颜色通道对应的全分辨率的彩色图像进行合并处理，生成rgb图像。
[0234]
在本技术的一种实现方式中，第一插值模块1703进一步用于：
[0235]
分别以每个颜色通道作为目标颜色通道，利用所述全色图像进行引导，对所述目标颜色通道对应的第二采样图中的第一插值位置进行插值，得到所述目标颜色通道对应的第一插值图，其中，所述第一插值位置为所述rgbw图像的r通道、g通道和b通道中除所述目标颜色通道之外的位置。
[0236]
在本技术的一种实现方式中，第一插值模块1703进一步用于：
[0237]
在所述目标颜色通道对应的第二采样图中确定用于对所述第一插值位置进行插值的多个第一候选位置；
[0238]
根据所述全色图像中所述第一插值位置对应的w通道值与所述多个第一候选位置对应的w通道值，确定所述多个第一候选位置对应的权重；
[0239]
基于所述多个第一候选位置对应的权重，对所述多个第一候选位置对应的色差值进行加权融合，得到所述第一插值位置对应的色差值，其中，所述第一候选位置的色差值为所述第一候选位置对应的目标颜色通道值与w通道值的差值；
[0240]
基于所述第一插值位置对应的w通道值和所述第一插值位置对应的色差值，对所述第一插值位置进行插值，得到所述目标颜色通道对应的第一插值图。
[0241]
在本技术的一种实现方式中，所述目标颜色通道为g通道；第一插值模块1703进一步用于：
[0242]
将所述g通道对应的第二采样图中与所述第一插值位置在水平方向和垂直方向相邻的四个g通道位置，确定为所述多个第一候选位置。
[0243]
在本技术的一种实现方式中，所述第一插值位置包括第一目标插值位置和第二目标插值位置，所述第一目标插值位置和所述第二目标插值位置对应于所述rgbw图像中不同的颜色通道；第一插值模块1703进一步用于：
[0244]
利用所述全色图像进行引导，对所述目标颜色通道对应的第二采样图中的所述第一目标插值位置进行插值，得到所述目标颜色通道对应的中间插值图；
[0245]
利用所述全色图像进行引导，对所述目标颜色通道对应的中间插值图中的所述第二目标插值位置进行插值，得到所述目标颜色通道对应的第一插值图。
[0246]
在本技术的一种实现方式中，第一插值模块1703进一步用于：
[0247]
在所述目标颜色通道对应的第二采样图中，确定用于对所述第一目标插值位置进行插值的多个第二候选位置；
[0248]
根据所述全色图像中所述第一目标插值位置对应的w通道值与所述多个第二候选位置对应的w通道值，确定所述多个第二候选位置对应的权重；
[0249]
基于所述多个第二候选位置对应的权重，对所述多个第二候选位置对应的色差值进行加权融合，得到所述第一目标插值位置对应的色差值，其中，所述第二候选位置的色差值为所述第二候选位置对应的目标颜色通道值与w通道值的差值；
[0250]
基于所述第一目标插值位置对应的w通道值和所述第一目标插值位置对应的色差值，对所述第一目标插值位置进行插值，得到所述目标颜色通道对应的中间插值图。
[0251]
在本技术的一种实现方式中，所述目标颜色通道为r通道，且所述第一目标插值位置与所述rgbw图像中的b通道的位置相同；第一插值模块1703进一步用于：
[0252]
将所述r通道对应的第二采样图中与所述第一目标插值位置在对角方向和反对角方向相邻的四个r通道位置，确定为所述多个第二候选位置；
[0253]
在本技术的一种实现方式中，所述目标颜色通道为b通道，且所述第一目标插值位置与所述rgbw图像中的r通道的位置相同；第一插值模块1703进一步用于：
[0254]
将所述b通道对应的第二采样图中与所述第一目标插值位置在对角方向和反对角方向相邻的四个b通道位置，确定为所述多个第二候选位置。
[0255]
在本技术的一种实现方式中，第一插值模块1703进一步用于：
[0256]
所述利用所述全色图像进行引导，对所述目标颜色通道对应的中间插值图中的所述第二目标插值位置进行插值，得到所述目标颜色通道对应的第一插值图，包括：
[0257]
在所述目标颜色通道对应的中间插值图中，确定用于对所述第二目标插值位置进行插值的多个第三候选位置；
[0258]
根据所述全色图像中所述第二目标插值位置对应的w通道值与所述多个第三候选位置对应的w通道值，确定所述多个第三候选位置对应的权重；
[0259]
基于所述多个第三候选位置对应的权重，对所述多个第三候选位置对应的色差值进行加权融合，得到所述第二目标插值位置对应的色差值，其中，所述每个第三候选位置的色差值为所述第三候选位置对应的目标颜色通道值与w通道值的差值；
[0260]
基于所述第二目标插值位置对应的w通道值和所述第二目标插值位置对应的色差值，对所述第二目标插值位置进行插值，得到所述目标颜色通道对应的第一插值图。
[0261]
在本技术的一种实现方式中，所述目标颜色通道为r或b通道，所述第二目标插值位置与所述rgbw图像的g通道位置相同；第一插值模块1703进一步用于：
[0262]
将所述r或b通道对应的中间插值图中与所述第二目标插值位置在第一方向上相邻的2个r或b通道位置以及在第二方向上2个b或r通道位置，确定为所述多个第三候选位置。
[0263]
在本技术的一种实现方式中，第二插值模块1704进一步用于：
[0264]
分别以每个颜色通道为目标颜色通道，利用所述全色图像进行引导，对所述第一插值图中的第二插值位置进行插值，得到所述目标颜色通道对应的全分辨率的彩色图像，其中，所述第二插值位置与所述rgbw图像的w通道的位置对应。
[0265]
在本技术的一种实现方式中，第二插值模块1704进一步用于：
[0266]
在所述目标颜色通道对应的第一插值图中确定用于对所述第二插值位置进行插值的多个第四候选位置；
[0267]
根据所述全色图像中所述第二插值位置对应的w通道值与所述多个第四候选位置对应的w通道值，确定所述多个第二候选位置对应的权重；
[0268]
基于所述多个第四候选位置对应的权重，对所述多个第四候选位置对应的色差值进行加权融合，得到所述第二插值位置对应的色差值，其中，所述第四候选位置对应的色差值为所述第四候选位置的目标颜色通道值与w通道值的差值；
[0269]
根据所述第二插值位置的w通道值和所述第二插值位置对应的色差值，对所述第二插值位置进行插值，得到所述目标颜色通道对应的全分辨率的彩色图像。
[0270]
在本技术的一种实现方式中，第二插值模块1704进一步用于：
[0271]
根据所述全色图像中与所述第二插值位置相邻的多个w通道位置对应的w通道值，计算所述第二插值位置的水平梯度和垂直梯度；
[0272]
根据所述水平梯度和所述垂直梯度，确定所述第二插值位置所在的第一区域的区域类型；
[0273]
根据所述区域类型，在所述目标颜色通道对应的第一插值图中选择所述多个第四候选位置。
[0274]
在本技术的一种实现方式中，如图18所示，生成模块1205包括：
[0275]
噪声抑制单元1205a，用于利用所述全色图像进行引导，分别对所述各颜色通道对应的全分辨率的彩色图像进行去噪处理，生成各颜色通道对应的去噪后的彩色图像；
[0276]
合并单元1205b，用于对所述各颜色通道对应的去噪后的彩色图像进行合并处理，生成所述rgb图像。
[0277]
在本技术的另一实现方式中，如图15所示，噪声抑制单元1205a包括：
[0278]
色差生成单元1901，用于根据所述全色图像与所述各颜色通道对应的全分辨率的彩色图像，分别生成各颜色通道对应的色差图；
[0279]
滤波权重估计单元1902，用于根据所述全色图像，确定用于各颜色通道对应的色差图的多个目标滤波核；
[0280]
色域噪声滤波单元1903，用于利用所述多个目标滤波核对各颜色通道对应的色差图进行滤波处理，得到各颜色通道对应的滤波后的色差图；
[0281]
加回单元1904，用于对所述全色图像和所述颜色通道对应的滤波后的色差图进行融合处理，得到所述各颜色通道对应的去噪后的彩色图像。
[0282]
在本技术的一种实现方式中，滤波权重估计单元1902用于：
[0283]
针对每个颜色通道对应的色差图，确定所述颜色通道对应的色差图中待滤波的多个目标区域；
[0284]
针对各颜色通道对应的色差图中的每个目标区域，根据所述全色图像中所述目标区域对应的w通道值，确定所述目标区域的梯度信息；
[0285]
针对各颜色通道对应的色差图中的每个目标区域，根据所述目标区域的梯度信息，从多个预设滤波核中确定用于所述目标区域的目标滤波核。
[0286]
在本技术的一种实现方式中，如图19所示，噪声抑制单元1205a还包括亮度噪声抑制单元1905，用于在对全色图像和各颜色通道对应的滤波后的第三色差图进行融合处理之前，对全色图像进行低通滤波处理。
[0287]
本实施例中提供的图像处理装置用于执行前述实施例的图像处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
[0288]
图20为本技术实施例提供的一种图像处理装置的结构示意图。如图20所示，该图像处理装置200包括处理器2001和存储器2002。
[0289]
存储器2002用于存储计算机程序，处理器2001用于调用并运行存储器2002中存储的计算机程序，执行如方法实施例中任一项的图像处理方法。
[0290]
本实施例的图像处理装置用于实现前述多个方法实施例中相应的方法，并具有相应的方法实施例的有益效果，在此不再赘述。该电子设备例如可以是智能手机、笔记本电脑、平板电脑、游戏设备等便携式或移动计算设备等，本技术实施例对此并不限定。
[0291]
本技术实施例提供了一种芯片，该芯片包括处理器，用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如前述方法任一项的图像处理方法。
[0292]
该芯片可应用于本技术实施例中的图像处理装置或电子设备，并且该芯片可以实现本技术实施例的各个方法中由图像处理装置或电子设备实现的相应流程，并实现相应的效果。为了简洁，在此不再赘述。
[0293]
需要指出，根据实施的需要，可将本技术实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本技术实施例的目的。
[0294]
上述根据本技术实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cdrom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的校验码生成方法。此外，当通用计算机访问用于实现在此示出的校验码生成方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的校验码生成方法的专用计算机。
[0295]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员
可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术实施例的范围。
[0296]
以上实施方式仅用于说明本技术实施例，而并非对本技术实施例的限制，有关技术领域的普通技术人员，在不脱离本技术实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本技术实施例的范畴，本技术实施例的专利保护范围应由权利要求限定。