图像处理方法、装置、图像传感器和电子设备与流程

1.本发明涉及图像处理技术领域，特别涉及一种图像处理方法、装置、图像传感器、电子设备和计算机可读存储介质。


背景技术：

2.图像的噪声对图像的清晰度、色彩等影响很大，相关技术中大多采用中值滤波、小波滤波、非局部平均算法(non-local means,nlm)及三维块匹配算法(block matching 3d，bm3d)等方法去噪，然而这些方法对格子噪声的去噪效果较差。


技术实现要素：

3.本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种图像处理方法，能够根据两个通道的绿色像素的平均值对处于中心点的绿色像素进行补偿，有效平衡拜耳图片上的绿色像素的差异，从根源上阻碍了格子噪声的产生，对格子噪声的去噪效果较好。
4.本发明的第二个目的在于提出一种图像处理装置。
5.本发明的第三个目的在于提出一种图像传感器。
6.本发明的第四个目的在于提出一种电子设备。
7.本发明的第五个目的在于提出一种计算机可读存储介质。
8.为达到上述目的，本发明第一方面实施例提出了一种图像处理方法，包括：获取拜耳图片；在所述拜耳图片中确定绿色像素，以所述绿色像素为中心点像素获取n*n像素矩阵，所述n为等于或者大于5的奇数；获取所述n*n像素矩阵中与所述中心点像素相同通道的绿色像素的第一平均值，以及与所述中心点像素不同通道的绿色像素的第二平均值；根据所述第一平均值和所述第二平均值对所述中心点像素进行补偿。
9.根据本发明实施例的图像处理方法，能够根据两个通道的绿色像素的平均值对处于中心点的绿色像素进行补偿，有效平衡拜耳图片上的绿色像素的差异，从根源上阻碍了格子噪声的产生，对格子噪声的去噪效果较好。
10.另外，根据本发明上述实施例提出的图像处理方法还可以具有如下附加的技术特征：
11.在本发明的一个实施例中，所述根据所述第一平均值和所述第二平均值对所述中心点像素进行补偿，包括：计算所述第一平均值和所述第二平均值的差值的绝对值；若所述第一平均值大于所述第二平均值，则将所述中心点像素减小所述差值的绝对值。
12.在本发明的一个实施例中，所述根据所述第一平均值和所述第二平均值对所述中心点像素的绿色分量进行补偿，还包括：若所述第一平均值等于或者小于所述第二平均值，则将所述中心点像素增加所述差值的绝对值。
13.在本发明的一个实施例中，所述图像处理方法，还包括：计算所述n*n像素矩阵中与所述中心点像素相同通道绿色像素的第一和值；计算所述第一和值与所述n*n像素矩阵
中与所述中心点像素相同通道绿色像素的数量的比值，得到所述第一平均值。
14.在本发明的一个实施例中，所述图像处理方法，还包括：计算所述n*n像素矩阵中与所述中心点像素不同通道绿色像素的第二和值；计算所述第二和值与所述n*n像素矩阵中与所述中心点像素不同通道绿色像素和的数量的比值，得到所述第二平均值。
15.在本发明的一个实施例中，所述图像处理方法，还包括：对补偿处理后的拜耳图片进行去马赛克插值处理，得到目标图片。
16.在本发明的一个实施例中，所述去马赛克插值处理包括双线性插值处理或立方插值处理。
17.在本发明的一个实施例中，所述与所述中心点像素不同通道的绿色像素为与所述中心点像素的行和列均相差奇数的绿色像素；所述与所述中心点像素相同通道的绿色像素为在所述n*n像素矩阵中除所述与所述中心点像素不同通道的绿色像素之外的其他绿色像素。
18.为达到上述目的，本发明第二方面实施例提出了一种图像处理装置，包括：第一获取模块，用于获取拜耳图片；第二获取模块，用于在所述拜耳图片中确定绿色像素，以所述绿色像素为中心点像素获取n*n像素矩阵，所述n为等于或者大于5的奇数；第三获取模块，用于获取所述n*n像素矩阵中与所述中心点像素相同通道的绿色像素的第一平均值，以及与所述中心点像素不同通道的绿色像素的第二平均值；补偿模块，用于根据所述第一平均值和所述第二平均值对所述中心点像素进行补偿。
19.本发明实施例的图像处理装置，能够根据两个通道的绿色像素的平均值对处于中心点的绿色像素进行补偿，有效平衡拜耳图片上的绿色像素的差异，从根源上阻碍了格子噪声的产生，对格子噪声的去噪效果较好。
20.另外，根据本发明上述实施例提出的图像处理装置还可以具有如下附加的技术特征：
21.在本发明的一个实施例中，所述补偿模块，具体用于：计算所述第一平均值和所述第二平均值的差值的绝对值；若所述第一平均值大于所述第二平均值，则将所述中心点像素减小所述差值的绝对值。
22.在本发明的一个实施例中，所述补偿模块，具体用于：若所述第一平均值等于或者小于所述第二平均值，则将所述中心点像素增加所述差值的绝对值。
23.在本发明的一个实施例中，所述第三获取模块，具体用于：计算所述n*n像素矩阵中与所述中心点像素相同通道绿色像素的第一和值；计算所述第一和值与所述n*n像素矩阵中与所述中心点像素相同通道绿色像素的数量的比值，得到所述第一平均值。
24.在本发明的一个实施例中，所述第三获取模块，具体用于：计算所述n*n像素矩阵中与所述中心点像素不同通道绿色像素的第二和值；计算所述第二和值与所述n*n像素矩阵中与所述中心点像素不同通道绿色像素和的数量的比值，得到所述第二平均值。
25.在本发明的一个实施例中，所述图像处理装置，还包括：处理模块，所述处理模块，用于：对补偿处理后的拜耳图片进行去马赛克插值处理，得到目标图片。
26.在本发明的一个实施例中，所述去马赛克插值处理包括双线性插值处理或立方插值处理。
27.在本发明的一个实施例中，所述与所述中心点像素不同通道的绿色像素为与所述
中心点像素的行和列均相差奇数的绿色像素；所述与所述中心点像素相同通道的绿色像素为在所述n*n像素矩阵中除所述与所述中心点像素不同通道的绿色像素之外的其他绿色像素。
28.为达到上述目的，本发明第三方面实施例提出了一种图像传感器，包括本发明第二方面实施例所述的图像处理装置。
29.本发明实施例的图像传感器，能够根据两个通道的绿色像素的平均值对处于中心点的绿色像素进行补偿，有效平衡拜耳图片上的绿色像素的差异，从根源上阻碍了格子噪声的产生，对格子噪声的去噪效果较好。
30.为达到上述目的，本发明第四方面实施例提出了一种电子设备，包括存储器、处理器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现本发明第一方面实施例所述的图像处理方法。
31.本发明实施例的电子设备，通过处理器执行存储在存储器上的计算机程序，能够根据两个通道的绿色像素的平均值对处于中心点的绿色像素进行补偿，有效平衡拜耳图片上的绿色像素的差异，从根源上阻碍了格子噪声的产生，对格子噪声的去噪效果较好。
32.为达到上述目的，本发明第五方面实施例提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，该程序被处理器执行时实现本发明第一方面实施例所述的图像处理方法。
33.本发明实施例的计算机可读存储介质，通过存储计算机程序并被处理器执行，能够根据两个通道的绿色像素的平均值对处于中心点的绿色像素进行补偿，有效平衡拜耳图片上的绿色像素的差异，从根源上阻碍了格子噪声的产生，对格子噪声的去噪效果较好。
34.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
35.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
36.图1为根据本发明一个实施例的图像处理方法的流程图；
37.图2为根据本发明一个具体实施例的拜耳图片的示意图；
38.图3为根据本发明另一个具体实施例的拜耳图片的示意图；
39.图4为根据本发明另一个具体实施例的拜耳图片的示意图；
40.图5为根据本发明另一个具体实施例的拜耳图片的示意图；
41.图6为根据本发明实施例的图像处理方法中根据第一平均值和第二平均值对中心点像素进行补偿的流程图；
42.图7a为根据本发明实施例的的图像处理方法处理之前的一个拜耳图片的示意图；
43.图7b为图7a中的拜耳图片根据本发明实施例的的图像处理方法处理之后的示意图；
44.图8为根据本发明实施例的图像处理方法中第一平均值的获取的流程图；
45.图9为根据本发明实施例的图像处理方法中第二平均值的获取的流程图；
46.图10为根据本发明一个实施例的图像处理装置的方框示意图；
47.图11为根据本发明另一个实施例的图像处理装置的方框示意图；
48.图12为根据本发明一个实施例的图像传感器的方框示意图；以及
49.图13为根据本发明一个实施例的电子设备的方框示意图。
具体实施方式
50.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
51.下面结合附图来描述本发明实施例的图像处理方法、装置、图像传感器、电子设备和计算机可读存储介质。
52.图1为根据本发明一个实施例的图像处理方法的流程图。
53.如图1所示，本发明实施例的图像处理方法，包括以下步骤：
54.s101，获取拜耳图片。
55.需要说明的是，如图2所示，拜耳图片中的每个像素仅包含一种颜色分量，所有像素仅包括蓝色、绿色、红色三种颜色分量。在本发明的实施例中，用符号“b”来表征蓝色像素，用符号“g”来表征绿色像素，用符号“r”来表征红色像素。
56.可选的，可通过图像传感器来获取拜耳图片。其中，图像传感器可包括互补金属氧化物半导体(complementary metal oxide semiconductor，cmos)类型的图像传感器。
57.可选的，为了便于区分每个像素，可结合像素的颜色，将拜耳图片中的每个像素进行编号。以图3为例，可将位于拜耳图片的第一行第一例的蓝色像素编号为b11，可将位于拜耳图片的第一行第一例的绿色像素编号为g12，可将位于拜耳图片的第二行第二例的绿色像素编号为g21，可将位于拜耳图片的第二行第二例的红色像素编号为r22。
58.s102，在拜耳图片中确定绿色像素，以绿色像素为中心点像素获取n*n像素矩阵，n为等于或者大于5的奇数。
59.容易理解的是，中心点像素指的是位于n*n像素矩阵中的中心点的像素。
60.当n*n像素矩阵的中心点像素为绿色像素时，即此时n*n像素矩阵的对角线上为绿色像素，若对角线上的绿色像素相差较大时，会产生较大的格子噪声，需要对其进行格子噪声的去噪处理；当n*n像素矩阵的中心点像素为蓝色像素或者红色像素时，即此时n*n像素矩阵的对角线上不包括绿色像素，此时不会产生格子噪声，不需要对其进行格子噪声的去噪处理。
61.如图4所示，该拜耳图片由5*5像素矩阵构成，中心点像素为g33，即中心点像素为绿色像素，此时需要对其进行格子噪声的去噪处理。由图4可知对角线上的绿色像素总共包括：g11、g13、g15、g22、g24、g31、g33、g35、g42、g44、g51、g53、g55。
62.如图5所示，该拜耳图片由5*5像素矩阵构成，中心点像素为b33，即中心点像素为蓝色像素，此时不需要对其进行格子噪声的去噪处理。
63.s103，获取n*n像素矩阵中与中心点像素相同通道的绿色像素的第一平均值，以及与中心点像素不同通道的绿色像素的第二平均值。
64.可以理解的是，与中心点像素不同通道的绿色像素可为与中心点像素的行和列均相差奇数的绿色像素，与中心点像素相同通道的绿色像素可为在n*n像素矩阵中除与中心
点像素不同通道的绿色像素之外的其他绿色像素。
65.继续以图4为例，可知与中心点像素g33的行和列均相差奇数的绿色像素包括g22、g24、g42、g44，则可确定g22、g24、g42、g44为与中心点像素g33不同通道的绿色像素，进一步地，还可将5*5像素矩阵中除g22、g24、g42、g44之外的绿色像素g13、g31、g35、g53、g11、g15、g51、g55作为与中心点像素g33相同通道的绿色像素。
66.s104，根据第一平均值和第二平均值对中心点像素进行补偿。
67.可以理解的是，第一平均值表征n*n像素矩阵中与中心点像素相同通道的绿色像素的平均值，第二平均值表征n*n像素矩阵中与中心点像素不同通道的绿色像素的平均值，根据第一平均值和第二平均值对中心点像素进行补偿，能够平衡n*n像素矩阵的对角线上的绿色像素的差异，进而从根源上阻碍了格子噪声的产生，对格子噪声的去噪效果较好。
68.综上，根据本发明实施例的图像处理方法，能够根据两个通道的绿色像素的平均值对处于中心点的绿色像素进行补偿，有效平衡拜耳图片上的绿色像素的差异，从根源上阻碍了格子噪声的产生，对格子噪声的去噪效果较好。
69.在上述实施例的基础上，如图6所示，步骤s104还可包括：
70.s201，计算第一平均值和第二平均值的差值的绝对值。
71.继续以图4为例，可对g13、g31、g35、g53、g11、g15、g51、g55取平均值，作为第一平均值a1。可对g22、g24、g42、g44取平均值，作为第二平均值a2。则第一平均值a1和第二平均值a2差值的绝对值a3可为：a3＝|a1-a2|。
72.s202，若第一平均值大于第二平均值，则将中心点像素减小差值的绝对值。
73.在本发明的一个实施例中，若第一平均值大于第二平均值，说明与中心点像素相同通道的绿色像素的平均值大于与中心点像素不同通道的绿色像素的平均值，即与中心点像素相同通道的绿色像素的平均值较大，则此时可将中心点像素减小差值的绝对值，以平衡对角线上绿色像素的差异。
74.s203，若第一平均值等于或者小于第二平均值，则将中心点像素增加差值的绝对值。
75.在本发明的一个实施例中，若第一平均值等于或者小于第二平均值，说明与中心点像素相同通道的绿色像素的平均值等于或者小于与中心点像素不同通道的绿色像素的平均值，即与中心点像素相同通道的绿色像素的平均值较小，则此时可将中心点像素增加差值的绝对值，以平衡对角线上绿色像素的差异。
76.由此，该方法根据第一平均值和第二平均值的大小关系，确定中心点像素减小或者增大差值的绝对值，可有效平衡对角线上绿色像素的差异，从根源上阻碍了格子噪声的产生。
77.如图7a、7b所示，经本发明实施例的图像处理方法处理之后的图片的清晰度更高，色彩更鲜明，表明该图像处理方法的效果较好。
78.在上述实施例的基础上，步骤s103中的第一平均值的获取，如图8所示，还可包括：
79.s301，计算n*n像素矩阵中与中心点像素相同通道绿色像素的第一和值。
80.继续以图4为例，则计算第一和值s1的公式如下：
81.s1＝g13+g31+g35+g53+g11+g15+g51+g55
82.s302，计算第一和值与n*n像素矩阵中与中心点像素相同通道绿色像素的数量的
比值，得到第一平均值。
83.继续以图4为例，与中心点像素相同通道绿色像素的数量为8个，则计算第一平均值a1的公式如下：
84.a1＝s1/8＝(g13+g31+g35+g53+g11+g15+g51+g55)/8
85.在上述实施例的基础上，步骤s103中的第二平均值的获取，如图9所示，还可包括：
86.s401，计算n*n像素矩阵中与中心点像素不同通道绿色像素的第二和值。
87.继续以图4为例，则计算第二和值s2的公式如下：
88.s2＝g22+g24+g42+g44
89.s402，计算第二和值与n*n像素矩阵中与中心点像素不同通道绿色像素的数量的比值，得到第二平均值。
90.继续以图4为例，与中心点像素不同通道绿色像素的数量为4个，则计算第二平均值a2的公式如下：
91.a2＝s2/4＝(g22+g24+g42+g44)/4
92.在上述实施例的基础上，步骤s104根据第一平均值和第二平均值对中心点像素进行补偿之后，还可对补偿处理后的拜耳图片进行去马赛克插值处理，得到目标图片。应说明的是，去马赛克插值处理可为拜耳图像中的每个像素增加其他两个颜色分量，例如，若拜耳图像中的某个像素仅包含绿色分量，则去马赛克插值处理后，该像素中可同时包含绿色、蓝色、红色分量。
93.可选的，去马赛克插值处理包括双线性插值处理或立方插值处理。
94.图10为根据本发明一个实施例的图像处理装置的方框示意图。
95.如图10所示，本发明实施例的图像处理装置100，包括：第一获取模块11、第二获取模块12、第三获取模块13、补偿模块14。
96.第一获取模块11用于获取拜耳图片；
97.第二获取模块12用于在所述拜耳图片中确定绿色像素，以所述绿色像素为中心点像素获取n*n像素矩阵，所述n为等于或者大于5的奇数。
98.第三获取模块13用于获取所述n*n像素矩阵中与所述中心点像素相同通道的绿色像素的第一平均值，以及与所述中心点像素不同通道的绿色像素的第二平均值。
99.补偿模块14用于根据所述第一平均值和所述第二平均值对所述中心点像素进行补偿。
100.在本发明的一个实施例中，所述补偿模块14具体用于计算所述第一平均值和所述第二平均值的差值的绝对值；若所述第一平均值大于所述第二平均值，则将所述中心点像素减小所述差值的绝对值。
101.在本发明的一个实施例中，所述补偿模块14具体用于若所述第一平均值等于或者小于所述第二平均值，则将所述中心点像素增加所述差值的绝对值。
102.在本发明的一个实施例中，所述第三获取模块13具体用于计算所述n*n像素矩阵中与所述中心点像素相同通道绿色像素的第一和值；计算所述第一和值与所述n*n像素矩阵中与所述中心点像素相同通道绿色像素的数量的比值，得到所述第一平均值。
103.在本发明的一个实施例中，所述第三获取模块13具体用于计算所述n*n像素矩阵中与所述中心点像素不同通道绿色像素的第二和值；计算所述第二和值与所述n*n像素矩
阵中与所述中心点像素不同通道绿色像素和的数量的比值，得到所述第二平均值。
104.在本发明的一个实施例中，如图11所示，所述图像处理装置100还包括：处理模块15，所述处理模块15用于对补偿处理后的拜耳图片进行去马赛克插值处理，得到目标图片。
105.在本发明的一个实施例中，所述去马赛克插值处理包括双线性插值处理或立方插值处理。
106.在本发明的一个实施例中，所述与所述中心点像素不同通道的绿色像素为与所述中心点像素的行和列均相差奇数的绿色像素；所述与所述中心点像素相同通道的绿色像素为在所述n*n像素矩阵中除所述与所述中心点像素不同通道的绿色像素之外的其他绿色像素。
107.需要说明的是，本发明实施例的图像处理装置中未披露的细节，请参照本发明上述实施例的图像处理方法中所披露的细节，这里不再赘述。
108.综上，本发明实施例的图像处理装置，能够根据两个通道的绿色像素的平均值对处于中心点的绿色像素进行补偿，有效平衡拜耳图片上的绿色像素的差异，从根源上阻碍了格子噪声的产生，对格子噪声的去噪效果较好。
109.为了实现上述实施例，本发明还提出一种图像传感器200，如图12所示，其包括上述图像处理装置100。
110.本发明实施例的图像传感器，能够根据两个通道的绿色像素的平均值对处于中心点的绿色像素进行补偿，有效平衡拜耳图片上的绿色像素的差异，从根源上阻碍了格子噪声的产生，对格子噪声的去噪效果较好。
111.为了实现上述实施例，本发明还提出一种电子设备300，如图13所示，该电子设备300包括存储器31、处理器32。其中，处理器32通过读取存储器31中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现上述图像处理方法。
112.本发明实施例的电子设备，通过处理器执行存储在存储器上的计算机程序，能够根据两个通道的绿色像素的平均值对处于中心点的绿色像素进行补偿，有效平衡拜耳图片上的绿色像素的差异，从根源上阻碍了格子噪声的产生，对格子噪声的去噪效果较好。
113.为了实现上述实施例，本发明还提出一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述图像处理方法。
114.本发明实施例的计算机可读存储介质，通过存储计算机程序并被处理器执行，能够根据两个通道的绿色像素的平均值对处于中心点的绿色像素进行补偿，有效平衡拜耳图片上的绿色像素的差异，从根源上阻碍了格子噪声的产生，对格子噪声的去噪效果较好。
115.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
116.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
117.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
118.在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
119.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
120.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。