图像处理方法、图像处理装置和系统与流程

1.本技术涉及图像处理技术，尤其涉及一种图像处理方法、图像处理装置和系统。


背景技术：

2.摄像装置拍摄物体时，被拍摄物体反射的光线传播到镜头，经镜头聚焦到图像传感器(ccd)，图像传感器根据光的强弱积聚相应的电荷，经周期性放电，将光学影像转化为模拟电信号。模拟电信号经过放大电路放大、agc自动增益控制，然后经过模数转换电路转换为相应的数字电信号，通过数字信号处理芯片将数字电信号按照一定的视频标准处理后，输出至显示器进行输出显示。
3.现有的摄像装置成像过程复杂，步骤繁多，功耗大，不利于硅基显示和传感的集成。


技术实现要素：

4.本技术实施例提供一种图像处理方法、图像处理装置和系统，以解决相关技术存在的问题，技术方案如下：
5.第一方面，本技术实施例提供一种图像处理方法，包括：
6.将与景物相对应的光学图像信息转换为数字图像信息，数字图像信息为拜耳图像信息，数字图像信息包括各像素的颜色信息和亮度信息；
7.对数字图像信息中的各像素进行双颜色线性插值；
8.根据插值结果，将数字图像信息转换为与显示装置相匹配的显示信号。
9.在一种实施方式中，对数字图像信息中的各像素进行双颜色线性插值，包括：
10.根据第一颜色、第二颜色和第三颜色的颜色信息，从数字图像中提取各像素对应的第一颜色的亮度信息、第二颜色的亮度信息和第三颜色的亮度信息，以生成与数字图像信息相对应的第一颜色图像信息、第二颜色图像信息和第三颜色图像信息；
11.对于各颜色图像信息中的空白像素，根据空白像素的周围像素的亮度信息，对空白像素进行亮度插值，获得空白像素的亮度信息，进而获得插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息。
12.在一种实施方式中，根据空白像素周围的亮度信息，对空白像素进行亮度插值，获得空白像素的亮度信息，包括：
13.计算空白像素的周围像素的亮度信息的平均值；
14.将平均值赋值为空白像素的亮度信息。
15.在一种实施方式中，根据插值结果，将数字图像信息转换为与显示装置相匹配的显示信号，包括：
16.根据插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息，获得显示装置中各像素的子像素的显示信号，以进行显示。
17.在一种实施方式中，根据插值后的第一颜色图像信息、插值后的第二颜色图像信
息和插值后的第三颜色图像信息，获得显示装置中各像素的子像素的显示信号，包括：
18.将插值后的第一颜色图像信息中的各亮度信息转换为显示装置中各像素的第一子像素的显示信号；
19.将插值后的第二颜色图像信息中的各亮度信息转换为显示装置中各像素的第二子像素的显示信号；
20.将插值后的第三颜色图像中的各亮度信息转换为显示装置中各像素的第三子像素的显示信号。
21.在一种实施方式中，第一颜色为红色，第二颜色为绿色，第三颜色为蓝色。
22.在一种实施方式中，方法还包括：
23.将显示信号传输至显示装置的源驱动器，以驱动显示装置进行显示。
24.在一种实施方式中，方法还包括：
25.根据反畸变原理，对显示装置显示的图像进行逆变处理，获得与景物一致的虚像。
26.第二方面，本技术实施例提供一种图像处理装置，包括：
27.数字图像转换模块，用于将与景物相对应的光学图像信息转换为数字图像信息，数字图像信息为拜耳图像信息，数字图像信息包括各像素的颜色信息和亮度信息；
28.插值模块，用于对数字图像信息中的各像素进行双颜色线性插值；
29.显示信号转换模块，用于根据插值结果，将数字图像信息转换为与显示装置相匹配的显示信号。
30.在一种实施方式中，插值模块包括：
31.提取子模块，用于根据第一颜色、第二颜色和第三颜色的颜色信息，从数字图像中提取各像素对应的第一颜色的亮度信息、第二颜色的亮度信息和第三颜色的亮度信息，以生成与数字图像信息相对应的第一颜色图像信息、第二颜色图像信息和第三颜色图像信息；
32.插值子模块，用于对于各颜色图像信息中的空白像素，根据空白像素的周围像素的亮度信息，对空白像素进行亮度插值，获得空白像素的亮度信息，进而获得插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息。
33.在一种实施方式中，插值子模块包括：
34.计算单元，用于计算空白像素的周围像素的亮度信息的平均值；
35.赋值单元，用于将平均值赋值为空白像素的亮度信息。
36.在一种实施方式中，
37.显示信号转换模块还用于将插值后的第一颜色图像信息中的各亮度信息转换为显示装置中各像素的第一子像素的显示信号；将插值后的第二颜色图像信息中的各亮度信息转换为显示装置中各像素的第二子像素的显示信号；将插值后的第三颜色图像中的各亮度信息转换为显示装置中各像素的第三子像素的显示信号。
38.第三方面，本技术实施例提供一种图像处理系统，包括本公开任一实施例中的图像处理装置，还包括显示装置和反畸变透镜装置，
39.显示装置用于接收显示信号，并根据显示信号进行显示；
40.反畸变透镜装置用于接收显示装置显示的图像，并使用户观看到与景物相一致的虚像。
41.本公开实施例的技术方案，数字图像信息中各像素包括一种颜色及亮度信息，为了满足显示装置的显示需求，通过对数字图像信息中的各像素进行双颜色线性插值，可以获得各像素对应的另外两种颜色及亮度信息，不仅可以满足显示装置的显示需求，实现显示装置对图像的显示，而且丰富了各像素的颜色和亮度信息，进一步提高显示效果。本公开实施例的图像处理过程精简化，架构和信号处理简单，减小电路面积，节省功耗，有利于硅基显示和传感的集成。
42.上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本技术进一步的方面、实施方式和特征将会是容易明白的。
附图说明
43.在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本技术公开的一些实施方式，而不应将其视为是对本技术范围的限制。
44.图1为相关技术中摄像头成像数字信号处理的流程示意图；
45.图2为本公开一实施例中图像处理方法的流程图；
46.图3为本公开一实施例中数字图像信息的示意图；
47.图4a为图3所示数字图像信息对应的第一颜色图像信息；
48.图4b为图4a对应的插值后的第一颜色图像信息；
49.图5a为图3所示数字图像信息对应的第二颜色图像信息；
50.图5b为图5a对应的插值后的第二颜色图像信息；
51.图6a为图3所示数字图像信息对应的第三颜色图像信息；
52.图6b为图6a对应的插值后的第三颜色图像信息；
53.图7为本公开一实施例中图像处理装置的结构示意图；
54.图8为本公开另一实施例中图像处理装置的结构示意图；
55.图9为本公开另一实施例中图像处理装置的结构示意图；
56.图10为本公开一实施例中图像处理系统的结构示意图；
57.图11为本公开一实施例中图像处理系统的信号处理流程示意图。
具体实施方式
58.在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本技术的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
59.图1为相关技术中摄像头成像数字信号处理的流程示意图。如图1所示，摄像头成像的过程可以包括以下几个阶段：
60.第一阶段：景物反射的光线通过摄像装置的镜头(lens)生成光学图像，光学图像经拜耳滤光片过滤后透射到图像传感器表面，拜耳滤光片为呈拜耳排布(bayer排布)的滤光膜，因此，图像传感器采集到的光学图像呈拜耳排布。
61.第二阶段：图像传感器接收光学图像后，将光信号转化为模拟电信号；光电转换模
块中的采样电路采集模拟电信号后，经过模拟前端(afe)，并进行消噪处理，然后模数转换电路(adc)将模拟信号转换为数字信号并输出。
62.第三阶段：从图像传感器输出的图像为bayer图像，在转变为数字图像信号后，对数字图像信号进行黑电平补偿(black level compensation，blc)、镜头矫正(lens shading correction，lsc)、坏像素矫正(bad pixel correction，bpc)、颜色插值(demosaic)、bayer噪声去除(denoise)、白平衡(awb)矫正等，然后通过i/o接口传输到ap/cpu，反馈给摄像头进行物理调整。
63.第四阶段：在物理调整之后，将调整完后产生的图像经过数字信号处理，增加色彩校正(color correction)、gamma矫正、色彩空间转换(rgb转换为tuv)、在yuv色彩空间彩色转换去除噪声与边缘加强(sharp)、色彩与对比度加强，中间还要进行自动曝光控制等，然后输出yuv(或者rgb)格式的数据，将数据传递给图形处理器(graphics processing unit，gpu)生成显示图像的数字信息。
64.第五阶段：数字信息经由mipi传输给时序控制器(tcon)形成显示方案，分配给源驱动器(source driver)完成数模转换，驱动显示装置进行显示。
65.第六阶段：显示内容在透镜作用下形成虚像，以便人眼观看，完成景物的显示。
66.通过以上可知，相关技术中，摄像头成像数字信号处理流程复杂、步骤繁多，功耗大，不利于硅基显示和传感的集成。
67.图2为本公开一实施例中图像处理方法的流程图。在一种实施方式中，如图2所示，图像处理方法可以包括：
68.s100、将与景物对应的光学图像信息转换为数字图像信息，数字图像信息为拜耳图像信息，数字图像信息包括各像素的颜色信息和亮度信息；
69.s200、对数字图像信息中的各像素进行双颜色线性插值；
70.s300、根据插值结果，将数字图像信息转换为与显示装置相匹配的显示信号。
71.示例性地，在将与景物对应的光学图像信息转换为数字图像信息之前，图像处理方法还可以包括采集与景物相对应的光学图像信息。景物反射的光线通过摄像装置的镜头(lens)进入摄像头内部，处理后经过红外滤光片(ir filter)过滤红外光，生成光学图像。光学图像经拜耳滤光片过滤后透射到图像传感器表面，拜耳滤光片为呈拜耳排布(bayer排布)的滤光膜，因此，图像传感器采集到的光学图像呈拜耳排布，光学图像信息也呈拜耳排布。光学图像信息包括各像素的颜色信息和光强信息。
72.示例性地，图像传感器接收到光学图像信息后，进行光电转换，例如，图像传感器中的采样电路采集光学图像后将光学图像转换为模拟图像信号，经过模拟前端(afe)，并进行消噪处理，然后模数转换电路将模拟图像信号转换为数字图像信号，并输出数字图像信息。由于光学图像信息呈拜耳排布，获得的数字图像信息呈拜耳图像信息，数字图像信息包括各像素的颜色信息和亮度信息。
73.示例性地，为了使得数字图像与显示装置的像素相匹配，图像传感器的排布可以与显示装置的像素排布方式相同，便于数字图像信息与显示装置的显示信号之间无损转换。
74.图3为本公开一实施例中数字图像信息的示意图。如图3所示，数字图像信息具有拜耳特性。示例性地，图3中的数字图像包括5行5列像素，每个像素具有对应的颜色信息和
亮度信息，例如，第一行第一列像素对应的颜色信息为绿色，对应的亮度信息为g
1,1
；第三行第二列像素对应的颜色信息为红色，对应的亮度信息为r
3,2
；第二行第三列像素对应的颜色信息为蓝色，对应的亮度信息为b
2,3
。
75.如图3所示，每个像素包括一种颜色，因此，对各像素进行双颜色线性插值，以便获得各像素中其它两种颜色的亮度信息。例如，第一行第一列像素包括绿色、亮度信息为g
1,1
。为了符合显示装置的r、g、b信号，需要对第一行第一列像素进行双颜色线性插值，以便获得第一行第一列像素对应的红色亮度信息和蓝色亮度信息。
76.本公开实施例的图像处理方法，数字图像信息中各像素包括一种颜色及亮度信息，为了满足显示装置的显示需求，通过对数字图像信息中的各像素进行双颜色线性插值，可以获得各像素对应的另外两种颜色及亮度信息，不仅可以满足显示装置的显示需求，实现显示装置对图像的显示，而且丰富了各像素的颜色和亮度信息，进一步提高显示效果。
77.本公开实施例的图像处理方法，数字处理过程相比于图1所示过程精简化，有利于硅基显示和传感的集成，架构和信号处理简单，减小电路面积，节省功耗和硅基显示背板显示面积。
78.在一种实施方式中，对数字图像信息中的各像素进行双颜色线性插值，包括：根据第一颜色、第二颜色和第三颜色的颜色信息，从数字图像中提取各像素对应的第一颜色的亮度信息、第二颜色的亮度信息和第三颜色的亮度信息，以生成与数字图像信息相对应的第一颜色图像信息、第二颜色图像信息和第三颜色图像信息；对于各颜色图像信息中的空白像素，根据空白像素的周围像素的亮度信息，对空白像素进行亮度插值，获得空白像素的亮度信息，进而获得插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息。
79.示例性地，第一颜色可以为红色，第二颜色可以为绿色，第三颜色可以为蓝色。可以理解的是，第一颜色、第二颜色和第三颜色并不限于以上列出的颜色，还可以为其它颜色。
80.图4a为图3所示数字图像信息对应的第一颜色图像信息。示例性地，根据第一颜色(红色)的颜色信息，从图3所示数字图像信息中提取各像素对应的红色的亮度信息，以生成与数字图像信息相对应的第一颜色图像信息，如图4a所示。示例性地，从图3所示数字图像信息中，将红色像素的亮度信息提取出来，例如，图3中，第一行第一列像素由于不包含红色信息，所以，在第一颜色图像信息中，第一行第一列像素为空白像素；第一行第二列像素包含红色信息，所以，在第一颜色图像信息中，第一行第二列像素为红色，对应的亮度信息为r
1,2
；第二行第一列像素由于不包含红色信息，所以，在第一颜色图像信息中，第二行第一列像素为空白像素。
81.图5a为图3所示数字图像信息对应的第二颜色图像信息。示例性地，根据第二颜色(绿色)的颜色信息，从图3所示数字图像信息中提取各像素对应的绿色的亮度信息，以生成与数字图像信息相对应的第二颜色图像信息，如图5a所示。示例性地，从图3所示数字图像信息中，将绿色像素的亮度信息提取出来，例如，图3中，第一行第一列像素包含绿色信息，所以，在第二颜色图像信息中，第一行第一列像素为绿色，对应的亮度信息为g
1,1
；第一行第二列像素不包含绿色信息，所以，在第二颜色图像信息中，第一行第二列像素为空白像素；第二行第一列像素由于不包含绿色信息，所以，在第二颜色图像信息中，第二行第一列像素
为空白像素。
82.图6a为图3所示数字图像信息对应的第三颜色图像信息。示例性地，根据第三颜色(蓝色)的颜色信息，从图3所示数字图像信息中提取各像素对应的蓝色的亮度信息，以生成与数字图像信息相对应的第三颜色图像信息，如图6a所示。示例性地，从图3所示数字图像信息中，将蓝色像素的亮度信息提取出来，例如，图3中，第一行第一列像素不包含蓝色信息，所以，在第三颜色图像信息中，第一行第一列像素为空白像素；第一行第二列像素不包含蓝色信息，所以，在第三颜色图像信息中，第一行第二列像素为空白像素；第二行第一列像素包含蓝色信息，所以，在第三颜色图像信息中，第二行第一列像素为蓝色，对应的亮度信息为b
2,1
。
83.可以理解的是，对于显示装置，每个像素可以包括红色子像素、绿色子像素和蓝色子像素，为了满足显示装置的显示需求，需要获得每个像素对应的各子像素的亮度信息。
84.示例性地，对于第一颜色图像信息中的空白像素，可以根据空白像素的周围像素的亮度信息，对空白像素进行亮度差值，获得空白像素的亮度信息。例如，对于第一颜色图像信息中的第三行第三列空白像素，该空白像素的周围像素包括第三行第二列像素和第三行第四列像素。对于第三行第三列空白像素，可以根据第三行第二列像素的亮度信息r
3,2
和第三行第四列像素的亮度信息r
3,4
，对该空白像素进行亮度插值，获得第三行第三列空白像素的亮度信息。
85.示例性地，对于第二颜色图像信息中的空白像素，可以根据空白像素的周围像素的亮度信息，对空白像素进行亮度差值，获得空白像素的亮度信息。例如，对于第二颜色图像信息中的第三行第四列空白像素，该空白像素的周围像素包括第三行第三列像素、第二行第四列像素、第三行第五列像素和第四行第四列像素。对于第三行第四列空白像素，可以根据第三行第三列像素的亮度信息g
3,3
、第二行第四列像素的亮度信息g
2,4
、第三行第五列像素的亮度信息g
3,5
和第四行第四列像素的亮度信息g
4,4
，对该空白像素进行亮度插值，获得第三行第四列空白像素的亮度信息。
86.示例性地，对于第三颜色图像信息中的空白像素，可以根据空白像素的周围像素的亮度信息，对空白像素进行亮度差值，获得空白像素的亮度信息。例如，对于第三颜色图像信息中的第三行第四列空白像素，该空白像素的周围像素包括第二行第三列像素、第二行第五列像素、第四行第三列像素和第四行第五列像素。对于第三行第四列空白像素，可以根据第二行第三列像素的亮度信息b
2,3
、第二行第五列像素的亮度信息b
2,5
、第四行第三列像素的亮度信息b
4,3
和第四行第列列像素的亮度信息b
4,5
，对该空白像素进行亮度插值，获得第三行第四列空白像素的亮度信息。例如，对于第三颜色图像信息中的第三行第三列空白像素，该空白像素的周围像素包括第二行第三列像素和第四行第三列像素。对于第三行第三列空白像素，可以根据第二行第三列像素的亮度信息b
2,3
和第四行第三列像素的亮度信息b
4,3
，对该空白像素进行亮度插值，获得第三行第三列空白像素的亮度信息。
87.图4b为图4a对应的插值后的第一颜色图像信息，图5b为图5a对应的插值后的第二颜色图像信息，图6b为图6a对应的插值后的第三颜色图像信息。如图4b、图5b和图6b所示，采用本公开实施例的方法对空白像素进行亮度插值后，获得插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息。在插值后的第一颜色图像信息中，各像素均具有对应的颜色信息和亮度信息；在插值后的第二颜色图像信息中，各像素均
具有对应的颜色信息和亮度信息；在插值后的第三颜色图像信息中，各像素均具有对应的颜色信息和亮度信息。
88.在一种实施方式中，根据空白像素周围的亮度信息，对空白像素进行亮度插值，获得空白像素的亮度信息，包括：计算空白像素的周围像素的亮度信息的平均值；将平均值赋值为空白像素的亮度信息。
89.示例性地，可以采用类内插法对空白像素进行亮度差值，获得空白像素的亮度信息。例如，对于第一颜色图像信息中的第三行第三列空白像素，其亮度信息对于第二颜色图像信息中的第三行第四列空白像素，其亮度信息对于第三颜色图像信息中的第三行第四列空白像素，其亮度信息对于第三颜色图像信息中的第三行第三列空白像素，其亮度信息
90.可以理解的是，对空白像素进行亮度插值时，并不限于将周围像素的亮度信息的平均值作为空白像素的亮度信息。可以根据空白像素的周围像素的亮度信息，采用常用的插值方法进行插值计算，以获得空白像素的亮度信息。
91.在一种实施方式中，根据插值结果，将数字图像信息转换为与显示装置相匹配的显示信号，包括：根据插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息，获得显示装置中各像素的子像素亮度信息，以进行显示。
92.示例性地，在获得插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息后，可以将插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息进行融合，获得满足显示装置需求的各像素的子像素亮度信息，以进行显示。例如，根据插值后的第一颜色图像信息中第一行第一列像素的颜色信息和亮度信息、插值后的第二颜色图像信息中第一行第一列像素的颜色信息和亮度信息和插值后的第三颜色图像信息中第一行第一列像素的颜色信息和亮度信息，获得显示装置中第一行第一列像素中各子像素的颜色信息和亮度信息，从而可以更好地对第一行第一列像素进行显示。
93.在一种实施方式中，可以将插值后的第一颜色图像信息中的各亮度信息作为显示装置中各像素的第一子像素的亮度信息；将插值后的第二颜色图像信息中的各亮度信息作为显示装置中各像素的第二子像素的亮度信息；将插值后的第三颜色图像中的各亮度信息作为显示装置中各像素的第三子像素的亮度信息。
94.示例性地，将图4b中第一行第一列像素的亮度信息r’1,1
作为显示装置中第一行第一列像素中的第一子像素(例如红色子像素)的亮度信息；将图5b中第一行第一列像素的亮度信息g
1,1
作为显示装置中第一行第一列像素中的第二子像素(例如绿色子像素)的亮度信息；将图6b中第一行第一列像素的亮度信息b’1,1
作为显示装置中第一行第一列像素中的第三子像素(例如蓝色子像素)的亮度信息。从而，可以获得显示装置中第一行第一列像素中各子像素的亮度信息，进而获得第一行第一列像素中各子像素的显示信号。
95.在一种实施方式中，图像处理方法还可以包括：将显示信号传输至显示装置的源
驱动器，以驱动显示装置进行显示。
96.示例性地，将显示信号传输至源驱动器，源驱动器对显示信号进行数模转换，将数字电信号转换为模拟电信号，并经过电平转换(level shift)、数据映射(data mapping)以及缓冲放大器(op)后，驱动显示装置进行显示。
97.在一种实施方式中，图像处理方法还可以包括：根据反畸变原理，对显示装置显示的图像进行逆变处理，获得与景物一致的虚像。
98.示例性地，景物反射的光线通过摄像装置的镜头(lens)时，可能会产生一定的畸变，使得获得光学图像与景物存在不一致，致使显示装置显示的图像与真实景物存在不一致。为了消除这种不一致，可以根据反畸变原理，对显示装置显示的图像进行逆变处理。例如，可以利用近眼显示成像透镜的反畸变设计，对显示装置显示的图像进行逆变，获得对应的虚像，虚像与景物相一致，用户观看到与景物一致的虚像。采用这样的方式对图像进行处理，不仅可以获得与景物一致的图像，而且可以减少数据处理过程和相应的硬件电路，进一步精简化数字处理过程，有利于轨迹生产技术整合生产，减小电路面积。
99.可以理解的是，在其它实施例中，在将显示信号传输至显示装置的源驱动器之前，可以通过逆变处理模块对显示信号进行逆变处理，逆变处理模块用于根据反畸变原理，对显示信号进行逆变处理，将处理后的显示信号穿书之显示装置的源驱动器，以驱动显示装置进行显示，从而，用户可以通过显示装置直接观看到与景物一致的图像。
100.图7为本公开一实施例中图像处理装置的结构示意图。本公开实施例还提供一种图像处理装置，如图7所示，图像处理装置可以包括：
101.数字图像转换模块71，用于将与景物相对应的光学图像信息转换为数字图像信息，数字图像信息为拜耳图像信息，数字图像信息包括各像素的颜色信息和亮度信息；
102.插值模块72，用于对数字图像信息中的各像素进行双颜色线性插值；
103.显示信号转换模块73，用于根据插值结果，将数字图像信息转换为与显示装置相匹配的显示信号。
104.示例性地，数字图像转换模块71可以包括图像传感器(ccd)和光电转换模块。图像传感器可以接收光学图像，将光信号转化为模拟电信号。光电转换模块中的采样电路采集模拟电信号后，经过模拟前端(afe)，并进行消噪处理，然后模数转换电路(adc)将模拟信号转化为数字信号，并输出数字图像信息。
105.示例性地，数字图像信息可以通过mipi传输给时序控制器(tcon)，时序控制器中的插值模块可以对数字图像信息中的各像素进行双颜色线性插值。
106.图8为本公开另一实施例中图像处理装置的结构示意图。在一种实施方式中，如图8所示，插值模块72可以包括：提取子模块721，用于根据第一颜色、第二颜色和第三颜色的颜色信息，从数字图像中提取各像素对应的第一颜色的亮度信息、第二颜色的亮度信息和第三颜色的亮度信息，以生成与数字图像信息相对应的第一颜色图像信息、第二颜色图像信息和第三颜色图像信息；插值子模块722，用于对于各颜色图像信息中的空白像素，根据空白像素的周围像素的亮度信息，对空白像素进行亮度插值，获得空白像素的亮度信息，进而获得插值后的第一颜色图像信息、插值后的第二颜色图像信息和插值后的第三颜色图像信息。
107.图9为本公开另一实施例中图像处理装置的结构示意图。在一种实施方式中，如图
9所示，插值子模块722包括：计算单元7221，用于计算空白像素的周围像素的亮度信息的平均值；赋值单元7222，用于将平均值赋值为空白像素的亮度信息。
108.在一种实施方式中，显示信号转换模块73还用于将插值后的第一颜色图像信息中的各亮度信息作为显示装置中各像素的第一子像素的亮度信息；将插值后的第二颜色图像信息中的各亮度信息作为显示装置中各像素的第二子像素的亮度信息；将插值后的第三颜色图像中的各亮度信息作为显示装置中各像素的第三子像素的亮度信息。
109.图10为本公开一实施例中图像处理系统的结构示意图。本公开实施例还提供一种图像处理系统，如图10所示，包括以上实施例中的图像处理装置，还包括显示装置74和反畸变透镜装置75。显示装置74用于接收显示信号，并根据显示信号进行显示；反畸变透镜装置75用于接收显示装置显示的图像，并使用户观看到与景物相一致的虚像。
110.图11为本公开一实施例中图像处理系统的信号处理流程示意图。结合图11，详细说明本公开实施例中图像处理系统的信号处理流程。
111.如图11所示，景物反射的光线通过摄像装置的镜头(lens)生成光学图像，光学图像经拜耳滤光片过滤后透射到图像传感器表面，拜耳滤光片为呈拜耳排布(bayer排布)的滤光膜，因此，图像传感器采集到的光学图像呈拜耳排布。
112.图像传感器ccd接收光学图像后，将光信号转化为模拟电信号；光电转换模块中的采样电路采集模拟电信号后，经过模拟前端(afe)，并进行消噪处理，然后模数转换电路(adc)将模拟信号转换为数字信号并输出数字图像信息。
113.数字图像信息以差分信号形式通过mipi传输给时序控制器(tcon)，时序控制器中的插值模块可以对数字图像信息中的各像素进行双颜色线性插值；时序控制器中的显示信号转换模块，将插值后的第一颜色图像信息中的各亮度信息转换为显示装置中各像素的第一子像素的显示信号；将插值后的第二颜色图像信息中的各亮度信息转换为显示装置中各像素的第二子像素的显示信号；将插值后的第三颜色图像中的各亮度信息转换为显示装置中各像素的第三子像素的显示信号；时序控制器将各像素的第一子像素的显示信号、第二子像素的显示信号和第三子像素的显示信号传输给显示装置的源驱动器。第一子像素的显示信号、第二子像素的显示信号和第三子像素的显示信号与显示装置的红色子像素、绿色子像素和蓝色子像素的显示信号相匹配。
114.显示装置的源驱动器接收各像素的第一子像素的显示信号、第二子像素的显示信号和第三子像素的显示信号后，将各子像素的显示信号进行数模转换，并经过电平转换(level shift)、数据映射(data mapping)以及缓冲放大器(op)后，驱动显示装置进行显示。
115.反畸变透镜装置接收显示装置显示的图像，通过透镜成像，使用户可以观看到与景物一致的虚像。
116.景物反射的光线通过摄像装置的镜头(lens)时，可能会产生一定的畸变，使得获得光学图像与景物存在不一致，致使显示装置显示的图像与真实景物存在不一致。可以根据摄像装置的镜头特性，根据反畸变原理，设计出与摄像装置的镜头相对应的反畸变透镜装置，反畸变透镜装置可以消除摄像装置的镜头导致的图像畸变，从而，显示装置显示的图像通过反畸变透镜装置进行透镜成像后，可以呈现与景物一致的虚像。
117.将本公开实施例中的图像处理系统的信号处理流程与图1所示信号处理流程进行
对比，本公开实施例的图像处理系统的架构和信号处理流程更简单，节省了功耗、减小了电路面积，有利于硅基显示和传感的集成。
118.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本技术的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
119.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
120.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或多个(两个或两个以上)用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。
121.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
122.应理解的是，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
123.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。
124.以上，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。