用于去除图像中的杂光的方法、系统和计算机可读介质与流程

1.本发明涉及图像处理技术，尤其涉及一种用于去除图像中的杂光的方法、系统和计算机可读介质。


背景技术：

2.随着智能手机、平板计算机等便携式设备的发展，对大屏占比的需求逐渐增加。用户需要真正的“全显示”以获得身临其境的观看体验。为了实现大屏占比或实现“全面屏”显示器，配备前置摄像头的终端设备将前置摄像头隐藏在显示器下方。也就是说，前置摄像头位于显示器底下。在拍照或录像时，通过显示器的光线被前置摄像头接收。但是，通过显示器的光线会受到扫描线、数据线等内部结构的影响，从而造成衍射效应。因此，使用位于显示器下方的摄像头拍摄的图像会从明亮的光源中获得杂光。这大大降低了图像质量。因此，需要解决本领域的现有技术中存在的问题。


技术实现要素：

3.本技术的目的在于提出一种用于去除图像中的杂光的方法、系统和计算机可读介质。
4.在本技术的第一方面中，提供了一种去除图像中的杂光的方法。所述图像通过设置在电子设备的显示器下的图像采集单元拍摄。所述杂光是通过当光线通过所述显示器的内部结构时产生的衍射效应而引起。所述方法包括：
5.利用所述图像采集单元连续拍摄均匀曝光图像及具有不同曝光设定的曝光不足图像；
6.确定所述杂光是否在所述均匀曝光图像内；
7.响应于确定所述杂光在所述均匀曝光图像内，将所述曝光不足图像的图像对象相对于所述均匀曝光图像对齐；以及
8.使用对齐的所述曝光不足图像去除所述均匀曝光图像中的所述杂光，其中根据所述均匀曝光图像的亮度，将用于去除所述均匀曝光图像中的所述杂光的所述曝光不足图像在亮度上归一化，然后将归一化的所述曝光不足图像去噪。
9.根据结合本技术的第一方面的一实施例，所述确定所述杂光是否在所述均匀曝光图像中包括：
10.通过比较所述均匀曝光图像的像素的亮度与亮度阈值来识别所述均匀曝光图像中的光源。
11.根据结合本技术的第一方面的一实施例，在识别出所述均匀曝光图像中的所述光源之后，所述确定所述杂光是否在所述均匀曝光图像中还包括：
12.确定封装所述光源的感兴趣区域(roi)；
13.确定区域中的图案是否符合预定图案，其中所述区域围绕所述光源且在所述roi内；以及
14.响应于确定所述区域中的所述图案符合所述预定图案而确定所述杂光在所述均匀曝光图像中，并且响应于确定所述区域中的所述图案不符合所述预定图案而确定所述杂光不在所述均匀曝光图像中。
15.根据结合本技术的第一方面的一实施例，所述图案是颜色分布的图案。
16.根据结合本技术的第一方面的一实施例，所述图案是空间特征图案。
17.根据结合本技术的第一方面的一实施例，所述使用对齐的所述曝光不足图像去除所述均匀曝光图像中的所述杂光包括：
18.将频域中的每一所述均匀曝光图像和所述曝光不足图像的频率分别划分到不同的频率通道中；
19.对于每一所述频率通道，基于所述均匀曝光图像的所述亮度将每一所述曝光不足图像的所述亮度归一化；
20.通过在每一所述频率通道中重叠归一化的所述曝光不足的图像将归一化的所述曝光不足图像去噪；以及
21.用与去噪信号对应的去噪后的所述曝光不足图像的至少一所述频率通道替换所述杂光所属的所述均匀曝光图像的至少一所述频率通道。
22.在本技术的第二方面中，提供了一种用于去除图像中的杂光的系统。所述图像通过设置在电子设备的显示器下的图像采集单元拍摄。所述杂光是通过当光线通过所述显示器的内部结构时产生的衍射效应而引起。所述系统包括：
23.至少一个存储器，配置为存储程序指令；
24.至少一个处理器，配置为执行所述程序指令，其中所述程序指令使所述至少一个处理器执行以下步骤，包括：
25.利用所述图像采集单元连续拍摄均匀曝光图像及具有不同曝光设定的曝光不足图像；
26.确定所述杂光是否在所述均匀曝光图像内；
27.响应于确定所述杂光在所述均匀曝光图像内，将所述曝光不足图像的图像对象相对于所述均匀曝光图像对齐；以及
28.使用对齐的所述曝光不足图像去除所述均匀曝光图像中的所述杂光，其中根据所述均匀曝光图像的亮度，将用于去除所述均匀曝光图像中的所述杂光的所述曝光不足图像在亮度上归一化，然后将归一化的所述曝光不足图像去噪。
29.根据结合本技术的第二方面的一实施例，所述确定所述杂光是否在所述均匀曝光图像中包括：
30.通过比较所述均匀曝光图像的像素的亮度与亮度阈值来识别所述均匀曝光图像中的光源。
31.根据结合本技术的第二方面的一实施例，在识别出所述均匀曝光图像中的所述光源之后，所述确定所述杂光是否在所述均匀曝光图像中还包括：
32.确定封装所述光源的感兴趣区域(roi)；
33.确定区域中的图案是否符合预定图案，其中所述区域围绕所述光源且在所述roi内；以及
34.响应于确定所述区域中的所述图案符合所述预定图案而确定所述杂光在所述均
匀曝光图像中，并且响应于确定所述区域中的所述图案不符合所述预定图案而确定所述杂光不在所述均匀曝光图像中。
35.根据结合本技术的第二方面的一实施例，所述图案是颜色分布的图案。
36.根据结合本技术的第二方面的一实施例，所述图案是空间特征图案。
37.根据结合本技术的第二方面的一实施例，所述使用对齐的所述曝光不足图像去除所述均匀曝光图像中的所述杂光包括：
38.将频域中的每一所述均匀曝光图像和所述曝光不足图像的频率分别划分到不同的频率通道中；
39.对于每一所述频率通道，基于所述均匀曝光图像的所述亮度将每一所述曝光不足图像的所述亮度归一化；
40.通过在每一所述频率通道中重叠归一化的所述曝光不足的图像将归一化的所述曝光不足图像去噪；以及
41.用与去噪信号对应的去噪后的所述曝光不足图像的至少一所述频率通道替换所述杂光所属的所述均匀曝光图像的至少一所述频率通道。
42.在本技术的第三方面中，提供了一种用于去除图像中的杂光的非暂时性计算机可读介质。所述图像通过设置在电子设备的显示器下的图像采集单元拍摄。所述杂光是通过当光线通过所述显示器的内部结构时产生的衍射效应而引起。所述非暂时性计算机可读介质其上存储有程序指令，当所述程序指令由至少一处理器执行时，所述至少一处理器执行以下步骤，包括：
43.利用所述图像采集单元连续拍摄均匀曝光图像及具有不同曝光设定的曝光不足图像；
44.确定所述杂光是否在所述均匀曝光图像内；
45.响应于确定所述杂光在所述均匀曝光图像内，将所述曝光不足图像的图像对象相对于所述均匀曝光图像对齐；以及
46.使用对齐的所述曝光不足图像去除所述均匀曝光图像中的所述杂光，其中根据所述均匀曝光图像的亮度，将用于去除所述均匀曝光图像中的所述杂光的所述曝光不足图像在亮度上归一化，然后将归一化的所述曝光不足图像去噪。
47.根据结合本技术的第三方面的一实施例，所述确定所述杂光是否在所述均匀曝光图像中包括：
48.通过比较所述均匀曝光图像的像素的亮度与亮度阈值来识别所述均匀曝光图像中的光源。
49.根据结合本技术的第三方面的一实施例，在识别出所述均匀曝光图像中的所述光源之后，所述确定所述杂光是否在所述均匀曝光图像中还包括：
50.确定封装所述光源的感兴趣区域(roi)；
51.确定区域中的图案是否符合预定图案，其中所述区域围绕所述光源且在所述roi内；以及
52.响应于确定所述区域中的所述图案符合所述预定图案而确定所述杂光在所述均匀曝光图像中，并且响应于确定所述区域中的所述图案不符合所述预定图案而确定所述杂光不在所述均匀曝光图像中。
53.根据结合本技术的第三方面的一实施例，所述图案是颜色分布的图案。
54.根据结合本技术的第三方面的一实施例，所述图案是空间特征图案。
55.根据结合本技术的第三方面的一实施例，所述使用对齐的所述曝光不足图像去除所述均匀曝光图像中的所述杂光包括：
56.将频域中的每一所述均匀曝光图像和所述曝光不足图像的频率分别划分到不同的频率通道中；
57.对于每一所述频率通道，基于所述均匀曝光图像的所述亮度将每一所述曝光不足图像的所述亮度归一化；
58.通过在每一所述频率通道中重叠归一化的所述曝光不足的图像将归一化的所述曝光不足图像去噪；以及
59.用与去噪信号对应的去噪后的所述曝光不足图像的至少一所述频率通道替换所述杂光所属的所述均匀曝光图像的至少一所述频率通道。
60.在本技术中，利用所述显示器下方的所述图像采集单元拍摄的所述图像中的所述杂光被去除，从而提高图像质量。所述杂光是通过当光线通过所述显示器的内部结构时产生的衍射效应而引起。
附图说明
61.为了更清楚地说明本技术或相关技术的实施例，以下对实施例中的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
62.图1为根据本技术的实施例的显示器下方设置有图像采集单元的电子设备的示意图。
63.图2为根据本技术的实施例的用于去除图像中的杂光的方法的流程图。
64.图3为根据本技术的实施例的杂光去除步骤的流程图。
65.图4为根据本技术的实施例的用于实现去除图像中的杂光的方法的电子设备的方块图。
具体实施方式
66.下面结合附图对本技术的实施例的技术事项、结构特征、实现的目的和效果进行详细说明。具体地，本技术的实施例中的术语仅用于说明本技术的某些实施例的目的，并不用于限制本发明。
67.参照图1，提供一种电子设备10，其具有显示器12和图像采集单元(例如，照相机)14。图像采集单元设置在显示器12下方或位于显示器12底下。显示器12是透明的，允许光线通过显示器12到达图像采集单元14。显示器12包括扫描线、数据线等内部结构120，这些内部结构120会影响光线从显示器12到图像采集单元的传输14。由于内部结构120，几乎不可避免地会产生衍射效应，并反映在图像采集单元14所拍摄的图像中。使用图像采集单元14所拍摄的图像会由于衍射效应而从明亮的光源中产生杂光，从而降低图像质量。
68.电子设备10可以由移动终端、便携式终端、或者相对较大尺寸的设备来实现。移动终端诸如移动电话、智能手机、个人数字助理(personal digital assistant，pda)、平板计
算机和视频游戏设备。便携式终端诸如膝上型计算机和笔记本计算机。相对较大尺寸的设备诸如计算机显示器和电视，或具有隐藏在显示器12下方或内部的图像捕获单元14的任何其他类型的设备。
69.为了消除对包含强光源的场景进行拍摄时的图像中的杂光，本技术提供了一种去除图像中的杂光的方法，其至少适用于上述描述的场景。参考图2，所述方法将更详细地描述如下。
70.在步骤s10中，图像采集单元14用以连续拍摄均匀曝光图像及具有不同曝光设定的曝光不足图像。当图像采集单元14用于拍摄场景的图像时，图像采集单元14会针对同一场景产生一个均匀曝光图像及多个曝光不足图像。均匀曝光图像可以具有用于拍摄场景的默认曝光设置。曝光不足图像可能具有曝光时间小于默认曝光设置的曝光时间的曝光设置。也就是说，曝光不足图像的亮度通常小于均匀曝光图像的亮度。曝光不足图像用于补偿均匀曝光图像的杂光信息，这将在下面更详细地描述。
71.确定杂光是否在均匀曝光图像中。如果均匀曝光图像中存在杂光，则说明需要去除杂光，并且进入步骤16。如果均匀曝光图像中没有杂光，则无需去除杂光，随着输出没有任何杂光信息补偿的均匀曝光图像而终止程序。
72.在步骤s12中，为了确定杂光是否在均匀曝光图像中，可能需要识别均匀曝光图像中的光源。这可以通过将均匀曝光图像的像素的亮度与亮度阈值进行比较来完成。即，如果均匀曝光图像的亮度高于亮度阈值的像素的数量较多，则可以确定所述均匀曝光图像中存在光源。反之，如果均匀曝光图像的亮度高于亮度阈值的像素的数量较少，则可以确定所述均匀曝光图像中没有或几乎没有光源。如果确定在均匀曝光图像中没有这样的光源，则可以确定在均匀曝光图像中不存在杂光并且不需要执行杂光去除。
73.在步骤s14中，确定用于与预定杂光图案进行比较的杂光图案(步骤s16)以确定杂光是否在均匀曝光图像中。在所述步骤中，可以先确定感兴趣区域(region of interest，roi)。roi是封装光源的区域。roi还包括位于光源周围的杂光区域(如果存在)。即，roi可以包括光源所占据的区域和围绕光源的区域。一旦确定了围绕光源和roi内的区域，就确定在围绕光源的区域中的图案。如果杂光在均匀曝光图像中，则所述图案将反映杂光的特征，因此，可用于确定杂光是否在均匀曝光图像中。
74.在步骤s16中，确定围绕光源的区域的图案(即，杂光可能位于该区域)是否符合预定图案。如果这样的区域中的图案符合预定图案，则可以确定检测到杂光。相反，如果所述区域中的图案不符合预定图案，则可以确定在均匀曝光图像中没有杂光。如果确定在均匀曝光图像中存在杂光，则将执行杂光去除并且执行步骤s18。如果确定均匀曝光图像中没有杂光，则随着输出没有任何杂光信息补偿的均匀曝光图像而终止程序。
75.在一实施例中，上述图案为颜色分布的图案。即，可以将围绕光源的区域的颜色分布与预定的杂光颜色分布进行比较。如果两者一致，则可以确定杂光在均匀曝光图像中。颜色分布比较可以在单独的颜色中执行，例如，红色、绿色和蓝色通道。对每一颜色通道执行颜色分布比较。
76.在一实施例中，上述图案为空间特征图案。杂光具有辐射状条纹图案。可以检查围绕光源的区域中的空间图案，以确定所述区域中的空间图案是否符合辐射状条纹图案。在这种图案搜索中可以利用边缘检测。如果围绕光源的区域的空间图案符合辐射状条纹图案
(即预定图案)，则可以确定杂光在均匀曝光图像中。
77.在步骤s18中，为了去除均匀曝光图像中的杂光，可能首先需要将曝光不足图像的图像对象相对于均匀曝光图像对齐。由于均匀曝光图像和曝光不足图像是在不同时间点拍摄的，所以图像对象可能会在均匀曝光图像和曝光不足图像的位置发生偏移。因此，可能必须将曝光不足图像的图像对象与均匀曝光图像对齐，使得曝光不足图像的图像对象的位置可以对应于均匀曝光图像的位置。这可以通过利用传统的图像对齐方法来完成。
78.在步骤s20中，接着使用对齐的曝光不足图像来去除均匀曝光图像中的杂光。在此步骤中，使用对齐的曝光不足图像补偿均匀曝光图像的杂光信息。由于与均匀曝光图像相比，曝光不足图像中没有或几乎没有杂光，因此可以使用曝光不足图像去除均匀曝光图像中的杂光。可以进一步处理对齐的曝光不足图像，以便在消除杂光方面获得更好的结果。在一实施例中，基于均匀曝光图像的亮度，对齐的曝光不足图像在亮度上归一化，然后将归一化的曝光不足图像去噪。例如，将对齐的曝光不足图像的亮度调整为与均匀曝光图像的亮度一致。也就是说，这增加了对齐的曝光不足图像的亮度。增加对齐的曝光不足图像的亮度可能会产生噪声，因此，需要以归一化的亮度对曝光不足图像进行去噪。可以使用传统的去噪方法来完成去噪。去噪可以包括空间滤波，其可以使用空间滤波器和/或时间滤波，其可以通过重叠曝光不足图像来实现。也可以通过重叠曝光不足图像(对应于时间滤波)然后对曝光不足图像的重叠版本应用空间滤波器(对应于空间滤波)来实现去噪。
79.参照图3，杂光去除步骤(即，步骤s20)可以包括以下步骤。将频域中的每一均匀曝光图像和对齐的曝光不足图像的频率分别划分到不同的频率通道中(步骤s201)。例如，在频率划分步骤中指定高频率通道、中频率通道和低频率通道。即，将频域中的每一均匀曝光图像和对齐的曝光不足图像划分到高频率通道、中频率通道和低频率通道。对于每一频率通道，基于均匀曝光图像的亮度，归一化每一曝光不足图像的亮度(步骤s202)。例如，对于高频率通道、中频率通道和低频率通道中的每一个，将每一曝光不足图像的亮度调整为与均匀曝光图像的亮度一致。即，将高频率通道中每个曝光不足图像的亮度调整为与高频率通道中曝光均匀图像的亮度一致。中频率通道和低频率通道执行类似或相同的过程。之后，通过在每个频率通道中重叠归一化的曝光不足图像(对应于如上所述的时间滤波)对归一化的曝光不足图像进行去噪(步骤s203)。即，高频率通道中的归一化的曝光不足图像相互重叠，中频率通道中的归一化的曝光不足图像重叠，以及低频率通道中的归一化的曝光不足图像重叠。并且，还可以对曝光不足图像的重叠版本进一步应用空间滤波器(对应于上述的空间滤波)，以获得更好的图像去噪效果。之后，将杂光所属的均匀曝光图像的至少一个频率通道替换为与去噪信号对应的去噪后的曝光不足图像的至少一频率通道(步骤s204)。例如，杂光和光源通常对应地驻留在高频率通道或高和中频率通道中。可以将均匀曝光图像的高频率通道(或高和中频率通道)替换为去噪信号对应的去噪后的曝光不足图像的高频率通道(或高和中频率通道)以去除均匀曝光图像中的杂光。
80.在本技术中，利用显示器下方的图像采集单元拍摄的图像中的杂光被去除，从而提高图像质量。杂光是通过当光线通过显示器的内部结构时产生的衍射效应而引起。
81.图4为根据本技术的实施例的电子设备400的方块图。例如，电子设备400可以是移动电话、游戏控制器、平板设备、医疗设备、锻炼设备或个人数字助理(pda)。
82.参照图4，电子设备400可以包括以下部件中的一个或多个：外壳402、处理器404、
存储器406、电路板408和电源电路410。电路板408设置在外壳402限定的空间内。处理器404和存储器406设置在电路板408上。电源电路410配置为向电子设备400的每个电路或设备供电。存储器406配置为存储可执行程序代码。处理器404通过读取储存器406中存储的可执行程序代码，运行与这些可执行程序代码对应的程序，以执行上述任一实施例的去除杂光的方法。
83.处理器404通常控制电子设备400的整体操作，例如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理器404可包括一个或多个处理器404以执行指令以在上述方法中的全部或部分步骤中执行动作。此外，处理器404可包括促进处理器404与其他组件之间的交互的一个或多个模块。例如，处理器404可以包括多媒体模块以促进多媒体组件和处理器404之间的交互。
84.存储器406配置为存储各种类型的数据以支持电子设备400的操作。此类数据的示例包括用于在电子设备400上操作的任何应用或方法的指令、联系人数据、电话簿数据、信息、图片、视频等。存储器406可以使用任何类型的易失性或非易失性存储器设备或它们的组合来实现，例如静态随机存取存储器(sram)、电可擦可编程只读存储器(eeprom)、可擦可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、闪存、磁盘或光盘。
85.电源电路410向电子设备400的各种组件供电。电源电路410可以包括电源管理系统、一个或多个电源、以及与电子设备400的电力的产生、管理和分配相关联的任何其他组件。
86.在示例性实施例中，电子设备400可以由一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑设备(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子组件来实现，用于执行上述方法。
87.在示例性实施例中，还提供了一种包括指令的非暂时性计算机可读存储介质，例如包括在存储器406中的指令，其可由电子设备400的处理器404执行以执行上述方法。例如，非暂时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd
‑
rom、磁带、软盘、光数据存储设备等。
88.本领域普通技术人员可以理解，本发明实施例中描述和公开的各个单元、模块、算法和步骤均采用电子硬件或者计算机软件与电子硬件的组合实现。这些功能是以硬件还是软件方式运行，取决于应用条件和技术方案的设计要求。本领域普通技术人员可以针对每个具体的应用使用不同的方式来实现所述功能，但这种实现方式不应超出本技术的范围。
89.本领域普通技术人员可以理解，由于上述系统、设备和模块的工作过程基本相同，因此可以参考上述实施例中的系统、设备和模块的工作过程。为了便于描述和简化，这些工作过程不再详述。
90.可以理解，本技术实施例所公开的系统、装置和方法可以通过其他方式实现。上述实施例仅是示例性的。模块的划分仅仅是基于逻辑功能，而其他的划分在实现上是存在的。多个模块或组件可能组合或集成在另一个系统中。也有可能省略或跳过某些特征。另一方面，显示或讨论的相互耦合、直接耦合或通信耦合通过一些端口、设备或模块以电气、机械或其他形式的方式间接或通信地进行操作。
91.作为用于说明的分离部件的模块在物理上是分离的，或者不是物理上分离的。用
于显示的模块是或不是物理模块，即位于一处或分布在多个网络模块上。根据实施例的目的使用一些或所有模块。
92.并且，各实施例中的各个功能模块可以集成在一个处理模块中，物理上独立，或者与两个或两个以上的模块集成在一个处理模块中。
93.如果将软件功能模块作为产品来实现、使用和销售，则可以将其存储在计算机中的可读存储介质中。基于这种理解，本发明提出的技术方案可以实质上或部分以软件产品的形式实现。或者，可以将有利于现有技术的技术方案的一部分以软件产品的形式实现。计算机中的软件产品存储在存储介质中，包括用于计算设备(如个人计算机、服务器或网络设备)的多个命令以运行本技术实施例所公开的全部或部分步骤。存储介质包括usb盘、移动硬盘、只读存储器(rom)、随机存取存储器(ram)、软盘或其他能够存储程序代码的介质。
94.虽然已经结合被认为是最实用和优选的实施例描述了本技术，但是应当理解，本技术不限于所公开的实施例，而是旨在覆盖在不脱离所附权利要求的最广泛解释的范围的情况下做出的各种布置。