摄像头模组、图像处理方法及装置、电子设备与流程

1.本公开涉及终端技术领域，尤其涉及一种摄像头模组、图像处理方法及装置、电子设备。


背景技术：

2.拍照功能已然成为电子设备最主要的功能之一。当采用电子设备的摄像头拍照，尤其在拍摄led光源或者oled光源时，由于该类光源会在一定频率下有规律的波动，而摄像头抓取图像的速度快，且曝光时间较短，那么获取到的图像会呈现出与相应光源对应的明暗相间的水波条纹，导致拍摄效果不佳。


技术实现要素：

3.本公开提供一种摄像头模组、图像处理方法及装置、电子设备，以解决相关技术中的不足。
4.根据本公开实施例的第一方面，提供一种摄像头模组，包括：
5.摄像头模块，所述摄像头模块用于获取图像；
6.闪光灯模块，所述闪光灯模块包括闪光灯镜片；
7.光线传感器，所述光线传感器位于所述闪光灯镜片的下方，所述光线传感器用于获取外部光源的光源波动信息，所述光源波动信息包括恒定光源信息和周期性变化的变化光源信息，所述变化光源信息用于对所述图像进行图像处理，以均衡所述图像的亮度；
8.电路板，所述光线传感器和所述摄像头模块均连接至所述电路板，所述电路板连接至配置有所述摄像头模组的电子设备的主板。
9.可选的，所述闪光灯模块还包括：
10.菲涅尔透镜，所述菲涅尔透镜位于所述光线传感器和所述闪光灯镜片之间，所述菲涅尔透镜包括菲涅尔纹理，所述菲涅尔纹理位于所述菲涅尔透镜上朝向所述光线传感器的表面；
11.扩散片，所述扩散片位于所述菲涅尔透镜和所述光线传感器之间。
12.可选的，所述扩散片的厚度位于50um-120um的范围内。
13.可选的，所述闪光灯模块还包括：
14.菲涅尔透镜，所述菲涅尔透镜位于所述光线传感器和所述闪光灯镜片之间，所述菲涅尔透镜包括菲涅尔纹理，所述菲涅尔纹理位于所述菲涅尔透镜上朝向所述光线传感器的表面；
15.所述菲涅尔透镜还包括位于所述菲涅尔透镜内部的油墨粒子，所述油墨粒子用于对光线进行扩散。
16.可选的，所述变化光源信息的频率为50hz或者60hz。
17.根据本公开实施例的第二方面，提供一种电子设备，包括如上述任一项实施例中所述的摄像头模组。
18.根据本公开实施例的第三方面，提供一种图像处理方法，应用于上述任一项实施例的所述的电子设备；所述图像处理方法包括：
19.获取外部光源波动信息中的恒定光源信息和周期性变化的变化光源信息；
20.根据所述变化光源信息对所述摄像头模组获取到的图像进行图像处理，以均衡所述图像的亮度。
21.可选的，所述电子设备包括光线传感器，所述光线传感器用于确定所述变化光源信息的频率；
22.所述获取外部光源波动信息中的恒定光源信息和周期性变化的变化光源信息，包括：
23.接收所述光线传感器发送的所述变化光源信息的频率。
24.可选的，所述根据所述变化光源信息对所述摄像头模组获取到的图像进行图像处理，包括：
25.根据快速傅式变换算法和所述变化光源信息的频率确定变化光源信息对应的亮度；
26.根据所述摄像头模组获取到的图像的亮度和所述变化光源信息对应的亮度进行图像处理，以均衡所述图像的亮度。
27.根据本公开实施例的第四方面，提供一种图像处理装置，应用于上述任一项实施例的所述的电子设备；所述图像处理装置包括：
28.获取模块，获取外部光源波动信息中的恒定光源信息和周期性变化的变化光源信息；
29.处理模块，根据所述变化光源信息对所述摄像头模组获取到的图像进行图像处理，以均衡所述图像的亮度。
30.可选的，所述电子设备包括光线传感器，所述光线传感器用于确定所述变化光源信息的频率；
31.所述获取模块包括：
32.接收单元，接收所述光线传感器发送的所述变化光源信息的频率。
33.可选的，所述处理模块包括：
34.确定单元，根据快速傅式变换算法和所述变化光源信息的频率确定变化光源信息对应的亮度；
35.处理单元，根据所述摄像头模组获取到的图像的亮度和所述变化光源信息对应的亮度进行图像处理，以均衡所述图像的亮度。
36.根据本公开实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述任一项实施例所述方法的步骤。
37.根据本公开实施例的第六方面，提供一种电子设备，包括：
38.处理器；
39.用于存储处理器可执行指令的存储器；
40.其中，所述处理器被配置为执行时实现如上述任一项实施例所述方法的步骤。
41.本公开的实施例提供的技术方案可以包括以下有益效果：
42.由上述实施例可知，在本公开的技术方案中，可以通过设置光线传感器来确定出
光源恒定信息和光源变化信息，通过该光源变化信息可以确定产生该光源变化信息的光源的频率，依据该频率可以对图像进行图像处理，从而均衡图像上各个位置的亮度，避免出现明暗相间的条纹，提升拍照效果。
43.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
44.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
45.图1是根据一示例性实施例示出的一种摄像头模组的结构示意图。
46.图2是根据一示例性实施例示出的一种光线传感器的角度响应曲线。
47.图3是根据一示例性实施例示出的一种光线传感器的角度响应曲线的对比图。
48.图4是根据一示例性实施例示出的另一种摄像头模组的结构示意图。
49.图5是根据一示例性实施例示出的一种电子设备的结构示意图。
50.图6是根据一示例性实施例示出的一种图像处理方法的流程图。
51.图7是根据一示例性实施例示出的一种供电电源的频率图。
52.图8是根据一示例性实施例示出的一种变化光源信息的频率图。
53.图9是根据一示例性实施例示出的一种图像处理装置的框图。
54.图10是根据一示例性实施例示出的另一种图像处理装置的框图。
55.图11是根据一示例性实施例示出的又一种图像处理装置的框图。
56.图12是根据一示例性实施例示出的一种用于图像处理装置的框图。
具体实施方式
57.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
58.在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
59.应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
60.图1是根据一示例性实施例示出的一种摄像头模组100的结构示意图。如图1所示，该摄像头模组100可以包括摄像头模组1、闪光灯模块2、光线传感器3和电路板4，该电路板4与摄像头模块1和光线传感器3均连接，并且该电路板可以连接至配置有该摄像头模组100
的电设备的主板，以便于控制摄像头模组100的开关状态，并且能够获取到的摄像头模块1拍摄的图像并进行示出。
61.其中，该摄像头模块1可以用于获取图像，当电子设备的外部亮度不足时，闪光灯模块2可以进行补光，以提升摄像头模块1获取到的图像的效果。该闪光灯模块2可以包括光源(图中未示出)和闪光灯镜片21，且闪光灯镜片21相对于光源更加靠近摄像头模组100的外表面，以通过该闪光灯镜片21对光源进行保护，该光源21可以为led光源，其可以在黑暗环境下为待拍摄物体进行不光。
62.光线传感器3位于闪光灯镜片21的下方，该光线传感器3可以用于获取外部光源的光源波动信息，该光源波动信息可以包括恒定光源信息和周期性变化的变化光源信息，该周期性变化的光源信息可以用于对摄像头模组1获取到的图像进行图像处理，从而均衡图像上各个位置的亮度。
63.举例而言，当摄像头模组100用于拍摄显示器所示出的画面时，该外部光源可以包括环境光线和显示器内的led组件或者oled组件所发出的光线，而可以理解的是，无论是led组件还是oled组件均是以一定的频率进行刷新和扫描，从而实现画面显示，所以，在此情况下，环境光线可以认为是恒定光源信息、显示器所发出的光线可以认为是周期性变化的变化光源信息。
64.进一步地，当摄像头模组100在拍摄显示器画面时，由于摄像头模块1的曝光时间与显示器内led组件或者oled组件的刷新频率之间存在差异，在一次快门速度下，显示器上的所有行像素中可能存在未被点亮的若干行像素，从而导致摄像头模块1所获取到的图像出现明暗相间的条纹，图像效果不佳。而通过本公开的技术方案，可以设置光线传感器3来确定出光源恒定信息和光源变化信息，通过该光源变化信息可以确定产生该光源变化信息的光源的频率，依据该频率可以通过快速傅里叶变化算法确定出对应的亮度，后续在同一时刻可以在摄像头模块确定的亮度基础上减去变化光源信息所对应的亮度，实现对图像图像处理，均衡图像上各个位置的亮度，避免出现明暗相间的条纹，提升拍照效果。其中，该变化光源信息的频率可以为50hz或者60hz，或者也可以是80hz等，本公开对此不进行限定。
65.在本实施例中，该闪光灯模块2还可以包括菲涅尔透镜22和扩散片23，该菲涅尔透镜22位于光线传感器3和闪光灯镜片21之间，该菲涅尔透镜22可以包括菲涅尔纹理221，该菲涅尔纹理形成于菲涅尔透镜22上朝向光线传感器3设置的表面。以此，可以通过菲涅尔透镜22上的菲涅尔纹理221遮挡内部电子元件，提升视觉效果。
66.而由于菲涅尔透镜22上设置有凹凸不平的菲涅尔纹理221，会影响光线传感器3对外部光源从各个角度入射的光线的检测，影响图像处理的处理效果。所以，在本公开的技术方案中，还设置了扩散片23，该扩散片23可以位于菲涅尔透镜22和光线传感器3之间，通过该扩散片23可以对从菲涅尔透镜22射出的光线进行柔和，使之能够均匀地被光线传感器3接收。
67.具体而言，光线传感器3对各个角度光线的响应基本满足如图2所示的余弦响应曲线，其中，横坐标为入射光线与光线传感器3的光线接收面s1之间的夹角β、纵坐标为s1
×
cosβ/s1。如图3所示，曲线l1为入射光线从各个角度直接入射至光线传感器3时的响应曲线，曲线l2为入射光线在经过菲涅尔透镜22后从各个角度直接入射至光线传感器3时的响应曲线，其已经与光线传感器3的理论响应曲线偏离，曲线l3为入射光线在经过菲涅尔透镜
22和扩散片3后从各个角度直接入射至光线传感器3时的响应曲线，基本出与曲线l1相似，满足光线传感器3的对入射角度的理论响应。其中，为了尽可能的满足光线出传感器3的理论响应曲线，该扩散片3的厚度可以在50um-120um的范围内，例如可以时60um、80um、100um等，本公开并不对此进行限制。
68.在另一实施例中，如图4所示，也可以是菲涅尔透镜23可以包括位于菲涅尔透镜内部的油墨粒子222，该油墨粒子222可以对光线进行扩散，从而使得各个方向上的光线在经菲涅尔透镜22入射至光线传感器3时能够基本满足光线传感器3的理论响应情况，提升检测的精准性。
69.基于上述各个实施例，本公开中还可以提供一种如图5所示的电子设备200，该电子设备200可以包括上述任一实施例中所述的摄像头模组100。该电子设备200可以包括手机终端或者平板终端等终端设备，本公开对此不进行限制。
70.基于本公开的技术方案，还提供一种图像处理方法，可以应用于电子设备，该电子设备包括摄像头模组，所述摄像头模组包括摄像头模块，所述摄像头模块用于获取图像信息图像；闪光灯模块，所述闪光灯模块包括闪光灯镜片；光线传感器，所述光线传感器位于所述闪光灯镜片的下方。如图6所示，该方法可以包括以下步骤：
71.在步骤601中，获取外部光源波动信息中的恒定光源信息和周期性变化的变化光源信息。
72.在本实施例中，该外部光源可以包括环境光源和显示器光源，显示器光源可以包括led光源或者oled光源，其中，环境光源的发光频率通常不变，而显示器光源通常是以一定频率向外发射光线。所以，该光源波动信息可以包括一恒定光源信息和周期性变化的变化光源信息。
73.进一步地，该电子设备200还可以包括光线传感器，该光线传感器可以用于确定变化光源信息的频率，进一步可以发送至电子设备的处理器。例如，假定以变化光源信息为显示器光源，那么显示器通常是由一定频率的呈如图7所示正弦波状的供电电源进行供电，从而当供电电源变化时，显示器光源所发出的光线亦成正弦波变化，而由于电源信号存在正负之分而光线不存在正负之分，所以如图8所示，显示器光源所发出的光线的频率为供电电源频率的两倍。比如，若供电电源信号的频率为50hz，那么，变化光源信息的频率为100hz，若供电电源信号的频率为60hz，那么，变化光源信息的频率为120hz，此处仅作为示例性说明，固然还可以存在其他的频率，不再一一举例。
74.在步骤602中，根据所述变化光源信息对所述摄像头模组获取到的图像进行图像处理，以均衡所述图像的亮度。
75.在本实施例中，处理器可以通过快速傅里叶变换算法以及变化光源信息的频率确定出每一时刻对应的的亮度，而摄像头模块在获取图像信息时可以亦可以得到每一时刻的亮度，从而在相同的时间戳下，通过摄像头模块所获取到的亮度减去变化光线信息的亮度，可以实现对摄像头模块所获取图像的处理，均衡图像的亮度。
76.与前述的图像处理方法的实施例相对应，本公开还提供了图像处理装置的实施例。
77.图9是根据一示例性实施例示出的一种图像处理装置框图。该装置应用于上述实施例中所述的电子设备，参照图9，该装置包括获取模块701和处理模块702，其中：
78.该获取模块701，获取外部光源波动信息中的恒定光源信息和周期性变化的变化光源信息。
79.该处理模块702，根据所述变化光源信息对所述摄像头模组获取到的图像进行图像处理，以均衡所述图像的亮度。
80.如图10所示，图10是根据一示例性实施例示出的另一种图像处理装置的框图，该实施例在前述图9所示实施例的基础上，所述电子设备包括光线传感器，所述光线传感器用于确定所述变化光源信息的频率；获取模块701可以包括：
81.接收单元7011，接收所述光线传感器发送的所述变化光源信息的频率。
82.如图11所示，图11是根据一示例性实施例示出的又一种图像处理装置的框图，该实施例在前述图10所示实施例的基础上，处理模块702可以包括：确定单元7021和处理单元7022，其中：
83.确定单元7021，根据快速傅式变换算法和所述变化光源信息的频率确定变化光源信息对应的亮度；
84.处理单元7022，根据所述摄像头模组获取到的图像的亮度和所述变化光源信息对应的亮度进行图像处理，以均衡所述图像的亮度。
85.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
86.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
87.相应的，本公开还提供一种图像处理装置，该装置应用于上述实施例中所述的电子设备，还包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：获取外部光源波动信息中的恒定光源信息和周期性变化的变化光源信息；根据所述变化光源信息对所述摄像头模组获取到的图像进行图像处理，以均衡所述图像的亮度。
88.相应的，本公开还提供一种终端，该装置应用于上述实施例中所述的电子设备，所述终端包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：获取外部光源波动信息中的恒定光源信息和周期性变化的变化光源信息；根据所述变化光源信息对所述摄像头模组获取到的图像进行图像处理，以均衡所述图像的亮度。
89.图12是根据一示例性实施例示出的一种用于图像处理装置1000的框图。例如，装置1000可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
90.参照图10，装置1000可以包括以下一个或多个组件：处理组件1002，存储器1004，电源组件1006，多媒体组件1008，音频组件1010，输入/输出(i/o)的接口1012，传感器组件1014，以及通信组件1016。
91.处理组件1002通常控制装置1000的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。
92.存储器1004被配置为存储各种类型的数据以支持在装置1000的操作。这些数据的示例包括用于在装置1000上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
93.电源组件1006为装置1000的各种组件提供电力。电源组件1006可以包括电源管理系统，一个或多个电源，及其他与为装置1000生成、管理和分配电力相关联的组件。
94.多媒体组件1008包括在所述装置1000和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1008包括一个前置摄像头和/或后置摄像头。当装置1000处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
95.音频组件1010被配置为输出和/或输入音频信号。例如，音频组件1010包括一个麦克风(mic)，当装置1000处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中，音频组件1010还包括一个扬声器，用于输出音频信号。
96.i/o接口1012为处理组件1002和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
97.传感器组件1014包括一个或多个传感器，用于为装置1000提供各个方面的状态评估。例如，传感器组件1014可以检测到装置1000的打开/关闭状态，组件的相对定位，例如所述组件为装置1000的显示器和小键盘，传感器组件1014还可以检测装置1000或装置1000一个组件的位置改变，用户与装置1000接触的存在或不存在，装置1000方位或加速/减速和装置1000的温度变化。传感器组件1014可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1014还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
98.通信组件1016被配置为便于装置1000和其他设备之间有线或无线方式的通信。装置1000可以接入基于通信标准的无线网络，如wifi，2g或3g，4g lte、5g nr或它们的组合。在一个示例性实施例中，通信组件1016经由广播信道接收来自外部广播管理系统的广播信
号或广播相关信息。在一个示例性实施例中，所述通信组件1016还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
99.在示例性实施例中，装置1000可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
100.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1004，上述指令可由装置1000的处理器1020执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
101.本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
102.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。