改进的图像传感器像素校正技术的制作方法
【专利摘要】描述图像传感器像素校正技术。例如，在一个实施例中，设备可以包括处理器电路和成像管理模块，并且成像管理模块可以由处理器电路进行操作以便：确定图像传感器像素阵列中的像素的强度值，确定包括像素的强度值与像素的像素邻域的复合强度值之间的差的像素的像素强度偏差，确定像素的像素校正阈值，并且当像素强度偏差超过像素校正阈值时，确定像素的校正强度值。还描述其它实施例并要求其它实施例的权利。
【专利说明】改进的图像传感器像素校正技术
【技术领域】
[0001]一般来说，本文描述的实施例涉及数字图像处理、去噪和像素值校正。
【背景技术】
[0002]当图像传感器捕获图像时，所生成的图像数据可能会遭受各种类型的噪声。为了改善所捕获的图像的质量，可以采用像素校正技术来对这样的影响进行校正。确定特定像素的图像数据是否需要校正可以基于图像数据是否表示噪声。而该确定又可基于该特定像素的图像数据与周围像素的图像数据的比较。
【专利附图】
【附图说明】
[0003]图1示出设备的一个实施例以及第一系统的一个实施例。
[0004]图2示出图像传感器像素阵列的一个实施例。
[0005]图3示出第一逻辑流的一个实施例。
[0006]图4示出第二逻辑流的一个实施例。
[0007]图5示出第二系统的一个实施例。
[0008]图6示出第三系统的一个实施例。
[0009]图7示出装置的一个实施例。
【具体实施方式】
[0010]一般来说，各种实施例可以涉及图像传感器像素校正技术。例如，在一个实施例中，设备可以包括处理器电路和成像管理模块，并且成像管理模块可以由处理器电路进行操作以便:确定图像传感器像素阵列中的像素的强度值，确定包括像素的强度值与像素的像素邻域的复合强度值之间的差的像素的像素强度偏差，确定像素的像素校正阈值，并且在像素强度偏差超过像素校正阈值时，确定像素的校正强度值。还可描述其它实施例，并要求其它实施例的权利。
[0011]各种实施例可以包括一个或多个元件。元件可以包括布置成执行某些操作的任何结构。根据给定的设计参数或性能约束集合的需要，每个元件可以作为硬件、软件或其任意组合来实现。尽管作为举例可以在某种拓扑中以有限数量的元件来描述实施例，但是根据给定实现的需要，实施例可以在备选拓扑中包含更多或更少的元件。值得注意的是，任何时候提到“一个实施例”或“实施例”时表示，结合该实施例描述的特定特征、结构或特性包含在至少一个实施例中。说明书的各个地方出现短语“在一个实施例中”、“在一些实施例中”和“在各种实施例中”时不一定都指同一个实施例。
[0012]图1示出设备100的框图。如图1所示，设备100包括多个元件,包括处理器电路102、存储器单元104和成像管理模块106。但是，实施例不限于该图中所示出的元件的类型、数量或布置。
[0013]在各种实施例中，设备100可以包括处理器电路102。处理器电路102可以利用任何处理器或逻辑器件来实现，例如复杂指令集计算机(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、x86指令集兼容处理器、实现指令集的组合的处理器、诸如双核处理器或双核移动处理器的多核处理器、或任何其它微处理器或中央处理单元(CPU)。处理器电路102还可以作为专用处理器来实现，例如控制器、微控制器、嵌入式处理器、芯片多处理器(CMP)、协处理器、数字信号处理器(DSP)、网络处理器、媒体处理器、输入/输出(I/O)处理器、媒体访问控制(MAC)处理器、无线电基带处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)等。例如，在一个实施例中，处理器电路102可以作为通用处理器来实现,例如由Santa Clara, Calif.的Intel?公司制造的处理器。实施例关于此点不受限制。
[0014]在一些实施例中，设备100可以包括存储器单元104或者布置成在通信上与存储器单元104耦合。存储器单元104可以利用能够存储数据的任何机器可读或计算机可读介质来实现，包括易失性和非易失性存储器。例如，存储器单元104可以包括只读存储器(ROM)、随机存取存储器(RAM)、动态RAM (DRAM)、双倍数据速率DRAM (DDRAM)、同步DRAM(SDRAM)、静态RAM (SRAM)、可编程ROM (PR0M)、可擦除可编程ROM (EPROM)、电可擦除可编程ROM(EEPROM)、闪速存储器、诸如铁电聚合物存储器的聚合物存储器、双向存储器、相变或铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、磁或光卡、或任何其它类型的适于存储信息的介质。值得注意的是，存储器单元104的某个部分或全部可以包含在与处理器电路102相同的集成电路上，或者存储器单元104的某个部分或全部可以部署在位于处理器电路102的集成电路外部的集成电路或其它介质(例如，硬盘驱动器)上。尽管在图1中存储器单元104包含在设备100内，但是在一些实施例中，存储器单元104也可以位于设备100的外部。实施例关于此点不受限制。
[0015]在各种实施例中，设备100可以包括成像管理模块106。成像管理模块106可以包括可以进行操作以便接收、生成、处理、分析、修改、优化和/或传送图像数据的逻辑和/或电路。在一些实施例中，处理器电路102可以进行操作以便执行成像应用107，并且成像管理模块106可以进行操作以便基于从成像应用107接收的信息、逻辑、数据和/或指令执行一个或多个操作。成像应用107可以包括以图像捕获、生成、处理、分析和/或编辑能力为特征的任何应用。例如，在各种实施例中，成像应用107可以包括数字图像处理应用。实施例不限于该示例。
[0016]图1还不出系统140的框图。系统140可以包括设备100的上述任何兀件。系统140还可包括图像传感器142。在各种实施例中，图像传感器142可以包括能够通过将光能转换为对应于那些图像的图像数据而捕获一个或多个图像的任何装置。图像传感器142的示例可以包括补充金属氧化物半导体(CMOS)图像传感器、电荷耦合器件(CXD)图像传感器和混合(XD/CM0S图像传感器，但是实施例不限于这些示例。在一些实施例中，图像传感器142可以包含在诸如数字相机的图像捕获装置之上或之内。在各种其它实施例中，图像传感器142可以包括独立装置。在一些实施例中，图像传感器142可以包括像素阵列144。像素阵列144可以包括光传感器阵列，其中每个光传感器可以视为是一个像素，并且可以进行操作以便测量特定颜色和/或波长的入射光。在各种实施例中，可以在图像传感器142内利用一个或多个分色组件和/或技术，以便将特定颜色和/或波长的光引导到像素阵列144内的特定像素，这些特定像素可以进行操作以便测量那些特定颜色和/或波长。例如，在一些实施例中，图像传感器142可以包括将绿光、红光和蓝光引导到像素阵列144的相应像素的拜耳过滤马赛克。实施例关于此点不受限制。
[0017]在一些实施例中，设备100和/或系统140可以配置成在通信上与显示器145耦合。显示器145可以包括能够显示从处理器电路102接收的信息的任何显示装置。显示器145的示例可以包括电视机、监视器、投影仪和计算机屏幕。例如，在一个实施例中，显示器145可以由液晶显示器(IXD)、发光二极管(LED)或其它类型的合适的可视界面来实现。例如，显示器145可以包括触敏彩色显示屏。在各种实现中，显示器145可以包括包含嵌入式晶体管的一个或多个薄膜晶体管(TFT)IXD。在各种实施例中，显示器145可以布置成显示图形用户界面，图形用户界面可以进行操作以便直接或间接控制成像应用107。例如，在一些实施例中，显示器145可以布置成显示由成像应用107所生成的图形用户界面。在这些实施例中，图形用户界面可以使得能够对成像应用107进行操作以便接收、生成、处理、分析、修改、优化和/或传送图像数据。实施例关于此点不受限制。
[0018]在一般操作中，设备100和/或系统140可以进行操作以便处理图像数据。例如，在各种实施例中，设备100和/或系统140可以进行操作以便处理像素强度值阵列108，阵列108可以包括由图像传感器142基于由图像阵列144所提供的光测量而生成的像素强度值。在一些实施例中，设备100和/或系统140可以进行操作以便对像素强度值阵列108执行像素值校正。实施例关于此点不受限制。
[0019]在各种实施例中，图像传感器142可以进行操作以便通过基于由像素阵列144所提供的光测量生成像素强度值阵列108而捕获图像。例如，在一些实施例中，图像传感器142可以包含在数字相机内，并且用户可以按压数字相机上的曝光按钮。然后，可以将像素阵列144曝光至穿过数字相机的孔的光，并且其中的每个像素可以进行操作以便测量特定颜色和/或频率的光。基于这些测量，图像传感器142可以进行操作以便生成像素强度值阵列108。像素强度值阵列108可以包括多个像素强度值。在各种实施例中，像素强度值阵列108中的每个像素强度值可以对应于像素阵列144中的特定像素。对于像素阵列144中的任何给定像素，对应于该像素的像素强度值可以指示如该像素所测量的特定颜色和/或频率的光的强度。实施例关于此点不受限制。
[0020]图2示出根据一些实施例的像素阵列202，它可以包括图1的像素阵列144的示例。如图2所示，像素阵列202包括像素栅格，其中每个像素可以进行操作以便测量特定颜色的光。在像素阵列202的示例中，可以进行操作以便测量蓝光的像素标记为“B”，可以进行操作以便测量红光的像素标记为“R”，并且可以进行操作以便测量绿光的像素标记为“G”。对于给定像素，可以定义包括以该给定像素为中心的像素栅格的像素邻域。例如，在图2中，像素邻域202以像素204为中心，并且像素邻域206以像素208为中心。对于特定像素邻域，围绕中心像素的像素可以定义为中心像素的相邻像素。例如，在图2中，像素204的相邻像素包括像素邻域202内所包含的剩余像素。实施例不限于这些示例，并且像素邻域可以包括更多或更少的像素，而仍落在所描述的实施例内。
[0021]返回到图1，在各种实施例中，成像管理模块106可以进行操作以便对像素强度值阵列108执行像素值校正。在一些实施例中，这可以包括迭代过程，在每次迭代过程中，选择像素强度值阵列108中的像素强度值以用于评估和可能的校正。例如，在各种实施例中，成像管理模块106可以进行操作以便从图像传感器142接收像素强度值阵列108并相继评估其中的每个像素强度值以进行可能的校正。在各种实施例中，成像管理模块106可以进行操作以便基于对像素阵列144的像素的本地光度估计来评估像素强度值阵列108的像素强度值。例如，在一些实施例中，成像管理模块106可以进行操作以便确定像素强度值110以用于按照特定像素的本地光度估计进行评估。在其它实施例中，成像管理模块106可以进行操作以便确定像素强度值110以用于按照对应于像素阵列144中的该像素的像素强度值阵列108中的单个像素强度值进行评估。在一些实施例中，像素强度值阵列108可以包括原始图像数据，并且成像管理模块106可以进行操作以便对像素强度值阵列108执行像素值校正，然后再进行去马赛克、色调映射、伽马校正和/或一个或多个数字图像处理操作。各种实施例的优势可以是，通过在这些操作之前执行像素值校正，在像素值不精确度使这些随后操作的质量和/或精度降级的程度上实现了减少。其它优势也可以与所公开的主题相关联，并且实施例关于此点不受限制。
[0022]在一些实施例中，在选择特定像素强度值110以用于评估之后，成像管理模块106可以进行操作以便确定描述与像素强度值110相关联的相邻像素强度值112的复合强度值114。相邻像素强度值112可以包括在像素阵列144中与像素强度值110对应的像素的相邻像素的像素强度值。在各种实施例中，成像管理模块106可以进行操作以便基于所有相邻像素的相邻像素强度值112确定复合强度值114。例如，在一些实施例中，复合强度值114可以包括与像素强度值110对应的像素的像素邻域的本地光度测量。在各种其它实施例中，成像管理模块106可以进行操作以便仅仅基于测量与像素阵列144中的对应于像素强度值110的像素相同颜色和/或波长的相邻像素的相邻像素强度值112确定复合强度值114。实施例关于此点不受限制。
[0023]在一些实施例中，成像管理模块106可以进行操作以便基于像素强度值110和相邻像素强度值112确定像素强度偏差116。在各种实施例中，成像管理模块106可以进行操作以便按照像素强度值110和复合强度值114之间的差来确定像素强度偏差116。例如，在一些实施例中，成像管理模块106可以进行操作以便通过从复合强度值114减去像素强度值110并确定结果的绝对值来确定像素强度偏差116。在各种实施例中，像素强度偏差116可以包括对像素强度值110不同于基于相邻像素强度值112而可能预期的值的程度的指示。像素强度偏差116的值越大，那么可以认为像素强度值110越有可能代表噪声而不是入射在像素阵列114中的其对应像素上的光的真实表示。实施例关于此点不受限制。
[0024]在一些实施例中，成像管理模块106可以进行操作以便确定像素强度值110的像素校正阈值118。在各种实施例中，像素校正阈值118可以包括这样的值，可以将该值与像素强度偏差116进行比较以便确定像素强度值110是否将视为是代表噪声并且因此需要噪声校正。在一些实施例中，当像素强度偏差116超过像素校正阈值118时，可以将像素强度值110视为是需要噪声校正。在各种实施例中，成像管理模块106可以进行操作以便基于与像素强度值110相关联的特定参数为像素强度值110确定像素强度值110所特有的像素校正阈值118。在一些实施例中，像素强度值110本身可以包括那些参数之一，以使得像素强度值110的像素校正阈值118部分地是像素强度值110的幅值的函数。各种实施例的优点可以是，通过对于像素强度值阵列108中的每个特定像素强度值110个别地定制像素校正阈值118，可以恰当地说明散粒噪声与像素强度的比例。因此，可以在明亮区域中允许越强的平滑，而在越暗的区域中保留细节。在一些实施例中，成像管理模块106可以进行操作以便同时基于与像素强度值110相关联的全局数字和模拟增益、白平衡增益和/或透镜阴影校正增益来确定像素校正阈值118。在各种实施例中，成像管理模块106可以进行操作以便根据下式确定像素校正阈值118:
【权利要求】
1.一种图像处理设备，包括: 处理器电路；以及 成像管理模块，用于在所述处理器电路上执行以便: 确定图像传感器像素阵列中的像素的强度值； 确定所述像素的像素强度偏差，其包括所述像素的强度值与所述像素的像素邻域的复合强度值之间的差； 确定所述像素的像素校正阈值；以及 当所述像素强度偏差超过所述像素校正阈值时，确定所述像素的校正强度值。
2.如权利要求1所述的图像处理设备，所述成像管理模块用于在所述处理器电路上执行以便基于所述图像传感器像素阵列的统计噪声模型确定所述像素的像素校正阈值。
3.如权利要求1所述的图像处理设备，所述成像管理模块用于在所述处理器电路上执行以便基于所述像素的强度值和所述像素的增益确定所述像素的像素校正阈值。
4.如权利要求1所述的图像处理设备，所述成像管理模块用于在所述处理器电路上执行以便:
确定所述像素邻域中的多个相邻像素的多个相邻像素强度值； 确定所述多个相邻像素强度值的多个像素校正权；以及 基于所述多个像素校正权和所述多个相邻像素强度值确定所述校正强度值。
5.如权利要求4所述的图像处理设备，所述成像管理模块用于在所述处理器电路上执行以便: 减去与所述复合强度值相差的量大于所述像素校正阈值的相邻像素强度值的像素校正权；以及 增加与所述复合强度值相差的量小于所述像素校正阈值的相邻像素强度值的像素校正权。
6.如权利要求4所述的图像处理设备，所述成像管理模块用于在所述处理器电路上执行以便: 确定所述像素是否包含缺陷像素；以及 当所述像素不包含缺陷像素时，确定所述像素的像素校正权，并基于所述像素的像素校正权、所述多个相邻像素强度值的多个像素校正权、所述像素的强度值和所述多个相邻像素强度值确定所述像素的校正强度值。
7.如权利要求1所述的图像处理设备，所述成像管理模块用于在所述处理器电路上执行以便确定所述多个像素校正权以使得在包括所述像素邻域的图像传感器区域间过滤噪声增益近似恒定。
8.如权利要求1所述的图像处理设备，所述像素的强度值包括所述像素的本地光度估计。
9.如权利要求1所述的图像处理设备，所述成像管理模块用于在所述处理器电路上执行以便基于所述像素邻域中的像素的本地光度估计确定所述像素邻域的复合强度值。
10.一种图像处理方法，包括: 确定图像传感器像素阵列中的像素的强度值； 确定所述像素的像素强度偏差，其包括所述像素的强度值与所述像素的像素邻域的复合强度值之间的差； 确定所述像素的像素校正阈值；以及 当所述像素强度偏差超过所述像素校正阈值时，确定所述像素的校正强度值。
11.如权利要求10所述的图像处理方法，包括基于所述图像传感器像素阵列的统计噪声模型确定所述像素的像素校正阈值。
12.如权利要求10所述的图像处理方法，包括基于所述像素的强度值和所述像素的增益确定所述像素的像素校正阈值。
13.如权利要求10所述的图像处理方法，包括: 确定所述像素邻域中的多个相邻像素的多个相邻像素强度值； 确定所述多个相邻像素强度值的多个像素校正权；以及 基于所述多个像素校正权和所述多个相邻像素强度值确定所述校正强度值。
14.如权利要求13所述的图像处理方法，包括: 减去与所述复合 强度值相差的量大于所述像素校正阈值的相邻像素强度值的像素校正权；以及 增加与所述复合强度值相差的量小于所述像素校正阈值的相邻像素强度值的像素校正权。
15.如权利要求13所述的图像处理方法，包括: 确定所述像素是否包含缺陷像素；以及 当所述像素不包含缺陷像素时，确定所述像素的像素校正权，并基于所述像素的像素校正权、所述多个相邻像素强度值的多个像素校正权、所述像素的强度值和所述多个相邻像素强度值确定所述像素的校正强度值。
16.如权利要求10所述的图像处理方法，包括确定所述多个像素校正权以使得在包括所述像素邻域的图像传感器区域间过滤噪声增益近似恒定。
17.如权利要求10所述的图像处理方法，所述像素的强度值包括所述像素的本地光度估计。
18.如权利要求10所述的图像处理方法，包括基于所述像素邻域中的像素的本地光度估计确定所述像素邻域的复合强度值。
19.至少一种机器可读介质，包括用于图像处理的多个指令，响应于在计算装置上执行，所述多个指令使所述计算装置执行如权利要求10至18中任何一项所述的方法。
20.一种图像处理设备，包括用于执行如权利要求10至18中任何一项所述的方法的部件。
21.—种图像处理系统,包括: 处理器电路； 图像传感器，包括图像传感器像素阵列；以及 成像管理模块，用于在所述处理器电路上执行以便: 确定所述图像传感器像素阵列中的像素的强度值； 确定所述像素的像素强度偏差，其包括所述像素的强度值与所述像素的像素邻域的复合强度值之间的差； 确定所述像素的像素校正阈值；以及当所述像素强度偏差超过所述像素校正阈值时，确定所述像素的校正强度值。
22.如权利要求21所述的图像处理系统，所述成像管理模块用于在所述处理器电路上执行以便基于所述图像传感器像素阵列的统计噪声模型确定所述像素的像素校正阈值。
23.如权利要求21所述的图像处理系统，所述成像管理模块用于在所述处理器电路上执行以便基于所述像素的强度值和所述像素的增益确定所述像素的像素校正阈值。
24.如权利要求21所述的图像处理系统，所述成像管理模块用于在所述处理器电路上执行以便: 确定所述像素邻域中的多个相邻像素的多个相邻像素强度值； 确定所述多个相邻像素强度值的多个像素校正权；以及 基于所述多个像素校正权和所述多个相邻像素强度值确定所述校正强度值。
25.如权利要求24所述的图像处理系统，所述成像管理模块用于在所述处理器电路上执行以便: 减去与所述复合强度值相差的量大于所述像素校正阈值的相邻像素强度值的像素校正权；以及 增加与所述复合强度值相差的量小于所述像素校正阈值的相邻像素强度值的像素校正权。
【文档编号】H04N5/341GK104052942SQ201410091413
【公开日】2014年9月17日 申请日期:2014年3月13日 优先权日:2013年3月13日
【发明者】A.利特维诺夫 申请人:英特尔公司