图像信号处理器和包括该图像信号处理器的装置的制造方法
【专利摘要】本发明提供一种图像信号处理器和包括该图像信号处理器的装置。一种图像信号处理器包括:内存,被配置为存储表,该表包括多个点扩散函数(PSF);PSF选择电路,被配置为基于选择信息输出存储在该表中的所述多个PSF中的至少一个PSF;差异提取器,被配置为从与从图像传感器中所包括的多个像素中的至少一个像素输出的像素信号对应的图像数据提取差异值;和处理电路,被配置为产生所述至少一个像素的像素位置信息。所述多个像素中的每个像素包括多个光电转换元件。选择信息包括差异值和像素位置信息。
【专利说明】
图像信号处理器和包括该图像信号处理器的装置
[0001] 本申请要求于2015年3月16日在韩国知识产权局(ΚΙΡ0)提交的第10-2015-0035859号韩国专利申请的优先权,其全部公开通过引用包含于此。
技术领域
[0002] 本发明构思的各种示例实施例涉及一种图像信号处理器,并且更具体地讲,涉及 一种图像信号处理器和包括该图像信号处理器的装置,所述图像信号处理器用于使用选择 信息从表中所包括的点扩散函数(PSF)之中选择至少一个函数并且用于使用选择的PSF和 图像数据产生具有比该图像数据高的分辨率的输出图像数据。
【背景技术】
[0003] 本发明构思的各种示例实施例涉及一种图像信号处理器,并且更具体地讲,涉及 一种图像信号处理器和包括该图像信号处理器的装置,所述图像信号处理器用于使用选择 信息从表中所包括的点扩散函数(PSF)之中选择至少一个函数并且用于使用选择的PSF和 图像数据产生具有比该图像数据高的分辨率的输出图像数据。
[0004] 在摄影术中,PAF代表相位检测自动聚焦或相差自动聚焦。动态范围表示图像传感 器的最大和最小可测量光强之间的范围。可测量光强的变化程度取决于使用的光捕获装 置,光捕获装置确定成像传感器的动态范围的总体性能。
[0005] 宽动态范围(WDR)技术通过以物理方式提高像素性能或者以数字方式针对每个像 素应用多个曝光时间来增加成像传感器的动态范围。理想的WDR传感器具有高满阱容量 (FWChFWC被定义为与可由图像传感器在读出期间不会发生饱和的情况下收集的入射信号 对应的电子的最大数量。FWC越高,图像传感器的动态范围越大。
[0006] 为了减少由相差自动聚焦模块在数字单镜头反光(DSLR)照相机中占用的物理空 间,DSLR照相机的照相机传感器包括可直接检测相差的像素。作为结果,DSLR照相机可执行 自动聚焦。这种技术也被应用于无反光镜DSLR。
[0007] 在检测相差的传统像素中,光电二极管被金属等部分地遮蔽,并且仅检测经过光 电二极管的未遮蔽部分的光。使用使用遮蔽像素和未遮蔽像素(即,使用两个像素)检测相 差的传统方法引起问题,因为彩色图像的质量由于这两个不规则地操作的像素而降低。
【发明内容】
[0008] 根据本发明构思的一些示例性实施例,提供一种图像信号处理器,所述图像信号 处理器包括:内存,被配置为存储表,该表包括多个点扩散函数(PSF);PSF选择电路,被配置 为基于选择信息输出存储在该表中的所述多个PSF中的至少一个PSF;差异提取器,被配置 为从与从图像传感器中所包括的多个像素中的至少一个像素输出的像素信号对应的图像 数据提取差异值,图像传感器的每个像素包括多个光电转换元件;和处理电路,被配置为产 生所述至少一个像素的像素位置信息。选择信息可包括差异值和像素位置信息。
[0009]图像数据可包括:与从所述多个光电转换元件之中的至少一个第一光电转换元件 输出的第一像素信号对应的长曝光图像数据;和与从所述多个光电转换元件之中的至少一 个第二光电转换元件输出的第二像素信号对应的短曝光图像数据。
[0010]图像信号处理器还可包括:去卷积电路,被配置为使用由PSF选择电路输出的所述 至少一个PSF和图像数据产生具有比该图像数据高的分辨率的输出图像数据。
[0011] 图像信号处理器和图像传感器可被包括在成像装置中。
[0012] 去卷积电路可使用由PSF选择电路输出的所述至少一个PSF和图像数据产生具有 比该图像数据高的分辨率的输出图像数据。
[0013] 处理电路可从该图像数据提取颜色信息。选择信息可包括提取的颜色信息。
[0014] 颜色信息可包括以下信号中的至少一个信号:红色信号、绿色信号、蓝色信号、黄 色信号、青色信号、品红色信号、白色信号和红外信号。
[0015] 图像信号处理器还可包括:透镜位置信息计算器,被配置为计算成像装置中所包 括的透镜的位置并且产生透镜位置信息,该成像装置包括图像传感器;和去卷积电路,被配 置为使用由PSF选择电路输出的所述至少一个PSF和图像数据产生具有比该图像数据高的 分辨率的输出图像数据,以及选择信息还包括透镜位置信息。
[0016] 根据本发明构思的另一示例性实施例,提供一种应用处理器,所述应用处理器包 括:图像信号处理器;和多媒体处理电路,连接到图像信号处理器。该图像信号处理器可包 括:内存,被配置为存储表,该表包括多个点扩散函数(PSF);PSF选择电路,被配置为基于选 择信息输出存储在该表中的所述多个PSF中的至少一个PSF;差异提取器,被配置为从与从 图像传感器中所包括的多个像素中的至少一个像素输出的像素信号对应的图像数据提取 差异值,图像传感器的每个像素包括多个光电转换元件;和处理电路,被配置为产生所述至 少一个像素的像素位置信息。选择信息包括差异值和像素位置信息。
[0017] 图像数据可包括:与从所述多个光电转换元件之中的至少一个第一光电转换元件 输出的第一像素信号对应的长曝光图像数据;和与从所述多个光电转换元件之中的至少一 个第二光电转换元件输出的第二像素信号对应的短曝光图像数据。
[0018] 该图像信号处理器可包括:去卷积电路,被配置为使用由PSF选择电路输出的所述 至少一个PSF和图像数据产生具有比该图像数据高的分辨率的输出图像数据。
[0019] 图像信号处理器和图像传感器可被包括在成像装置中。
[0020] 图像信号处理器还可包括:去卷积电路,被配置为使用由PSF选择电路输出的所述 至少一个PSF和图像数据产生具有比该图像数据高的分辨率的输出图像数据,处理电路被 配置为从该图像数据提取颜色信息,以及选择信息还包括提取的颜色信息。
[0021] 颜色信息可包括以下信号中的至少一个信号:红色信号、绿色信号、蓝色信号、黄 色信号、青色信号、品红色信号、白色信号和红外信号。
[0022] 图像信号处理器还可包括:透镜位置信息计算器,被配置为计算成像装置中所包 括的透镜的位置并且产生透镜位置信息,该成像装置包括图像传感器;去卷积电路,被配置 为使用由PSF选择电路输出的所述至少一个PSF和图像数据产生具有比该图像数据高的分 辨率的输出图像数据,以及选择信息还可包括透镜位置信息。
[0023]根据本发明构思的另外的示例性实施例,提供一种数据处理系统,所述数据处理 系统包括:图像传感器,被配置为产生图像数据,该图像传感器包括多个像素,每个像素包 括多个光电转换元件;图像信号处理器,连接到图像传感器;和应用处理器,连接到图像信 号处理器。该图像信号处理器可包括:内存,被配置为存储表,该表包括多个点扩散函数 (PSF);PSF选择电路,被配置为基于选择信息输出存储在该表中的所述多个PSF中的至少一 个PSF;差异提取器,被配置为从与从所述多个像素中的至少一个像素输出的像素信号对应 的图像数据提取差异值,和处理电路,被配置为产生所述多个像素中的所述至少一个像素 的像素位置信息。选择信息可包括差异和像素位置信息。
[0024]当图像传感器被实现在第一半导体芯片中并且图像信号处理器被实现在第二半 导体芯片中时,第一半导体芯片和第二半导体芯片可被包括在成像装置中。该图像信号处 理器可被形成在应用处理器内。
[0025] 该图像传感器还可包括多个微透镜。所述多个微透镜中的每个微透镜可分别形成 在所述多个像素上。至少一种第一隔离材料可被布置在像素之间,并且至少一种第二隔离 材料可被布置在光电转换元件之间。
[0026] 数据处理系统可包括:去卷积电路,被配置为使用由PSF选择电路输出的所述至少 一个PSF和图像数据产生具有比该图像数据高的分辨率的输出图像数据。
[0027] 数据处理系统可以是数字单镜头反光(DSLR)照相机、智能电话、平板装置、可穿戴 装置、膝上型计算机、物联网(Ι〇Τ)装置和万联网(IoE)装置。
[0028]图像信号处理器还可包括:去卷积电路,被配置为使用由PSF选择电路输出的所述 至少一个PSF和图像数据产生具有比该图像数据高的分辨率的输出图像数据,处理电路被 配置为从该图像数据提取颜色信息,以及选择信息还包括提取的颜色信息。
[0029]图像信号处理器还可包括:透镜位置信息计算器,被配置为计算成像装置中所包 括的透镜的位置并且产生透镜位置信息,该成像装置包括图像传感器;去卷积电路,被配置 为使用由PSF选择电路输出的所述至少一个PSF和图像数据产生具有比该图像数据高的分 辨率的输出图像数据,以及选择信息还包括透镜位置信息。
[0030] 根据本发明构思的另外的示例性实施例,提供一种图像处理系统,所述图像处理 系统可包括:图像传感器,被配置为产生第一图像数据,该图像传感器包括多个像素和透 镜,并且每个像素包括多个光电转换元件;和至少一个图像信号处理器,被配置为接收第一 图像数据,并且通过基于第一图像数据估计原始图像数据来产生输出图像数据,输出图像 数据具有比第一图像数据高的分辨率。
[0031] 所述至少一个图像信号处理器可对第一图像数据执行以下项中的至少一种:自动 暗电平补偿、坏像素替换、噪声减小、透镜阴影补偿、颜色校正、RGB伽马校正、边缘增强、色 调控制和颜色抑制,并且基于该处理的结果产生第二图像数据。
[0032] 所述估计还可包括:处理第一图像数据或第二图像数据以补偿光学模糊、下采样 和噪声。
[0033]所述至少一个图像信号处理器可计算第一图像数据的差异值、像素位置信息、透 镜位置信息和颜色信息中的至少两种,基于计算结果选择至少一个点扩散函数(PSF),并且 将选择的至少一个PSF应用于第一图像以便补偿光学模糊、下采样和噪声。
[0034]图像传感器可包括多个微透镜,所述多个微透镜中的每个微透镜分别形成在所述 多个像素上,至少一种第一隔离材料被布置在所述多个像素之间,并且至少一种第二隔离 材料被布置在所述多个光电转换元件之间。
【附图说明】
[0035] 通过对如附图中所示的本发明构思的非限制性示例实施例的更具体的描述,本发 明构思的前述和其它特征将会变得清楚,其中相同的标号在不同示图中始终表示相同的部 分。附图不必符合比例,而是重点在于示出本发明构思的原理。在附图中:
[0036] 图1A和图1B是根据本发明构思的一些示例性实施例的包括像素的像素阵列的示 图,每个像素包括光电转换元件;
[0037]图2A和图2B是根据本发明构思的一些示例实施例的沿着图1中示出的线II-II截 取的像素的截面图;
[0038]图3A和图3B是根据本发明构思的其它示例实施例的沿着图1中示出的线II-II截 取的像素的截面图;
[0039]图4 A和图4 B是根据本发明构思的另外的示例实施例的沿着图1中示出的线II - II 截取的像素的截面图;
[0040]图5是根据本发明构思的一些示例实施例的使用与从包括光电转换元件的像素输 出的像素信号对应的图像数据计算差异的方法的概念示图;
[0041 ]图6是根据本发明构思的一些示例实施例的数据处理系统的方框图;
[0042] 图7A和图7B是根据本发明构思的一些示例实施例的针对差异和像素位置的点扩 散函数(PSF)的示图;
[0043] 图8是根据本发明构思的一些示例实施例的图6中示出的PSF表中存储的PSF的示 图;
[0044] 图9是根据本发明构思的一些示例实施例的图6中示出的PSF选择电路的输入信号 的示图;
[0045] 图10是根据本发明构思的其它示例实施例的图9中示出的PSF表中存储的PSF的示 图;
[0046] 图11是根据本发明构思的其它示例实施例的图6中示出的PSF选择电路的输入信 号的示图;
[0047]图12是根据本发明构思的另外的示例实施例的图11中示出的PSF表中存储的PSF 的示图;
[0048]图13是根据本发明构思的其它示例实施例的数据处理系统的方框图;
[0049] 图14是根据本发明构思的其它示例实施例的数据处理系统的方框图;
[0050] 图15是用于解释根据本发明构思的一些示例实施例的图6、图13或图14中示出的 数据处理系统的操作的流程图;和
[0051] 图16是根据本发明构思的另外的示例实施例的数据处理系统的方框图。
【具体实施方式】
[0052] 现在将参照示出一些示例实施例的附图更充分地描述各种示例实施例。然而,示 例实施例可被实现为许多不同形式,并且不应该被解释为局限于这里阐述的实施例;相反 地,提供这些示例实施例以使得本公开将会彻底而完整,并且将会充分地将本发明构思的 示例实施例的范围传达给本领域普通技术人员。在附图中,层和区域的厚度为了清楚而被 夸大。附图中的相同的参考字符和/或数字表示相同的元件,并且因此,它们的描述可被省 略。
[0053]将会理解,当元件被称为"连接"或"耦合"到另一元件时,它可直接连接或耦合到 所述另一元件,或者可存在中间元件。相比之下,当元件被称为"直接连接"或"直接耦合"到 另一元件时,不存在中间元件。用于描述元件或层之间的关系的其它词语应该被以相同的 方式解释(例如,"位于…之间"与"直接位于…之间"、"相邻"与"直接相邻"、"位于…上"与 "直接位于…上")。如这里所使用,术语"和/或"包括一个或多个关联的列出的项的任何和 所有组合。
[0054]将会理解,虽然术语"第一"、"第二"等可在这里被用于描述各种元件、组件、区域、 层和/或部分,但这些元件、组件、区域、层和/或部分不应该受到这些术语的限制。这些术语 仅被用于区分一个元件、组件、区域、层或部分与另一元件、组件、区域、层或部分。因此,在 不脱离示例实施例的教导的情况下,以下讨论的第一元件、组件、区域、层或部分可被称为 第二元件、组件、区域、层或部分。
[0055] 如附图中所示,空间相对术语(诸如,"在…下面"、"在…下方"、"下"、"在…上方"、 "上"等)可在这里为了方便描述而被用于描述一个元件或特征与另一(另外的)元件或特征 的关系。将会理解,除了在附图中描述的方位之外,空间相对术语还旨在包括装置在使用或 操作中的不同方位。例如,如果附图中的装置翻转,则描述为"在"其它元件或特征"下方"或 "在"其它元件或特征"下面"的元件将会随后定向为"在"所述其它元件或特征"上方"。因 此,术语"在…下方"可包括"在…上方"和"在…下方"两者的方位。装置可被不同地定向(旋 转90度或处于其它方位),并且在这里使用的空间相对描述符被相应地解释。
[0056] 这里使用的术语仅用于描述特定实施例的目的,并且不应该限制示例实施例。如 这里所使用,除非上下文清楚地指示不同情况,否则单数形式"一个"和"该"也意图包括复 数形式。还将会理解,如果在这里使用,则术语"包含"和/或"包括"指定存在所陈述的特征、 整数、步骤、操作、元件和/或组件,但不排除存在或添加一个或多个其它特征、整数、步骤、 操作、元件、组件和/或它们的组合。当诸如"……中的至少一个"的表述位于元件的列表之 后时,该表述修饰整个列表的元件,而非修饰列表中的单个元件。
[0057]在这里参照作为示例实施例的理想化实施例(和中间结构)的示意图的截面图描 述示例实施例。如此,将会预期作为例如制造技术和/或公差的结果的示图的形状的变化。 因此,示例实施例不应被解释为局限于这里示出的区域的特定形状,而是应该包括例如由 制造导致的形状的偏差。例如,示出为矩形的植入区域可在它的边缘具有圆形或弯曲特征 和/或植入浓度的梯度,而非从植入区域到非植入区域的二元变化。同样地,通过植入而形 成的埋入区域可导致埋入区域和表面之间的区域中的某一植入,通过所述表面而发生所述 植入。因此,在附图中示出的区域实际上是示意性的,并且它们的形状并不意图示出装置的 区域的实际形状,并且并不意图限制示例实施例的范围。
[0058]除非另外定义,否则这里使用的所有术语(包括技术和科学术语)具有与示例实施 例所属于的领域的普通技术人员通常所理解的含义相同的含义。还将会理解,除非在这里 明确地这样定义,否则术语(诸如,在常用词典中定义的那些术语)应该被解释为具有与在 相关技术的情况下的它们的含义一致的含义并且将不会在理想化或过度形式意义上被解 释。
[0059] 虽然可能未示出一些截面图的对应平面图和/或透视图,但这里示出的装置结构 的截面图为将会在平面图中示出的沿着两个不同方向延伸的多个装置结构和/或将会在透 视图中示出的沿着三个不同方向延伸的多个装置结构提供支持。所述两个不同方向可彼此 正交或者可并不彼此正交。所述三个不同方向可包括第三方向,第三方向可与所述两个不 同方向正交。所述多个装置结构可被集成在同一电子装置中。例如,当在截面图中示出装置 结构(例如,内存基元结构或晶体管结构)时,电子装置可包括将会由电子装置的平面图示 出的多个装置结构(例如,内存基元结构或晶体管结构)。所述多个装置结构可被按照阵列 和/或按照二维模式布置。
[0060] 在示例实施例中,非易失性内存可被实现为包括三维(3D)内存阵列。3D内存阵列 可被整体地形成在基底(例如,半导体基底(诸如,硅)或绝缘体上半导体基底)上。3D内存阵 列可包括两个或更多个物理级的内存基元,内存基元具有布置在基底上方的有效区域和与 这些内存基元的操作关联的电路,无论这种关联的电路是位于这种基底上方还是位于这种 基底内。3D内存阵列的每个级的层可被直接沉积在3D内存阵列的每个下面的级的层上。 [0061 ]在示例实施例中,3D内存阵列可包括沿垂直方向定向的垂直NAND串,从而至少一 个内存基元位于另一内存基元上方。所述至少一个内存基元可包括电荷捕获层。
[0062] 其全部内容通过引用包含于此的下面的专利文件描述适合三维内存阵列的结构, 其中三维内存阵列被配置为多个级,在各级之间共享字线和/或位线:第7,679,133; 8,553, 466; 8,654,587; 8,559,235号美国专利;和第2011/0233648号美国专利公开。
[0063] 点扩散函数(PSF)描述图像系统对点源和/或点物体的响应。用于PSF的更一般的 术语是系统的脉冲响应或聚焦的光学系统的脉冲响应。
[0064] 图1A和图1B是根据一些示例实施例的包括像素的像素阵列110的示图,每个像素 包括光电转换元件。像素阵列110可包括多个像素110-1至110-4。像素110-1至110-4可被按 照Bayer模式布置,但本发明构思不限于这个示例实施例。像素110-1至110-4可包括Bayer 模式滤色器阵列。像素110-1至110-4中的每个像素可以是红色像素、绿色像素、蓝色像素、 红外像素、黄色像素、青色像素、品红色像素、白色像素等,但不限于此。
[0065]例如可输出红色信号的第一像素110-1可包括多个光电转换元件PD1至PD4。例如 可输出绿色信号的第二像素110-2可包括多个光电转换元件PD1至HM。例如可输出绿色信 号的第三像素110-3可包括多个光电转换元件PD1至PD4。例如可输出蓝色信号的第四像素 110-4可包括多个光电转换元件PD1至PD4。根据一些示例实施例,第一像素110-1可以是红 色像素,第二像素110-2可以是绿色像素,第三像素110-3可以是绿色像素,并且第四像素 110-4可以是蓝色像素。
[0066]换句话说,像素 R、G和B中的每个像素包括四个光电转换元件PD1至PD4。虽然在图 1A和图1B中示出的示例实施例中像素 R、G和B中的每个像素包括四个光电转换元件PD1至 PD4,但示例实施例不限于此并且像素 R、G和B中的每个像素可包括两个或更多个光电转换 元件。
[0067]四个光电转换元件PD1至PD4之中的至少一个第一光电转换元件可输出长曝光像 素信号,并且四个光电转换元件roi至之中的至少一个第二光电转换元件可输出短曝光 像素信号。在像素 R、G和B中的每个像素中所包括的四个光电转换元件roi至PD4之中,两个 元件可输出长曝光像素信号并且其它两个元件可输出短曝光像素信号。根据如何调整曝光 时间,已输出长曝光像素信号的光电转换元件可被用作输出短曝光像素信号的光电转换元 件,反之亦然。
[0068] 另外,在像素 R、G和B中的每个像素中所包括的四个光电转换元件PD1至PD4之中; 三个元件可输出长曝光像素信号并且第四元件可输出短曝光像素信号。换句话说,在每个 像素中,输出长曝光像素信号的光电转换元件的数量可与输出短曝光像素信号的光电转换 元件的数量相同或不同。
[0069] 根据至少一个示例实施例,如图6中所示的处理电路112中所包括的行驱动器可独 立地控制像素 r、g和b中的每个像素中所包括的四个光电转换元件roi至ro4的曝光时间。这 里,曝光时间可以是收集或产生光电荷的积分时间。曝光时间可由应用于连接到光电转换 元件的传送晶体管的栅极或栅电极的控制信号确定。
[0070] 光电转换元件PD1至TO4中的每个光电转换元件可响应于入射光而产生光电荷,并 且可被实现为光电二极管、光电晶体管、光电门、钉扎光电二极管等。光电二极管可以是有 机光电二极管。
[0071] 图2A和图2B是根据本发明构思的一些示例实施例的沿着图1中示出的线II-II截 取的像素的截面图。参照图1A、图1B和图2A,第一像素 110-1A可包括四个光电二极管H)1至 PD4、放置(或形成)在四个光电二极管PD1至PD4上的滤色器111-1A和放置(或形成)在滤色 器111-1A上的微透镜111-3A。根据至少一个示例实施例,当第一像素 110-1A是第一像素 110-1时,滤色器111-1A可以是红色滤色器。
[0072] 第二像素110-2A可包括四个光电二极管roi至TO4、放置(或形成)在四个光电二极 管roi至TO4上的滤色器111-1B和放置(或形成)在滤色器111-1B上的微透镜111-3B。根据至 少一个示例实施例,当第二像素110-2A是第二像素110-2时,滤色器111-1B可以是绿色滤色 器。滤色器111-1A和111-1B可被形成在单个层中。
[0073]将会理解,以下,当第二材料被称为放置"在"第一材料"上"时,第二材料可与第一 材料直接接触,或者一种或多种第三材料也可存在于第一材料和第二材料之间。
[0074]第一隔离材料ISM1可被放置在第一像素110-1A和第二像素110-2A之间。第二隔离 材料ISM2可被放置在每个像素110-1A或110-2A中的四个光电二极管roi至TO4之间。换句话 说,第一隔离材料ISM1可存在于图1A中示出的像素110-1至110-4之间。第一隔离材料ISM1 和第二隔离材料ISM2可彼此相同或不同。
[0075]可在制造后侧照明(BSI)互补金属氧化物半导体(CMOS)图像传感器或前侧照明 (FSI)CMOS图像传感器的过程中形成第一隔离材料ISM1和第二隔离材料ISM2。可使用深槽 隔离(DTI)形成第一隔离材料ISM1和第二隔离材料ISM2,但本发明构思不限于当前示例实 施例。
[0076] 参照图1A、图1B和图2B,第一像素110-1B可包括四个光电二极管PD1至PD4、放置 (或形成)在四个光电二极管PD1至PD4上的滤色器111-1A'和放置(或形成)在滤色器111-1A'上的微透镜111-3A。滤色器111-1A'可包括多个滤色器层(或膜)。滤色器层可具有不同 滤波特性。换句话说,由各滤色器层透射的波长可彼此不同。
[0077]虽然在图1B中第一像素110-1被示出为红色像素 R,但图2B中示出的第一像素110-1B可以是黄色像素、青色像素、品红色像素、白色像素、绿色像素、蓝色像素、红外像素等,但 本发明构思不限于这些示例实施例。
[0078] 第二像素110-2B可包括四个光电二极管roi至TO4、放置(或形成)在四个光电二极 管roi至TO4上的滤色器111-1B'和放置(或形成)在滤色器111-1B'上的微透镜111-3B。滤色 器111-1B'可包括多个滤色器层(或膜)。滤色器层可具有不同滤波特性。换句话说,由各滤 色器层透射的波长可彼此不同。
[0079] 虽然在图1B中第二像素110-2被示出为绿色像素 G,但图2B中示出的第二像素110-2B可以是黄色像素、青色像素、品红色像素、白色像素、红色像素、蓝色像素、红外像素等,但 本发明构思不限于这些示例实施例。虽然在图2B中示出的示例实施例中滤色器111-1A'和 111-1B'包括两个滤色器层,但在其它示例实施例中,滤色器111-1A'和111-1B'可包括三个 滤色器层或更多个滤色器层。
[0080] 第一隔离材料ISM1可被放置在第一像素110-1B和第二像素110-2B之间。第二隔离 材料ISM2可被放置在每个像素110-1B或110-2B中的四个光电二极管roi至TO4之间。换句话 说,第一隔离材料ISM1可存在于图1A中示出的像素110-1至110-4之间。第一隔离材料ISM1 和第二隔离材料ISM2可彼此相同或不同。
[0081] 可在用于制造 BSI CMOS图像传感器、FSI CMOS图像传感器和/或其它类型的图像 传感器的过程中形成第一隔离材料ISM1和第二隔离材料ISM2。可使用DTI形成第一隔离材 料ISM1和第二隔离材料ISM2,但本发明构思不限于当前示例实施例。
[0082]图3A和图3B是根据本发明构思的一些示例实施例的沿着图1中示出的线II-II截 取的像素的截面图。参照图1A、图1B和图3A,第一像素110-1C可包括四个光电二极管H)1至 PD4、分别放置在四个光电二极管roi至上的滤色器CF1至CF4、分别放置在滤色器CF1至 CF4上的微透镜ML1至ML4和放置在微透镜ML1至ML4上的微透镜111-3A。根据至少一个示例 实施例,当第一像素110-1C是第一像素110-1时,滤色器CF1至CF4可以是红色滤色器。在其 它示例实施例中,滤色器CF1至CF4可以是不同滤色器。
[0083] 第二像素110-2C可包括四个光电二极管PD1至PD4、分别放置在四个光电二极管 PD 1至TO4上的滤色器CF1至CF4、分别放置在滤色器CF1至CF4上的微透镜ML1至ML4和放置在 微透镜ML1至ML4上的微透镜111-3B。根据至少一个示例实施例,当第二像素110-2C是第一 像素110-2时,滤色器CF1至CF4可以是绿色滤色器。在其它示例实施例中,滤色器CF1至CF4 可以是不同滤色器。
[0084]第一隔离材料ISM1可被放置在第一像素110-1C和第二像素110-2C之间。第二隔离 材料ISM2可被放置在每个像素110-1C或110-2C中的四个光电二极管roi至TO4之间。换句话 说,第一隔离材料ISM1可存在于图1A中示出的像素110-1至110-4之间。第一隔离材料ISM1 和第二隔离材料ISM2可彼此相同或不同。
[0085]可在用于制造 BSI CMOS图像传感器、FSI CMOS图像传感器和/或其它类型的图像 传感器的过程中形成第一隔离材料ISM1和第二隔离材料ISM2。可使用DTI形成第一隔离材 料ISM1和第二隔离材料ISM2,但本发明构思不限于当前示例实施例。
[0086] 参照图1A、图1B和图3B,第一像素110-1D可包括四个光电二极管至TO4、分别放 置在四个光电二极管roi至上的滤色器CF1至CF4、分别放置在滤色器CF1至CF4上的微透 镜ML1至ML4和放置在微透镜ML1至ML4上的微透镜111-3A。滤色器CF1至CF4可包括多个滤色 器层。滤色器层可具有不同滤波特性。换句话说,由各滤色器层透射的波长可彼此不同。 [0087]虽然在图1B中第一像素110-1被示出为红色像素 R,但图3B中示出的第一像素110- ID可以是黄色像素、青色像素、品红色像素、白色像素、绿色像素、蓝色像素、红外像素等,但 本发明构思不限于这些示例实施例。根据至少一个示例实施例,当第一像素110-1D是第一 像素110-1时,滤色器CF1至CF4可以是红色滤色器。在其它示例实施例中,滤色器CF1至CF4 可以是不同滤色器。
[0088] 第二像素110-2D可包括四个光电二极管PD1至PD4、分别放置在四个光电二极管 PD 1至TO4上的滤色器CF1至CF4、分别放置在滤色器CF1至CF4上的微透镜ML1至ML4和放置在 微透镜ML1至ML4上的微透镜111-3B。滤色器CF1至CF4可包括多个滤色器层。滤色器层可具 有不同滤波特性。换句话说,由各滤色器层透射的波长可彼此不同。
[0089]虽然在图1B中第二像素110-2被示出为绿色像素 G,但图3B中示出的第二像素110-2D可以是黄色像素、青色像素、品红色像素、白色像素、红色像素、蓝色像素、红外像素等,但 本发明构思不限于这些示例实施例。根据至少一个示例实施例,当第二像素110-2D是第二 像素110-2时,滤色器CF1至CF4可以是绿色滤色器。在其它示例实施例中,滤色器CF1至CF4 可以是不同滤色器。
[0090] 图4A和图4B是根据本发明构思的另外的示例实施例的沿着图1中示出的线II - II 截取的像素的截面图。参照图4A,第一像素110-1E可包括四个光电二极管PD1至TO4、分别放 置在四个光电二极管PD1至上的滤色器CF1至CF4和放置在滤色器CF1至CF4上的微透镜 111-3A。参照图3A和图4A,除了微透镜ML1至ML4之外,图3A中示出的第一像素110-1C的结构 与图4A中示出的第一像素110-1E的结构相同或相似。
[0091] 第二像素110-2E可包括四个光电二极管PD1至PD4、分别放置在四个光电二极管 PD1至TO4上的滤色器CF1至CF4和放置在滤色器CF1至CF4上的微透镜111-3B。参照图3A和图 4A,除了微透镜ML1至ML4之外,图3A中示出的第二像素110-2C的结构与图4A中示出的第二 像素110-2E的结构相同或相似。
[0092] 参照图4B,第一像素110-1F可包括四个光电二极管PD1至PD4、分别放置在四个光 电二极管roi至TO4上的滤色器CF1至CF4和放置在滤色器CF1至CF4上的微透镜111-3A。滤色 器CF1至CF4中的每个滤色器可包括多个滤色器层。参照图3B和图4B,除了微透镜ML1至ML4 之外,图3B中示出的第一像素110-1D的结构与图4B中示出的第一像素110-1F的结构相同或 相似。
[0093]第二像素110-2F可包括四个光电二极管PD1至PD4、分别放置在四个光电二极管 PD1至上的滤色器CF1至CF4和放置在滤色器CF1至CF4上的微透镜111-3B。滤色器CF1至 CF4中的每个滤色器可包括多个滤色器层。参照图3B和图4B,除了微透镜ML1至ML4之外,图 3B中示出的第二像素110-2D的结构与图4B中示出的第二像素110-2F的结构相同或相似。
[0094] 图5是根据本发明构思的一些示例实施例的使用与从包括光电转换元件的像素输 出的像素信号对应的图像数据计算差异值的方法的概念示图。图5的部分(a)示出包括光电 二极管PD1至PD4的第一像素110-1,并且图5的部分(b)示出分别与从光电二极管PD1至 输出的像素信号对应的图像数据DPD1至DPD4。图6中示出的第一图像数据DATA 1可包括图像 数据DPD1至DPD4。图像数据DPD1至DPD4中的每个图像数据可被利用"k"比特表示,其中"k" 是2或大于2的自然数。
[0095] 可使用各种方法计算第一像素110-1的差异值。例如,图6中示出的差异提取器220 可使用图像数据DPD1至DPD4计算第一像素110-1的差异值。参照图5描述的方法仅是示例, 并且计算第一像素110-1的差异值的方法不限于图5中示出的方法。
[0096] 差异提取器220可使用至少下面的方法计算差异:
[0097] (1)(DPD1-DPD2)或(DPD3-DPD4);
[0098] (2)(DPD1-DPD3)或(DPD2-DPD4);
[0099] (3){((DPDl+DPD3)/2)-((DPD2+DPD4)/2)};
[0100] (4){((DPDl+DPD2)/2)-((DPD3+DPD4)/2)};
[old] (5) ( dpd l -Dro4)或(Dro2-Dro3);和
[0102] (6)(1)至(5)的至少一种组合。
[0103] 例如,当图像数据DPD1的值大于图像数据DPD2的值时,差异值具有正号;当图像数 据DPD1的值等于图像数据DPD2的值时,差异值是零;并且当图像数据DPD1的值小于图像数 据DPD2的值时,差异值具有负号。然而,当差异值被计算为(DTO2-DPD1)时,差异值的符号变 为上述符号的相反符号。
[0104] 换句话说,差异提取器220可使用分别与沿水平方向、沿垂直方向、沿对角线方向 和/或按照其它关系彼此相邻的光电转换元件对应的图像数据之差计算差异值。图6中示出 的差异提取器220可计算包括多个光电转换元件的每个像素的差异值,或者可一次计算mX η个像素的差异值,其中"m"和"η"是等于或大于2的自然数并且m = n或m矣η。
[0105] 图6是根据本发明构思的一些示例实施例的数据处理系统100的方框图。参照图1Α 至图6,数据处理系统100可包括成像装置105、图像信号处理器200和应用处理器300。
[0106] 数据处理系统100可被实现为图像数据处理系统、移动计算装置和/或能够执行图 像处理的任何其它装置。包括成像装置105的移动计算装置可以是膝上型计算机、蜂窝电 话、智能电话、平板个人计算机(PC)、个人数字助手(PDA)、企业数字助手(EDA)、数字静止照 相机、数字视频照相机、移动互联网装置(MID)、可穿戴计算机、智能装置、物联网(IoT)装 置、万联网(Ι〇Ε)装置、无人机、计算装置等,但本发明构思不限于这些示例实施例。
[0107] 成像装置105可产生第一图像数据DATA1。成像装置105可包括包含像素阵列110的 图像传感器107、透镜115和致动器120。虽然在图6中示出的示例实施例中像素阵列110包括 2X2个像素,但示例实施例不限于此,并且例如,像素阵列110可包括2X2个像素的多种布 置。
[0108] 像素阵列110中所包括的每个像素可包括多个光电转换元件。包括多个光电转换 元件的每个像素可具有参照图2Α至图4Β描述的任何一种结构。因此,像素阵列110可被称为 全PAF(相位检测自动聚焦或相差自动聚焦)像素阵列。
[0109] 图像传感器107可以是图像传感器芯片、CMOS图像传感器芯片等。根据至少一个示 例实施例,图像传感器107可包括处理电路112,处理电路112处理从像素阵列110中所包括 的像素 R、G和B输出的像素信号并且产生与该像素信号对应的第一图像数据DATA1,但不限 于此。
[0110]透镜115可将入射光聚焦在像素阵列110上。透镜115可以是光学透镜。透镜115可 响应于从致动器120输出的控制信号CTRL而移动。致动器120可响应于从自动聚焦引擎230 输出的透镜位置信息LEP而产生用于改变透镜115的位置的控制信号CTRL。
[0111]虽然在图6中示出的示例实施例中自动聚焦引擎230被包括在图像信号处理器200 中,但自动聚焦引擎230可被布置在成像装置105内部或图像信号处理器200外部。由于自动 聚焦引擎230产生透镜位置信息LEP,所以它也可用作透镜位置信息计算器。
[0112] 图像信号处理器200可包括处理电路210、差异提取器220、自动聚焦引擎230、PSF 选择电路240、存储PSF表250的内存251、去卷积电路260等。处理电路210可根据从成像装置 105输出的第一图像数据DATA1产生像素阵列110中所包括的每个像素的像素位置信息PCI, 和/或可从第一图像数据DATA1提取颜色信息CI。颜色信息CI可关于红色、绿色、蓝色、黄色、 青色、品红色、白色、红外等信号之中的至少一个信号。
[0113] 第一图像数据DATA1可包括与长曝光像素信号对应的长曝光图像数据和与短曝光 像素信号对应的短曝光图像数据。第一图像数据DATA1可以是与从像素阵列110中所包括的 像素 R、G和B中的至少一个像素输出的像素信号对应的图像数据。
[0114] 处理电路210可处理第一图像数据DATA1,并且产生与处理结果对应的第二图像数 据DATA2。该处理可以是自动暗电平补偿、坏像素替换、噪声减小、透镜阴影补偿、颜色校正、 RGB伽马校正、边缘增强、色调控制和颜色抑制之中的至少一种。
[0115] 差异提取器220可从第一图像数据DATA1提取差异值DISP。差异值DISP可以是深度 信息。差异提取器220可使用参照图5描述的至少一种方法计算差异值DISP。
[0116] 自动聚焦引擎230可计算成像装置105中所包括的透镜115的当前位置,并且可输 出与计算结果对应的透镜位置信息LEP。自动聚焦引擎230可使用从致动器120输出的透镜 位置信息LEP计算透镜115的当前位置,并且可输出与计算结果对应的透镜位置信息LEP。然 而,产生透镜位置信息LEP的方法不限于上述方法。
[0117] PSF选择电路240可响应于选择信息从存储在PSF表250中的PSF之中检索(或读取) 至少一个PSF,并且可将已检索或读取的所述至少一个PSF SPSF(即,选择的PSF)发送给去 卷积电路2601SF可用于已知模式。选择信息可包括像素位置信息PCI、颜色信息CI、差异值 DISP和透镜位置信息LEP之中的至少两种信息。将参照图8、图10和图12详细地描述存储在 PSF 表250 中的 PSF。
[0118] 内存251可存储PSF表250。内存251可由易失性内存或非易失性内存形成。易失性 内存可以是随机存取存储器(RAM)、动态RAM(DRAM)或静态RAM(SRAM),但不限于此。非易失 性内存可以是闪存(诸如,NAND类型闪存),但不限于此。
[0119] 去卷积电路260可使用从PSF选择电路240输出的PSF SPSF和从处理电路210输出 的第二图像数据DATA2估计原始图像数据,并且可将具有超级分辨率(和/或增强分辨率)的 输出图像数据SR0作为估计结果发送给应用处理器300。具有超级分辨率的输出图像数据 SR0可具有比第一图像数据DATA1或第二图像数据DATA2高的分辨率。
[0120] 例如,去卷积电路260可使用下面的等式产生具有比第一图像数据DATA1或第二图 像数据DATA2高的分辨率的输出图像数据SR0:
[0121] yk = DBkx+nk
[0122] 其中"k"是1、2、···,ρ,"χ"是高分辨率图像数据,Bk是光学模糊矩阵,D是下采样矩 阵,n k是成像装置105的噪声,并且yk是低分辨率图像数据。例如,"X"可以是由图像传感器 107捕获的原始图像,并且y k可以是第一图像数据DATA1或第二图像数据DATA2。这里,具有 超级分辨率的输出图像数据SR0可以是与原始场景对应的高分辨率图像数据。
[0123] 在以上等式中,未知数是"X",并且因此,去卷积电路260可对以上方程求逆以计算 未知数"X"。此时,计算的未知数"X"的值可以是输出图像数据SR0。换句话说,通过处理第一 图像数据DATA1或第二图像数据DATA2以补偿光学模糊、下采样和/或由图像传感器107引入 的噪声,去卷积电路260可估计原始图像数据,并且产生较高分辨率输出图像数据SRO。应用 处理器300可处理由图像信号处理器200产生的输出图像数据SRO。
[0124] 图7A和图7B是根据至少一个示例实施例的针对差异值和像素位置的PSF的示图。 图7A示出当由差异提取器220计算的差异值DISP是"-Γ时针对每个像素的位置的PSF。假 设:在第一位置(1,1)的像素的PSF是PSF1,在第二位置(1,2)的像素的PSF是PSF2,在第三位 置(2,1)的像素的PSF是PSF3,并且在中心的像素的PSF是PSF4等。这里,像素的位置可以是 像素阵列110中的像素的物理位置、与从像素输出的像素信号对应的图像数据的位置或显 示图像数据的位置。
[0125] 图7B示出当由差异提取器220计算的差异值DISP是"0"时针对每个像素的位置的 PSF。假设:在第一位置(1,1)的像素的PSF是PSF5,在第二位置(1,2)的像素的PSF是PSF6,在 第三位置(2,1)的像素的PSF是PSF7,并且在中心的像素的PSF是PSF8。
[0126] 图8是根据本发明构思的一些示例实施例的图6中示出的PSF表250中存储的PSF的 示图。参照图8,PSF表包括基于像素位置和差异的不同的计算的PSF。包括PSF的PSF表可在 图像信号处理器200的操作之前和/或在图像信号处理器200的操作期间被存储在内存251 中。
[0127] 例如,当处理电路210产生与第一位置(1,1)对应的像素位置信息PCI并且差异提 取器220产生与值"-Γ对应的差异值DISP时,PSF选择电路240可从存储在PSF表250中的PSF 之中选择PSF1并且可将选择的PSF SPSF(=PSF1)输出给去卷积电路260。去卷积电路260可 使用选择的PSF SPSF(=PSF1)和第二图像数据DATA2产生具有比第二图像数据DATA2高的 分辨率的输出图像数据SR0。
[0128] 当处理电路210产生与中心对应的像素位置信息PCI并且差异提取器220产生与值 "0"对应的差异值DISP时,PSF选择电路240可从存储在PSF表250中的PSF之中选择PSF8并且 可将选择的PSF SPSF(=PSF8)输出给去卷积电路260。去卷积电路260可使用选择的PSF SPSF ( = PSF8)和第二图像数据DATA2产生具有比第二图像数据DATA2高的分辨率的输出图 像数据SR0。
[0129] 图9是根据本发明构思的一些示例实施例的图6中示出的PSF选择电路240的输入 信号的示图。图9中示出的PSF选择电路240A可使用像素位置信息PCI、差异DISP和透镜位置 信息LEP从存储在PSF表250中的PSF之中选择至少一个PSF,并且可将选择的PSF SPSF输出 给去卷积电路260。
[0130] 图10是根据本发明构思的其它示例实施例的图9中示出的PSF表250中存储的PSF 的示图。参照图6、图9和图10,当处理电路210产生与第一位置(1,1)对应的像素位置信息 PCI、差异提取器220产生与值"-Γ对应的差异值DISP并且自动聚焦引擎230产生与第一透 镜位置LEP1对应的透镜位置信息LEP时;PSF选择电路240A可从存储在PSF表250中的PSF之 中选择至少一个PSF L1PSF1并且可将选择的PSF SPSF(=L1PSF1)输出给去卷积电路260。 去卷积电路260可使用选择的PSF SPSF(=L1PSF1)和第二图像数据DATA2产生具有高分辨 率的输出图像数据SR0。输出图像数据SR0的分辨率可高于第二图像数据DATA2的分辨率。
[0131] 当处理电路210产生与中心对应的像素位置信息PCI、差异提取器220产生与值"+ Γ对应的差异值DISP并且自动聚焦引擎230产生与第二透镜位置LEP2对应的透镜位置信息 LEP时;PSF选择电路240A可从存储在PSF表250中的PSF之中选择至少一个PSF L2PSF12并且 可将选择的PSF SPSF( =L2PSF12)输出给去卷积电路260。去卷积电路260可使用选择的PSF SPSF( = L2PSF12)和第二图像数据DATA2产生具有高分辨率的输出图像数据SRO。输出图像 数据SRO的分辨率可高于第二图像数据DATA2的分辨率。
[0132]图11是根据本发明构思的其它示例实施例的图6中示出的PSF选择电路240的输入 信号的示图。图11中示出的PSF选择电路240B可使用像素位置信息PCI、差异值DISP和颜色 信息CI从存储在PSF表250中的PSF之中选择至少一个PSF,并且可将选择的PSF SPSF输出给 去卷积电路260。
[0133]图12是根据本发明构思的另外的示例实施例的图11中示出的PSF表250中存储的 PSF的示图。参照图6、图11和图12,当处理电路210产生与第二位置(1,2)和第一颜色信息CI 对应的像素位置信息PCI并且差异提取器220产生与值"0"对应的差异值DISP时;PSF选择电 路240B可从存储在PSF表250中的PSF之中选择至少一个PSF C1PSF6并且可将选择的PSF SPSF(=C1PSF6)输出给去卷积电路260。去卷积电路260可使用选择的PSF SPSF(=C1PSF6) 和第二图像数据DATA2产生具有高分辨率的输出图像数据SRO。
[0134] 当处理电路210产生与第三位置(2,1)和第二颜色信息CI对应的像素位置信息PCI 并且差异提取器220产生与值"-Γ对应的差异值DISP时;PSF选择电路240B可从存储在PSF 表250中的PSF之中选择至少一个PSF C2PSF3并且可将选择的PSF SPSF(=C2PSF3)输出给 去卷积电路260。去卷积电路260可使用选择的PSF SPSF ( = C2PSF3)和第二图像数据DATA2 产生具有高分辨率的输出图像数据SR0。
[0135] 第一颜色信息CI可以是关于从像素输出的红色、绿色、蓝色、黄色、青色、品红色、 白色、红外等信号之中的一个信号的信息。第二颜色信息CI可以是关于从像素输出的红色、 绿色、蓝色、黄色、青色、品红色、白色、红外等信号之中的另一信号的信息。这里,信号可以 是数据。例如,红色信号可以是红色数据。颜色信息CI可关于色差或色像差。
[0136] 图13是根据本发明构思的其它示例实施例的数据处理系统100A的方框图。数据处 理系统100A可包括第一装置105A和应用处理器300。第一装置105A可包括成像装置105和图 像信号处理器200。
[0137] 当图像传感器107被实现在第一半导体芯片中并且图像信号处理器200被实现在 第二半导体芯片中时,图像传感器107和图像信号处理器200可被封装到单个封装中。该封 装可以是多芯片封装(MCP),但本发明构思不限于这个示例实施例。另外,图像传感器107和 图像信号处理器200可共享单个半导体基底。
[0138] 图14是根据本发明构思的其它示例实施例的数据处理系统100C的方框图。参照图 14,数据处理系统100C可包括成像装置105和应用处理器300A。应用处理器300A可包括图像 信号处理器200和多媒体处理电路320。多媒体处理电路320可被实现为编解码器,但本发明 构思不限于这个示例实施例。多媒体处理电路320可处理从图像信号处理器200接收的输出 图像数据SR0。
[0139] 图15是用于解释根据一些示例实施例的图6、图13或图14中示出的数据处理系统 100、100A或100C的操作的流程图。参照图1至图15,在操作S110中,当使用公知模式获取PSF 时,PSF可被存储在图8、图10和图12中示出的PSF表250中,并且PSF表250可被存储在内存 251〇
[0140] 在操作S120中,图像信号处理器200可使用选择信息从PSF表250中所包括的PSF之 中选择至少一个PSF。选择信息可包括像素位置信息PCI、颜色信息CI、差异DISP和透镜位置 信息LEP之中的至少一种信息。
[0141] 处理电路210可使用从成像装置105输出的第一图像数据DATA1产生像素位置信息 PCI和颜色信息CI。差异提取器220可从从成像装置105输出的第一图像数据DATA1提取差异 值DISP。自动聚焦引擎230可计算输出给致动器120的透镜位置信息LEP。
[0142] 在操作S130中,去卷积电路260可使用从PSF选择电路240输出的选择的PSF SPSF 和从处理电路210输出的第二图像数据DATA2估计与原始场景对应的输入图像数据。在操作 S140中,去卷积电路260可使用估计的输入图像数据产生具有超级分辨率的输出图像数据 SR0〇
[0143] 图16是根据本发明构思的另外的示例实施例的数据处理系统400的方框图。参照 图1至图12和图16,数据处理系统400可被实现为可使用或支持移动产业处理器接口 (MTPP)的移动计算装置。参照图6、图13、图14和图16,图像信号处理器200的位置可随着 示例实施例而变化。详细地讲,图像信号处理器200可被与图像传感器107或应用处理器410 封装到同一封装中,或者可被实现在连接成像装置105和应用处理器410的单独的半导体封 装中。数据处理系统400包括应用处理器410、图像传感器107和显示器450。
[0144] 应用处理器410中的照相机串行接口(CSI)主机412可通过CSI与图像传感器107中 的CSI装置441执行串行通信。串并转换器(DES)412-1可被包括在CSI主机412中,并且并串 转换器(SER)可被包括在CSI装置441中。虽然图像传感器107被示出在图16中,但在其它示 例实施例中,图像传感器107可被图6中示出的成像装置105或图13中示出的第一装置105A 替换。图16中示出的应用处理器410还可包括图像信号处理器200和多媒体处理电路320,如 图14中所示。
[0145] 应用处理器410中的显示器串行接口(DSI)主机411可通过DSI与显示器450中的 DSI装置451执行串行通信。SER 411-1和DES可分别被包括在DSI主机411和DSI装置451中。 这里,DES和SER可处理电信号或光学信号。
[0146] 数据处理系统400还可包括与应用处理器410通信的射频(RF)芯片460。应用处理 器410中的物理层(PHY)413和RF芯片460中的PHY 461可根据MIPI DigRF彼此传送数据。
[0147] 数据处理系统400还可包括全球定位系统(GPS)接收器420、内存485(诸如,DRAM)、 数据存储器470(包括非易失性内存(诸如,NAND闪存))、麦克风(MIC)480和扬声器490。
[0148] 内存485或数据存储器470和应用处理器410可使用层叠封装(PoP)或系统级封装 (SiP)技术而被集成在单个封装中。此时,内存485或数据存储器470可被堆叠在应用处理器 410 上。
[0149] 数据处理系统400可使用至少一个通信协议或标准(例如,微波接入全球互操作性 (Wimax)430、无线局域网(WLAN)432、超宽带(UWB)434或长期演进(LTETM)(未示出))与外部 装置通信。数据处理系统400也可使用蓝牙或WiFi与外部无线通信装置通信。
[0150] 如上所述,根据本发明构思的一些示例实施例,图像信号处理器使用选择信息从 表中所包括的多个PSF之中选择至少一个PSF,并且使用选择的PSF和图像数据产生具有比 该图像数据高的分辨率的输出图像数据。
[0151 ]应该理解,应该仅在描述性意义上而非为了限制的目的考虑这里描述的示例实施 例。根据示例实施例的每个装置或方法内的特征或方面的描述应该通常被视为可用于根据 示例实施例的其它装置或方法中的其它类似特征或方面。尽管已具体地示出和描述了一些 示例实施例,但本领域普通技术人员将会理解,在不脱离权利要求的精神和范围的情况下, 可对其做出各种形式和细节上的修改。
【主权项】
1. 一种图像信号处理器,包括: 内存,被配置为存储表,该表包括多个点扩散函数PSF; PSF选择电路,被配置为基于选择信息输出存储在该表中的所述多个PSF中的至少一个 PSF; 差异提取器,被配置为从与从图像传感器中所包括的多个像素中的至少一个像素输出 的像素信号对应的图像数据提取差异值,图像传感器的每个像素包括多个光电转换元件; 和 处理电路,被配置为产生所述至少一个像素的像素位置信息, 所述选择信息包括差异值和像素位置信息。2. 如权利要求1所述的图像信号处理器,其中,所述图像数据包括: 与从所述多个光电转换元件之中的至少一个第一光电转换元件输出的第一像素信号 对应的长曝光图像数据;和 与从所述多个光电转换元件之中的至少一个第二光电转换元件输出的第二像素信号 对应的短曝光图像数据。3. 如权利要求1所述的图像信号处理器,还包括: 去卷积电路,被配置为使用由PSF选择电路输出的所述至少一个PSF和图像数据产生具 有比该图像数据高的分辨率的输出图像数据。4. 如权利要求1所述的图像信号处理器,其中,所述图像信号处理器和图像传感器被包 括在成像装置中。5. 如权利要求1所述的图像信号处理器,还包括: 去卷积电路,被配置为使用由PSF选择电路输出的所述至少一个PSF和图像数据产生具 有比该图像数据高的分辨率的输出图像数据; 所述处理电路被配置为从该图像数据提取颜色信息;以及 选择信息还包括提取的颜色信息。6. 如权利要求5所述的图像信号处理器,其中,所述颜色信息包括以下信号中的至少一 个信号:红色信号、绿色信号、蓝色信号、黄色信号、青色信号、品红色信号、白色信号和红外 信号。7. 如权利要求1所述的图像信号处理器,还包括: 透镜位置信息计算器,被配置为计算成像装置中所包括的透镜的位置并且产生透镜位 置信息,该成像装置包括图像传感器; 去卷积电路,被配置为使用由PSF选择电路输出的所述至少一个PSF和图像数据产生具 有比该图像数据高的分辨率的输出图像数据;以及 所述选择信息还包括透镜位置信息。8. -种应用处理器,包括: 图像信号处理器; 多媒体处理电路,连接到图像信号处理器; 所述图像信号处理器包括: 内存,被配置为存储表,该表包括多个点扩散函数(PSF); PSF选择电路,被配置为基于选择信息输出存储在该表中的所述多个PSF中的至少一个 差异提取器,被配置为从与从图像传感器中所包括的多个像素中的至少一个像素输出 的像素信号对应的图像数据提取差异值,图像传感器的每个像素包括多个光电转换元件; 和 PSF; 处理电路,被配置为产生所述至少一个像素的像素位置信息, 所述选择信息包括差异值和像素位置信息。9. 如权利要求8所述的应用处理器,其中,所述图像数据包括: 与从所述多个光电转换元件之中的至少一个第一光电转换元件输出的第一像素信号 对应的长曝光图像数据;和 与从所述多个光电转换元件之中的至少一个第二光电转换元件输出的第二像素信号 对应的短曝光图像数据。10. 如权利要求8所述的应用处理器,其中,所述图像信号处理器还包括去卷积电路,去 卷积电路被配置为使用由PSF选择电路输出的所述至少一个PSF和图像数据产生具有比该 图像数据高的分辨率的输出图像数据。11. 如权利要求8所述的应用处理器,其中,所述图像信号处理器和图像传感器被包括 在成像装置中。12. 如权利要求8所述的应用处理器,其中,所述图像信号处理器还包括: 去卷积电路,被配置为使用由PSF选择电路输出的所述至少一个PSF和图像数据产生具 有比该图像数据高的分辨率的输出图像数据; 所述处理电路被配置为从该图像数据提取颜色信息;以及 选择信息还包括提取的颜色信息。13. 如权利要求12所述的应用处理器,其中,所述颜色信息包括以下信号中的至少一个 信号:红色信号、绿色信号、蓝色信号、黄色信号、青色信号、品红色信号、白色信号和红外信 号。14. 如权利要求8所述的应用处理器,其中,所述图像信号处理器还包括: 透镜位置信息计算器,被配置为计算成像装置中所包括的透镜的位置并且产生透镜位 置信息,该成像装置包括图像传感器; 去卷积电路,被配置为使用由PSF选择电路输出的所述至少一个PSF和图像数据产生具 有比该图像数据高的分辨率的输出图像数据;以及 所述选择信息还包括透镜位置信息。15. -种数据处理系统,包括: 图像传感器,被配置为产生图像数据,该图像传感器包括多个像素,每个像素包括多个 光电转换元件; 图像信号处理器,连接到图像传感器;和 应用处理器,连接到图像信号处理器, 所述图像信号处理器包括: 内存,被配置为存储表,该表包括多个点扩散函数PSF; PSF选择电路,被配置为基于选择信息输出存储在该表中的所述多个PSF中的至少一个 PSF; 差异提取器,被配置为从与从所述多个像素中的至少一个像素输出的像素信号对应的 图像数据提取差异值;和 处理电路,被配置为产生所述多个像素中的所述至少一个像素的像素位置信息, 所述选择信息包括差异值和像素位置信息。16. 如权利要求15所述的数据处理系统,其中,当所述图像传感器被实现在第一半导体 芯片中并且图像信号处理器被实现在第二半导体芯片中时,第一半导体芯片和第二半导体 芯片被包括在成像装置中。17. 如权利要求15所述的数据处理系统,其中,所述图像信号处理器被形成在应用处理 器内。18. 如权利要求15所述的数据处理系统,其中,所述图像传感器还包括: 多个微透镜,所述多个微透镜中的每个微透镜分别形成在所述多个像素上; 至少一种第一隔离材料被布置在所述多个像素之间;以及 至少一种第二隔离材料被布置在所述多个光电转换元件之间。19. 如权利要求15所述的数据处理系统,其中,所述图像信号处理器还包括去卷积电 路,去卷积电路被配置为使用由PSF选择电路输出的所述至少一个PSF和图像数据产生具有 比该图像数据高的分辨率的输出图像数据。20. 如权利要求15所述的数据处理系统,其中,所述数据处理系统是从数字单镜头反光 (DSLR)照相机、智能电话、平板装置、可穿戴装置、膝上型计算机、物联网(IoT)装置和万联 网(Ι〇Ε)装置中的至少一种装置选择的一种装置。21. 如权利要求15所述的数据处理系统,其中,所述图像信号处理器还包括: 去卷积电路,被配置为使用由PSF选择电路输出的所述至少一个PSF和图像数据产生具 有比该图像数据高的分辨率的输出图像数据; 所述处理电路被配置为从该图像数据提取颜色信息;以及 选择信息还包括提取的颜色信息。22. 如权利要求15所述的数据处理系统,其中,所述图像信号处理器还包括: 透镜位置信息计算器,被配置为计算成像装置中所包括的透镜的位置并且产生透镜位 置信息,该成像装置包括图像传感器; 去卷积电路,被配置为使用由PSF选择电路输出的所述至少一个PSF和图像数据产生具 有比该图像数据高的分辨率的输出图像数据;以及 所述选择信息还包括透镜位置信息。23. -种图像处理系统,包括: 图像传感器,被配置为产生第一图像数据,该图像传感器包括多个像素和透镜,并且每 个像素包括多个光电转换元件;和 至少一个图像信号处理器,被配置为接收第一图像数据,并且通过基于第一图像数据 估计原始图像数据来产生输出图像数据,输出图像数据具有比第一图像数据高的分辨率。24. 如权利要求23所述的图像处理系统,其中,所述至少一个图像信号处理器还被配置 为对第一图像数据执行以下项中的至少一种:自动暗电平补偿、坏像素替换、噪声减小、透 镜阴影补偿、颜色校正、RGB伽马校正、边缘增强、色调控制和颜色抑制;以及 基于该处理的结果产生第二图像数据。25.如权利要求24所述的图像处理系统,其中,所述估计的步骤包括: 处理第一图像数据或第二图像数据以补偿光学模糊、下采样和噪声。
【文档编号】H04N5/3745GK105991946SQ201610149204
【公开日】2016年10月5日
【申请日】2016年3月16日
【发明人】金大官, 高夏永, 金采盛, 闵桐基
【申请人】三星电子株式会社