图像处理设备和图像处理方法

图像处理设备和图像处理方法
【专利摘要】公开了一种图像处理设备和图像处理方法。所述图像处理设备包括第一像素、数字化单元和校正单元。第一像素包括：第一光电转换层，响应于接收到的入射光而输出第一电信号，其中，所述接收到的入射光包括第一颜色的光、第二颜色的光和第三颜色的光；以及第二光电转换层，布置在第一光电转换层之下，并响应于透射过第一光电转换层的光而输出第二电信号。数字化单元通过对第一电信号进行数字化产生第一原始数据，并通过对第二电信号进行数字化产生第二原始数据。校正单元通过分别校正第一原始数据和第二原始数据来产生与第一颜色的光相应的第一校正数据和与第二颜色的光相应的第二校正数据。
【专利说明】图像处理设备和图像处理方法
[0001]本申请要求于2012年10月31日提交到韩国知识产权局的第10-2012-0122561号韩国专利申请的权益，所述申请的公开通过引用完整地合并于此。
【技术领域】
[0002]本发明构思涉及一种图像传感器及其外围电路，更具体地讲，涉及一种能够校正从具有多层结构的图像传感器输出的多个颜色数据的图像处理设备和图像处理方法。
【背景技术】
[0003]已经提出了具有多层结构的图像传感器，其中，光电转换层用于吸收不同波长的光并输出电信号。与具有水平结构并具有相同区域的图像传感器相比，通过堆叠光电转换层以形成多层结构，可获得高清晰度图像。然而，由于光在穿过光电转换层之后具有各种吸收光谱特性，因此从具有多层结构的图像传感器输出的颜色数据具有颜色空间失真的问题。

【发明内容】

[0004]本发明构思提供一种能够校正由具有多层结构的图像传感器产生的颜色空间失真的图像处理设备和图像处理方法。
[0005]根据本发明构思的一方面，提供一种图像处理设备，包括:第一像素；数字化单元，通过对第一电信号进行数字化产生第一原始数据，并通过对第二电信号进行数字化产生第二原始数据；校正单元，通过分别校正第一原始数据和第二原始数据来产生与第一颜色的光相应的第一校正数据和与第二颜色的光相应的第二校正数据，其中，第一像素包括如下光电转换层:第一光电转换层，响应于入射光而输出第一电信号，其中，所述入射光包括第一颜色的光、第二颜色的光和第三颜色的光；以及第二光电转换层，布置在第一光电转换层之下，并响应于透射过第一光电转换层的光而输出第二电信号。
[0006]所述图像处理设备还可包括:插值单元，通过使用颜色插值方法产生与第三颜色的光相应的插值数据，因此，产生具有第一校正数据、第二校正数据和插值数据的第一像素的像素数据。
[0007]所述图像处理设备还可包括:信号处理单元，对第一像素的第一校正数据、第二校正数据和插值数据执行图像处理。
[0008]校正单元可通过将第一原始数据和第二原始数据乘以2X2大小的颜色校正矩阵来产生第一校正数据和第二校正数据。颜色校正矩阵的系数可被存储在非易失性存储器中，并可由用户改变、编程或选择。
[0009]所述图像处理设备还可包括包含第一像素的像素阵列，并且颜色校正矩阵的系数可根据像素阵列中的第一像素的位置而变化。
[0010]可以以如下方式确定颜色校正矩阵的系数:当第一颜色的单色光入射到第一像素上时，第二校正数据具有值0，并且当第二颜色的单色光入射到第一像素上时，第一校正数据具有值O。
[0011]颜色校正矩阵的对角分量可具有值I。
[0012]第一校正数据可被确定为如下项之和:(1)第一原始数据与第一系数的乘积；(2)第二原始数据与第二系数的乘积；(3)第三系数，并且第二校正数据可被确定为如下项之和:(I)第一原始数据与第四系数的乘积；(2)第二原始数据与第五系数的乘积；(3)第六系数。
[0013]第一光电转换层可包括用于吸收第一颜色的光多于第二颜色的光和第三颜色的光的有机材料。
[0014]第二光电转换层可包括用于吸收第二颜色的光多于第一颜色的光和第三颜色的光的有机材料。
[0015]第一像素还可包括:滤色器层，位于第一光电转换层与第二光电转换层之间，用于仅透射第二颜色的光，并且第二光电转换层可包括半导体基板中的光电二极管。
[0016]第二光电转换层可包括在距半导体基板的表面的第一深度形成的PN结结构，并且第一深度可根据第二颜色的光被吸收到半导体基板中的深度来确定。
[0017]所述图像处理设备还可包括第二像素，其中，第二像素包括:第三光电转换层，通过接收入射光输出第三电信号；以及第四光电转换层，布置在第三光电转换层之下，并响应于透射过第三光电转换层的光来输出第四电信号，其中，数字化单元可通过对第三电信号进行数字化产生第三原始数据，并通过对第四电信号进行数字化产生第四原始数据，校正单元可通过分别校正第三原始数据和第四原始数据来产生第三校正数据和第四校正数据，其中，第三校正数据可以是与第一颜色的光相应的数据，第四校正数据是与第三颜色的光相应的数据。所述图像处理设备还可包括交替地排列了多个第一像素和多个第二像素的像素阵列。所述图像处理设备还可包括:插值单元，通过使用与第一像素邻近的第二像素的第四校正数据来产生第一像素的第一插值数据，并通过使用与第二像素邻近的第一像素的第二校正数据来产生第二像素的第二插值数据，并且第一插值数据可与第三颜色的光相应，第二插值数据可与第二颜色的光相应。
[0018]第一颜色可以是绿色，并且第二颜色和第三颜色之一可以是红色，另一颜色可以是蓝色。
[0019]根据本发明构思的另一方面，提供一种图像处理方法，包括:从像素接收两个电信号，其中，所述像素包括相互堆叠的两个光电转换层；通过对所述两个电信号进行数字化产生两个原始数据；将所述两个原始数据转换为分别与第一颜色的光和第二颜色的光相应的第一校正数据和第二校正数据，其中，第一颜色的光和第二颜色的光入射到所述像素上；通过使用颜色插值方法产生与第三颜色的光相应的插值数据，因此，产生具有第一校正数据、第二校正数据和插值数据的所述像素的像素数据。
[0020]所述像素的像素数据可在所述两个原始数据被转换为第一校正数据和第二校正数据之后产生。
[0021]所述图像处理方法还可包括:通过对所述像素的第一校正数据、第二校正数据和插值数据执行颜色校准来产生第一颜色数据、第二颜色数据和第三颜色数据。
[0022]根据本发明构思的另一方面，提供一种图像处理设备，包括:像素；数字化单元，通过对第一电信号进行数字化产生第一原始数据，通过对第二电信号进行数字化产生第二原始数据，并通过对第三电信号进行数字化产生第三原始数据；校正单元，通过分别校正第一原始数据、第二原始数据和第三原始数据来产生与第一颜色的光相应的第一校正数据、与第二颜色的光相应的第二校正数据以及与第三颜色的光相应的第三校正数据，其中，所述像素包括如下光电转换层:第一光电转换层，响应于入射光而输出第一电信号，其中，所述入射光包括第一颜色的光、第二颜色的光和第三颜色的光；第二光电转换层，布置在第一光电转换层之下，并响应于透射过第一光电转换层的光而输出第二电信号；以及第三光电转换层，布置在第二光电转换层之下，并响应于透射过第二光电转换层的光而输出第三电信号。
[0023]根据本发明构思的另一方面，提供一种图像处理方法，包括:从像素接收三个电信号，其中，所述像素包括相互堆叠的三个光电转换层；通过对所述三个电信号进行数字化产生三个原始数据；将所述三个原始数据转换为分别与第一颜色的光、第二颜色的光和第三颜色的光相应的第一校正数据、第二校正数据和第三校正数据，其中，第一颜色的光、第二颜色的光和第三颜色的光入射到所述像素上。
[0024]所述转换的步骤可包括:通过使用第一颜色校正矩阵将所述三个原始数据转换为三个临时数据；对所述三个临时数据进行降噪；通过使用第二颜色校正矩阵将降噪后的三个临时数据转换为第一校正数据、第二校正数据和第三校正数据。
[0025]第一颜色校正矩阵的对角分量可具有等于或大于I且等于或小于1.5的值。此外，第一颜色校正矩阵的非对角分量的绝对值可等于或小于0.8。
[0026]所述图像处理方法还可包括:将第一校正数据、第二校正数据和第三校正数据存储在图像信号处理器(ISP)的存储器中。
[0027]根据本发明构思的另一方面，提供一种图像处理设备，包括:像素阵列，包括沿行和列排列的像素；数据输出单元，通过按光栅扫描方法扫描像素依次输出与像素阵列的像素的输出相应的原始像素数据；校正单元，通过使用原始像素数据依次产生校正后的像素数据。每个像素可包括:第一光电转换层，通过接收入射光而输出第一电信号，其中，所述入射光包括第一颜色的光、第二颜色的光和第三颜色的光；第二光电转换层，布置在第一光电转换层之下，并通过接收透射过第一光电转换层的光来输出第二电信号。原始像素数据可包括通过分别对第一电信号和第二电信号进行数字化所产生的第一原始数据和第二原始数据。校正单元可基于第一原始数据和第二原始数据来产生包括与第一颜色的光相应的第一校正数据和与第二颜色的光相应的第二校正数据的校正后的像素数据。
[0028]根据本发明构思的另一方面，提供一种设备，所述设备包括光感测像素的阵列、数字化单元和校正单元。光感测像素的至少第一像素包括:沿光感测像素被构造为光入射到光感测像素上的方向相互堆叠的至少第一层和第二层。第一层被构造为响应于入射到光感测像素上的光而输出第一电信号，第二层被构造为响应于穿过第一层的光而输出第二电信号。第一层在第一波长范围内比在第二和第三波长范围内具有更大的光吸收响应，第二层在第二波长范围内比在第一和第三波长范围内具有更大的光吸收响应。数字化单元被构造为:响应于第一电信号产生第一数字数据，并响应于第二电信号产生第二数字数据。校正单元被构造为:处理第一数字数据和第二数字数据，以至少部分地将第二和第三波长范围内的光的贡献补偿给第一电信号和第一数字数据，并至少部分地将第一和第三波长范围内的光的贡献补偿给第二电信号和第二数字数据，并且校正单元还被构造为:输出与第一波长范围内的光相应的第一校正数据以及与第二波长范围内的光相应的第二校正数据。
[0029]光感测像素的第一像素还可包括沿光入射到光感测像素上的方向而在第一层和第二层之下堆叠的第三层，其中，第三层被构造为响应于穿过第一层和第二层的光而输出第三电信号，其中，第三层在第三波长范围内比在第一和第二波长范围内具有更大的光吸收响应。数字化单元还可被构造为:响应于第三电信号产生第三数字数据；校正单元还可被构造为:处理第一数字数据、第二数字数据和第三数字数据，以至少部分地将第一和第二波长范围内的光的贡献补偿给第三电信号和第三数字数据，并输出与第三波长范围内的光相应的第三校正数据。
[0030]所述设备还可包括:图像信号处理器，被构造为处理第一校正数据、第二校正数据和第三校正数据，以对第一校正数据、第二校正数据和第三校正数据执行色调调整、饱和度调整、亮度调整、对由于照明引起的颜色失真的校正和白平衡调整中的至少一个。
【专利附图】

【附图说明】
[0031]从下面结合附图进行的详细描述中，本发明构思的示例性实施例将更加清楚地被理解，在附图中:
[0032]图1是图像处理设备的实施例的框图；
[0033]图2是示例性地示出在具有三个光电转换层沿光入射到像素上的方向相互堆叠的结构的像素中的每个光电转换层的光吸收特性的曲线图；
[0034]图3A至图3D是用于描述图1中示出的校正单元的实施例的示例操作的示图；
[0035]图4是图像处理设备的另一实施例的框图；
[0036]图5是包括图像处理设备的系统的框图；
[0037]图6是图像处理设备的像素的横截面图；
[0038]图7A至图7C是示出图像处理设备的像素的示例排列的示图；
[0039]图8A至图8C是图像处理设备的像素的示例实施例的横截面图；
[0040]图9是图像处理设备的校正单元的示例实施例的框图；
[0041]图10是图像处理方法的流程图；
[0042]图11是图像处理设备的另一实施例的框图；
[0043]图12A至图12D是用于描述图11中示出的校正单元的实施例的示例操作的示图；
[0044]图13是图11中示出的校正单元的实施例的框图；
[0045]图14A至图14E是图11中示出的像素的示例实施例的横截面图；
[0046]图15是图像处理方法的另一实施例的流程图；
[0047]图16A是图像处理设备的实施例的框图；
[0048]图16B是图像处理设备的另一实施例的框图；
[0049]图17是图像处理设备的另一实施例的框图。
【具体实施方式】
[0050]现在将参照附图更加全面地描述本发明构思，在附图中示出了本发明构思的示例性实施例。然而，本发明构思可以以许多不同的形式来实现，并且不应被解释为限于本文中阐述的实施例；相反，提供这些实施例，使得本公开将是彻底和完整的，并且这些实施例将把本发明构思的构思全面地传达给本领域的普通技术人员。然而，应理解，不意图将本发明构思的示例性实施例限制为所公开的具体形式，而是相反，本发明构思的示例性实施例应覆盖落入本发明构思的精神和范围内的所有修改、等同物和替代。
[0051]在附图中，相同的标号表示相同的元件，并且为了解释清楚，可夸大元件的大小或厚度。
[0052]本文中使用的术语是为了描述具体实施例的目的，而不意图限制本发明构思。如本文中使用的，单数形式意图也包括复数形式，除非上下文另外清楚地指示。将进一步理解的是，术语“包括”和/或“包含”在本说明书中被使用时指定所陈述的特征、整体、步骤、操作、元件和/或组件的存在性，但是不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。如本文中使用的，术语“和/或”包括相关列出项中的一个或多个的任意组合和所有组合。将理解的是，虽然术语“第一”、“第二”等在本文中可用于描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应被这些术语所限制。这些术语仅用于将一元件、组件、区域、层或部分与另一元件、组件、区域、层或部分进行区分。因此，在不脱离示例性实施例的教导的情况下，以下讨论的第一元件、组件、区域、层或部分可被命名为第二元件、组件、区域、层或部分。
[0053]除非被不同地定义，否则在描述中使用的包括技术术语和科学术语的所有术语具有与本领域的普通技术人员通常所理解的意义相同的意义。如在通用字典中定义的术语应被解释为具有与在相关技术背景中相同的意义，并且除非在描述中定义，否则术语不被理想地或过分地解释为具有正式意义。
[0054]下文中，将通过参照附图解释本发明构思的实施例来详细描述本发明构思。
[0055]图1是图像处理设备I的框图。
[0056]参照图1，图像处理设备I包括像素10、数字化单元20和校正单元30。如图1中所示，图像处理设备I还可包括插值单元40和信号处理单元50。
[0057]图像处理设备I可包括像素阵列12，像素阵列12包括像素10。在像素阵列12中，像素10可被排列在行列阵列中。像素阵列12可包括相同类型的像素10，或者可包括不同类型的像素。
[0058]通过光学透镜入射到像素10上的光被转换为随后从像素10输出的电信号。通常，光具有各种波长。例如，光不仅可包括可见光，而且可包括红外光或紫外光。在以下的描述中，假设光包括第一颜色的光、第二颜色的光和第三颜色的光。例如，第一颜色的光可以是绿光，第二颜色的光和第三颜色的光中的一个可以是红光，另一个可以是蓝光。然而，在其他实施例中，光可具有其他波长。例如，第一颜色的光可以是红外光，第二颜色的光可以是可见光，第三颜色的光可以是紫外光。
[0059]像素10包括沿光入射到像素10上的方向彼此堆叠的第一光电转换层LI和第二光电转换层L2。第一光电转换层LI响应于入射到像素10上的光而产生第一电信号SI。此外，第二光电转换层L2被布置在第一光电转换层LI之下，并响应于透射过第一光电转换层LI的光而产生第二电信号S2。每个像素10响应于入射到其上的光不是仅输出一个电信号，而是输出至少两个电信号。通常，所述两个电信号可以彼此不同，在任何给定时间具有不同幅值或值。
[0060]数字化单元20通过分别对第一电信号SI和第二电信号S2进行数字化来产生第一原始数据Dl和第二原始数据D2。数字化单元20通过对第一电信号SI和第二电信号S2中的每个执行相关双采样(CDS)、将执行了 CDS的第一电信号SI和第二电信号S2中的每个与斜坡信号进行比较以产生比较器信号、并对比较器信号进行计数，来产生分别与第一电信号SI和第二电信号S2相应的第一原始数据Dl和第二原始数据D2。第一原始数据Dl和第二原始数据D2可以均是具有两个离散值(可被分别称为“0”和“I”)之一的数字数据。由于第一原始数据Dl和第二原始数据D2是响应于入射到像素上的光而产生的，因此第一原始数据Dl和第二原始数据D2可被称为“图像数据”。
[0061]校正单元30接收第一原始数据Dl和第二原始数据D2，并通过使用第一原始数据Dl和第二原始数据D2来产生第一校正数据Cl和第二校正数据C2。第一校正数据Cl可具有与入射到像素10上的光所包括的第一颜色的光的强度相应的值，第二校正数据C2可具有与入射到像素10上的光所包括的第二颜色的光的强度相应的值。
[0062]如果第一光电转换层LI仅吸收入射到像素10上的光所包括的第一颜色的光，输出与第一颜色的光相应的第一电信号SI，并透射第二颜色的光和第三颜色的光，并且如果第二光电转换层L2仅吸收透射过第一光电转换层LI的第二颜色的光，并输出与第二颜色的光相应的第二电信号S2，则第一原始数据Dl和第二原始数据D2将不需要被校正。然而，第一光电转换层LI不仅吸收第一颜色的光,而且吸收第二颜色的光和第三颜色的光中的一些，并且还透射第一颜色的光中的一些以及第二颜色的光和第三颜色的光。因此，从第一光电转换层LI输出的第一电信号SI不仅包括与第一颜色的光相应的分量，而且包括与第二颜色的光和第三颜色的光相应的分量。此外，从第二光电转换层L2输出的第二电信号S2不仅包括与第二颜色的光相应的分量，而且包括与第一颜色的光和第三颜色的光相应的分量。校正单元30可通过使用对第一电信号SI和第二电信号S2进行数字化所产生的第一原始数据Dl和第二原始数据D2，来产生与第一颜色的光相应的第一校正数据Cl和与第二颜色的光相应的第二校正数据C2。因此，可减小或消除当像素10具有堆叠结构时产生的颜色干扰。
[0063]插值单元40可产生具有与第三颜色的光的强度相应的值的插值数据C3。插值单元40接收像素10的第一校正数据Cl和第二校正数据C2，并且也接收邻近像素10的校正数据。插值单元40可通过使用基于与第三颜色的光相应的邻近像素10的数据的颜色插值方法，来产生与第三颜色的光相应的像素10的插值数据C3。因此，产生了像素10的像素数据。所述像素数据包括第一校正数据Cl和第二校正数据C2以及插值数据C3。
[0064]信号处理单元50可通过对像素10的第一校正数据Cl和第二校正数据C2以及插值数据C3执行图像处理来产生第一颜色数据Cl'至第三颜色数据C3'。信号处理单元50执行颜色校准，以产生与对象的实际颜色相应的颜色数据。例如，可执行用于校正因照明或亮度所引起的颜色失真的颜色校正。另外，信号处理单元50可执行用于反映用户的颜色设置的颜色校正。
[0065]图2是示例性地示出在具有三个光电转换层沿光入射到像素上的方向相互堆叠的结构的像素中的每个光电转换层的光吸收特性的曲线图。假设像素包括第一光电转换层A、在第一光电转换层A之下的第二光电转换层B以及在第二光电转换层B之下的第三光电转换层C。
[0066]参照图2，第一光电转换层A在第一波长范围入4中(更具体地讲，在第一波长Aa)具有最大光吸收特性。此外，第二光电转换层B在第二波长范围Xb中(更具体地讲，在第二波长Xb)具有最大光吸收特性，第三光电转换层C在第三波长范围入。中(更具体地讲，在第三波长X。)具有最大光吸收特性。
[0067]如图2中所不,第一波长范围X A中的光也被第二光电转换层B和第三光电转换层C吸收。因此，从第二光电转换层B和第三光电转换层C输出的电信号包括被第二光电转换层B和第三光电转换层C吸收的第一波长范围\ A的光的分量。
[0068]此外，第二波长范围Xb中的光不仅被第二光电转换层B吸收，而且被第一光电转换层A和第三光电转换层C吸收。因此，从第一光电转换层A和第三光电转换层C输出的电信号包括被第一光电转换层A和第三光电转换层C吸收的第二波长范围Xb的光的分量。第三波长范围\ C中的光不仅被第三光电转换层c吸收,而且被第一光电转换层A和第二光电转换层B吸收。因此,从第一光电转换层A和第二光电转换层B输出的电信号包括被第一光电转换层A和第二光电转换层B吸收的第三波长范围\ c的光的分量。
[0069]因此，如果假设从第一光电转换层A输出的电信号对应于第一波长范围Xa中的光的强度，从第二光电转换层B输出的电信号对应于第二波长范围Xb中的光的强度，并且从第三光电转换层C输出的电信号对应于第三波长范围\ c中的光的强度，则可能无法获得准确的颜色数据。例如，当只有红色单色光入射到像素上时，第二光电转换层B和第三光电转换层C也可做出反应以输出电信号，并且通过对所述电信号进行数字化所产生的颜色数据不可再现纯红，而可再现与其他颜色混合的红色。因此，由于像素的光电转换层的光吸收特性所引起的颜色干扰应被减小或消除。图1中示出的校正单元30用于减小或消除颜色干扰。
[0070]图3A至图3D是用于描述图1中示出的校正单元30的实施例的示例操作的示图。
[0071]参照图3A，可通过将第一原始数据Dl和第二原始数据D2乘以颜色校正矩阵CCM来产生第一校正数据Cl和第二校正数据C2。如果一个像素具有两个光电转换层，则颜色校正矩阵CCM可以是2X2矩阵。如图3A中所示，颜色校正矩阵CCM可具有第一系数至第四系数 cll、cl2、c21 和 c22。
[0072]第一校正数据Cl可被确定为如下项之和:(I)第一系数Cll与第一原始数据Dl的乘积；(2)第二系数cl2与第二原始数据D2的乘积。此外，第二校正数据C2可被确定为如下项之和:(I)第三系数c21与第一原始数据Dl的乘积；(2)第四系数c22与第二原始数据D2的乘积。
[0073]图3B是用于描述计算颜色校正矩阵CCM的第一系数至第四系数ell、cl2、c21和c22的方法的示图。第一原始数据Dl和第二原始数据D2可被表示为逆颜色校正矩阵CCM—1与第一校正数据Cl和第二校正数据C2的乘积。逆颜色校正矩阵CCM—1可被表示为第一系数至第四系数cll'、cl2'、c21'和c22'。
[0074]第一原始数据Dl和第二原始数据D2具有通过对从第一光电转换层LI和第二光电转换层L2输出的第一电信号SI和第二电信号S2进行量化所获得的值。第一校正数据Cl和第二校正数据C2具有与入射到像素上的光所包括的第一颜色的光的分量和第二颜色的光的分量相应的值。因此，如果第一颜色的单色光入射到像素上，则第一校正数据Cl应具有与第一颜色的单色光的强度成比例的值，第二校正数据C2应具有值O。在此情况下，第一系数cll'可被确定为第一原始数据Dl的值与第一校正数据Cl的值之比，即，D1/C1。此夕卜，第三系数c21'可被确定为第二原始数据D2的值与第一校正数据Cl的值之比，S卩，D2/Cl。
[0075]另外，如果第二颜色的单色光入射到像素上，则第二校正数据C2应具有与第二颜色的单色光的强度成比例的值，第一校正数据Cl应具有值O。在此情况下，第二系数C12'可被确定为第一原始数据Dl的值与第二校正数据C2的值之比，即，D1/C2。此外，第四系数c22'可被确定为第二原始数据D2的值与第二校正数据C2的值之比，即，D2/C2。
[0076]如此，可确定逆颜色校正矩阵CCM—1的第一系数至第四系数Cl I'、cl2'、c21'和c22/。因此，通过再次对逆颜色校正矩阵CCM—1取一次逆，可计算出颜色校正矩阵CCM的第一系数至第四系数ell、cl2、c21和c22。
[0077]虽然以上参照图3B描述了计算颜色校正矩阵CCM的第一系数至第四系数ell、cl2、c21和c22的示例性方法，但是颜色校正矩阵CCM的第一系数至第四系数cll、cl2、c21和c22可通过另一方法来确定。例如，颜色校正矩阵CCM的第一系数至第四系数cll、cl2、c21和c22可由用户设置。此外，颜色校正矩阵CCM的第一系数至第四系数ell、cl2、c21和c22可根据像素阵列中的像素的位置而变化，以减小或消除透镜的色差效应。
[0078]图3C示出颜色校正矩阵CCM的示例。如图3C中所示，颜色校正矩阵CCM的对角分量(即，第一系数cll和第四系数c22)可被设置为值I。在此情况下，乘法器的数量可以减少两个。虽然需要四个乘法器和两个加法器来获得图3A中示出的颜色校正矩阵CCM，但是仅需要两个乘法器和两个加法器来获得图3C中示出的颜色校正矩阵CCM。因为信号处理单元50可再次执行颜色校正，所以颜色校正矩阵CCM的对角分量可被设置为值I。例如，由于信号处理单元50包括数字增益块以执行诸如白平衡调整的功能，因此在校正单元30的颜色校正矩阵CCM的行中的系数之和不需要被固定为值I。
[0079]参照图3D，除了颜色校正矩阵CCM之外，校正单元30还可包括用于校正偏移的偏移矩阵。如图3D中所示，可通过将第一原始数据Dl和第二原始数据D2乘以颜色校正矩阵CCM以计算其乘积并且然后将第一偏移数据01和第二偏移数据02与所述乘积相加来产生第一校正数据Cl和第二校正数据C2。第一偏移数据01和第二偏移数据02用于校正黑色电平电流。
[0080]图4是图像处理设备4的框图。图像处理设备4包括包含像素10的像素阵列12、垂直(或行)解码器14、水平(或列)解码器16、数字化单元20、缓冲器22、校正单元30和图像信号处理器(ISP) 60。
[0081]参照图4，像素10在像素阵列12中被排列在行列阵列中。垂直解码器14和水平解码器I6可从像素阵列12选择与地址相应的像素10。响应于行地址，可被称为行解码器的垂直解码器14激活像素阵列12的与所述行地址相应的行。响应于列地址，可被称为列解码器的水平解码器16激活像素阵列12的与所述列地址相应的列。
[0082]像素阵列12的像素10获得可入射过光学透镜并且然后按光栅扫描方法被激活的对象的图像。也就是说，在像素阵列12的第一行中的像素10依次输出第一电信号SI和第二电信号S2。之后,在第二行中的像素10依次输出第一电信号SI和第二电信号S2。以此方式，在剩余行中的所有像素10依次输出第一电信号SI和第二电信号S2。为此，垂直解码器14从第一行至最后一行依次激活像素阵列12。在垂直解码器14激活像素10的一行时，水平解码器16依次激活像素阵列12的所有列。如此，像素阵列12的像素10按光栅扫描方法输出第一电信号SI和第二电信号S2。
[0083]数字化单元20包括用于将从每列的像素10输出的第一电信号SI和第二电信号S2转换为第一原始数据Dl和第二原始数据D2的模数转换器(ADC)，其中，第一原始数据Dl和第二原始数据D2是数字数据。从ADC输出的第一原始数据Dl和第二原始数据D2被暂时存储在缓冲器22中。水平解码器16可以以依次输出存储在缓冲器22中的第一原始数据Dl和第二原始数据D2的方式来控制缓冲器22。例如，可输出存储在最左边的缓冲器22中的第一原始数据Dl和第二原始数据D2，然后可输出存储在第二最左边的缓冲器22中的第一原始数据Dl和第二原始数据D2，等等。以此方式，可依次输出像素10的一行的第一原始数据Dl和第二原始数据D2。以上描述的通过使用缓冲器22依次输出像素10的第一原始数据Dl和第二原始数据D2的操作可被称为序列化。
[0084]校正单元30可接收依次输出的第一原始数据Dl和第二原始数据D2，并可通过使用以上描述的颜色校正矩阵来依次产生第一校正数据Cl和第二校正数据C2。产生的第一校正数据Cl和第二校正数据C2被输出至ISP60。ISP60可收集所有像素10的第一校正数据Cl和第二校正数据C2。ISP60可通过使用颜色插值方法来产生所有像素10的插值数据。因此，产生了每个像素10的第一校正数据Cl和第二校正数据C2以及插值数据。第一校正数据Cl和第二校正数据C2以及插值数据可对应于像素10的三个颜色数据。例如，如果第一校正数据Cl和第二校正数据C2是绿色数据和蓝色数据，则插值数据可以是红色数据。
[0085]ISP60可执行各种类型的颜色校正，诸如白平衡调整和对比度调整。
[0086]通常，像素阵列12、垂直解码器14、水平解码器16、数字化单元20和缓冲器22可包括在图像传感器中。校正单元30可被布置在缓冲器22的后端，并可包括在图像传感器中。在此情况下，图像传感器输出像素10的第一校正数据Cl和第二校正数据C2。
[0087]可选择地，校正单元30可包括在ISP60中。在此情况下，图像传感器可输出第一原始数据Dl和第二原始数据D2，而ISP60可接收第一原始数据Dl和第二原始数据D2，可产生第一校正数据Cl和第二校正数据C2，并可对产生的第一校正数据Cl和第二校正数据C2执行各种类型的图像信号处理，诸如插值和颜色校正。
[0088]根据图4中示出的图像处理设备，从像素10输出的第一电信号SI和第二电信号S2通过数字化单元20的ADC被转换为第一原始数据Dl和第二原始数据D2。第一原始数据Dl和第二原始数据D2被暂时存储在缓冲器22中，并且随后在水平解码器16的控制下被依次输出。也就是说，第一原始数据Dl和第二原始数据D2通过使用光栅扫描方法根据像素10的位置而被序列化。校正单元30接收序列化后的第一原始数据Dl和第二原始数据D2，校正第一原始数据Dl和第二原始数据D2，并将第一原始数据Dl和第二原始数据D2转换为第一校正数据Cl和第二校正数据C2。ISP60对第一校正数据Cl和第二校正数据C2执行图像信号处理。
[0089]根据另一实施例，在序列化之后，为了补偿像素10的不均匀的电特性，可执行传感器补偿。例如，虽然入射了具有相同强度的光，但是像素10中的不同像素可对不同电平做出反应，并因此可输出具有不同幅值或其他特性的电信号。为了减小或消除以上的不均匀性，可执行传感器补偿。可与由校正单元30执行的校正同时地执行传感器补偿。此外，可在由校正单元30执行的校正之后执行传感器补偿。
[0090]图5是包括图像处理设备100的系统5的框图。[0091]参照图5，图像处理设备100可包括像素110、数字化单元120、序列化单元130、校正单元140和信号处理单元150。像素110与图1中示出的像素10基本上相同。像素110被排列在矩阵中以形成像素阵列。像素110均包括第一光电转换层LI和第二光电转换层L2。第一光电转换层LI通过使用入射到像素110上的光来产生第一电信号SI。此外,第二光电转换层L2被布置在第一光电转换层LI之下,并通过使用透射过第一光电转换层LI的光来产生第二电信号S2。像素110均不是仅输出一个电信号,而是输出至少两个电信号。
[0092]数字化单元120与图1中示出的数字化单元20基本上相同。数字化单元120分别将从像素110输出的第一电信号SI和第二电信号S2转换为第一原始数据Dl和第二原始数据D2。
[0093]序列化单元130可包括缓冲器22以及图4中示出的水平解码器16，并且如上所述，序列化单元130依次输出像素阵列12中的像素110的第一原始数据Dl和第二原始数据D2。
[0094]校正单元140可与图1中示出的校正单元30或者以下参照图9详细描述的校正单元9基本上相同。校正单元140通过校正依次输出的第一原始数据Dl和第二原始数据D2来产生第一校正数据Cl和第二校正数据C2。校正单元140可通过使用颜色校正矩阵将第一原始数据Dl和第二原始数据D2转换为第一校正数据Cl和第二校正数据C2。如上所述，颜色校正矩阵可包括系数，并且颜色校正矩阵的特征和校正单元140的特征可根据系数的值而变化。
[0095]信号处理单元150可对经颜色校正的第一校正数据Cl和第二校正数据C2执行各种类型的图像信号处理，诸如另外的颜色校正、白平衡调整、降噪和/或亮度调整。
[0096]图像处理设备100可连接到数据总线160。图像处理设备100可由可连接到数据总线160的主机中央处理单元(CPU)170控制。此外，数据总线160可连接到存储器180和非易失性存储器190。
[0097]存储器180可存储由图像处理设备100获得的图像数据。非易失性存储器190可经由主机CPU170存储颜色校正矩阵的系数。用户可经由主机CPU170改变所述系数。此夕卜，对于不同像素110的系数可根据像素阵列中的像素110的位置而具有不同值。更详细地讲，如果像素110位于像素阵列的中心部分，则颜色校正矩阵可包括第一组系数。否则，如果像素110位于像素阵列的边缘部分，则颜色校正矩阵可包括第二组系数。因此，所述系统可获得更自然的、锐化的且高质量的图像。
[0098]图6是图像处理设备的像素的示例实施例的横截面图。
[0099]参照图6，图像处理设备的像素可包括两种类型的像素，例如，第一像素PXl和第二像素PX2。
[0100]第一像素PXl和第二像素PX2可与图1中示出的像素10基本上相同。第一像素PXl包括沿光L入射到像素PXl上的方向彼此堆叠的第一光电转换层LI和第二光电转换层L2。第一光电转换层LI通过使用入射到第一像素PXl上的光来产生第一电信号。此外，第二光电转换层L2被布置在第一光电转换层LI之下,并通过使用透射过第一光电转换层LI的光来产生第二电信号。也就是说，第一像素PXl均可在任何给定时间点输出通常彼此不同的第一电信号和第二电信号。
[0101 ] 第二像素PX2包括沿光L入射到像素PX2上的方向彼此堆叠的第三光电转换层L3和第四光电转换层L4。第三光电转换层L3通过使用入射到第二像素PX2上的光来产生第三电信号。此外，第四光电转换层L4被布置在第三光电转换层L3之下，并通过使用透射过第三光电转换层L3的光来产生第四电信号。也就是说，第二像素PX2均可输出第三电信号和第四电信号。
[0102]图1中示出的数字化单元20接收从第一像素PXl输出的第一电信号和第二电信号以及从第二像素PX2输出的第三电信号和第四电信号，并通过分别对第一电信号至第四电信号进行数字化来产生第一原始数据至第四原始数据。
[0103]此外，图1中示出的校正单元30可通过使用第一原始数据和第二原始数据来产生与第一颜色的光相应的第一校正数据和与第二颜色的光相应的第二校正数据。此外，校正单元30可通过使用第三原始数据和第四原始数据来产生与第三颜色的光相应的第三校正数据和与第四颜色的光相应的第四校正数据。这里，第一颜色和第三颜色可以是同一颜色，例如，绿色。此外，第二颜色可以是红色，第四颜色可以是蓝色。可选择地，第一颜色可以是蓝色，第三颜色可以是红色，第二颜色和第四颜色可以是绿色。
[0104]图1中示出的插值单元40可通过使用与第一像素PXl邻近的第二像素PX2的第四校正数据来产生与第三颜色的光相应的第一像素PXl的第一插值数据。此外，插值单元40可通过使用与第二像素PX2邻近的第一像素PXl的第二校正数据来产生与第二颜色的光相应的第二像素PX2的第二插值数据。
[0105]例如，假设第一校正数据和第二校正数据是由第一像素PXl产生的绿色数据和红色数据，第三校正数据和第四校正数据是由第二像素PX2产生的绿色数据和蓝色数据。插值单元40通过使用与第一像素PXl邻近的第二像素PX2的蓝色数据来产生第一像素PXl的蓝色数据。同样地，插值单元40通过使用与第二像素PX2邻近的第一像素PXl的红色数据来产生第二像素PX2的红色数据。因此，产生了第一像素PXl的红色数据、绿色数据和蓝色数据，并产生了第二像素PX2的红色数据、绿色数据和蓝色数据。
[0106]第一光电转换层LI和第三光电转换层L3可通过主要与同一颜色的光进行反应来输出电信号。例如，第一光电转换层LI和第三光电转换层L3可主要与绿光进行反应。第二光电转换层L2和第四光电转换层L4可通过主要与不同颜色的光进行反应来输出电信号。例如，第二光电转换层L2可主要与红光进行反应，第四光电转换层L4可主要与蓝光进行反应。
[0107]可选择地，第二光电转换层L2和第四光电转换层L4可主要与同一颜色的光进行反应，第一光电转换层LI和第三光电转换层L3可主要与不同颜色的光进行反应。例如，第一光电转换层LI可主要与红光进行反应，第三光电转换层L3可主要与蓝光进行反应，第二光电转换层L2和第四光电转换层L4可主要与绿光进行反应。
[0108]第一像素PXl和第二像素PX2可形成像素阵列，并可交替地排列在像素阵列中。
[0109]图7A至图7C是示出根据本发明构思的示例实施例的图像处理设备的像素的示例排列的示图。
[0110]参照图7A至图7C，多个第一像素PXl和多个第二像素PX2形成像素阵列。
[0111]如图7A中所示，第一像素PXl和第二像素PX2可沿水平方向(例如，沿行)和垂直方向(例如，沿列)两者交替地排列。
[0112]此外，如图7B中所示，第一像素PXl和第二像素PX2可沿水平方向(例如，沿行)或垂直方向(例如，沿列)交替地排列。
[0113]否则，如图7C中所示，第一像素PXl和第二像素PX2可沿水平方向和垂直方向交替地排列，并可在水平方向和垂直方向中的另一方向上排列成Z字形。例如，如果第一像素PXl和第二像素PX2沿水平方向(例如，沿行)交替地排列，则偶数行中的像素和奇数行中的像素可沿水平方向在其间具有偏移。在一些实施例中，偏移的大小可以是水平方向上的一个像素的间距的一半。在此情况下，可以看出列不是线性结构，而是如它们从一端进行至另一端的Z字形斜路。
[0114]除了图7A至图7C中示出的排列外，第一像素PXl和第二像素PX2可具有各种其他排列。
[0115]图8A至图SC是图像处理设备的像素的一些实施例的横截面图。
[0116]参照图8A,不出了具有堆叠结构的第一像素PXa。第一像素PXa的第一光电转换层Lla包括用于吸收第一颜色的光多于第二颜色的光和第三颜色的光的有机材料。也就是说，第一光电转换层Lla的有机材料在第一颜色的光的波长范围内具有最大吸收光谱。虽然第一光电转换层Lla的有机材料意图透射第二颜色的光和第三颜色的光的全部而不吸收它们，但是实际上，可以吸收第二颜色的光和第三颜色的光中的一些。此外，虽然第一光电转换层Lla的有机材料意图吸收第一颜色的光的全部，但是实际上，可能无法吸收第一颜色的光的全部，而可透射第一颜色的光中的一些。
[0117]第一像素PXa的第二光电转换层L2a可包括用于吸收第二颜色的光多于第一颜色的光和第三颜色的光的有机材料。也就是说，第二光电转换层L2a的有机材料在第二颜色的光的波长范围内具有最大吸收光谱。虽然第二光电转换层L2a的有机材料意图仅吸收第二颜色的光，但是实际上，第二光电转换层L2a的有机材料还可吸收第一颜色的光和第三颜色的光中的一些。
[0118]更详细地讲，第一光电转换层Lla和第二光电转换层L2a均包括第一电极和第二电极以及第一电极与第二电极之间的有机材料层。第一电极和第二电极可由透明传导材料形成。有机材料层根据被主要吸收的光的波长而由不同的有机材料形成。假设光入射到第一光电转换层Lla和第二光电转换层L2a中的每一个的第一电极上。
[0119]第一电极的工作函数的值大于第二电极的工作函数的值。第一电极和第二电极可以是由从以下组中选择的至少一个氧化物形成的透明氧化物电极，所述组包括铟掺杂的氧化锡(IT0)、铟掺杂的氧化锌(IZ0)、氧化锌(ZnO)、二氧化锡(Sn02)、锑掺杂的氧化锡(AT0)、铝掺杂的氧化锌(AZ0)、镓掺杂的氧化锌(GZ0)、二氧化钛(TiO2)和氟掺杂的氧化锡(FTO)0此外，第二电极可以是由从以下组中选择的至少一个金属形成的金属薄膜，所述组包括铝(Al)、铜(Cu)、钛(Ti)、金(Au)、钼(Pt)、银(Ag)和铬(Cr)。如果第二电极由金属形成，则为了实现透明，其可被形成为等于或小于20nm的厚度。
[0120]有机材料层包括具有PN结结构的P型和N型有机材料层。P型有机材料层被形成为接触第一电极，N型有机材料层被形成在P型有机材料层与第二电极之间并接触P型有机材料层和第二电极。
[0121]P型有机材料层可由具有用作多个载波的空穴的半导体材料形成，并且不具体限于任何材料，只要该材料吸收光的期望波长带。N型有机材料层可由具有用作多个载波的电子的有机半导体材料形成，例如，富勒烯碳(C60)。[0122]P型有机材料层和N型有机材料层中的至少一个可由用于通过选择性地仅吸收光的期望波长带来实现光电转换的有机材料形成。为了通过仅透射期望颜色的光并选择性地吸收除了透射的光的波长带以外的光的波长带来实现光电转换，红色光电转换层、绿色光电转换层和蓝色光电转换层可由不同的有机材料形成。
[0123]例如，蓝色光电转换层可包括用于通过仅吸收蓝光来实现光电转换的沉积有N、N’ -双(3-甲基苯基)-N、N’ -双(苯基)联苯胺(TPD)的P型有机材料层以及沉积有C6tl的N型有机材料层。在此结构中，由于入射到光接收表面上的光，P型有机材料层产生激子，并可选择性地吸收光的期望波长。
[0124]作为另一示例，光电转换层的P型有机材料层和N型有机材料层中的至少一个可由用于选择性地吸收红外区域的波长的材料形成。用于选择性地吸收红外光的材料可以是诸如有机颜料的有机材料，例如基于酞菁的材料、基于萘醌的材料、基于萘菁的材料、基于吡咯的材料、基于聚合物缩合偶氮的材料、基于有机金属络合物的材料、基于蒽醌的材料、基于花菁的材料、以上材料的混合物或以上材料的化合物。此外，诸如锑系材料的无机材料可被混合于此，并且纳米颗粒可被用于实现透明。
[0125]作为另一示例，可在第一电极与第二电极之间形成第一 P型有机材料层、激子阻挡层、第二 P型有机材料层和N型有机材料层。
[0126]在此情况下，第一 P型有机材料层可被形成为接近于光接收表面，并可由光吸收有机材料的组合形成，其中，所述光吸收有机材料用于透射可见光区域中的期望颜色的波长带并用于选择性地吸收除了所述期望颜色的波长带以外的光的波长带。第二P型有机材料层可被形成在第一 P型有机材料层之下，并可由用于吸收期望波长的光吸收有机材料形成。N型有机材料层可被形成在第二 P型有机材料层之下，可通过使用PN结结构来实现光电转换，并可将期望颜色的光转换为电流。
[0127]此外，为了抑制在第一 P型有机材料层上形成的激子朝第二 P型有机材料层移动，可在第一 P型有机材料层与第二 P型有机材料层之间形成用于阻止激子移动的激子阻挡层。如果激子阻挡层被形成为具有大于第一P型有机材料层的带隙能量的带隙能量，则在第一 P型有机材料层上产生的激子的能量小于激子阻挡层的带隙能量，并且激子不可移动。例如，从基于低聚噻吩(oligothiophene)的衍生物中，苯基六噻吩(P6T)具有大约
2.1eV的带隙能量，能够选择性地吸收400nm至500nm的蓝光波长，因此可有效地用于形成针对红色的第一 P型有机材料层。从基于低聚噻吩的衍生物中，双苯基三噻吩(BP3T)能够有效地阻止400nm至500nm的蓝光波长，具有大约2.3eV的带隙能量(其比P6T的带隙能量大大约0.2eV),因此可有效地用作针对红色的激子阻挡层。
[0128]第二 P型有机材料层可由用于吸收可见光的所有波长的光吸收有机材料形成，例如,诸如铜酞菁(CuPc)的酞菁衍生物。
[0129]作为另一示例，可在第一电极与第二电极之间形成P型有机材料层、本征层和N型有机材料层。本征层在P型有机材料层与N型有机材料层之间共沉积(codeposit) P型有机材料和N型有机材料。例如，在绿色像素中，可在第一电极与第二电极之间形成由TPD形成的P型有机材料层、共沉积了 TH)和N、N’ - 二甲基-3、4、9、10- 二萘嵌苯二甲酰亚胺(Me-PTC)的本征层以及由萘四甲酸酐(NTCDA)形成的N型有机材料层。
[0130]作为另一示例，可在第一电极与P型有机材料层之间形成第一缓冲层。第一缓冲层可由P型有机半导体材料形成，并可阻止电子。此外，可在第二电极与N型有机材料层之间形成第二缓冲层。第二缓冲层可由N型有机半导体材料形成，并可阻止空穴。
[0131]更详细地讲，第一缓冲层可由(但不限于)聚乙烯二氧噻吩(PEDOT)/聚苯乙烯磺酸(PSS)形成。此外，第二缓冲层可由(但不限于)2、9_ 二甲基-4、7- 二苯基-1、10-菲咯啉(BCP )、氟化锂(LiF )、铜酞菁、聚噻吩、聚苯胺、聚乙炔、聚吡咯、聚苯亚乙烯或它们的衍生物形成。
[0132]参照图8B，示出了具有堆叠结构的第二像素PXb。第二像素PXb的第一光电转换层Llb包括用于吸收第一颜色的光多于第二颜色的光和第三颜色的光的有机材料。也就是说，第一光电转换层Llb的有机材料在第一颜色的光的波长范围内具有最大吸收光谱。包括有机材料的第一光电转换层Llb与图8A中不出的第一光电转换层Lla和第二光电转换层L2a之一基本上相同，因此这里不重复提供其详细描述。
[0133]第二像素PXb还包括位于第一光电转换层Llb之下的滤色器CF和第二光电转换层L2b。滤色器CF可仅透射特定波长带的光，并可阻止其他波长带的光。例如，滤色器CF可透射红光、绿光、蓝光、红外光和紫外光中的至少一个，并可阻止其他光。在当前实施例中，布置在第一光电转换层Llb与第二光电转换层L2b之间的滤色器CF可仅透射第二颜色(例如，绿色)的光，并可阻止第一颜色(例如，红色)的光和第三颜色(例如，蓝色)的光。
[0134]第二光电转换层L2b可包括形成在半导体基板上的光电二极管。例如，可通过将第二传导型离子注入第一传导型半导体基板中来形成光电二极管。例如，可通过将n型离子注入P型半导体基板中来形成光电二极管。光电二极管吸收透射过滤色器CF并被过滤到特定波长带的光，并释放电荷。
[0135]此外，作为另一示例，第二光电转换层L2b可包括N型光电二极管(NPD)以及NPD上的P型钉扎光电二极管(pro)，其中，NPD和pro形成在半导体基板上。NPD可累积由于入射光产生的电荷，P型pro可通过减少在半导体基板中热产生的电子-空穴对(EHP)来减小黑色电平电流。此外，在Nro之下的半导体基板的区域可用作光电转换区域。NPD的最大杂质浓度可以是IXIO15至IXIO18原子/厘米3，P型pro的杂质浓度可以是IXIO17至I X IO20原子/厘米3。然而，掺杂浓度和位置可根据制造工艺和设计而变化，因此，NPD的最大杂质浓度和P型PPD的杂质浓度不限于此。
[0136]参照图SC，示出了具有堆叠结构的第三像素PXc。第三像素PXc的第一光电转换层Llc包括用于吸收第一颜色的光多于第二颜色的光和第三颜色的光的有机材料。也就是说，第一光电转换层Llc的有机材料在第一颜色的光的波长范围内具有最大吸收光谱。包括有机材料的第一光电转换层Llc与图8A中不出的第一光电转换层Lla和第二光电转换层L2a之一基本上相同，因此，这里不重复提供其详细描述。
[0137]第三像素PXc包括位于第一光电转换层Llc之下的第二光电转换层L2c。第二光电转换层L2c包括形成在半导体基板上的PN结结构。与第二像素PXb不同，第三像素PXc不包括滤色器。然而，在第二光电转换层L2c中，从半导体基板的表面至PN结结构的距离d可根据将被执行光电转换的光的颜色而变化。例如，如果第二光电转换层L2c将与蓝光进行反应，则考虑蓝光被吸收到半导体基板中的深度来确定距离d。此外，如果第二光电转换层L2c将与红光进行反应，则考虑红光被吸收到半导体基板中的深度来确定距离d。通常，如果光的波长长，则光被吸收到半导体基板中的深度大。因此，与红光进行反应的光电转换层的PN结结构的深度大于与蓝光进行反应的光电转换层的PN结结构的深度。例如，与蓝光进行反应的光电转换层的PN结结构的深度可以是大约0.2 ii m。与绿光进行反应的光电转换层的PN结结构的深度可以是大约0.6 ii m。与红光进行反应的光电转换层的PN结结构的深度可以是大约2.0ii m。
[0138]图9是图像处理设备的校正单元9的实施例的框图。校正单元9可以是图1和图4中的校正单元30和/或图5中示出的校正单元140的实施例。
[0139]参照图9，校正单元9可包括第一校正组件32、降噪单元34和第二校正组件36。
[0140]第一校正组件32和第二校正组件36均可使用如上所述的图3A至图3D中示出的颜色校正矩阵CCM。第一校正组件32可通过使用第一颜色校正矩阵CCMl对第一原始数据Dl和第二原始数据D2执行初步校正来产生第一临时数据Dl'和第二临时数据D2'。第一颜色校正矩阵CCMl的对角分量可具有等于或大于I且等于或小于1.5的值，第一颜色校正矩阵CCMl的非对角分量的绝对值可以等于或小于0.8。
[0141]降噪单元34可对第一临时数据Dl'和第二临时数据D2'执行降噪。为了降噪，可使用低通滤波器。可产生第一降噪后的临时数据Dl'，和第二降噪后的临时数据D2'，。
[0142]第二校正组件36可通过使用第二颜色校正矩阵CCM2对第一降噪或滤噪后的临时数据Dl''和第二降噪或滤噪后的临时数据D2''执行二次校正来产生第一校正数据Cl和第二校正数据C2。
[0143]图9中示出的校正单元9执行两次颜色校正。如果颜色校正被执行了一次，则颜色校正矩阵的系数的绝对值可增加至等于或大于2。这意味着噪声可能被放大。因此，使用于执行初步颜色校正的第一颜色校正矩阵CCMl的系数不具有大于1.5的值是有益的。
[0144]之后，为了执行低通滤波以进行降噪，将被滤波的像素的数据和该像素的邻近像素的数据会被需要。例如，在图4中，代替对从缓冲器22依次输出的原始数据执行降噪，可将所有像素10的原始数据存储在存储单元中，然后，可对所有像素10执行降噪。在一些实施例中，降噪单元34可包括在图4中示出的ISP60中。
[0145]第二校正组件36可对降噪后或滤噪后的数据执行二次颜色校正。在一些实施例中，第二校正组件36可包括在图4中示出的ISP60中。
[0146]图10是图像处理方法的流程图。
[0147]参照图10，从具有堆叠结构的像素接收两个电信号(S10)。图像传感器包括像素阵列。根据当前实施例，像素具有两个光电转换层彼此堆叠的堆叠结构。两个光电转换层中的每一个输出与接收到的光的强度相应的电信号。
[0148]通过对两个电信号进行数字化来产生两个原始数据(S20)。通过分别对从每个像素输出的两个电信号进行数字化来产生两个原始数据。例如，通过使用第一电信号产生第一原始数据，并且第一原始数据不受第二电信号影响。同样地，通过对第二电信号进行数字化产生第二原始数据，并且第二原始数据不受第一电信号影响。
[0149]通过校正两个原始数据产生两个校正数据(S30)。通过对在操作S20产生的两个原始数据执行颜色校正来产生两个校正数据。在操作S30，可以使用图3A至图3D中示出的颜色校正矩阵CCM。例如，可通过使用第二原始数据以及第一原始数据来产生第一校正数据。还可通过使用第一原始数据和第二原始数据来产生第二校正数据。如上所述，原始数据被转换为校正数据，以减小或消除由于像素的堆叠结构所引起的颜色干扰。虽然第一光电转换层应输出与第一颜色的光相应的第一电信号，但是由于使用了与第一颜色的光进行反应的有机材料来代替使用位于第一光电转换层前面的滤色器，因此第二颜色的光和第三颜色的光的分量也可被转换为第一电信号。这种颜色干扰根据像素的结构参数以特定比率发生。在操作S30，可通过使用颜色校正矩阵减小颜色干扰。
[0150]操作S30可根据图9中示出的实施例而包括初步颜色校正、降噪和二次颜色校正。可通过使用第一颜色校正矩阵对两个原始数据执行初步颜色校正。因此，可以产生两个临时数据。可对两个临时数据执行用于降噪的低通滤波。然后，可通过使用第二颜色校正矩阵对两个降噪后的临时数据执行二次颜色校正。
[0151]除了两个校正数据之外，还产生插值数据(S40 )。可通过使用颜色插值方法产生插值数据。虽然在操作S30之后针对每个像素产生了两个颜色数据(即，两个校正数据)，但是在典型应用中针对每个像素需要三个颜色数据。因此，在操作S40，通过使用邻近像素的颜色数据来产生另一(第三)颜色数据。在操作S40之后，针对每个像素产生了三个颜色数据(即，插值数据和两个校正数据)。
[0152]对插值数据和两个校正数据执行图像信号处理(S50)。在操作S50，可执行色调校正、亮度校正、饱和度校正、白平衡调整、对由于照明导致的颜色偏移的校正等。为了图像信号处理，插值数据和两个校正数据可存储在ISP的存储单元中。
[0153]图11是图像处理设备200的框图。
[0154]参照图11，图像处理设备200包括像素210、数字化单元220和校正单元230。如图11中所示，图像处理设备200还可包括ISP240。
[0155]图像处理设备200可包括像素阵列212，像素阵列212包括沿行和列排列的像素210。像素阵列212可包括具有如图11中所示的三层堆叠结构的像素210。
[0156]通过光学透镜入射到像素210上的光可被转换为随后输出的电信号。例如,光可包括红外光、可见光和紫外光。在以下的描述中，假设光包括第一颜色的光、第二颜色的光和第三颜色的光。例如,第一颜色的光可以是绿光,第二颜色的光和第三颜色的光中的一个可以是红光，另一个可以是蓝光。作为另一示例，第一颜色的光可以是红外光，第二颜色的光可以是可见光，第三颜色的光可以是紫外光。然而，本发明构思不限于此。
[0157]像素210中的每个包括沿光入射到像素210上的方向相互堆叠的第一光电转换层LI至第三光电转换层L3。第一光电转换层LI通过使用入射到像素210上的光来产生第一电信号SI。第二光电转换层L2被布置在第一光电转换层LI之下,并通过使用透射过第一光电转换层LI的光来产生第二电信号S2。第三光电转换层L3被布置在第二光电转换层L2之下,并通过使用透射过第一光电转换层LI和第二光电转换层L2的光来产生第三电信号S3。像素210中的每个输出三个电信号。
[0158]数字化单元220通过分别对第一电信号SI至第三电信号S3进行数字化来产生第一原始数据Dl至第三原始数据D3。数字化单元220通过对第一电信号SI至第三电信号S3中的每个执行CDS、将执行了 CDS的第一电信号SI至第三电信号S3中的每个与斜坡信号进行比较以产生第一比较器信号至第三比较器信号、并对第一比较器信号至第三比较器信号进行计数，来产生分别与第一电信号SI至第三电信号S3相应的第一原始数据Dl至第三原始数据D3。
[0159]校正单元230接收第一原始数据Dl至第三原始数据D3，并通过使用第一原始数据Dl至第三原始数据D3来产生第一校正数据Cl至第三校正数据C3。第一校正数据Cl可具有与入射到像素210上的光所包括的第一颜色的光的强度相应的值，第二校正数据C2可具有与入射到像素210上的光所包括的第二颜色的光的强度相应的值，第三校正数据D3可具有与入射到像素210上的光所包括的第三颜色的光的强度相应的值。
[0160]从第一光电转换层LI输出的第一电信号SI不仅包括与第一颜色的光相应的分量，而且包括与第二颜色的光和第三颜色的光相应的分量。此外，从第二光电转换层L2输出的第二电信号S2不仅包括与第二颜色的光相应的分量,而且包括与第一颜色的光和第三颜色的光相应的分量。此外，第三电信号S3不仅包括与第三颜色的光相应的分量,而且包括与第一颜色的光和第二颜色的光相应的分量。校正单元230可通过使用第一原始数据Dl至第三原始数据D3来产生与第一颜色的光相应的第一校正数据Cl、与第二颜色的光相应的第二校正数据C2以及与第三颜色的光相应的第三校正数据C3。由于校正单元230，可减小或消除当像素210具有三层结构时产生的颜色干扰。
[0161]ISP240可通过对像素210的第一校正数据Cl至第三校正数据C3执行图像信号处理来产生第一颜色数据Cl'至第三颜色数据C3'。ISP240可执行用于产生与对象的实际颜色相应的颜色数据的颜色校准。例如，这样的图像信号处理可包括色调调整、饱和度调整、亮度调整、对由于照明导致的颜色失真的校正以及白平衡调整。此外，ISP240可执行如用户所意图、选择或编程的颜色调整。
[0162]图12A至图12D是用于描述图11中示出的校正单元230的实施例的示例操作的示图。
[0163]参照图12A，可通过将第一原始数据Dl至第三原始数据D3乘以颜色校正矩阵CCM来产生第一校正数据Cl至第三校正数据C3。如果像素具有如图11中所示的三层结构，则颜色校正矩阵CCM可以是3X3矩阵。如图12A中所示，颜色校正矩阵CCM可具有第一系数至第九系数 cll、cl2、cl3、c21、c22、c23、c31、c32 和 c33。
[0164]第一校正数据Cl可被确定为如下项之和:(I)第一系数cll与第一原始数据Dl的乘积；(2)第二系数cl2与第二原始数据D2的乘积；(3)第三系数cl3与第三原始数据D3的乘积。第二校正数据C2可被确定为如下项之和:(I)第四系数c21与第一原始数据Dl的乘积；(2)第五系数c22与第二原始数据D2的乘积；(3)第六系数c23与第三原始数据D3的乘积。第三校正数据C3可被确定为如下项之和:(I)第七系数c31与第一原始数据Dl的乘积；(2)第八系数c32与第二原始数据D2的乘积；(3)第九系数c33与第三原始数据D3的乘积。
[0165]图12B是用于描述计算颜色校正矩阵CCM的第一系数至第九系数cll、cl2、cl3、c21、c22、c23、c31、c32和c33的示例方法的示图。第一原始数据Dl至第三原始数据D3可被表示为逆颜色校正矩阵CCM—1与第一校正数据Cl至第三校正数据C3的乘积。逆颜色校正矩阵 CCM—1 可具有第一系数至第九系数 cll'、cl2'、、cl3'、c21'、c22'、c23'、c31'、c32'和 c33'。
[0166]第一原始数据Dl至第三原始数据D3具有通过分别对从第一光电转换层LI至第三光电转换层L3输出的第一电信号SI至第三电信号S3进行量化所获得的值。第一校正数据Cl至第三校正数据C3分别与入射到像素上的光所包括的第一颜色的光、第二颜色的光和第三颜色的光相应。[0167]如果第一颜色的单色光入射到像素上，则第一校正数据Cl应具有与该单色光的强度成比例的值，第二校正数据C2和第三校正数据C3应具有值O。因此，第一系数Cir可被确定为第一原始数据Dl的值与第一校正数据Cl的值之比，即，D1/C1。第四系数C21'可被确定为第二原始数据D2的值与第一校正数据Cl的值之比，S卩，D2/C1。第七系数c31，可被确定为第三原始数据D3的值与第一校正数据Cl的值之比，S卩，D3/C1。
[0168]如果第二颜色的单色光入射到像素上，则第二校正数据C2应具有与该单色光的强度成比例的值，第一校正数据Cl和第三校正数据C3应具有值O。因此，第二系数cl2，可被确定为第一原始数据Dl的值与第二校正数据C2的值之比，即，D1/C2。第五系数c22'可被确定为第二原始数据D2的值与第二校正数据C2的值之比，S卩，D2/C2。第八系数c32，可被确定为第三原始数据D3的值与第二校正数据C2的值之比，即，D3/C2。
[0169]如果第三颜色的单色光入射到像素上，则第三校正数据C3应具有与该单色光的强度成比例的值，第一校正数据Cl和第二校正数据C2应具有值O。因此，第三系数cl3，可被确定为第一原始数据Dl的值与第三校正数据C3的值之比，即，D1/C3。第六系数c23'可被确定为第二原始数据D2的值与第三校正数据C3的值之比，S卩，D2/C3。第九系数c33，可被确定为第三原始数据D3的值与第三校正数据C3的值之比，S卩，D3/C3。
[0170]如此，可确定逆颜色校正矩阵CCM—1的第一系数至第九系数cll'、cl2'、、cl3'、c21'、c22'、c23'、c31'、c32'和c33'。因此，通过再次对逆颜色校正矩阵CCM—1取一次逆，可计算出颜色校正矩阵CCM的第一系数至第九系数cll、cl2、cl3、c21、c22、c23、c31、c32 和 c33。
[0171]虽然以上参照图12B描述了计算颜色校正矩阵CCM的第一系数至第九系数cll、cl2、cl3、c21、c22、c23、c31、c32和c33的示例性方法，但是颜色校正矩阵CCM的第一系数至第九系数cll、cl2、cl3、c21、c22、c23、c31、c32和c33可通过另一方法来确定。例如，颜色校正矩阵CCM的第一系数至第九系数cll、cl2、cl3、c21、c22、c23、c31、c32和c33可由用户设置、选择或编程。此外，颜色校正矩阵CCM的第一系数至第九系数cll、cl2、cl3、c21、c22、c23、c31、c32和c33可根据像素阵列中的像素的位置而变化，以减小或消除透镜的色差效应。
[0172]图12C示出颜色校正矩阵CCM的示例。如图12C中所示，颜色校正矩阵CCM的对角分量(即，第一系数cll、第五系数c22和第九系数c33)可被设置为值I。在此情况下，乘法器的数量可以减少三个。因为ISP240可再次执行颜色校正，所以颜色校正矩阵CCM的对角分量可被设置为值I。例如，ISP240包括数字增益块以执行诸如白平衡调整的功能。因此，在颜色校正矩阵CCM的行中的系数之和不需要被固定为值I。
[0173]参照图12D，除了颜色校正矩阵CCM之外，校正单元230可包括用于校正偏移的偏移矩阵。如图12D中所示，可通过将第一原始数据Dl至第三原始数据D3乘以颜色校正矩阵CCM以计算其乘积并且然后将第一偏移数据01至第三偏移数据03与所述乘积相加来产生第一校正数据Cl至第三校正数据C3。第一偏移数据01至第三偏移数据03用于校正黑色电平电流。
[0174]图13是校正单元13的框图。校正单元13可以是图11中的校正单元230的实施例。
[0175]参照图13，校正单元13可包括第一校正组件232、降噪单元234和第二校正组件236。
[0176]第一校正组件232和第二校正组件236均可使用图12A至图12D中示出的颜色校正矩阵CCM。第一校正组件232可通过使用第一颜色校正矩阵CCMl对第一原始数据Dl至第三原始数据D3执行初步校正来产生第一临时数据Dl'至第三临时数据D3'。第一颜色校正矩阵CCMl的对角分量可具有等于或大于I且等于或小于1.5的值，第一颜色校正矩阵CCMl的非对角分量的绝对值可以等于或小于0.8。
[0177]降噪单元234可对第一临时数据Dl'至第三临时数据D3'执行降噪。为了降噪，可使用低通滤波器。可产生第一降噪或滤噪后的临时数据Dl'，至第三降噪或滤噪后的临时数据D3',。
[0178]第二校正组件236可通过使用第二颜色校正矩阵CCM2对第一降噪或滤噪后的临时数据Dl''至第三降噪或滤噪后的临时数据D3''执行二次校正来产生第一校正数据Cl至第三校正数据C3。
[0179]如果颜色校正被执行了一次，则颜色校正矩阵的系数可具有等于或大于2的值。这意味着包括在第一原始数据Dl至第三原始数据D3中的噪声可能被放大。因此，在图13中，使用于执行初步颜色校正的第 一颜色校正矩阵CCMl的系数不具有大于1.5的值是有益的。
[0180]为了执行低通滤波以进行降噪，将被滤波的像素的数据和该像素的邻近像素的数据会被需要。因此，可将所有像素的原始数据存储在存储单元中，然后，可对所有像素执行降噪。为此，在一些实施例中，降噪单元234和用于对降噪后的原始数据执行二次颜色校正的第二校正组件236可包括在图11中示出的ISP240中。
[0181]图14A至图14E是图11中示出的具有沿光入射到像素210上的方向的堆叠结构的像素210的示例实施例的横截面图。
[0182]参照图14A，像素可包括均包含有机材料的第一光电转换层Lla至第三光电转换层L3a。第一光电转换层Lla可包括在第一颜色的光的波长范围内具有最大吸收光谱的有机材料。第二光电转换层L2a可包括在第二颜色的光的波长范围内具有最大吸收光谱的有机材料。第三光电转换层L3a可包括在第三颜色的光的波长范围内具有最大吸收光谱的有机材料。在此情况下，例如，第一颜色可以是绿色，第二颜色可以是蓝色，第三颜色可以是红色。作为另一示例，第一颜色可以是绿色，第二颜色可以是红色，第三颜色可以是蓝色。作为另一示例，第一颜色可以是红色，第二颜色可以是蓝色，第三颜色可以是绿色。作为另一示例，第一颜色可以是蓝色，第二颜色可以是红色，第三颜色可以是绿色。然而，本发明构思不限于此。
[0183]第一光电转换层Lla至第三光电转换层L3a均与图7A中示出的第一光电转换层Lla基本上相同，因此，这里不重复提供其详细描述。
[0184]参照图14B，像素可包括均包含有机材料的第一光电转换层Llb和第二光电转换层L2b、滤色器CF以及形成为包含光电二极管的半导体基板的第三光电转换层L3b。
[0185]第一光电转换层Llb包括用于吸收第一颜色的光多于第二颜色的光和第三颜色的光的有机材料。也就是说，第一光电转换层Llb包括在第一颜色的光的波长范围内具有最大吸收光谱的有机材料。第一光电转换层Llb与图8A中不出的第一光电转换层Lla和第二光电转换层L2a之一基本上相同，因此，这里不重复提供其详细描述。[0186]第二光电转换层L2b包括用于吸收第二颜色的光多于第一颜色的光和第三颜色的光的有机材料。也就是说，第二光电转换层L2b包括在第二颜色的光的波长范围内具有最大吸收光谱的有机材料。第二光电转换层L2b与图8A中不出的第一光电转换层Lla和第二光电转换层L2a之一基本上相同，因此，这里不重复提供其详细描述。
[0187]滤色器CF可仅透射特定波长带的光，并可阻止其他波长带的光。例如，滤色器CF可透射红光、绿光、蓝光、红外光和紫外光中的至少一个，并可阻止其他光。在当前实施例中，滤色器CF可仅透射第三颜色的光,并可阻止第一颜色的光和第二颜色的光。
[0188]第三光电转换层L3b包括形成在半导体基板上的光电二极管。例如，可通过将n型离子注入到P型半导体基板中来形成光电二极管。光电二极管吸收透射过滤色器CF的第三颜色的光，并释放电荷。
[0189]参照图14C，像素可包括均包含有机材料的第一光电转换层Llc和第二光电转换层L2c以及形成为包含PN结结构的半导体基板的第三光电转换层L3c。
[0190]第一光电转换层Llc包括用于吸收第一颜色的光多于第二颜色的光和第三颜色的光的有机材料。也就是说，第一光电转换层Llc包括在第一颜色的光的波长范围内具有最大吸收光谱的有机材料。第二光电转换层L2c包括用于吸收第二颜色的光多于第一颜色的光和第三颜色的光的有机材料。也就是说，第二光电转换层L2c包括在第二颜色的光的波长范围内具有最大吸收光谱的有机材料。第一光电转换层Llc和第二光电转换层L2c均与图8A中不出的第一光电转换层Lla和第二光电转换层L2a之一基本上相同，因此,这里不重复提供其详细描述。
[0191]第三光电转换层L3c包括形成在半导体基板上的PN结结构。第三光电转换层L3c包括处于距半导体基板的表面的第一深度的PN结结构，并且第一深度可根据第三颜色的光而变化。根据第三颜色的光被吸收到半导体基板中的深度来确定第一深度。通常，如果光的波长长，则光被吸收到半导体基板中的深度大。
[0192]例如，如果第三颜色是蓝色，则第三光电转换层L3c可具有在半导体基板的表面以下大约0.2 y m的PN结结构。如果第三颜色是绿色，则第三光电转换层L3c可具有在半导体基板的表面以下大约0.6 y m的PN结结构。如果第三颜色是红色，则第三光电转换层L3c可具有在半导体基板的表面以下大约2.0 ii m的PN结结构。
[0193]参照图14D，像素可包括包含有机材料的第一光电转换层Lld以及包含形成了两个PN结结构的半导体基板的第二光电转换层L2d。
[0194]第一光电转换层Lld包括在第一颜色的光的波长范围内具有最大吸收光谱的有机材料。第一光电转换层Lld与图8A中不出的第一光电转换层Lla和第二光电转换层L2a之一基本上相同，因此，这里不重复提供其详细描述。
[0195]第二光电转换层L2d包括形成在半导体基板中的第一 PN结结构和第二 PN结结构。第二光电转换层L2d包括在距半导体基板的表面的第一深度dl形成的第一 PN结结构。可根据第二颜色的光被吸收到半导体基板中的深度来确定第一深度dl。第二光电转换层L2d包括在距半导体基板的表面的第二深度d2形成的第二 PN结结构。可根据第三颜色的光被吸收到半导体基板中的深度来确定第二深度d2。通常，如果光的波长长，则光被吸收到半导体基板中的深度大。
[0196]因此，如果第一颜色是红色，则第一深度dl可被确定为蓝光被吸收到半导体基板中的深度，第二深度d2可被确定为绿光被吸收到半导体基板中的深度。也就是说，第一深度dl可以是大约0.2 ii m，第二深度d2可以是大约0.6 y m。如果第一颜色是绿色，则第一深度dl可被确定为蓝光被吸收到半导体基板中的深度，第二深度d2可被确定为红光被吸收到半导体基板中的深度。也就是说，第一深度dl可以是大约0.2 ii m，第二深度d2可以是大约2.0 ii m。如果第一颜色是蓝色，则第一深度dl被确定为绿光被吸收到半导体基板中的深度，第二深度d2被确定为红光被吸收到半导体基板中的深度。也就是说，第一深度dl可以是大约0.6 ii m，第二深度d2可以是大约2.0 ii m。
[0197]参照图14E，像素可包括光电转换层Le，其中，光电转换层Le包括形成了三个PN结结构的半导体基板。
[0198]光电转换层Le包括形成在半导体基板中的第一 PN结结构至第三PN结结构。光电转换层Le包括在距半导体基板的表面的第一深度dl形成的第一 PN结结构、在距半导体基板的表面的第二深度d2形成的第二PN结结构以及在距半导体基板的表面的第三深度d3形成的第三PN结结构。可根据第一颜色的光被吸收到半导体基板中的深度来确定第一深度dl。可根据第二颜色的光被吸收到半导体基板中的深度来确定第二深度d2。可根据第三颜色的光被吸收到半导体基板中的深度来确定第三深度d3。通常，如果光的波长长，则光被吸收到半导体基板中的深度大。如此，第一颜色是蓝色，第二颜色是绿色，第三颜色是红色。相应地，第一深度dl可以是大约0.2 ii m，第二深度d2可以是大约0.6 ii m，第三深度d3可以是大约2.0 u m。
[0199]图15是图像处理方法的流程图。
[0200]参照图15，从具有堆叠结构的像素接收三个电信号(S110)。图像传感器包括像素阵列。根据当前实施例，像素具有三个光电转换层相互堆叠的堆叠结构。
[0201]通过对三个电信号进行数字化来产生三个原始数据(S120)。通过分别对从每个像素输出的三个电信号进行数字化来产生三个原始数据。
[0202]通过校正三个原始数据产生三个校正数据(S130)。通过对在操作S120产生的三个原始数据执行颜色校正来产生三个校正数据。在操作S130，可以使用图12A至图12D示出的颜色校正矩阵CCM。例如，通过使用第一原始数据至第三原始数据产生第一校正数据。还通过使用第一原始数据至第三原始数据产生第二校正数据，并且还通过使用第一原始数据至第三原始数据产生第三校正数据。
[0203]操作S130可根据图13中示出的实施例而包括初步颜色校正、降噪和二次颜色校正。可通过使用第一颜色校正矩阵对三个原始数据执行初步颜色校正。因此，可以产生三个临时数据。可对三个临时数据执行用于降噪的低通滤波。然后，可通过使用第二颜色校正矩阵对三个降噪后的临时数据执行二次颜色校正。
[0204]对三个校正数据执行图像信号处理(S140)。在操作S140，可以执行色调校正、亮度校正、饱和度校正、白平衡调整、对由于照明引起的颜色偏移的校正等。为了图像信号处理，三个校正数据可存储在ISP的存储单元中。
[0205]图16A是图像处理设备IOOOa的框图。
[0206]参照图16A，图像处理设备IOOOa可被形成为便携式装置，诸如数字相机、移动电话、智能电话或平板个人计算机(PC )。
[0207]图像处理设备IOOOa包括光学透镜1030、图像传感器1100a、数字信号处理器1200a和显示器1300。
[0208]图像传感器IlOOa产生通过光学透镜1030获得或捕获的对象1010的图像的校正后的图像数据CIDATA。例如，图像传感器IlOOa可被形成为互补金属氧化物半导体(CMOS)图像传感器。
[0209]图像传感器IlOOa包括像素阵列1120、行驱动器1130、时序发生器1140、⑶S块1150、比较器块1152、模数转换(ADC)块1154、控制寄存器块1160、斜坡信号产生器1170和缓冲器1180。
[0210]像素阵列1120包括排列在具有m列的矩阵中的多个像素1110，其中，m是自然数。如上所述，像素1110中的每个包括沿光入射到像素上的方向相互堆叠的至少两个光电转换层，并输出至少两个电信号。
[0211]行驱动器1130在时序发生器1140的控制下将用于控制每个像素1110的操作的多个控制信号TG、RG、SEL和TG2输出到像素阵列1120。
[0212]时序发生器1140在控制寄存器块1160的控制下控制行驱动器1130XDS块1150、ADC块1154和斜坡信号产生器1170的操作。
[0213]⑶S块1150分别对从像素阵列1120的多个列输出的像素电信号执行⑶S。虽然从每列的输出在图16A中被示出为一条线(Pl至Pm)，但是应理解的是，每条线对应于从一个像素1110输出的电信号的数量。也就是说，如果一个像素1110输出三个电信号，则从一列输出的像素电信号的数量也是三个，并且从像素阵列1120输出的电信号的总数是3Xm。
[0214]比较器块1152将从⑶S块1150输出的像素电信号中的每个与从斜坡信号产生器170输出的斜坡信号进行比较，并输出多个比较器信号。
[0215]ADC块1154将从比较器块1152输出的比较器信号转换为多个原始数据(S卩，数字数据)，并将原始数据输出到缓冲器1180。
[0216]控制寄存器块1160通过数字信号处理器1200a的控制来控制时序发生器1140、斜坡信号产生器1170和缓冲器1180的操作。
[0217]缓冲器1180将从ADC块1154输出的原始数据输出到颜色校正单元1190。
[0218]颜色校正单元1190通过使用颜色校正矩阵产生基于原始数据的多个校正数据。颜色校正矩阵的系数可被存储在非易失性存储器1195中，并可根据用户的设置、选择或编程和/或根据阵列1120内的数据被校正的像素1110的位置而变化。颜色校正单元1190将包括校正数据的校正后的图像数据CIDATA发送到数字信号处理器1200a。
[0219]数字信号处理器1200a包括ISP1210、传感器控制器1220和接口 1230。
[0220]ISP1210控制用于控制控制寄存器块1160的传感器控制器1220和接口 1230。根据一个实施例，图像传感器IlOOa和数字信号处理器1200a可被形成或一起封装为一个封装，例如，多芯片封装。根据另一实施例，图像传感器IlOOa和ISP1210可被形成或一起封装为一个封装，例如，多芯片封装。
[0221]ISP1210处理从颜色校正单元1190发送的校正后的图像数据CIDATA，并将处理后的图像数据发送到接口 1230。如果像素1110具有双层结构，则校正后的图像数据CIDATA仅包括针对每个像素1110的两种颜色的图像数据，ISP1210通过执行颜色插值产生另一颜色的图像数据。
[0222]传感器控制器1220在ISP1210的控制下产生用于控制控制寄存器块1160的各种控制信号。
[0223]接口 1230将由ISP1210处理的图像数据发送到显示器1300。显示器1300显示从接口 1230输出的图像数据。显示器1300可被形成为薄膜晶体管-液晶显示器(TFT-1XD)、发光二极管(LED)显示器、有机LED (OLED)显示器、有源矩阵OLED (AMOLED)显示器或者采用任何合适技术的其他显示器。
[0224]图16B是根据另一实施例的图像处理设备IOOOb的框图。
[0225]参照图16B，示出了图像处理设备1000b。图像处理设备IOOOb与图16A中示出的图像处理设备IOOOa相似，这里将仅描述它们之间的不同特征，而不重复描述它们之间的相同特征。虽然图像处理设备IOOOa将用于通过使用原始数据产生校正数据的颜色校正单元1190和非易失性存储器1195包括在图像传感器IlOOa中，但是图像处理设备IOOOb将颜色校正单元1240和非易失性存储器1245包括在数字信号处理器1200b中。
[0226]更详细地讲，图像传感器IlOOb的缓冲器1180将包括从ADC块1154输出的多个原始数据的原始图像数据OIDATA发送到数字信号处理器1200b。
[0227]数字信号处理器1200b包括ISP1210、传感器控制器1220、接口 1230、颜色校正单元1240和非易失性存储器1245。
[0228]颜色校正单元1240接收从缓冲器1180输出的原始图像数据0IDATA。颜色校正单元1240通过使用颜色校正矩阵产生基于原始数据的多个校正数据。颜色校正矩阵的系数可被存储在非易失性存储器1245中，并可根据用户的设置、选择或编程和/或根据阵列1120内的数据被校正的像素1110的位置而变化。颜色校正单元1240将校正数据发送到ISP1210。
[0229]ISP1210处理从颜色校正单元1240输出的校正数据，并将处理后的校正数据发送到接口 1230。
[0230]图17是图像处理设备2000的框图。
[0231]参照图17，图像处理设备2000可被形成为能够使用或支持移动行业处理器接口(MIPI? )的图像处理设备，例如，诸如个人数字助理(PDA)、便携式媒体播放器(PMP)、移动电话、智能电话或平板PC的便携式装置。
[0232]图像处理设备2000包括应用处理器2100、图像传感器2200和显示器2300。
[0233]包括在应用处理器2100中的相机串行接口(CSI)主机2120可经由CSI与图像传感器2200的CSI装置2210进行串行通信。根据本发明构思的实施例，CSI主机2120可包括解串行化器(DES)，而CSI装置2210可包括串行化器(SER)。
[0234]图像传感器2200可表示以上关于图1和图13描述的图像处理设备的图像传感器。例如，图像传感器2200可包括图16A或图16B中示出的图像传感器IlOOa或1100b。
[0235]包括在应用处理器2100中的显示器串行接口(DSI)主机2110可经由DSI与显示器2300的DSI装置2310进行串行通信。根据一个实施例，DSI主机2110可包括SER，而DSI装置2310可包括DES。
[0236]图像处理设备2000还可包括与应用处理器2100通信的射频(RF)芯片2400。图像处理设备2000的物理层(PHY) 2130和RF芯片2400的PHY2410可根据MIPI数字射频(DigRF)标准来交换数据。
[0237]图像处理设备2000可包括全球定位系统(GPS)接收器2500、诸如动态随机存取存储器(DRAM)的存储器2520、诸如非易失性存储器的数据存储装置2540 (例如，NAND闪存)以及麦克风(MIC) 2560和/或扬声器2580。
[0238]此外，图像处理设备2000可通过使用至少一个通信协议(或通信标准)(例如，超宽带(UWB) 2660、无线局域网(WLAN) 2650、微波存取全球互操作性(WiMAX) 2640或长期演进(LTE?))与外部装置进行通信。
[0239]尽管已经参照本发明构思的示例性实施例具体示出和描述了本发明构思，但是将理解的是，在不脱离权利要求的精神和范围的情况下，可对本发明构思进行形式和细节上的各种改变。
【权利要求】
1.一种图像处理设备，包括: 第一像素，包括如下光电转换层: 第一光电转换层，响应于接收到的入射光而输出第一电信号，其中，所述接收到的入射光包括第一颜色的光、第二颜色的光和第三颜色的光；以及 第二光电转换层，布置在第一光电转换层之下，并响应于透射过第一光电转换层的光而输出第二电信号； 数字化单元，通过对第一电信号进行数字化产生第一原始数据，并通过对第二电信号进行数字化产生第二原始数据； 校正单元，通过分别校正第一原始数据和第二原始数据来产生与第一颜色的光相应的第一校正数据和与第二颜色的光相应的第二校正数据。
2.如权利要求1所述的图像处理设备，还包括:插值单元，通过使用颜色插值方法产生与第三颜色的光相应的插值数据，以产生具有第一校正数据、第二校正数据和插值数据的第一像素的像素数据。
3.如权利要求2所述的图像处理设备，还包括:信号处理单元，对第一像素的第一校正数据、第二校正数据和插值数据执行图像处理。
4.如权利要求1所述的图像处理设备，其中，校正单元通过将第一原始数据和第二原始数据乘以2X2的颜色校正矩阵来产生第一校正数据和第二校正数据。
5.如权利要求4所述的图像处理设备，其中，颜色校正矩阵的系数被存储在非易失性存储器中。`
6.如权利要求4所述的图像处理设备，其中，颜色校正矩阵的系数由用户改变。
7.如权利要求4所述的图像处理设备，还包括包含第一像素的像素阵列， 其中，颜色校正矩阵的系数根据像素阵列中的第一像素的位置而变化。
8.如权利要求4所述的图像处理设备，其中，以如下方式确定颜色校正矩阵的系数:当第一颜色的单色光入射到第一像素上时，第二校正数据具有值O，并且当第二颜色的单色光入射到第一像素上时，第一校正数据具有值O。
9.如权利要求4所述的图像处理设备，其中，颜色校正矩阵的对角分量具有值I。
10.如权利要求1所述的图像处理设备，其中，第一校正数据被确定为如下项之和:(1)第一原始数据与第一系数的乘积；(2)第二原始数据与第二系数的乘积；(3)第三系数， 其中，第二校正数据被确定为如下项之和:(1)第一原始数据与第四系数的乘积；(2)第二原始数据与第五系数的乘积；(3)第六系数。
11.如权利要求1所述的图像处理设备，其中，第一光电转换层包括用于吸收第一颜色的光多于第二颜色的光和第三颜色的光的有机材料。
12.如权利要求1所述的图像处理设备，其中，第二光电转换层包括用于吸收第二颜色的光多于第一颜色的光和第三颜色的光的有机材料。
13.如权利要求1所述的图像处理设备，其中，第一像素还包括:滤色器层，位于第一光电转换层与第二光电转换层之间，用于透射第二颜色的光并滤除第一颜色的光和第三颜色的光， 其中，第二光电转换层包括半导体基板中的光电二极管。
14.如权利要求1所述的图像处理设备，其中，第二光电转换层包括在距半导体基板的表面的第一深度形成的PN结结构， 其中，第一深度对应于第二颜色的光被吸收到半导体基板中的深度。
15.如权利要求1所述的图像处理设备，还包括第二像素，其中，第二像素包括: 第三光电转换层，通过接收入射光输出第三电信号；以及 第四光电转换层，布置在第三光电转换层之下，并通过接收透射过第三光电转换层的光来输出第四电信号， 其中，数字化单元通过对第三电信号进行数字化产生第三原始数据，并通过对第四电信号进行数字化产生第四原始数据， 其中，校正单元通过分别校正第三原始数据和第四原始数据来产生第三校正数据和第四校正数据， 其中，第三校正数据是与第一颜色的光相应的数据，第四校正数据是与第三颜色的光相应的数据。
16.如权利要求15所述的图像处理设备，还包括具有多个第一像素和多个第二像素的像素阵列，其中，在所述像素阵列中，第一像素和第二像素交替地排列。
17.如权利要求16所述的图像处理设备，还包括:插值单元，通过使用与各个第一像素邻近的第二像素的第四校正数据来产生各个第一像素的第一插值数据，并通过使用与各个第二像素邻近的第一像素的第二校正数据来产生各个第二像素的第二插值数据， 其中，第一插值数据与第三颜色的光相应，第二插值数据与第二颜色的光相应。
18.如权利要求1所述的图像处理设备，其中，第一颜色是绿色，` 第二颜色和第三颜色之一是红色，另一颜色是蓝色。
19.一种图像处理方法，包括: 从像素接收两个电信号，其中，所述像素包括相互堆叠的两个光电转换层； 通过对所述两个电信号进行数字化产生两个原始数据； 将所述两个原始数据转换为分别与第一颜色的光和第二颜色的光相应的第一校正数据和第二校正数据，其中，第一颜色的光和第二颜色的光入射到所述像素上； 通过使用颜色插值方法产生与第三颜色的光相应的插值数据，因此，产生具有第一校正数据、第二校正数据和插值数据的所述像素的像素数据。
20.如权利要求19所述的图像处理方法，其中，所述像素的像素数据在所述两个原始数据被转换为第一校正数据和第二校正数据之后产生。
21.如权利要求19所述的图像处理方法，还包括:通过对所述像素的第一校正数据、第二校正数据和插值数据执行颜色校准来产生第一颜色数据、第二颜色数据和第三颜色数据。
22.—种图像处理设备，包括: 像素，包括如下光电转换层: 第一光电转换层，响应于入射光而输出第一电信号，其中，所述入射光包括第一颜色的光、第二颜色的光和第三颜色的光； 第二光电转换层，布置在第一光电转换层之下，并响应于透射过第一光电转换层的光而输出第二电信号；以及 第三光电转换层，布置在第二光电转换层之下，并响应于透射过第二光电转换层的光而输出第三电信号； 数字化单元，通过对第一电信号进行数字化产生第一原始数据，通过对第二电信号进行数字化产生第二原始数据，并通过对第三电信号进行数字化产生第三原始数据； 校正单元，通过分别校正第一原始数据、第二原始数据和第三原始数据来产生与第一颜色的光相应的第一校正数据、与第二颜色的光相应的第二校正数据以及与第三颜色的光相应的第三校正数据。
23.一种图像处理方法，包括: 从像素接收三个电信号，其中，所述像素包括相互堆叠的三个光电转换层； 通过对所述三个电信号进行数字化产生三个原始数据； 将所述三个原始数据转换为分别与第一颜色的光、第二颜色的光和第三颜色的光相应的第一校正数据、第二校正数据和第三校正数据，其中，第一颜色的光、第二颜色的光和第三颜色的光入射到所述像素上。
24.如权利要求23所述的图像处理方法，其中，所述转换的步骤包括: 通过使用第一颜色校正矩阵将所述三个原始数据转换为三个临时数据； 对所述三个临时数据进行降噪； 通过使用第二颜色校正矩阵将降噪后的三个临时数据转换为第一校正数据、第二校正数据和第三校正数据。
25.如权利要求24所述的图像处理方法，其中，第一颜色校正矩阵的对角分量具有等于或大于I且等于或小于1.`5的值。
26.如权利要求24所述的图像处理方法，其中，第一颜色校正矩阵的非对角分量的绝对值等于或小于0.8。
27.如权利要求23所述的图像处理方法，还包括:将第一校正数据、第二校正数据和第三校正数据存储在图像信号处理器ISP的存储器中。
28.—种设备,包括: 光感测像素的阵列，其中，光感测像素的至少第一像素包括: 沿光感测像素被构造为光入射到光感测像素上的方向相互堆叠的至少第一层和第二层， 其中，第一层被构造为响应于入射到光感测像素上的光而输出第一电信号， 其中，第二层被构造为响应于穿过第一层的光而输出第二电信号， 其中，第一层在第一波长范围内比在第二和第三波长范围内具有更大的光吸收响应，其中，第二层在第二波长范围内比在第一和第三波长范围内具有更大的光吸收响应；数字化单元，被构造为响应于第一电信号产生第一数字数据，并响应于第二电信号产生第二数字数据； 校正单元，被构造为处理第一数字数据和第二数字数据，以至少部分地将第二和第三波长范围内的光的贡献补偿给第一电信号和第一数字数据，并至少部分地将第一和第三波长范围内的光的贡献补偿给第二电信号和第二数字数据，并且校正单元还被构造为输出与第一波长范围内的光相应的第一校正数据以及与第二波长范围内的光相应的第二校正数据。
29.如权利要求28所述的设备，其中，光感测像素的第一像素还包括沿光入射到光感测像素上的方向而在第一层和第二层之下堆叠的第三层，其中，第三层被构造为响应于穿过第一层和第二层的光而输出第三电信号，其中，第三层在第三波长范围内比在第一和第二波长范围内具有更大的光吸收响应， 其中，数字化单元还被构造为:响应于第三电信号产生第三数字数据； 其中，校正单元还被构造为:处理第一数字数据、第二数字数据和第三数字数据，以至少部分地将第一和第二波长范围内的光的贡献补偿给第三电信号和第三数字数据，并输出与第三波长范围内的光相应的第三校正数据。
30.如权利要求29所述的设备，还包括:图像信号处理器，被构造为处理第一校正数据、第二校正数据和第三校正数据，以对第一校正数据、第二校正数据和第三校正数据执行色调调整、饱和度调整、亮度调整、对由于照明引起的颜色失真的校正和白平衡调整中的至少一个。`
【文档编号】H04N5/357GK103795940SQ201310508615
【公开日】2014年5月14日 申请日期:2013年10月24日 优先权日:2012年10月31日
【发明者】金泰瓒, 白秉俊, 李东宰 申请人:三星电子株式会社