增强立体相机成像系统中的空间分辨率的制作方法

背景技术：

本公开整体涉及立体成像系统。更具体地，但并非限制性地，本公开涉及用于从多相机成像系统生成图像的技术，该多相机成像系统生成具有高空间分辨率和高色彩保真度的彩色图像。

当前的立体成像系统可采用两个全彩色图像传感器或者一个全彩色图像传感器和一个单色图像传感器。使用两个全彩色相机的立体成像系统可提供高的色彩保真度。即使在所捕获图像的遮挡区域中也是如此，因为两个相机都包括彩色图像数据。例如，一个相机可提供彩色图像数据，即使另一相机不能用于所捕获场景的某个部分。此外，通过使用两个彩色相机，图像配准可使用亮度与亮度比较以及色度与色度比较。如本文所用，“亮度”是指由图像传感器上的特定像素所接收的光的强度分量(即，对像素有多亮的度量，与其颜色无关)。如本文所用，“色度”是指由图像传感器上的特定像素所接收的光的特定颜色分量的强度。还需注意，彩色图像处理(例如，由于滤色器阵列效应)可能降低图像的空间分辨率并增大图像的噪声，这两者均可导致最终输出图像的质量降低。

使用一个全彩色图像传感器和一个单色图像传感器的立体成像系统可在配准操作期间使用所得单色图像作为参考图像，并且使用全彩色图像将颜色添加到单色图像。这提供了空间分辨率比双重全彩色系统更高的图像，同时仍包含色值。然而，所得图像可能在被拍摄场景的仅对单色图像传感器可见的区域中缺少任何颜色信息。因此，可能需要通过富含信息的估计来确定被遮挡区域中的颜色，这导致所得图像中可见的颜色失真。此外，由于单色图像传感器缺乏色度值，因此仅可使用亮度与亮度比较来执行图像配准。

技术实现要素：

包括以下发明内容是为了提供对要求保护的主题的某些方面和特征的基本理解。本发明内容不是广泛的概述，因此不旨在特别标识要求保护的主题的关键或必需要素或者描绘要求保护的主题的范围。本发明内容的唯一目的是以简化形式给出要求保护的主题的一些构思，作为下文给出的更详细描述的前序。

在一个实施方案中，所公开的构思提供了一种方法，该方法通过利用具有“高颜色密度”图像传感器(本文中也称为“全彩色”图像传感器)和“低颜色密度”图像传感器(本文中也称为“稀疏彩色”图像传感器)两者的成像系统来生成图像。该方法包括从高颜色密度图像传感器捕获场景的全彩色图像；(与全彩色图像同时)从低颜色密度图像传感器捕获场景的低颜色密度图像，其中低颜色密度图像传感器被配置为与相机设备中的全彩色图像传感器具有预先确定的空间关系。低颜色密度图像可包括具有亮度值的亮度像素(本文也称为“单色像素”)和具有色值的彩色像素，其中低颜色密度图像传感器上的亮度像素的数量大于低颜色密度图像传感器上的彩色像素的数量。

在一些实施方案中，两个图像传感器之间的预先确定的空间关系被配置为允许对场景进行立体捕获。在一些此类实施方案中，这两个图像传感器可因此具有至少部分重叠的视场。在其他实施方案中，尽管图像传感器之间的初始空间关系可以是已知的，但两个图像传感器的相对定位可在图像捕获过程中改变，例如，由于使用一个或多个光学图像稳定(ois)系统结合一个或多个图像传感器而造成，如将在下文更详细所述。在其他实施方案中，分割光电二极管(splitphotodiode)像素可与一个或多个图像传感器结合使用，例如，以提供功率节省和改善的低光照自动对焦性能。

接着，根据一些实施方案，该方法可例如使用亮度重建电路为低颜色密度图像的每个彩色像素生成重建的亮度值，然后生成重建的亮度图像，其像素对应于低颜色密度图像的像素。具体地讲，对应于低颜色密度图像的亮度像素的重建亮度图像的像素可被设定为低颜色密度图像的对应亮度值，并且对应于低颜色密度图像的彩色像素的重建亮度图像的像素可被设定为对应的重建亮度值。

接着，该方法可例如使用颜色重建电路为低颜色密度图像的每个亮度像素生成重建色值，然后生成重建彩色图像，其像素对应于低颜色密度图像的像素。具体地讲，对应于低颜色密度图像的彩色像素的重建彩色图像的像素可被设定为低颜色密度图像的对应色值，并且对应于低颜色密度图像的亮度像素的重建彩色图像的像素可被设定为对应的重建色值。

最后，例如使用输出电路，该方法可合并来自全彩色图像和重建彩色图像的颜色信息以生成输出图像。在一些实施方案中，可通过使用与全彩色图像相关联的遮挡信息来辅助该过程。

在一些实施方案中，高颜色密度图像传感器可以是与同一相机设备内的低颜色密度图像传感器相比具有更多彩色像素的图像传感器。在其他实施方案中，高颜色密度图像传感器可被定义为具有多于50％的彩色像素的图像传感器，而低颜色密度图像传感器具有少于50％的彩色像素。在其他实施方案中，高颜色密度图像传感器可被定义为与低颜色密度图像传感器相比具有大于或等于预先确定的比例的彩色像素，例如，高颜色密度图像传感器可具有低颜色密度图像传感器的彩色像素数量的两倍、三倍、四倍等。现在应当理解，在一个示例性实施方案中，低颜色密度图像传感器可包括大于约3％但小于50％的彩色像素，而高颜色密度图像传感器包括大于50％的彩色像素(包括高达100％的彩色像素)。在其他实施方案中，低颜色密度图像传感器可包括介于约8％和约18％之间的彩色像素，而高颜色密度图像传感器包括大于45％的彩色像素。在其他实施方案中，低颜色密度图像传感器可包括少至1％的彩色像素。

在一个实施方案中，低颜色密度图像传感器的彩色像素可被布置成规则图案。在另一个实施方案中，低颜色密度图像传感器的彩色像素可被布置成伪随机图案。在另一个实施方案中，低颜色密度图像传感器的彩色像素可被布置成行图案或网格图案。在其他实施方案中，该方法可包括对亮度恢复和/或颜色恢复电路生成的输出进行过滤(例如，离群值过滤)。

在一个或多个其他实施方案中，本文描述的各种方法可以体现在计算机可执行程序代码中并存储在非暂态存储设备中。在其他实施方案中，所述方法可在具有图像捕获能力的电子设备中实现。

附图说明

本专利或专利申请文件包含至少一幅彩色绘制的附图。在请求并支付必要费用的前提下，专利局将提供本专利或专利申请公开的具有一个或多个彩色附图的副本。

图1示出了根据一个或多个实施方案的常规全彩色传感器和示例性低颜色密度传感器之间的比较。

图2a-图2d示出了根据一个或多个实施方案的在整个低颜色密度传感器上的可能的彩色像素分布图案。

图3a-图3c示出了根据一个或多个实施方案的不同立体图像捕获系统。

图4以流程图形式示出了根据一个或多个实施方案的立体成像操作。

图5以流程图形式示出了根据一个或多个实施方案的亮度信息重建操作。

图6以流程图形式示出了根据一个或多个实施方案的色度信息重建操作。

图7示出了根据一个或多个实施方案的低颜色密度传感器的一部分。

图8以流程图形式示出了根据一个或多个实施方案的色度合并操作。

图9以框图形式示出了根据一个或多个实施方案的立体成像系统。

图10以框图形式示出了根据一个或多个实施方案的多功能电子设备。

具体实施方式

本公开涉及用于改进成像系统的操作的系统、方法和计算机可读介质。一般来讲，公开了用一个或多个高颜色密度图像传感器(例如，采用rgbw滤色器阵列)或全彩色图像传感器(例如，采用bayer滤色器阵列)以及一个或多个低颜色密度图像传感器(例如，采用大多数单色滤色器阵列，如将在下文更详细论述)捕获立体图像的技术。如本文所述，低颜色密度图像传感器可包括比低颜色密度图像传感器的像素总数显著更少的彩色像素。在一些实施方案中，低颜色密度图像传感器上的彩色像素的密度(即，图像传感器上的彩色像素的数量与图像传感器上的像素总数之间的比率)可大于约0.03(即，3％)但小于0.5(即，50％)。更具体地讲，低颜色密度图像传感器可用于捕获几乎单色的图像，该图像随后可用于减小噪声并提高成像系统的输出图像的空间分辨率。此外，低颜色密度图像传感器中存在的相对较少的彩色像素可用于识别在使用高颜色密度/全彩色图像传感器捕获的图像中被遮挡的区域并为它们“填充”颜色。

在以下描述中，为了解释的目的，阐述了很多具体细节以便提供对所公开构思的彻底理解。作为该描述的一部分，本公开的附图中的一些附图以框图形式表示结构和设备，以避免模糊所公开构思的新颖方面。为了清晰起见，可能未对实际具体实施的所有特征进行描述。另外，作为本说明书的一部分，本公开的一些附图可以流程图的形式提供。任何特定流程图中的框可以特定顺序呈现。然而，应当理解，任何给定流程图的特定顺序仅用于举例说明一个实施方案。在其他实施方案中，可删除流程图中描绘的各种元件中的任何元件，或者可以不同的顺序，或甚至同时执行图示的操作序列。此外，其他实施方案可包括未被示为流程图的一部分的附加步骤。此外，本公开中所使用的语言已主要被选择用于可读性和指导性目的，并且可能没有被选择为划定或限定本发明的主题，从而诉诸于所必需的权利要求以确定此类发明主题。在本公开中提到“一个实施方案”或“实施方案”意指结合该实施方案所述的特定特征、结构或特性被包括在所公开主题的至少一个实施方案中，并且多次提到“一个实施方案”或“实施方案”不应被理解为必然地全部涉及相同的实施方案。

应当理解，在任何实际具体实施的开发中(如在任何软件和/或硬件开发项目中那样)，必须要作出许多决策以实现开发者的特定目标(例如，符合与系统和商务相关的约束条件)，并且这些目标在不同具体实施之间可能是不同的。还应当理解，此类开发工作可能是复杂并且耗时的，但尽管如此，对于在受益于本公开而设计和实施图像处理系统的那些普通技术人员而言，这仍然是他们的日常工作。

如本文所述的立体成像系统用低颜色密度(或“稀疏彩色”)图像传感器替代成像系统的传统全彩色或高颜色密度图像传感器(例如，使用bayer滤色器阵列或rgbw滤色器阵列的传感器)中的至少一者。根据一些实施方案，稀疏彩色图像传感器包括多个“单色像素”(本文中也称为“亮度像素”)和多个“彩色像素”，其中单色像素全都具有共同的颜色测量属性(例如，它们全部测量彼此相同的一个或多个波长)并且构成稀疏彩色图像传感器上的像素总数的大于50％。在一些情况下，稀疏彩色图像传感器上的单色像素的百分比甚至可远高于50％(尽管小于100％)，如本文所论述。根据一些实施方案，单色像素优选为“白色像素”，即具有允许对所有可见颜色敏感的透明过滤元件的像素(例如，全色像素)。然而，在其他情况下，单色像素可具有彩色滤色器，只要它们具有彼此相同的颜色测量属性即可，并且图像传感器上的剩余“彩色像素”构成图像传感器上的像素总数的相对较小百分比，如本文所论述。根据一些实施方案，稀疏彩色图像传感器上的彩色像素各自具有与单色像素不同的颜色测量属性，并且它们可包括一个或多个不同的色组，其中每组彩色像素具有被配置为使得相应组(例如，红色组、蓝色组和绿色组)中的像素对特定颜色的光敏感的滤色器。

参见图1，为了进行比较，并排示出了根据本公开的全彩色传感器100和低颜色密度传感器105。低颜色密度传感器105包括被大量单色像素(例如，125)围绕的各个彩色像素组(例如，蓝色像素110、绿色像素115和红色像素120)。在优选的立体成像相机实施方案中，全彩色传感器中的彩色像素的数量将显著大于具有相同数量像素的低颜色密度图像传感器中的彩色像素的数量。

在数学上，如本文所用，颜色密度可被表达为：

(彩色像素数量)/(彩色像素数量+单色像素数量)等式1

在一个实施方案中，低颜色密度传感器105中的彩色像素的密度可大于0.03(即，3％)但小于0.5(即，50％)。在另一个实施方案中，低颜色密度传感器105中的彩色像素的密度可介于约0.1和约0.2之间(例如，在行图案具体实施中，如下文将论述的)。在另一个实施方案中，低颜色密度传感器105中的彩色像素的密度可在约0.04和约0.2之间(例如，在网格图案或伪随机图案中，这将在下文论述)。

在操作中，低颜色密度传感器105将收集比标准或常规全彩色图像传感器(例如，使用bayer滤色器阵列)100更多的光，这将有助于降低将此类传感器与全彩色图像传感器结合使用以产生输出图像的系统中的噪声。除了更低噪声之外，低颜色密度传感器105还提供比图像全彩色传感器100更高空间分辨率的图像内容，并且该信息可通过避免由去马赛克过程产生的不一致来保持，其中在从滤色器阵列的图案颜色重建过程中降低了分辨率。因此，根据本公开的立体成像系统可用于提供比常规彩色立体系统具有更低噪声和更高空间分辨率的最终输出图像。

尽管图1中所示的彩色像素组的图案看起来非常均匀或规则，但低颜色密度传感器105中的彩色像素组的可能布置的数量和类型是众多的。例如，转到图2a-图2d，在一个实施方案中，彩色像素组的图案可以是规则分布的，如图2a的低颜色密度传感器200中所示(也参见低颜色密度传感器105)。在另一个实施方案中，彩色像素组的图案可以是“伪随机的”，如图2b的低颜色密度传感器205所示。例如，彩色像素组可在指定边界之内的水平方向和垂直方向上随机分布。虽然彩色像素的精确数量可取决于传感器的分辨率和预期系统功能，但对于诸如10-20兆像素传感器的多兆像素传感器，彩色像素组之间的距离可介于大约20个至大约30个像素之间，并且在一些实施方案中，介于大约4个至大约8个像素之间。对于不特别关注创建尽可能高质量的照片图像的应用，彩色像素组之间的值可以甚至更高。在其他实施方案中，彩色像素组自身的形状和/或组成也可为伪随机的(即，与图2b所示的一个红色像素、一个绿色像素和一个蓝色像素的3像素三角形布局相反)。例如，可以使用非三角形布局中的3像素组、具有不同和/或变化的颜色构成的3像素组，或具有不同和/或变化数量的像素和布局的像素组。

在其他实施方案中，可将彩色像素组布置成行，如图2c的低颜色密度传感器210中所示。例如，使用行布局的图像传感器可具有由一行(或更多)单色或非彩色像素分隔的一行(或更多)彩色像素，使得仅图像传感器上的彩色像素位于前述指定彩色像素行中。在一些实施方案中，彩色像素行之间的非彩色行的数量在整个图像传感器上可为恒定的，而在其他实施方案中，每个彩色像素行之间的非彩色行的数量可在图像传感器上变化。如图2c中所示，在多行彩色像素上的彩色像素序列可为重复图案，例如蓝色、绿色、红色、蓝色、绿色、红色等。

在其他实施方案中，可将彩色像素组布置成网格图案，如图2d的低颜色密度传感器215中所示。例如，使用网格布局的图像传感器可具有由一行(或更多)单色或非彩色像素和由一列(或更多)单色或非彩色像素分隔的一行(或更多)彩色像素，使得图像传感器上仅彩色像素位于指定彩色像素行和彩色像素列的上述子集中。如上文参考图2c所述，彩色像素行(或列)之间的非彩色行(或列)的数量在整个图像传感器上可为恒定的，而在其他实施方案中，每个彩色像素行(或列)之间的非彩色行(或列)的数量可在整个图像传感器上变化。

在一些实施方案中，低颜色密度传感器可被设计成使得与不包含彩色元件的行相比，包括彩色元件的行可暴露不同的持续时间。这种方法可用于改善传感器的信噪比(snr)，同时不牺牲分辨率。作为实际问题，可选择彩色像素组之间的间距，使得可实现高频率空间细节的保留与颜色保真度之间的平衡。当彩色像素组之间的距离较小时，颜色样本更致密(从而改善颜色保真度)，但空间分辨率信息丢失。当个体彩色像素组之间的间距大时，可改善空间分辨率，但颜色保真度，尤其是小对象内部的颜色保真度可能会丢失。此处描述的示例仅旨在为例示性的而非限制性的。例如，图1和图2仅示出了红色、绿色和蓝色像素(rgb)。也可使用其他像素颜色格式，诸如青色、绿色、品红色和黄色(cgmy)。

典型的立体成像系统可包括被配置为同时捕获图像的多个图像捕获设备。参考图3a-图3c，例如，在一个实施方案中，可使用两个单独的相机单元300和305捕获立体图像。相机单元300可使用根据本公开的低颜色密度传感器，相机单元305可使用常规的全彩色图像传感器。在另一个实施方案中，可使用包括两个独立图像捕获单元的单个设备310来捕获立体图像；每个设备均具有其自己的透镜(315a和320a)和成像传感器(315b和320b)。传感器315b可以是根据本公开的低颜色密度传感器，并且传感器320b可以是常规的全彩色图像传感器。在另一个实施方案中，透镜单元315a和320a可将光引导到单个传感器元件的独立部分上，其中一个部分可被配置作为根据本公开的低颜色密度传感器，并且另一个可被配置作为常规的全彩色图像传感器(未示出)。在其他实施方案中，可使用多于两个成像设备或传感器325a至325z来捕获立体图像，其中多个设备中的至少一个设备使用根据本公开的低颜色密度传感器。在诸如图3c中所示的系统中，不同的相机可具有不同的视场(fov)，这些视场虽然不同，但也可以是至少部分重叠的fov。

当在低光照条件下捕获图像时，较长的曝光时间允许图像传感器收集更多光子，从而得到更好的snr和更高质量的捕获图像。然而，在图像捕获期间使用较长曝光时间还可导致所捕获图像中更多模糊，例如，由于在较长曝光时间间隔期间，拿着图像捕获设备的用户的手会晃动或移动。如上所述，光学图像稳定(ois)系统可用于抵抗模糊增大的影响，例如，通过相对于图像传感器机械地移动透镜，或反之，通过相对于透镜移动图像传感器，以补偿任何此类运动。然而，一个缺点是，ois系统昂贵，涉及复杂的机械，并且当活动时可能消耗很大功率。

在诸如本文所述立体成像系统的相机中，例如，具有用于捕获色度的高颜色密度(或“全彩色”)图像传感器和用于捕获亮度和色度的低颜色密度(或“稀疏彩色”)图像传感器的相机中，有可能在这两种图像传感器的两者或任一者上使用ois系统或都不使用ois系统。然而，根据一些优选实施方案，ois仅应用于稀疏彩色图像传感器，即，因为其捕获用于生成融合图像的亮度的参考图像。在稀疏彩色相机上使用ois将确保：尽管在稀疏彩色图像传感器所使用的相对较长曝光时间期间用户的手有任何晃动或其他运动，但所捕获的图像将保持清晰。根据一些此类优选实施方案，在全彩色图像传感器上避免使用ois，这使得整个成像系统的成本和功率消耗降低，以及可在同一成像系统中的两个附近ois系统之间产生的任何潜在磁性干扰减小。

为了补偿由未采用ois的全彩色图像传感器捕获的图像中潜在增加的模糊，根据一些实施方案，可在稀疏彩色图像传感器的相对“长”曝光时间期间获取多个“短”曝光图像(即，持续时间比启用ois的稀疏彩色图像传感器所使用的曝光时间更短)。例如，在一些实施方案中，全彩色图像传感器可在稀疏彩色图像传感器获取单个长曝光图像的时间段内拍摄多个短曝光图像(例如，3个-5个图像)。然后可将来自全彩色图像传感器的多个短曝光图像配准到参考图像(即前述多个短曝光图像中的一个)，然后将其合并或融合在一起(例如，经由颜色平均化操作)，以在从全彩色图像传感器捕获的已配准图像中获得更好的snr。

在一些实施方案中，稀疏彩色图像传感器也可，例如，在捕获长曝光图像之前和/或之后获取另外的“短”曝光图像。具有这些额外图像可允许随后对由稀疏彩色图像传感器捕获的图像执行图像融合操作，使得例如如果对象在长时间曝光的持续时间期间在所捕获的场景中移动，则可使用从捕获移动对象的一个或多个短曝光图像收集的附加信息来去除或至少减少对象周围的模糊，其中短曝光图像具有比长曝光图像更少的模糊。

最后，例如可根据本文参考图4-图9所述的各种技术和实施方案，将由稀疏彩色图像传感器捕获的ois增强图像和来自全彩色图像传感器的所得(例如，平均化)已配准图像合并在一起以产生增强的输出图像。

参考图4，根据一个或多个实施方案，立体成像操作400可开始于大致同时从空间上分离的成像设备或相机捕获至少两个图像(框405)；产生低颜色密度图像cld405a和全彩色图像cf405b。可以重建从低颜色密度图像cld405a缺失的亮度信息，以生成高分辨率亮度图像yhr410a(框410)。可以重建从低颜色密度图像cld405a缺失的颜色或色度信息，以生成低分辨率彩色图像clr415a(框415)。高分辨率亮度图像yhr410a，作为参考图像，可与全彩色图像cf405b配准(例如，使用配准电路)(框420)，之后，可以合并来自低密度彩色图像cld405a和全彩色图像cf405b的色度信息(框425)以生成最终输出图像430。在例示的实施方案中，输出图像430可以包括高分辨率亮度图像yhr410a和色度图像cb430a与cr430b。在一些实施方案中，根据框420的操作可以使用重建色度图像clr415a，而不是高分辨率图像yhr410a。

参考图5，根据一个或多个实施方案的亮度信息重建操作410采用低颜色密度图像cld405a作为输入(框500)。(例如，低颜色密度传感器105的)传感器部分500a示出了围绕每组红色(g)、绿色(g)和蓝色(b)彩色像素的亮度(y)像素。从低颜色密度图像cld405a，可以选择第一组彩色像素505a(框505)。从所选择的像素组中，可去除彩色像素以产生如元件510a中的黑色区域所示的孔(框510)。接着，可选择孔515a中的第一个(框515)；还示出了第二孔515b和第三孔515c。当选择“孔”时，也选择了孔周围的亮度像素的值(例如，如元件505a、510a和515a-515c中所示的亮度像素y1-y8)。然后可确定垂直梯度和水平梯度(框520)：

gv(hole)＝gv(ya,yb)＝|ya-yb|等式2a

gh(hole)＝gh(yl,yr)＝|yl-yr|等式2b

其中gv(x)和gh(x)表示孔“x”的垂直梯度和水平梯度，ya表示紧接于所选择的孔上方的亮度像素的值，yb表示紧接于所选择的孔下方的亮度像素的值，yl表示紧接于所选择的孔左方的亮度像素的值，yr表示紧接于所选择的孔右方的亮度像素的值。

如果垂直梯度和水平梯度不相似(框525的“否”分支)，则所选择的孔的亮度值可被设定为具有最低梯度的像素的平均值(框530)。如本文所用，“相似”是指相似的或相当的；其确切的值将取决于特定的具体实施。在实践中，框525处的检查可为任选的，并且旨在捕获孔的所有周围亮度值彼此非常接近，使得区别它们的差异不可行或不可用的状况。如果在当前所选择的组中的所有孔都已被处理(框535的“否”分支)，则可进行进一步的检查，以确定是否有来自低颜色密度图像cld405a的额外颜色组仍需要处理(框540)。如果没有要处理的更多色组(框540的“否”分支)，则已生成高分辨率亮度图像yhr410a。回到框525，如果当前所选择的孔的垂直梯度和水平梯度都相似(框525的“是”分支)，则当前所选择的孔的亮度值可被设定成其ya、yb、yl和yr像素的亮度值的平均值(框545)。以类似的方式，如果当前所选择的组中的至少一个孔仍待处理(框535的“是”分支)，则可以选择下一个孔(框550)，之后在框520处继续操作410。回到框540，如果在低颜色密度图像cld405a中仍然有至少一组彩色像素尚未被处理(框540的“是”分支)，则可以选择下一组(框555)，之后在框510处继续操作410。

应注意，结合图5描述的具体操作仅为例示性的。例如，不必使用梯度来确定两个(或更多)像素值是否相似。此外，无需使用平均值组合两个或更多个像素值。在后一种情况下，可以使用最大值、最小值或中值。此外，根据框545的动作可去除最高和最低亮度像素值并确定剩余像素的平均值(或最大值或最小值)。本领域的普通技术人员将会理解，这些仅仅是示例性具体实施，并且，重建高分辨率亮度图像yhr410a的最佳方式可取决于具体实施的期望功能。

参考图6，根据一个或多个实施方案的色度重建操作415可以从低颜色密度图像405a和高分辨率亮度图像yhr410a一次操作一个通道(框600)。在一个实施方案中，可首先处理红色通道，然后处理绿色通道和蓝色通道。在另一个实施方案中，可首先处理cb通道，然后处理cr通道。任何顺序或序列都是可接受的。接着，可选择与所选择的通道相关联的第一区域(框605)；例如，红色通道区域605r或绿色通道区605g或蓝色通道区域605b。如本文所用，“区域”可被定义为被目标像素的四个最近颜色样本包围的低颜色密度图像405a的区域，其中“目标”像素是正在重建其色度值的像素。可选择第一非拐角目标像素(框610)，并确定该像素与所选择的区域的四个拐角像素中的每个拐角像素之间的相似性(框615)。在一个实施方案中，可将目标像素的色度值设定为最相似的拐角像素的色度值(框620)。如本文所用，可以通过适合给定具体实施的任何方式来确定相似性。然后可进行检查，以确定当前所选择的区域中的所有像素是否已被处理(框625)。如果当前所选择的区域中仍有要处理的额外像素(框625的“否”分支)，则可以选择区域中的下一个非拐角像素(框630)，其后在框615处继续色度重建操作415。如果当前区域的所有非拐角像素已被处理(框625的“是”分支)，则可进行进一步的检查，以确定是否已访问了低颜色密度图像的所有区域(框635)。如果至少有一个区域仍要处理(框635的“否”分支)，则可以选择低颜色密度图像405a之内的下一未处理区域(框640)，之后在框610处继续色度重建操作415。如果已访问了低颜色密度图像的所有区域(框635的“是”分支)，则可进行最终检查，以确定是否已处理低颜色密度图像的所有通道(框645)。如果至少有一个通道仍要处理(框645的“否”分支)，则可以选择下一个未处理通道(框650)，之后在框605处继续色度重建操作415。如果低颜色密度图像的所有通道均已被处理(框645的“是”分支)，则已生成低分辨率彩色图像415a。

在另一个实施方案中，低颜色密度图像cld405a可为多个低颜色密度图像的复合物。例如，如果在相对相同的时间(例如，在时间序列中快速)捕获多个低颜色密度图像，则可在时间上合并它们并进行配准。然后可使用该新生成并已配准的低颜色密度图像代替之前论述的单个图像。该方法的有益效果是所得图像可具有改善的噪声特性。这又可生成更高质量的低分辨率彩色图像clr415a。

可参考图7来理解对色度重建操作415的一个实施方案的更正式的描述。令700代表由色度样本p1705、p2710、p3715和p4720围绕的低颜色密度图像cld405a之内的区域，其中p1705、p2710、p3715和p4720中的每个都代表单个色度模态的样本值(例如，红色或cb)。此外，令“i”表示拐角索引，使得i＝{1,2,3,4}，从而使pi表示拐角像素。最后，令pr725表示正在重建其色度值的像素。基于该背景，表1提供了实现像素pr725的色度重建操作415的伪代码。

表1例示性色度确定伪代码

在一个或多个实施方案中，可不重建围绕图像的边缘的像素(“边缘像素”)。例如，它们可被修剪出来，并且在图像融合操作期间不被使用。解决这一问题的一种方法是使用稍微大于实际需要的传感器，或者设计传感器使得拐角具有彩色像素。在一个实施方案中，gradient(x)表示像素“x”的梯度，并且可由下式给出：

其中垂直梯度gv(x)和水平梯度gh(x)可使用等式2a和2b。此外，luminance(x)表示像素“x”的亮度值并且取自高分辨率亮度图像410a，并且max()返回其参数的最大值。在其他实施方案中，可仅使用一个加权值。例如，在上述伪代码中，w1可单独使用(即，排除w2)，因为w1对重建质量的贡献较大。

根据一个或多个实施方案，色度合并操作425将来自全彩色图像传感器的色度内容(即，全彩色图像405b)拷贝到输出图像430的大部分区域中(例如，430a和430b元素中)，被遮挡的那些区域除外。从低分辨率彩色图像415a重建全彩色图像405b中被遮挡的像素。更具体地讲，参考图8，可选择来自全彩色图像405b的第一像素(框800)并检查其是否对应于全彩色图像中被遮挡的对象(框805)。这可例如基于颜色和/或亮度信息的局部比较。如果不对应(框805的“否”分支)，则输出图像的对应像素的颜色或色度可被设定为所选择的像素的色度值(框810)。如果没有仍要检查的像素(框815的“否”分支)，则已建立输出图像的颜色。回到框805，如果从全彩色图像405b选择的像素对应于被遮挡对象(框805的“是”分支)，则转而选择对应于从全彩色图像选择的像素的来自低分辨率彩色图像415a的像素(框820)，并用作对应输出像素的色度值(框810)。现在返回框815，如果至少有一个像素仍要处理(框815的“是”分支)，则可从全彩色图像405b中选择下一未处理像素(框825)，之后在框805处继续色度合并操作425。

参考图9，根据一个或多个实施方案的立体成像系统900可包括低密度彩色图像传感器905(参见图1和图2)、全彩色图像传感器910(参见图1)、图像处理流水线(ipp)915和920、亮度重建电路或模块925、彩色图像处理电路或模块930、色度重建电路或模块935、图像配准电路或模块940和色度合并电路(或输出电路)945。图像传感器905和910可以如上所述，并且可以任何方式并使用任何可用技术构造。例如，图像传感器905和910可以是ccd(电荷耦合器件)或cmos(互补金属氧化物半导体)成像器件。

在一些实施方案中，图像传感器905和910中的一者或两者可完全填充有使用分割光电二极管的像素。根据分割光电二极管像素的一些实施方案，每个此类像素可被分割成多个部分，例如两部分(诸如像素的左半部分和像素的右半部分)。然后可由图像传感器分别读出分割光电二极管像素的每个个体部分，例如，将分割光电二极管像素的每一半视为其自身的像素。根据一些此类实施方案，覆盖图像传感器的微透镜阵列可与用于非分割光电二极管像素的图像传感器上的微透镜阵列相同，即，对于每个“半”像素，不存在单独的微透镜；相反，相同的微透镜覆盖每个分割光电二极管像素的两半。此类设置的结果是，分割光电二极管像素的每一半收集穿过相机光圈的一半进入的光(例如，分割光电二极管像素的左半部采集穿过光圈左侧的光，并且分割光电二极管像素的右半部分收集穿过光圈右侧的光)。由于每个分割光电二极管像素的两半的物理分离，两个捕获的“半”图像(例如，“左半”图像和“右半”图像)将展现出小的视差，就像正常立体相机一样。如果计算出两个半图像之间的视差，则可将它们转换成深度信息(相对于相机的当前焦距设置)，如可使用正常立体相机完成的那样。

在诸如本文所述的立体成像系统的相机中，可能在两个图像传感器(即，全彩色图像传感器和稀疏彩色图像传感器)两者、任一者上使用分割光电二极管像素，或在两者上都不使用分割光电二极管像素。然而，根据一些优选的实施方案，由于稀疏彩色图像传感器上的大部分像素上没有滤色器，因此仅在稀疏彩色图像传感器上包括分割光电二极管像素仍将优于也在全彩色图像传感器上包括分割光电二极管像素。这允许稀疏彩色图像传感器使用分割光电二极管像素，以便在低光环境中实现比使用正常彩色图像传感器时更好的自动对焦。在仅稀疏彩色图像传感器(例如，在每个像素上)具有分割光电二极管像素的此类实施方案中，另一相机(即，具有全彩色图像传感器的相机)可不具有分割光电二极管像素，而是使用由使用分割光电二极管像素的稀疏彩色图像传感器收集的信息来执行其自动对焦操作。此类设置和操作模式的潜在优点之一是其可提供更大的功率节省，同时仍允许自动对焦操作在低光环境中良好地执行。

虽然不是必需的，但每个图像传感器905和910都被显示为耦接到其自身的ipp。ipp915和920可执行若干不同的任务，这些任务可包括但不限于黑电平去除、去噪声、透镜遮光校正、白平衡调节、去马赛克操作，以及局部或全局色调曲线或地图的应用。如果ipp920执行去马赛克操作，则可能不需要彩色图像处理电路或模块930。一般来讲，ipp915和920可包括定制设计的集成电路、可编程门阵列、中央处理单元(cpu)、图形处理单元(gpu)、存储器或这些元件的组合(包括多于一个任何给定元件)。ipp905和910提供的一些功能可至少部分地经由软件(包括固件)来实现。亮度重建电路或模块925(其可被实现为硬件、固件、软件或它们的组合)被设计为执行上文结合图4中的框410和图5的全部所论述的功能。色度重建电路或模块935(其可被实现为硬件、固件、软件或它们的组合)被设计为执行上文结合图4中的框415和图6的全部所论述的功能。图像配准电路或模块940可被设计成使用亮度图像yhr410a作为参考图像(参见上文结合图4的框420所论述)配准高分辨率亮度图像yhr410a和全彩色图像cf405b。如上所述，根据电路或模块940的图像配准操作可使用重建色度图像cbld和crld而不是高分辨率图像yhr。最后，色度合并电路或模块945可被设计为执行上文结合图4的框425和图8的全部所述的功能。与成像系统900的其他元件一样，图像配准电路或模块940以及色度合并电路或模块945可以被实现为硬件、固件、软件或它们的组合。

参考图10，其示出了根据一个实施方案的例示性电子设备1000的简化功能框图。电子设备1000可用于采集、生成或显示根据本公开的数字图像(包括立体图像)。电子设备1000可为例如移动电话、个人媒体设备、笔记本计算机系统或台式计算机系统。如图所示，电子设备1000可包括用于捕获场景图像的透镜组件1005和图像传感器1010。此外，电子设备1000可包括图像处理流水线(ipp)1015、显示元件1020、用户界面1025、一个或多个处理器1030、图形硬件1035、音频电路1040、图像处理电路1045、存储器1050、存储装置1055、传感器1060、通信接口1065，和通信网络或结构1070。

透镜组件1005可包括单个透镜或多个透镜、滤波器和物理外壳单元(例如，筒体)。透镜组件1005的一个功能是将来自场景的光聚焦到图像传感器1010上。根据本公开，透镜组件1005包括至少两个单独的透镜单元和图像传感器1010、至少两个单独的传感器(低密度彩色图像传感器105或905及全彩色图像传感器100或910)。ipp1015可如上文相对于ipp915和920所论述的那样执行功能。另选地，可使用ipp1015代替如上所论述的两个ipp。显示元件1020可用于经由用户界面1025显示文本和图形输出以及接收用户输入。例如，显示元件1020可为触敏显示屏。用户界面1025也可呈现多种其他形式，诸如按钮、小键盘、转盘、点击轮和键盘。处理器1030可以是片上系统(soc)(诸如存在于移动设备中的那些片上系统)，并且可包括一个或多个专用cpu和一个或多个专用gpu。处理器1030可以是基于精简指令集计算机(risc)架构或复杂指令集计算机(cisc)架构或任何其他合适的架构的，并且每个计算单元可包括一个或多个处理内核。处理器1030还可用于执行上文结合框925和935-945所述的一些或全部任务。图形硬件1035可以是用于处理图形和/或帮助处理器1030执行计算任务的专用计算硬件。在一个实施方案中，图形硬件1035可包括一个或多个可编程gpu，其中每者可具有一个或多个内核。音频电路1040可包括一个或多个麦克风、一个或多个扬声器以及一个或多个音频编解码器。图像处理电路1045可帮助从图像传感器1010捕获静态图像和视频图像并包括至少一个视频编解码器。图像处理电路1045可与ipp1015、处理器1030和/或图形硬件1035协同工作。一旦被捕获，图像就可被存储在存储器1050和/或存储装置1055中。存储器1050可包括由ipp1015、处理器1030、图形硬件1035、音频电路1040和图像处理电路1045使用的一个或多个不同类型的介质以执行设备功能。例如，存储器1050可包括存储器高速缓存、只读存储器(rom)和/或随机存取存储器(ram)。存储装置1055可存储介质(例如，音频文件、图像文件和视频文件)、计算机程序指令或软件、偏好信息、设备配置文件信息以及任何其他合适的数据。存储装置1055可包括一个或多个非暂态存储介质，该非暂态存储介质包括例如磁盘(固定硬盘、软盘和可移动磁盘)和磁带、光学介质(诸如cd-rom和数字视频光盘(dvd))，以及半导体存储装置(例如电可编程只读存储器(eprom)和电可擦除可编程只读存储器(eeprom))。设备传感器1060可包括，但不限于光学活动传感器、光学传感器阵列、加速度计、声音传感器、气压传感器、接近传感器、环境光传感器、振动传感器、陀螺仪传感器、罗盘、气压计、磁力仪、热敏电阻器传感器、静电传感器、温度传感器、热传感器、温度计、光传感器、差分光传感器、不透明度传感器、散射光传感器、衍射传感器、折射传感器、反射传感器、偏振传感器、相位传感器、荧光传感器、磷光传感器、像素阵列、微像素阵列、旋转传感器、速度传感器、倾角仪、辐照仪和力矩传感器。通信接口1065可用于将设备1000连接到一个或多个网络。例示性网络包括但不限于本地网络(诸如通用串行总线(usb)网络)、组织的局域网以及广域网(诸如互联网)。通信接口1065可使用任何合适的技术(例如，有线或无线技术)和协议(例如，传输控制协议(tcp)、互联网协议(ip)、用户数据报协议(udp)、互联网控制消息协议(icmp)、超文本传输协议(http)、邮局协议(pop)、文件传输协议(ftp)和互联网消息访问协议(imap))。通信网络或结构1070可包括一个或多个连续(如图所示)或不连续的通信链路，并且可形成总线网络、通信网络或包含一个或多个交换设备(例如，交叉点交换机)的构造。

应当理解，以上描述旨在是示例性的而非限制性的。已呈现材料以使得本领域的任何技术人员能够作出并使用受权利要求保护的公开事项，并在特定实施方案的上下文中提供该材料，其变化对于本领域的技术人员而言将是显而易见的(例如，可彼此结合使用所公开的实施方案中的一些实施方案)。例如，可以过滤来自亮度重建电路或模块的输出以去除离群值。类似地，可以过滤来自色度重建电路或模块935的输出以去除离群值。考虑到这些说明，应当参考所附权利要求书以及此类权利要求书被授权的等价物的完整范围来确定本发明的范围。在所附权利要求书中，术语“包括”和“其中”被用作相应术语“包含”和“其特征在于”的通俗英语等同形式。