处理多孔径像数据的制作方法

专利名称：处理多孔径像数据的制作方法
技术领域：
本发明涉及处理多孔径像数据，尤其是，但不是排他地涉及:用于处理多孔径像数据的方法及系统、供这种系统中使用的像处理设备、以及使用这种方法的计算机程序产品。
背景技术：
在各种不同技术领域，诸如移动远程通信、汽车和生物测量学中，数字图片和视频成像技术的日益增加的使用，要求发展小的集成的摄像机，它提供的像质量与单镜头反光摄像机提供的像质量匹配或至少相近。但是，集成和小型化的数字摄像机技术对光学系统和像传感器的设计提出严格限制，从而负面地影响该成像系统产生的像质量。宽广的机械焦距和孔径设定机构，不适合用于这种集成的摄像机应用。因此，各种不同数字摄像机捕获和处理技术被发展，为的是增强基于固定焦距透镜的成像系统的成像质量。以国际专利申请号PCT/EP2009/050502 和 PCT/EP2009/060936 的 PCT 申请，描述通过使用组合彩色和红外成像技术二者的光学系统，扩展固定焦距透镜成像系统的景深的方式，这些申请在此被引用，供参考。适合用于在彩色和红外光谱二者中成像的像传感器，以及波长选择性多孔径的孔径的组合使用，允许有固定焦距透镜的数字摄像机，以简单和良好性价比方式扩展景深和增加ISO速度。它要求对已知数字成像系统较小的修正，从而使该过程特别适合于大规模生产。虽然多孔径成像系统的使用，提供大体上优于已知数字成像系统的优点，但这样的系统可能仍然不提供如在单镜头反光摄像机中所提供的相同功能性。尤其是，使固定透镜多孔径成像系统允许摄像机参数调整，诸如可调整景深和/或焦距调整，是合乎需要的。此外，提供有类似于已知3D数字摄像机的3D成像功能性的这种多孔径成像系统，是合乎需要的。因此，本领域需要允许提供增强功能性的多孔径成像系统的方法和系统。

发明内容
本发明的一个目的，是降低或消除至少一个现有技术中已知的缺点。在第一方面中，本发明可以涉及用于处理多孔径像数据的方法，其中，该方法可以包括:通过令成像系统中的像传感器，同时曝光于使用至少第一孔径的与电磁波光谱的至少第一部分相关联的光谱能量以及使用至少第二孔径的与电磁波光谱的至少第二部分相关联的光谱能量，捕获与一个或多个物体相关联的像数据；产生与电磁波光谱的所述第一部分相关联的第一像数据以及与电磁波光谱的所述第二部分相关联的第二像数据；以及，在所述第一像数据的至少一个区域中第一清晰度信息以及所述第二像数据的至少一个区域中第二清晰度信息的基础上，产生与所述被捕获像相关联的深度信息。因此，在多孔径像数据，S卩，多孔径成像系统产生的像数据的基础上，该方法允许深度信息的产生，该深度信息建立像中物体与物体到摄像机距离的关系。使用该深度信息，与被捕获像相关联的深度映射(cbpth map)可以被产生。该距离信息和深度映射，允许像处理功能的实施，该像处理功能可以提供增强功能性的固定透镜成像系统。
在一个实施例中，该方法可以包括:建立所述第一像数据的至少一个区域中的第一清晰度信息和所述第二像数据的至少一个区域中的第二清晰度信息之间的差，与所述成像系统和至少一个所述物体之间的距离的关系。在另一个实施例中，该方法可以包括:使用预定深度函数，建立所述第一和第二清晰度信息之间的差，最好是所述第一和第二清晰度信息之间的比值，与所述距离的关系。被定位在成像系统的DSP或存储器中的预定深度函数，可以有效地建立相对清晰度信息与距离信息的关系。在再另一个实施例中，该方法可以包括:通过把所述第一和/或第二像数据提交高通滤波器处理，或者通过确定所述第一和/或第二像数据的傅里叶系数，最好是高频傅里叶系数，确定第一和/或第二清晰度信息。该清晰度信息可以由彩色像数据和/或红外像数据中的高频分量有利地确定。在一个实施例中，电磁波谱的所述第一部分，可以与可见光谱的至少一部分相关联，和/或电磁波谱的所述第二部分，可以与不可见光谱，最好是红外光谱的至少一部分相关联。红外光谱的使用，允许像传感器的灵敏度的有效使用，从而允许信噪比的显著改进。在再一个实施例中，该方法可以包括:通过令所述第一和第二清晰度信息之间的差和/或比值，与所述成像系统和所述一个或多个物体之间的距离相关联，产生与所述被捕获像的至少一部分相关联的深度映射。在该实施例中，被捕获像的深度映射可以被产生。该深度映射使像中每一像素数据或每一组像素数据与距离值相关联。在又再一个实施例中，该方法可以包括:在所述深度信息的基础上，通过位移所述第一像数据中的像素，产生供立体观察使用的至少一个像。因此，用于立体观察的像可以被产生。这些像可以在被多孔径成像系统捕获的像和它的相关联深度映射的基础上被产生。被捕获的像可以用高频红外信息增强。在一种变型中，该方法可以包括:通过把所述第二像数据提交高通滤波器处理，产生高频第二像数据；提供至少一个阈值距离或至少一个距离范围；在所述深度信息的基础上，在所述高频第二像数据中，识别与大于或小于所述阈值距离的距离相关联的一个或多个区域，或者在所述高频第二像数据中，识别与在所述至少一个距离范围内的距离相关联的一个或多个区域；按照掩模函数(masking function),在所述高频第二像数据的所述被识别的一个或多个区域中，设定高频分量；把所述被修改的第二高频像数据，添加到所述第一像数据中。在该变型中，深度信息可以由此提供景深的控制。在另一种变型中，该方法可以包括:通过把所述第二像数据提交高通滤波器处理，产生高频第二像数据；提供至少一个焦距；在所述深度信息的基础上，在所述高频第二像数据中，识别与大体上等于所述至少一个焦距的距离相关联的一个或多个区域；按照掩模函数，在不同于所述被识别的一个或多个区域的区域中，设定高频第二像数据；把所述被修改的高频第二像数据，添加到所述第一像数据中。在该实施例中，该深度信息可以由此提供焦点的控制。在又另一种变型中，该方法可以包括:使用像处理功能处理所述被捕获像，其中一个或多个像处理功能参数依赖于所述深度信息，最好是，所述像处理包含对所述第一和/或第二像数据滤波，其中所述滤波器的一个或多个滤波器参数依赖于所述深度信息。因此，该深度信息还可以在常用像处理步骤，诸如滤波步骤中被使用。
在另一方面中，本发明可以涉及使用多孔径像数据确定深度函数的方法，其中该方法可以包括:在不同的物体到摄像机距离上，捕获一个或多个物体的像，每一像的捕获，都通过令像传感器，同时曝光于使用至少第一孔径的与电磁波光谱的至少第一部分相关联的光谱能量以及使用至少第二孔径的与电磁波光谱的至少第二部分相关联的光谱能量；对至少一部分所述被捕获像，产生与电磁波光谱的所述第一部分相关联的第一像数据以及与电磁波光谱的所述第二部分相关联的第二像数据；以及，通过确定所述第一像数据的至少一个区域中的第一清晰度信息和所述第二像数据的对应区域中的第二清晰度信息之间的关系，作为所述距离的函数，产生深度函数。在再一方面中，本发明可以涉及信号处理模块，其中该模块可以包括:输入，用于接收与电磁波光谱的所述第一部分相关联的第一像数据以及与电磁波光谱的所述第二部分相关联的第二像数据；至少一个高通滤波器，用于确定所述第一像数据的至少一个区域中的第一清晰度信息以及所述第二像数据的对应区域中的第二清晰度信息；包括深度函数的存储器，所述深度函数包括与电磁波光谱的第一部分相关联的像数据和与电磁波光谱的第二部分相关联的像数据之间的清晰度信息的差之间的关系(relation)，作为距离的函数，该距离最好是物体到摄像机距离；以及，深度信息处理器，用于在所述深度函数和从所述高通滤波器接收的所述第一及第二清晰度信息的基础上，产生深度信息。在又再一方面中，本发明可以涉及多孔径成像系统，其中该系统可以包括:像传感器；光学透镜系统；波长选择性多孔径，被配置成令所述像传感器，同时曝光于使用至少第一孔径的与电磁波光谱的至少第一部分相关联的光谱能量以及使用至少第二孔径的与电磁波光谱的至少第二部分相关联的光谱能量；第一处理模块，用于产生与电磁波光谱的所述第一部分相关联的第一像数据以及与电磁波光谱的所述第二部分相关联的第二像数据；以及，第二处理模块，用于在所述第一像数据的至少一个区域中的第一清晰度信息以及所述第二像数据的至少一个区域中的第二清晰度信息的基础上，产生与所述像数据相关联的深度信息。在又一个实施例中，该方法可以包括:使用消马赛克算法(demosaickingalgorith)产生所述第一和第二像数据。本发明的更多方面，涉及数字摄像机系统，最好是移动终端中使用的数字摄像机系统，包括如上所述的信号处理模块和/或多孔径成像系统，并涉及用于处理像数据的计算机程序产品，其中所述计算机程序产品，包括软件代码部分，该软件代码部分被配置成当在计算机系统的存储器中运行时，执行如上所述的方法。本发明将进一步参照附图被示出，附图将示意地展示按照本发明的实施例。应当理解，本发明无论如何不受这些具体的实施例的限制。


图1按照本发明一个实施例，画出多孔径成像系统。图2画出数字摄像机的彩色响应。图3画出热反射镜滤波器的响应和硅的响应。图4画出使用多孔径系统的示意光学系统。图5按照本发明一个实施例，画出供与多孔径成像系统一道使用的像处理方法。
图6A照本发明一个实施例，画出用于确定深度函数的方法。图6B画出作为距离函数的深度函数和描绘高频彩色及红外信息的曲线图的示意图。图7照本发明一个实施例，画出用于产生深度映射的方法。图8照本发明一个实施例，画出用于获得立体观察的方法。图9按照本发明一个实施例，画出用于控制景深的方法。图10照本发明一个实施例，画出用于控制焦点的方法。图11照本发明另一个实施例，画出使用多孔径系统的光学系统。图12照本发明另一个实施例，画出用于确定深度函数的方法。图13照本发明另一个实施例，画出用于控制景深的方法。图14画出供多孔径成像系统中使用的多孔径系统。
具体实施例方式图1示出按照本发明一个实施例的多孔径成像系统100。该成像系统可以是数字摄像机或被集成在移动电话、网络摄像头、生物测量传感器、像扫描器或要求像捕获功能性的任何其他多媒体装置中的一部分。图1中画出的系统包括:像传感器102、用于使景物中物体聚焦到像传感器的成像平面上的透镜系统104、快门106和包括预定数量孔径的孔径系统108，这些孔径允许光(电磁辐射)的第一部分，如可见部分，以及至少EM光谱的第二部分，如不可见部分，诸如电磁(EM)光谱的红外部分，按受控制方式进入该成像系统。该多孔径系统108，下面将更详细讨论，被配置成控制像传感器曝光于EM光谱的可见部分的光，以及任选地不可见部分，如红外部分。尤其是，该多孔径系统可以定义至少第一大小的第一孔径和至少第二大小的第二孔径，该第一孔径用于使像传感器曝光于EM光谱的第一部分，该第二孔径用于使像传感器曝光于EM光谱的第二部分。例如，在一个实施例中，该EM光谱的第一部分可以涉及彩色光谱，而该第二部分可以涉及红外光谱。在另一个实施例中，该多孔径系统可以包括预定数量的孔径，各被设计成使像传感器曝光于EM光谱的预定范围内的辐射。像传感器对EM辐射的曝光，受快门106和多孔径系统108的孔径的控制。当快门被打开时，孔径系统控制光的量和使像传感器102曝光的光的准直度。快门可以是机械快门，或换种方式，快门可以是被集成在像传感器中的电子快门。该像传感器包括形成两维像素阵列的光敏部位(像素)的行及列。该像传感器可以是CMOS (互补型金属氧化物半导体)有源像素传感器，或CCD (电荷耦合器件)像传感器。另外，该像传感器可以涉及另一种Si(如，a-Si)、II1-V (如，GaAs)或基于导电聚合物的像传感器结构。当光被透镜系统投射到像传感器上时，每一像素产生电信号，该电信号与入射该像素上的电磁辐射(能量)成比例。为了获得彩色信息并分离投射到像传感器成像平面上的像的彩色成分，通常，彩色滤波器阵列120 (CFA)被置于透镜和该像传感器之间。该彩色滤波器阵列可以与像传感器集成，以便像传感器的每一像素有对应的像素滤波器。每一彩色滤波器适合使预定彩色频带通过，进入该像素。常常是，红色、绿色和蓝色(RGB)滤波器的组合被使用，但是，其他滤波器方案也是可能的，如，CYGM (蓝绿色、黄色、绿色、绛红色)、RGBE(红色、绿色、蓝色、鲜绿色)等等。
被曝光的像传感器的每一像素，产生与通过与该像素相关联的彩色滤波器的电磁辐射成比例的电信号。该像素阵列由此产生像数据(帧)，代表通过该彩色滤波器阵列的电磁能量(辐射)的空间分布。从像素接收的信号，可以用一个或多个芯片上放大器放大。在一个实施例中，像传感器的每一颜色通道，可以用分开的放大器放大，从而允许分开地控制不同颜色的ISO速度。另外，像素信号可以被抽样、量化和用一个或多个模拟到数字(A/D)转换器110变换为数字格式的字，该转换器110可以被集成在像传感器的芯片上。数字化的像数据由与像传感器耦合的数字信号处理器112(DSP)处理，该数字信号处理器112被配置成进行熟知的信号处理功能，诸如内插、滤波、白平衡、亮度校正、数据压缩技术(如，MPEG或JPEG类型的技术)。该DSP被耦合到中央处理器114、存储捕获的像的存储器116和程序存储器118，诸如EEPROM或包括一种或多种软件程序的非易失性存储器的另一种类型，这些软件程序供DSP处理像数据使用，或供中央处理器管理成像系统的操作使用。另外，该DSP可以包括一种或多种信号处理功能124，这些功能被配置成获得与多孔径成像系统捕获的像相关联的深度信息。这些信号处理功能，可以提供有扩展的成像功能性的固定透镜多孔径成像系统，该成像功能性包含可变DOF和聚焦控制及立体3D像观察能力。与这些信号处理功能相关联的细节和优点，下面将更详细讨论。如上所述，该成像系统的灵敏度通过使用红外成像功能性被扩展。为此，透镜系统可以被配置成允许可见光和红外辐射或至少一部分红外辐射二者进入成像系统。透镜系统前面的滤波器，被配置成允许至少一部分红外辐射进入该成像系统。尤其是，这些滤波器不包括常常被称为热反射镜滤波器的红外阻挡滤波器，它在常用彩色成像摄像机中被使用，以阻挡红外辐射进入摄像机。因此，进入多孔径成像系统的EM辐射122，可以由此包括与EM光谱的可见和红外部分二者相关联的辐射，从而允许像传感器的光响应扩展到红外光谱。(没有)红外阻挡滤波器对常用CFA彩色像传感器的作用，在图2-3中示出。在图2A和2B中，曲线202代表没有红外阻挡滤波器(热反射镜滤波器)的数字摄像机典型的彩色响应。曲线图A更详细示出使用热反射镜滤波器的作用。热反射镜滤波器210的响应，限制像传感器对可见光谱的光谱响应，从而实际上限制像传感器的整个灵敏度。如果把热反射镜滤波器拿走，一些红外辐射将通过彩色像素滤波器。这一作用由曲线图B画出，曲线图B示出包括蓝色像素滤波器204、绿色像素滤波器206和红色像素滤波器208的常用彩色像素的光响应。这些彩色像素滤波器，尤其是红色像素滤波器，可以(部分地)透射红外辐射，因此，一部分像素信号可以被认为由红外辐射贡献。这些红外贡献可以使彩色平衡畸变，导致包括所谓伪彩色的像。图3画出热反射镜滤波器302的响应和硅304(即，数字摄像机中使用的像传感器的主要半导体部件)的响应。这些响应清楚示出，硅像传感器对红外辐射的灵敏度，比它对可见光的灵敏度高出大致4倍。为了利用如图2和3所示的由像传感器提供的光谱灵敏度，图1的成像系统中的像传感器102，可以是常用的像传感器。在常用的RGB传感器中，红外辐射主要由红色像素感测。在这样的情形下，DSP可以处理红色像素信号，以便提取其中的低噪声红外信息。这一处理过程下面将更详细描述。换种方式，像传感器可以被具体配置成对至少一部分红外光谱成像。该像传感器可以包括，例如一个或多个与彩色像素结合的红外(I)像素，从而允许该像传感器产生RGB彩色像和相对低噪声的红外像。红外像素可以通过用滤波器材料覆盖光敏部位(photo-site)而实现，该材料大体上阻挡可见光而大体上透射红外辐射，最好是在约700到IlOOnm范围内的红外辐射。该红外透射像素滤波器可以设在红外/彩色滤波器阵列(ICFA)中，并可以用熟知的滤波器材料实现，该材料对光谱的红外频带中的波长有高的透射率，例如由Brewer Science以商标“DARC 400”出售的黑色聚酰亚胺材料。实现这样的滤波器的方法，在US2009/0159799中描述。ICFA可以含有像素的块，如，2X2像素的块，其中每一块包括红色、绿色、蓝色和红外像素。当被曝光时，这种像ICFA彩色像传感器，可以产生包括RGB彩色信息和红外信息二者的原始马赛克像。在用熟知的消马赛克算法处理该原始马赛克像之后，RGB彩色像和红外像可以被获得。这样的ICFA像彩色传感器，对红外辐射的灵敏度，可以通过增加块中红外像素的数量而增加。在一种配置(未画出)中，该像传感器滤波器阵列，例如可以包括16个像素的块，包括4个彩色像素RGGB和12个红外像素。代替ICFA像彩色传感器，在另一个实施例中，该像传感器可以涉及光敏部位的阵列，其中每一光敏部位包括一定数量叠层的本领域熟知的光电二极管。最好是，这样叠层的光敏部位，包括至少4个分别对至少基色RGB和红外响应的叠层的光电二极管。这些叠层的光电二极管可以被集成进像传感器的硅基底中。该多孔径系统，如，多孔径光阑，可以被用于改进摄像机的景深(D0F)。这样的多孔径系统400的原理，在图4中示出。当捕获像时，该DOF确定离焦点对准的摄像机的距离范围。在该范围内，物体是可接受地清晰的。对适度大的距离和给定的像格式，DOF由透镜焦距N、与透镜开孔(孔径)相关联的f数、以及物体到摄像机距离s确定。孔径越宽(接收的光越多)，DOF受到的限制越大。可见和红外光谱能量，可以经由多孔径系统进入成像系统。在一个实施例中，该多孔径系统可以包括有预定直径Dl的圆孔402的滤波器涂覆的透明基底。该滤波器涂层404可以透射可见辐射和反射和/或吸收红外辐射。不透明的盖板406可以包括具有直径D2的圆形开孔，该直径D2大于孔402的直径D1。该盖可以包括反射红外和可见辐射二者的薄膜涂层，或者换种方式，该盖可以是把基底夹持和定位在光学系统中的不透明夹持器的一部分。这样，该多孔径系统包括多个波长选择性孔径，允许像传感器受控地曝光于EM光谱的不同部分的光谱能量。通过孔径系统的可见和红外光谱能量，随后被透镜412投射到像传感器的成像平面414上，该像传感器包括用于获得与可见光谱能量相关联的像数据的像素，以及用于获得与不可见(红外)光谱能量相关联的像数据的像素。像传感器的像素由此可以接收第一(相对地)宽孔径像信号416，该像信号416与具有有限的DOF的可见光谱能量相关联，叠加在第二小孔径像信号418上，该像信号418与具有大DOF的红外光谱能量相关联。接近透镜焦距N的平面的物体420，以相对小的散焦模糊通过可见辐射投射到像平面上，而被定位在离焦距平面更远的物体422，以相对小的散焦模糊通过红外辐射投射到像平面上。因此，与包括单一孔径的常用成像系统相反，双孔径或多孔径成像系统，使用包括两个或更多不同大小的孔径的孔径系统，用于控制使像传感器曝光的光谱的不同频带中辐射的量和准直。
DSP可以被配置成处理捕获的彩色和红外信号。图5画出与多孔径成像系统一道使用的典型的像处理步骤500。在该例子中，多孔径成像系统包括常用彩色像传感器，例如使用Bayer彩色滤波器阵列。在该情形中，主要是红色像素滤波器使红外辐射透射到像传感器。捕获的像帧的红色像素数据，包括高振幅的可见红色信号和清晰的、低振幅的不可见红外信号二者。该红外分量可以比可见红色分量低8到16倍。另外，使用已知彩色平衡技术，该红色平衡可以被调整，以补偿由红外辐射的存在而产生的轻微畸变。在其他的变型中，RGBI像传感器可以被使用，其中该红外像可以用I像素直接获得。在第一步骤502中，捕获经Bayer滤波器滤波的原始像数据。此后，DSP可以提取红色像数据，该像数据还包括红外信息(步骤504)。此后，DSP可以从红色像数据中提取与红外像相关联的清晰度信息，并使用该清晰度信息增强彩色像。在空间域中提取清晰度信息的一种方式，可以通过把高通滤波器应用于红色像数据而获得。高通滤波器可以保存红色像内的高频信息(高频分量)，同时降低低频信息(低频分量)。高通滤波器的核可以被设计成增加中心像素相对于邻域像素的亮度。该核阵列常常在它的中心含有单独的正值，该单独的正值完全被负值包围。用于高通滤波器的3X3核的简单非限制性例子，可以看似:1-1/9 -1/9 -1/91-1/9 8/9 -1/91-1/9 -1/9 -1/9因此，为了提取与红外像信号相关联的高频分量(B卩，清晰度信息)，该红色像数据被通过高通滤波器(步骤506)。因为红外孔径的相对地小的大小产生相对地小的红外像信号，该被滤波的高频分量按与可见光孔径相对于红外孔径的比值成正比地被放大(步骤508)。红外孔径的相对地小的大小的作用，部分地由红色像素捕获的红外辐射的频带比红色辐射频带约宽4倍(数字红外摄像机的灵敏度通常比可见光摄像机大4倍)的事实补偿。在放大之后，从红外像信号导出的放大的高频分量，被添加到(被一道混合)经Bayer滤波器滤波的原始像数据的每一彩色分量中(步骤510)。这样，红外像数据的清晰度信息被添加到彩色像中。此后，组合的像数据可以用本领域熟知的消马赛克算法，变换为全RGB彩色像(步骤512)。在一种变型(未画出)中，该经Bayer滤波器滤波的原始像数据，首先被消马赛克而成为RGB彩色像，并随后通过相加(混合)与被放大的高频分量组合。图5画出的方法，允许多孔径成像系统有宽的孔径，以便在较低光的情形中有效的操作，与此同时有导致更清晰图像的更大D0F。另外，该方法有效地增加透镜的光学性能、降低要求达到相同性能的透镜的费用。该多孔径成像系统因此允许简单的移动电话摄像机有典型的f数7 (如，7mm的焦距N和1_的直径)，以通过有变化的f数的第二孔径，如，f数在直径0.5mm的14直到直径等于或小于0.2mm的70或更大之间变化，改进它的D0F，其中，该f数由焦距f和孔径的有效直径的比值定义。较可取的实施方案包含的光学系统，包括用于增加近处物体清晰度的可见辐射的约2到4的f数，与用于增加远处物体清晰度的红外孔径的约16到22的f数的组合。
由多孔径成像系统提供的在DOF和ISO速度方面的改进，在有关申请PCT/EP2009/050502和PCT/EP2009/060936中被更详细描述。此外，如参照图1_5所述的多孔径成像系统，可以被用于产生与单个捕获的像相关联的深度信息。尤其更甚的是，多孔径成像系统的DSP可以包括至少一个深度函数，该深度函数依赖于光学系统的参数，且该深度函数在一个实施例中，可以事先由制造商确定并存储在摄像机的存储器中，供数字像处理功能使用。像可以含有位于离摄像机透镜不同距离处的不同物体，因此，更接近摄像机焦平面的物体，将比更远离该焦平面的物体更清晰。深度函数可以建立清晰度信息与涉及的距离信息的关系，该清晰度信息与被成像在像的不同区域的物体相关联，该距离是这些物体从摄像机被移开的距离。在一个实施例中，深度函数R可以包含对离开摄像机透镜不同距离上的物体，确定彩色像分量和红外像分量的清晰度比值。在另一个实施例中，深度函数D可以包含被高通滤波的红外像的自相关分析。这些实施例在下面参照图6-14更详细地被描述。在第一实施例中，深度函数R可以由彩色像中的清晰度信息和红外像中的清晰度信息的比值定义。在此，清晰度参数可以涉及所谓弥散圆，该弥散圆对应于由物空间中不清晰地成像点的像传感器测得的模糊光斑直径。代表散焦模糊的模糊盘直径，对焦平面中的点是非常小的(零)，而当在物空间中向前景或背景移动离开该平面时，逐步地增长。只要该模糊盘比最大可接受弥散圆c更小，则被认为足够清晰并被认为是DOF范围的一部分。根据已知DOF公式，由此得出，在物体深度，即它离摄像机的距离S，和该物体在摄像机中的模糊(即，清晰度)量之间存在直接关系。因此，在多孔径成像系统中，彩色像RGB分量的清晰度，相对于红外像中IR分量的清晰度的增加或减小，取决于被成像物体离透镜的距离。例如，如果透镜被聚焦在3米，RGB分量和IR分量二者的清晰度可以相同。相反，由于对I米距离上的物体，用于红外像的小的孔径，RGB分量的清晰度可以显著地小于红外分量的那些清晰度。这一依赖性可以被用于估算物体离摄像机透镜的距离。尤其是，如果透镜被设定成大的(“无限远”)焦点(该点可以被称为该多孔径系统的超焦距H)，则摄像机可以确定像中彩色和红外分量同样清晰的点。像中的这些点，对应于被定位在离摄像机相对大距离(通常是背景)上的物体。对于被定位在远离超焦距H的物体，在红外分量和彩色分量之间的清晰度中的相对差，将作为物体和透镜之间距离s的函数而增加。彩色像中清晰度信息和在一个光斑(如，一个或一组像素)上测得的红外信息中清晰度信息之间的比值，本文此后将称为深度函数R(s)。该深度函数R(S)，可以通过对离摄像机透镜不同距离s的一个或多个测试物体，测量清晰度比值而获得，其中该清晰度由相应像中的高频分量确定。图6A按照本发明一个实施例，画出与深度函数的确定相关联的流程图600。在第一步骤602中，测试物体可以被放置在离摄像机至少在超焦距H上。此后，用多孔径成像系统捕获像数据。然后，与彩色像及红外信息相关联的清晰度信息，从捕获的数据提取(步骤606-608)。清晰度信息R(H)之间的比值，随后被存储在存储器中(步骤610)。然后，该测试物体在离开超焦距H的距离Λ上被移动，而R在该距离上被确定。这一过程被重复，直到对接近摄像机透镜的所有距离，R都被确定为止(步骤612)。这些值可以被存储在存储器中。为了获得连续的深度函数R(S)，内插可以被使用(步骤614)。在一个实施例中，R可以被定义为在像中特定光斑上测得的高频红外分量Db的绝对值和高频彩色分量Dral的绝对值之间的比值。在另一个实施例中，在特定区域中红外和彩色分量之间的差，可以被计算。在该区域中该差的和，可以在其后被当作距离的测量。图6B画出作为距离函数的Dral和Db曲线(曲线图A)，以及作为距离函数的R=DjDcol曲线(曲线图B)。在曲线图A中，表明在焦距N周围，高频彩色分量有最高值，而远离该焦距，高频彩色分量作为模糊效应的结果迅速下降。此外，作为相对小的红外孔径的结果，高频红外分量在离开焦点N的大距离上，将有相对高的值。曲线图B画出作为DJDm1之间比值定义而得到的深度函数R，该曲线图指出，对大体上大于焦距N的距离，清晰度信息被包括在高频红外像数据中。该深度函数R(S)可以事先由制造商获得，并可以存储在摄像机的存储器中，它在那里可以被DSP在一种或多种后处理功能中使用，以便处理被多孔径成像系统捕获的像。在一个实施例中，该后处理功能之一可以涉及与被多孔径成像系统捕获的单幅像相关联的深度映射的产生。图7按照本发明的一个实施例，画出用于产生这样的深度映射的过程的示意图。在该多孔径成像系统中的像传感器在一帧像帧中同时捕获可见和红外像信号二者之后(步骤702)，DSP可以使用例如熟知所消马赛克算法，分离捕获的原始马赛克像中的彩色和红外像素信号(步骤704)。此后，DSP可以对彩色像数据(如，RGB像)和红外像数据使用高通滤波器，以便获得两种像数据的高频分量(步骤706)。此后，DSP可以令距离与每一像素P (i，j)或像素组相关联。为此，DSP可以对每一像素P (i，j)确定高频红外分量和高频彩色分量之间的清晰度比值R (i，j):R (i，j)=Dir (i，j)/Dcol (i，j)(步骤708)。在深度函数R(s)，尤其是反深度函数R' (R)的基础上，DSP然后可以令每一像素上测得的清晰度比值R (i, j)与到摄像机透镜的距离s (i,j)相关联(步骤710)。该过程将产生距离映射，其中映射中每一距离值被与像中某一像素相关联。如此产生的映射可以被存储在摄像机的存储器中(步骤712)。向每一像素指配距离，可能要求大量数据处理。为了降低计算量，在一种变型中，在第一步骤中，像中的边缘可以用熟知的边缘检测算法检测。此后，围绕这些边缘的区域可以被用作样本区域，以便用这些区域中的清晰度比值R，确定离摄像机透镜的距离。该变型提供的优点是，它要求较少的计算。因此，在被多孔径摄像机系统捕获的像，即像素帧{p (i，j)}的基础上，该包括深度函数的数字成像处理器，可以确定相关联的深度映射Is (i，j)}。对该像素帧中每一像素，该深度映射包括相关联的距离值。该深度映射可以通过对每一像素P (i，j)计算相关联的深度值S (i，j)而被确定。换种方式，该深度映射可以通过令深度值与像中像素组相关联而被确定。该深度映射可以与捕获的像一起，按任一种合适的数据格式，被存储在摄像机的存储器中。该过程不受参照图7所述步骤限制。各种不同的变型是可能的，并不违背本发明。例如，高通滤波可以在消马赛克步骤之前施行。在该情形中，高频彩色像是通过对被高通滤波的像数据消马赛克而获得的。另外，在清晰度信息的基础上确定距离的其他方式，也是可能的，并不违背本发明。例如，代替用例如高通滤波器在空间域中分析清晰度信息(即，边缘信息)，该清晰度信息也可以在频域中被分析。例如，在一个实施例中，运行离散傅里叶变换(DFT)可以被采用，以便获得清晰度信息。DFT可以被用于计算彩色像和红外像二者的傅里叶系数。分析这些系数，尤其是高频系数，可以提供距离的指示。例如，在一个实施例中，与彩色像和红外像中特定区域相关联的高频DFT系数之间的绝对差，可以被用作距离的指示。在再一个实施例中，傅里叶分量可以被用于分析与红外及彩色信号相关联的截止频率。例如，如果在像的特定区域中，红外像信号的截止频率大于彩色像信号的截止频率，那么该差可以提供距离的指示。在深度映射的基础上，各种不同像处理功能被实现。图8按照本发明的一个实施例，画出用于获得立体观察的方案800。在被放置在离物体P距离s上的原来摄像机位置C。的基础上，两个虚拟摄像机位置C1和C2 (—个用于左眼而一个用于右眼)可以被定义。这些虚拟摄像机位置的每一个，相对于原来摄像机位置在距离_t/2和+t/2上被对称地位移。给定焦距N、C0, Q、C2、t和s之间的几何关系，要求产生与该两个虚拟摄像机位置相关联的两个被移位的“虚拟”像的像素移位量，可以由下面表达式确定:P1=P0-(t*N)/ (2s)和 P2=p0+(t*N)/(2s)；因此，在这些表达式和深度映射中距离信息s (i，j)的基础上，像处理功能可以对原来像中每一像素P。(i，j)，计算与第一和第二虚拟像相关联的像素P1 (1，」)和巧(i，j)(步骤802-806)。这样，原来像中每一像素P。(i，j)可以按照上面的表达式被移位，产生适合供立体观察的两个移位的像(P1 (i，j) }和{p2 (i，j) }。图9按照一个实施例，画出又一种像处理功能900。该功能允许在多孔径成像系统中控制DOF的缩减。因为多孔径成像系统使用固定透镜和固定多孔径系统，所以光学系统以该光学系统的固定(被改进)的DOF提交像。但是，在一些情况下，有可变的DOF可能是期望的。在第一步骤902中，像数据和相关联的深度映射可以被产生。此后，该功能可以允许特定距离s'的选择(步骤904)，该距离可以被用作截止距离，在它之后，在高频红外分量基础上的清晰度增强可以被舍弃。使用该深度映射，DSP可以识别像中第一区域和第二区域，该第一区域与大于被选择的距离s'的物体到摄像机距离相关联(步骤906)，该第二区域与小于被选择的距离s'的物体到摄像机距离相关联。此后，DSP可以检索高频红外像，并按照掩模函数，把被识别的第一区域中的高频红外分量设定为某一值(步骤910)。该如此修改的高频红外像，然后按图5所示类似方式与RGB像混合(步骤912)。这样，其中像中物体离开摄像机透镜直到距离s'，都被用从高频红外分量获得的清晰度信息增强的RGB像可以被获得。这样，DOF可以按受控方式被缩减。应当承认，各种不同的变型是可能的，并不违背本发明。例如，代替单一的距离，距离范围[sl，s2]可以被该多孔径系统的用户选择。像中的物体可以与离开摄像机的距离有关。此后，DSP可以确定哪些物体区域被定位在该范围之内。这些区域随后被高频分量中的清晰度信息增强。再一种像处理功能，可以涉及控制摄像机的焦点。该功能示意地在图10中画出。在该实施例中，(虚拟)焦距N'可以被选择(步骤1004)。使用深度映射，与该被选择焦距相关联的像中的区域，可以被确定(步骤1006)。此后，DSP可以产生高频红外像(步骤1008)，并按照掩模函数，把被识别的区域以外的所有高频分量设定为某一值(步骤1010)。该如此修改的高频红外像，可以与RGB像混合(步骤1012)，从而只增强与焦距N'相关联的像中该区域中的清晰度。这样，像中焦点可以按可控方式被改变。控制焦距的另外的变型，可以包含多个焦距N'、N"、等等的选择。对这些被选定距离的每一个，红外像中相关联的高频分量可以被确定。高频红外像的随后修改并参照与图10所示类似方式与彩色像的混合，可以产生的像例如是:在2米处的物体是焦点对准的，在3米处的物体是散焦的和在4米处的物体是焦点对准的。在再另一个实施例中，如参照图9和10所示的焦点控制，可以被应用于像中一个或多个特定区域。为此，用户或DSP可以选择像中需要焦点控制的一个或多个特定区域。在又另一个实施例中，距离函数R(S)和/或深度映射，可以被用于使用熟知像处理功能(如，滤波、混合、平衡，等等)处理所述捕获的像，其中，与该功能相关联的一种或多种像处理功能参数，依赖于深度信息。例如，在一个实施例中，该深度信息可以被用于控制截止频率和/或控制被用于产生高频红外像的高通滤波器的滚降。当该像的某个区域的彩色像和红外像中清晰度信息大体上相同时,要求红外像的较小的清晰度信息(即，高频红外分量)。因此，在这种情形中，有非常高截止频率的高通滤波器可以被使用。相反，当彩色像和红外像中清晰度信息不同时，有较低截止频率的高通滤波器可以被使用，以便彩色像中的模糊，可以被红外像中清晰度信息补偿。这样，整幅像或像的特定部分中，高通滤波器的滚降和/或截止频率，可以按照彩色像和红外像中清晰度信息的差而被调整。深度映射的产生和在该深度映射基础上像处理功能的实施，不受上面的实施例的限制。图11按照再一个实施例，画出用于产生深度信息的多孔径成像系统1100的示意图。在该实施例中，深度信息是通过使用修改的多孔径配置获得的。代替如图4所示在中心的一个红外孔径，图11中的多孔径1101包括多个(即，两个或更多)小的红外孔径1102、1104在形成更大彩色孔径1106的光阑的边缘(或沿周边)。这些多个小的孔径大体上比如图4所示的单个红外孔径更小，从而提供的作用是，焦点对准的物体1108，作为清晰的单幅红外像1112，被成像到成像平面1110上。与此相反，离焦的物体1114，作为两个红外像1116、1118，被成像到成像平面上。与第一红外孔径1102相关联的第一红外像1116，相对于与第二红外孔径相关联的第二红外像1118在距离Λ上被位移。不同于通常与散焦透镜相关联的连续模糊的像，包括多个小红外孔径的多孔径允许不连续的、清晰的像的形成。当与单个红外孔径比较时，多个红外孔径的使用，允许更小孔径的使用，从而达到景深的进一步增强。物体离焦越远，距离Λ越大。因此，两个成像的红外像之间的位移Λ，是物体和摄像机透镜之间的距离的函数，并可以被用于确定深度函数△ (S)。深度函数Λ (s)可以通过令测试物体在离摄像机透镜的多个距离上成像，并在这些不同距离上测量Λ而被确定。Λ (s)可以被存储在摄像机的存储器中，它在那里可以供DSP在一种或多种后处理功能中使用，如在下面更详细的讨论。在一个实施例中，一种后处理功能，可以涉及与多孔径成像系统捕获的单幅像相关联的深度信息的产生，该多孔径成像系统包括不连续的多个孔径，如参照图11所述。在一帧像帧中同时捕获可见和红外像信号两者之后，DSP可以使用例如熟知的消马赛克算法，分离捕获的原始马赛克 像中的彩色和红外像素信号。DSP可以随后对红外像数据使用高通滤波器，以便获得红外像数据的高频分量，该红外像数据可以包括物体是焦点对准的区域和物体是离焦的区域。另外，DSP可以用自相关函数，从高频红外像数据导出深度信息。该过程被示意地画在图12中。当取高频红外像1204 (—部分)的自相关函数1202时，单个尖峰1206将出现在对准焦点的被成像物体1208的高频边缘。相反，该自相关函数将在离焦的被成像物体1212的高频边缘上产生双尖峰1210。在此，尖峰之间的移位代表两个高频红外像之间的移位Λ，它依赖于被成像物体和摄像机透镜之间的距离S。因此，高频红外像(一部分)的自相关函数，将在离焦物体的高频红外像的位置上包括双尖峰，且其中双尖峰之间的距离给出距离的测量(即，离开焦距的距离)。另外，自相关函数将在焦点对准的物体的像的位置上包括单尖峰。DSP可以通过令双峰之间的距离与使用预定深度函数△ (s)的距离相关联，处理该自相关函数，并把其中信息变换为与“真实距离”相关联的深度映射。使用该深度映射，相似的功能，如，立体观察、DOF和焦点的控制，可以如上所述，参照图8-10被施行。例如，A(s)或深度映射，可以被用于选择与特定选择的摄像机到物体距离相关联的红外像中的高频分量。某些像处理功能，可以通过分析高频红外像的自相关函数获得。图13画出例如过程1300，其中DOF通过比较自相关函数中的峰宽度与一定阈值宽度而被缩减。在第一步骤1302中，使用如图11所示的多孔径成像系统捕获像，彩色和红外像数据被提取(步骤1304)，以及高频红外像数据被产生(步骤1306)。此后，高频红外像数据的自相关函数被计算(步骤1308)。另外，阈值宽度w被选定(步骤1310)。如果与某个被成像物体相关联的自相关函数中的峰，比该阈值宽度更窄，则与自相关函数中该峰相关联的高频红外分量被选定，以便与彩色像数据组合。如果与某个被成像物体的边缘相关联的自相关函数中的峰或两个峰之间的距离，比阈值宽度更宽，则与自相关函数中该峰相关联的高频分量，按照掩模函数被设定(步骤1312-1314)。此后，该如此修改的高频红外像，用标准像处理技术处理，以便消除由多孔径引入的移位Λ，由此它可以与彩色像数据混合(步骤1316)。混合之后，有缩减DOF的彩色像被形成。该过程通过选择预定阈值宽度而允许DOF的控制。图14画出供上述多孔径成像系统中使用的多孔径的两种非限制性例子1402、1410。第一种多孔径1402可以包括透明基底，上有两个不同薄膜滤波器:第一圆形薄膜滤波器1404在基底的中心，形成透射EM光谱的第一频带中的辐射的第一孔径，以及第二薄膜滤波器1406，围绕该第一滤波器形成(如，在同心环中)，透射EM光谱的第二频带中的辐射。该第一滤波器可以被配置成透射可见和红外辐射二者，而该第二滤波器可以被配置成反射红外辐射并透射可见辐射。外同心环的外直径，可以由不透明孔径夹持器1408中的开孔定义，或者换种方式，由淀积在该基底上的阻挡红外和可见辐射二者的不透明薄膜层1408中限定的开孔定义。本领域熟练技术人员应当清楚，薄膜多孔径的形成背后的原理，可以容易推广到包括3个或更多孔径的多孔径，其中每一孔径透射与EM光谱中特定频带相关联的辐射。
在一个实施例中，该第二薄膜滤波器可以涉及分色滤波器，该分色滤波器反射红外光谱中的辐射而透射可见光谱中的辐射。亦称干涉滤波器的分色滤波器，是本领域周知的，并通常包括许多具体厚度的薄膜介质层，这些介质层被配置成反射红外辐射(如，波长在约750到1250纳米之间的辐射)而透射该光谱的可见部分中的辐射。
第二种多孔径1410可以供参照图11所述的多孔径系统中使用。在该变型中，该多孔径包括相对地大的第一孔径1412，它作为不透明孔径夹持器1414中的开孔被定义，或者换种方式，由淀积在透明基底上的不透明薄膜层中限定的开孔定义，其中该不透明薄膜阻挡红外和可见辐射二者。在该相对地大的第一孔径中，多个小的红外孔径1416-1422被定义为薄膜热反射镜滤波器1424中的开孔，该热反射镜滤波器1424被形成在第一孔径内。本发明的这些实施例，可以作为程序产品被实施，供与计算机系统一道使用。该程序产品的程序，定义这些实施例(包含本文描述的方法)的功能，并能够被包含在多种多样的计算机可读存储媒体上。说明性计算机可读存储媒体包括，但不限于:(i)不可写存储媒体(如，计算机内的只读存储器装置，诸如可由CD-ROM驱动器读取的CD-ROM盘，快速擦写存储器，ROM芯片或固态非易失性半导体存储器的任何类型)，在该不可写存储媒体上，信息被永久地存储；和(ii )可写存储媒体(如，盘驱动器或硬盘驱动器内的软盘，或固态随机存取半导体存储器的任何类型)，在该可写存储媒体上，存储可变的信息。应当理解，涉及任何一个实施例中描述的任一特征，可以被单独使用，或与被描述的其他特征组合使用，并还可以与任何其他实施例的一种或多种特征组合使用，或与任何其他实施例的任何组合使用。此外，本发明不限于上述的实施例，本发明可以在所附权利要求书的范围内变化。
权利要求
1.一种处理多孔径像数据的方法，包括: 通过令成像系统中的像传感器，同时曝光于使用至少第一孔径的与电磁波光谱的至少第一部分相关联的光谱能量以及使用至少第二孔径的与该电磁波光谱的至少第二部分相关联的光谱能量，捕获与一个或多个物体相关联的像数据； 产生与该电磁波光谱的所述第一部分相关联的第一像数据以及与该电磁波光谱的所述第二部分相关联的第二像数据；和 在所述第一像数据的至少一个区域中的第一清晰度信息以及所述第二像数据的至少一个区域中的第二清晰度信息的基础上，产生与所述被捕获像相关联的深度信息。
2.按照权利要求1的方法，包括: 建立所述第一像数据的至少一个区域中的第一清晰度信息和所述第二像数据的至少一个区域中的第二清晰度信息之间的差，与所述成像系统和至少一个所述物体之间的距离的关系。
3.按照权利要求2的方法，包括: 使用预定深度函数，建立所述第一和第二清晰度信息之间的差与所述距离的关系。
4.按照权利要求1-3任一项的方法,包括: 最好使用高通滤波器，确定空间域中第一和/或第二清晰度信息，或者最好通过使用傅里叶变换，确定频域中所述第一和/或第二清晰度信息。
5.按照权利要求1-4任一项的方法，其中该电磁波光谱的所述第一部分与至少一部分可见光谱相关联，和/或其中该电磁波光谱的所述第二部分与至少一部分不可见光谱，最好是红外光谱相关联。
6.按照权利要求1-5任一项的方法,包括: 通过令所述第一和第二清晰度信息之间的差和/或比值，与所述成像系统和所述一个或多个物体之间的距离相关联，产生与所述被捕获像的至少一部分相关联的深度映射。
7.按照权利要求1-6任一项的方法,包括: 在所述深度信息的基础上，通过位移所述第一像数据中的像素，产生供立体观察使用的至少一个像。
8.按照权利要求1-6任一项的方法,包括: 通过把所述第二像数据提交高通滤波器处理，产生高频第二像数据； 提供至少一个阈值距离或至少一个距离范围； 在所述深度信息的基础上，在所述高频第二像数据中，识别与大于或小于所述阈值距离的距离相关联的一个或多个区域，或者在所述高频第二像数据中，识别与所述至少一个距离范围内的距离相关联的一个或多个区域； 按照掩模函数，在所述高频第二像数据的所述被识别的一个或多个区域中设定高频分量; 把所述被修改的高频第二像数据，添加到所述第一像数据中。
9.按照权利要求1-6任一项的方法,包括: 通过把所述第二像数据提交高通滤波器处理，产生高频第二像数据； 提供至少一个焦距； 在所述深度信息的基础上，在所述高频第二像数据中，识别与大体上等于所述至少一个焦距的距离相关联的一个或多个区域； 按照掩模函数，在不同于所述被识别的一个或多个区域的区域中设定高频第二像数据； 把所述被修改的高频第二像数据，添加到所述第一像数据中。
10.按照权利要求1-6任一项的方法,包括: 使用像处理功能，处理所述被捕获像，其中一个或多个像处理功能参数，依赖于所述深度信息，最好是，所述像处理包含对所述第一和/或第二像数据滤波，其中所述滤波器的一个或多个滤波器参数，依赖于所述深度信息。
11.一种使用多孔径像数据确定深度函数的方法，包括: 在不同的物体到摄像机距离上，捕获一个或多个物体的像，每一像的捕获，都通过令像传感器同时曝光于 使用至少第一孔径的与电磁波光谱的至少第一部分相关联的光谱能量以及使用至少第二孔径的与该电磁波光谱的至少第二部分相关联的光谱能量； 对至少一部分所述被捕获像，产生与该电磁波光谱的所述第一部分相关联的第一像数据以及与该电磁波光谱的所述第二部分相关联的第二像数据；和 通过确定所述第一像数据的至少一个区域中的第一清晰度信息和所述第二像数据的对应区域中的第二清晰度信息之间的关系作为所述距离的函数，产生深度函数。
12.—种信号处理模块,包括: 输入，用于接收与电磁波光谱的所述第一部分相关联的第一像数据以及与该电磁波光谱的所述第二部分相关联的第二像数据； 至少一个高通滤波器，用于确定所述第一像数据的至少一个区域中的第一清晰度信息以及所述第二像数据的对应区域中的第二清晰度信息； 包括深度函数的存储器，所述深度函数包括与该电磁波光谱的第一部分相关联的像数据以及与该电磁波光谱的第二部分相关联的像数据之间清晰度信息中的差之间的关系作为距离的函数，最好是物体到摄像机距离的函数；和 深度信息处理器，用于在所述深度函数和从所述高通滤波器接收的所述第一及第二清晰度信息的基础上，产生深度信息。
13.一种多孔径成像系统，包括: 像传感器； 光学透镜系统； 波长选择性多孔径，被配置成令所述像传感器，同时曝光于使用至少第一孔径的与电磁波光谱的至少第一部分相关联的光谱能量以及使用至少第二孔径的与该电磁波光谱的至少第二部分相关联的光谱能量； 第一处理模块，用于产生与该电磁波光谱的所述第一部分相关联的第一像数据以及与该电磁波光谱的所述第二部分相关联的第二像数据；和 第二处理模块，用于在所述第一像数据的至少一个区域中的第一清晰度信息以及所述第二像数据的至少一个区域中的第二清晰度信息的基础上，产生与所述像数据相关联的深度 目息。
14.一种数字摄像机，最好是移动终端中使用的数字摄像机，包括按照权利要求12的信号处理模块，和/或按照权利要求13的多孔径成像系统。
15.用于处理像数据的计算机程序产品，所述计算机程序产品包括软件代码部分，该软件代码部分被配置成当在计算机系统的存储器中运行时，执行按照权利要求ι- ο任一项的方 法步骤。
全文摘要
处理多孔径像数据。一种用于处理多孔径像数据的方法和系统被描述，其中该方法包括通过令成像系统中的像传感器，同时曝光于使用至少第一孔径的与电磁波光谱的至少第一部分相关联的光谱能量以及使用至少第二孔径的与电磁波光谱的至少第二部分相关联的光谱能量，捕获与一个或多个物体相关联的像数据；产生与电磁波光谱的所述第一部分相关联的第一像数据，以及与电磁波光谱的所述第二部分相关联的第二像数据；以及，在所述第一像数据的至少一个区域中第一清晰度信息以及所述第二像数据的至少一个区域中第二清晰度信息的基础上，产生与所述被捕获像相关联的深度信息。
文档编号G02B27/00GK103210641SQ201080066092
公开日2013年7月17日 申请日期2010年2月19日 优先权日2010年2月19日
发明者A·A·维斯 申请人:双光圈股份有限公司