用于生成鲁棒性立体图像的技术的制作方法
【专利摘要】本发明描述了用于从立体图像中生成鲁棒性深度图的技术。鲁棒性深度图从采用或不采用闪光照明所捕获的立体图像的集合中生成。因为实现了根据使用不同闪光照明级别所捕获的光强度的比率来在匹配窗口中加权像素的像素匹配算法，所以深度图比使用常规技术所生成的深度图更具鲁棒性。比率图提供相对于邻近像素的深度的粗略估计，该粗略估计使得闪光/无闪光像素匹配算法能够使表现为与匹配窗口中的中央像素位于不同深度的像素降值。此外，比率图可用来过滤所生成的深度图以生成针对立体图像内的对象的深度的平滑估计。
【专利说明】用于生成鲁棒性立体图像的技术
【技术领域】
[0001]本发明总地涉及立体图像，并且，更具体地，涉及从采用和不用诸如闪光器件的光源所捕获的一对对应的立体图像中生成鲁棒性立体图像的技术。
【背景技术】
[0002]近来，三维(3D)立体图像和视频在消费者市场中已备受青睐。随着相对便宜的3DHDTV(高清晰度电视)装置的市场化所引入的更宽泛的3D内容选择已经使以3D形式观看图像和视频变得更加普遍。使计算机配备照相机装置以及从立体图像对中计算深度和空间关系已通过3D建模、机器人导航、新图像合成、增扩实境、以及游戏中的应用而被大量记载。近来，立体成像已展示在像诸如Fuji?: Fin印ix3D照相机和Sony?:Bl0ggie3D照相机的手持视频照相机那样常见的应用中。
[0003]常规地，应用使用基本立体重建算法从所捕获的立体图像中生成深度图(depthmap)以通过对取自偏移位置的、跨两个或两个以上图像的场景点的投射加以比较来针对每个像素生成深度值。以另一种方式来讲，立体重建算法基本是像素匹配操作。典型地通过最小化平方和、最大化像素相关性、或通过应用秩(rank)或统计变换(census transform)并随后匹配秩或位串来实施像素匹配。这些算法在有纹理的表面上工作较好，但算法难以在具有均匀颜色的表面上进行准确匹配。此外，像素匹配算法临近于遮挡(occlusion)边界可能失败，因为在边界处的深度间断点将使局部像素跨不同图像而有所不同(即封闭表面在一个图像中遮挡背景中的像素但在其他图像中则遮挡不同的背景对象并且因此，那些像素不具有对应匹配)。常规算法可能失败的情况的一个好的示例是当通过细网格诸如藤椅或铁丝网围栏来拍摄照片时。
[0004]因此，本领域所需要的是用于生成与立体图像相关联的准确的、逐像素的深度图的更有效的方法。
【发明内容】
[0005]本发明的一个实施例阐述了用于从立体图像的集合中生成深度图的方法。方法包括以下步骤:生成与立体图像的集合中的第一图像和立体图像的集合中的对应第二图像相关联的比率图，其中第一图像通过使用环境照明由第一图像传感器所捕获，并且第二图像通过使用闪光照明由第一图像传感器所捕获。第一图像对应于与由第一图像传感器捕获第一图像大致同时地由第二图像传感器所捕获的第三图像。类似地，第二图像对应于与由第一图像传感器捕获第二图像大致同时地由第二图像传感器所捕获的第四图像。方法进一步包括以下步骤:基于第二图像和第四图像的比较生成与第二图像相关联的像差图，以及生成与第二图像相关联的深度图。方法还可包括以下步骤:生成与第三图像和第四图像相关联的比率图、生成与第四图像相关联的像差图、以及生成与第四图像相关联的深度图。针对第二图像中的每个像素，比率图将像素与基于第二图像的针对像素的第一强度值和基于第一图像的针对对应像素的第二强度值的比率相关联、像差图根据将第二图像中的像素与第四图像中的对应像素加以比较的像素匹配算法来将像素与像差值相关联，其中像素匹配算法包括基于与像素相关联的比率的至少一个计算，并且深度图将像素与基于焦距、基线偏移距离以及与像素相关联的像差值所计算的深度值相关联。
[0006]本发明的另一个实施例阐述了包括指令的计算机可读存储介质，当由处理单元所执行时，该指令致使处理单元根据上文所阐述的方法实施用于从立体图像的集合中生成深度图的操作。本发明的又一个实施例阐述了用于从立体图像的集合中生成深度图的系统。系统包括存储器和处理器。存储器配置为存储由两个或两个以上图像传感器所捕获的立体图像的集合，该立体图像的集合包括通过使用环境照明由第一图像传感器所捕获的第一图像、通过使用闪光照明由第一图像传感器所捕获的第二图像、与由第一图像传感器捕获第一图像大致同时地由第二图像传感器所捕获的第三图像、以及与由第一图像传感器捕获第二图像大致同时地由第二图像传感器所捕获的第四图像。处理器耦连到存储器并配置为根据上文所阐述的方法实施用于从立体图像的集合中生成深度图的操作。
[0007]所公开的系统的一个优点是立体视觉照相机对于生成鲁棒性深度图并不要求光源位置或强度分布的高校准度。本文所描述的技术可实现在许多低成本的手持设备中。简单比较使用不同照明度的所捕获的光强度的比率提供了信息，该信息可用来有效率地匹配与相同表面相对应的像素并且可用来在位于像素匹配算法中的不同深度处的像素之间进行区分。
【专利附图】
【附图说明】
[0008]因此，可以详细地理解本发明的上述特征，并且可以参考实施例得到对如上面所简要概括的本发明更具体的描述，其中一些实施例在附图中示出。然而，应当注意的是，附图仅示出了本发明的典型实施例，并且因此不应被认为是对其范围的限制，本发明可以许可其他等效的实施例。
[0009]图1是示出了配置为实现本发明的一个或多个方面的计算机系统的框图；
[0010]图2详细说明了根据本发明的一个实施例的、立体视觉照相机的基本几何结构；
[0011]图3示出了根据本发明的一个实施例的、用于捕获闪光/无闪光立体图像对的立体视觉照相机；
[0012]图4示出了根据本发明的一个实施例的、闪光/无闪光立体图像对和对应比率图的示例；
[0013]图5A和5B示出了根据本发明的一个实施例的、用于计算与像素相关联的像差空间图像(DSI)的像素匹配算法；
[0014]图6A和6B示出了根据本发明的一个实施例的、用于生成更具鲁棒性的深度图的迭代过滤算法；
[0015]图7是根据本发明的一个实施例的、用于生成与立体图像相关联的像差图的方法步骤的流程图；以及
[0016]图8是根据本发明的一个实施例的、用于生成与闪光立体图像相关联的经过滤的像差图的方法步骤的流程图。
[0017]为了清楚起见，在适用的情况下，已经使用同样的参考数字以指明在附图之间共同的同样的元件。应预期到的是，一个实施例的特征可包含在其他实施例中而不用进一步 复述。
【具体实施方式】
[0018]在下面的描述中，将阐述大量的具体细节以提供对本发明更透彻的理解。然而，本领域的技术人员应该清楚，本发明可以在没有一个或多个这些具体细节的情况下得以实践。
[0019]系统概述
[0020]图1是示出了配置为实现本发明的一个或多个方面的计算机系统100的框图。计算机系统100可以是台式计算机、膝上计算机、手持设备、蜂窝式电话、PDA(个人数字助理)、平板计算机、照相机、或其他众所周知类型的消费者电子设备。
[0021]如图1所示，计算机系统100包括但不限于，经由可以包括存储器桥105的互连路径通信的中央处理单元(CPU) 102和系统存储器104。存储器桥105可以是例如北桥芯片，经由总线或其他通信路径106 (例如超传输(HyperTransport)链路)连接到1/0(输入/输出)桥107。I/O桥107，其可以是例如南桥芯片，从一个或多个用户输入设备108 (例如键盘、鼠标)接收用户输入并且经由通信路径106和存储器桥105将该输入转发到CPU102。并行处理子系统112经由总线或第二通信路径113 (例如外围部件互连Express(PCIe)、力口速图形端口或超传输链路)耦连到存储器桥105 ;在一个实施例中，并行处理子系统112是将像素传递到显示设备110 (例如传统的基于阴极射线管或液晶显示器的监视器)的图形子系统。系统盘114也连接到I/O桥107。交换器116提供I/O桥107与诸如网络适配器118以及各种插卡120和121的其他部件之间的连接。其他部件(未明确示出)，包括通用串行总线(USB)或其他端口连接、压缩光盘(⑶)驱动器、数字视频光盘(DVD)驱动器、胶片录制设备及类似部件，也可以连接到I/O桥107。图1所示的各种通信路径包括具体命名的通信路径106和113可以使用任何适合的协议实现，诸如PCI Express、AGP (加速图形端口)、超传输或者任何其他总线或点到点通信协议，并且如本领域已知的，不同设备间的连接可使用不同协议。
[0022]在一个实施例中，并行处理子系统112包含经优化用于图形和视频处理的电路，包括例如视频输出电路，并且构成图形处理单元(GPU)。在另一个实施例中，并行处理子系统112包含经优化用于通用处理的电路，与此同时保留底层(underlying)的计算架构，本文将更详细地进行描述。在又一个实施例中，可以将并行处理子系统112与一个或多个其他系统元件集成在单个子系统中，诸如结合存储器桥105、CPU102以及I/O桥107，以形成片上系统(SoC)。
[0023]应该理解，本文所示系统是示例性的，并且变化和修改都是可能的。连接拓扑，包括桥的数目和布置、CPU102的数目以及并行处理子系统112的数目，可根据需要修改。例如，在一些实施例中，系统存储器104直接连接到CPU102而不是通过桥，并且其他设备经由存储器桥105和CPU102与系统存储器104通信。在其他替代性拓扑中，并行处理子系统112连接到I/O桥107或直接连接到CPU102，而不是连接到存储器桥105。而在其他实施例中，I/O桥107和存储器桥105可能被集成到单个芯片上而不是作为一个或多个分立设备存在。大型实施例可以包括两个或两个以上的CPU102以及两个或两个以上的并行处理系统112。本文所示的特定部件是可选的；例如，任何数目的插卡或外围设备都可能得到支持。在一些实施例中，交换器116被去掉，网络适配器118和插卡120、121直接连接到I/O桥107。
[0024]图2详细说明了根据本发明的一个实施例的、立体视觉照相机200的基本几何结构。立体视觉照相机200可包括计算系统100的一个或多个元件。例如，立体视觉照相机可包括由系统总线所连接的CPU102和系统存储器104。立体视觉照相机200还可包括用于处理图像数据的并行处理子系统112。在一个实施例中，立体视觉照相机包括在相同集成电路上以形成SoC的CPU102和GPUl 12。立体视觉照相机200还可包括存储在系统存储器104中的应用或固件，当由CPU102或GPU112所执行时，该应用或固件使得立体视觉照相机200能够处理立体图像并生成深度图，如下文所更全面地描述。此外，立体视觉照相机的元件可包括在计算系统100内，诸如通过在平板计算机、蜂窝式电话、或其他手持设备中包括两个图像传感器。
[0025]如图2所示，立体视觉照相机200还可包括使得立体视觉照相机200能够捕获立体图像的集合的两个或两个以上偏移图像传感器。在一个实施例中，数字图像可存储在系统存储器104或某个可以或不可移除的其他非易失性存储器中。图像可经由非经压缩格式诸如32bpp BMP(位图)格式、或经压缩格式诸如JPEG(联合图像专家组)格式来存储在存储器中。立体视觉照相机200可随后处理从存储器104所读取的图像。在另一个实施例中，在从图像传感器读取之后，原始图像传感器数据可经由立体图像处理管线直接处理。经处理的数据可随后以可用格式之一被写出到系统存储器104。
[0026]图2进一步示出了使用两个图像传感器捕获立体图像对。左图像传感器(Q) 201捕获左图像并且右图像传感器(Ck) 202大致同时地捕获右图像。每个图像传感器201、202可与将光聚焦在图像传感器的表面上的透镜配对。例如，如所示，左透镜203与左图像传感器201配对并且右透镜204与右图像传感器202配对。虽然图2中未明确示出，但是每个图像传感器可集成到包括透镜、图像传感器、快门机构、以及诸如可以或不可移除的偏光滤光镜或滤色镜的一个或多个滤镜的图像传感器组件中。在一个实施例中，图像传感器201、202可以是CMOS (互补金属氧化物半导体)图像传感器。在另一个实施例中，图像传感器201、202可以是CXD(电荷耦合器件)图像传感器。
[0027]在典型配置中，图像传感器201、202在第一维中按基线(B)偏移距离来偏移。基线偏移允许所捕获的图像被分析以确定与对应立体图像对中的对象相关联的深度。例如，如图2所示，对象210示出在针对左图像传感器201和右图像传感器202的视觉的重叠场内的位置处。对象与立体视觉照相机200的透镜203、204的表面的距离是(Z)。透镜203、204与焦距(f)相关联，该焦距是从透镜203、204到图像传感器表面(即焦平面)的距离，在该表面，穿过透镜的所有准直光聚集到图像传感器的单个点上。焦距与透镜203、204的几何结构和材料有关。如本领域的技术人员所知，视场(FOV)的焦距和形状成反比。换句话说，随着光学系统焦距的减小，光学系统的视场增加。透镜203、204将位于在图像传感器前面的等于焦距(f)的位置处使得穿过透镜的光聚焦在图像传感器上。
[0028]随着用户捕获图像，对象210表面所反射的光投射到图像传感器201、202的表面上。对象210的左前角(P1)投射到左图像传感器201上的第一像素位置X1处并且对象210的右前角(P2)投射到左图像传感器201上的第二像素位置X2处。类似地，对象210的左前角(P1)投射到右图像传感器202上的第三像素位置X3处并且对象210的右前角(P2)投射到右图像传感器202上的第四像素位置X4处。应理解的是，取决于透镜(或多个透镜)的配置，通过对图像传感器201、202进行取样所捕获的图像可以在水平(如图2所示)和垂直两个方向上反转。立体视觉照相机200可配置为通过以相反顺序对像素进行取样来校正反转。
[0029]还如图2所示，归因于对象210关于图像传感器201、202位置的相对位置，在左和右图像中的对象210的所投射的位置不一样。该效果称作视差(parallax)并被立体视觉系统所利用来使得用户能够体验3D效果。换句话说，来自位置远离照相机(即在背景中)的对象的光以近似相同的角度穿过左透镜203和右透镜204，并在左图像传感器201和右图像传感器202中投射到相同像素位置上。相反，来自位置离照相机较近的对象的光以不同角度穿过左透镜203和右透镜204，并且因此在图像传感器201、202上投射到不同像素位置。所投射的像素位置中的像差(disparity)将总是依据图像传感器201、202之间的基线偏移而在相同维度(例如水平)中。在左图像中的所投射点和在右图像中的相同所投射点的像素位置之间的像差(D)使得处理单元能够分析所捕获的图像来估计与场景内的不同点(即像素)相关联的深度。通过分别解答等式I和2来实施针对对象210的左前角(Pl)和右前角(P2)的所投射的像素位置的像差(D)计算，如下文所示。
[0030]D(P1) =X1-X3(等式 I)
[0031]D(P2) =X2-X4(等式 2)
[0032]如所示，X1和X2是从经由左图像传感器201所捕获的左立体图像的左边沿所测量的尺寸并且X3和X4是从经由右图像传感器202所捕获的右立体图像的左边沿所测量的尺寸。应理解的是，所捕获的立体图像的左边沿可以不与对应图像传感器的最左像素相对应。可实施立体视觉照相机200的校准以纠正左图像和右图像，使得针对发源于位于背景中的对象的光而言左立体图像中的最左像素在水平方向上对应于右立体图像的最左像素。
[0033]给定对象210的左前角(Pl)和右前角(P2)的计算出的像差(D)，通过分别解答等式3和4来实施针对对象210的左前角(Pl)和右前角(P2)的深度(Z)计算，如下文所
/Jn ο
_输瑞=告 (等式3)
[_]电、=银)=1^ (等式4)
[0036]焦距(f)和基线⑶是基于实现在立体视觉照相机200中的图像传感器201、202和透镜203、204的配置所定义的已知常数。因此，如等式3和4所清楚显示的，深度与在左和右图像中对应像素之间的像差量成反比。因此，通过将一幅图像中的每个像素与另一幅图像中的对应像素相匹配、计算在对应的匹配像素位置之间的像差、以及基于计算出的像差确定每个像素的深度，来实施针对左或右图像的每个像素的深度计算。然而实际上，当尝试匹配每幅图像中的像素位置时遭遇了许多问题。例如，常规像素匹配算法典型地利用窗口函数以将一幅图像中的小像素窗口与对应图像中的类似像素窗口相匹配。然而，靠近深度间断点边界(即在窗口可包括与位于不同深度的多个表面相关联的像素的情况下)，围绕实际对应像素的窗口可能由于由图像传感器和场景中对象的不同空间位置所造成的遮挡而不同。此外，在搜索范围内的多个潜在窗口可共享类似特性的均匀表面上可能难以匹配窗口。典型地，常规像素匹配算法提供倾向于在对象边沿处具有低分辨率的低质量深度图。
[0037]闪光/无闪光立体系统
[0038]图3示出了根据本发明的一个实施例的、用于捕获闪光/无闪光立体图像对的立体视觉照相机300。如图3所示，立体视觉照相机300类似于立体视觉照相机200。然而，立体视觉照相机300包括位置临近于图像传感器201、202的闪光器件330。闪光器件330可以是常规闪光器件诸如用氙气所填充并由高压放电所激发以发出短闪光或光脉冲的电子闪光管。应理解的是，闪光器件330可以是能够发出短的光猝发以照亮场景的任何常规闪光器件。闪光器件330相对于图像传感器201、202位置的精确定位(以及所要求的对应校准)对于实现本发明的某些方面来说并不重要。常规光度深度计算技术要求高校准度以确定场景内对象的深度。例如，可能要求对环境光条件和强度进行取样和控制以及对闪光器件进行定位。本文所述的闪光/无闪光技术对于生成鲁棒性深度图并不要求相同校准度。
[0039]为了使用立体视觉照相机300来生成鲁棒性立体图像，应捕获两对立体图像，第一立体图像对(本文称为G1和Gr)以及第二立体图像对(本文称为F1和Fr)。第一立体图像对(GpGJ不依靠闪光器件330来照亮场景，而是依靠环境光来照亮场景。第二立体图像对(FpFJ依靠闪光器件330以及环境光来照亮场景。在可替代实施例中，可实现多于两个图像传感器以捕获N视角3D图像(例如用于自动立体显示)。出于例示的目的，本公开涉及2视角立体图像，但本文所描述的技术可扩展到使用N视角实现方案的可替代实施例。
[0040]应理解的是，立体视觉照相机300可被校准以纠正用左图像传感器201和右图像传感器202所捕获的数字图像，使得对两个照相机均可见的任何表面点投射到所捕获的图像中的相同扫描线(即以垂直维度)。换句话说，所捕获的图像可对应于图像传感器201、202的像素的子段(subsection)，使得在图像传感器的边沿上的边缘像素不对所捕获的图像的像素起作用。此外，左图像传感器201的边缘中的像素数目可能与右图像传感器202的对应边缘中的像素数目不同。例如，左图像传感器201的上部边缘可能大于右图像传感器202的上部边缘以校正当安装在立体视觉照相机300中时图像传感器201、202的垂直方向上的未对齐。此外，左图像传感器201和右图像传感器202的左和右边缘可被调整使得位于距离立体视觉照相机300无限距离(Z)(即足够大的距离使从对象所反射的光线大致平行地到达左透镜203和右透镜204这二者)处的点在所捕获的图像的水平边界处对齐。以这种方式校准立体视觉照相机300确保位于场景的背景中的图像具有零像差。
[0041]为了针对位于场景中对象的表面上的点P320来评估深度(Z)，对立体图像对的两个集合进行分析。假定点P位于其上的对象表面近似朗伯表面(即由表面所反射的光是分散的，使得无论观察者的视角如何，表面对观察者的表观亮度均是相同的)，则在无闪光立体图像对(GpGr)的捕获期间从点P反射到图像传感器201、202中的每一个的光的所测量的强度由等式5中的G(P)所给定。
[0042]G(P)= η.1a.Rs (等式 5)
[0043]如等式5所示，在无闪光立体图像对(Gp Gr)中的点P处的光的强度G(P)依据上文所阐述的关系与环境照明、表面形状、以及反射率相关，其中n是所测量的辐射照度和场景辐射亮度之间的比例常数，Ia是点P处的环境照明的强度，以及Rs是点P处的表面反射率。相反，在闪光立体图像对(FpFr)的捕获期间从点P反射到图像传感器中的每一个的光的所测量的强度由等式6中的F(P)所给定。
[0044]
【权利要求】
1.一种用于从立体图像的集合中生成深度图的计算机实现的方法，所述方法包括: 生成与所述立体图像的集合中的第一图像和第二图像相关联的比率图，其中针对所述第二图像中的每个像素，所述比率图将所述像素与基于所述第二图像的针对所述像素的第一强度值和基于所述第一图像的针对对应像素的第二强度值的比率相关联，并且其中所述第一图像由第一图像传感器使用环境照明所捕获，并且所述第二图像由所述第一图像传感器使用闪光照明所捕获； 基于所述立体图像的集合中的所述第二图像和第四图像的比较来生成与所述第二图像相关联的像差图，其中针对所述第二图像中的每个像素，所述像差图根据对所述第二图像中的像素与所述第四图像中的对应像素加以比较的像素匹配算法来将所述像素与像差值相关联，其中所述像素匹配算法包括基于与所述像素相关联的所述比率的至少一个计算，并且其中第三图像与由所述第一图像传感器捕获所述第一图像大致同时地由第二图像传感器所捕获，并且所述第四图像与由所述第一图像传感器捕获所述第二图像大致同时地由所述第二图像传感器所捕获；以及 生成与所述第二图像相关联的深度图，其中针对所述第二图像中的每个像素，所述深度图将所述像素与基于焦距、基线偏移距离以及与所述像素相关联的所述像差值所计算的深度值相关联。
2.根据权利要求1所述的方法，其中针对所述第二图像中的每个像素，生成所述像差图包括: 生成包括针对多个潜在像差值所计算的多个成本值的像差空间图像；以及 基于所述多个成本值从所述多个潜在像差值中选择特定像差值。
3.根据权利要求2所述的方法，其中选择所述特定像差值包括从所述多个潜在像差值中选择与所述像差空间图像中的最小成本值相关联的潜在像差值。
4.根据权利要求1所述的方法，进一步`包括: 过滤所述像差图以生成与所述第二图像相关联的经过滤的像差图， 其中针对所述第二图像中的每个像素，所述经过滤的像差图将经过滤的像差值与所述像素相关联， 其中所述经过滤的像差值通过计算在与临近所述像素的像素窗口相关联的所述像差图中的像差值的集合的加权和所生成，以及 其中用于所述像差值的集合中的所述像差值中的每一个的加权系数与和该加权系数相关联的所述像差值的置信级别相关，该加权系数至少部分地基于与所述像素相关联的所述比率。
5.根据权利要求4所述的方法，进一步包括，针对迭代数N，重复所述过滤步骤以生成N个经连续过滤的像差图，其中在当前迭代期间所生成的每个经连续过滤的像差图通过过滤在先前迭代期间所生成的经连续过滤的像差图所生成。
6.根据权利要求1所述的方法，进一步包括: 生成与所述第四图像相关联的比率图； 生成与所述第四图像相关联的像差图；以及 基于与所述第二图像相关联的所述像差图和与所述第四图像相关联的所述像差图来调整与所述第二图像相关联的所述深度图。
7.根据权利要求6所述的方法，进一步包括: 基于与和所述第二图像相关联的所述像差图中的所述特定像素相关联的所述像差值和与和所述第四图像相关联的所述像差图中的对应像素相关联的所述像差值之间的差，计算针对所述第二图像中的特定像素的像差误差； 确定针对所述特定像素的所述像差误差在阈值之上；以及 将所述特定像素加标签为被遮挡的。
8.根据权利要求7所述的方法，进一步包括基于与和所述第四图像相关联的所述像差图中的所述对应像素相关联的所述像差值来调整与和所述第二图像相关联的所述像差图中的所述特定像素相关联的所述像差值。
9.一种用于从立体图像的集合中生成深度图的系统，所述系统包括: 存储器，其配置为存储由两个或两个以上图像传感器所捕获的所述立体图像的集合，其中所述立体图像的集合包括由第一图像传感器使用环境照明所捕获的第一图像、由所述第一图像传感器使用闪光照明所捕获的第二图像、与由所述第一图像传感器捕获所述第一图像大致同时地由第二图像传感器所捕获的第三图像、以及与由所述第一图像传感器捕获所述第二图像大致同时地由所述第二图像传感器所捕获的第四图像；以及 处理器，其耦连到所述存储器并配置为: 生成与所述立体图像的集合中的第一图像和第二图像相关联的比率图，其中针对所述第二图像中的每个像素，所 述比率图将所述像素与基于所述第二图像的针对所述像素的第一强度值和基于所述第一图像的针对对应像素的第二强度值的比率相关联， 基于所述立体图像的集合中的所述第二图像和第四图像的比较来生成与所述第二图像相关联的像差图，其中针对所述第二图像中的每个像素，所述像差图根据对所述第二图像中的像素与所述第四图像中的对应像素加以比较的像素匹配算法来将所述像素与像差值相关联，其中所述像素匹配算法包括基于与所述像素相关联的所述比率的至少一个计算，以及 生成与所述第二图像相关联的深度图，其中针对所述第二图像中的每个像素，所述深度图将所述像素与基于焦距、基线偏移距离以及与所述像素相关联的所述像差值所计算的深度值相关联。
10.根据权利要求9所述的系统，进一步包括: 立体视觉照相机，其耦连到所述存储器和所述处理器，其中所述立体视觉照相机包括所述第一图像传感器、所述第二图像传感器、与所述焦距相关联并且安装在所述第一图像传感器前面的第一透镜、与所述焦距相关联并且安装在所述第二图像传感器前面的第二透镜、以及闪光器件， 其中所述处理器进一步配置为: 对所述第一图像传感器和所述第二图像传感器进行取样以生成所述立体图像的集合，以及 使所述立体图像的集合存储在所述存储器中。
【文档编号】H04N13/02GK103517057SQ201310224750
【公开日】2014年1月15日 申请日期:2013年6月7日 优先权日:2012年6月7日
【发明者】卡里·皮利, 亚历杭德罗·特罗科利, 周昌印 申请人:辉达公司