专利名称：立体相机的自动对焦的制作方法
技术领域：
本发明的实施例涉及立体图像捕获，且确切地说，涉及用于确定立体图像捕获装置的适当焦深的方法、设备和系统。
背景技术：
立体视觉是人类大脑基于从左眼和右眼看到的物体的相对位移来解译物体的深度的过程。通过以下方式可以人工地诱发立体效应从第一和第二横向偏移的观看位置获取一场景的第一和第二图像，和向左眼和右眼中的每ー者単独呈现图像。通过及时地捕获连续的立体图像对，可以将图像对连续地呈现给眼睛，从而形成立体影片，所述立体影片在用户看来是三维的。可以使用两个传统相机来获取立体图像对的图像中的每ー者。可以使用自动对焦程序来正确地为传统相机对焦，自动对焦程序在不同的焦深下捕获多个图像。然后，对后续的图像捕获使用对应于最高频率含量的焦深。传统摄像机可以使用这种方法在视频捕获期间自动对焦。然而，在执行自动对焦功能性时，对帧的捕获将需要周期性延迟。虽然这种自动对焦技术适合于用单个传统相机来捕获2D图像，但是这种技术可能不适合于立体图像捕获 。确切地说，所述技术可能会打断视频流，而且可能会受到相机移动(例如因为用户手部运动)的影响。
发明内容
某些实施例涵盖ー种在电子装置中的用于确定图像传感器的焦深的方法。所述方法可包括接收与第一视点相关联的第一图像；接收与第二视点相关联的第二图像；基于所述第一图像来确定第一多个关键点；使来自所述第一多个关键点的关键点与所述第二图像中的位置相关；确定与所述第一多个关键点中的每ー者相关联的多个差异；以及基于所述多个差异、所述第一视点的位置和所述第二视点的位置来确定焦深。在某些实施例中，所述方法可进ー步包括基于所述第二图像来确定第二多个关键点。在一些实施例中，使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关包括使来自所述第一多个关键点的关键点与来自所述第二多个关键点的关键点相关。在一些实施例中，使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关包括在所述第二图像中的捜索范围内的像素上重复。在一些实施例中，使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关包括确定所述第一图像与所述第二图像中的像素之间的均方误差。在一些实施例中，基于所述第一图像来确定第一多个关键点包括基于所述第一图像来确定尺度不变特征变换(SIFT)关键点。在一些实施例中，基于所述第ー图像来确定第一多个关键点包括对所述第一图像进行二次采样，对所述第一图像应用高通滤波器，计算所述第一图像的功率，和为所述第一图像设立阈值。在一些实施例中，使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关实时发生。在一些实施例中，所述电子装置包括移动电话。某些实施例涵盖ー种计算机可读媒体，其包括经配置以使得计算机执行以下步骤的指令接收与第一视点相关联的第一图像；接收与第二视点相关联的第二图像；基于所述第一图像来确定第一多个关键点；使来自所述第一多个关键点的关键点与所述第二图像中的位置相关；确定与所述第一多个关键点中的每ー者相关联的多个差异；以及基于所述多个差异、所述第一视点的位置和所述第二视点的位置来确定焦深。在一些 实施例中，所述指令还经配置以使得处理器基于所述第二图像来确定第二多个关键点。在一些实施例中，使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关包括使来自所述第一多个关键点的关键点与来自所述第二多个关键点的关键点相关。在一些实施例中，使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关包括在所述第二图像中的捜索范围内的像素上重复。在一些实施例中，使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关包括确定所述第一图像与所述第二图像中的像素之间的均方误差。在一些实施例中，基于所述第一图像来确定第一多个关键点包括基于所述第一图像来确定尺度不变特征变换(SIFT)关键点。在一些实施例中，基于所述第一图像来确定第一多个关键点包括对所述第一图像进行二次采样，对所述第一图像应用高通滤波器，计算所述第一图像的功率，和为所述第一图像设立阈值。在一些实施例中，使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关实时发生。在一些实施例中，所述计算机位于移动电话中。某些实施例涵盖ー种用于为立体捕获装置对焦的系统。所述系统可包括第一图像传感器，其经配置以产生与第一视点相关联的第一图像；第二图像传感器，其经配置以产生与第二视点相关联的第二图像；特征产生模块，其经配置以基于所述第一图像来确定第一多个关键点；关键点相关模块，其经配置以使来自所述第一多个关键点的关键点与所述第二图像中的位置相关；差异确定模块，其经配置以确定与所述第一多个关键点中的每ー者相关联的多个差异；以及深度确定模块，其经配置以基于所述多个差异、所述第一视点的位置和所述第二视点的位置来确定焦深。在一些实施例中，所述特征产生模块可经配置以基于所述第二图像来确定第二多个关键点。在一些实施例中，所述经配置以使关键点相关的软件模块经配置以使来自所述第一多个关键点的关键点与来自所述第二多个关键点的关键点相关。在一些实施例中，所述经配置以使关键点相关的软件模块经配置以在所述第二图像中的捜索范围内的像素上重复。在一些实施例中，使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关包括确定所述第一图像与所述第二图像中的像素之间的均方误差。在一些实施例中，所述特征产生模块经配置以基于所述第一图像来确定尺度不变特征变换(SIFT)关键点。在一些实施例中，所述特征产生模块经配置以对所述第一图像进行二次采样，对所述第一图像应用高通滤波器，计算所述第一图像的功率，和为所述第一图像设立阈值。在一些实施例中，所述经配置以使关键点相关的软件模块实时地使来自所述第一多个关键点的关键点与所述第二图像中的位置相关。在一些实施例中，所述立体捕获装置位于移动电话上。在一些实施例中，所述经配置以确定焦深的软件模块包括差异直方图。某些实施例涵盖ー种用于为立体捕获装置对焦的系统，所述系统包括用于接收与第一视点相关联的第一图像的装置；用于接收与第二视点相关联的第二图像的装置；用于基于所述第一图像来确定第一多个关键点的装置；用于使来自所述第一多个关键点的关键点与所述第二图像中的位置相关的装置；用于确定与所述第一多个关键点中的每ー者相关联的多个差异的装置；以及用于基于所述多个差异、所述第一视点的位置和所述第二视点的位置来确定焦深的装置。在一些实施例中，所述用于接收第一图像的装置包括第一传感器，所述用于接收第二图像的装置包括第二传感器，所述用于确定第一多个关键点的装置包括特征产生模块，所述用于相关的装置包括关键点相关模块，所述用于确定多个差异的装置包括差异确定模块，且所述用于确定焦深的装置包括深度确定模块。在一些实施例中，所述用于确定第一多个关键点的装置经配置以基于所述第二图像来确定第二多个关键点。在一些实施例中，所述用于使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关的装置经配置以使来自所述第一多个关键点的关键点与来自所述第二多个关键点的关键点相关。在一些实施例中，所述用于使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关的装置经配置以在所述第二图像中的捜索范围内的像素上重复。在一些实施例中，所述用于使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关的装置经配置以确定所述第一图像与所述第二图像中的像素之间的均方误差。在一些实施例中，所述用于确定第一多个关键点的装置经配置以基于所述第一图像来确定尺度不变特征变换(SIFT)关键点。在一些实施例中，所述用于确定第一多个关键点的装置经配置以对所述第一图像进行二次采样，对所述第一图像应用高通滤波器，计算所述第一图像的功率，和为所述第一图像设立阈值。在一些实施例中，所述用于使关键点相关的装置实时地使来自所述第一多个关键点的关键点与 所述第二图像中的位置相关。在一些实施例中，所述立体捕获装置位于移动电话上。
下文中将结合附图描述所掲示的方面，提供附图是为了说明而非限制所掲示的方面，其中相同符号指示相同元件。图1是描绘ー种包括有利于捕获立体图像的传感器布置的可能的移动装置的总体图。图2是例如图1的移动装置等移动装置中的某些组件的框图。图3描绘使用捕获装置的立体对在第一和第二位置捕获物体。图4是描绘特定相机布置的物距与像素差异之间的关系的曲线图。图5A是描绘任意场景和经定位以便实现立体效应的两个图像捕获传感器的颠倒图的图。
图5B描绘使用被覆盖的场景中的物体差异的量值和方向对图5A中的场景获取的成对的立体图像中的一者。图6描绘图4的曲线图，但是上面覆盖有物体差异直方图和对应的物深直方图。图7描绘某些实施例用于确定新焦深的过程的流程图。图8描绘某些实施例用于确定关键点的过程的流程图。图9描绘立体图像对和其中关键点在图像中的每ー者之间相关的区域。
具体实施例方式实施例涉及确定或设定立体相机中的配置数据的系统和方法。在一个实施例中，配置数据涉及立体相机的两个透镜的正确焦长。在一个实施例中，第一相机从ー场景接收第一图像，且第二相机接收同一场景的第二图像。根据对第一相机的分析来确定ー组关键点。举例来说，所述关键 点可以包括可从图像的一部分一致地复制且因此准许对所述图像部分进行唯一识别的任何数据结构。在一些实施例中，关键点可包括对应于图像的一部分的多个像素。关键点可以与图像中的一位置相关联。在确定了第一图像中的关键点之后，系统寻找第二图像中的类似位置。一旦识别出第二图像中的类似位置，系统就计算第一图像中的关键点与第二图像中的对应位置之间的差別。这允许系统通过知道两个帧中的相同关键点位置之间的差异以及立体透镜的位置来确定场景的焦深。本发明的实施例涵盖用以基于至少ー对立体图像来确定传感器的适当焦深的系统、设备和方法。确切地说，某些实施例涵盖确定每ー图像的关键点、识别关键点之间的相关，和根据相关导出物距。所属领域的技术人员将认识到，这些实施例可在硬件、软件、固件或其任何组合中实施。立体系统可在多种多样的电子装置上实施，包含移动无线通信装置、个人数字助理(PDA)、膝上型计算机、桌上型计算机、数字相机、数字记录装置等等。图1描绘移动装置100，其包括有利于捕获立体图像的传感器布置或其它用于接收图像的装置。此装置可以是移动电话、个人数字助理、游戏装置等等。装置100可包括第一传感器IOla和第二传感器101b，其分开距离d。所述装置还可包括用户输入控件102和显示器103。在一些实施例中，传感器IOla和IOlb可经定位，使得其在用户握持装置100以捕获立体图片或影片时水平但不垂直地偏移。虽然此特定装置描绘了两个传感器IOla和101b，但是所属领域的技术人员可容易设想出包括多于或少于两个图像传感器的立体图像捕获装置。举例来说，只有单个传感器的装置可结合一系列透镜或反射表面操作，以快速连续地在传感器IOla和IOlb的位置处获得两个图像。此布置将同样能够获得ー对立体图像以供配合下文所述的方法使用，且单个传感器可相应地对焦。因此，本申请案中论述的方法和系统将适用于从第一和第二视点获得两个图像的任何系统，只要这些视点有利于对图像场景进行立体描绘即可。因此，不应当将对ー对图像传感器的參考视为排除了单个图像传感器从两个视点接收若干图像的可能性。图2是例如图1中描绘的移动装置100等移动装置中的某些组件的框图。传感器IOla接收立体图像对中的第一图像，且传感器IOlb接收立体图像对中的第二图像。在ー些实施例中，传感器可同时接收图像。所述装置可包括视频前端102和存储器103。视频前端102可处理从传感器IOla和IOlb传入的原始图像数据，且将数据存储在存储器103中。存储器103还可包括移动装置100的各种应用程序和软件驱动器。举例来说，显示器驱动器模块104可与显示器103通信。用户输入模块106可类似地与用户接ロ 102通信。无线通信驱动器模块107可与无线通信硬件112通信。存储器还可与通用处理器113通信。通用处理器113可包括子处理单元或子处理器，例如高级RISC机(ARM)、数字信号处理器(DSP)或图形处理单元(GPU)。这些处理器可在处置各种操作时与本机存储器114通信。本发明的某些实施例涵盖在系统架构中添加“焦深分析模块” 115a、115b。在ー些实施例中，所述模块可采用专用处理器115a或位于通用处理器上的处理器的一部分的形式。在一些实施例中，所述模块可包括存储在例如存储器103等计算机可读媒体上的软件代码115b。一些实施例可将模块的若干部分作为固件或作为软件-硬件组合放置在专用处理器115a和存储器115b处。在一些实施例中，所述模块可驻留在图2中的任何位置中，所述位置准许接入特征产生系统，例如SIFT特征产生系统，和接入传感器IOla和101b。因此，所述模块可利用经配置用于特征产生和/或检测的预先存在的硬件或软件。所属领域的技术人员将认识到，下文所述的实施例可使用通用处理器113上的子处理器来实施，或者可作为单独的应用程序存储在存储器103中。在一些实施例中，SIFT特征产生系统可在软件中找到，而在其它实施例中 ，SIFT特征产生系统可在硬件中找到。本发明的某些实施例提供自动对焦功能性，其利用立体图像捕获的几何特性。图3经由颠倒图描绘了使用立体相机布置在第一位置300a和第二位置300b处对物体304的立体图像捕获。第一图像捕获装置301a可位于第一位置，所述第一位置从位于第二位置的第ニ捕获装置301b横向隔开。第一图像捕获装置301a可从第一位置捕获场景的第一图像，且第二捕获装置301b可从第二位置捕获场景的第二图像。基于捕获装置301a和301b的位置和定向，第一和第二图像将与场景的第一和第二视点相应地相关联。物体304可出现在这两个图像中。在一些实施例中，捕获装置301a和捕获装置301b可分别与图1的传感器IOla和IOlb相同。可对捕获装置301a、301b进行校准，使其不具有垂直差异，且具有相当近的焦距。装置301a的视点的中心沿着线302a经过。类似地，装置301b的视点的中心沿着线302b经过。这两条中线在位置303处相交。如所提到的，物体304出现在第一和第二图像中的每ー者中。然而，关于位置300a，物体304看起来在中线302a右边，相距的量为305a，且在中线302b左边，相距的量为305b。相反，在位置300b中，物体304看起来在中线302a左边，相距的量为306a，且在中线302b右边，相距的量为306b。以此方式，通过在左图像和右图像中的每ー者中的相对位移来反映物体在z方向上的相对位置。物体差异可定义为物体在第一图像中的位置与物体在第二图像中的位置之间的差別。在捕获装置之间没有垂直差异的情况下，差异可仅包括从在ー个图像中的位置到在另ー个图像中的位置的横向偏移。我们可任意地将所述差异理解为左与右或左图像与右图像之间的差別。为了此描述的目的，将差异定义为物体在来自传感器301b的图像中的位置减去物体在来自传感器301a的图像中的位置(如图3中指示，X方向为正)。因此，负差异是源于物体304在位置300a中的描绘，且正差异是源于物体304在位置300b中的描绘。在知道了传感器位置和相对定向之后，我们可以构造观察到的差异与物体相对于相机布置的距离或深度之间的关系的曲线图。举例来说，图4是针对ー个特定传感器布置的此关系的曲线图。随着差异401増加，物距402也増加。对于非常靠近相机布置的物体(即，在图3的z方向上具有很小的深度402的物体)，可存在初始负差异。随着物体被移动而进一步远离相机布置(即，深度増加)，所述差异逐渐变成正差异，从而对于较大距离处的物体开始变平稳。我们可认识到，图4的图表可取决于传感器301a、301b的定向角度。类似地，虽然传感器可能像图1和3中一祥彼此平行，但是传感器之间在z方向与y方向上的位移也可能会引起对所述曲线图的修改。此曲线图可存储在装置上的存储器中，或者在类似的存储结构中，以供快速引用。图5a是包括若干物体的场景的颠倒图。同样，图像捕获装置301a和301b可用于分别获得图像501a和501b。物体502-504位于场景内的各种深度处。因此，将观察到在图像501a和501b中的物体位置之间的差异。图5B描绘图像501a，其中在发生某些差异量值和方向的像素位置处指示了这些差异量值和方向。举例来说，对于较远的物体504出现了多个正差异510，且对于较近的物体502出现了多个负差异511。參看图4的曲线图，自动化系统可确定与每一差异相关联的深度。举例来说，如图6所示，已经积累和描绘了同一量值的差异，从而形成差异直方图601。可从传感器的关系导出对应深度602,从而产生深度直方图602。深度直方图602将暗示在所指示的深度处在每一最大值的区域中存在ー个或ー个以上物体。·自动对焦操作包括确定传感器IOlaUOlb中的一者或两者的适当焦深。在ー些实施例中，可通过获得物深直方图(或物体差异直方图配合例如图4的曲线图)的平均数、中值或类似统计数据来确定适当的焦深。中值统计数据对远端值(outlying value)提供了某种稳健性，而特殊顺序统计数据滤波器(special order statistic filter)可用来适应特定应用程序。所选的统计数据可取决于给非常远的物体和非常近的物体的相对权重。举例来说，对于一个范围的深度来说，对焦质量大概相同，但在第二范围中对焦质量急剧变化。下文更详细地论述这些变化。虽然我们可以通过为在第一和第二图像中的每ー者中找到的每个物体确定每个像素的差异来产生差异直方图601，但是这可能计算成本很高，而且在移动装置上不太现实。不但每个像素的相关将需要通过大量的像素而重复，而且每ー图像可能包括同一值的多个像素，从而使得各别像素的识别以及其与每ー图像中的物体的相关变得困难。替代分析每个像素，本发明的某些实施例涵盖创建图像内容的“稀疏”的直方图或“稀疏”的对应深度图。在某些实施例中，可在图像中的每ー者中确定关键点，且可使用关键点之间的差异或关键点和像素之间的差异而不是图像中的所有或大多数像素之间的差异来推断物深。由于关键点比像素少，所以所得的差异或深度图是“稀疏”的。关键点可以包括任何可从图像的一部分一致地复制且因此准许对图像部分的唯一识别的数据结构。关键点可以与图像中的一位置相关联。关键点的唯一确定准许从第二图像中的类似或相同部分中识别出所述关键点。在一些实施例中，关键点可包括尺度不变特征变换(SIFT)关键点，或类似特征产生模块的关键点。在一些实施例中，所述系统可重新使用通用处理器113或子处理器中预先存在的机器视觉组件来确定关键点。举例来说，可重新使用高通滤波块来进行关键点检測。或者，可使用用于执行存储于存储器103中的机器视觉操作的软件库来产生关键点。以此方式，某些实施方案可经济地利用与其它应用程序相关联的功能性来产生关键点以用于执行自动对焦。下文中更详细地描述用于确定多个关键点的替代装置(例如，采用除了 SIFT之外的算法的特征产生模块)。图7是描绘用于立体图像捕获的自动对焦过程700的流程图，所述过程可由本发明的某些实施例来实施。所述过程通过获得或接收至少ー对立体图像(702)而开始(701)。某些实施例涵盖从图像中的每ー者中修剪所关注的区域以便减少计算时间。一旦接收到图像，系统便从第一图像中确定关键点(703)。如所提到的，在一些实施例中，可使用SIFT或其它特征检测硬件、固件或软件来确定这些关键点。在一些实施例中，所述系统还可确定第ニ图像中的关键点。所述系统可接着使来自第一图像的关键点与第二图像中的像素区域(例如，特定像素位置)相关(704)。“关键点相关”软件、固件或硬件模块可经配置以执行此操作。操作的某些部分可在其它模块(固件、硬件或软件)中分布，从而产生用于使关键点相关的其它装置。此操作可用以识别第一图像和第二图像中的相同图像区域。可接着计算第一图像的每ー关键点位置与第二图像的相关像素位置之间的差异D(705)。在已经计算了两个图像的关键点之后，可通过将相关关键点中的每ー者的相对位置相减来确定关键点之间的差异。可接着将所述差异组织为类似于图6的601的差异直方图，且可确定类似于直方图602的对应深度直方图。可接着基于所选的统计数据使用深度直方图来确定传感器的最佳焦深。“差异确定”软件、固件或硬件模块可经配置以执行此操作。操作的某些部分可在其它模块(固件、硬件或软件)中分布，从而产生用于确定差异的其它装置。在实施过程700的实施例中，为了改进计算效率，过程700确定差异的统计数据(在此情况下为平均数)(706)，而不是转换成每ー差异的深度且接着确定深度的平均值。于是，只需要參照类似于图4的曲线图的曲线图来确定单个统计数据值的深度(707)。可接着在后续图像捕获期间使用此深度作为新的相机焦深(708)。如所提到的，其它实施例可替代地将差异中的每ー者转换成深度，且接着求深度的平均值。其它实施例可替代地采用平均数、中值或某一其它统计数据来确定期望的焦深。“深度确定”软件、固件或硬件模块可经配置以执行此操作。所述模块可配合差异直方图来操作。操作的某些部分可在其它模块(固件、硬件或软件)中分布，从而产生用于确定焦深的其它装置。一旦已经确定了焦深，便可调整图像传感器101a。还可通 过处理器113来调整传感器101b，或者传感器IOlb可独立地追踪传感器IOla的焦深。如上文提到的，在某些实施例中，只可基于确定的焦深来调整单个传感器。在这些实施例的变化形式中，所述系统可替代地使用来自场景的信息来确定深度，而不是简单地获取差异的平均值。举例来说，替代获取平均值，可基于关键点差异在单个物体中的存在且基于光照条件来对关键点差异进行加权。举例来说，可通过按与某一焦距相关联的对焦质量对来自直方图的每一点进行加权来增强所述直方图。在某些相机布置中，如果焦点被设置成3米，则在2m与无限远之间的物体可能具有良好的对焦，在Im与2m之间的物体可能具有尚好的对焦，而在0.5m与Im之间的物体可能具有较差的对焦。将相应地对图6的直方图进行加权，使得优选的焦距范围比其它范围更经常地被选中。在某些实施例中，这可称为“经区域加权的凸极”(region weighted saliency)。在其它变化形式中，可将来自图像的频率信息并入到关键点选择中。包括纹理的物体可产生比没有纹理或有很少纹理的物体多的关键点，且因此会影响平均值。因此，与有纹理的物体相关联的关键点可得到与没有纹理的物体不同的权重。在一种变化形式中，可检测纹理内的区域，且接着使用这些区域，以便降低所述区域中的关键点的权重。当捕获立体影片时，可对单个帧(即，单个ー对立体图像)应用过程700。图像传感器可接着在后续图像捕获期间使用所确定的焦深，直到相机布置或场景经过修改以便使得有必要对适当的焦点进行重新评估为止。操作700因此具有不需要有任何状态依赖性的益处。也就是说，传统的自动对焦系统将需要周期性地使影片捕获过程超时，且捕获多个焦深以重新评估焦点。相比之下，过程700可以是“瞬时的”，因为其不会产生帧延迟。这有利于无缝的焦点追踪。所述过程可进ー步保证系统稳定性，因为在当前焦点位置与焦点位置估计之间不存在反馈(或依赖性)。此外，由于可用单个帧实现焦点操作，所以用户的手部运动将不太可能产生任何模糊。如所提到的，在过程700的步骤703和704中产生的关键点可包括任何可向图像的一部分指派识别符且在应用于第二图像时被一致地辨识的数据结构。如所提到的，在一些实施例中，关键点可包括尺度不变特征变换(SIFT)关键点，其是从SIFT特征产生模块产生的。图8描绘用于在特征产生模块中产生关键点的另一可能的过程。过程800通过接收所述ー对原始立体图像中的一者(802)而开始(801)。可接着对所述图像进行二次采样(803)，可能为了改进算法对于噪声的稳健性，且减少计算需求。可接着使所述图像经过水平高通滤波器(804)。在一些实施例中，滤波器可包括3X4内核，其具有由以下公式表达的响应
权利要求
1.一种在电子装置中用于确定图像传感器的焦深的方法，其包括 接收与第一视点相关联的第一图像； 接收与第二视点相关联的第二图像； 基于所述第一图像来确定第一多个关键点； 使来自所述第一多个关键点的关键点与所述第二图像中的位置相关； 确定与所述第一多个关键点中的每一者相关联的多个差异；以及 基于所述多个差异、所述第一视点的位置和所述第二视点的位置来确定焦深。
2.根据权利要求1所述的方法，其进一步包括基于所述第二图像来确定第二多个关键点。
3.根据权利要求2所述的方法，其中使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关包括使来自所述第一多个关键点的关键点与来自所述第二多个关键点的关键点相关。
4.根据权利要求1所述的方法，其中使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关包括在所述第二图像中的搜索范围内的像素上重复。
5.根据权利要求4所述的方法，其中使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关包括确定所述第一图像与所述第二图像中的像素之间的均方误差。
6.根据权利要求1所述的方法，其中基于所述第一图像来确定第一多个关键点包括基于所述第一图像来确定尺度不变特征变换SIFT关键点。
7.根据权利要求1所述的方法，其中基于所述第一图像来确定第一多个关键点包括对所述第一图像进行二次采样，对所述第一图像应用高通滤波器，计算所述第一图像的功率，和为所述第一图像设立阈值。
8.根据权利要求1所述的方法，其中使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关实时发生。
9.根据权利要求1所述的方法，其中所述电子装置包括移动电话。
10.一种计算机可读媒体，其包括经配置以使得计算机执行以下步骤的指令 接收与第一视点相关联的第一图像； 接收与第二视点相关联的第二图像； 基于所述第一图像来确定第一多个关键点； 使来自所述第一多个关键点的关键点与所述第二图像中的位置相关； 确定与所述第一多个关键点中的每一者相关联的多个差异；以及 基于所述多个差异、所述第一视点的位置和所述第二视点的位置来确定焦深。
11.根据权利要求10所述的计算机可读媒体，其进一步包括基于所述第二图像来确定第二多个关键点。
12.根据权利要求11所述的计算机可读媒体，其中使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关包括使来自所述第一多个关键点的关键点与来自所述第二多个关键点的关键点相关。
13.根据权利要求10所述的计算机可读媒体，其中使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关包括在所述第二图像中的搜索范围内的像素上重复。
14.根据权利要求13所述的计算机可读媒体，其中使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关包括确定所述第一图像与所述第二图像中的像素之间的均方误差。
15.根据权利要求10所述的计算机可读媒体，其中基于所述第一图像来确定第一多个关键点包括基于所述第一图像来确定尺度不变特征变换SIFT关键点。
16.根据权利要求10所述的计算机可读媒体，其中基于所述第一图像来确定第一多个关键点包括对所述第一图像进行二次采样，对所述第一图像应用高通滤波器，计算所述第一图像的功率，和为所述第一图像设立阈值。
17.根据权利要求10所述的计算机可读媒体，其中使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关实时发生。
18.根据权利要求10所述的计算机可读媒体，其中所述计算机位于移动电话中。
19.一种用于为立体捕获装置对焦的系统，所述系统包括 第一图像传感器，其经配置以产生与第一视点相关联的第一图像； 第二图像传感器，其经配置以产生与第二视点相关联的第二图像； 特征产生模块，其经配置以基于所述第一图像来确定第一多个关键点； 关键点相关模块，其经配置以使来自所述第一多个关键点的关键点与所述第二图像中的位置相关； 差异确定模块，其经配置以确定与所述第一多个关键点中的每一者相关联的多个差异；以及 深度确定模块，其经配置以基于所述多个差异、所述第一视点的位置和所述第二视点的位置来确定焦深。
20.根据权利要求19所述的系统，其中所述特征产生模块经配置以基于所述第二图像来确定第二多个关键点。
21.根据权利要求20所述的系统，其中所述经配置以使关键点相关的模块经配置以使来自所述第一多个关键点的关键点与来自所述第二多个关键点的关键点相关。
22.根据权利要求19所述的系统，其中所述经配置以使关键点相关的模块经配置以在所述第二图像中的搜索范围内的像素上重复。
23.根据权利要求22所述的系统，其中使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关包括确定所述第一图像与所述第二图像中的像素之间的均方误差。
24.根据权利要求19所述的系统，其中所述特征产生模块经配置以基于所述第一图像来确定尺度不变特征变换SIFT关键点。
25.根据权利要求19所述的系统，其中所述特征产生模块经配置以对所述第一图像进行二次采样，对所述第一图像应用高通滤波器，计算所述第一图像的功率，和为所述第一图像设立阈值。
26.根据权利要求19所述的系统，其中所述经配置以使关键点相关的模块实时地使来自所述第一多个关键点的关键点与所述第二图像中的位置相关。
27.根据权利要求19所述的系统，其中所述立体捕获装置位于移动电话上。
28.根据权利要求19所述的系统，其中所述经配置以确定焦深的模块包括差异直方图。
29.一种用于为立体捕获装置对焦的系统，所述系统包括用于接收与第一视点相关联的第一图像的装置； 用于接收与第二视点相关联的第二图像的装置； 用于基于所述第一图像来确定第一多个关键点的装置； 用于使来自所述第一多个关键点的关键点与所述第二图像中的位置相关的装置； 用于确定与所述第一多个关键点中的每一者相关联的多个差异的装置；以及 用于基于所述多个差异、所述第一视点的位置和所述第二视点的位置来确定焦深的装置。
30.根据权利要求29所述的系统，其中所述用于接收第一图像的装置包括第一传感器，所述用于接收第二图像的装置包括第二传感器，所述用于确定第一多个关键点的装置包括特征产生模块，所述用于相关的装置包括关键点相关模块，所述用于确定多个差异的装置包括差异确定模块，且所述用于确定焦深的装置包括深度确定模块。
31.根据权利要求29所述的系统，其中所述用于确定第一多个关键点的装置经配置以基于所述第二图像来确定第二多个关键点。
32.根据权利要求31所述的系统，其中所述用于使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关的装置经配置以使来自所述第一多个关键点的关键点与来自所述第二多个关键点的关键点相关。
33.根据权利要求29所述的系统，其中所述用于使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关的装置经配置以在所述第二图像中的搜索范围内的像素上重复。
34.根据权利要求33所述的系统，其中所述用于使来自所述第一个多个关键点的关键点与所述第二图像中的位置相关的装置经配置以确定所述第一图像与所述第二图像中的像素之间的均方误差。
35.根据权利要求29所述的系统，其中所述用于确定第一多个关键点的装置经配置以基于所述第一图像来确定尺度不变特征变换SIFT关键点。
36.根据权利要求29所述的系统，其中所述用于确定第一多个关键点的装置经配置以对所述第一图像进行二次采样，对所述第一图像应用高通滤波器，计算所述第一图像的功率，和为所述第一图像设立阈值。
37.根据权利要求29所述的系统，其中所述用于使关键点相关的装置实时地使来自所述第一多个关键点的关键点与所述第二图像中的位置相关。
38.根据权利要求29所述的系统，其中所述立体捕获装置位于移动电话上。
全文摘要
本发明的实施例涵盖用以基于一对立体图像来确定传感器的适当焦深的系统、设备和方法。确切地说，某些实施例涵盖确定每一图像的关键点、识别关键点之间的相关，和根据所述相关导出物距。接着可使用这些距离来选择一个或一个以上传感器的适当焦深。
文档编号H04N13/00GK103053154SQ201180038172
公开日2013年4月17日 申请日期2011年8月9日 优先权日2010年8月9日
发明者卡林·M·阿塔纳索夫, 塞尔久·R·戈马, 维卡斯·拉马钱德兰 申请人:高通股份有限公司