具有深度图产生的方法和设备的制作方法

专利名称：具有深度图产生的方法和设备的制作方法
具有深度图产生的方法和设备
背景技术：
采用固定焦距的数码相机被用于例如手机、膝上型计算机和其它装置等的移动装 置中。这些相机具有造成短且固定的焦距的广角透镜。自动对焦操作是已知的，其中手机或 数码相机的用户可半按下按钮以自动对焦图像，随后用户可接着继续按下按钮到完全按压 位置以捕获最终图像。然而，已知的自动对焦操作可能以均勻方式(例如在其例如255个 位置的整个范围内每25个位置)移动透镜，且在25个位置的每个均勻透镜位置处捕获图 像，从而导致处理10到12个帧。捕获自动对焦算法借以确定最佳图像的大约10个图像可 导致对移动装置的电力耗用且随着时间的过去而急剧影响电池使用。另外，如果使用闪光 灯来拍摄最终图像，那么当闪光灯可能实际上不必要或有用时，额外的电力耗用可使移动 装置的性能降级。另外，在均勻的对焦透镜位置方案下，为了自动对焦确定可能拍摄10或 12个帧，这要求装置捕获且处理许多帧。这可要求额外的处理时间且用户可能必须等待不 必要的时间量以等待自动对焦操作完成。还已知使用不均勻透镜位置作为自动对焦过程的部分。举例来说，为了找到最佳 透镜位置，可使用各种自动对焦搜索策略。这些方法确定如何更新透镜位置(更新多少且 在哪个方向上更新)。搜索方法可影响自动对焦过程的速度和准确性。用以找到最佳透镜 位置的透镜位置集合可基于不均勻(或均勻)间隔。不均勻透镜位置通常是基于对焦量度 值的所确定的改变速率而在操作中(on the fly)动态确立。也就是说，如果对焦量度值的 改变速率由装置中的过程确定为高，那么使用较短的透镜位置间隔，而如果对焦量度值改 变的速率较低，那么使用较长的间隔。然而，可能难以确定改变速率且接着确定要使用的合 适间隔。改进自动对焦速度且减少对移动装置或非移动装置的电力耗用是极为重要的，尤 其是在对移动装置的使用急剧增加时。对这些改进的需要已存在多年。然而，已知的当前 解决方案仍可能要求不必要的时间量和/或电力消耗。关于深度图产生，多相机图像处理系统(例如，经校准的立体视觉系统)可采用多 个相机，所述相机各自采用透镜来产生包含视场的若干所关注区的图像深度图以用于不同 应用(例如在用于导引车辆的自动化车辆导引系统中)。使用这些系统产生深度图可导致 要求使用多个预校准相机的高度复杂且昂贵的过程。然而，还需要使用较简单的深度图产 生(例如，将视场分段为前景和背景)以改善各种数码相机功能/操作，例如对闪光/不闪 光选择的更有效使用、更好的曝光估计、更有效的白平衡和改进的颜色校正矩阵选择。


鉴于由以下图式伴随的以下描述将更容易理解本发明，且其中相同参考标号表示 相同元件，其中图1是说明根据本发明一个实施例的自动对焦电路的一个实例的框图；图2是说明根据本发明中陈述的实例的用于改进自动对焦系统的方法的一个实 例的流程4
图3是展示根据本发明中陈述的一个实施例的预定不均勻对焦位置数据的一个 实例的说明；图4是说明根据本发明中的一个实例的移动装置的一个实例的框图；图5是说明根据本发明中陈述的一个实例的用于改进自动对焦系统的方法的一 个实例的流程图；图6是说明根据本发明中陈述的一个实例的采用深度图产生逻辑的设备的一个 实例的框图；图7是说明根据本发明中陈述的一个实例的深度图产生逻辑的一个实例的框图；图8是说明根据本发明中陈述的一个实例的用于改进数码相机图像产生的方法 的一个实例的流程图；图9说明根据本发明中陈述的一个实例的用以产生从多个图像导出的深度图的 数据的一个实例；图10是说明根据本发明中陈述的一个实例的用于改进数码相机图像产生的方法 的一个实例的流程图；图11是说明根据本发明的传达深度图信息的系统的一个实例的框图；以及图12说明根据本发明中的一个实例的可用以产生深度图的位置数据的一个实 例。
具体实施例方式大体上，揭示一种设备和方法，其中使用单个相机(例如，相机的单个透镜)产生 深度图且由相机捕获多个图像。在一个实例中，使用单个数码相机捕获对应于基于透镜位 置数据的一组透镜位置的一组图像。在此实例中，透镜位置数据可为均勻或不均勻的透镜 位置数据。所述方法和设备确定一组图像中的每一图像中的多个关注区中的每一者的对焦 量度信息。基于来自所述组中的图像的对焦量度信息确定关注区中的每一者的最佳透镜位 置，且将其作为数据存储于深度图中。随后基于产生的深度图而执行图像产生操作，例如确 定是否使用闪光灯来捕获最终图像、确定将对最终图像执行的颜色操作的类型、或任何其 它合适的图像产生操作。在一个实例中，深度图是通过在捕获的各个图像中选择针对特定 关注区的最佳对焦量度而产生。一旦使用来自多个图像的数据产生深度图，则基于深度图 的控制逻辑就确定如何使用深度图来实现图像处理操作。除了其它优点外，无需采用多个相机，也无需采用外部光传感器来产生用于在图 像处理操作中使用的深度图。所属领域的技术人员将认识到其它优点。在其它实施例中，方法和设备通过更改(例如通过定位)数码相机的至少一个透 镜到对应于预定不均勻透镜位置数据的多个预定不均勻透镜位置且基于预定不均勻透镜 位置数据而选择透镜的透镜位置来改进自动对焦系统。预定不均勻透镜位置数据可(例 如)被预定，且可存储在存储器中，可经由电阻性阵列提供，或可以任何合适方式提供。预 定不均勻透镜位置数据表示可用以对焦以拍摄最终图像的最少数目或组的最佳透镜位置， 其被事先确定且基于特定相机透镜的光学特性。在一个实例中，所述数据表示对应于透镜 位置对距参考点的物距(例如，针对固定焦距透镜，沿着最佳透镜位置的特性曲线的点对 物距)的关系的经验上获得的信息。在一个实例中，固定数目的预定义不均勻透镜位置定义了用以在自动对焦操作期间捕获图像的一组最佳不均勻透镜位置。最终图像是使用这些 预定不均勻透镜位置中的一者捕获的。来自所述组预定不均勻透镜位置的最佳对焦透镜位 置是通过比较来自在各个不均勻对焦透镜位置处获得的帧中的每一者的对焦量度信息且 选择具有例如最佳对焦量度的帧作为将用于最终图片或图像捕获的透镜位置而确定的。可 按需要基于每帧或每关注区而产生对焦量度信息。除了其它优点外，与采用(例如)基于均勻透镜位置的图像采样的系统相比，可导 致较快的自动对焦过程，且需要获得较少数目的图像来确定最佳透镜位置。而且，使用一组 预定不均勻透镜位置去除了对任何动态不均勻透镜位置确定和间隔确定过程的需要。由 此，使用从所述组预定不均勻透镜位置中的一个或一个以上位置获得的图像的较少帧可加 速自动对焦过程，使得用户无需等待长时间直到捕获图像，且可导致对装置电池的较低电 力消耗，进而改进性能。如本文使用，术语“模块”、“电路”、“逻辑”、“驱动器”和/或“级”可包含电子电路、 执行存储在存储器中的一个或一个以上软件或固件程序的一个或一个以上处理器(例如， 共享、专用或处理器群组，例如但不限于微处理器、DSP或中央处理单元)、组合逻辑电路、 ASIC和/或提供所描述功能性的其它合适组件。图1说明设备10，其包含展示为自动对焦控制逻辑12的电路、含有预定不均勻透 镜位置数据18的存储器14，和例如具有固定焦距透镜的单个数码相机的相机16。然而，可 采用任何合适的相机。设备10可例如为其中集成有数码相机的手机、手持式数码相机，或 采用数码相机或者直接或间接与数码相机连接的任何合适装置。自动对焦控制逻辑12可 实施为任何合适的结构，其包含(但不限于)离散逻辑、执行所存储的计算机可读指令的一 个或一个以上处理器或任何其它合适结构。存储器14可为呈任何合适形式的RAM、R0M(例 如寄存器、可寻址存储器)，或可为任何其它合适的存储器，包含主机系统存储器、局部高速 缓存存储器或按需要的任何其它合适存储器。预定不均勻透镜位置数据18也可以电阻器 阵列的形式提供，所述阵列将电压电平提供到例如集成电路的输入端口，指示给定相机的 不均勻透镜位置数据。数码相机的每一制造商可具有不同的特性且由此，可取决于使用的 特定相机来采用不同的预定不均勻透镜位置数据。还参看图2和3，说明可例如由自动对焦控制逻辑12和设备10实施的方法。另 外，图形说明展示了预定不均勻透镜位置数据18 (八个非零点)，其值可存储在存储器14 中或者经由电阻器阵列或以任何其它合适方式提供。此信息可经由对设备10中的相机16 的经验测试而事先获得，或可以任何其它合适方式获得。由此，数据可经由因特网或其它网 络下载，或者可存储在例如存储器14的EEPROM中或经由任何合适方式提供到自动对焦控 制逻辑12。如图示，预定不均勻透镜位置数据18表示(例如)依据步长数目(例如总共 255个定位步长中的定位步长数目)的透镜位置与在给定透镜位置处经确定的距相机的物 距(物体在所述位置处在焦点上)举例来说，展示了如果物距为距相机118cm，那么使用近 似155的预定不均勻透镜位置。已发现，物体距相机越近，需要用4个透镜位置来进行自动 对焦操作。举例来说，如果物距为100cm，那么使用第5个透镜位置。参看图2，方法包含(如图示)在步骤202中将相机16的透镜定位或更改到对应 于预定不均勻透镜位置数据18的多个不均勻透镜位置。由此，自动对焦控制逻辑12将预定 不均勻透镜位置控制信息20发送到相机16以例如定位相机，相机随后在透镜处于此位置时捕获图像且将在透镜处于不均勻透镜位置18中的一者处时获得的图像或帧22传达回。 每一被接收的所捕获图像随后由自动对焦控制逻辑12分析以基于帧或子帧而确定图像清 晰度量度信息，例如指示在给定透镜位置处图像有多清晰的值。给定图像的此值可随后临 时存储在存储器中。自动对焦控制逻辑随后使用预定不均勻透镜位置控制信息20将透镜 移动到下一所需透镜位置，且相机16在此透镜位置捕获另一图像。随后获得所述新的帧的 清晰度图像量度信息，且将其与先前图像的先前图像对焦量度比较。如果确定其为较清晰 的图像，那么将其存储以供与下一所捕获图像进行比较。随后取决于自动对焦过程正在使 用爬山(hill climbing)方法、完整搜索方法或是其它方法，所述过程针对由预定不均勻位 置数据18识别的每一所需不均勻透镜位置继续。如框204中所示，方法包含通过(例如) 选取产生具有最佳图像清晰度量度的帧的透镜位置而基于不均勻透镜位置而选择最佳透 镜位置。随后将此透镜位置用作用以捕获用户希望捕获的最终图像的透镜位置。预定不均 勻透镜位置数据18可例如存储为存储器14中的查找表以在在线自动对焦过程期间使用。与其它已知系统相比，上述过程可导致较快的自动对焦过程，因为与使用均勻透 镜位置(例如每25个步长)的自动对焦系统的典型的(例如)最多11个帧相反，仅需要 捕获或评估最多7或8个帧(每一不均勻透镜位置处一个)。这还可导致较少的电力消耗， 因为作为自动对焦过程的部分，捕获和分析较少的帧。所属领域的技术人员将认识到其它 优点。将认识到，可以任何合适方式获得预定不均勻位置数据18。一种技术可为例如针 对手机相机或具有固定焦距的其它相机确立弥散圆的可接受大小。不同的相机制造商可具 有不同的弥散圆(直径以微米为单位)。此信息可由制造商提供或通过此项技术中已知的 实验来确定。也可确定景深对透镜位置的关系，且将景深重叠而覆盖完整对焦范围的焦点 距离用作不均勻透镜位置。举例来说，对于具有5. 6mmX4. 2mm大小的透镜(传感器)，透镜 焦距可为5. 6mm且弥散圆大小可估计为9. 5微米。可使用1，179mm的超焦距(hyper focal length)。由此，最佳透镜位置在图3中被展示为由预定不均勻位置数据18识别。不均勻 透镜位置数据18表示与(例如)图3所示的透镜特性曲线相关联的不均勻透镜位置(或 移动步长)。作为一个实例，可如下针对手机相机确立图3的预定不均勻透镜位置(及因此对 应的数据18)。传感器大小 3. 2MP，具有2. 7微米像素大小透镜焦距5· 6讓固定光圈2. 8 (F数)CoC 直径9. 5 微米此手机相机在30%相对对比度下的测得分辨率为MTF30 = 0. 283循环/像素。弥 散圆(CoC)的直径就将基于测得的MTF30而等于9. 5微米。使用以上信息(F数、焦距和CoC直径)，可针对每一物距计算景深(D0F，后和前)。 也就是说，针对每一透镜位置，估计在焦点上的物距的范围。如果选定的物距使得其在焦点 上的物距的范围重叠，那么将这些物距指定为最小数目的不均勻透镜位置。以下表I展示 选定的物距(第一栏)及其对应的在焦点上的物距范围(第四栏)。随后可确立(即，通过 将物体放置于物距(第一栏)中的每一者处且通过自动对焦过程找到最佳透镜位置)对应
7的透镜位置(第五栏)。作为实例，当将透镜放置于位置56处时，处于距离153mm到205mm 处的所有物体将在焦点上。另一实例，透镜位置93将覆盖具有距离204mm到297mm的所有
物体等等。表中的最后物体位置(1179mm)称为超焦距，其覆盖在焦点上的物距的最大范围 从590mm到无限远。也就是说，如果将透镜放置于位置155处，那么放置于590mm到无限远 之间的所有物体均在焦点上。表I物距前景深后景深在焦点上的物距透镜位置总DOF
(mm)(mm)(mm)(mm)(步长)(mm)
815. 26. 076 至Ij 87011
946. 98. 187 到 102715
1119. 611. 5102 到 1221220
13614. 117. 7122 到 1533331
17522. 630. 5153 到 2055652
23739. 759. 6204 到 2979393
39599. 1199. 0296 到 594119298
1179589. 5188629221. 1590到无限远155无限远以上实例展示在自动对焦过程期间可使用仅8个不均勻透镜位置(0、7、12、33、56、93、119和 155)而不是例如11个均勻透镜位置(0、25、50、75.....250)。其为用于自动对焦过程的透
镜位置的显著减少。如预期，大部分透镜位置与短距离(S卩，80mm到600mm)处的物体相关。事实上，用 于短距离物体的较大数目透镜位置提供较可靠的对焦位置确定，因为在短距离下景深非常
窄/浅。为了甚至进一步减少用于自动对焦操作的透镜位置的数目，可使用三种模式(a)微距模式短距离处(80mm到600mm)的物体；(b)风景模式长距离处(大于600mm)的物体；(c)正常模式默认模式将覆盖整个范围(80mm到无限远)。图4说明例示包含相机16的手持式装置100的一个实例的框图。手持式装置100 可为具有相机附件的移动电话、个人数字助理(“PDA”)、便携式音频或视频播放器或其它 移动装置。如此项技术中认识的相机16通常是具有固定焦距透镜的数码相机，其含有电荷 耦合装置(“(XD”)图像传感器或互补金属氧化物半导体(“CMOS”)图像传感器。然而， 也可使用能够满足手持式装置的有限大小和电力消耗要求的任何相机。在一个实例中，手持式装置100可为移动电话且包含天线110以向无线电电话子 系统112传输无线电信号160或从无线电电话子系统112接收无线电信号160，如此项技术 中已知。用户接口 108为用户提供对手持式装置100的特征的接入，例如操作至无线电电 话子系统112的接口信号168，或通过快门按钮信号118起始用相机16捕获图像。用户接 口 108通常使用户与具有组件组合的手持式装置100相联系，所述组件例如(但不限于) 小键盘、按钮和通过显示器114的反馈188。认识到其它用户接口机制(例如语音辨识和
8触摸屏)是广泛可用的且此项技术中已知，且所属领域的一般技术人员将认识到可使用适 合于手持式装置的任何用户接口。显示器114可为适合于手持式应用的任何显示器，例如 (但不限于)IXD (液晶显示器)、IXD-TFT (IXD-薄膜晶体管)、OLED (有机发光二极管)以 及FED(场效应显示器)。或者，可提供其它子系统116以经由系统总线166连接到用户接 口 112。其它子系统116可包含(但不限于)音频播放器、视频播放器、个人信息管理器 (“PIM”)、语音记录器、因特网接入或消息接发应用程序。在一个实例中，用户通过用户接口 108起始在手持式装置100上捕获图像。举例 来说，对指定按钮的半按可致使快门按钮信号118起始自动对焦例程，或全按可起始自动 对焦例程，其自动移动到下一步骤图像捕获过程，以捕获最终图像，最终图像可存储在存 储器中和/或作为显示数据164而显示。另外，用户接口 108可规定对指定按钮的全按将 捕获图片，且可在半按自动对焦例程完成之前使全按功能无效。在图4的实例中，快门按钮 信号118由自动对焦控制逻辑12接收。将认识到可组合任何功能，例如图像清晰度量度逻 辑和捕获逻辑136或其它合适操作。如上所述，在不同的不均勻透镜位置处捕获一系列图像且由自动对焦控制逻辑12 分析。自动对焦控制逻辑12将预定不均勻控制信息20传输到对焦驱动器126，对焦驱动器 126通过相机接口总线190将不均勻透镜位置数据18传输到相机16。另外，自动曝光电路 124将快门驱动器信号174传输到快门驱动器128，快门驱动器128通过相机接口总线190 将开关快门命令传输到相机16以便捕获图像。自动对焦控制器191产生自动曝光控制信 号170以启动自动曝光操作。在本实例中，相机16还通过相机接口总线190连接到光学变 焦驱动器130和闪光灯驱动器132，且分别由光学变焦驱动器信号172和闪光灯驱动器信号 184控制。光学变焦驱动器和闪光灯驱动器是此项技术中众所周知的。然而，认识到，可在 无光学变焦驱动器130或闪光灯驱动器132或所示的其它功能的情况下实施本发明。在使 用光学变焦操作的过程中，应针对每一透镜焦距确定预定义透镜位置。在一个实例中，在将信息传输到对焦驱动器126和快门驱动器128之后，相机16 捕获图像，且将图像像素信息134从相机16发送到图像捕获逻辑136。如此项技术中已知， 图像捕获逻辑136设定相机的图像传感器的增益等，且接收由传感器捕获的像素信息。所 属领域的一般技术人员将认识到，图像捕获逻辑136可以多种方式实施且位于除了自动对 焦控制逻辑12以外的电路内。图像像素信息134被传输到图像清晰度量度逻辑120，在该 处计算ROI或整个图像的图像清晰度量度信息133。举例来说，图像可划分为关注区(ROI)， 且串行或并行地对每一 ROI执行统计分析。可在图像的水平维度上扫描像素信息，使得一 行中的所有ROI被同时处理。所属领域的一般技术人员将认识到，可使用多种方法来确定 图像清晰度量度信息133。作为一个实例，可使用拉普拉斯算子能量方法(平方拉普拉斯算 子)，其使用图像的平方拉普拉斯算子g(x，y)来计算量度信息。在此实例中图像清晰度量度信息表示为量度=Σ χ Σ y. [gxx+gyy]2其中gxx = δ2/δχ2，且gyy= δ2/δ/。离散拉普拉斯算子由以下核来近似，其仅包含垂直和水平相邻者0 1 0
1 -4 10 1 0或0-10-1 4 -10-10为了更详尽，可使用以下拉普拉斯算子核，其包含对角线相邻者1 1 11 -8 11 1 1或-1 -1 -1-1 8 -1-1 -1 -1在硬件限制不允许使用以上核的情形下，可使用仅在一个方向上(例如沿着像素 扫描的水平方向)的拉普拉斯算子量度=Σx[gJ2因此，将使用沿着水平方向的以下拉普拉斯算子核1 -2 1或-1 2-1使用水平地沿着像素扫描方向的拉普拉斯算子计算图像的量度因此变为量度=Σ[ (Pi_1-2*Pi+Pi+1) * (Pi_1-2*Pi+Pi+1)]。其中Pi是当前像素的值，Pi^1是先前像素的值，且Pi+1是下一像素的像素值。确定量度的另一实例是图像的梯度的能量。将图像的梯度的能量定义为图像的梯 度的平方g(x，y)，其中量度=Σχ Σ y[gx+gy]2其中gx = δ / δ χ，gy = δ / δ y。沿着水平方向的梯度的离散能量表达如下量度=Σ[(Pw-Pi)* (Pw-Pi)如上文定义的图像的量度是对图像的相对清晰度的测量。可以相同方式计算对焦 量度和图像清晰度量度。视频上部处理器(VUP) 142如此项技术中已知是每时钟单像素处理器，其接收图 像像素信息134。所属领域的一般技术人员将认识到，图像像素信息134可如图示由图像清 晰度量度逻辑120发送到VUP 142，或可直接从另一电路或逻辑(例如图像捕获逻辑136) 接收图像像素信息134。在一个实例中，通过将中间处理的图像像素信息162传输到视频下 部处理器(VLP) 144而进一步执行图像处理。VLP 144使用每时钟多像素处理器，如此项技术中已知。因为VUP 142和VLP 144均为处理器，所以其图像处理功能可按应用的要求由 一个处理器或两个以上处理器执行。在其它实例中，处理器可为(但不限于)在单个集成 电路或多个集成电路上的现场可编程门阵列(FPGA)、数字信号处理器(DSP)、ASIC、微处理 器或中央处理单元(CPU)、微控制器、状态机或其任何组合。在一个实例中，在JPEG (联合图 像专家组)编码逻辑148中将经处理图像像素信息146编码为工业标准JPEG格式，且在存 储器总线198上传输以存储在存储器154中。或者，可与JPEG编码逻辑148处的JPEG编 码同时、在JPEG编码之前或之后的时间在显示器114上显示经处理图像像素信息146，或在 无JPEG编码的情况下显示经处理图像像素信息146。在此实例中，自动对焦控制逻辑12包含透镜位置控制器电路或对焦驱动器126、 图像捕获逻辑136、图像清晰度量度逻辑120、深度图产生器189和自动对焦控制逻辑191。 然而，将认识到，任何合适的功能组合可用作自动对焦控制逻辑。举例来说，图像捕获逻辑 136可嵌入作为相机16的部分且可按需要合适地组合其它功能。对焦驱动器是移动透镜 的硬件驱动器，如此项技术中已知。自动对焦控制逻辑12例如选择透镜的最佳透镜位置以 在自动对焦过程之后使用来拍摄最终图像，例如在用户完全压下捕获按钮时。举例来说，自 动对焦控制电路191可获得第一预定不均勻透镜位置数据18 (例如最低存储位置)且将预 定不均勻透镜位置信息20提供到透镜位置控制器电路126以致使固定焦距透镜移动到所 述第一位置。随后捕获帧且将其传递到图像捕获逻辑136以用于处理，如此项技术中已知。 图像清晰度量度逻辑120确定图像的对焦量度信息(图像清晰度信息133)，且存储对焦量 度信息133作为初步最佳对焦量度信息。其可将此信息存储在高速缓存存储器或任何其它 合适存储器中，例如可由自动对焦控制电路191存取的存储器。自动对焦控制电路191可 随后例如确定下一透镜位置，即，由存储在存储器14中的预定不均勻焦距位置数据18指示 的下一不均勻位置，以捕获下一图像。图像清晰度量度逻辑120随后确定下一图像的对焦 量度信息。这例如被提供到自动对焦控制电路191，自动对焦控制电路191随后比较两个帧 的存储的初步最佳对焦量度信息与下一对焦量度信息，且保持两者中的最佳或优选量度作 为新的初步最佳对焦量度信息。此过程针对所有不均勻透镜位置重复在此实例中为8个 透镜位置，如图3所示。由此，透镜被更改或移动到不同的预定不均勻最佳透镜位置。一旦 所有的不均勻透镜位置已用以获得图像且所有的对焦量度信息已被计算，自动对焦控制电 路就选取具有最佳对焦量度信息的透镜位置作为在用户完全按下图片按钮时用于捕获最 终图像的位置。图5说明可使用的爬山方法，其展示过程的不同阶段，例如搜索方向确定阶段 501、峰值检测阶段503，其中过程的峰值检测阶段用以确定最佳不均勻透镜位置以用作拍 摄最终图片的最终透镜位置。如框502中所示，方法通过(例如)检测用户已半按图片选 择按钮或以其他方式指示自动对焦过程而开始。如框504中所示，方法包含将透镜更改到 如由预定不均勻透镜位置数据18确定的初步最佳透镜位置。如框506中所示，方法包含捕 获图像且确定所述图像或帧的对焦量度信息，且将透镜配置到下一透镜位置，如框508中 所示。如框510中所示，方法包含捕获图像且计算在新的不均勻透镜位置处获得的帧的图 像清晰度量度。如框514中所示，确定位置搜索方向。举例来说，例如由自动对焦控制电路 191做出搜索方向为正还是负的确定；正(从0到255)指示其为对应于较远离的物体的透 镜位置，且负位置指示透镜位置是针对较靠近的物体。如果过程使用正搜索方向，如框515中所示，那么方法包含递增透镜位置，或如框513中所示，如果其在负方向上，那么递减透 镜位置。如框516中所示，将透镜移动到下一位置且捕获下一图像且确定图像清晰度量度。 如框518中所示，方法包含通过执行邻域搜索而确定是否已发现最大对焦量度(例如，峰值 透镜位置)。峰值检测是基于检测三个相邻透镜位置的对焦量度(FM)值中的上升和下降。 举例来说第一透镜位置75:FM值=1000第二透镜位置100:FM值=1200第三透镜位置125:FM值=830此上升和下降模式是对焦量度值中的峰值的指示。因此，逻辑得出结论最佳对焦 在透镜位置100处(或附近)。如框519中所示，方法包含确定最佳透镜位置。已发现，可 围绕最佳对焦透镜位置通过抛物曲线(即，2次多项式)来对对焦量度值的行为建模，且基 于此，估计对焦量度值中的“真实/最佳”峰值且使用其对应的透镜位置。对于以上情况， 最佳对焦量度值被估计为1206，在透镜位置96处。如果未检测到峰值，那么如框522中所示使用下一位置。如上所述，除了其它优点 外，已发现位于短距离处的物体使用较多不均勻透镜位置或来自这些位置的帧来确立导致 较好的最终图像的最佳对焦透镜位置。另外，对于自动对焦操作，在总距离范围中使用较少 数目的需使用的帧来检测最佳或最终透镜位置。电池电力也减少，因为捕获和处理较少的 帧。而且在一个实例中，所述组的预定义的不均勻透镜位置具有以下特征预定义、不均勻 (例如，并非相隔固定数目位置，例如每10个位置)，且对于短物距使用较短间隔且对于长 物距使用较长间隔。组中存在最小数目，且所述组包含超焦距透镜位置，其具有最大景深且 可用作默认(即，初始)透镜位置，因为其覆盖在焦点上的物距的最大范围，且因此是统计 上最可能的对焦透镜位置。图6说明采用深度图产生逻辑602的设备600的另一实施例，深度图产生逻辑602 操作以基于由单个相机16 (例如带有具有固定焦距的透镜的单个相机)或任何其它合适单 个相机捕获的图像的关注区而产生深度图604。深度图604可存储在存储器608中，存储 器608可按需要为高速缓存存储器、帧缓冲器存储器或任何其它合适的存储器。深度图产 生逻辑602还提供透镜位置控制信息608以控制相机的透镜位置设定，所述透镜位置控制 信息608是基于均勻或不均勻透镜位置数据。透镜控制以如上所述的方式操作，但不同的 是例如当均勻的位置数据存储在存储器中时，将此信息用以控制透镜位置且获得所述透镜 位置(而非不均勻透镜位置)处的信息的对应帧。由此，深度图产生逻辑602还包含类似 于上文关于自动对焦控制操作描述的透镜位置控制信息产生逻辑。还参看图7，深度图产 生逻辑602使用例如图像清晰度量度逻辑120确定每一关注区的对焦量度信息133。举例 来说，如果将一帧划分为25个区域，将每一区域视为关注区且因此计算25个量度(每一关 注区一个)。深度图产生逻辑602基于从所有相关所捕获帧获得的对焦量度信息确定每一 关注区的最佳透镜位置以产生深度图604，且由此，深度图是基于来自多个帧的对焦量度信 息133。由此，将单个相机用以在不同透镜位置处捕获若干图像，且这些图像中的每一者被 划分为若干关注区。随后针对每一帧中的关注区中的每一者产生对焦量度信息，且将来自 每一帧的最高量度用以填充深度图604。由此，深度图产生逻辑602提供关注区深度图信息 612以填充深度图604。关注区深度图信息可为(例如)基于每关注区的值和/或如下文
12所述的其它信息。设备600包含如上所述的含有透镜位置数据的存储器608，且其还包含用以基于 所产生深度图来执行图像产生操作的逻辑。举例来说，深度图产生器逻辑189产生图像操 作控制信息614，其例如可控制闪光灯操作，使得使用或不使用相机闪光灯来拍摄最终图像 (见图4)。作为另一实例，图像产生操作可为由例如视频上部处理器或任何其它合适的颜 色处理电路控制颜色处理操作。也可基于深度图信息来控制任何其它合适的图像产生操 作。图8说明用以产生深度图604的图像处理方法的一个实例，所述方法在框802中 开始，且如框804中所示包含使用单个数码相机捕获对应于基于透镜位置数据的一组透镜 位置的一组图像。捕获对应于所述组透镜位置的所述组图像(框804)包含在第一透镜位置 捕获图像，从所述组透镜位置选择下一透镜位置，在下一透镜位置处捕获下一图像，以及在 额外的接下来的透镜位置处捕获额外的接下来的图像直到所述组为空。如框806中所示， 方法包含确定所述组图像中的每一图像的关注区。如上所述，这些操作优选以循序方式完 成，其中获得每一帧且产生所述帧的关注区并随后与深度图中的对应关注区的先前量度比 较，且将给定关注区的最高量度存储在深度图中。如框808中所示，方法包含确定如上所述 的组的每一图像中的关注区中的每一者的对焦量度信息。如框810中陈述，方法包含基于 来自所获得的帧的子集或全部所获得的帧的对焦量度信息而确定关注区中的每一者的最 佳透镜位置(例如，处于最高量度的透镜位置)。如框812中所示，方法包含基于用以获得 所捕获的图像组的最佳透镜位置而产生所述帧的关注区的深度图。如框814中所示，一旦 已产生深度图，则其可用以执行图像处理操作，例如启动闪光灯、停用闪光灯、选择最终图 像的待使用的颜色增强操作或任何其它合适的图像处理操作。图9说明所产生且用以产生深度图的数据的一个实例。在此实例中，数据包含针 对每一 ROI的最佳透镜位置。使用此透镜位置信息基于图12所示的数据(所存储)来确 定用于深度图的距离。然而将认识到，任何合适的信息可存储在其中。如图示，存在5X5 关注区阵列，其均勻地覆盖相机的视场。在此实例中，结果是来自约6米的工作距离。阵列 是在透镜位置250处拍摄，且对于每一关注区显示三个数字值。在此实例中，值或量度900 表示透镜位置250处的对焦清晰度量度。量度902表示根据所有经评估图像针对关注区实 现的最佳/最大对焦量度值，且值904表示对应于最高图像清晰度量度值的最佳透镜位置。 使用视场的中心(例如关注区906)对(例如)相机进行对焦以拍摄最终图像。然而，在最 终图像期间可使用具有高图像清晰度量度值900的其它关注区而非中心关注区来使相机 对焦。此深度图提供粗略深度图，其展示基于中心关注区906的在175处的最佳总体透镜 位置和在中心关注区906周围的大部分关注区。产生的深度图604(实例展示于表II中) 可有效地用于改进各种过程。举例来说，可确定在目标跟踪的情况下，只要目标超过某一距 离(例如60cm)，则即使目标正在移动靠近或远离相机也无需调整透镜位置。另外，如上所 述，也可基于深度图决定是否使用闪光灯。也可按需要基于深度图来修改或利用其它过程。 也如框814中所示，方法包含控制透镜以基于其最佳对焦位置而对焦于特定关注区上以进 行最终图像捕获。深度图产生是在不使用任何额外传感器(距离传感器、飞行时间传感器、相位检 测传感器)、装置(例如，立体相机系统)和结构光(例如，结构化矩形栅格激光)的情况下
13完成。为了产生深度图，使用透镜位置与物距之间的关系。这可预先针对给定手机相机型 号而产生，且可保存作为查找表(LUT)以在相机操作期间使用。图12展示上文详细说明的 相机的此关系。图12中所示的点存储在存储器中，且可按需要内插所存储点之间的点。如下针对给定场景产生深度图产生将相机视场(FOV)划分为一组矩形关注区(ROI)举例来说，8X6个ROI。(a)在透镜位置从位置“0”改变为位置“255”(假定总共256个透镜位置)时捕 获一组η个图像。可使用8个不均勻(如上文定义)或11个均勻透镜位置。(b)基于每一 ROI的所述组η个估计的对焦量度值(对应于η个所捕获图像)，确 定每一 ROI的最佳透镜位置(对应于最佳对焦)。(c)使用透镜位置与物距之间的关系(作为例如LUT而可用)，可估计每一 ROI的 深度(或Z距离)且随后产生总体深度图。所产生深度图的精细度或粗糙度水平可取决于以下因素(a)在相机视场(FOV)内定义的关注区(ROI)的数目这确定了 XY(图像)平面 中的深度图分辨率。(b)所捕获图像的数目(对应于透镜位置的数目)这确定了 Z方向上的深度图分 辨率(深度/Z距离分辨率)。下文在表II中展示粗略深度图的实例 如从此深度图所见，大部分ROI处于约80cm处。更具体来说，相机的视场中的中 心区域在约80cm处。在此情况下，由于中心区域相对靠近相机，如下促进了闪光/不闪光选择应在低 照度条件下使用闪光灯。如图9所示，展示每一 ROI的最佳透镜位置。将此透镜位置用以基于所存储的图 12中的数据点来确定距离。在此实例中，每一关注区的量和大小是预定义的，且此处展示 为25的量且每一关注区的大小相同。然而，也可采用不同量和不同大小的区，例如围绕视 场中心的较小区和围绕周边的较大区(或反之亦然)，或任何其它合适的配置。另外，在此
14实例中，基于对焦量度信息确定每一关注区的最佳透镜位置包含确定所捕获图像的每一 关注区的对焦量度信息，确定每一关注区和在下一透镜位置处捕获的下一图像的下一对焦 量度信息，确定在接下来的透镜位置处的额外接下来的图像中的每一关注区的额外接下来 的对焦信息，直到所述组透镜位置为空为止。当这正在发生时，每一后续方法包含将每一关 注区和每一所捕获图像的对焦量度信息与先前所捕获关注区和先前所捕获图像进行比较， 且将特定关注区的较好或较高量度存储在深度图中。由此，更新深度图的内容以使得较不 清晰的关注区的量度被对应关注区的较高清晰度量度替代，直到所述组的所有图像已经评 估为止。深度图虽然被展示为包含多片信息，但可仅存储图像的每一关注区的最佳透镜位 直之集合。图10说明用于使用不均勻透镜位置产生深度图的方法。在此实例中，深度图产生 逻辑602通过(例如)经由设备中的可编程寄存器存取预存储的制造数据来辨识相机的特 定透镜类型1000。一旦已确定透镜类型，便可使用透镜类型信息从存储器存取特定组的不 均勻透镜位置数据。举例来说，可使用查找表来将透镜类型数据转换为透镜位置。一旦已识别了特定组的不均勻透镜位置数据，方法就类似于上文关于使用均勻透 镜位置信息所描述的那样。举例来说，如步骤1004中所示，方法包含基于不均勻透镜焦点 位置数据而将透镜配置或移动到不均勻透镜位置。如步骤1006中所示，随后捕获对应图 像，且随后确定图像中的关注区的对焦清晰度信息133，如框806中所示。如框1010中所 示，方法包含确定是否已将所有透镜位置用以捕获图像。如果否，那么方法包含如步骤1012 中所示将透镜移动到对应于下一透镜位置数据点的下一位置。然而，如果已捕获对应于所 述组透镜位置的所有图像，那么方法包含确定所有图像的所有关注区的透镜位置，如框810 中所示。这可包含例如在每一相应图像已被捕获之后确定每一图像的每一关注区的清晰度 信息，且随后如果已获得与同一关注区相关联的较高量度则重写存储器中的量度(如果在 深度图中)。如框812中所示，方法包含如上文所述产生深度图。图11说明系统1100的一个实例，其包含帧信息传输装置1102(例如设备100)和 帧信息接收装置1104。传输装置可为例如相机手机或任何其它合适装置，且接收装置1104 可为另一相机手机、数字电视、桌上型计算机、膝上型计算机或任何其它合适装置。在此实 例中，传输装置(也可为接收装置)使用例如JPEG编码逻辑148 (见图4)用例如JPEG压 缩算法或任何其它合适压缩算法(例如用于动画的MPEG)来压缩最终帧或其部分。随后传 输所存储的深度图604(即，表示表II中的数据的数据)和经编码帧198以传达至接收装置 1104。这可包含(例如)通过例如因特网的网络或以任何合适方式无线地传达信息。另 外，经压缩的帧信息可为经压缩的完整帧，或帧的经压缩行，或多个帧的信息或任何其它合 适的经压缩帧信息。通过使用高得多数目的ROI和高得多数目的透镜位置，可沿着所有三 个XYZ轴以高得多的分辨率创建深度图。这可用以产生3D图像数据。深度图数据可附加 到经压缩或未经压缩的2D图像数据且随后可一起传输。接收装置1104包含对应的解压缩器1106、3D图像产生器1108和(如果需要)显 示器1110。在操作中，接收装置接收经压缩帧信息198和对应深度图604，且使用对应解压 缩算法(对应于用以压缩信息的压缩算法)解压缩经压缩的帧信息198。经解压缩的帧信 息1112随后连同深度图信息604 —起被提供到3D图像产生器，例如3D图形处理器或任何 其它合适结构。如虚线箭头1114所示，深度图也可被压缩且随后被解压缩以供3D图像产
15生器1108使用。3D图像产生器可随后使用解压缩的帧信息和深度图信息，以便基于此信息 产生3D图像。深度图604是如上所述的基于单个相机的深度图604，其中利用单个相机来 基于如上所述的均勻或不均勻透镜位置拍摄帧序列。 已仅为了说明和描述而不是限制的目的呈现了上文对本文描述的本发明和实例 的详细描述。因此预期本发明涵盖属于上文揭示和本文主张的根本原理的精神和范围内的 任何和所有修改、变化或均等物。
权利要求
一种方法，其包括使用数码相机捕获对应于基于透镜位置数据的一组透镜位置的一组图像；确定所述组的每一图像中的多个关注区中的每一者的对焦量度信息；基于来自所述组中的所述图像的所述对焦量度信息确定所述关注区中的每一者的最佳透镜位置；基于所述最佳透镜位置产生深度图；以及基于所述产生的深度图执行图像产生操作。
2.根据权利要求1所述的方法，其中所述透镜位置数据包括所存储的预定不均勻透镜 位置数据。
3.根据权利要求1所述的方法，其中执行所述图像产生操作包括以下各项中的至少一 者对于最终图像捕获，控制所述透镜以对焦于特定关注区上；控制图像颜色产生；和控制 闪光灯操作。
4.根据权利要求1所述的方法，其中捕获对应于基于所述透镜位置数据的一组透镜位 置的一组图像包括在第一透镜位置处捕获图像； 选择选自所述透镜位置的下一透镜位置； 在所述下一透镜位置处捕获下一图像；以及在额外的接下来的透镜位置处捕获额外的接下来的图像，直到所述组为空为止。
5.根据权利要求1所述的方法，其中每一关注区的量和大小是预定义的。
6.根据权利要求1所述的方法，其中基于所述对焦量度信息确定所述关注区中的每一 者的最佳透镜位置包括确定所捕获图像的每一关注区的对焦量度信息；确定在选自所述透镜位置的下一透镜位置处捕获的下一图像中的每一关注区的下一 对焦量度信息；确定在额外的接下来的透镜位置处的额外的接下来的图像中的每一关注区的额外的 接下来的对焦量度信息，直到所述组透镜位置为空为止；以及比较每一所捕获图像中的每一关注区的对焦量度信息，且基于最有利的对焦量度信息 而存储每一关注区的最佳透镜位置。
7.根据权利要求1所述的方法，其中基于所述最佳透镜位置产生深度图包括存储图像 的每一关注区的一组最佳透镜位置。
8.一种设备，其包括单个数码相机，其操作以使用基于透镜位置数据的多个透镜位置捕获一组图像；以及 深度图产生逻辑，其操作以确定所述组的每一图像中的每一关注区的对焦量度信息， 且基于所述对焦量度信息确定所述关注区中的每一者的最佳透镜位置，且基于所述对焦量 度信息产生深度图。
9.根据权利要求8所述的设备，其包括 存储器，其含有透镜位置数据；以及逻辑，其操作以基于所述产生的深度图来执行图像产生操作。
10.根据权利要求8所述的设备，其包括压缩器，所述压缩器操作以压缩最终帧的帧信息，且其中所述设备操作以将所述经压缩帧信息和对应的深度图传输到远程装置。
11.根据权利要求8所述的设备，其中所述深度图产生逻辑操作以 确定所述组的每一图像中的多个关注区中的每一者的对焦量度信息；基于来自所述组中的所述图像的所述对焦量度信息确定所述关注区中的每一者的最 佳透镜位置；且其中所述设备包括操作以基于所述产生的深度图执行图像产生操作的逻辑。
12.—种系统，其包括 第一设备，其包括单个数码相机，其操作以使用基于透镜位置数据的多个透镜位置捕获一组图像以产生 深度图；深度图产生逻辑，其操作以确定所述组的每一图像中的关注区中的每一者的对焦量度 信息，且基于所述对焦量度信息确定所述关注区中的每一者的最佳透镜位置，且基于所述 对焦量度信息产生所述深度图；压缩器，其操作以压缩最终帧的帧信息，且其中所述设备操作以将所述经压缩帧信息 和所述深度图传输到第二装置； 所述第二设备包括解压缩器，其操作以解压缩所述经压缩帧信息；以及三维图像产生器，其操作以使用所述经解压缩帧信息和所述深度图产生三维图像。
13.根据权利要求12所述的系统，其包括 存储器，其含有透镜位置数据；以及逻辑，其操作以基于所述产生的深度图来执行图像产生操作。
14.根据权利要求13所述的设备，其包括压缩器，所述压缩器操作以压缩最终帧的帧 信息，且其中所述设备操作以将所述经压缩帧信息和对应的深度图传输到远程装置。
15.根据权利要求13所述的设备，其中所述深度图产生逻辑操作以 确定所述组的每一图像中的多个关注区中的每一者的对焦量度信息；基于来自所述组中的所述图像的所述对焦量度信息确定所述关注区中的每一者的最 佳透镜位置；且其中所述设备包括操作以基于所述产生的深度图执行图像产生操作的逻辑。
16.一种方法，其包括使用第一设备的数码相机捕获对应于基于透镜位置数据的一组透镜位置的一组图像；确定所述组的每一图像中的多个关注区中的每一者的对焦量度信息； 基于来自所述组中的所述图像的所述对焦量度信息确定所述关注区中的每一者的最 佳透镜位置；基于所述最佳透镜位置产生深度图；压缩由所述相机捕获的最终图像；将所述经压缩最终图像和所述深度图发送到第二设备；由所述第二设备解压缩所述最终图像；以及显示使用经解压缩帧信息和所述深度图产生的三维图像。
全文摘要
本发明揭示一种设备和方法，其中使用单个相机(例如，相机的单个透镜)产生深度图且由所述相机捕获多个图像。在一个实例中，使用单个数码相机捕获对应于基于透镜位置数据的一组透镜位置的一组图像。在此实例中，透镜位置数据可为均匀或不均匀的透镜位置数据。所述方法和设备确定一组图像中的每一图像中的多个关注区中的每一者的对焦量度信息。基于来自所述组中的所述图像的所述对焦量度信息确定所述关注区中的每一者的最佳透镜位置，且将其作为数据存储于深度图中。随后基于所述产生的深度图执行图像产生操作，例如确定是否使用闪光灯来捕获最终图像、确定将对最终图像执行的颜色操作的类型、或任何其它合适的图像产生操作。在一个实例中，通过在捕获的各个图像中针对特定关注区选择最佳对焦量度而产生所述深度图。一旦使用来自多个图像的数据产生所述深度图，则基于深度图的控制逻辑就确定如何使用所述深度图来实现图像处理操作。除了其它优点外，无需采用多个相机，也无需采用外部光传感器来产生用于在图像处理操作中使用的深度图。所属领域的技术人员将认识到其它优点。
文档编号G03B13/36GK101918893SQ200880122757
公开日2010年12月15日 申请日期2008年12月29日 优先权日2007年12月27日
发明者利萨·萨法伊-拉德, 米利沃耶·阿列克西克 申请人:高通股份有限公司