专利名称：提供改进的聚焦能力的多镜头照相机的制作方法
技术领域：
本发明涉及产生数字图像文件的数字照相机，并且更具体地，涉及 使用多个镜头和图像传感器来提供改进的聚焦能力的数字照相机。
背景技术：
目前，大部分数字照相机使用变焦拍摄镜头和单一彩色图像传感器 来拍摄静止和运动图像。然后处理拍摄的图像以产生数字图像文件，该 数字图像文件存储在照相机中的数字存储器中。然后该数字图像文件可 以被传送到计算机，被显示、打印并通过网络共享。
为了拍摄运动被摄体的清晰图像，数字照相机需要提供精确的自动 镜头调焦系统(即自动调焦系统)。自动调焦系统必须能够快速地获取 正确的聚焦，以便最小化按下快门按钮的时间与拍摄静止图像的时间之 间的"快门延迟"。自动调焦系统还必须工作在拍摄视频图像的连续图 像拍摄模式下。例如，在视频模式下，在正在连续拍摄视频图像时，应 该实时地调节焦另巨。
许多数字照相机和扫描仪使用图像传感器和具有可调焦距的拍摄 镜头系统来拍摄图像。典型地，可以通过感测、控制以及驱动系统将这 样的可调焦距拍摄镜头系统的焦距自动地设置为多个不同设置中的一 个，其中所述感测、控制以及驱动系统被适配为提供在场景中被确定为 被摄体区域的区域的最优聚焦。自动提供基于焦距测量和可调焦距镜头 的可调焦距设置的镜头系统在这里被称为自动调焦系统。数字照相机典
型地4吏用如下两种自动调焦系统中的一个测距系统和"通过透镜"调 焦系统。
测距系统使用诸如声波测距器或双镜头测距器的测距传感器来确 定从照相机到测距系统的视场内的场景的一个或多个部分的距离。声波 测距器测量发射的声波信号和反射的声波信号之间的相位偏移以推断 到场景中的被摄体的距离。双镜头测距器包含沿拍摄匹配的成对图像的 两个匹配的传感器区域分离开距离的两个镜头。双镜头测距器通常以双镜头测距器模块的形式在数字照相机上被使用，所述双镜头测距器模块 包含沿拍摄匹配的成对低分辨率图像的两个匹配传感器区域分离开距 离的两个镜头。
普通双镜头基于测距器的自调焦系统包括主动和被动系统。主动系 统主动地将光发射到场景上，而被动系统与来自场景的可用光 一 起工
作。双镜头测距器才莫块可以/人Fuji Electric在诸如FM6260W的一些型号 中购买。用于诸如照相机的光学设备的双镜头测距器;f莫块在1986年8 月16日授权给Haruki等人(并转让给Fuji Electric)的美国专利第 4,606，630号中被描述。根据这个专利中的现有技术的说明，分析匹配的 成对低分辨率图像以得到两个图像之间的相关性，从而确定由两个镜头 之间的分开而引起的这两个图像之间的偏移。
这里在图27中示出表示传统的测距器的操作原理的图。在该图中， 来自被摄体151的光入射到两个小透镜152和153上，这两个小镜头具 有足够短的焦距f从而使得通过不同的间隔开的路径154和155从^皮摄 体所接收的光线在透镜152与153共用的焦平面156内生成相应的间隔 开的图^象157和158。当一皮4聂体151位于无穷远距离处时，图4象157和 158的中心位于图27中的基准位置170和180处，但是当被摄体151位 于较近的距离处时，图像的中心偏移到位置171和181。如果图像157 和158从基准位置170和180而偏移的距离被分别表示为x!和X2,那么 总位移x可以表示如下
x=xi+X2=b.f/d
因此，到被摄体151的距离d可以由d=b.f/x来测量。在这种情况 下，b是小透镜的光轴之间的距离，即基长(base length)。为了获得偏 移量X!和X2或者二者的和X,在焦平面156内配置两个光学传感器阵列 190和191,如图27所示。这些光学传感器阵列每个均包括多个光学传 感器(例如CCD装置)，并且由每个光学传感器生成与入射到传感器 上的图像部分的光强度相对应的模拟光电信号。Haruki等人示出了传统 的电路，以及根据本专利的速度更高的测距电路，该测距电路通过比较 包括来自左光学传感器阵列和右光学传感器阵列的数字图像信号的两 个图像信号列来获得偏移距离的总和x。
基本地，沿着镜头分离距离b和焦点距离f使用偏移信息x来通过 三角测量法来计算到场景的距离。使用所计算出的到场景的距离d来指引可调焦距镜头的定位以产生最好的图像质量。如现有技术所已知的， 该调节可以基于在由双镜头测距器模块所测量的到场景的距离与通过 "通过透镜"自动调焦系统所生成的 一 系列最佳聚焦图像之间所建立的 校准曲线。将该校准曲线作为等式或查找表存储在照相机中的微处理器中。
基于测距器的自动调焦系统具有非常快速的优点，其中某些系统具
有可以在0.01-0.05秒的范围内的响应时间。但是，由一些基于测距器 的自动调焦系统所产生的聚焦质量可以在这些系统被用于不同的操作 条件中时而不同。例如，声波自动调焦系统不能通过玻璃窗口聚焦，这 是因为玻璃阻止反射的声波信号，从而导致自动调焦系统聚焦到该玻璃 上。在双镜头测距器自动调焦系统的情况下，双镜头测距器的精度通常 受到诸如温度和/或湿度的环境条件的变化的影响。双镜头测距器模块的 问题在于双镜头测距器模块和可调焦距镜头位置之间的校准在数字照 相机的正常运行环境内不稳定。诸如温度和湿度的变化的环境条件可以 导致通过双镜头测距器^t块而测得的到场景部分的距离改变大于10%。 此外，所测得的在可调焦距拍摄镜头系统中的可调焦距拍摄镜头的位置 易于发生环境诱导的改变，使得在可调焦距镜头的控制系统中产生不准 确。因此，典型地不单独使用双镜头测距器模块用于数字照相机中的自 动调焦，相反使用其用作通过"通过透镜"自动调焦系统而补充的粗略 聚焦调节。
可替代地，该"通过透镜"自动调焦系统通过对利用位于多个不同 的聚焦位置处的可调焦距镜头系统所拍摄的 一 系列自动聚焦图像进行 分析来确定聚焦状态。例如，在典型的"通过透镜"自动调焦系统中， 在所谓的"爬坡"方法中利用一系列位于不同位置的可调焦距镜头来拍 摄多个自动聚焦图像(例如，5-20个)。由于这种类型的自动调焦产生 水平增大直到越过峰值即"坡"为止的值序列，因此这种类型的自动调 焦被称为"爬坡"自动调焦。换而言之，自动地调整镜头聚焦位置直到 图像中的边缘细节或图像的特定区域的对比度最大化为止。例如，比较 存在于各个自动聚焦图像中的对比度，并且认为已经以最佳聚焦状态拍 摄了具有最大对比度的自动聚焦图像(通常通过在两个图像之间插入对 比度值而进一步细化最佳聚焦镜头位置)。
为了降低聚焦响应时间而不牺牲聚焦精度，通常使用滤波器来不仅分离视频信号的高频分量还分离低频分量。例如，可以在最远离最大焦 距的低频范围中在粗调步骤中快速驱动镜头，然后在较靠近最大焦距的
高频范围中在精细调节步骤中驱动镜头。图28示出传统的"爬坡"对 比度自动调焦算法的流程图。该算法使用如上所述并且如图29的图所 示的"爬坡"对比度自动调焦方法，图29示出了从滤波器获得的聚焦 值与镜头位置之间的关系。在图29中，横坐标表示沿着距离轴的镜头 的聚焦位置，纵坐标表示聚焦评估值，并且曲线A和B分别表示相对于 特定的对焦位置P的高频分量和低频分量的聚焦评估值。
参考图28的流程图，算法的最佳开始点取决于作为焦距设置和f 数的函数的当前镜头设置的超焦距。通常，大约2米的距离是好的开始 点。然后，加载低频带通滤波器(步骤197)并读出聚焦值。该算法采 用比较步骤198将镜头调节的方向设置为朝向增大聚焦值的方向，并确 定镜头何时步进超过"坡"。取决于当前焦距和f数的景深设置使用低 频带通滤波器时在拍摄下一帧之前应该采取的步骤的数量，即下一接近 聚焦位置。 一旦经过了坡(图29中的曲线B),则加载高频带通滤波器
(步骤199),并在相反方向上移动镜头直到找到更高的"坡"的峰(图 29中的曲线A)为止。峰聚焦值可以使用多个像素的加权平均值或峰值。 "通过透镜"自动调焦系统非常精确，这是因为这些系统直接根据 利用高质量拍摄镜头所拍摄的自动聚焦图像来测量聚焦质量。遗憾的 是，"通过透镜"自动调焦系统由于必须拍摄和比较大量自动聚焦图像 而在确定聚焦设置时可能会相对较慢。例如，"通过透镜"自动调焦系 统可能需要0.5-2.0秒之长来确定聚焦状态。
因此，在一些数字照相机中，两种自动调焦系统被一起用于混合系 统中，在所述混合系统中，使用基于测距器的自动调焦系统来提供可调 焦距镜头的快速估计，随后利用"通过透镜"自动调焦系统来细化聚焦 设置。例如，以Misawa的名义于2005年3月8日被授权且发明名称为
"Focusing Apparatus for Adjusting Focus of an Optical Instrument" 的美 国专利第6,864,474号描述了基于测距器的自调焦系统与"通过透镜" 自动调焦系统的协同使用。在Misawa中，通过基于测距器的自动调焦 系统和"通过透镜"自动调焦系统两者来确定可调焦距拍摄镜头的聚焦 位置。存储通过基于测距器的自动调焦系统所确定的可调焦距拍摄镜头 位置与通过"通过透镜"自动调焦系统所确定的可调焦距拍摄镜头位置之间的差以供将来参考。在随后的图像拍摄阶段中，使用所存储的差信 息来细化在"爬坡"方法中由"通过透镜"自动调焦系统为了确定最佳 聚焦的可调焦距镜头位置而拍摄和分析的自动聚焦图像的数量，从而在 测距器系统是精确的情况下减小拍摄和处理的自动聚焦图像的数量，并 在测距器不精确的情况下增大拍摄和处理的自动调焦图像的数量。但
是，Misawa所述的方法假定测距器、可调焦距拍摄镜头系统和控制系 统的性能相对于时间是一致的，没有随着环境条件的变化而波动，相对 于时间也没有其他变化或漂移。
在图像对焦后，典型地，"爬坡"方法在当前被聚焦的被摄体附近 横跨递增的距离而运行。然后，在重新聚焦图像时，"爬坡"方法通常 判断任意镜头移动是否正步进"上坡或下坡，，，并为新的最大值而复位 镜头。实际上，这意味着如果镜头移动步进"下坡，，，则立即将镜头运 动反向，以寻找现有被摄体的新的最大值。这在视频聚焦中是特定问题， 其中在视频聚焦中，远离当前被摄体一定距离的新的被摄体可能进入图 像且不能由"爬坡，，方法检测到，甚至新的被摄体可能存在对比度形式 的更大的"坡"。响应于该问题的一种方式被称为"整体方式"自动调 焦，在该方式下，自动调焦模块在确定聚焦位置之前查看拍摄镜头可辨 别的所有距离。
共同转让的美国专利第6,441,855号说明了 "整体方式"自动调焦 方法，在该方法中，调焦装置包括被适配为横跨整个调焦范围移动到不 同位置的可移动调焦镜头、用于将入射到调焦镜头并透射过调焦镜头的 光转换为信号的转换元件以及用于移动调焦镜头的镜头驱动机构。调焦 装置还包括用于基于来自转换元件的信号计算调焦镜头的每个位置的 聚焦估计值的聚焦估计值计算单元。聚焦估计值计算单元仅提取与所限 定的聚焦区域(例如在图像的中央)中的像素相对应的信号，其中该聚 焦区域进一步被分为九"块"，即通过将聚焦区域分割为用作观察区域 的少量的行和列而获得的块。
在计算聚焦估计值时，对于不同的距离设置，首先针对聚焦估计值 的计算是否已经重复了例如十次的特定次数进行判断。当判断为否时， 调焦镜头移动预设的步宽，并重复该计算。因此，总是逐步地从无穷远 位置向最近位置来移动调焦镜头，并且对于每一步移动，都对每块计算 聚焦估计值。对各块进行这些计算，从而为九个块中的每一块获得十个镜头位置的聚焦估计值，包括横跨总距离而找到的所有峰值。使用对各 镜头位置而获得的十个总和作为聚焦估计值，将产生最大峰值的调焦镜 头位置确定为对焦镜头位置。然后，将镜头驱动输出应用于镜头驱动机 构以使镜头移动到确定出的对焦位置。
为了提供具有大的"光学变焦范围"的小尺寸数字照相机，如共同
转让的美国专利申请序列号第11/062,174号中所述，数字照相机可以使 用具有不同焦距的镜头的多个图像传感器，其中，该美国专利申请的发 明名称为"使用多个镜头和图像传感器以提供改进变焦范围的数字照相 机(Digital Camera Using Multiple Lenses and Image Sensors to Provide a Improved Zoom Range )，，，于2005年2月18日以Labaziewicz等人的 名义提交，并且该专利的公开内容通过引用包含于此。例如，为了提供 10x光学变焦范围，Kodak Easyshare V610双镜头数字照相机包括 38画114mm (35 mm等效的)f/3.9画f/4.4镜头和130-380mm ( 35 mm等 效的)f/4.8镜头。然而，在该专利申请和产品这两者中，每次仅使用这 两个图像传感器中的一个。这两个图像传感器没有同时拍摄图像。
于2003年1月30日乂>开的美国专利申请公开号US 2003/0020814 公开了 一种具有多个拍摄光学系统的摄像设备，每个拍摄光学系统各自 耦合到CCD图像传感器，并且所述多个拍摄光学系统包括具有较短焦 距的第 一 系统和具有较长焦距的第二系统。在该公开中所说明的各实施 例中，两个镜头可以提供不同的焦距范围(包括一个系统具有固定焦距， 另一个系统具有变焦镜头)，或者这两个镜头均可以是被设置为两个不 同焦距设置的固定焦距镜头。在各自的每种情况下，选择单元都基于由 拍摄状态获取单元确定出的诸如测量出的距离或亮度的拍摄状态，自动 选择来自拍摄光学系统的其中一个的拍摄信号，而非获得用户输入。使 用单独的距离传感器来提供这些系统的自动调焦。两个CCD图像传感 器均未用于自动调焦操作。
于2003年8月23日公开的美国专利申请公开号US 2003/0160886 公开了具有相互独立的两个拍摄系统的数字照相机。 一个实施例示出了 各自生成图像的包括单焦距"普通模式"镜头的一个系统和包括变焦"远 距才莫式"的另一个系统。操作者致动切换开关判断要记录哪个图像。还 结合单独的拍摄系统公开了自动调焦，其中用于一个系统中的"爬坡" 对比度比较技术补充用于另一个系统中的"爬坡"对比度比较技术。当期望从远距模式光学系统拍摄图像时，通过普通模式光学系统(其中焦 深相对大)进行粗略自动调焦搜索(其中可以以多步间隔来驱动步进电 动机)。该粗略搜索导致包括聚焦位置的焦距范围的减小。使用普通才莫 式光学系统所提供的焦距范围信息，将远距模式光学系统驱动到减小的 焦距范围的一端处的自动调焦搜索开始位置。然后，仅在由普通模式自 动调焦搜索所确定出的减小的焦距范围中，通过远距才莫式光学系统(其 中焦深相对较短)进行精细自动调焦搜索。(当期望从普通模式光学系 统拍摄图像时，仅通过普通模式光学系统进行自动调焦搜索，而远距才莫 式光学系统不参与自动调焦搜索。)
在不依赖于上述粗略搜索和精细搜索的美国专利申请公开号US 2003/0160886中的另一实施例中，在逐步地驱动第一光学系统的调焦賴: 头以从无穷远距离设置向着最近距离位置移动的同时进行"爬坡"对比 度比较搜寻，并在逐步地驱动第二光学系统的调焦镜头以从最近位置向 着无穷远设置移动的同时进行第二 "爬坡"对比度比较搜寻。尽管系统 通常都不需要移动通过其整个范围，然而该过程继续，直到定位了最大 对比度位置为止。这导致减少了用于检测聚焦位置的时间段。在该实施 例中，每一个光学系统可以用于拍摄图像和聚焦调节，或者一个光学系 统可以用于拍摄图像和焦距调节，另 一个光学系统可以仅用于摄像光学 系统的焦距调节。在另一实施例中，在非拍摄光学系统首先确定聚焦位 置的情况下，将拍摄光学系统驱动到该位置，然后通过摄像光学系统进 行精细调节。
这些现有技术的系统的问题在于或者必须使用单独的自动调焦传 感器(因此增加成本)或者由于使用用于拍摄图像的相同传感器来进行 自动调焦由此通常存在显著的"快门延迟"。而且，单独的自动调焦传 感器通常是测距器，并且如上所述，双镜头测距器才莫块和可调焦距镜头 位置之间的校准在数字照相机的常规操作环境下不稳定。在利用"通过 透镜"拍摄系统进行自动调焦的情况下，由于必须拍摄和比较大量自动 聚焦图像，因而在确定聚焦设置时处理可能相对慢。根据前述美国专利 申请公开号US 2003/0160886,该问题可以多少被緩和，但是在随着净皮 摄体改变或运动而快速实现聚焦时，或者当操作者选择将拍摄功能从一 个拍照系统改变到另一个时快速交换光学系统的调焦需求时，仍然存在 困难。在视频拍摄时出现一个特殊问题，其中从相同的 一 系列静止图像或 组成视频图像的帧来得到自动聚焦图像。因此，自动调焦的处理可能导
致每当场景改变时在视频中生成5-20个或更多的离焦视频图像。结果， 在随着照相机的平移运动(其中场景连续变化)进行-魄频拍摄期间，在 自动调焦系统搜索正确的聚焦时大部分视频实际上离焦。进一 步的问题 在于在视频拍摄期间，许多帧由于利用使用"爬坡方法，，进行聚焦的自 动调焦系统而离焦。
因此需要一种在不会过分增大数字照相机的大小或成本的情况下 提供静止和视频模式二者下的精确、快速的自动调焦的数字照相机。
发明内容
本发明的一个目的是在不过分增大照相机的大小或成本的情况下 在多镜头数字照相机中提供改进的自动聚焦能力。
本发明的另一个目的是提供用于静止和视频图像两者的改进的自 动聚焦能力。
本发明的又一 目的是提供在拍摄可用于控制重新调焦操作的视频 图像期间对聚焦状态的变化的测量。
本发明的另一目的是为了控制重新调焦操作的目的而提供对到场 景的距离的变化的测量。
致力于克服上面提出的问题中的一个或多个的本发明涉及一种电 子照相机，该电子照相机用于从所拍摄的图像信号产生场景的输出图 像。简而言之，根据本发明的第一实施例，本发明包括
第一摄像平台，其包括用于生成第一传感器输出的第一图像传感 器、用于在所述笫一图像传感器上形成场景的笫一图像的第一镜头以及 用于响应于第 一聚焦检测信号而调节所述第 一镜头的聚焦的第 一镜头 聚焦调节器；
第二摄像平台，其包括用于生成第二传感器输出的第二图像传感 器、用于在所迷第二图像传感器上形成场景的第二图像的第二镜头以及 用于响应于第二聚焦检测信号而调节所述第二镜头的聚焦的第二镜头 聚焦调节器；以及
处理平台，用于或者(a)选择来自第一摄像平台的传感器输出作 为所拍摄的图像信号并使用来自第二摄像平台的传感器输出来生成用于所选择的摄像平台的所述第一聚焦检测信号，或者(b)选择来自第 二摄像平台的传感器输出作为所拍摄的图像信号并使用来自第 一摄像 平台的传感器输出来生成用于所选择的摄像平台的所述第二聚焦检测 信号，其中所述聚焦检测信号被应用于所选择的摄像平台的镜头聚焦调 节器，以便调节图像的聚焦，从而提供所拍摄的图像信号的传感器输出。 特别地，关于用于从所拍摄的图像信号产生场景的输出视频图像的
视频摄像机，根据本发明的第二实施例，本发明还包括
第 一摄像平台，其包括用于生成第 一传感器输出的笫 一 图像传感
器、用于在所述第一图像传感器上形成场景的第一图像的第一镜头以及
用于响应于聚焦改变检测信号而连续地重新调节所述第一镜头的聚焦
的第一镜头聚焦调节器；
第二摄像平台，其包括用于生成第二传感器输出的笫二图像传感器
以及用于在所述第二图像传感器上形成场景的第二图像的第二镜头；以
及
处理平台，用于使用来自第 一摄像平台的传感器输出作为所拍摄的 图像信号并产生所述场景的输出视频图像，所述处理平台使用来自第二 摄像平台的传感器输出来检测所述场景的所述视频图像的聚焦变化，并 产生用于第一摄像平台的聚焦变化检测信号，其中所述聚焦变化检测信 号被应用于第 一摄像平台的镜头聚焦调节器，以便连续地重新调节所述 第一图像的聚焦，从而提供所拍摄的图像信号的输出。
简而言之，本发明一般地包括在多镜头数字照相机中使用两个(或 更多)摄像平台，其中摄像平台包括传感器、镜头和镜头聚焦调节器， 在多镜头数字照相机中，所述两个(或更多)摄像平台可以用于分离 地拍摄相同场景的各部分的图像，从而使得一个摄像平台可以用于自动 调焦，而其它的摄像平台可以用于拍摄静止图像或视频；或者可替代地， 可以相互比较由所述两个(或更多)摄像平台所拍摄的图像，以便为了 自动调焦控制的目的通过三角测量法来测量到场景的各部分的距离。
因此，在利用本发明时，有益地数字照相机提供静止和视频模式两 者下的精确、快速的自动调焦，而不会过分地增大数字照相机的大小或 成本。
考附图，可以更清楚地理解和领会到本发明的这些和其它方面、目的、特征和优点。
图1示出根据本发明的使用具有第 一 图像传感器的第 一变焦镜头和 具有第二图像传感器的第二变焦镜头的数字照相机的第 一 实施例的框图。
图2A和2B是图1所示的数字照相机的两个全景图。
图3示出表示根据本发明的第一实施例的、用于使用图l所示的数
字照相机进行自动调焦并拍摄数字静止图像的方法的流程图。
图4示出表示用于使用利用两个摄像平台的测距器方法进行自动调
焦的方法的流程图。
图5示出表示用于使用利用两个摄像平台的"爬坡方法"进行自动
调焦的方法的流程图。
图6示出表示用于生成自动调焦测距器校准曲线的方法的流程图。 图7示出表示用于生成自动调焦"爬坡方法"校准曲线的方法的流程图。
图8示出表示根据本发明的第二实施例的、用于使用图l所示的数 字照相机进行自动调焦并拍摄数字视频图像的方法的流程图。
图9示出表示用于以利用两个摄像平台的测距器方法进行自动调焦 的方法的流程图。
图10示出表示用于以利用两个摄像平台的"爬坡方法"进行自动 调焦的方法的流程图。
图11示出用于利用两个摄像平台生成范围映射的方法。
图12示出根据本发明另一实施例的使用具有第一图像传感器的第 一固定焦距镜头和具有第二图像传感器的第二(变焦)镜头的数字照相 机的框图。
图13示出根据本发明另一实施例的使用具有第一图像传感器的第 一固定焦距镜头、具有第二图像传感器的第二 (变焦)镜头以及具有第 三图像传感器的第三(变焦)镜头的数字照相机的框图。
图14示出表示用于通过使用来自两个摄像平台的图像来增强图像 景深的方法的流程图。
图15A和图15B示出根据本发明另一实施例的具有两个摄像平台的移动电话照相机的图。
图16A和图16B示出移动电话照相机的在单个平台中包括两个才聂 像平台的平台的图。
图17A和图17B是利用两个摄像平台拍摄的、示出用来确定到场景 的部分的距离的两个图像之间的偏移的图像的代表。
图18示出用于确定场景的部分的GPS位置的方法的流程图。
图19示出用于选择双镜头照相机系统中的摄像平台的其中一个作 为主拍摄单元、而将另一摄像平台降级为其它功能(诸如场景分析)的 流程图。
图20示出表示用于场景分析的非主拍摄单元的使用的流程图。
图21示出表示无论何时场景状态的变化超过阈值时用于场景分析 的非主拍摄单元的使用的流程图。
图22示出表示主拍摄单元和用于场景分析的非主拍摄单元这两者 的使用的流程图。
图23示出表示拍摄单元的功能的转换的流程图，即将当前的场景 分析和主拍摄单元分别重设为主拍摄单元和场景分析拍摄单元。
图24示出表示具体地在拍摄处理期间使用由主拍摄平台拍摄的预 览图像来设置主拍摄平台的拍摄单元参数的流程图。
图25示出表示具体地在拍摄处理期间使用由主拍摄平台拍摄的预 览图像和由非拍摄平台拍摄的场景分析图像来设置主拍摄平台的拍摄 单元参数的流程图。
图26示出表示使用由主拍摄平台拍摄的主图像和由非拍摄平台拍 摄的补充图像来产生增强图像的流程图。
图27示出表示传统的双镜头测距器的操作的图。
图28示出传统的"爬坡"对比度自动调焦算法的流程图。
图29示出从用于分离图像的成分的滤波器中获得的聚焦值和"爬 坡"自动调焦方法的镜头位置之间的关系。
具体实施例方式
因为采用摄像装置和用于信号处理的相关电路的数字照相机众所 周知，因此本说明书将尤其针对形成根据本发明的设备的部分的元件， 或更直接地与该设备相互协作的元件。这里没有具体示出或说明的元件可以从现有技术已知的元件中选择。要说明的实施例的特定方面可以设 置在软件中。假定根据本发明在以下材料中所示和所述的系统，这里没 有具体示出、说明或建议出的对实现本发明有用的软件是传统的，且属 于这些技术的常用手段。
这里说明的本发明的若干实施例中的每个均包括诸如数子照相机 (静止的或视频的)或者数字扫描器的具有多个摄像平台的摄像组件， 每个摄像平台包括镜头和图像传感器，其中，多个摄像平台的镜头具有 不同的焦距以为摄像组件提供扩展的光学变焦范围。本发明构思使用多 个摄像平台，以附加地提供增强的自动调焦性能。通过使用用于摄像和 自动调焦的摄像平台，在提高拍摄到的静止和视频图像的清晰度并提高 自动调焦系统的响应速度的同时，能够消除专用的自动调焦模块，从而 降低摄像组件的成本和大小。
存在可以使用 一个摄像平台用于拍摄数字静止图像或视频图像而 同时使用另一摄像平台用于诸如增强的自动调焦、生成副图像、产生范 围映射等的其它目的的本发明的多个实施例。在这里所述的本发明的第 一实施例中，当用户已经将变焦位置设置到笫一光学变焦范围内时，包 含第一 (例如，变焦)镜头的第一摄像平台用于拍摄静止图像或视频序 列中的一系列图像，而第二摄像平台为了第一摄像平台的自动调焦而同 时提供图像。由于第二摄像平台没有用于拍摄图像，因此第二摄像平台 中的镜头的聚焦状态能够在例如峰对比度位置的周围(例如，"爬坡" 自动调焦)或从附近的聚焦位置到无穷远聚焦位置(例如，"整体方式" 自动调焦)的更广的范围上进行调整，以在不会不利地影响由第一摄像 平台拍摄的图像的聚焦质量的情况下确定第 一 摄像平台中的镜头的新 的最佳聚焦设置。当已使用第二摄像平台确定了新的最佳聚焦状态时， 第一摄像平台的聚焦状态从先前的最佳聚焦状态改变为新的最佳聚焦 状态。
当用户将摄像组件上的变焦位置调整为第二光学变焦范围时，照相 机自动进行切换以使用第二摄像平台(包含例如第二变焦镜头)来拍摄 图像，并且开始使用第一摄像平台用于第二摄像平台的自动调焦。因为 两个镜头具有不同的焦距，因此它们具有不同的放大率。因此，可以根 据放大率的这种不同调整用于确定自动调焦的数字滤波器，以补偿放大 率的不同。在本发明的该实施例的变形中， 一起使用两个摄像平台来形成类似 于双镜头测距器但具有更高的分辨率的高分辨率测距器，该更高的分辨 率由这两个高分辨率摄像平台以及两个摄像平台中的两个镜头之间的 更大的分离距离而提供。在该变形中，可以使用第一摄像平台来使用"爬
坡"对比度比较方法来提供初始的精确自动调焦；随后，可以结合作为 以差分模式工作的高分辨率测距器的第二摄像平台来使用第 一摄像平 台，以在拍摄数字静止图像之前或在视频拍摄之前或期间检测需要重新 调焦的到场景的距离的变化。通过使用差分模式下的测距器，即，辨别 从已聚焦的位置到在附近改变的聚焦位置的距离的变化，降低了环境变 化对测距器的精度的影响。
在这里所述的本发明的另 一实施例中，在通过第 一摄像平台拍摄数 字静止图像或拍摄视频图像之前，使用"爬坡"对比度比较方法来同时 对两个摄像平台进行自动调焦。然后，第二摄像平台通过测量图像的对 比度来继续检查聚焦；当检测到对比度的变化时，使用第二摄像平台执 行使用"爬坡"对比度比较方法的第二自动调焦操作，以确定聚焦状态 的变化。然后，将第一摄像平台的聚焦改变与使用第二摄像平台确定出 的聚焦变化成比例的量。同样，从由"爬坡"自动调焦所建立的位置开 始执行差分聚焦改变测量，以提高自动调焦处理的准确度。
如在本发明的背景技术中提到的，在视频拍摄期间出现一个特殊问 题，其中从一系列相同的静止图像或构成视频图像的帧中得到自动聚焦 图像。例如，在随着照相机的平移运动(其中场景连续变化)进行视频 拍摄期间，在自动调焦系统搜索正确的聚焦时大部分视频实际上离焦。 而且，由于利用使用"爬坡方法"进行聚焦的自动调焦系统进行聚焦而 使得许多帧离焦，如前所述，在感兴趣的被摄体在场景中突然移动的特 定情况下可能不能辨别改变的聚焦。
因此，在本发明的前述实施例的变形中，当用户已将变焦位置设置 在第一光学变焦范围内时，使用包括第一变焦镜头和与其相关联的图像 传感器的第 一摄像平台来设置用于拍摄诸如视频图像的图像的初始聚 焦，而包括第二变焦镜头和与其相关联的图像传感器的第二摄像平台同 时提供连续的"整体方式"自动调焦输入图像，以判断是否应该由于被 摄体运动而调节第一变焦镜头的聚焦。由于第二变焦镜头和与其相关联 的图像传感器没有用于拍摄运动图像，因而能够将焦距从近聚焦调整到无穷远位置，以便在不影响所拍摄的运动图像的情况下确定最佳聚焦设 置。当用户将变焦位置调整到第一变焦范围的外部时，照相机自动切换 至第二摄像平台，使用第二变焦镜头和与其相关联的图像传感器拍摄运 动序列，并开始使用具有第一变焦镜头和与其相关联的图像传感器的第 一摄像平台来同时判断是否应该由于被摄体运动而调节第二变焦镜头 的聚焦。
还可以将两个摄像平台配置为高分辨率测距器，以确定到以范围映 射的形式的场景的不同部分的距离。然后，为了多种目的，使用范围映 射来更改拍摄到的图像信号或输出图像，其中，所述多种目的诸如(但不
限于)改善图像处理并使得能够改善图像质量；改进图像内的被摄体识 别；使得能够从图像中提取被摄体；使能在多个图像内对被摄体的运动 追踪；使得能够通过模糊期望景深外的被摄体而降低图像的景深；改善 图像内的动态范围；降低由使用闪光灯而引起的曝光问题；以及改善图 像内的场景平衡。
还可以使用包括第 一变焦镜头和第 一 图像传感器的第 一摄像平台 来拍摄第一(即，主)焦距处的第一(即，主)静止图像，而使用包括 第二变焦镜头和第二图像传感器的第二摄像平台来同时拍摄第二(即， 副)焦距处的第二 (即，副)静止图像。使用来自第二摄像平台的传感 器输出用作用于修改主输出图像的副输出图像，从而生成增强的主图像 信号。例如，使用副静止图像来提供增强信号，该增强信号可以例如对 位于副焦距附近的主静止图像的部分进行锐化或者可以修改主静止图 像的动态范围。
如上所述，可以使用来自两个摄像平台的图像来产生标识到场景的 不同部分的距离的范围映射。在这里所述的另一变形中，照相机还包括 用于提供照相机的位置的GPS坐标的GPS单元和用于提供照相机的指 向方向的电子罗盘。因此，可以使用照相机的位置的GPS坐标、照相机 的指向方向以及来自范围映射的距离偏移，以便产生场景的各部分的
GPS坐标。
图1示出根据本发明第一实施例的摄像组件10A的框图。尽管不是 本发明的基本方面，然而摄像组件10A优选地为便携式电池供电的装 置，足够小以使得在拍摄和回放图像时用户能够容易地手持。在优选实 施例中，摄像组件10A是生成存储在可移除存储卡54上的静止图像和运动视频图像这两者的数字照相机。可选地，数字照相机可以仅生成并 存储运动图像或仅生成并存储静止图像。
摄像组件10A包括两个摄像平台1和2，它们具有变焦镜头3和变 焦镜头4。(尽管在大多数情况下每次仅一个平台正在拍摄存储在可移 除存储卡54上的图像，然而以下在本说明书中将这些平台称为摄像平 台。)第一变焦镜头3由笫一镜头聚焦调节器例如变焦和聚焦电动机5a 来控制，并将图像提供给第一图像传感器12。第二变焦镜头4第二镜头 聚焦调节器由例如变焦和聚焦电动机5b来控制，并将图像提供给第二 图像传感器14。每个变焦镜头中的可调光圏和快门组件(未示出)用于控 制向图像传感器12和14的曝光。
图2A和2B示出关于图1所述的摄像组件10A的全景图。图2A是 摄像组件10A的前视图，示出第一变焦镜头3、第二变焦镜头4和闪光 灯48。图2B是摄像组件IOA的后视图，示出彩色LCD图像显示器70 和多个用户控制器42，所述多个用户控制器42包括用于使能摄像序列 的快门按钮42a、用于使得能够选择变焦设置的变焦按钮42c以及用于 对在彩色LCD图像显示器70上显示的图像和菜单选项等进行导航的多 位置选择器42d。
如图1所示，摄像平台1和2包括变焦镜头3和4以及图像传感器 12和14。如图2A所示，尽管变焦镜头3和4是垂直地偏移，然而变焦 镜头3和4可以在诸如水平方向的其它方向上偏移。另外，根据本发明 的另一实施例，变焦镜头3和4中的其中一个(或两者)可以用固定焦 距镜头来代替。在所有情况下，通常变焦镜头3和4以及传感器12和 14的光轴相对于彼此对准以使得虽然通常具有不同视场但看到基本相 同的场景。在前述共同转让的、其内容通过引用包含于此的美国专利申 请序列号11/062,174中进一步说明了光学部件的配置，其中该专利包括 使用两个以上的摄像平台的多个实施例。摄像平台l和2中的变焦镜头 3和4的配置可以包括折叠光路以改变摄像平台1和2的整体尺寸；然 而，折叠光路在本发明的实施中不是必要的。
在优选实施例中，图像传感器12和14是使用著名的拜尔(Bayer) 彩色滤波器模式以拍摄彩色图像的单芯片彩色百万像素CCD传感器， 但是可以同样好地根据本发明使用诸如CMOS传感器的其它传感器和 诸如条紋滤波器的其它颜色滤波器阵列而没有限制。图像传感器12和14可以具有各种高宽比(例如4: 3图像高宽比)，以及各种分辨率， 例如，总共6.1MP有效百万像素(兆像素)，在该特别的情况下具有 2848有效像素列x2144有效像素行。还应该理解，图像传感器12和14 不需要具有相同的规格。例如，在前述共同转让的美国专利申请序列号 11/062,174中所公开的一些实施例中，图像传感器12和14的大小、分 辨率、颜色滤波器阵列、光谱灵敏度和高宽比可以是不同的。
控制处理器和定时生成器40通过向时钟驱动器13提供信号来控制 第一图像传感器12,并通过向时钟驱动器15提供信号来控制第二图像 传感器14。控制处理器和定时生成器40还控制变焦和聚焦电动机5a和 5b、自动曝光检测器46、用户控制器42、第一和第二数字多路转接器 控制元件34和36以及用于发射光以照亮场景的闪光灯48。如在早前参 考图2B所述那样，用户控制器42用于控制数字照相机10A的操作。
来自第一图像传感器12的模拟输出信号12e通过第一模拟信号处 理器22被放大并转换成第一数字图像信号。将数字化的第一数字图像 信号提供给第一数字多路转接器控制元件34的第一输入以及第二数字 多路转接器控制元件36的第一输入。来自第二图像传感器14的模拟输 出信号14e通过第二模拟信号处理器24被放大并转换成第二数字图像 信号。将数字化的第二数字图像信号提供给第一数字多路转接器控制元 件34的第二输入以及第二数字多路转接器控制元件36的第二输入。第 一多路转接器34的功能是或者选择来自第 一 图像传感器12的第 一传感 器输出12e或者选择来自第二图像传感器14的第二传感器输出14e,作 为摄像信号。第二多路转接器36的功能是或者选择来自第二图像传感 器14的第二传感器输出14e或者选择来自第一图像传感器12的第一传 感器输出12e，作为提供给图像处理器50的自动聚焦图像信号。
控制处理器和定时生成器40控制数字多路转接器34和36以便选 择传感器输出中的一个(12e或14e)作为所拍摄的图像信号，并选择 另一个传感器输出(14e或12e)作为自动聚焦图像信号。由第一数字 多路转接器控制元件34提供的数字数据被暂时存储在DRAM緩冲存储 器38中，并且随后由图像处理器50进行处理以生成可以包含静止数字 图像或视频图像的处理后的数字图像文件。由第二数字多路转接器控制 元件36提供的数字数据被提供给图像处理器50,图像处理器50进行如 稍后参考图4、 5、 6和7所述的自动调焦计算。简言之，图像处理器50生成驱动笫一和第二聚焦调节器(即变焦 和聚焦电动机5a和5b)的聚焦检测信号。控制处理器和定时生成器40 与图像处理器50相结合地或者(a)选择来自第一摄像平台l的传感器 输出12e作为所拍摄的图像信号并使用来自第二摄像平台2的传感器输 出14e以生成用于所选择的摄像平台1的聚焦检测信号，或者(b)选 择来自笫二摄像平台2的传感器输出14e作为所拍摄的图像信号并使用 来自第一摄像平台1的传感器输出12e以生成用于所选择的摄像平台2 的聚焦检测信号。以这种方式，将聚焦检测信号应用于所选择的摄像平 台的变焦和聚焦电动机5a和5b，以便调节图像的聚焦从而提供所拍摄 的图像信号的传感器输出。
由图像处理器50进行的处理是由存储在固件存储器58中的固件进 行控制的，该固件存储器5 8可以是闪速EPROM存储器或其它任何形式 的适当的存储器。处理器50处理来自DRAM緩冲存储器38的数字输 入图像，使用RAM存储器56存储处理阶段期间的中间结果。将处理后 的数字图像文件提供给存储卡接口 52,该存储卡接口 52将数字图像文 件存储在可移除存储卡54上。可移除存储卡54是一种可移除数字图像 存储介质，且可以以不同的物理才各式使用。例如，可移除存储卡54可 以包括(不限于)被配置为诸如致密型闪存、智能介质、存储棒、MMC、 SD或XD存储卡格式的已知格式的存储卡。诸如磁性硬盘驱动、磁带 或光盘的另一种可移除数字图像存储介质可以可选地用于存储静止或 运动数字图像。可选地，数字照相机10A可以使用诸如内部闪速EPROM 存储器的内部非易失性存储器(未示出)来存储处理后的数字图像文件。 在这样的实施例中，不需要存储卡接口 52和可移除存储卡54。
图像处理器50还接收来自全球定位系统(GPS )单元57的输入， 这使得图像处理器50能够在任何恰当的时间(例如在拍摄图像时)确 定照相机的GPS坐标(即位置)。图像处理器还接收来自电子罗盘59 的方向输入，这使得图像处理器50能够例如在拍摄图像时确定照相机 指向哪个方向。图像处理器50进行包括颜色和色调校正前的颜色插值 的各种其它图像处理功能，以便生成渲染的sRGB图像数据。然后，渲 染的sRGB图像数据^皮进行JPEG压缩并作为JPEG图像文件净皮存储在可 移除存储卡54上。渲染的sRGB图像还可以经由通过诸如SCSI连接、 USB连接或Firewire连接的适当的互连接64进行通信的主机接口 62而提供给主机PC 66。 JPEG文件优选使用由日本东京的日本电子信息技术 工业十办会(Japan Electronics and Information Technology Industries Association, JEITA)在"数字静止照相机图像文件格式(Exif)"版本 2.2中定义的所谓的"Exif，图像格式。该格式包括存储特定图像元数据 的Exif应用部分，该特定图像元数据包括拍摄图像的日期/时间以及镜 头f/数、拍摄图像时的GPS位置和指向方向和其它照相机设置。
应该注意，通常为可编程图像处理器的图像处理器50能够可选地 地例如为硬接线定制集成电路(IC)处理器、通用微处理器或硬接线定 制IC和可编程处理器的组合。此外，可以将诸如数字多路转接器控制 元件34和36、 DRAM緩冲存储器38和RAM存储器58的图1中的各 个模块所示的功能中的一个或多个包含在包括图像处理器50的IC中。 还应该注意，控制处理器40和图像处理器50的至少某些部分的功能可 以为了某些应用和讨论的目的的需要而进行合并，例如参考本说明书和 权利要求书的 一部分中的处理平台，其中例如参考传感器输出的选择 (通过控制处理器40)和聚焦信号的生成(通过图像处理器50)。换 句话说，处理平台的引用意在包含所引用的功能，不管在一个或多个实 际处理元件、电路等中发现这些功能还是其它情况。
在本发明的又一实施例中，包括数字照相机IOA作为照相机手机的 一部分。在该实施例中，图像处理器50还接口到蜂窝处理器卯，该蜂 窝处理器90使用蜂窝调制解调器92来利用经由天线94的射频传输来 将数字图像发送到蜂窝网络(未示出)。在本发明的一些实施例中，两 个摄像平台1和2以及变焦和聚焦电动机5a和5b可以是集成组件的一 部分。另外，时钟驱动器13和15以及模拟信号处理器22和24和包括 在其内的模拟/数字转换器可以是集成组件的一部分。
图3示出表示用于使用图1的摄像组件拍摄数字图像的方法的流程 图。在块100中，当使用电源开关(未示出)接通照相机10A时，变焦 镜头3和4被设置成其默认位置，该位置优选地为在那里使用第一图像 传感器12的输出来以预览模式拍摄图像以显示在彩色LCD图像显示器 70上从而使得用户能够合成要拍摄的图像的广角位置。作为合成图像的 一部分，在块102中，用户通常按下变焦按钮42c以便设置数字照相机 10A的期望的^见场。
在块102中，将变焦位置设置与值X进行比较，在值X处，摄像功能从第一摄像平台切换到第二摄像平台。在块104中，如果变焦位置 设置小于X (对块102的响应为否)，则使用第一摄像平台l在预览模 式下拍摄图像，而使用第二摄像平台2来拍摄自动聚焦图像。第一摄像 平台1继续拍摄图像以用于显示器70上的预览(块110)，而在块106 中，使用第二摄像平台2来拍摄自动聚焦图像，以用于第一摄像平台1 的自动调焦，该自动聚焦图像由图像处理器50进行处理并在块108中 被使用以聚焦第 一摄像平台1。
在块112中，如果没有按下变焦按钮42c且在块104中如果按下了 拍摄按钮，则利用第一摄像平台1在块116中拍摄数字图像。可选地， 如果在块112中按下了变焦按钮，则控制返回到块102，并且如果在块 114中没有按下拍摄按钮，则控制返回到块106。
在块124中，如果变焦位置设置大于X (对块102的响应为是)， 则使用第二摄像平台2在预览模式下拍摄图像，同时使用第一摄像平台 1来拍摄自动聚焦图像。第二摄像平台2继续拍摄图像以用于显示器70 上的预览(块130),而在块126中，使用第一摄像平台1来拍摄自动 聚焦图像以用于第二摄像平台2的自动调焦，该自动聚焦图像由图像处 理器50进行处理以生成在块128中被使用以聚焦第二摄像平台2的聚 焦检测信号。
在块132中，如果没有按下变焦按钮42c且在块134中如果按下了 拍摄按钮，则利用第二摄像平台2在块136中拍摄数字图像。可选地， 如果在块132中按下了变焦按钮，则控制返回到块102，且如果在块134 中没有按下拍摄按钮，则控制返回到块126。
在图4中示出使用测距器配置中的图3所示的两个摄像平台的自动 调焦处理的流程图，其中在图3的块108和128中使用测距器方法，以 对来自第一和第二摄像平台的图像进行自动调焦。在块250中，用户通 过调节照相机上的变焦控制器42c来确定变焦位置，该变焦位置如上所 述继而规定将使用哪个摄像平台拍摄最终图像和哪个摄像平台将仅用 于自动聚焦图像(块252)。将未用于拍摄最终图像的摄像平台变焦到 与在两个摄像平台中的两个变焦镜头系统之间的过渡变焦位置最接近 的位置(块254)。将两个摄像平台的聚焦镜头移动到它们各自的超焦 距位置，其中产生最大聚焦范围(块256)。在块258中，用户将拍摄 按钮42a从位置SO按到位置Sl以便开始自动调焦序列(以及自动曝光序列)。(拍摄按钮具有3个位置SO是在操作者触摸摄像按钮之前该 按钮所保持的中立位置；Sl是照相机进行自动调焦和自动曝光的中间位 置；S2是照相机进行最终曝光并拍摄最终图像的最终位置。)
然后，通过其变焦镜头在各自的变焦位置处的两个摄像平台拍摄自 动聚焦图像(块260)。然后，对来自较低变焦位置(即变焦位置小于 X(参见图3中的块102)的变焦位置)处的摄像平台的自动聚焦图像 进行剪切和上采样，从而两个自动聚焦图像中的相应特征跨越相同数量 的像素(块262)。然后，对剪切和上采样后的自动聚焦图像与其它自 动聚焦图像相关联，以便识别两个自动聚焦图像之间的像素偏移(块 264),并由此生成聚焦检测信号。图17A示出作为从更高变焦位置的 图像平台所拍摄的自动聚焦图像350的代表。图17B示出来自较低变焦 位置的图像平台的剪切和上采样后的自动聚焦图像352的代表。这些代 表示出两个图像之间的偏移，所述偏移;波用来确定到场景的各部分的距 离。在块266中，然后将校准因子应用于聚焦检测信号以确定必须移动 聚焦镜头以生成摄像用的最佳聚焦状态的距离。在块268中，将聚焦检 测信号应用于变焦和聚焦电动机5a，然后，将聚焦镜头在将用于最终摄 像的摄像平台中移动所确定出的距离以生成最佳聚焦的状态(268)。 当用户把拍摄按钮从Sl推到S2时，摄像平台拍摄最终图像。
在图5中示出众所周知的"爬坡"对比度比较方法中的图3所示的 使用两个摄像平台的自动调焦处理的流程图，其中在图3的块108和128 中使用"爬坡"对比度比较方法以自动调焦来自第一和第二摄像平台的 图像。在块250中，用户选择变焦位置。变焦位置确定将使用哪个摄像 平台作为拍摄平台(块252)。然后，在块254中，将未用于拍摄的摄 像平台变焦到与来自块250的用户选择的变焦位置最接近的点。在块 258中，用户将拍摄按钮42a从S0位置推到Sl位置，以开始自动调焦 序列。然后，在块272中，通过"爬坡"方法来对两个摄像平台进行自 动调焦。当用户将拍摄按钮从S1位置推到S2位置(块274)时，通过 拍摄平台连续拍摄视频图像(块276)。
为了在最小搜索量的情况下维持聚焦，使用"爬坡"对比度比较方 法利用未用于拍摄的摄像平台在块278中连续检查聚焦。然后，在判断 块280中，如果聚焦良好，则控制返回到块276并通过拍摄平台连续拍 摄视频图像。在判断块280中，如果聚焦不好，则识别需要的聚焦镜头调节(块282),以在没有用于拍摄的摄像平台上生成最佳聚焦。在块 284中，使用自动调焦"爬坡"方法校准曲线和识别出的聚焦镜头调节 来确定在拍摄平台中用以产生最佳聚焦所需的聚焦镜头的移动，从而生 成聚焦变化检测信号。最后，在块286中，将聚焦变化检测信号应用于 变焦和聚焦电动机5a或5b,并将拍摄平台中的聚焦镜头移动到新的最 佳聚焦位置，且控制返回到块276并且通过拍摄平台连续拍摄视频图像。
可选地，且还为了在最小搜索量的情况下保持聚焦，使用"整体方 式"自动调焦方法利用未用于拍摄的摄像平台在块278中连续检查聚焦。 因此，在块284中，使用自动调焦"整体方式，，方法校准曲线和识别出 的聚焦镜头调节来确定在拍摄平台中用以生成最佳聚焦所需的聚焦镜 头的移动，从而生成聚焦变化检测信号。最后，在块286中，将聚焦变 化检测信号应用于变焦和聚焦电动机5a或5b,并将拍摄平台中的聚焦 镜头移动到新的最佳聚焦位置，且控制返回到块276并且通过拍摄平台 连续拍摄视频图像。
在图4和5中均使用校准曲线来确定在拍摄平台中用以生成最佳聚 焦所需的聚焦镜头的移动。图6和7示出用于计算这些曲线的流程图。 更具体地，图6示出在图4的块266中使用的自动调焦测距器校准曲线 的计算。在图6的块300中，使用位于一系列聚焦镜头位置的较短焦距 的第一摄像平台和较长焦距的第二摄像平台，利用已知距离处的被摄体 拍摄一系列图像组。然后，在块302中，来自较低焦距的笫一图像平台 的自动聚焦图像被剪切和上采样，从而如图17A和17B所示两个自动聚 焦图像中的相应特征跨越相同数量的像素。在块304中，来自第二摄像 平台的图像与来自第 一摄像平台的剪切和上采样后的图像的相应的图 像部分相关联，以确定每个图像组中的图像之间的像素偏移。因此，在 块306中，将每个图像组中的图像之间的像素偏移相对于到祐:摄体的已 知距离的数据存储为自动调焦测距器校准曲线以供在图4的块266中使 用。
图7示出在图5的块284中使用的"爬坡"校准曲线的计算。在图 7的块400中，使用第一摄像平台和笫二摄像平台，利用已知距离处的 被摄体拍摄一系列图像组，其中通过用于每个图像的"爬坡"方法进行 自动调焦。然后，在块402中，为两个摄像平台比较聚焦镜头位置与到 图像组中的聚焦被摄体的距离。然后，将针对到图像中的聚焦被摄体的相同距离的第 一摄像平台的聚焦镜头位置相对于第二摄像平台的聚焦 镜头位置的数据存储为自动调焦"爬坡"方法校准曲线以供在图5的块
284中4吏用。
图8示出表示用于使用图1的摄像组件拍摄视频图像的方法的流程 图。流程图的大部分与图3所示的功能元素重复，并且在表示相同的功 能和附图标记的情况下将不会在此重复。如果变焦位置设置小于X (对 块102的响应为否)，则使用第一摄像平台l来拍摄视频图像，而使用 第二摄像平台2来拍摄自动聚焦图像。如图3所述进行第一摄像平台的 聚焦，不同的是现在其是用于视频图像的。随后，在图8的块112中， 如果没有按下变焦按钮42c,且在块114中如果按下了拍摄按钮，则在 块118中通过第一摄像平台1拍摄视频图像。在块119中检查视频图像 的聚焦质量，且如果需要重新聚焦，则控制返回到块106并且生成聚焦 变化检测信号，该聚焦变化检测信号在块108中^皮使用以驱动第一摄像 平台l的聚焦电动机5a。如果不需要重新聚焦，则控制返回到块112。
如果变焦位置设置大于X (对块102的响应为是)，则使用第二摄 像平台2来拍摄视频图像，而使用第一摄像平台1来拍摄自动聚焦图像。 如图3所述进行第二摄像平台的聚焦，不同的是现在其是用于视频图像 的。随后，在块132中，如果没有按下变焦按钮42c,且如果在块134 中如果按下了拍摄按钮，则在块138中利用第二摄像平台2拍摄视频图 像。在块139中检查视频图像的聚焦质量，且如果需要重新聚焦，则控 制返回到块126并且生成聚焦变化检测信号，该聚焦变化检测信号在块 128中被使用以驱动第二摄像平台2的聚焦电动机5b。如果不需要重新 聚焦，则控制返回到块132。
图9中示出使用测距器配置中的图8所示的两个摄像平台的自动调 焦处理的流程图，其中在图8的块108和128中使用测距器方法来对来 自第一和第二摄像平台的图像进行自动调焦。在图9的块440中，利用 较低焦距的摄像平台来拍摄笫一自动聚焦图像。然后，在块442中，剪 切和上采样来自较低焦距下的图像平台的自动聚焦图像，从而两个自动 聚焦图像中的相应特征跨越相同数量的像素。同时，在块448中，利用 较长焦距的摄像平台拍摄第二自动聚焦图像。在块444中将第二自动聚 焦图像与所述剪切和上采样后的图像相关联以为不同的图像部分确定 图像之间的像素偏移。然后，在块446中，根据该偏移和自动调焦测距器校准曲线(其在图6中计算出)来确定需要的聚焦校正。
在图10中示出"爬坡"对比度比较方法中的图8中所示的使用两 个摄像平台的自动调焦处理的流程图，其中在图8的块108和128中使 用"爬坡"对比度比较方法来自动调焦来自第一和第二摄像平台的图像。 在图10的块460中，利用第一摄像平台拍摄第一图像，其中通过"爬 坡"方法进行自动调焦。然后，在块462中，提供来自笫一摄像平台的 图像作为显示器上的预览图像。同时，在块466中，利用第二摄像平台 拍摄第二图像，其中通过"爬坡"方法进行自动调焦。然后，在块468 中，利用第二摄像平台拍摄另一随后的图像，其中也通过"爬坡"方法 进行自动调焦。在块470中，将第二图像的聚焦状态与随后的图像的聚 焦状态进行比较。然后，如果聚焦状态已经改变(对块472的响应为是)， 则基于第二摄像平台的聚焦状态的变化和(在图7中算出的)自动调焦 "爬坡"方法校准曲线来改变第一摄像平台的聚焦状态。如果聚焦状态 没有改变(对块472的响应为否)，则控制返回到块468并且利用第二 摄像平台拍摄另一图像。
可选地，且为了在最小搜索量的情况下维持聚焦，使用"整体方式" 自动调焦方法利用第二摄像平台在块470中连续检查聚焦。因此，如果 聚焦状态已经改变(对块472的响应为是)，则基于第二摄像平台的聚 焦状态的变化和自动调焦"整体方式"方法校准曲线来改变第一摄像平 台的聚焦状态。如果聚焦状态没有改变(对块472的响应为否)，则控 制返回到块468并且利用第二摄像平台拍摄另 一 图像。
图11示出表示用于处理使用图3或图8的摄像组件所拍摄到的图 像的方法的流程图，其中生成范围映射。(图的特定部件具有与图9中 所使用的相同的功能和附图标记。)生成范围映射的方法对于本领域的 技术人员来说是众所周知的；例如，在通过引用包含于此的美国专利申 请公开号2006/0193509 (以Antonio Criminisi等人的名义在2006年8 月31日公开，发明名称为"基于立体的图^象处理(Stereo-based Image Processing)")中说明了如下方法该方法用于从#4居通过具有类似岸见 场的多个照相机所拍摄的一组图像的像素偏移信息而生成的差异映射 来生成范围映射和深度映射。在本专利申请所述的情况下，两个或多个 摄像装置包括在单个电子照相机中。由于两个或多个摄像置具有不同的 焦距，因而必须修改图像中的至少一个图像，以使两个或多个图像可比较，从而使得能够确定像素偏移。现在参考图11,在块440中利用较低 焦距的摄像平台拍摄第一自动聚焦图像，且在块442中，对来自较低变 焦位置的摄像平台的自动聚焦图像进行剪切和上釆样，从而两个自动聚 焦图像中的相应特征跨越相同数量的像素。同时，在块448中，利用较 高焦距的摄像平台拍摄第二自动调焦图片。然后，在块480中，将第二 自动聚焦图像与所迷剪切和上采样后的图像相关联，以确定图像的不同 图像部分之间的像素偏移。然后，在块482中，使用自动调焦测距器校 准曲线将像素偏移转换成离摄像装置的距离。在块484中生成示出到不 同图像部分的距离的映射。
可以根据第一和笫二自动聚焦图像的相应部分之间(即来自第一自 动聚焦图像的在块442中获得的剪切和上采样后的图像和从块448获得 的笫二自动聚焦图像的相应部分之间)的测量到的像素偏移来计算从摄
像装置到场景的各部分的距离。图像传感器上所经历的像素偏移p、像 素大小m、镜头之间的空隙s、镜头的有效焦距f以及到场景的部分的 距离d之间的关系如下 d=s'f/(p'm)
表1示出如上所述的摄像装置的典型像素偏移。在优选实施例中，相对 在已知距离的场景中的被摄体校准像素偏移和到场景的部分的距离之 间的关系，以补偿两个镜头组件之间的任何角倾斜和尺寸的任何不期望
的变化。
表1
像素大小(mm) 0.002
镜头之间的分离(mm) 20
焦距(mm ) 6 距离(ft) 距离(mm) 偏移(像素)
0.5 152.4 393.7
1 304.8 196.9
2 609.6 98.4 4 1219.2 49.2 8 2438.4 24.6
16 4876.8 12.3
32 9753.6 6.264 19507.2 3.1
128 39014.4 1.5
如先前所述，为了各种目的，使用范围映射来修改所拍摄的图像信 号或输出图像，这些目的诸如(不限于)
a) 通过识别被摄体的连续边界来使得可以限定净皮摄体的形状，从 而改进图像内的被摄体识别；
b) 通过识别被摄体的连续边界使得可以在图像内分割被摄体，从 而使得能够从图像提取被摄体；
c) 通个识别被摄体使得可以将被摄体作为图像之间的相同的对象 来追踪，从而使得能够在多个图像中进行被摄体的运动追踪；
d) 通个模糊化与处于期望的景深外面的场景区域相对应的图像的 部分，使得能够得到动态景深图像；
e) 通过将增益调节应用于作为整体的被摄体来提高图像内的动态
范围；
f) 通过降低与前景中的被摄体相对应的图像部分的增益并增大背 景中的被摄体的增益来减少由使用闪光灯而引起的曝光问题；
g) 通过使得前景中的被摄体被强调来提高图像内的场景平衡。 为了理解为了诸如上述目的而使用范围映射，考虑一个例子是有帮
助的。假定用户/拍摄者具有 一张阿拉斯加山脉的很好的照片-在最远距 离范围中有美丽的布满云彩的天空和白雪覆盖的山脉，在中间范围中鲜 花铺满区域，并且在大约5英尺远的前景中磚着黑狗。然而，云被过补 光(过度曝光)，白雪覆盖的山脉也一样。黑狗很黑(曝光不足)且处 于离焦(因为例如照相机被设置为风景模式)。使用范围数据，可以修 改图像的几个特征。通过将增益调节应用于图像的所选择的被摄体部 分，特别地应用于例如云彩细节、雪细节以及黑狗上的皮毛，可以提高 各个位置的曝光。更普遍地，通过与范围映射中的被摄体位置无关地将 增益调节应用于输出图像内作为整体的被摄体上，可以使用范围映射来 提高输出图像内的动态范围。此外，可以调节景深，从而使得例如狗处 于对焦，山脉处于对焦且鲜花也处于对焦。或者，如果用户真的想要强 调狗而不是美丽的风景，则可以使用范围数据来分离可以被^t糊化的山 脉和鲜花，且更进一步分离狗，其中可以锐化狗以获得好的'锐化图像。 可以理解，假定根据本发明的范围映射的可用性，则可用来艺术地优化图像的许多其它用途。例如，用户可以做出动态景深，即，使范围的混 合区域对焦。更普遍地，通过与范围映射中的各部分的位置无关地模糊 化输出图像的与处于图像的特征部分的期望景深外部的场景区域相对 应的各部分，可以使用范围映射来使能动态景深图像。例如，尽管狗和 山脉处于相对的范围极端，然而由于狗和山脉是感兴趣的区域且中间范 围的花可以被平滑地才莫糊化，因而可以使狗和山脉处于对焦。
图12和13示出使用光学摄像平台的不同变形的数字照相机的框 图。摄像平台后的大多数部件和相关于图l所述的部件相同，且这里将 不会对其进行进一步说明。图12示出具有第一摄像平台71和第二摄像 平台2的数字照相机的框图。第一平台71包括第一固定焦距镜头73和 第一图像传感器12,笫二平台2包括第二 (变焦)镜头4和笫二图像传 感器14。在第一和第二摄像平台71和2的聚焦调节之间执行根据本发 明的调焦。
因为固定焦距镜头的焦距通常生成超广角视场，例如22mm等效的， 因而可以将固定镜头设置到例如8英尺的镜头超焦距附近的距离，以使 得从4英尺起到无穷远的被摄体处于对焦。因此，固定焦距镜头不需要 包括聚焦调节。固定聚焦镜头包括可调光圈和快门組件(未示出)以控 制图像传感器的曝光。
图13示出具有第一摄像平台71、第二摄像平台2以及第三摄像平 台74的数字照相机的框图。第一平台71包括具有第一图像传感器12 的第一固定焦距镜头73,第二平台2包括具有第二图像传感器14的第 二 (变焦)镜头4,第三摄像平台74包括具有第三图像传感器16的第 三(变焦)镜头75。根据该配置，第一镜头73通常是超广角镜头，第 二 (变焦)镜头4通常是广角变焦镜头，笫三(变焦)镜头75通常是 远摄变焦镜头。如在前一段所述，由于作为超广角镜头的第一固定焦距 镜头73通常不被聚焦，因而在第二和第三摄像平台2和74之间执行根 据本发明的调焦。
图14示出表示用于通过使用来自图1中两个摄像平台的图像来增 强图像的景深的方法的流程图。在图14的块500中，当照相机接通电 源时，将变焦位置设置为默认位置。在块502中，将变焦位置设置与值 X进行比较，在值X处，摄像功能从第 一摄像平台切换至第二摄像平台。 在块504中，如果变焦位置设置小于X (对块502的响应为否)，则在预览模式下使用第一摄像平台l拍摄图像，而使用第二摄像平台2来拍 摄自动聚焦图像。第一摄像平台1继续拍摄用于在显示器70上进行预 览的图像(块506)，而使用第二摄像平台2来拍摄用于笫一摄像平台 1的自动调焦的自动聚焦图像，其中这些图像由图像处理器50进行处理 并用于聚焦第一摄像平台1。如果没有按下变焦按钮(对块508的响应 为否)，且当按下了快门按钮42a时，使用设置到主聚焦位置的第一摄 像平台在块510中拍摄主静止图像。然后，在块512中，使用设置到副 聚焦位置的第二摄像平台拍摄副静止图像。然后，在块514中，使用副 静止图像来增强主图像的景深，例如，其中使用副静止图像来提供可以 用于锐化位于副焦距附近的主静止图像的部分的增强信号。
在块524中，如果变焦位置设置大于X (对块502的响应为是)， 则在预览模式下使用第二摄像平台2拍摄图像，而使用第一摄像平台1 来拍摄自动聚焦图像。第二摄像平台2继续拍摄用于在显示器70上进 行预览的图像(块526),而使用第一摄像平台1来拍摄用于第二摄像 平台2的自动调焦的自动聚焦图像，其中这些图像由图像处理器50进 行处理并用于聚焦第二摄像平台2。如果按下了变焦按钮(对块508的 响应为是)，且当按下了快门按钮42a时，使用设置到主聚焦位置的第 二摄像平台在块530中拍摄主静止图像。然后，在块532中，使用设置 到副聚焦位置的第一摄像平台拍摄副静止图像。然后，在块534中，使 用副静止图像来增强主图像的景深，例如，使用副静止图像来锐化位于 副焦距附近的主静止图像的部分。
如上所示，由照相机生成增强信号以锐化位于副焦距附近的主静止 图像的部分。然而，可以将主和副静止图像提交给诸如图1所示的主机 PC 66的外部处理器，且可以由外部处理器生成增强信号以锐化位于副 焦距附近的主静止图像的部分。
多个镜头和多个传感器的概念和集成摄像组件的使用可以适用于 具有图片拍摄功能的类型的移动电话中。因此，如图15A所示，移动电 话600包括包含用于捕获呼叫者的语音的麦克风602的电话平台、用于 处理呼叫者和被叫人的语音信号的相关电子器件(未示出)、以及用于 再现被叫者的语音的扬声器604。提供用于输入电话号码和摄像命令的 键盘606，并提供用于显示与电话相关的数据并再现通过电话拍摄到的 或通过蜂窝网络接收到的图像的(LCD)显示器608。图15B示出的移动电话600的后视图识别出一些内部部件，包括通过图像处理器50连 接到包括蜂窝处理器90和调制解调器92的蜂窝处理平台的蜂窝:t聂像组 件610。蜂窝处理器卯接收和处理来自图像处理器50的图像数据和通 过麦克风602捕获的语音数据，并将图像和语音数据传送到蜂窝调制解 调器92。蜂窝调制解调器92将数字图像和语音数据转换成适当的格式 以用于通过天线94发送到蜂窝网络。
在图16A和16B中示出蜂窝摄像组件610,其中图16A是沿着图 16B中的线24B-24B所取的组件610的俯视图，组件610包括共用基板 620上的光学部件和摄像部件的集成包。更具体地，组件610包括第一 固定焦距镜头612和第一图像传感器614以及第二固定焦距镜616头和 第二图像传感器618。优选为固定焦距广角镜头(诸如40mm等效的镜 头)的第一镜头612在第一图像传感器614上形成图像，优选为固定焦 距远摄镜头(诸如100mm等效的镜头)的第二镜头616在第二图像传 感器618上形成图像。这两个镜头均在相同的方向上定向，以使得尽管 具有不同的视场，但形成这两个镜头前面的全部场景的相同部分的图 像。
各镜头612和616和与其相关联的图像传感器614和618被安装到 基板620，且在它们之间具有IR截止滤波器622以减少IR辐射到图像 像素上的入射。诸如电阻器、电容器和电源管理部件的电子部件624也 被安装在基板620上。通过挠性连接器626从基板620得到图像信号。 从组件610取得的数据可以是原始图像数据，或者如果适合的处理器(未 示出)处于基板620的板上，则数据可以是YUV图像数据或JPEG图像 数据。而且，图像处理器50可以在广角和远摄焦距之间提供数字变焦； 用户可以通过显示在(LCD )显示器608上的用户界面并通过在4定盘606 上键入适当的按钮来开始这种变焦。此外，广角图像传感器614可以具 有例如比远摄图像传感器618的分辨率高的高分辨率，以便为数字变焦 提供更高质量的源图像。
在根据本发明的实施例中，其中两个镜头612和616均为可调焦距 镜头，图像处理器50或者(a)选择来自广角镜头612的传感器输出作 为所拍摄的图像信号并使用来自远摄镜头616的传感器输出来生成用于 广角镜头612的聚焦检测信号，或者(b)选择来自远摄镜头616的传 感器输出作为所拍摄的图像信号并使用来自广角镜头612的传感器输出来生成用于远摄镜头616的聚焦检测信号。然后将聚焦检测信号应用于 远摄镜头616的自动调焦子系统628以调整图像聚焦从而提供所摄图像 信号的传感器输出。在该实施例中，广角镜头612可以代替地为变焦镜 头，诸如广角到普通角的变焦镜头。
在另一实施例中，广角镜头612被设置为其超焦距，这意味着镜头 不需要用户的任何聚焦调节而从几英尺到无限远均处于对焦。通过自动 调焦子系统628对远摄镜头616进行自动调焦。这是必须的，因为随着 焦距增大超焦距也增大，并且因此需要调节聚焦以便获得典型(例如 4， ~ 12，)距离处的被摄体的正确聚焦。通过对远摄镜头616仅使用 一个 调焦子系统628,可以降4氐成本和大小。
该实施例中的重要限制是必须保持为与移动电话布局和结构相符 合的非常小的外形的"z"尺寸630。这可以通过远摄焦距和传感器的大 小的仔细选择来获得。例如，可以将传感器616的大小以及由此必须被 生成以填充传感器的图像的大小制造得足够小以将焦距降低到可接受 的z尺寸630。
在另一实施例中，两个镜头可以具有大致相同的焦距，其中摄像阵 列具有不同的大小。利用大小不同的摄像阵列，每个镜头被设计成填充 摄像阵列的区域，并且每个镜头-阵列组合将具有基本相同的实际焦距， 即相同的镜头到阵列的距离。然而，各镜头的35mm等效将不同；因此， 各镜头将具有不同的视场。
虽然在图16A和16B中未详细示出，然而类似于与图l相关地说明 的那样，来自第 一 图像传感器614的模拟输出信号通过第 一 模拟信号处 理器^1放大并提供给控制元件的第 一输入，所述控制元件例如作为基板 620上的电子部件624中的一个而提供的模拟多路转接器控制元件。来 自第二图像传感器618的模拟输出信号通过第二模拟信号处理器被放大 并提供给控制元件的第二输入。控制元件的功能是根据关于变焦选择的 来自键盘606的用户输入，或者选择来自第一图像传感器614的第一传 感器输出或者选择来自第二图像传感器618的第二传感器输出，从而将 来自蜂窝摄像组件600的所选择的传感器输出提供给图像处理器50。
在使用(根据图ll而生成的)范围映射时，将由照相机的GPS单 元57和电子罗盘59提供的照相机的GPS位置和指向方向与从照相机到 场景的各部分的距离和方向相结合来确定场景的各部分的GPS位置。图
3418示出用于确定场景的各部分的GPS位置的方法的流程图。在块750 中，由照相机中的GPS单元57确定照相机的GPS位置。在块752中由 照相机中的电子罗盘59确定照相机的指向方向。从照相机到场景的各 部分的距离偏移由在来自诸如图11所示的过程的块754中获得的范围 映射来提供。在块756中，相对于(由电子罗盘59提供的)照相机的 指向方向的角度偏移根据图像中的视场中的场景的各部分的位置被确 定。在块758中，通过将距离偏移和角度偏移添加到照相机的GPS位置 和指向方向来确定场景的各部分的GPS位置。然后在块760中，将场景 的各部分的GPS位置存储在图像的元数据中或显示为以GPS位置映射 的形式的图像上的标签。可选地，可以将图像的部分的GPS位置显示在 电子照相机上。那些本领域技术人员将意识到场景的各部分的GPS位置 可以用于各种目的，包括而不限于确定被:摄体的身份；向场景中的位 置提供导航方向；辨别相对于映射或其它地理数据库等的照相机的视 场。
图19示出表示如下处理的流程图该处理用于选择双镜头照相机 系统中的摄像平台中的一个作为主拍摄单元，而使另 一个摄像平台降级 为诸如场景分析的一些其它功能。更具体地，照相机的电源接通并开始 初始化处理(块1100)。在初始化处理完成之后，将第一和第二摄像平 台1和2设置到它们的默认变焦位置(块1102),这些默认变焦位置是 确定初始拍摄和显示的图像的预定初始变焦位置。因此，第一和第二摄 像平台拍摄并在图像显示器70上显示第一和第二预览图像(块1104)。 这些图像可以以例如作为缩略图等在显示器上一个挨一个、 一个在另一 个内、顺次显示等的多个方式进行显示。接下来，请照相机使用者决定 是第一预览图像还是第二预览图像应当为主图像(块1106)，其中主图 像将是拍摄并存储的图像。给予操作者进行该决定的显示时间间隔x(块 1110)。如果在该间隔期间按下快门按钮(块1108)，或者如果在该间 隔期间操作者未能作出决定(块110为是)，则将摄像平台中的预定摄 像平台(默认摄像平台)自动设置为主拍摄单元(块1112 )。(默认摄 像平台可以因为各种原因而预先选择出， 一个原因是为了提供广泛的更 宽角度的场景视野作为初始图像。)否则，如果操作者选取了其中一个 平台(块1106为是)，则将所选择的摄像平台设置为主拍摄单元(块 1124)。在这两种情况中的任一情况下，将另一 (未选择的)摄像平台指定为场景分析拍摄单元(块1114)。因此，如随后与图20-22相关地 所述的，使主拍摄单元工作在预览模式下。
图20-22和图24-26示出表示使用或分析来自双(或更多)镜头照 相机系统的一个摄像平台的图像以修改由另 一摄像平台生成的图像(即 影响、分析、补充或者改变由其它摄像平台生成的图像)的流程图。例 如，在图20中， 一旦主拍摄单元被置于预览;f莫式下(如图19所示)， 则场景分析拍摄单元分析场景(块1200)并且图像处理器50利用通过 场景分析拍摄单元获得的场景分析数据来设置主拍摄单元参数(块 1202 )。这样的场景分析数据可以包括而不限于曝光数据、动态范围数 据、景深数据、颜色平衡、对包括面部、草地、日落、雪等场景的不同 方面的识别，并且拍摄单元参数可以包括而不局限于光圏值、曝光时间、 聚焦位置、白平衡、ISO设置等。然后通过主拍摄单元拍摄预览图像， 并将其显示在显示器70上(块1204)。然后，场景分析拍摄单元继续 分析场景(块1206)，并且如果场景状态没有改变(块1208为否)， 则处理返回到块1204,并且由主拍摄单元再次拍摄预览图像并将其显示 在显示器70上(在不改变拍摄参数的情况下)。如果场景状态已改变 (块1208为是)，则处理返回到块1202，并且图像处理器50利用由场 景分析拍摄单元获得的场景分析数据来重新设置主拍摄单元参数，并且 如前所述重复随后的处理。
在图21中，主拍摄单元参数仅在场景状态的变化超过阈值x时才 改变。因此，在使用利用阈值的预览模式时，场景分析拍摄单元拍摄图 像并分析场景(块1300)。然后，图像处理器50利用由场景分析拍摄 单元获得的场景分析数据来设置主拍摄单元参数(块1302)。然后，通 过主拍摄单元拍摄预览图像，并将其显示在显示器70上(块1304)。 然后，从场景分析拍摄单元拍摄另一图像(块1306 )。如果该后一图像 的场景状态并未改变等于x的阈值(块1308为否)，即场景状态被认 为在图像之间是稳定的，则处理返回块到1304,并且由主拍摄单元拍摄 另一预览图像，并将其显示在显示器70上(在不改变拍摄参数的情况 下)。然后，从场景分析拍摄单元拍摄另一图像(块1306)。或者，当 场景状态变化大于阈值x并且状况被认为是不稳定的时(块1308为是)， 则处理返回到块1302并且图像处理器50利用由场景分析拍摄单元获得 的场景分析数据来重新设置主拍摄单元参数。然后如前所述重复处理。在图22中，通过考虑拍摄单元的相对变焦位置和利用来自由两个 拍摄单元拍摄的图像的场景信息来增强对阈值场景状态的考虑。在利用 该增强的预览模式时，相对于主拍摄单元的变焦位置来设置场景分析拍 摄单元的变焦位置(块1400)。然后，场景分析拍摄单元拍摄图像(块 1402),并且图像处理器50利用由场景分析拍摄单元获得的场景分析 数据来设置主拍摄单元参数(块1404)。然后，通过主拍摄单元拍摄预 览图像(块1406)，并利用拍摄到的预览图像和场景分析数据来分析场 景(块1408)。然后，图像处理器50利用先前的场景分析的结果(即 通过分析来自两个拍摄单元的图像而获得的结果)来设置主拍4聂单元参 数(块1410)。接着，通过主拍摄单元拍摄预览图像并将其显示在显示 器70上(块1412)，并且从场景分析拍摄单元拍摄另一图像(块1414)。 然后，通过利用拍摄到的预览图像数据和场景分析数据来分析场景(块 1416)。如果场景状态并未改变与x相等的阈值(块1418为否)，即 场景状态被认为是稳定的，则处理返回到块1412,并由主拍摄单元和场 景分析拍摄单元分别拍摄另一预览图像和场景分析图像(块1412和 1414),并且继续进行前述处理。或者，在场景状态变化大于阈值(块 1400为是)并且状况被认为不稳定时，处理返回到块1410,并且图像 处理器50利用(在块1416中由场景分析拍摄单元获得的)新的场景分 析数据的结果重新设置主拍摄单元参数，并且重复处理。
在前面图19-22所示的操作期间，除非按下了快门按钮42a或变焦 按钮42c,否则如图所示继续进行预览处理。如图23所示，如果按下了 变焦按钮42c (块1500),并且如果要求的变焦位置没有位于主拍摄单 元的变焦范围内(块1502为是)，则拍摄单元的功能反转，即将当前 场景分析和主拍摄单元分别重新设置为主拍摄单元和场景分析拍摄单 元。然后，如图20-23所示，主拍摄单元的变焦位置祐:设置为选择的变 焦位置(块1506)并且处理返回到预览模式。然而，如果按下了变焦按 钮42c (块1500为是)，并且如果要求的变焦位置位于主拍摄单元的变 焦范围内(块1502为否)，则各拍摄单元的功能和之前保持相同，并 且主拍摄单元的变焦位置被设置为选择的变焦位置(块1506 ),并且处 理返回到预览模式。
图24-26示出表示具体地在拍摄处理期间使用或分析来自双(或更 多)镜头照相机系统的一个摄像平台的图像以修改由另一摄像平台生成
37的图像(即影响、分析、补充或者改变由其它摄像平台生成的图像)的
流程图。参考图24,根据第一拍摄实施例，为了进入拍摄模式将快门按 钮42a按下半程(Sl)(块1600)，否则处理返回到预览模式。在拍摄 模式中，从主拍摄单元拍摄预览图像(块1602)。接着，利用拍摄到的 预览图像分析场景(块1604)。当分析完成时(块1606为是)，图像 处理器50利用场景分析的结果来设置主拍摄单元参数(块1608 )。然 后，使用所设置的参数，从主拍摄单元拍摄并显示预览图像(块1610)。 当全按下快门按钮42a (S2)以便开始摄像时(1612为是)，使用所设 置的参数从主拍摄单元拍摄主图像(块1614),并且处理返回到预览模 式。如果没有全按下快门按钮42a(块1612为否)，则照相机查看是否 设置了聚焦和曝光锁定(块1616)。如果是(块1616为是)，则处理 返回到块1610并且从主拍摄单元拍摄并显示另一预览图像，再次检查 快门按钮42a的状态(块1612)，并且如前所述继续进^f亍处理。如果没 有设置聚焦或曝光锁定(块1616为否)，则处理返回到块1602，并且 从主拍摄单元拍摄预览图像，并利用拍摄到的预览图像来分析场景(块 1604)。然后，如前所述继续进行处理。
参考图25,根据第二拍摄实施例，为了进入拍摄模式将快门按钮 42a按下半程(Sl)(块1700K然后，从主拍摄单元拍摄预览图像(块 1702)。接着，通过场景分析拍摄单元拍摄图像(块1704),并且利用 拍摄到的预览图像和拍摄到的场景分析图像这两者来分析场景(块 1706)。接着，图像处理器50利用组合的场景分析的结果来设置主拍 摄单元参数(块1708)。然后，使用所设置的参数，从主拍摄单元拍摄 并显示预览图像(块1710)。接着，如之前图24所示，当全按下快门 按钮42a(S2)(块1712为是)时，使用所设置的参数从主拍摄单元拍 摄主图像(块1714),并且处理返回到预览模式。如果没有全按下快门 按钮42a,则照相机查看是否设置了聚焦和曝光锁定(块1716)。如果 是，则处理返回到块1710并且从主拍摄单元拍摄并显示另一预览图像 (块1710)，检查快门按钮42a的状态(块1712),并且如前所述继 续进行处理。如果没有设置聚焦或曝光锁(块1716为否)，则处理返 回到块1702,并且从主拍摄单元拍摄预览图像(块1702),并利用拍 摄到的预览图像来分析场景(块1704)。然后，如前所述继续进行处理。
参考图26,根据第三拍摄实施例，为了进入拍摄模式将快门按钮42a按下半程(Sl)(块1800K然后，从主拍摄单元拍摄预览图像(块 1802)并从场景分析拍摄单元拍摄图像(块1804)。接着，利用拍摄到 的预览图像和拍摄到的场景分析图像这两者来分析场景(块1806),并 且图像处理器50利用组合的场景分析的结果来设置主拍摄单元参数(块 1808 )。接着，将场景分析拍摄单元指定为副拍摄单元(块1810)，并 且图像处理器50利用组合的场景分析的结果来设置副拍摄单元参数(块 1812)。接着，当全按下快门按钮42a (S2)(块1814为是)时，使用 所设置的参数从主拍摄单元拍摄主图像(块1816)，并且从现在被指定 为副拍摄单元的场景分析拍摄单元拍摄补充图像(块1818)。然后，图 像处理器50从主图像和补充图像生成增强图像(块1820),并且处理 返回到预览才莫式。如果没有全按下快门按钮42a (块1814),则处理返 回到块1802并且通过再次从主拍摄单元和场景分析拍摄单元拍摄图像 来重新开始处理(块1802和1804 )。
关于图26考虑不同类型的补充或修改。在第一类型的补充或修改 中，并且如关于图像14所示的那样，在一个聚焦位置从主拍^_单元拍 摄图像，并且在另一聚焦位置从场景分析拍摄单元(副摄像单元)拍摄 另一图像。然后，将两个图像合成为具有加宽的景深的修改后的图像。 优点是这可以在无需必须缩小主镜头的光圈的情况下完成以获得更大 的景深，该优点对于优先大光圈的低亮度拍摄特别有用。
在另一类型的补充或修改中，图像处理器50能够检查图像的动态 范围。当动态范围超过预定阈值时，使用场景分析拍4聂单元来生成具有 与主图像的动态范围不同的动态范围的副图^f象。例如，可以以普通曝光 拍摄主图像，而可以以更极端的曝光(即曝光不足或过曝光)来拍摄副 图像。然后，如果例如在主曝光中对高亮过补光，则可以使副曝光曝光 不足，以拍摄高亮区中的细节。可选地，如果阴影在主曝光中被加深， 则可以使副曝光过曝光，以拍摄阴影中的细节。然后，通过将主图像的 部分替换为副图像的部分，来创建具有加宽的动态范围的修改后的图 像。
应该理解，由主拍摄单元和副拍摄单元拍摄的图4象可以是静止图像 或视频图像，并且在视频图像情况下可以是一系列图像。在这两种情况 的任一个下，可以根据所述的特定形式的补充来修改静止图像或构成视 频信号的一系列图像。例如，包含拍摄单元的电子照相机可以生成视频图像信号，并且使用副输出图像来修改至少例如构成视频图像信号的一 系列图像的景深和/或动态范围。
可以更改图14所示的流程图以获得具体地对动态范围进行增强的 主图像。例如，参考图14,当按下了快门按钮42a时，使用被设置到主 曝光级的第一 (或第二)摄像平台来拍摄主静止图像(与块510或530 类似)。然后，(与块512或532类似)使用被设置到第二曝光级的第 二(或第一图像)拍摄平台来拍摄副静止图像。然后，(与块514或534 类似)使用副静止图像来增强主图像的动态范围，例如，其中将曝光不 足以拍摄高亮下的细节的副曝光与主图像相结合，以获得扩展的动态范 围的主图像。
如在通过引用包含于此的共同转让的共同待决的美国专利申请序
月27日提交，发明名称为"生成扩展的动态范围数字图像(Producing an Extended Dynamic Range Digital Image )，，)中所述的那样，在用于生成经 修改的图像的优选方法中，使用按比例缩放来创建通过考虑主图像和副 图像二者的像素值来确定像素值的经修改的图像。应该注意，当使用闪
光灯时(其中常常产生过曝光状况)，具有两个曝光级来使得能够校正 动态范围是特别重要的。因此，拍摄平台中的一个拍摄平台的曝光时间 将被设置为非常短的曝光，或者曝光的定时将被偏移为恰在闪光之前或 恰在闪光之后。
可以与具有不同分辨率的图l象对相结合地应用补充处理。例如，在 通过引用包含于此的共同转让的共同待决的美国专利申请序列号 11/461,574(其以John Border, Scott Cahall和John Griffith的名义于2006 年8月1日提交，发明名称为"生成具有不同分辨率部分的数字图像 (Producing Digital Image with Different Resolution Portions )，，)中,通过两 个拍摄平台来拍摄场景的第 一广角数字图像和基本相同的场景的部分 的第二远摄数字图像。然后，通过将第一广角数字图像的部分和远摄数 字图像的部分进行组合来形成合成图像，以生成在数字变焦期间具有提 高的分辨率的数字图像。更具体地，合成图像的数字变焦产生在整个变 焦范围内具有高分辨率且具有改善的图像质量的变焦图像。
在又一实施例中，设置主拍摄平台和副拍摄平台以用于不同的曝光 时间，从而使得不同程度的噪声和运动模糊存在于各自的图像中。例如设置主拍摄平台以用于相对长的曝光从而使得图像中的数字噪声低，但 是或者来自照相机的移动或者来自场景中的被摄体的移动的任意移动 均导致运动^t糊。同时，设置副拍摄平台以用于相对快的曝光从而使得 图像中的数字噪声较高，而运动模糊较少。然后，将主图像和副图像彼 此进行比较，以识别运动模糊。增大副图像的增益，因此副图像中的平 均像素值与主图像的平均像素值相匹配。然后，通过将主图像的部分替 换为副图像的部分来创建经修改的图像。实际上，主图像的部分(具有 较低噪声但是具有一定运动模糊的区域)被替换为副图像的相应部分 (具有较高噪声但是具有很少或没有运动模糊的区域)，以获得具有相 对低的噪声和良好的锐度的经修改的图像。
已经特別参考本发明的特定优选实施例详细说明了本发明，然而应 该理解，各种修改和变形在本发明的精神和范围内可以实现。
部件列表
1 第一摄像平台
2 第二摄像平台
3 第一变焦镜头
4 第二变焦镜头
5a 变焦和聚焦电动才几
5b 变焦和聚焦电动积j
10A 数字照相机
12 第一图像传感器 12e 第一传感器输出
13 时钟驱动器
14 第二图像传感器 14e 第二图像输出
15 时钟驱动器
16 第三图像传感器
17 时钟驱动器
22 第 一模拟信号处理器(ASP1 ) &A/D转换器
24 第二^t拟信号处理器(ASP2 ) &A/D转换器
25 第三模拟信号处理器(ASP2) &八/0转换器34 第 一数字多路转接器控制元件
36 第二数字多路转接器控制元件
37 第三数字多路转接器控制元件
38 DRAM緩冲存储器
40 控制处理器和定时发生器
42 用户控制器
42a 快门按钮
42c 变焦按钮
42d 多位置选择器
46 自动曝光检测器
48 电子闪光灯
50 图像处理器
52 存储卡接口
54 可移除存储卡
56 RAM存储器
57 GPS单元
58 固件存储器
59 电子罗盘 62 主机接口 64 互连接 66 主机PC
70 彩色LCD图像显示器
71 第一摄像平台
73 第一固定焦距镜头
74 第三摄像平台
75 第三(变焦)镜头 90 蜂窝处理器
92 蜂窝调制解调器
94 天线
100 变焦镜头设置块
101 输入变焦位置块
102 变焦位置检查块104 拍摄平台设置块
106 第二平台自动聚焦图像拍摄块
108 第一平台聚焦块
110 第一平台预览拍摄和显示块
112 变焦按钮;险查块
114 拍掘j姿4丑^:查块
116 第一平台拍摄块
118 第一平台视频拍摄块
119 聚焦质量检查块
120 重新聚焦检查块 124 拍摄平台设置块
126 第一平台自动聚焦图像拍摄块
128 第二平台聚焦块
130 第二平台预览拍摄和显示块
132 变焦按钮检查块
134 拍纟聂按钮^r查块
136 第二平台拍摄块
138 笫二平台视频拍摄块
139 聚焦质量检查块
140 重新聚焦检查块
151 被摄体
152 第一镜头
153 第二镜头
154 第一路径
155 第二路径
156 焦平面
157 第一图像
158 第二图像
170 第一基准位置
171 第一偏移位置
180 第二基准位置
181 第二偏移位置190第一传感器阵列
191第二传感器阵列
197低频带通滤波器加载步骤
198比较步骤
199高频带通滤波器加载步骤
250变焦位置选择块
252摄像平台确定块
254非拍摄平台变焦块
256超焦距设置块
258开始自动调焦序列块
260拍摄自动聚焦图像块
262剪切和上采样块
264图像相关联块
266最佳聚焦确定块
268 聚焦镜头移动块
270摄像块
272"爬坡"自动调焦块
274拍揭j姿4丑启动块
276拍摄视频块
278连续"爬坡"聚焦检查块
280聚焦检查块
282最佳聚焦确定块
284聚焦镜头移动块
286拍摄平台重新聚焦块
300图像组拍摄块
302剪切和上釆样块
304 关联图像块
306自动调焦测距器校准曲线生成块
350自动聚焦图像的代表
352变焦和剪切后的自动聚焦图像的代表
400图像组拍摄块
402位置与距离比较块404 自动调焦"爬坡"校准曲线生成块
440 较低焦距拍摄块
442 剪切和上采样较低焦距图像块
444 关联图像块
446 确定聚焦爭文正块
448 较长焦距拍摄块
460 第一平台"爬坡，，笫一摄像块
462 第一平台预览图像块
464 重新聚焦第一平台块
466 第二平台"爬坡，，第二摄像块
468 第二平台另一摄像块
470 第二平台聚焦状态比较块
472 聚焦改变检查块
480 确定像素偏移的关联图像块
482 使用测距器校准曲线的像素偏移转换块
484 范围映射产生块
500 默认变焦位置块
502 变焦位置检查块
504 拍摄平台设置块
506 第二平台预览拍摄、显示和自动调焦块
508 变焦纟安4丑^r查块
510 主聚焦处的第 一平台主摄像块
512 副聚焦处的第二平台副摄像块
514 使用副图像的主图像增强块
524 拍摄平台设置块
526 第一平台预览拍摄、显示和自动调焦块
528 变焦按钮4全查块
530 主聚焦处的第二平台主图像拍摄块
532 副聚焦处的第 一平台副图像拍摄块
534 使用副图像的主图像增强块
600 移动电i舌
602 麦克风604扬声器
606键盘
608(LCD)显示器
610蜂窝摄像组件
612第一固定焦距镜头
614第一图像传感器
616第二固定焦距镜头
618第二图像传感器
620基板
622IR截止滤波器
624电子部件
626挠性连接器
628自动调焦子系统
630z尺寸
750照相机GPS位置块
752照相^/L指向方向块
7543巨离偏移块
756角度偏移块
758场景GPS位置块
760GPS位置存储块
1100通电块
1102默认设置块
1104拍摄和显示块
1106预览选择块
1108快门检查块
1110显示时间检查块
1112设置默认拍摄单元块
1114设置场景分析拍摄单元块
1124设置所选择的主拍摄单元块
1200场景分析块
1202设置拍摄参数块
1204拍摄和显示预览图像块1206场景分析块
1208场景状态检查块
1300拍摄场景分析图像块
1302设置拍摄参数块
1304拍摄和显示预览图像块
1306场景分析块
1308场景状态阈值检查块
1400变焦位置设置块
1402拍摄场景分析图像块
1404设置拍摄参数块
1406拍摄预览图像块
1408使用预览和场景分析数据的场景分析块
1410设置主拍摄参数块
1412拍摄和显示预览图像块
1414拍摄场景分析图像块
1416使用预览和场景分析数据的场景分析块
1418场景状态阈值检查块
1500变焦按钮检查块
1502变焦位置检查块
1504反转拍摄单元分配块
1506设置主拍摄单元变焦位置块
1600快门按钮检查块
1602拍摄预览图像块
1604使用预览图像的场景分析块
1606分析完成检查块
1608设置主拍摄参数块
1610拍摄和显示预览图像块
1612快门按钮检查块
1614拍摄主图像块
1616聚焦/曝光锁定检查块
1700快门按钮检查块
1702拍摄预览图像块
471704拍摄场景分析图像块
1706使用预览和场景图像的场景分析块
1708设置主拍摄参数块
1710拍摄和显示预览图像块
1712快门按钮检查块
1714拍摄主图像块
1716聚焦/曝光锁定检查块
1800快门按钮检查块
1802拍摄预览图像块
1804拍摄场景分析图像块
1806使用预览和场景图像的场景分析块
1808设置主拍摄参数块
1810设置场景分析拍摄单元作为副拍摄单元块
1812设置副拍摄参数块
1814快门按钮检查块
1816拍摄主图像块
1818拍摄补充图像块
1820生成增强图像块
权利要求
1.一种电子照相机，用于从所拍摄的图像信号产生场景的输出图像，所述电子照相机包括第一摄像平台，其包括用于生成第一传感器输出的第一图像传感器、用于在所述第一图像传感器上形成所述场景的第一图像的第一镜头和用于响应于第一聚焦检测信号而调节所述第一镜头的聚焦的第一镜头聚焦调节器；第二摄像平台，其包括用于生成第二传感器输出的第二图像传感器、用于在所述第二图像传感器上形成所述场景的第二图像的第二镜头和用于响应于第二聚焦检测信号而调节所述第二镜头的聚焦的第二镜头聚焦调节器；以及处理平台，用于或者(a)选择来自第一摄像平台的传感器输出作为所拍摄的图像信号并使用来自第二摄像平台的传感器输出来生成用于所选择的摄像平台的所述第一聚焦检测信号，或者(b)选择来自第二摄像平台的传感器输出作为所拍摄的图像信号并使用来自第一摄像平台的传感器输出来生成用于所选择的摄像平台的所述第二聚焦检测信号，其中所述聚焦检测信号被应用于所选择的摄像平台的镜头聚焦调节器，以便调节图像的聚焦，从而提供所拍摄的图像信号的传感器输出。
2. 根据权利要求1所述的电子照相机，还包括用户控制器，所述用户控制器允许用户选择焦距，以及其中所述处理平台对所述用户控制器作出响应，以用于选择所述传感器输出中的一个用以提供所述聚焦检测信号并选择所述传感器输出中的另 一个用以提供所拍摄的图像信号。
3. 根据权利要求1所述的电子照相机，其中所述聚焦检测信号是由所述摄像平台中的一个使用"爬坡"对比度比较方法而获得的。
4. 根据权利要求1所述的电子照相机，其中所述聚焦检测信号是由所述摄像平台中的一个使用连续的"整体"自动调焦方法而获得的。
5.根据权利要求1所述的电子照相机，其中所述镜头聚焦调节器响应于聚焦改变检测信号而连续地重新调节所述镜头的聚焦，以及其中来自不提供所拍摄的图像信号的摄像平台的传感器输出被用于检测所述场景的图像的聚焦改变并为提供所拍摄的图像信号的摄像平台生成聚焦改变检测信号，从而所述聚焦改变检测信号被应用于提供所拍摄的图像信号的摄像平台镜头聚焦调节器以便连续地重新调节图像的聚焦。
6. 根据权利要求1所述的电子照相机，其中所述处理平台还使用来自测距器配置中的所述第 一 和第二摄像平台两者的传感器输出来检测所述场景的图像的聚焦并生成用于所选择的摄像平台的聚焦检测信号。
7. 根据权利要求1所述的电子照相机，其中所拍摄的图像信号为静止图像信号。
8. 根据权利要求1所述的电子照相机，其中所拍摄的图像信号为视频图像信号。
9. 根据权利要求1所述的电子照相机，其中所述第一和第二镜头中的至少一个为变焦镜头。
10. —种视频摄像机，用于从所拍摄的图像信号产生场景的输出视频图像，所述视频摄像机包括第一摄像平台，其包括用于生成第一传感器输出的第一图像传感器、用于在所述第一图像传感器上形成所述场景的第一图像的笫一镜头以及用于响应于聚焦改变检测信号而连续地重新调节所述第一镜头的聚焦的第一镜头聚焦调节器；第二摄像平台，其包括用于生成第二传感器输出的第二图像传感器以及用于在所述第二图像传感器上形成所述场景的第二图像的第二镜头；以及处理平台，用于使用来自第 一摄像平台的传感器输出作为所拍摄的图像信号并生成所述场景的所述输出视频图像，所述处理平台使用来自所述第二摄像平台的传感器输出来检测所述场景的所述视频图像的聚焦改变，并产生用于第一摄像平台的聚焦改变检测信号，其中所述聚焦改变检测信号被应用于第一摄像平台的镜头聚焦调节器，以便连续地重新调节所述第 一图像的聚焦，从而提供所拍摄的图像信号的输出。
11. 根据权利要求10所述的视频摄像机，其中所述处理平台还使用来自所述第一和第二摄像平台中的一个或它们两个的传感器输出来在所述第一和第二图像传感器上初始地聚焦所述第一和第二图像。
12. 根据权利要求11所述的视频摄像机，其中所述处理平台对来自所述第一和第二摄像平台的传感器输出采用"爬坡"对比度比较技术，以便初始地聚焦所述第一和第二图像。
13. 根据权利要求10所述的视频摄像机，其中所述处理平台对来自所述第二摄像平台的传感器输出采用"爬坡"对比度比较技术，以检测所述场景的视频图像的聚焦改变并生成用于第一摄像平台的聚焦改 变检测信号，以便重新聚焦第一图像。
14. 根据权利要求10所述的视频摄像机，其中所述处理平台对来 自第二摄像平台的传感器输出采用连续的"整体方式"自动调焦技术， 以检测所述场景的视频图像的聚焦改变并生成用于第 一 摄像平台的聚 焦改变检测信号，以便重新聚焦第一图像。
15. 根据权利要求10所述的视频摄像机，其中所述处理平台还使 用来自测距器配置中的所述第 一和第二摄像平台这两者的传感器输出， 以检测所述场景的视频图像的聚焦改变并生成用于第 一 摄像平台的聚 焦改变检测信号，以便重新聚焦第一图像。
16. 根据权利要求10所述的视频摄像机，其中所述第二摄像平台 包括第二镜头聚焦调节器，所述第二镜头聚焦调节器用于响应于所述聚 焦改变检测信号而连续地重新调节所述第二镜头的聚焦，以及其中所述 处理平台或者(a)选择来自第一摄像平台的传感器输出作为所拍摄的 图像信号并使用来自第二摄像平台的传感器输出来生成用于所选择的 摄像平台的所述聚焦改变检测信号，或者(b)选择来自第二摄像平台 的传感器输出作为所拍摄的图像信号并使用来自第 一摄像平台的传感 器输出来生成用于所选择的摄像平台的所述聚焦改变检测信号，由此所 述聚焦改变检测信号被应用于所选择的摄像平台的镜头聚焦调节器，以 便重新调节图像的聚焦，从而提供所拍摄的图像信号。
17. 根据权利要求10所述的视频摄像机，其中所述第一和第二镜 头中的至少一个为变焦镜头。
18. —种视频摄像机，用于从所拍摄的图像信号产生场景的输出视 频图像，所述视频摄像机包括第一摄像平台，其包括用于生成第一传感器输出的第一图像传感 器、用于在所述第一图像传感器上形成所述场景的第一图像的第一镜头 以及用于响应于聚焦改变检测信号而连续地重新调节所述第一镜头的 聚焦的第一镜头聚焦调节器；第二摄像平台，其包括用于生成第二传感器输出的笫二图像传感器 以及用于在所述第二图像传感器上形成所述场景的第二图像的第二镜 头；以及处理平台，用于使用来自第 一摄像平台的传感器输出作为所拍摄的图像信号并生成所述场景的所述输出视频图像，所述处理平台使用来自 测距器配置中的所述第 一和第二摄像平台的传感器输出来检测所述场 景的所述视频图像的聚焦改变，并产生所述聚焦改变检测信号，从而所 述聚焦改变检测信号被应用于第 一摄像平台的镜头聚焦调节器，以便连 续地重新调节所述第 一 图像的聚焦，从而提供所拍摄的图像信号。
19. 根据权利要求18所述的视频摄像机，其中所述处理平台使用 来自第一摄像平台的传感器输出来初始地聚焦第一图像。
20. 根据权利要求19所述的视频摄像机，其中所述处理平台对来 自所述摄像平台中的一个或它们两个的传感器输出采用"爬坡"对比度 比较技术，以初始地聚焦第一图像。
21. 根据权利要求18所述的视频摄像机，其中所述笫二摄像平台 包括笫二镜头聚焦调节器，所述第二镜头聚焦调节器用于响应于所述聚 焦改变检测信号而连续地重新调节所述第二镜头的聚焦，以及其中所述 处理平台或者(a)选择来自第一摄像平台的传感器输出作为所拍摄的 图像信号并使用来自所述测距器配置中的第 一和第二摄像平台的传感 器输出来生成用于第一摄像平台的聚焦改变检测信号，或者(b)选择 来自第二摄像平台的传感器输出作为所拍摄的图像信号并使用来自所 述测距器配置中的第一和第二摄像平台的传感器输出来生成用于第二 摄像平台的聚焦改变检测信号，由此所述聚焦改变检测信号被应用于所 选择的摄像平台的镜头聚焦调节器，以便重新调节图像的聚焦，从而提 供所拍摄的图像信号。
22. 根据权利要求18所述的视频摄像机，其中所述第一和笫二镜 头中的至少一个为变焦镜头。
全文摘要
一种用于从所拍摄的图像信号产生场景的输出图像的电子照相机，包括(a)第一摄像平台，包括用于生成第一传感器输出的第一图像传感器、用于在第一图像传感器上形成场景的第一图像的第一镜头和用于响应于第一聚焦检测信号而调节第一镜头的聚焦的第一镜头聚焦调节器；以及(b)第二摄像平台，包括用于生成第二传感器输出的第二图像传感器、用于在第二图像传感器上形成场景的第二图像的第二镜头和用于响应于第二聚焦检测信号而调节第二镜头的聚焦的第二镜头聚焦调节器。处理平台或者(a)选择来自第一摄像平台的传感器输出作为所拍摄的图像信号并使用来自第二摄像平台的传感器输出来生成用于所选择的摄像平台的第一聚焦检测信号，或者(b)选择来自第二摄像平台的传感器输出作为所拍摄的图像信号并使用来自第一摄像平台的传感器输出来生成用于所选择的摄像平台的第二聚焦检测信号。
文档编号H04N5/232GK101632296SQ200880007779
公开日2010年1月20日 申请日期2008年2月6日 优先权日2007年3月9日
发明者J·N·伯德, K·A·帕鲁尔斯基, K·A·雅各比, R·J·帕卢姆, W·F·小扬森 申请人:伊斯曼柯达公司