双照相机应用中动态帧率的图像帧同步的制作方法

【技术领域】

本公开通常关于电子装置中的图像处理，更特别地，关于双照相机应用中动态帧率的图像帧同步。

背景技术：

由市场需求和技术进步的驱动，便携式电子设备，例如，智能手机的更新版本和模型，已经引入市场，具有不断增长的功能和性能。例如，智能手机的某些模型装备有两个相机或图像传感器。这样的设备典型地有能力为用户提供各种特征，例如，创建场深度、暗环境摄影的增强、光缩放能力和三维(3d)图像俘获能力的增强。

对于双照相机应用，由两个相机俘获的图像被处理，且图像渲染的整个效果通常取决于使用的处理算法。在各种算法和应用中，图像渲染的效果通常由图像帧同步影响。即，来自不同相机的图像帧的同步对双照相机应用和对应算法有深远影响。由于稳定的光源通常被要求以便优化图像帧同步，双照相机应用的多样性因此受限。

技术实现要素：

有鉴于此，本发明提供一种方法和装置以解决以上问题。

本发明提供一种双照相机应用中动态帧率的图像帧同步方法，包含当电子装置操作于利用由第一图像传感器和第二图像传感器俘获的图像的双照相机模式时，检测环境照明中亮度的改变；以及响应于检测同步第一图像传感器和第二图像传感器的帧率。

本发明还提供一种双照相机应用中动态帧率的图像帧同步方法，包含启用利用由第一图像传感器和第二图像传感器俘获的图像的双照相机应用；检测环境照明中亮度的改变；以及响应于检测同步第一图像传感器的第一帧率和第二图像传感器的第二帧率。

本发明还提供一种双照相机应用中动态帧率的图像帧同步装置，包含处理器，接收表示由第一图像传感器俘获的第一图像的第一数据以及表示由第二图像传感器俘获的第二图像的第二数据，处理器用于控制所述第一图像传感器的第一帧率以及第二图像传感器的第二帧率，通过执行以下操作至少部分基于第一数据或第二数据，检测环境照明中亮度的改变；响应于检测将与第一图像传感器和第二图像传感器关联的曝光时间从第一曝光时间调整为第二曝光时间；以及响应于检测同步第一帧率和第二帧率。

有益地，根据本公开实现，可以有效地优化图像帧同步。

【附图说明】

图1描绘了显示根据本公开的各种技术、算法和方案的效果的示例场景。

图2是根据本公开的实现的示例装置的简化的框图。

图3描绘了根据本公开的实现的图2的示例装置的功能300的示例组。

图4描绘根据本公开的实现的影响双照相机应用中动态帧率的图像帧同步的示例算法。

图5描绘了根据本公开的实现双照相机应用中动态帧率的图像帧同步的两个示例场景。

图6描绘根据本公开的实现的影响双照相机应用中动态帧率的图像帧同步的示例算法。

图7描绘了根据本公开另一实现双照相机应用中动态帧率的图像帧同步的示例场景。

图8描绘了根据本公开另一实现双照相机应用中动态帧率的图像帧同步的示例场景。

图9描绘了根据本公开的各种实现的关于双照相机应用中动态帧率的图像帧同步的示例场景。

图10是根据本公开的关于双照相机应用在动态帧率的图像帧同步的示例过程的流程图。

图11是根据本公开的实现关于双照相机应用在动态帧率的图像帧同步的示例过程的流程图。

【具体实施方式】

概述

在下文的详细描述中，许多具体细节以示例的方式阐述以便提供有关的教导的完整理解。基于本文描述的教导的任何变化、派生和/或扩展落入本公开的保护范围。在一些实例中，关于本文揭示的一个或多个示例实现的已知方法、过程、部件和/或电路可以不详细描述，以避免不必要的模糊本公开的教导的方面。

图1描绘了显示根据本公开的各种技术、算法和方案的效果的示例场景100。场景100的部分(a)描绘了两个图像传感器(第一图像传感器和第二图像传感器(图1中分别标签为“图像传感器1”和“图像传感器2”))的帧率怎样随时间彼此异步(例如，“不同步”)。场景100的部分(b)描绘了第一图像传感器和第二图像传感器的帧率可以怎样根据本公开的各种实现同步。

如场景100的部分(a)所示，当环境照明相对亮以便对于图像传感器不要求曝光时间的改变或些许改变时，与第一图像传感器和第二图像传感器的每个关联的相应周期性周期时序控制信号(例如，垂直同步信号或vsync)可随时间逐渐变得彼此不同步。由于相应周期性周期时序控制信号或vsync控制或影响第一图像传感器和第二图像传感器的每个的相应帧率，第一图像传感器和第二图像传感器的帧率随时间变得不同步。因此，由第一图像传感器和第二图像传感器输出的图像帧对于利用来自第一图像传感器和第二图像传感器的图像帧的双照相机应用可能不同步，因为第一图像传感器和第二图像传感器的相应帧率不同步。

也如场景100的部分(a)所示，当环境照明从相对亮变为相对暗以便图像传感器的曝光时间需要从相对短变为相对长，与第一图像传感器和第二图像传感器关联的周期性周期时序控制信号可改变以响应曝光时间中的改变，即使在不同的时间和/或不同的节奏。此还可导致与第一图像传感器和第二图像传感器关联的周期性周期时序控制信号或vsync随时间变得不同步。因此，第一图像传感器和第二图像传感器的帧率可随时间不同步，以及由第一图像传感器和第二图像传感器输出的图像帧对于利用来自第一图像传感器和第二图像传感器的图像帧的双照相机应用可能不同步。

如场景100的部分(b)所示，当环境照明从相对亮变为相对暗以便图像传感器的曝光时间需要从相对短变为相对长，与第一图像传感器和第二图像传感器关联的周期性周期时序控制信号或vsync可由于根据本公开的算法、方案、技术和/或过程的实现保持同步，除了环境照明中光源和/或亮度任何动态或恒定变化。因此，第一图像传感器和第二图像传感器的帧率可随时间保持同步，以及由第一图像传感器和第二图像传感器输出的图像帧对于利用来自第一图像传感器和第二图像传感器的图像帧的双照相机应用还可保持同步。

也如场景100的部分(b)所示，当环境照明相对亮以便对于图像传感器不要求曝光时间的改变或些许改变时，与第一图像传感器和第二图像传感器关联的相应周期性周期时序控制信号或vsync可由于根据本公开的算法、方案、技术和/或过程的实现保持同步。因此，第一图像传感器和第二图像传感器的帧率可随时间保持同步，以及由第一图像传感器和第二图像传感器输出的图像帧对于对于利用来自第一图像传感器和第二图像传感器的图像帧的双照相机应用还可保持同步。

示例装置

图2描绘了根据本公开的实现的示例装置200。装置200可执行、实行或实现与本文描述的概念、技术、方案、解决方案、场景、算法、途径、过程以及方法相关的各种功能、任务和/或操作，包含本文描述的示例场景100以及示例功能300、示例算法400和600、示例方案500、700和800以及示例过程1000和1100。装置200可包含显示于图2中的一个、一些或所有部件。装置200可选地包含图2中未示出的附加的部件。这样的附加的部件和本公开无关，尽管对于装置200的操作是必要的，但未示出于图2中以避免模糊阐述。

装置200可以是电子装置，例如其可以是但不限于便携式装置(例如，智能电话、个人数字助理、数码相机等)、计算装置(例如，膝上计算机、笔记本计算机、台式计算机、平板计算机等)或可穿戴装置(例如，智能手表、智能手环、智能项链等)。备选地，装置200可以以一个或多个集成电路(ic)芯片，例如但不限于一个或多个单核处理器、一个或多个多核处理器或一个或多个复杂指令集计算机(cisc)处理器来实施。

装置200可包含至少处理器230，其根据本公开设计和配置为执行、实行或实现专门算法、软件指令、计算和逻辑以渲染或影响双照相机应用中动态帧率的图像帧同步的专用计算装置。即，处理器230可包含专门硬件(以及可选地专门固件)具体地设计和配置为以一个或多个新颖的而不是现存的或可用的方式渲染或影响双照相机应用中动态帧率的图像帧同步。

处理器230可包含至少控制电路235。在一些实现中，控制电路235可包含具有自动曝光(automaticexposure，ae)电路232和同步驱动器电路234的专用电路。ae电路232和同步驱动器电路234的每个可分别包含电子元件，包含根据本公开被配置和组织以实现特殊用途的一个或多个晶体管、一个或多个二极管、一个或多个电容器、一个或多个电阻器、一个或多个电感器、一个或多个忆阻器和/或一个或多个变抗器(varactor)。

在一些实现中，装置200还可包含成像装置(imagingdevice)215。成像装置215可以耦合到控制电路235，以及可以配置为俘获静止图像、视频图像或其组合。在一些实现中，成像装置215可以是双照相机成像装置，包含第一图像传感器210和第二图像传感器220。第一图像传感器210和第二图像传感器220可以配置为检测和运送表示图像的成像信息，并将成像信息作为图像数据提供至处理器230。在一些实现中，第一图像传感器210和第二图像传感器220的每个可分别包含半导体电荷耦合装置(ccd)、互补金属氧化物半导体(cmos)类型主动像素传感器和/或n型金属氧化物半导体(nmos)类型主动像素传感器。在一些实现中，第一图像传感器210可配置为俘获第一图像并以第一帧率提供表示第一图像的第一数据。类似地，在一些实现中，第二图像传感器220可配置为俘获第二图像，并以第二帧率提供表示第二图像的第二数据。

在一些实现中，控制电路235还可包含周期时序控制信号检测器236。周期时序控制信号检测器236可以耦合到成像装置215，并且可以配置为检测和分析与第一图像传感器210和第二图像传感器220的每个关联的相应周期性周期时序控制信号(例如，垂直同步信号或vsync)。例如，周期时序控制信号检测器236可检测与第一图像传感器210操作的频率关联或控制第一图像传感器210操作的频率的第一vsync信号。周期时序控制信号检测器236可检测与第二图像传感器220操作的频率关联或控制第二图像传感器220操作的频率的第二vsync信号。周期时序控制信号检测器236还可分析第一vsync信号和第二vsync信号以确定第一vsync信号和第二vsync信号的每个的周期性或频率。

因此，处理器230可接收表示由第一图像传感器210俘获的第一图像的第一数据以及由第二图像传感器220俘获的第二图像的第二数据。此外，处理器230可根据本公开的各种实现控制第一图像传感器210的第一帧率和第二图像传感器220的第二帧率。例如，ae电路232可以配置为至少部分基于从第一图像传感器210/第二图像传感器220接收的第一数据和第二数据或两者来检测环境照明中亮度的改变。此外，ae电路232可以配置为调整与第一图像传感器210和第二图像传感器220的每个的相应快门关联的曝光时间。即，ae电路232可响应于检测环境照明中亮度的改变将曝光时间从第一曝光时间改变为第二曝光时间。作为示例，ae电路232可响应于环境照明中降低的检测将曝光时间从相对较短的曝光时间改变为相对较长的曝光时间。作为另一示例，ae电路232可响应于环境照明中增加的检测将曝光时间从相对较长的曝光时间改变为相对较短的曝光时间。

根据本公开的各种实现，包含示例算法400和600、示例方案500、700和800以及示例过程1000和1100以及任何变化及其派生，同步驱动器电路234可以配置为响应于环境照明中检测的亮度的改变来同步第一帧率和第二帧率。同步驱动器电路234可分别同步第一图像传感器210和第二图像传感器220的第一帧率和第二帧率的一些示例描述于以下。

在一些实现中，在同步第一帧率和第二帧率时，同步驱动器电路234可以配置为检测由于曝光时间改变的第二帧率的改变。此外，同步驱动器电路234可以配置为调整第一帧率以同步第一帧率和第二帧率。

在一些实现中，在调整第一帧率以同步第一帧率和第二帧率中，同步驱动器电路234可配置为执行多个操作。例如，同步驱动器电路234可确定第一图像传感器的第一帧率与第二图像传感器的第二帧率之间的差值。此外，同步驱动器电路234可确定第一帧率和第二帧率之间的差值是否大于第一阈值。此外，响应于第一帧率和第二帧率之间的差值大于第一阈值的确定，同步驱动器电路234可确定第一帧率和第二帧率之间的差值是否小于第二阈值，第二阈值大于第一阈值。响应于第一帧率和第二帧率之间的差值小于第二阈值且大于第一阈值的确定，同步驱动器电路234可调整第一帧率以匹配第二帧率。响应于第一帧率和第二帧率之间的差值小于第一阈值或大于第二阈值的确定，同步驱动器电路234可监控第一帧率和第二帧率之间的差值的改变。此外，一旦第一帧率和第二帧率之间的差值落入第一阈值和第二阈值之间的范围，同步驱动器电路234可调整第一帧率以匹配第二帧率。

备选地，在调整第一帧率以同步第一帧率和第二帧率中，同步驱动器电路234可配置为确定第一帧率、第二帧率以及第一帧率和第二帧率之间的差值。此外，同步驱动器电路234可调整第一帧率以匹配第二帧率。

在一些实现中，在同步第一帧率和第二帧率中，ae电路232和同步驱动器电路234可彼此协作以实现同步。ae电路232和同步驱动器电路234可以恒定或周期性彼此通信。例如，同步驱动器电路234可监控第一帧率和第二帧率，并确定第一帧率和第二帧率之间的差值。同步驱动器电路234可不断地或周期性地通信或通知ae电路232第一帧率、第二帧率以及第一帧率和第二帧率之间的差值。由于环境照明改变，由此要求调整曝光时间，ae电路232可根据或考虑第一帧率、第二帧率以及第一帧率和第二帧率之间的差值调整曝光时间。ae电路232可提供指示到同步驱动器电路234关于对曝光时间待进行的调整或已经进行的调整。同步驱动器电路234然后可调整第一帧率以匹配第二帧率。

值得注意的是，装置200的处理器230可以配置为同步第一图像传感器210和第二图像传感器220的帧率，并因此由第一图像传感器210和第二图像传感器220提供的同步图像帧在各种情况下在环境照明的光源和/或亮度中具有动态或恒定变化。即，无论是环境照明中从相对亮到相对暗的改变、环境照明中从相对暗到相对亮的改变、光源方向的改变或光源数目的改变，处理器230可根据本公开的一个或多个算法、方案、技术和/或过程同步第一图像传感器210和第二图像传感器220的帧率以及来自第一图像传感器210和第二图像传感器220的图像帧。

在一些实现中，装置200可包含图像处理电路238，其可以是处理器230不可分割的部分或单独离散ic。在图2示出的示例中，图像处理电路238是处理器230的部分。图像处理电路238可对来自第一图像传感器210和第二图像传感器220的第一数据和第二数据执行信号处理以提供一个或多个静止图像和/或一个或多个视频图像的对应图像帧。

在一些实现中，装置200可包含显示装置240。显示装置240可以配置为显示文本、图形和/或视频图像。在一些实现中，显示装置240可以是平板和/或触摸感测面板。显示装置240可以由任何合适的技术例如但不限于液晶显示器(lcd)、等离子体显示面板(pdp)、发光二极管显示(led)、有机发光二极管(oled)、场致发光显示(eld)、表面导电电子发射极显示(sed)、场发射显示(fed)、激光、碳纳米管、量子点显示、干涉仪调制器显示(imod)以及数字微快门显示(dms)实施。图像处理电路238可以在操作上耦合到显示装置240以提供处理的静止图像和/或视频图像的数字数据以由显示装置240显示。

在一些实现中，装置200可包含存储装置250。存储装置250可以配置为储存一组或多组指令和数据于其中。例如，存储装置250可以在操作上耦合到图像处理电路238以接收处理的静止图像和/或视频图像以储存于存储装置250。存储装置250可以由任何合适的技术实施，且可包含易失性存储器和/或非易失性存储器。例如，存储装置250可包含随机存取存储器(ram)，例如动态随机存储器(dram)、静态随机存储器(sram)、晶闸管随机存储器(t-ram)和/或零电容器随机存储器(z-ram)。备选地或此外，存储装置250可包含只读存储器(rom)，例如掩码只读存储器、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)和/或电可擦除可编程只读存储器(eeprom)。备选地或此外，存储装置250可包含非易失性随机存取存储器(nvram)，例如闪速存储器、固态存储器、铁电随机存储器(feram)、磁阻随机存取存储器(mram)和/或相位改变存储器。

图3描绘了根据本公开的实现的图2的示例装置的功能300的示例组。功能300组可包含由装置200执行、实行或实现的一个或多个操作、动作或功能，由一个或多个块310、320、330、340、350以及360表示。尽管图示为离散块，功能300组的各种块可以分成附加的块，结合成更少的块或取消，取决于所希望的实现。根据本公开，功能300组可以通过装置200实施来渲染或影响双照相机应用中动态帧率的图像帧同步。

在310，装置200的处理器230可以打开、开始或激活成像装置215。其结果是，第一图像传感器210和第二图像传感器220可开始俘获静止图像和/或视频图像。

在320，装置200的处理器230可进入预览模式。其结果是，由第一图像传感器210或第二图像传感器220或其两者俘获的静止图像和/或视频图像可以由显示装置240显示用于由装置200的用户预览。

在330，装置200的处理器230可自动地或一旦接收用户命令就使能一个或多个双照相机应用。例如，双照相机应用可以使能或启动一个或多个特征，包含并不限于，场深度的创建、暗环境摄影的增强、光缩放和3d图像俘获的增加。

在340，装置200的处理器230可根据本公开以一个或多个方式执行帧率同步。

在350，装置200的图像处理电路238可对由第一图像传感器210和第二图像传感器220俘获的静止图像和/或视频图像执行图像处理。

在360，装置200的显示装置240可显示处理的静止图像和/或视频图像。

示例算法和方案

图4描绘根据本公开的实现的影响双照相机应用中动态帧率的图像帧同步的示例算法400。算法400可包含一个或多个操作、动作或功能，如一个或多个块410、420、430、440和450表示的。尽管图示为离散块，算法400的各种块可以分为附加的块、结合为更少的块或取消，取决于所希望的实现。算法400可以由装置200以及其任何变化和/或派生来实施。算法400可以开始于410。

在410，算法400可包含分析与第一图像传感器和第二图像传感器(图4中分别由“图像传感器1”和“图像传感器2”指代)关联的相应周期时序控制信号(例如，vsync)的信息。算法400可从410进入420。

在420中，算法400可包含确定第一图像传感器的第一帧率(由图4中“帧率1”指代)以及第二图像传感器的第二帧率(由图4中的“帧率2”指代)，以及第一帧率和第二帧率之间的差值。第一帧率和第二帧率可以基于第一图像传感器和第二图像传感器的周期性周期时序控制信号的信息确定。算法400可从420进入430。

在430中，算法400可包含确定第一帧率和第二帧率之间的差值是否大于第一阈值(由图4中的“阈值1”指代)。在第一帧率和第二帧率之间的差值大于第一阈值的事件中，算法400可从430进入440。否则，在第一帧率和第二帧率之间的差值不大于第一阈值(例如，小于或等于第一阈值)的事件中，算法400可从430进入410以继续监控与第一图像传感器和第二图像传感器改变关联的周期性周期时序控制信号(且，因此，帧率)的改变。

在440中，算法400可包含确定第一帧率和第二帧率之间的差值是否小于第二阈值(由图4中“阈值2”指代)。在第一帧率和第二帧率之间的差值小于第二阈值的事件中，算法400可从440进入450。否则，在第一帧率和第二帧率之间的差值不小于第二阈值(例如，大于或等于第二阈值)的事件中，算法400可从440进入410以继续监控与第一图像传感器和第二图像传感器改变关联的周期性周期时序控制信号(且，因此，帧率)的改变。

在450中，算法400可包含当第一帧率和第二帧率之间的差值在第一阈值和第二阈值之间的范围时，调整第一帧率和第二帧率中的一个以匹配第一帧率和第二帧率的另一个，以便实现同步。

例如，假设由于环境照明从相对亮改变为相对暗而导致的曝光率的增加，第一图像传感器的第一帧率从30帧每秒(fps)改变为15fps，并假设阈值范围是10fps，算法400在第二图像传感器的第二帧率还没有改变为15fps的事件中，可将第二图像传感器的第二帧率调整为15fps以匹配第一图像传感器的帧率。作为另一示例，假设由于环境照明从相对暗改变为相对亮而导致的曝光率的减少，第一图像传感器的第一帧率从15fps改变为30fps，并假设阈值范围是10fps，算法400在第二图像传感器的第二帧率还没有改变为30fps的事件中，可将第二图像传感器的第二帧率调整为30fps以匹配第一图像传感器的帧率。

图5描绘了根据本公开的实现双照相机应用中动态帧率的图像帧同步的两个示例场景500。场景500可以是装置200的算法400的示例实现或任何变化和/或其派生的图示。在图5的左手侧，无论环境照明是否从相对亮变到相对暗或从相对暗变到相对亮，在第一图像传感器和第二图像传感器的帧率之间的差值过量(例如，大于高阈值)的事件中，同步过程将暂停、停止或挂起。在图5的右手侧，当在第一图像传感器和第二图像传感器的帧率之间的差值位于可接受的范围(例如，位于低阈值和高阈值之间)时，同步过程恢复。

场景500仅仅是用于说明性的目的并不限于，环境照明从相对亮改变为相对暗(例如，装置200由用户从亮环境，例如室外，移动到暗环境，例如室内)。在场景500示出的示例中，第一图像传感器210的第一帧率被调整以匹配第二图像传感器220的第二帧率用于同步，且场景500中进行的示例过程描述如以下。

在场景500，第一图像传感器210的第一帧率和第二图像传感器220的第二帧率初始为30fps。由于处理器230检测环境照明从相对亮变为相对暗(例如，基于从第一图像传感器210和/或第二图像传感器220接收的数据)，ae电路232响应于环境照明中亮度的改变的检测将与第一图像传感器210和第二图像传感器220关联的曝光时间从第一曝光时间(对应于30fps)调整到第二曝光时间(对应于15fps)。结果，在场景500中，一旦从ae电路232接收到关于曝光时间调整的指示，第二图像传感器220的第二帧率随着装置200从亮环境进入暗环境开始从30fps改变为15fps。另一方面，在场景500中，第一图像传感器210的第一帧率保持30fps。例如，第一图像传感器210可继续从处理器230接收周期性控制信号，处理器230将第一图像传感器210的帧率设置为30fps。同步驱动器电路234监控第一帧率和第二帧率，并当第一帧率和第二帧率之间的差值超过第一阈值或阈值1(例如，5fps)时初始化同步过程。然而，由于第一帧率和第二帧率之间的差值增加超过第二阈值或阈值2(例如，12fps)，同步驱动器电路234暂停、停止或挂起同步过程，同时继续监控第一帧率和第二帧率。最终，当第一帧率和第二帧率之间的差值落入第一阈值和第二阈值之间的范围时(例如，5fps和12fps之间)，同步驱动器电路234恢复同步过程以导致第一帧率和第二帧率在装置200进入暗环境后同步。

图6描绘根据本公开的实现的影响双照相机应用中动态帧率的图像帧同步的示例算法600。算法600可包含一个或多个操作、动作或功能，如一个或多个块610、620和630表示的。尽管图示为离散块，算法600的各种块可以分为附加的块、结合为更少的块或取消，取决于所希望的实现。算法600可以由装置200以及其任何变化和/或派生来实施。算法600可以开始于610。

在610，算法600可包含与第一图像传感器和第二图像传感器(图6中分别由“图像传感器1”和“图像传感器2”指代)关联的分析相应周期时序控制信号(例如，vsync)的信息的分析。算法600可从610进入620。

在620中，算法600可包含确定第一图像传感器的第一帧率(由图6中“帧率1”指代)以及第二图像传感器的第二帧率(由图6中的“帧率2”指代)，以及第一帧率和第二帧率之间的差值。特别地，确定第一帧率的信号阻止时间和第二帧率的信号阻止时间之间的差值。图5的参考场景500例如，在图5的左手侧当同步过程停止时，差值是15fps，且在图5的右手侧当同步过程恢复时，差值是位于阈值1和阈值2之间。第一帧率和第二帧率可以基于第一图像传感器和第二图像传感器的周期性周期时序控制信号的信息确定。算法600可从620进入630。

在630中，算法600可包含调整第一帧率和第二帧率的一个以匹配第一帧率和第二帧率的另一个，以便实现同步。

例如，假设由于环境照明从相对亮改变为相对暗而导致的曝光率的增加，第一图像传感器的第一帧率从30帧每秒(fps)改变为15fps，算法400在第二图像传感器的第二帧率还没有改变为15fps(例如，从30fps)的事件中，可将第二图像传感器的第二帧率调整为15fps以匹配第一图像传感器的帧率。作为另一示例，假设由于环境照明从相对暗改变为相对亮而导致的曝光率的减少，第一图像传感器的第一帧率从15fps改变为30fps，算法400在第二图像传感器的第二帧率还没有改变为30fps(例如，从15fps)的事件中，可将第二图像传感器的第二帧率调整为30fps以匹配第一图像传感器的帧率。

图7描绘了根据本公开另一实现双照相机应用中动态帧率的图像帧同步的示例场景700。场景700可以是装置200的算法600的示例实现或任何变化和/或其派生的图示。在场景700，无论环境照明是否从相对亮变到相对暗或从相对暗变到相对亮，当一个帧率更新为其他帧率的值时帧率被同步，其用作基础帧率。

场景700仅仅是用于说明性的目的并不限于，环境照明从相对亮改变为相对暗(例如，装置200由用户从亮环境，例如室外，移动到暗环境，例如室内)。在场景700示出的示例中，第一图像传感器210的第一帧率被调整以匹配第二图像传感器220的第二帧率用于同步，且场景700中进行的示例过程描述如以下。

在场景700中，第一图像传感器210的第一帧率和第二图像传感器220的第二帧率初始为30fps。由于处理器230检测环境照明从相对亮变为相对暗(例如，基于从第一图像传感器210和/或第二图像传感器220接收的数据)，ae电路232响应于环境照明中亮度的改变的检测将与第一图像传感器210和第二图像传感器220关联的曝光时间从第一曝光时间(对应于30fps)调整到第二曝光时间(对应于15fps)。结果，在场景700中，一旦从ae电路232接收到关于曝光时间调整的指示，第二图像传感器220的第二帧率随着装置200从亮环境进入暗环境开始从30fps改变为15fps。另一方面，在场景700中，第一图像传感器210的第一帧率保持30fps。例如，第一图像传感器210可继续从处理器230接收周期性控制信号，处理器230将第一图像传感器210的帧率设置为30fps。同步驱动器电路234监控第一帧率和第二帧率，并当检测到第一帧率和第二帧率之间的差值时初始化同步过程。由于第二帧率从以前的值30fps改变并停在新值15fps，同步驱动器电路234确定新值15fps为基础率。因此，同步驱动器电路234更新第一帧率为基础值，由此在装置200进入暗环境后同步第一帧率和第二帧率。

图8描绘了根据本公开另一实现双照相机应用中动态帧率的图像帧同步的示例场景800。场景800可以由装置200实施。在场景800，无论环境照明是否从相对亮变到相对暗或从相对暗变到相对亮，环境照明改变由于ae电路232和同步驱动器电路234彼此合作立刻同步的帧率。

场景800仅仅是用于说明性的目的并不限于，环境照明从相对亮改变为相对暗(例如，装置200由用户从亮环境，例如室外，移动到暗环境，例如室内)。在场景800示出的示例中，第一图像传感器210的第一帧率被调整以匹配第二图像传感器220的第二帧率用于同步，且场景800中进行的示例过程描述如以下。

在场景800中，第一图像传感器210的第一帧率和第二图像传感器220的第二帧率初始为30fps。由于处理器230检测环境照明从相对亮变为相对暗(例如，基于从第一图像传感器210和/或第二图像传感器220接收的数据)，同步驱动器电路234监控第一帧率和第二帧率，并确定第一帧率和第二帧率之间的差值。同步驱动器电路234也通信或通知ae电路232第一帧率、第二帧率以及第一帧率和第二帧率之间的差值。由于环境照明改变，由此要求曝光时间的调整，ae电路232根据或考虑第一帧率、第二帧率以及第一帧率和第二帧率之间的差值调整曝光时间。例如，ae电路232将与第一图像传感器210和第二图像传感器220关联的曝光时间从第一曝光时间(对应于30fps)调整到第二曝光时间(对应于15fps)响应于环境照明中亮度的改变的检测。ae电路232通信或通知同步驱动器电路234对曝光时间进行的调整。同步驱动器电路234然后调整第一帧率以匹配第二帧率。

图9描绘了根据本公开的各种实现的关于双照相机应用中动态帧率的图像帧同步的示例场景900。场景900的部分(a)和部分(b)的每个用多个功能块图示，包含同步驱动器(例如，代表同步驱动器电路234)、自动曝光(automaticexposure，ae)(例如，代表ae电路232)、图像传感器1(例如，代表第一图像传感器210)以及图像传感器2(例如，代表第二图像传感器220)。

场景900的部分(a)图示不利用ae和同步驱动器彼此合作的图像帧同步的如在算法400、场景500、算法600和场景700的另一方法。在此方法下，ae和同步驱动器独立地彼此操作。ae可指示图像传感器1和图像传感器2的每个需要改变帧率，作为由于环境照明中改变造成的曝光时间的调整的结果。没有此知识，同步驱动器可独立地且单独地确定第一帧率和第二帧率之间的差值。在场景900的部分(a)示出的示例中，同步驱动器可使用第二帧率作为基本率以调整第一帧率。例如，同步驱动器可更新第一帧率为第二帧率的值以实现同步。

场景900的部分(b)图示利用ae和同步驱动器彼此合作的图像帧同步的如在场景800的另一方法。在此方法下，ae和同步驱动器可以恒定或周期性彼此通信。同步驱动器可以提供第一帧率(例如，与图像传感器1关联的vsync的时间信息)、第二帧率(例如，图像传感器2关联的vsync的时间信息)以及第一帧率和第二帧率之间的差值到ae。ae可提供曝光时间(例如，曝光时间的调整或曝光时间的新值)的信息到同步驱动器。ae可通过考虑第一帧率、第二帧率以及第一帧率和第二帧率之间的差值来调整曝光时间。ae可指示图像传感器1和图像传感器2的每个需要改变帧率，作为由于环境照明中改变造成的曝光时间的调整的结果。同步驱动器可利用第二帧率作为基本帧率，并更新第一帧率为第二帧率的值以实现同步。

示例过程

图10描绘了根据本公开的实现关于双照相机应用在动态帧率的图像帧同步的示例过程1000。过程1000可包含一个或多个操作、动作或功能，如一个或多个块1010、1020以及子块1022、1024和1026表示的。尽管图示为离散块，过程1000的各种块可以分为附加的块、结合为更少的块或取消，取决于所希望的实现。过程1000的块和子块可以按显示于图10中的顺序或其它顺序来执行，取决于所希望的实现。过程1000可以由装置200以及其任何变化和/或派生来实施。过程1000可以是每个算法400、场景500、算法600、场景700和场景800的示例实现，无论部分地或还是完全地。仅仅是用于说明性的目的并不限制，过程1000结合装置200描述于以下。过程1000可开始于框1010。

在1010中，过程1000可包含装置200的处理器230，用于当装置200操作于利用由第一图像传感器210和第二图像传感器220俘获的图像的双照相机模式时检测环境照明中亮度的改变。例如，处理器230可基于从第一图像传感器210接收的第一数据和/或从第二图像传感器220接收的第二数据检测环境照明中亮度的改变。过程1000可从1010进行到1020。

在1020中，过程1000可包含处理器230，响应于检测环境照明中亮度的改变同步第一图像传感器210和第二图像传感器220的帧率。此可包含过程1000，执行子块1022、1024和1026的一个或多个。

在1022中，过程1000可包含处理器230，利用ae电路232和同步驱动器电路234彼此合作同步第一图像传感器210和第二图像传感器220的帧率。即，过程1000在同步第一图像传感器210和第二图像传感器220的帧率过程中可实施场景800，如以下所描述的。

在一些实施例中，过程1000可包含同步驱动器电路234，确定第一图像传感器的第一帧率、第二图像传感器的第二帧率以及第一帧率和第二帧率之间的差值。过程1000还可包含同步驱动器电路234，将第一帧率、第二帧率以及第一帧率和第二帧率之间的差值通信至ae电路232。过程1000可包含ae电路232，响应于检测将与第一图像传感器210和第二图像传感器220关联的曝光时间从第一曝光时间调整到第二曝光时间。响应于ae电路232调整曝光时间，第二图像传感器的第二帧率可从对应于第一曝光时间的第一值改变为对应于第二曝光时间的第二值。过程1000还可包含ae电路232，为同步驱动器电路234提供曝光时间已经调整的指示。过程1000还可包含同步驱动器电路234，调整第一帧率以匹配第二帧率。例如，过程1000可包含同步驱动器电路234，将第一图像传感器210的第一帧率设置为第二图像传感器220的当前帧率。

在1024中，过程1000可包含处理器230，当第一图像传感器210的第一帧率与第二图像传感器220的第二帧率之间的差值在预定义的范围时，同步第一图像传感器210和第二图像传感器220的帧率。即，过程1000可在可在同步第一图像传感器210和第二图像传感器220的帧率的过程中实施算法400和场景500，如以下所述。

在一些实施例中，在同步第一图像传感器210和第二图像传感器220的帧率的过程中，过程1000可包含ae电路232，响应于检测将与第一图像传感器210和第二图像传感器220关联的曝光时间从第一曝光时间调整到第二曝光时间。响应于ae电路232调整曝光时间，第二图像传感器220的第二帧率可从对应于第一曝光时间的第一值改变为对应于第二曝光时间的第二值。过程1000可包含同步驱动器电路234，确定第一图像传感器210的第一帧率与第二图像传感器220的第二帧率之间的差值。过程1000然后可包含同步驱动器电路234，确定第一帧率和第二帧率之间的差值是否大于第一阈值。响应于确定第一帧率和第二帧率之间的差值大于第一阈值，过程1000可包含同步驱动器电路234，确定第一帧率和第二帧率之间的差值是否小于第二阈值，其中第二阈值大于第一阈值。响应于确定第一帧率和第二帧率之间的差值小于第二阈值且大于第一阈值，过程1000可包含同步驱动器电路234调整第一帧率以匹配第二帧率。例如，过程1000可包含同步驱动器电路234，将第一图像传感器210的第一帧率设置为第二图像传感器220的当前帧率。

在一些实施例中，在同步第一图像传感器210和第二图像传感器220的帧率的过程中，过程1000可包含同步驱动器电路234，响应于确定第一帧率和第二帧率之间的差值小于第一阈值或大于第二阈值，监控第一帧率和第二帧率之间差值的改变。此外，过程1000可包含同步驱动器电路234，在第一帧率和第二帧率之间的差值落入第一阈值和第二阈值之间的范围时调整第一帧率以匹配第二帧率。例如，过程1000可包含同步驱动器电路234，将第一图像传感器210的第一帧率设置为第二图像传感器220的当前帧率。

在1026，过程1000可包含处理器230，通过更新第一图像传感器210或第二图像传感器220的帧率以匹配另一图像传感器的帧率来同步第一图像传感器210和第二图像传感器的220帧率。即，过程1000可在同步第一图像传感器210和第二图像传感器220的帧率的过程中实施算法600和场景700，如以下所述。

在一些实施例中，在同步第一图像传感器210和第二图像传感器220的帧率的过程中，过程1000可包含ae电路232响应于检测将与第一图像传感器210和第二图像传感器220关联的曝光时间从第一曝光时间调整到第二曝光时间。响应于ae电路232调整曝光时间，第二图像传感器220的第二帧率可从对应于第一曝光时间的第一值改变为对应于第二曝光时间的第二值。对应地，在同步第一图像传感器210和第二图像传感器220的帧率的过程中，过程1000可包含同步驱动器电路234，确定第一图像传感器210的第一帧率、第二图像传感器220的第二帧率以及第一帧率和第二帧率之间的差值。此外，过程1000可包含同步驱动器电路234，调整第一帧率以匹配第二帧率。例如，过程1000可包含同步驱动器电路234，将第一图像传感器210的第一帧率设置为第二图像传感器220的当前帧率。

图11描绘了根据本公开的实现关于双照相机应用在那个动态帧率的图像帧同步的示例过程1100。过程1100可包含一个或多个操作、动作或功能，如一个或多个块1110、1120和1130以及子块1132和1134表示的。尽管图示为离散块、过程1100的各种块可以分为附加的块、结合为更少的块或取消，取决于所希望的实现。过程1100的块和子块可以按显示于图11中的顺序或其它顺序来执行，取决于所希望的实现。过程1100可以由装置200以及其任何变化和/或派生来实施。过程1100可以是每个算法400、场景500、算法600、场景700和场景800的示例实现，无论部分地或还是完全地。仅仅是用于说明性的目的并不限制，过程1100结合装置200描述于以下。过程1100可开始于框1110。

在1110，过程1100可包含启用双照相机应用的装置200的处理器230，双照相机应用利用由第一图像传感器210和第二图像传感器220俘获的图像。过程1100可从1110进行到1120。

在1120中，过程1100可包含处理器230，检测环境照明中亮度的改变。例如，处理器230可基于从第一图像传感器210接收的第一数据和/或从第二图像传感器220接收的第二数据检测环境照明中亮度的改变。过程1100可从1120进行到1130。

在1130中，过程1100可包含处理器230，响应于检测环境照明中亮度的改变同步第一图像传感器210的第一帧率和第二图像传感器220的第二帧率。此可包含过程1000，执行子块1132和1134的一个或多个。

在1132中，过程1100可包含处理器230，将第一图像传感器210的第一帧率和第二图像传感器220的第二帧率同步，而不用ae电路232和同步驱动器电路234彼此合作。例如，过程1100可包含同步驱动器电路234，确定第二帧率的改变作为由于环境照明中亮度的检测的改变的由ae电路232的曝光时间中的改变的结果。此外，过程1100可包含同步驱动器电路234，调整第一帧率以同步第一帧率和第二帧率。在1132，过程1100可在同步第一图像传感器210和第二图像传感器220的帧率的过程中实现算法400/场景500或算法600/场景700。

在算法400和场景500中，过程1100可包含处理器230，当第一图像传感器210的第一帧率和第二图像传感器220的第二帧率之间的差值位于预定义的范围时，同步第一图像传感器210和第二图像传感器220的帧率，描述如下。

在一些实施例中，在调整第一帧率以同步第一帧率和第二帧率中，过程1100可包含同步驱动器电路234，确定第一帧率和第二帧率之间的差值。过程1100还可包含同步驱动器电路234，确定第一帧率和第二帧率之间的差值是否大于第一阈值。在第一帧率和第二帧率之间的差值大于第一阈值的事件中，过程1100可包含同步驱动器电路234，确定第一帧率和第二帧率之间的差值是否小于第二阈值，第二阈值大于第一阈值。在第一帧率和第二帧率之间的差值小于第二阈值和大于第一阈值的事件中，过程1100可包含同步驱动器电路234，调整第一帧率以匹配第二帧率。例如，过程1000可包含同步驱动器电路234，将第一图像传感器210的第一帧率设置为第二图像传感器220的当前帧率。

在一些实施例中，在调整第一帧率以同步第一帧率和第二帧率中，过程1100还可包含同步驱动器电路234，在第一帧率和第二帧率之间的差值小于第一阈值或大于第二阈值的事件中，监控第一帧率和第二帧率之间差值的改变。此外，过程1100可包含同步驱动器电路234，一旦第一帧率和第二帧率之间的差值落入第一阈值和第二阈值之间的范围时，调整第一帧率以匹配第二帧率。

在算法600和场景700中，过程1100可包含处理器230，通过更新第一图像传感器210或第二图像传感器220的帧率以匹配其它图像传感器的帧率来同步第一图像传感器210和第二图像传感器220的帧率，描述如下。

在一些实施例中，调整第一帧率以同步第一帧率和第二帧率，过程1100可包含同步驱动器电路234，确定第一帧率、第二帧率以及第一帧率和第二帧率之间的差值。此外，过程1100可包含同步驱动器电路234，调整第一帧率以匹配第二帧率。例如，过程1000可包含同步驱动器电路234，将第一图像传感器210的第一帧率设置为第二图像传感器220的当前帧率。

在1134中，过程1100可包含处理器230，利用ae电路232和同步驱动器电路234彼此合作，将第一图像传感器210的第一帧率和第二图像传感器220的第二帧率同步。即，过程1100可在同步第一图像传感器210和第二图像传感器220的帧率中实现场景800，描述如以下。

在一些实施例中，过程1100可包含同步驱动器电路234，确定第一图像传感器的第一帧率、第二图像传感器的第二帧率以及第一帧率和第二帧率之间的差值。过程1100还可包含同步驱动器电路234，将第一帧率、第二帧率以及第一帧率和第二帧率之间的差值通信至ae电路232。过程1100可包含ae电路232响应于检测将与第一图像传感器210和第二图像传感器220关联的曝光时间从第一曝光时间调整到第二曝光时间。响应于ae电路232调整曝光时间，第二图像传感器的第二帧率可从对应于第一曝光时间的第一值改变为对应于第二曝光时间的第二值。过程1100还可包含ae电路232，为同步驱动器电路234提供曝光时间已调整的指示。过程1100还可包含同步驱动器电路234，调整第一帧率以匹配第二帧率。例如，过程1100可包含同步驱动器电路234，将第一图像传感器210的第一帧率设置为第二图像传感器220的当前帧率。

本领域的技术人员将注意到，在获得本发明的指导之后，可对所述装置和方法进行大量的修改和变换。相应地，上述公开内容应该理解为，仅通过所附加的权利要求的界限来限定。