光学图像稳定技术的制作方法

光学图像稳定技术
1.优先权申明
2.本专利申请要求2018年10月30日提交的题为“optical image stabilization techniques(光学图像稳定技术)”的美国非临时申请no.16/175688的优先权，该申请被转让给本申请的受让人，特此通过引用明确并入本文。
技术领域
3.本发明涉及用于光学图像稳定(optical image stabilization，ois)的技术，并且更具体地涉及通过减少其稳定平台达到运动极限范围的实例、降低所需功率和/或调整自动曝光参数以考虑到ois性能来改善相机系统的ois性能。


背景技术：

4.光学图像稳定(ois)技术通过在图像采集期间抵消由于相机不稳定性或抖动引起的图像模糊和/或补偿滚动快门失真来提高相机系统的性能。这对于在手持设备(诸如用于静止图像或视频图像的平板计算设备和移动手机)中实施的相机尤其重要。如在本公开中所设想的，ois技术可以包括操作与相机透镜和/或传感器耦合的一个或多个致动器，该致动器相对于相机系统在俯仰、滚动和偏航方向中的至少一个上平移、倾斜和/或旋转所述透镜和/或传感器。
5.ois布置可以很大程度上或完全补偿相机运动的影响，包括旋转(例如，可以通过陀螺仪测量)、平移(例如，可以通过加速度计测量)和/或滚动快门效果。当相机运动超过致动器的运动限制范围时，ois布置补偿这些影响的能力可能会受到损害。此外，传统的ois布置需要相当大的功率。
6.因此，需要改进的运动改进的ois技术。


技术实现要素：

7.本公开的系统、方法和设备各有几个创新方面，其中没有一个单独负责本公开的期望属性。
8.本公开中所述主题的一个创新方面涉及一种用于相机系统的光学图像稳定(ois)的装置。该装置包括：相机系统的透镜；图像稳定布置，布置包括图像传感器和致动器中的一个或两个，图像传感器与相机透镜光学耦合，致动器与透镜和图像传感器中的一个或两个机械耦合；以及控制器。控制器与图像稳定布置和用于测量相机运动的至少一个运动传感器通信地耦合。控制器被配置为：从至少一个运动传感器接收所测量的相机运动信息；在采集连续图像帧之前，为相机透镜和图像传感器中的一个或两个确定第一期望开始位置；在采集连续图像帧中的每个相应的图像帧的期间，使图像稳定布置移动或者旋转相机透镜和图像传感器中的一个或两个，以补偿所测量的相机运动；以及在至少部分落在第一连续帧和第二连续帧之间的时间间隔期间，将相机透镜和图像传感器中的一个或两个重定位到针对第二连续帧的第二期望开始位置。
9.在一些示例中，控制器可以被配置为在时间间隔的至少部分期间，通过控制相机透镜或图像传感器的转向运动，来同步地重定位相机透镜和图像传感器中的一个或两个。
10.在一些示例中，控制器可以被配置为选择第一和第二相应的期望开始位置中的至少一个，以减少(i)滑轨的可能性和(ii)功耗中的一个或两个。
11.在一些示例中，相应的期望开始位置可以接近几何中立位置。
12.在一些示例中，相对于几何中立位置和相对于在紧接前一帧完成时达到的结束位置，可以设置第二期望开始位置，使得几何中立位置大致位于第二期望开始位置和结束位置之间的中间。
13.在一些示例中，时间间隔可以完全落在第一连续帧和第二连续帧之间。
14.在一些示例中，时间间隔可以至少部分地与第一连续帧和第二连续帧中的一个或两个重叠。
15.在一些示例中，相机运动信息可以包括旋转和平移中的一个或两个。
16.在一些示例中，控制器可以被配置为驱动致动器以重定位透镜。
17.在一些示例中，运动传感器可以包括陀螺仪，加速度计或其它运动传感器中的一个或多个。
18.在一些示例中，控制器可以被配置为监视和控制曝光时间、有效读出时间、透镜/传感器重定位时间和帧周期中的一个或多个。
19.在一些示例中，控制器可以被配置为控制曝光时间、有效读出时间、透镜/传感器重定位时间和帧周期中的一个或多个，以使得曝光时间、有效读出时间和透镜/传感器重定位时间之和小于帧周期。
20.根据一些实施方式，一种用于相机系统的光学图像稳定(ois)的方法，包括：在控制器处从至少一个运动传感器接收所测量的相机运动信息；在采集连续图像帧的期间，利用控制器为相机透镜和图像传感器中的一个或两个，针对相应的图像帧确定相应的期望开始位置，在采集相应的图像帧期间，使图像稳定布置在控制器的指示下移动相机透镜和图像传感器中的一个或两个，以补偿所测量的相机运动；以及在至少部分落在第一连续帧和第二连续帧之间的时间间隔期间，在控制器的指示下将相机透镜和图像传感器中的一个或两个重定位到针对第二连续帧的相应的期望开始位置。
21.在一些示例中，该方法可以进一步包括：在控制器的指示下，在时间间隔的至少部分期间，通过控制相机透镜或图像传感器的转向运动，来同步地重定位相机透镜和图像传感器中的一个或两个。
22.在一些示例中，该方法可以进一步包括：利用控制器选择相应的期望开始位置，以减少(i)滑轨的可能性和(ii)功耗中的一个或两个。
23.在一些示例中，相应的期望开始位置可以接近几何中立位置。
24.在一些示例中，相对于几何中立位置和相对于在紧接前一帧完成时达到的结束位置，可以设置相应的期望开始位置，使得几何中立位置大致位于开始位置和结束位置之间的中间。
25.在一些示例中，时间间隔可以完全落在第一连续帧和第二连续帧之间。
26.在一些示例中，时间间隔可以至少部分地与第一连续帧和第二连续帧中的一个或两个重叠。
27.在一些示例中，相机运动信息可以包括旋转和平移中的一个或两个。
28.在一些示例中，重定位相机透镜可以包括利用控制器驱动致动器。
29.在一些示例中，该方法可以进一步包括：利用控制器监测和控制曝光时间、有效读出时间、透镜/传感器重定位时间和帧周期中的一个或多个。
30.在一些示例中，控制曝光时间、有效读出时间、透镜/传感器重定位时间和帧周期中的一个或多个可以包括使得曝光时间、有效读出时间和透镜/传感器重定位时间之和小于帧周期。
31.根据一些实施方式，在一种存储由控制器执行的程序代码的非暂时性计算机可读介质中，程序代码包括指令，指令被配置为使控制器：从至少一个运动传感器接收所测量的相机运动信息；在采集连续图像帧期间，为相机透镜和图像传感器中的一个或两个，针对相应的图像帧确定相应的期望开始位置；在采集相应的图像帧期间，使图像稳定布置移动相机透镜和图像传感器中的一个或两个，以补偿所测量的相机运动；以及在至少部分落在第一连续帧与第二连续帧之间的时间间隔期间，使图像稳定布置将相机透镜和图像传感器中的一个或两个重定位到针对第二连续帧的相应的期望开始位置。
32.在一些示例中，计算机可读介质可以进一步包括指令，指令被配置为在时间间隔的至少部分期间，使控制器通过控制相机透镜或图像传感器的转向运动来同步地重定位相机透镜和图像传感器中的一个或两个。
33.在一些示例中，计算机可读介质可以进一步包括指令，指令被配置为使控制器选择相应的期望开始位置，以减少(i)滑轨的可能性和(ii)功耗中的一个或两个。
34.在一些示例中，计算机可读介质可以进一步包括指令，指令被配置为使控制器监视和控制曝光时间、有效读出时间、透镜/传感器重定位时间和帧周期中的一个或多个。
35.在一些示例中，控制曝光时间、有效读出时间、透镜/传感器重定位时间和帧周期中的一个或多个可以包括使得曝光时间、有效读出时间和透镜/传感器重定位时间之和小于帧周期。
36.根据一些实施方式，一种相机系统的光学图像稳定(ois)的装置包括：相机系统的透镜；图像稳定布置，包括以下中的一个或两个：与相机透镜光学耦合的图像传感器，用于移动或旋转透镜和图像传感器中的一个或两个的部件；以及控制器，控制器与图像稳定布置和用于测量相机运动的至少一个运动传感器通信地耦合。控制器被配置为：从至少一个运动传感器接收所测量的相机运动信息；在采集连续图像帧之前，为相机透镜和图像传感器中的一个或两个确定第一期望开始位置；在采集连续图像帧中的每个相应的图像帧期间，使图像稳定布置移动或旋转相机透镜和图像传感器中的一个或两个，以补偿所测量的相机运动；以及在至少部分落在第一连续帧和第二连续帧之间的时间间隔期间，将相机透镜和图像传感器中的一个或两个重定位到针对第二连续帧的第二期望开始位置。
37.在一些示例中，控制器可以被配置为在时间间隔的至少部分期间，通过控制相机透镜或图像传感器的转向运动来同步地重定位相机透镜和图像传感器中的一个或两个。
38.在一些示例中，控制器可以被配置为选择第一和第二相应的期望开始位置中的至少一个，以减少(i)滑轨的可能性和(ii)功耗中的一个或两个。
39.在一些示例中，相应的期望开始位置可以接近几何中立位置。
40.在一些示例中，相对于几何中立位置和相对于在紧接前一帧完成时达到的结束位
置，可以设置第二期望开始位置，使得几何中立位置大致位于第二期望开始位置和结束位置之间的中间。
41.在一些示例中，时间间隔可以完全落在第一连续帧和第二连续帧之间。
42.在一些示例中，时间间隔可以至少部分地与第一连续帧和第二连续帧中的一个或两个重叠。
43.在一些示例中，控制器可以被配置为监视和控制曝光时间、有效读出时间、透镜/传感器重定位时间和帧周期中的一个或多个，以使得曝光时间、有效读出时间和透镜/传感器重定位时间之和小于帧周期。
附图说明
44.在本公开和附图中阐述了本说明书中描述的主题的一个或多个实施方式的详细信息。通过回顾本公开，其它特征、方面和优点将变得显而易见。注意，本公开的附图和其它图的相对尺寸可以不按比例绘制。在本公开中显示和描述的尺寸、厚度、布置、材料等仅作为示例，不应被解释为限制。在各种图中，相似的参考编号和标记指示相似的元素。
45.图1示出了由行走运动引起的滑轨(rail)现象的示例。
46.图2示出了根据实施方式的用于相机系统的同步光学图像稳定(ois)的装置的示例。
47.图3示出了根据一些实施方式的作为时间的函数的同步ois操作。
48.图4示出了根据一些实施方式的作为时间的函数的建模的ois操作的示例。
49.图5示出了根据一些实施方式的作为时间的函数的建模的ois操作的另一示例。
50.图6示出了根据一些实施方式的具有ois的相机的相机透镜布置的示例。
51.图7示出了根据一些实施方式的作为时间的函数的ois操作。
52.图8示出了一个作为光敏度(iso)和曝光时间的函数的图像模糊的示例曲线。
53.图9示出了根据一些实施方式的作为时间的函数的建模的ois操作示例。
54.图10示出了根据一些进一步的实施方式的作为时间的函数的ois操作。
55.图11示出了根据更进一步的实施方式的作为时间的函数的ois操作。
56.图12示出了根据一些实施方式的自动曝光性能改进的示例。
57.图13示出了根据实施方式的在相机系统中用于光学图像稳定的处理流程的示例。
58.图14示出了根据另一实施方式的在相机系统中用于光学图像稳定的处理流程的示例。
59.图15示出了根据又一实施方式的在相机系统中的用于光学图像稳定的处理流程的示例。
具体实施方式
60.为了描述本公开的创新方面，以下描述针对某些实施方式。然而，本领域的普通技术人员将容易地想到，可以以多种不同的方式应用本文中的教导。所描述的实施方式可以在包括毫米波段通信能力的任何设备、装置或系统中实现。此外，可以设想所描述的实施方式可以包括在各种电子设备中或与各种电子设备相关联，电子设备诸如但不限于：移动手机、支持多介质互联网的蜂窝手机、移动电视接收器、无线设备、智能手机、智能卡、可穿戴
设备(诸如手环、臂带、腕带、戒指、头带和贴片等)，蓝牙设备、个人数据助手(pda)、无线电子邮件接收器、手持或便携式计算机、上网本、笔记本、智能本、平板电脑、打印机、复印机、扫描仪、传真设备、全球定位系统接收器/导航器、相机、数字介质播放器(诸如mp3播放器)、摄录机(camcorders)、游戏机、手表、时钟、计算器、电视监视器、平板显示器、电子读取设备(例如电子阅读器)、移动健康设备、计算机监视器、自动显示器(包括里程表和速度计显示器等)、驾驶舱控制和/或显示器、方向盘、相机视图显示器(诸如车辆中后视相机的显示器)、电子照片、电子广告牌或标牌、投影仪、建筑结构、微波炉、冰箱、立体声系统、盒式录音机或播放器、dvd播放器、cd播放器、vcr、收音机、便携式存储器芯片、洗衣机、干衣机、洗衣机/干衣机、自动柜员机(atm)、停车计量器、包装(诸如在包括微机电系统(mems)应用以及非ems应用的机电系统(ems)应用中)、美学结构(诸如在珠宝或服装上显示图像)以及各种ems设备。本文的教导还可用于以下应用中，诸如但不限于电子开关设备、射频滤波器、传感器、加速度计、陀螺仪、运动传感设备、磁力计、用于消费电子的惯性组件、消费电子产品的部件、变容二极管、液晶器件、电泳设备、驱动方案、制造工艺和电子测试设备。因此，教导并不旨在被限制于仅在附图中描绘的实施方式，而是具有对本领域普通技术人员来说显而易见的广泛适用性。
61.本公开的系统、方法和设备各有几个创新方面，其中没有一个单独负责本公开的期望属性。本公开中描述的主题可以与同步光学图像稳定(ois)系统相连实现，该系统包括操作与相机透镜和/或传感器耦合的一个或多个致动器。致动器可以使透镜和/或传感器相对于相机系统在俯仰、滚动和偏航方向中的至少一个方向上倾斜和/或旋转。致动器受机械运动范围限制。在没有当前公开的技术的情况下，包括旋转和平移中的一个或两个的相机运动可以将一个或多个致动器驱动到运动限制范围(即，使致动器“滑轨”)。在致动器“滑轨”的事件中，出现不希望的图像失真。在不存在当前公开的技术的情况下，致动器(其通常可以是具有+/
‑1‑
2度的运动范围的音圈马达(vcm)致动器)可能经历频繁的滑轨，特别是当相机是连续静态拍摄预览模式或视频时，并且特别是在由于行走或跑步导致包括相机摇摄或用户运动的使用情况下，在移动和/或振动车辆中使用相机。图1示出了针对具有+/
‑1°
的运动范围的致动器的、由行走运动引起的滑轨现象的示例。可以观察到，在30秒的建模周期内，ois进入滑轨式状态的次数较多(每秒不止一次)。
62.当前公开的技术实质上减少了在许多使用情形下发生滑轨的频率和数量，同时也降低了ois布置的功耗。在一些实施方式中，这是通过将致动器运动与图像数据采集帧的曝光持续时间同步来实现的。在一些实施方式中，在给定(第一)帧的曝光持续时间期间相机运动被补偿，并且，在第一帧终止和后续(第二)帧启动之间的间隔期间，致动器被移动回一个新的开始位置。有利的是，可以选择新的开始位置，其目的是减少在后续帧持续时间期间发生滑轨的可能性和/或降低功率。因为，对于至少vcm致动器，功耗随着致动器偏离中立(居中)位置的函数而增加，所以当前技术可通过平均保持致动器更接近中立位置来降低功耗。
63.图2示出了根据实施方式的用于相机系统的同步光学图像稳定(ois)的装置的示例。在示出的实施方式中，相机系统装置200包括透镜210和图像稳定布置(isa)220。isa 220可以包括与透镜210光学耦合的图像传感器222和与透镜210和/或传感器222机械耦合的致动器224。在一些实施方式中，可以是音圈马达(vcm)致动器的致动器224可以被配置为
围绕与光轴211正交的一个或多个轴(俯仰轴和/或偏航轴)旋转透镜210。
64.该装置还包括控制器2000，该控制器以通信地与isa 220和用于测量相机运动的至少一个运动传感器2030耦合。运动传感器2030可以是或包括陀螺仪、加速度计和/或任何其它类型的运动传感器。在一些实施方式中，在采集连续图像帧的期间，控制器2000可以被配置为基于以下描述的考虑，为每个各自帧的相机透镜210和图像传感器222中的一个或两个确定相应的期望开始位置。控制器2000还可以被配置为控制isa 220，使得在每个图像帧的采集期间，isa 220移动透镜210和图像传感器222中的一个或两个，以便补偿由运动传感器2030感测的相机运动。另外，控制器220可以被配置为使得isa 220在第一连续帧和第二连续帧之间将透镜210和运动传感器2020中的一个或两个重定位到第二连续帧的所确定的相应的期望开始位置。
65.图3示出了根据一些实施方式的作为时间的函数的同步ois操作。首先参考详图a，在“全局快门”操作模式下，采集连续图像帧数据的相机可能以每秒n帧(fps)的帧速率操作，每帧需要t秒的曝光时间。值得注意的是，当
‘
t’小于1/'n'时，每两个连续帧之间将存在一个间隔，在此期间不进行图像采集。例如，如果n＝30且t'＝15毫秒(msec)，则大约18msec(1000/30
‑
15msec)的间隔将是“未使用时间”，即未采集图像数据的时间，也称为“断电(blackout time)”时间。在第1帧的“曝光”周期，控制器可以被配置为控制致动器224和/或图像传感器222以使得透镜或传感器补偿由运动传感器2030记录的运动。在采集帧1和帧2之间的“未使用时间”期间，控制器可以被配置为使致动器224和/或图像传感器222过渡到期望开始位置。有利地，控制器确定所述期望开始位置，以满足以下目标中的一个或多个目标的组合：(1)减少在帧2中致动器224或图像传感器222被驱动到某一运动限制范围的可能性；以及(2)降低功耗。在一些实施方式中，可以通过使致动器224返回到或接近“中立”位置来满足第二目标，如下面将更详细描述的。
66.有利地，所公开的技术允许对于有效的图像稳定而言，相机运动从未超过致动器运动范围的约束被替换为在单帧曝光周期期间相机运动未超过致动器范围的更弱的约束。
67.现在参考图3的详图b，针对“滚动快门”操作模式，其中采集连续图像帧数据的相机以每秒'n'帧(fps)的帧速率操作，每帧的持续时间是曝光时间和“读出时间”的和。应当理解，如上文所述，在帧持续时间加读出时间小于1/'n'的情况下，在不进行图像采集期间，每两个连续帧之间将存在一个间隔。在采集帧1和帧2之间的“未使用时间”期间，控制器2000可以被配置为使致动器224和/或图像传感器222过渡到期望开始位置。如上所述，控制器可确定期望开始位置，以减少在第2帧中致动器224或图像传感器222被驱动到运动限制范围的可能性；和/或降低功耗。
68.图4示出了根据一些实施方式的作为时间的函数的建模的ois操作的示例。首先参考详图c，曲线410示出相机相对于时间的建模的或模拟的运动的简化示例。极限线421和422分别表示为相机的ois致动器和/或传感器假定的运动限制的上范围和下范围。在示例模拟中，以5fps采集图像数据，在连续帧之间具有短(<10ms)的“未使用时间”。线段433将透镜或传感器的运动表示为在连续帧中的每一帧期间的时间的函数。线段434(虚线)将透镜或传感器的运动表示为在连续帧之间的时间间隔期间的时间的函数。在两个连续帧之间的未使用的时间期间，透镜或图像传感器可以快速转向到(slew)后续帧的期望开始位置。在示出的示例中，ois操作可能导致透镜或传感器在帧'n'期间从'a'点到'b'点的运动，以补
偿相机运动。在帧'n'终止之后并且在帧n+l开始之前，透镜或传感器可从点b转向到点c。可以选择点c，其目的是在帧n+1期间避免滑轨和/或降低ois功耗。然后，ois操作可能导致透镜或传感器在帧n+l期间从点'c'到点'd'的运动，以补偿相机运动，然后是从点'd'转向到点'e'。
69.在一些实施方式中，期望的起点和/或转向运动的幅度和方向可以确定为所测量的相机角速率、α和帧持续时间的函数。例如，角运动转向运动可以根据公式计算：
‑
α*帧持续时间/2。这种方法倾向于导致成为与中立运动对称的运动的转向运动，并且最大化了透镜/传感器在两侧的运动储备，并且当相机运动缓慢或相机运动是周期性可预测运动(摇摄、行走)时效果很好。
70.可替代地，在运动是随机的情况下，可以设置转向运动，以使透镜/传感器在每个新帧之前返回到中立位置。
71.详图d和e示出了与详图c类似的ois操作技术，对于较高的帧速率(30fps)，每帧之间具有几毫秒的未使用时间。可以观察到，对于所示的模拟，尽管相机角度在
‑
2度到2度之间变化，但是透镜/传感器总是在距中立点小于0.25度的范围内(即，相对于轨道限制具有足够的余量)。
72.尽管为了说明简单起见，图4示出了相对于单轴的、作为相机(曲线410)和透镜/传感器(线段433和434)的时间的函数的角位置。应当理解，相对于两个或多个轴，相机运动是成角度的(通常是陀螺仪测量的)或线性的(通常是由加速度计或其他运动传感器测量的)。此外，无论相机运动的性质如何，透镜/传感器的补偿运动相对于两个或多个轴可以是线性的和/或成角度的。
73.图5示出了根据一些实施方式的作为时间的函数的建模的ois操作的另一示例。在所示的示例中，在扩展的时间刻度上描绘了以30fps进行的视频操作的模拟，每帧之间具有5ms的“未使用时间”，可以观察到，在每个连续的“未使用时间”间隔期间，透镜/传感器转向大约0.4度，与中立(零度角)的最大偏移约为0.2度和
‑
0.2度。曲线501和502分别描述了ois控制器角度输入和实际角度位置(由霍尔传感器测量的线性位移确定)。
74.如上所述，ois功耗基本上取决于透镜/传感器距中立位置的距离，特别是对于vcm致动器。再次参考图4，详图d，其中ois运动适度，透镜/传感器可以始终保持在中立位置，从而降低了功耗。在某些情况下，用于功率优化的透镜/传感器帧间转向策略可能类似于用于防止滑轨的优化策略。
75.然而，在一些实施方式中，可以基于功率最小化考虑来选择优选的中立位置，该考虑可以不同于仅为了防止滑轨而选择的优选的中立位置。为了防止滑轨，可以通过平均透镜/传感器位置大约在几何中心(中立位置)处来实现最大补偿范围(余量)。为了使功率最小化，可以有利地在重力结合透镜支撑弹簧在ois完全停用的情况下拉动透镜/传感器的位置处选择透镜/传感器的平均位置。反过来，这将取决于相机的取向(例如，相机是在横向模式还是纵向模式下操作)。
76.图6示出了根据一些实施方式的配备ois的相机的相机透镜布置的示例。相机透镜布置包括悬挂有一个或多个弹簧和/或磁体的透镜。当相机断电时，方框602，透镜位置可能被动浮动。然而，当相机通电(初始化)时，即使当ois关闭时，可能需要主动地将透镜的位置控制保持在已知的、稳定的位置，方框604(例如，在预览模式或某些视频模式中)。常见的
ois设计包括如图6所示的弹簧透镜悬架，该弹簧透镜悬架被配置为vcm致动器，该vcm致动器被配置为通过使用vcm洛伦兹力来移动所需的透镜。vcm电流消耗通常与透镜从中立位置偏移的幅度成比例。在实际配置的理想模型中，中心透镜(ois关闭)不应需要任何电流，并且弹簧机械地修整以自然地将透镜保持在中立中心位置。但是，由于例如可以在各种相机取向上执行相机图像采集，因此透镜上的重力拉力可能会发生变化。在针对水平(朝上)相机优化了中立(零焦距)透镜位置的情况下，如在没有本教导的情况下将是典型的，当相机处于纵向或横向取向时保持中立透镜位置需要电流，有时是实质性的。结果，可能需要ois控制环来保持透镜居中并防止其由于相机运动而弹跳(bouncing)，其功耗约为20
‑
10毫安，这仅仅是为了抵消重力的影响，无论ois是否关闭，方框604或ois是否打开，方框606。
77.在一种实施方式中，选择ois
‑
关闭透镜中立位置被选择为弹簧力将平衡重力的位置，而不一定是在机械中心。这种重力调整后的中立位置，虽然通常相当接近机械中心，但在纵向和横向模式上是不同的。除了ois控制器抵抗重力之外，所公开的技术设想让重力移位透镜。然后，ois控制器可被配置为仅施加小的稳定力(电流)以使该位置处的透镜机械震颤最小化。当手机保持在特定的纵向或横向位置时，维持位置所需的电源的dc电流分量几乎将被消除，仅需很小的ac电流来动态稳定相机的振动或震颤。
78.仍参考图6，当ois接通时，方框606，处理器可被配置为同时减少滑轨和功耗。例如，在一些实施方式中，处理器可被配置为相对于重力中立位置对称地定位透镜/传感器。在相对轻微的运动和帧间隔短的情况下(快速fps，如图4，详图d所示)，功耗和滑轨事件都可以最小化。在其他用例情况下(例如，图4，详图c)，为了避免滑轨，一些功耗的增加可能是合理的。再次参考图6，当ois处于“手动控制”模式时，方框608，用户或主机处理器可以选择优先于防止滑轨的节能模式，反之亦然。
79.在一些实施方式中，重力调整后的中立位置可以通过一个或多个校准过程确定。假设给定型号的每个手机上的弹簧参数都可重复，则校准只能在工厂的试点(pilot)手机上进行一次。可替代地，可以在递送给用户之前(“工厂校准”)，或者在递送给用户之后(优选地，在“后台操作”中)，在每个手机上执行校准。
80.在一种实施方式中，可通过在每个取向位置发送合成控制信号以上下移动透镜，并测量vcm电流或电池通电电流以找到具有最小电流的最佳位置来在纵向和横向取向中执行工厂校准。
81.在一些实施方式中，背景校准可以通过以下执行：(1)使透镜居中并采集图像；(2)通过禁用vcm/hall伺服(servo)环并捕捉图像，使透镜在给定的手机取向上下降到中立位置；以及(3)测量两个采集图像之间的关键点的垂直偏移，然后转换为度，然后转换为vcm位移。vcm位移将对应于距几何中心的最小屈光度(power)透镜偏移。
82.尽管在典型的用法中，大多数图像将以横向或纵向模式捕捉，但是在拍摄过程中可以将相机保持在其他角度。与仅在横向和纵向之间进行选择相比，使用加速度计来确定相机的姿势可能会更有利。只要在x和y方向上的弹簧是线性的(这很可能是真的)，就可以直接确定给定手机相对于重力的角度时透镜的静止位置。重力矢量可通过加速度计轻松确定。如果将手机稳定在中间角度，则透镜的中心可能会移动到最低屈光度位置，这取决于手机相对于重力的角度，而不仅仅是横向和纵向位置。
83.如上所述，结合图3
‑
5，在某些用例场景中，从完成一个图像帧的数据采集完成到
开始紧接的连续图像帧的数据采集之间，有足够的时间(例如5
‑
10ms)来重定位透镜或图像传感器。但是，在某些用例中，如果没有现在将要描述的其他进一步缓解步骤，则可能没有足够的时间。图7示出了根据一些实施方式的作为时间的函数的ois操作。首先参考详图f，可以观察到在所示的滚动快门操作模式下，在各帧之间没有时间可用以重定位透镜或图像传感器。详图g和h说明了缓解此问题的两种技术。首先参考详图g，在“数字缩放”模式(在这种模式中，良好的ois性能可能特别重要)中，由于某些传感器行被忽略(在后处理中不读取或丢弃)，有效的读出时间将减少。较短的有效读出时间(其可表征为有效读出时间＝原始读出时间/缩放，对于非缩放图像，缩放为1)可能会产生足够的“未使用时间”，在该时间内执行帧之间的透镜/传感器的重定位。
84.可替代地或另外地，还可以进一步在一些顶行和底行进行视频裁剪，例如为总图像的大约20％，如详图h所示。有效读出时间可以与数字缩放类似地减少，但是图像行(以及列)可以以不相等的比例被移除。在同时执行缩放和视频裁剪的情况下，有效读出时间可表征为：有效读出时间＝原始读出时间/缩放*(1.0
‑
裁剪余量)。
85.减少有效读出时间，无论是通过视频缩放还是裁剪，都是可取的，因为当曝光时间、有效读出时间和透镜/传感器重定位时间(包括稳定时间)之和小于帧周期时，最有利于执行同步ois。在一些实施方式中，如现在将描述的，调整曝光时间、透镜/传感器重定位时间和帧周期中的一个或多个以增强同步ois性能。在其他实施方式中，曝光时间、有效读出时间和透镜/传感器重定位时间(包括稳定时间)的之和可能超过帧周期，但是实施了使可观察到的图像质量劣化最小化的技术。
86.第一，在一些实施方式中，可以减少曝光时间。尽管ois的一个重要方面是减少长曝光时间的模糊，但是有时可以通过减少曝光时间来获得更好的图像质量，以实现同步ois。图8示出了作为感光度(iso)和曝光时间的函数的图像模糊的示例曲线。曲线801示出了在没有ois的情况下(无论是因为ois被禁用还是透镜/传感器被遮挡)，图像模糊(左标)是如何随着iso和曝光时间(右标)而变化的。在所示的示例中，假设除非曝光时间小于约0.06毫秒，否则无法执行同步ois。但是，当曝光时间减少到0.06毫秒以下时，对于相同的iso值，可以实现图像模糊的显着改善。如曲线802所示，在iso值约为300时，启用同步ois将模糊从大约3个像素减少到少于一个像素。因此，在一些实施方式中，通过重新平衡曝光相对于iso的自动曝光参数来提高同步ois的可行性和图像质量。
87.第二，在一些实施方式中，可以减少透镜/传感器的重定位时间。例如，在相机运动受到限制的用例下(例如，在一些实施方式中，该运动的幅度不大于ois致动器范围的两倍)，透镜/传感器可以在帧之间重定位距离，该距离小于仅基于最小化滑轨和/或功耗的风险而选择的距离。图9示出了根据一些实现的，作为时间的函数的建模的ois操作的示例。类似于图4的细节d，图9示出了根据一些实施方式的建模的ois操作作为时间的函数的示例。类似于图4的详图d，图9中的曲线910示出了相机相对于时间的建模的或模拟的角运动的示例。极限线921和922分别表示为相机的ois致动器和/或传感器假定的运动极限的上范围和下范围。曲线934将ois角度表示为时间的函数，该ois角度被优化以降低滑轨和/或功耗的风险。曲线944表示替代策略，其提供了更短的重定位时间，同时仍然防止了ois滑轨。由于透镜/传感器的回转距离小于曲线图934中的距离，因此减少了重定位时间以及振铃(ringing)幅度，并且可以期待更快的稳定。也可以减少致动器硬件上的压力；但是，可以预
期，曲线944的策略比曲线块934的策略需要更多的功率。
88.第三，在一些实施方式中，可以增加有效帧周期。例如，当相机处于“静态拍摄预览”模式时，可能没有严格的每秒帧数的要求。在一些实施方式中，当相机处于静态拍摄预览模式时，可以降低帧速率以确保帧之间的未使用超时，这足以重定位透镜/传感器。作为另一个示例，当相机处于视频模式时，处于帧速率和操作条件下，可能会发生以下情况：曝光时间、有效读出时间和透镜/传感器重定位时间(包括稳定时间)之和不小于帧周期。在一些实施方式中，通过在每第二帧(奇数帧或偶数帧)期间执行同步ois，有效地从原始帧速率(例如，60fps)下变频到30fps的下变频帧速率来适应这些情况。丢弃未使用的帧，并且可以将得到的帧序列进行数字上转换回原始帧速率。
89.最后，在某些用例下，曝光时间、有效读出时间和透镜/传感器重定位时间(包括稳定时间)之和可能超过帧周期，但是同步ois技术适用于最大程度地减少可观察到的图像质量下降。图10示出了根据一些实施方式的作为时间的函数的ois操作。在所示的示例中，透镜/传感器的重定位时间超过了连续帧之间可用的时间。在第一连续帧的结束和第二连续帧的开始部分重叠(在所示示例中)的时间间隔期间，仍然可以执行同步ois。如交叉阴影区域1001和1002所示，将存在一些行，在这些行期间透镜/传感器被重定位。这些行的图像质量将受到不利影响，但是这些行可能只占总图像的一小部分，其质量将通过ois技术得到改善。
90.图11示出了根据一些实施方式的作为时间的函数的ois操作。在所示的示例中，在曝光时间相对于透镜/传感器重定位时间长的情况下，可以在大部分曝光周期内执行同步ois，而该时间的小部分时间(在帧的开始和/或结束)用于透镜/传感器重定位。在透镜/传感器重定位期间，会出现一些模糊，但是，由于重定位持续时间仅占整个曝光的一小部分，因此图像质量下降不会完全抵消执行同步ois所获得的好处。
91.在某些用例中，通常会禁用ois(例如，当相机安装在三脚架上或正在运行与机械ois不兼容的电子图像稳定(eis)过程时)。不过，本公开的技术可应用于这些用例中的一些。
92.第一，无论ois是否被禁用，都可以实现本公开的节能方面。更具体地说，如上所述，ois关闭透镜中立位置仍可以被选择为弹簧力将平衡重力的位置，而不一定是在机械中心。这样，这种重力调整后的中立位置在纵向和横向模式下将有所不同，并且接近于水平手机的机械中心。当手机保持在特定的纵向或横向位置时，维持位置所需的电源的dc电流分量将几乎被消除。
93.第二，控制器可以被配置为使图像稳定布置移动相机透镜和图像传感器中的一个或两个，以补偿与相机不稳定或抖动无关的某些运动。示例用例可以是使用安装在三脚架上的相机进行天文摄影。替代或除了在非常长的曝光期间移动相机以跟随行星、卫星或其它天文对象的预先计算的位置之外，控制器还可以被配置为沿着ois运动范围内的对应轨道重定位透镜/传感器。在每个连续的新帧上，成像的天文对象将处于不同的位置，但始终处于清晰的焦点。另一个示例用例可以涉及跟踪被跟踪的移动目标。在可以获得目标相对于相机的方位角的近乎实时的知识的情况下，控制器可以被配置为沿着ois运动范围内的相应轨迹重定位透镜/传感器。在同样已知目标的范围的情况下，可以在连续调整的焦点且几乎没有模糊的情况下执行目标的成像。
94.最后，在一些主要依赖于eis的用例中，本公开的方面可以改善eis系统的性能。例如，在用于视频成像的eis的上下文中，eis可以具有6
‑
7度的峰
‑
峰范围，在该范围上可以通过选择性地裁剪视频帧序列的后续帧来实现明显的图像稳定。较大的震荡(例如，由于相机操作员在行走或奔跑时的运动所致)可能会导致图像跳动。在一些实施方式中，可以通过响应于来自eis相机位置估计器的输入来配置ois控制器以在帧之间重定位透镜/传感器来缓解该问题。基于来自eis相机位置估计器的输入，可以选择即将到来的帧上的平均透镜/传感器位置。例如，当相机向上移动时，透镜/传感器的平均位置应该向下移动，从而有效地减少图像弹跳，从而扩大可执行eis裁剪的有效范围。在一些实施方式中，可以在从eis到ois控制器的每个帧之前传达期望的目标透镜/传感器位置(通过透镜/传感器跳变大小和相邻帧之间的方向控制)。可替代地或另外，也可以通过调整透镜/传感器的重定位时间来解决裁剪的顶部/底部行的不对称性，以改善eis的裁剪余量。例如，当如图7中详图h所示，在底部行被裁剪时，透镜/传感器可以有利地在帧结束之前几毫秒开始重定位。这可能会导致帧的末尾(底部)出现一些损坏的行，但无论如何都希望将这些行丢弃。有利的是，较早的透镜/传感器稳定时间有助于确保下一帧的顶行不受干扰。可以基于从eis接收到的裁剪状态输入来进行该调整。
95.如以上结合图8所示，在某些用例中，可通过重新平衡曝光相对于iso的自动曝光参数来提高图像质量。图10示出了根据一些实施方式的自动曝光性能改善的示例。在图12中，对于给定的最佳亮度值，详图j和l呈现作为曝光时间的函数的运动模糊，而详图k和m呈现iso相对于曝光时间的自动曝光设置。现在参考详图j，曲线1260、1270和1280分别涉及其中ois被禁用或不起作用的快速运动、具有禁用ois的适度运动以及具有ios操作的适度运动的运动模糊与曝光的关系。参考详图k，对于三个运动条件1260、1270和1280中的每一个，自动曝光功能可以分别找到iso相对于曝光时间的最佳设置，即点1206、1207和1208。现在参考详图l和m，本发明人已经意识到，在同步ois可用的情况下，由于快速运动引起的运动模糊可以显著减少(曲线1290)。如上所述，同步ois通常仅在曝光时间、有效读出时间和透镜/传感器重定位时间(包括稳定时间)之和小于帧周期才是可行的。因此，在一些实施方式中，修改了自动曝光算法，以防止选择大于临界值1209的曝光持续时间，以确保同步ois的可用性。
96.图13示出了根据一些实施方式的相机系统中光学图像稳定的处理流程的示例。如上所述，ois装置可以包括相机系统的透镜、与透镜机械耦合的致动器、与相机透镜光学耦合的图像传感器和控制器。控制器可以与图像稳定布置和用于测量相机运动的至少一个运动传感器通信地耦合，其中控制器。方法1300包括方框1310，其在控制器处从至少一个运动传感器接收所测量的相机运动信息。
97.在方框1320处，在采集连续图像帧期间，控制器可以为相机透镜和图像传感器中的一个或两个，针对相应的图像帧确定相应的期望开始位置。
98.在方框1330处，在采集相应的图像帧期间，控制器可以使图像稳定布置移动相机透镜和图像传感器中的一个或两个，以补偿所测量的相机运动。
99.在方框1340处，在第一连续帧和第二连续帧之间，控制器可使图像稳定布置将相机透镜和图像传感器中的一个或两个重定位到针对第二连续帧的相应的期望开始位置。
100.可选地，可以执行以下过程中的一个或多个。在方框1350处，控制器可以在采集第
一连续帧之后和在开始采集第二连续帧之前，通过控制相机透镜或图像传感器的转向运动来同步地重定位相机透镜和图像传感器中的一个或两个。在方框1360处，控制器可以选择相应的期望开始位置，以减少(i)滑轨的可能性和(ii)功耗中的一个或两个。在方框1370处，控制器可以监视和控制曝光时间、有效读出时间、透镜/传感器重定位时间和帧周期中的一个或多个。
101.图14示出了根据一些实施方式的相机系统中的光学图像稳定的处理流程的示例。方法1400包括方框1410，其在控制器处接收与相机相对于重力场的取向有关的所测量加速度计数据。该方法可以在框1420处得出结论，基于加速度计数据使致动器将透镜定位在重力调整后的中立位置。
102.可选地，可以执行以下过程中的一个或两个。在方框1430处，控制器可以从至少一个运动传感器接收所测量的相机运动信息。在采集连续图像帧之前，控制器可以确定相机透镜的第一期望开始位置。在采集连续图像帧中的每个相应的图像帧的期间，控制器可使图像稳定布置移动相机透镜以补偿所测量的相机运动。在第一连续帧和第二连续帧之间，控制器可使稳定布置将相机透镜转向到针对第二连续帧的第二期望开始位置。在方框1440处，控制器可以监视和控制曝光时间、有效读出时间、透镜重定位时间和帧周期中的一个或多个。
103.图15示出了根据一些实施方式的相机系统中的光学图像稳定的处理流程的示例。方法1500包括方框1510，其利用控制器通过在采集第一连续帧之后和在开始采集第二连续帧之前控制相机透镜或图像传感器的转向运动，同步地重定位相机透镜和图像传感器中的一个或两个，控制器与图像稳定布置和用于测量相机运动的至少一个运动传感器通信地耦合。
104.在方框1520处，控制器可以监视和控制曝光时间、有效读出时间、透镜重定位时间和帧周期中的一个或多个。在方框1530处，控制器可以重新平衡自动曝光算法，使得曝光时间小于临界值。
105.可选地，在方框1540处，该方法可以继续利用控制器，在采集连续图像帧之前确定针对相机透镜和图像传感器中的一个或两个的第一期望开始位置；在采集连续图像帧中的每个相应的图像帧的期间，使图像稳定布置移动相机透镜和图像传感器中的一个或两个以补偿所测量的相机运动；以及在第一连续帧和第二连续帧之间，将相机透镜和图像传感器中的一个或两个重定位到针对第二连续帧的第二期望开始位置。
106.因此，已经公开了用于同步光学图像稳定的技术。应当理解，可以设想多种替代配置和操作技术。
107.如本文所使用的，指项目列表中的“至少一个”的短语是指那些项目的任何组合，包括单个成员。作为示例，“至少一个：a、b或c”旨在涵盖：a、b、c、a
‑
b、a
‑
c、b
‑
c和a
‑
b
‑
c。
108.结合本文公开的实施方式描述的各种说明性逻辑、逻辑块、模块、电路和算法过程可以实施为电子硬件、计算机软件或两者的组合。硬件和软件的可互换性已经在功能方面进行了一般性描述，并且在上述各种说明性组件、方框、模块、电路和过程中进行了说明。这些功能是用硬件实现还是用软件实现，取决于强加在整个系统上的设计约束和特定的应用程序。
109.可以利用通用单芯片或多芯片处理器、数字信号处理器(dsp)、专用集成电路
(asic)、现场可编程门阵列(fpga)或其它可编程逻辑设备、离散门或晶体管逻辑、离散硬件组件或设计成执行本文所述功能的任何组合来实现或执行结合本文所公开的方面描述的各种说明性逻辑、逻辑块、模块和电路的硬件和数据处理装置。通用处理器可以是微处理器或任何常规处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如dsp和一个微处理器、多个微处理器、与dsp核心结合的一个或多个微处理器的组合、或任何其他这样的配置。在一些实施方式中，特定的过程和方法可以由特定于给定功能的电路来执行。
110.在一个或多个方面，可以在硬件、数字电子电路、计算机软件、固件中实现所描述的功能，包括本说明书中公开的结构及其结构等同物，或其任何组合。本说明书中所述主题的实施方式也可以作为一个或多个计算机程序来实现，即编码在计算机存储介质上的计算机程序指令一个或多个的模块，以便由数据处理装置执行或控制数据处理设备的操作。
111.如果以软件实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质(诸如非暂时性介质)上或作为一个或多个指令或代码传输。本文公开的方法或算法的过程可以在可以驻留在计算机可读介质上的处理器可执行软件模块中实施。计算机可读介质包括计算机存储介质和通信介质，包括可以使计算机程序从一个地方转移到另一个地方的任何介质。存储介质可以是计算机可以访问的任何可用的介质。作为示例而非限制，非暂时性介质可以包括ram、rom、eeprom、cd
‑
rom或其他光盘存储、磁盘存储或其他磁存储设备，或者可以用于存储指令或数据结构形式的期望程序代码并且可以由计算机访问的任何其他介质。此外，任何连接都可以被恰当地称为计算机可读的介质。本文使用的磁盘和光盘包括光盘(cd)、激光光盘、光学(optical)盘、数字多功能光盘(dvd)、软盘以及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘则通过激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。此外，方法或算法的操作可以作为代码和指令的一个或任何组合或集合驻留在机器可读介质和计算机可读介质上，这些代码和指令可以并入计算机程序产品中。
112.对本公开中描述的实施方式的各种修改对于本领域技术人员来说是显而易见的，并且在不脱离本公开的精神或范围的情况下，可以将在此定义的一般原理应用于其他实施方式。因此，本公开不打算局限于这里所示的实施方式，而是赋予与这里公开的权利要求、原理和新颖特征一致的最广泛的范围。在此，如果有的话，单词“示范性”在本文中专门用于表示“用作示例、实例或说明”。这里所描述的任何实施方式都不必被解释比其他实施方式优选或者有利。
113.本说明书中在单独实施方式上下文中描述的某些特性也可以在单个实施方式中组合实施。相反，在单个实施方式上下文中描述的各种特征也可以在多个实施方式中分别实现或在任何合适的子组合中实现。此外，尽管特征可以在上面描述为以某些组合起作用，甚至是最初要求保护的特征，但是在一些情况下，可以从该组合中分离来自要求保护的组合的一个或多个特征，并且要求保护的组合可以指向子组合或子组合的变型。
114.类似地，虽然在附图中以特定顺序描绘操作，但这不应理解为要求以所示出的特定顺序或以连续顺序执行这种操作，或要求执行所有示出的操作以获得期望的结果。此外，附图可以以流程图的形式示意性地描绘另一示例性过程。然而，其他未描述的操作可以合并到示意性示出的示例流程中。例如，可以在所示的任何操作之前、之后、同时或之间执行
一个或多个附加操作。在某些情况下，多任务处理和并行处理可能是有利的。此外，上述实施方式中的各种系统组件的分离不应被理解为在所有实施方式中需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或被封装到多个软件产品中。此外，其他实施方式也在以下权利要求的范围内。在一些情况下，可以以不同的顺序执行权利要求中所述的动作，并且仍然实现期望的结果。
115.应当理解，除非任何具体描述的实施方式中的特征被明确地标识为彼此不兼容或者周围上下文暗示它们是相互排斥的并且在互补和/或支持意义上不容易组合，否则本公开的总体构思并设想可以选择性地组合那些互补实施方式的特定特征，以提供一个或多个综合的、但稍有不同的技术解决方案。因此，将进一步认识到，以上描述仅以示例的方式给出，并且可以在本公开的范围内进行详细的修改。