基于光学图像稳定的超分辨率的制作方法
【技术领域】
[0001]本发明的实施例整体涉及消费电子设备内的图像捕获系统，并且更具体地涉及一种改变至相机的传感器的光学路径的具有光学图像稳定机构的图像捕获系统。
【背景技术】
[0002]通常，相机能够由用户在没有任何稳定辅助手段(诸如三脚架、或者将相机放置在其上的水平面)的情况下进行操作。当没有稳定辅助手段时，所捕获的图像可能基于相机在捕获过程期间的移动而模糊不清。例如，握持相机的用户可能在捕获图像时无意识地摇晃，从而导致失真的图像。这种失真在包括便携式数据和媒体消费电子设备的所有图像捕获设备上普遍存在，诸如通常包括可作为相机进行操作的图像捕获机构的移动电话、平板电脑、便携式媒体播放器等。
[0003]为了抵消当捕获图像时由于运动(例如，由操作相机的用户进行抖动)所导致的失真，相机可具有光学图像稳定(OIS)系统。此类OIS系统用于补偿在图像捕获期间的相机运动，以使所捕获的图像的失真最小化。OIS系统通过响应于相机的移动(诸如由操作相机的用户进行抖动)改变至传感器的光学路径来实现这种补偿。这个OIS系统可通过平移透镜本身来实现，或者可通过移动包括透镜和传感器两者的整个模块以补偿相机的移动来实现。在任一种具体实施中，最重要的是在由传感器所捕获的图像被转换为数字信息之前，OIS系统使投射在传感器上的图像稳定。
【附图说明】
[0004]在附图的图形中以举例的方式而非限制的方式示出本发明的实施例，在附图中类似的附图标号指示类似的元件。应当指出的是，在本公开中提到本发明的“一个”(“an”或“one”)实施例未必是同一实施例，并且这意味着至少一个。
[0005]图1是具有光学图像稳定(OIS)系统的图像捕获设备的一个实施例的简化框图。
[0006]图2A是可由OIS处理器调节的相机模块的一个实施例的简化框图。
[0007]图2B-C示出了以子像素精度调节光学路径的实施例的一个实例。
[0008]图3是具有OIS系统的图像捕获系统的一个实施例的简化框图。
[0009]图4是示出用于校准图像捕获设备中的OIS处理器的方法的实施例的一个实例的流程图。
[0010]图5A-C示出了根据本发明一个实施例的图像配准的一个实例。
[0011]图6A是示出用于使用光学图像稳定来创建超分辨率图像的方法的实施例的一个实例的流程图。
[0012]图6B-F示出了将使用光学图像稳定所捕获的光学样本投射到高分辨率栅格上的实施例的一个实例。
[0013]图7是示出用于确定是否要使用光学图像稳定来创建超分辨率图像的实施例的一个实例的流程图。
[0014]图8是示出图像捕获设备的显示器的实施例的一个实例的框图。
[0015]图9示出了具有OIS系统的图像捕获设备的一个实施例。
【具体实施方式】
[0016]现在将参考所附附图来解释本发明的若干实施例。以下说明书和附图对于本发明是示例性的，并且不应被理解为限制本发明。描述了众多的具体细节以提供对本发明的各种实施例的彻底理解。然而，在某些实例中，熟知的或常规的细节并未被描述以提供对本发明的实施例的简明论述。
[0017]在本说明书中对“一个实施例”(“one embodiment”或“an embodiment”)的引用是指结合该实施例所描述的特定特征、结构或特性可被包括在本发明的至少一个实施例中。在本说明书中的各个位置中出现的短语“在一个实施例中”未必都指同一实施例。
[0018]图1是示出采用光学图像稳定系统的图像捕获设备100的简化框图。图像捕获设备100可以是但不限于数字相机或移动多功能设备诸如蜂窝电话、个人数据助理、移动娱乐设备、平板电脑等。设备100不限于所列举的实施例，因此可以是任何其他消费电子设备诸如膝上型计算机、台式计算机和/或监视器、或者甚至是能够容纳具有光学图像稳定系统的相机模块的电视机设备。出于责任心，设备100的许多方面诸如自动对焦和红外(IR)滤波器机构没有被图1示出。
[0019]图像捕获设备100包括但不限于相机模块110、致动器115、位置传感器120、光学图像稳定(OIS)处理器125、惯性传感器130、快门开关135、显示屏140、存储装置145、超分辨率引擎150和处理器160。处理器160可驱动包括设备100的多个部件之间的交互。处理器160可以是设备100内的任何被适当经编程的处理器。在一些实施例中，处理器160可以是主处理器诸如微处理器或中央处理单元(未示出)。处理器160可与总线101上的其他所示的部件通信。总线101可以是适用于在设备100内传送数据的任何子系统。总线101可以是多条计算机总线并且包括用于传送数据的附加电路并且通常促进部件间通信。
[0020]转向相机模块110，该相机模块110包含捕获图像所必需的很多部件，诸如透镜112和图像传感器111。相机模块112的焦距可以是固定的。在一些实施例中，透镜112和图像传感器111之间的后焦距114小于四(4)毫米(mm)。然而，后焦距114可小到一(I)mm或更小。后焦距114可由相机模块110的z高度来指定。可包括红外(IR)滤波器(未示出)。在一些实施例中，相机模块110以宽视场为特色，该宽视场诸如在84°和64°的范围内。因此，透镜112也可以是广角透镜。然而，在其中透镜是普通透镜或超广角透镜的实施例中，透镜112可提供不同的视场。透镜112也可以相对低的光圈值为特色，诸如f/4或更低。
[0021]相机模块110的图像传感器111例如可以是电荷耦合器件(CXD)或互补金属氧化物半导体(CM0s)传感器。图像传感器111采集捕获周期期间作为沿光学路径(例如，光学路径10)行进到图像传感器111的光的表示的电信号，使得场景30可作为图像被捕获。场景30可作为一个或多个点源20被捕获。在一些实施例中，图像传感器111可耦接至用于处理电信号的模拟前端(未示出)。图像传感器111可采用滤色器阵列(CFA)，使得图像传感器111的每个像素传感器(未示出)捕获不同的颜色数据。在一些实施例中，CFA是拜耳CFA，其对于每四个像素传感器包含一个蓝色传感器、一个红色传感器和两个绿色传感器。
[0022]图像传感器111可用于由于若干连续捕获周期而连续地捕获若干图像(注意，捕获周期可以是快速连续的)。连续图像可捕获穿过不同于光学路径10的光学路径到达图像传感器111的光。连续图像还可被捕获作为场景的多个帧(例如视频)。因此，每个图像可提供独特的像素(PX)阵列数据，因为光在达到图像传感器111的过程中将已经过不同的光学路径。因此，图像传感器111可捕获多个数据集，每个数据集包括相同场景30的不同像素阵列数据。
[0023]快门开关135可实现图像传感器111的捕获周期。快门开关135可以是由用户激活的部件，诸如设置在图像捕获设备100的外壳上的触觉按钮。另选地或除触觉输入之外，快门开关135可通过界面呈现给用户，诸如显示屏140的触摸输入，如在蜂窝电话、移动媒体设备和平板电脑中常见的那样。快门开关135也可通过其他方式来触发，诸如通过定时器或其他触发事件。快门开关135的单次触发可导致多个捕获周期，例如对快门开关135仅致动操作一次就可导致图像传感器111捕获多张单独的图像。
[0024]致动器115和位置传感器120耦接至相机模块110。位置传感器120可以是霍耳效应位置传感器(并且可附加地包括一个或多个磁体(未示出))、应变式位置传感器、电容式位置传感器、或任何其他适当的位置传感器。位置传感器120耦接至相机模块，并且可被包括在其中，以提供相机模块110的俯仰和偏航。因此，相机110的指向角(例如倾斜)可被准确地确定。指向角可影响至图像传感器111的光学路径。在一些实施例中，位置传感器120包括多个传感器，例如两个或更多个霍耳元件。
[0025]模块倾斜致动器115可围绕枢转点113调节相机模块110的指向角(例如倾斜)，该枢转点113可以是轴承或其他适当的部件。致动器115可以是音圈电机(VCM)、压电器件、或适于在图像捕获设备内实现的其他致动器。优选地，致动器115是高精度的致动器。在一些实施例中，致动器115用于以受控的精确度将相机模块110的指向角从光学路径10调节至经偏移的光学路径(未示出)，使得图像传感器111可通过经偏移的光学路径捕获相对于沿光学路径10所捕获的第一图像偏移已知子像素量的图像。为了控制该偏移，可向致动器115施加电压。为了实现这个精确度水平，致动器115可以是充分线性的，并且没有滞后。在一些实施例中，致动器115由多个部件构成，例如用于对俯仰进行偏移的致动器和用于对偏航进行偏移的致动器。
[0026]为了实现光学路径的此类子像素偏移，致动器115通信地耦接至光学图像稳定
(OIS)处理器125。OIS处理器125可以固件、软件或硬件(例如，作为专用集成电路)来实现。在正常情况下，OIS处理器125可在图像传感器111将投射在该传感器上的图像转换为数字信息之前使该图像稳定(例如，通过响应于设备100的所检测到的移动(诸如握持设备100的用户的无意识的摇晃)而改变至图像传感器的光学路径)。OIS处理器125可用于控制由图像传感器111进行图像捕获的时间和间隔。除了使投射在图像传感器111上的图像稳定之外，OIS处理器125用于通过控制偏移来移位影响光学路径10的一个或多个部件(例如，相机模块110)。偏移可以是已知的或预先确定的。在一些实施例中，OIS处理器125用于向致动器115施加电压(未示出)，使得致动器115可通过(例如，围绕枢轴113)调节相机模块110的指向角(例如，倾斜)来偏移光学路径。所施加的电压可以是厘伏或毫伏值，使得至图像传感器111的光学路径10被偏移准确的子像素量。所施加的电压可以是已知的和/或预先确定的，使得对光学路径的偏移是已知的或预先确定的，例如，可使用子像素系数来计算所施加的电压。Ois处理器125还可从位置传感器120接收准确地指示影响光学路径10